I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l.  15 ,   No .   3 Sep tem b er   20 26 ,   p p .   1 2 7 2 ~ 1 2 8 9   I SS N:  2252 - 8 7 7 6 DOI 1 0 . 1 1 5 9 1 /iji ct . v15 i 3 . pp 1 2 7 2 - 1 2 8 9          1272       J o ur na l ho m ep a g e h ttp : //ij ict. ia esco r e. co m   Bridg ing  t he  li ng uistic divid e re ce nt  dev elo pmen ts i n ma chine  trans la tion f o r In dia l a ng ua g es       J a y a na nd   A.   K a m ble,  Sh iv a j ira o   M .   J a dh a v ,   Vino d J .   K a da m   D e p a r t me n t   o f   I n f o r m a t i o n   Te c h n o l o g y ,   D r .   B a b a s a h e b   A m b e d k a r   Te c h n o l o g i c a l   U n i v e r si t y ,   L o n e r e ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   2 1 ,   2 0 2 5   R ev is ed   Ma y   1 9 ,   2 0 2 6   Acc ep ted   J u l 5 ,   2 0 2 6       S ig n ifi c a n t   a d v a n c e h a v e   b e e n   a c h iev e d   i n   m a c h in e   tran sla ti o n   (M T)  in   re c e n ti m e s,  p a rti c u larly   sta te - of - th e - a rt   (S OTA)  m o d e ls  f o lan g u a g e li k e   En g li s h   a n d   In d ian   h a v in g   d isti n c g ra m m a ti c a stru c tu re a n d   li m it e d   m o n o li n g u a trai n in g   d a ta.  T h is  p a p e a n a ly se v a r io u re c e n sta te - of - th e - a rt   v a rian ts   o f   larg e   la n g u a g e   m o d e ls  (LL M s)  a n d   n e u ra m a c h in e   t ra n sla ti o n   (NMT f o I n d ian   lan g u a g e i n   c o m p a riso n   t o   sta ti st ica m a c h in e   t ra n sla ti o n   ( S M T ) .   I t   t a c k l e s   k e y   q u e s t i o n s ,   s u c h   a s   i d i o m a t i c   e x p r e s s i o n s ,   m o r p h o l o g i c a l l y   c o m p lex   g ra m m a o t h e   sc a rc e n e ss   o p a ra ll e c o rp o ra .   F u rt h e rm o re ,   it   stu d ies   b y tew ise   BP E,   c o m p a re t ra n sla ti o n   m o d e ls   in   term o f   BL EU  sc o re u sin g   se p a ra te  a n d   sh a re d - v o c a b u lary   re p re se n tati o n   wit h   c o p y   a c ti o n s   b e twe e n   th e   BP tran sla ti o n s,   a n d   a n a ly s e h o m u l ti tas k   lea rn in g     (Ca ru a n a   (1 9 9 7 ))  a n d   a tt e n ti o n   m e c h a n ism c a n   c o n tri b u te  t o   t h e   q u a li t y   o tran sla ti o n .   In   s u m m a ry ,   it   p ro v id e d irec ti o n f o fu t u re   wo r k   b y   s u g g e sti n g   n e a v e n u e o re se a rc h ,   i n c lu d in g   b e tt e c u ra te d   d a tas e ts,  m o r e   e fficie n a p p ro a c h e s fo r   lo w - re so u rc e   lan g u a g e s ,   a n d   c u lt u ra ll y   a wa re   tran sl a ti o n s.   K ey w o r d s :   B y te  p air   en co d i n g     I n d ian   lan g u ag es   L ar g lan g u ag m o d els   Ma ch in tr an s latio n   Neu r al  m ac h in tr a n s latio n     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   J ay an an d   A.   Kam b le   Dep ar tm en t o f   I n f o r m atio n   T e ch n o lo g y ,   Dr .   B ab asah eb   Am b ed k ar   T ec h n o lo g ical  Un iv er s ity   L o n er e,   I n d ia   E m ail:  jk am b le@ m g m u . ac . in       1.   I NT RO D UCT I O N   Fo r   a   lin g u is tically   p l u r alis tic  n atio n   s u ch   as  I n d ia,   m ac h i n tr an s latio n   ( MT )   is   ess en tial  to   k ee p   v ar io u s   lan g u ag es  i n   in ter m e d iar y   co m m u n icatio n .   T r a n s latio n   b etwe en   I n d ian   lan g u a g es  is   ad v an cin g   m o r q u ick ly ,   n o ju s u s in g   Go o g le   T r an s late  b u also   with   o th er   p o p u lar   MT   s er v ices.  T h is   task   h as  b ec o m m o r e   im p o r tan t in   t h ad v e n t   o f   d ig i tal  co m m u n icatio n   [ 1 ] .   E n g lis h   is   W est   Ger m an ic  l an g u ag e   wh ich   was  f ir s s p o k en   in   ea r ly   m ed iev al  E n g lan d   an d   is   n o w   lead in g   lan g u ag e   u s ed   ar o u n d   th e   wo r ld   [ 2 ] .   I t   h as  b ec o m a   lin g u a   f r a n ca   i n   p o p u lar   v er n ac u lar ,   s cien ce ,   an d   co m m er ce ,   as   well  a s   am o n g   s ee r s   o r   s ag es  [ 3 ] .   T h er e f o r e,   th in ter n atio n al  o r g an is atio n s ,   s u ch   as  th e   E U,   NAT an d   th UN  all  u s e   E n g lis h   [ 4 ] .   E n g lis h   is   th w o r ld s   m o s t - lear n f o r eig n   lan g u ag e ,   with   s o m e   one   b illi o n   p eo p le  lea r n in g   it a t a n y   tim e.   T h p leth o r o f   lan g u ag es  an d   d ialec ts   s p o k e n   in   I n d ia  ( w ith   2 2   lan g u a g es  r ec o g n ized   as  o f f icial)   also   co n s titu tes  v er y   s tr o n g   m o tiv atio n   f o r   th d e v elo p m e n o f   E n g lis h   to   I n d ian   la n g u a g MT   s y s tem s   [ 5 ] Alth o u g h   E n g lis h   is   n o u s ed   as  g lo b al  lin g u f r an ca   [ 6 ] ,   an d   is   th p r im ar y   m o d o f   ed u ca ti on  [ 7 ] b u s in ess   [ 8 ]   an d   g o v e r n m e n ad m in is tr atio n   [ 9 ]   in   I n d ia ,   m an y   p eo p le  s till   p r ef er   to   s p ea k   th eir   lo ca l   lan g u ag e.   Stro n g   MT   s y s tem s   ca n   h elp   f ill  th ex is tin g   co m m u n icatio n   b r ea ch   a n d   allo ac ce s s   to   o p p o r tu n ities ,   s er v ices,  an d   in f o r m atio n   in   lo ca l la n g u ag es.   I n   f ield s   s u c h   as  ed u ca tio n   [ 10 ] ,   g o v er n m en t   [ 11 ] ,   h ea lth ca r e   [ 12 ] ,   an d   tech n o lo g y   [ 13 ]   an d   s o   f o r th ,   good   MT   h as  b ee n   in   g r o win g   d em a n d .   I n   t h teac h in g   d o m ain ,   MT   ca n   b e   u s ed   to   ass is s tu d en ts   th at  d o   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       B r id g in g   th lin g u is tic  d ivid e:   r ec en t d ev elo p men ts   in   ma ch i n tr a n s la tio n   fo r   … ( Ja y a n a n d   A .   K a mb le )   1273   n o h av E n g lis h   as  f ir s lan g u ag [ 14 ]   b y   p r o v id i n g   b ett er   ac ce s s   to   lear n in g   m ater ia ls   with   co n s eq u en t   in cr ea s in   u n d er s tan d in g   an d   p ar ticip atio n .   I n   p o liti cs,  MT   ca n   b r ea k   b ar r ier s   th r o u g h   in clu d in g   th o s wh o   d o   n o s p ea k   E n g lis h   as  f ir s lan g u ag e   [ 15 ] .   MT   is   co n s id er ed   to   b b en e f icial  in   h ea lth ca r wh er cr itical   m ed ical  in f o r m atio n   n ee d s   to   b d eliv er ed   i n   lo ca lan g u ag wh ich   th p atien u n d er s t an d s   [ 16 ] Als o ,   in   th is   ag o f   d ig ital  m ed ia  tr an s ce n d in g   th lin g u is tic  b ar r ier s   ( b o u n d ar ies),   MT   ass u m es  im p o r tan ce   in   d ev elo p in g   u s er   f r ien d ly   in ter f ac es a n d   co n ten f o r   s p ea k er s   o f   o th e r   lan g u ag es  [ 17 ] .   MT   h as  ev o lv ed   in   wav es  r elate d   to   lin g u is tic  an d   co m p u tatio n al  tech n o lo g y   s h if ts .   I n   th ea r ly   d ay s ,   r esear ch   in   th is   f ield   wa s   m ain ly   r u le - b ased   MT   ( R B MT )   s y s tem s   wh ich   u tili s ed   m an u ally   cr ea te d   r u les   an d   d ee p   lin g u is tic  k n o wled g [ 18 ] .   W h ile  s u ch   s y s tem s   s o m o f   wh ic h   m ay   w o r k   b etter   in   s o m s p ec if ic   d o m ain s   f r eq u e n tly   b r o k d o wn   wh e n   it   ca m t o   id i o m s   o r   t h c h ar ac ter is in g   s y m p to m s   o f   lin g u is tic   v ar iatio n .   T h is   was  a   tu r n in g   p o in as   r esear ch   s h if ted   t o   s t atis tical  m ac h in tr an s latio n   ( SMT )   [ 1 9 ] ,   w h ich   em p lo y ed   s tatis tical  m o d els  p eg g ed   o n   m ass iv p ar allel  co r p o r an d   g en er ated   tr a n s latio n s   th at  o cc u r r ed   with   ce r tain   p r o b a b ilit ies.  SMT   en ab led   u s   to   p r o ce s s   m u ch   m o r d ata,   an d   tak in to   ac co u n t   d if f er en ty p es  o f   lan g u ag p atter n s   b u b o th   f lu en cy   an d   co n te x t w er s till   an   is s u e.   T h ad v en o f   n e u r al  m ac h in e   tr an s latio n   ( NM T )   [ 2 0 ]   in   th e   last   f ew  y ea r s   h as  b ee n   r ev o lu tio n   f o r   d ec ad es - o ld   tech n iq u es  b ase d   o n   d ee p   lear n in g   ap p r o ac h es.  NM T   m o d els,  p ar ticu la r ly   th o s with   th tr an s f o r m er   ar c h itectu r e,   lev er ag co m p lex   al g o r ith m s   t h at  an aly ze   th f u ll  co n te x o f   s en ten ce   s im u ltan eo u s ly   r esu ltin g   in   m o r co h er en an d   f lu e n tr an s latio n s .   T h is   p r o g r ess io n   h as  r esu lted   in   th e   s u b s tan tial  im p r o v em en in   d ea lin g   with   s y n tactic  v ar ian ts   alo n g   with   cu ltu r ally   d ep en d en s em an tics ,   esp ec ially   f o r   tr an s latin g   E n g l is h   an d   I n d ian   lan g u ag es  [ 2 1 ] ,   b u ev en   th ese  h a v f u r th e r   ch allen g es  s u ch   as  lo w - r eso u r ce d   lan g u ag es  t r a n s latio n   s u p p o r an d   p r ec is id en tific atio n   o f   I n d ian   s p ec if ic  id io m atic   ex p r ess io n s .   T h p ap e r   s u r v ey s   th r ec en tr en d s ,   tech n iq u es,  an d   is s u es  in   co n tin u o u s ly - g r o win g   ar ea   o f   MT   s y s tem s   f o r   E n g lis h   to   I n d ian   lan g u ag e   t r an s latio n .   W also   h o p e   to   d ir ec atten tio n   to wa r d   cu r r en s tatu s   o f   MT ,   an d   p o s s ib le  way s   o f   im p r o v i n g   MT   f r o m   p r e v io u s   r esear ch   f in d in g s   th r o u g h   c o m p ar in g   d iv er s if ied   ap p r o ac h es.  W s ee k   to   p r o m o te  b etter   co m m u n icatio n   an d   u n d er s tan d i n g   in   I n d ia’ s   m u lti lin g u al  s o ciety .     T ab le  1   s h o ws  th e   esti m ated   n u m b er   o f   s p ea k er s ,   g eo g r ap h i co v er ag a n d   th o n lin e   av a ilab le  d ata   co r p o r f o r   E n g lis h   an d   s o m o f   th lead in g   I n d ian   la n g u a g es.  E n g lis h   is   s p ec ial  ca s e,   f o r   it  h as  1 . 5   b illi o n   s p ea k er s   in   1 4 6   co u n tr ies   an d   an   alr ea d y   m ass iv o n lin co r p u s   o f   d ata.   On   th o th er   h a n d ,   Hin d i,  B en g ali  an d   T am il h av lar g o r   m o d e r ate  s ized   o n lin co r p o r b u t in   d if f er e n t la n g u a g es with   th eir   s p ea k er   b ases   an d   co u n tr y   d is tr ib u tio n s .   T h er e   a r s ev er al  o t h er   I n d ian   lan g u a g es  ( e. g . ,   T elu g u ,   Ma r ath i,  K an n ad a)   with   lar g e   n u m b er s   o f   s p ea k er s   wh o s o n lin d ata   co r p o r a   ar r elati v ely   lim ited ,   in d icatin g   a   d e m an d   f o r   e n h an ce d   d ig ital r eso u r ce s   in   th ese  lan g u ag es.       T ab le  1 .   E n g lis h   an d   t h to p   I n d ian   lan g u ag es with   n u m b er   o f   s p ea k er s   an d     av ailab le  o n lin d ata  co r p u s   [ 22 ],   [ 23 ]   La n g u a g e   N u mb e r   o f   sp e a k e r ( a p p r o x . )   N u mb e r   o f   c o u n t r i e s   sp o k e n   O n l i n e   c o r p u s / d a t a   a v a i l a b l e   En g l i sh   1 . 5   b i l l i o n   1 4 6   Ex t e n si v e   H i n d i   6 0 0   m i l l i o n   20   La r g e   B e n g a l i   3 0 0   m i l l i o n   4   M o d e r a t e   Te l u g u   9 6   mi l l i o n   3   Li mi t e d   M a r a t h i   9 5   mi l l i o n   3   Li mi t e d   Ta mi l   7 5   mi l l i o n   6   M o d e r a t e   U r d u   7 0   mi l l i o n   26   M o d e r a t e   G u j a r a t i   6 0   mi l l i o n   6   Li mi t e d   K a n n a d a   5 6   mi l l i o n   3   Li mi t e d   O d i a   4 0   mi l l i o n   2   Li mi t e d   Te l u g u   9 6   mi l l i o n   3   Li mi t e d       2.   MET H O D   2 . 1 .     Co m pa ra t iv a na ly s is   o f   MT  m et ho ds   MT   h as  ev o lv e d   s ig n if ican tly   o v er   th e   y ea r s ,   a n d   m u ltip le  m eth o d s   h a v b ee n   d ev el o p ed   to   ad d r ess   th ch allen g es  o f   tr a n s latin g   b etwe en   I n d ian   la n g u a g es  an d   E n g lis h .   I n   t h is   ar ea   o f   wo r k ,   SMT ,   NM T   an d   L L Ms  ar ex ten s iv ely   u s ed .   E ac h   h as  its   u n iq u s tr en g th s   a n d   wea k n ess es  th at  m ak it   m o r o r   less   ef f ec tiv e   in   d if f er e n t tr an s latio n   s itu atio n s .   SMT   is   wid ely   u s ed   f o r   tr a n s latin g   co n te n in   s p ec if ic  f ield s ,   r ea d in g   th r o u g h   th e   m u ltil in g u al   co n ten an d   m ak in g   p r ed ictio n s   o f   wh o m   will  b tr an s lated   b ased   o n   s tatis tical  m o d els  [ 2 4 ] ,   [ 2 5 ] .   On o f   th e   b en ef its   in   SMT   is   co n tr o llin g   s en ten ce   f r a g m en ts   an d   s tr u ctu r ed   p h r ases ,   u s in g   p h r ase - b ased   m o d els   co n s id er in g   wo r d   f r eq u e n cy   a n d   co - o cc u r r en ce   p atter n s I ts   tr ain in g   d ata  [ 2 6 ] ,   o f ten   y ield s   d ec en t   tr an s latio n s   f o r   f ew  lan g u ag p air s .   De s p ite  th ese  b en ef its ,   SMT   als o   h as  its   d r awb ac k s .   B ec au s e   it  d ep en d s   alm o s t   s o lely   o n   la r g a m o u n ts   o f   p ar allel  d ata  ( f o r   wh ich   d ata   f o r   m o s lan g u ag es  a r n o n ex is ten t) ,   id io m atic   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 Sep tem b er   20 26 1 2 7 2 - 1 2 8 9   1274   ex p r ess io n s   an d   h ig h er - lev el  lan g u ag u s ag f ar p o o r ly   [ 2 7 ] .   Ad d itio n ally ,   SMT   is   o f ten   in ef f ec tiv f o r   in tr icate   p h r ase  s tr u ctu r es.  I lack s   s ec o n d ar y   lay er   o f   u n d er s tan d in g   o n   h o to   m ain tain   co h er en ce   a n d   f lu id ity   in   tr an s latio n s ,   esp ec i ally   in   lar g an d   c o m p lex   s en ten ce s   wh er th o v e r ar ch in g   co n tex is   r ea lly   im p o r tan t.   Dee p   lear n in g   h as  o p tim ized   th tr an s latio n   m o d el  f o r   NM T   th r o u g h o u t   th e   p r o ce s s .   R em in d   th at   m o s o f   th NM T   is   b ased   o n   en co d er - d ec o d er   a n d   a d d in g   a tten tio n   m ec h a n is m s .   T h e   m o r co n te x in   ter m s   o f   s ettin g   ( wh ich   wo r d s   ap p ea r   n ea r est  to   o n an o t h er )   s u r r o u n d in g   s tatem en t,  th h i g h e r   th ac cu r ac y   an d   f lu id ity   o f   tr a n s latio n s .   An   ad v an tag o f   NM T   is   th at  it  ca n   m an ag lo n g - d is tan ce   tr an s la tio n al  d ep en d en cies   b etwe en   wo r d s   in   a   s en ten ce   an d   m ai n tain s   n atu r al n ess   u p   to   co m p lex   wo r d   o r d e r .   T h cr u cial  r o le   h er e   is   p lay ed   b y   th e   atten tio n   th at  h elp s   o u r   m o d el   to   f o cu s   o n   r elev an t   p ar ts   o f   in p u ts   wh en   tr an s latin g ,   th u s   p r o v id i n g   lin g u is tically   an d   co n tex tu ally   r ich   t r an s latio n s .   NM T   m y s ter io u s ly   h as  n o   p r o b lem   talk i n g   s p ec if ics ,   b u t   o n ly   b ec a u s th e   tr ain in g   d ata  an d   m o d el   p ar am eter s   ar lar g em .   I n   o r d er   to   p er f o r m   co r r ec tly ,   it  n ee d s   lo o f   tr ain in g   d ata,   an d   t h is   is   th is s u w ith   lo w - r eso u r ce   la n g u a g es:  th er e   ju s is n ète  en o u g h   d ata  a v ailab le.   Ad d itio n ally ,   m o d els  lik e   th ese  r eq u ir a   lo t   o f   co m p u tin g   p o wer   to   tr ain ,   m ea n in g   th at  team s   th at   d o   n o h av w o r ld - class   r eso u r ce s   m ay   n o ev e n   b e   ab le   to   d o   s o .   Su ch   ch alle n g es  ca n   r ed u ce   th ef f ec tiv en ess   o r   av ailab ilit y   o f   NM T   in   s o m ca s es,  p ar ticu lar ly   f o r   lo wer - r eso u r ce   la n g u a g es a n d   co m p u tin g   s y s tem s   with   less   a d v an ce d   tech n o l o g y   [ 2 8 ] .   So m r ec en lar g e - s ca le  lan g u ag m o d els  ( L L Ms)   s u ch   as  GPT  an d   B E R T   [ 2 9 ]   h av also   m ad g r ea im p ac ts   b ec au s th e y   c an   tr an s late  task s   u s in g   m u lti p le   d atasets   an d   d ee p   n e u r al  n etwo r k s .   T h ey   a r e   ca p ab le  o f   tr an s latin g   m u ltip l lan g u a g es  b ec au s th e y   ca n   f u n ctio n   ac r o s s   d if f er en t   f o r m ats.  On o f   th eir   p r im s tr en g th s   is   in   f ew - s h o an d   ev en   ze r o - s h o lear n in g .   T h is   co m es  o u to   b esp ec i ally   u s ef u in   lo w - r eso u r ce   lan g u ag es,  wh er l ar g co r p u s   o f   an n o tated   d ata   d o es  n o ex is t,  s in ce   n o th e y   g et  th ab ilit y   to   g en er alize   to   th eir   tr an s latio n   co u n ter p a r t w ith   litt le  s u p er v is io n .   Ho wev er ,   L L Ms  co m with   s et  o f   ch allen g es  o f   th eir   o wn .   T h ey   r e q u ir lo t   o f   m em o r y   an d   p o wer   wh ic h   m an y   c o m p an i es  ju s d o n t   h av e   th i n f r astru ctu r f o r .   Mo r e o v er ,   d esp it b ein g   ab le  t o   b e     f in e - tu n e d   f o r   a   p a r ticu lar   tr a n s latio n   task ,   it  r eq u ir es  l o ts   o f   ex p er ts   an d   h u g e   d ataset  a cc ess ,   wh ich   is   n o t   r ea d ily   av ailab le  o r   ca n   c o s a   lo t.  Du to   t h is ,   ad ap tiv ely   tu n in g   L L Ms  f o r   d o m ain - s p ec if ic  tr an s latio n   co u ld   b n o n - tr iv ial   esp ec ially   in   lo w - r eso u r ce   co n tex t.   Similar   to   w h at  was  d o n e   in   [ 1 ] ,   we  co m p ar e   th e   b eh av io r s   o f   ea ch   p r o p o s ed   tr a n s latio n   tech n iq u e,   as p r esen in   T ab le  2.       T ab le  2 .   C o m p a r ativ s u m m ar y   o f   s tr en g th s ,   lim itatio n s ,   an d   B L E s co r es f o r   SMT ,   NM T ,   an d   L L Ms   M e t h o d   S t r e n g t h s   Li mi t a t i o n s   B LEU   S c o r e   ( A v e r a g e )   S t a t i st i c a l   mac h i n e   t r a n s l a t i o n   ( S M T)   G o o d   f o r   st r u c t u r e d   p h r a s e s a n d   sh o r t   se n t e n c e s   S t r u g g l e s w i t h   i d i o ma t i c   e x p r e ssi o n s;   r e q u i r e s   l a r g e   p a r a l l e l   d a t a   ~ 2 5 - 3 0   ( v a r i e s   b y   p a i r )   N e u r a l   ma c h i n e   t r a n sl a t i o ( N M T)   H a n d l e s l o n g - r a n g e   d e p e n d e n c i e s;   b e t t e r   f l u e n c y   R e q u i r e l a r g e   d a t a s e t s ;   c o m p u t a t i o n a l l y   e x p e n si v e   ~ 3 0 - 35   La r g e   l a n g u a g e   mo d e l ( LLM s)   M u l t i l i n g u a l   s u p p o r t :   f e w - sh o t   a n d   z e r o - s h o t   l e a r n i n g   H i g h   r e s o u r c e   r e q u i r e me n t s ;   n e e d s   f i n e t u n i n g   ~ 3 5 - 40       W also   p r o v id co m p ar is o n s   with   o th er   m ajo r   ap p r o ac h es  to   MT   in clu d in g   SMT   a n d   NM T ,     as  well  a s   L L Ms,  to   i llu s tr ate   th eir   r elativ s tr en g th s   an d   w ea k n ess es.  SMT   m ak es  h u g u s o f   p ar allel  d ata  ( th k in d   with   tr an s latio n s ) ,   i s   ex tr em ely   ac c u r ate  f o r   s h o r t   s en ten ce s   n icely   f r am e d   b y   p h r ases ,   an d   s im p ly   b r ea k s   d o wn   wh e n   u s ed   o n   v e r n ac u lar .   B leu   s co r e   is   ex p ec t ed   to   b s o m ewh er b etwe en   2 5 - 3 0   d e p en d i n g   o n   lan g u ag e   p air .   I n   co n tr ast,  NM T   ca n   allo w   f lu e n d ec o d in g   a n d   b e   r o b u s to   co m p licated   ar ch itectu r es     s u ch   as  lo n g   co n ten ts   d ep e n d en cies.  T h B L E s co r es  ar e   ty p ically   s o m ewh er e   b etwe en   3 0   a n d   3 5 ,   th o u g h   b o th   o f   th o s e   m etr ics  ar d ep en d en o n   m ass iv am o u n o f   d ata  an d   co m p u ter   p o wer .   Du to   t h m u ltil in g u al  tr an s latio n   ca p a b ilit ies  an d   ze r o - s h o t,  f ew - s h o lear n in g   ab ilit y ,   L L ex c els  in   th is   r eg ar d ,     wh ich   is   lar g ely   b e n ef icial   f o r   l o w - r eso u r ce   lan g u ag es.  L L Ms  o b tain   t h s tate - of - t h e - ar p er f o r m a n ce s     ( m o r th a n   3 5 - 4 0   B L E U)   b u ar co m p u tatio n ally   d e m an d in g   an d   r eq u ir e   h ea v y   f in e - t u n in g .   T h er a   o f   NM T   a n d   L L h as  in d ee d   attr ac ted   u s   in t o   a n   u n p r ec ed en ted l y   h ig h - q u ality   a n d   ef f icien t   p r o ce s s es  o f   tr an s latio n   th o u g h   SMT   laid   th e   co r n er s to n o f   MT .   Ho we v er ,   t h er ar e   s o m p r o b lem s   with   ea ch   o f   th e   ap p r o ac h es  wh en   tr ea tin g   m o r c o m p lex   lin g u is tic  s tr u ctu r es  an d   r eso u r ce   d e m an d s .   B y   k n o win g   th ese  ap p r o ac h es,  esp ec ially   in   v iew  o f   th e   d if f er e n lan g u ag r eq u ir em en ts   p o s ed   b y   th I n d ian   c o n tex t,   r esear ch er s   a n d   d ev elo p e r s   ca n   d ec id wh ic h   s tr ateg y   to   a d o p t f o r   a   p ar ticu lar   tr a n s latio n   t ask .   W h en   th s ize  o f   tr ain in g   d ata  b ec o m es  lar g er ,   we  co m p ar B L E s co r es  o f   th r e d if f er e n t   tr an s latio n   ap p r o ac h es  in   Fig u r 1 L L Ms,  NM T ,   an d   SMT .   T h B L E s co r -   m ea s u r o f   th e   q u ality   o f   tr an s latio n     g o es   u p   as  y o u   u s m o r d ata.   Ho wev e r ,   ir r e s p ec tiv o f   t h s ca le  o f   d ata,   L L Ms  co n s is ten tly   s ig n if ican tly   im p r o v o v e r   b o th   SMT   an d   NM T   h av in g   h ig h er   B L E s co r e.   SMT   s h r in k s   v er y   s lo wly ,   with   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       B r id g in g   th lin g u is tic  d ivid e:   r ec en t d ev elo p men ts   in   ma ch i n tr a n s la tio n   fo r   … ( Ja y a n a n d   A .   K a mb le )   1275   litt le  f u r th er   im p r o v em e n af t er   g ettin g   a   ce r tain   am o u n o f   tr ain in g   d ata,   wh ile   NM T   co n tin u es  to   g et   b etter   as  it  is   p r o v id ed   m o r tr ain i n g   d ata  ev en   with o u r ea c h in g   S MT   o r   L L lev el.   Su ch   g r ap h   s h o ws  th at  L L Ms  ar s u p er io r   to   SMT   an d   NM T   in   h ar d   tr an s latio n s ,   an d   th ey   b en ef it th m o s t f r o m   b ig   co r p o r a.           Fig u r 1 .   B L E s co r co m p ar is o n   f o r   SMT ,   NM T ,   a n d   L L Ms w ith   in cr ea s in g   tr ain in g   d a ta       2 . 2 .     Cha lleng es in  MT   f o I nd ia n L a ng ua g es   MT   f o r   I n d ia n   lan g u ag es  [ 30 ]   h as  s ee n   s ig n i f ican g r o wt h   in   r ec e n tim es.  T h e r ar e,   h o wev er ,   s ev er al  im p o r tan t   o b s tacle s   t o   MT   s y s tem s   b ein g   d ep lo y e d   an d   ev o lv ed   ef f ec tiv ely .   T h ese  co n s tr ain ts   ar e   d is cu s s ed   in   th is   s ec tio n ,   an d   a n   in s ig h t to   th f u tu r e   wo r k   o f   r esear ch   an d   d ev elo p m en t is p r esen ted .     2 . 2 . 1 .   Cha lleng es wit da t a   s ca rc it y   On o f   th p r im ar y   c h allen g es  in   cr ea tin g   r eliab le  MT   f o r   I n d ian   lan g u ag es  in   p ar tic u lar   is   th e   lim ited   av ailab ilit y   o f   lar g p a r allel  co r p o r [ 3 1 ] .   Desp ite  s o m p r o jects  lik Sam an an tar   [ 3 2 ]   b ein g   ef f ec tiv e   in   cr awlin g   d ata  f o r   f ew  lan g u ag p air s ,   th er ar v er y   f e o r   h ar d ly   an y   co m p r eh en s i v d atasets   av ailab le   to   tr ain   an d   test   m o d els  th at  wo u ld   wo r k   o n   s ev er al  o f   th r e g io n al  lan g u a g es.  T h d ata  s p ar s en ess   p r esen ts   a   b asic b o ttlen ec k   f o r   tr ain in g   a n d   test in g   o f   tr a n s latio n   m o d els.  T h ese  co r p o r a   s h o u ld   b en l ar g ed   in   t h f u tu r e,   an d   d e v elo p m e n o f   s u ch   r eso u r ce s   m u s illu s tr ate  n e s tep s   in   p ar allel  d ata   p r eser v atio n   p lan n in g   em p h asizin g   co n tin u o u s   co l lab o r atio n   b etwe en   lan g u ag co m m u n ities ,   ed u ca tio n al   in s titu tio n s   an d   tech n o lo g y   g en e r atin g   en titi e s   to   k ee p   u p   h ig h - q u ality   p a r allel  d ata  ab le  to   f ac b o t h   d ialec tal  as  well  a s   s o ci o - r eg is ter   s itu atio n s .     2 . 2 . 2 .   I dio m a t ic  a nd   cult ura l nua nces   I n d ian   lan g u a g es  h av e   h u g c o n cu r r en id io m s   an d   cu ltu r e - s p ec if ic  p h ases ,   m o s o f   wh ic h   ca n   o n ly   b u n d er s to o d   u s in g   th e   s am e   m eth o d   in   MT   th ese  d a y s   [ 3 3 ] .   T h er e   is   v ast  v ar iab ilit y   in to   s u ch   id io m atic   s tr u ctu r es  b ased   o n   s o u r ce   lan g u ag cu ltu r e,   in   an y   s in g le  tar g et  lan g u ag it  ca n   v er y   d if f e r en t.    Mo d els  ( p ar ticu lar l y   th e   o n e s   wh ich   ar t r ain ed   o n   s m aller   d atasets )   s tr u g g le  t o   ca p t u r s u ch   n u a n ce s ,   r esu ltin g   in   tech n ical   tr an s latio n   c o r r ec t   o u tp u ts   th at  m is s   t h m ar k .   T o   t h is   en d ,   id io m atic  p h r ase   tr an s latio n   is   r elativ ely   u n d e r - ex p lo r ed   as  task   o n   its   o wn   a n d   i n   r elati o n   to   th g o al  o f   cr ea tin g   s y s tem s   th at  ar ab le   to   u n d er s tan d /c o r r ec c u ltu r e - s p e cif ic  tr an s latio n s .   T h New   Y o r k   team   h as  p ar t n er ed   with   l o ca an d   lin g u is tic  ex p er ts   to   m ak s u r th at  th e y   ar r ea d y   f o r   th is   task ,   to o as  cu ltu r al  p o licies  wil b ec o m k ey   in   en s u r in g   MT   s y s tem s   m ee t th p er f o r m an ce   ex p ec tatio n s   an d   s u itab ilit y   o f   th n ativ s p ea k er .     2 . 2 . 3 .   M o del  co m plex it y   a nd   co m pu t a t io na l c o s t s   NM T   an d   L L Ms  im p r o v e   f lu en cy   a n d   co r r ec t n ess ,   b u t   th co m p u tatio n al   co s in v o lv in g   th u s o f   NM T   an d   L L is   f ar   b ey o n d   th ca p ab ilit y   o f   m o s s m all  r esear ch   g r o u p s   an d   m u ch   o f   in d u s tr y .     Dev elo p in g   an d   tr ain in g   th ese  m o d els  ca n   also   b ex p en s iv f o r   n o n - p r o f it  o r   lo r eso u r ce   o r g a n izatio n s ,   wh o   m ay   lac k   th in f r astru ctu r to   s u p p o r s u ch   i n itiativ es  f in an cially .   T h is   is   u n d o u b te d ly   m ajo r   n eg ativ e,   wh ich   war r an ts   d esig n in g   al g o r ith m s   an d   m o d els  th at  p r o v id h ig h - q u ality   tr an s latio n s   with o u b ein g   co m p u tatio n ally   p r o h ib itiv ely   ex p en s iv e.   Mo d el  co m p r ess io n   an d   o p tim izatio n   tech n iq u es  ar also   an   o p tio n   to   im p r o v ac ce s s ib ilit y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 Sep tem b er   20 26 1 2 7 2 - 1 2 8 9   1276   2 . 2 . 4 .   M ultiling ua m o dels   a nd   t ra ns f er   lea rning   T r an s f er   lear n in g   h as  em er g e d   as  an   ef f ec tiv e   ap p r o ac h   f o r   im p r o v in g   MT   s y s tem s   [ 3 4 ]   esp ec ially   lo r eso u r ce   I n d ian   lan g u a g es.  On ca n   s ca le  lo r eso u r ce   tr an s latio n   ab ilit y   to   s ca le  f o r   e v en   lo r eso u r ce s   ( s u ch   as  Od ia,   Kan n ad an d   Ass am ese)   u s in g   d ata/m o d els  tr ain ed   o n   h ig h   r eso u r ce   lan g u ag es  s u ch   as  Hin d i   an d   Ma r ath i.   T h is   s tr ateg y   le v er ag es  th i n f o r m atio n   alr ea d y   p r esen in   th e   d ata  a n d   e n ab les  cr o s s - lin g u al   tr an s f er   o f   k n o wled g th at   ca n   en h an ce   tr an s latio n   q u ality   an d   e f f icien cy .   T o   s y s tem atica lly   tr y   an d   v alid ate   s u ch   an   ap p r o ac h   o v er   a   m u lt itu d o f   I n d ian   lan g u ag es  ca ll s   f o r   well - d ef in ed   tr an s f er   lea r n in g   m et h o d s   an d   f r am ewo r k s   in   t h f u t u r e.       2 . 3 .     K ey   co ncept s   in  MT   I n   t h i s   s e c t i o n   w e   p r e s e n t   t h e   w e l l   s u i t e d   s o l i d   m a c h i n e   l e a r n i n g   m e t h o d s   a n d   w e   c l a s s i f y   t h e m   b e s i d e s   t r a n s l a t i o n   l o w   a n d   h i g h   p r e c i s i o n .   I t   d e s c r i b e s   s e v e r a l   m a c h i n e   t r a n s l a t i o n   a p p r o a c h e s   i m p l e m e n t e d   i n   d e p t h   v a r y i n g   f r o m   s t a t i s t i c a l   u p   t o   m o r e   m o d e r n   o n e s .   T h e   a b i l i t y   f o r   t h e s e   m o d e l s   t o   p r o v i d e   t r a n s l a t i o n   a c c u r a c y   f r o m   s i m p l e   s t a t i s t i c a l   m e t h o d s   t o   s o p h i s t i c a t e d   d e e p   l e a r n i n g   a n d   m u l t i l i n g u a l   m o d e l s   i s   h i g h l i g h t e d   i n   t h e   s e c t i o n .     2 . 3 . 1 .   Sta t is t ica m a chine t ra n s la t io n     SMT   r elies  o n   s tatis tica m o d els  to   p r ed ict  tr an s latio n   b ase d   o n   p r o b ab ilit ies  d er iv ed   f r o m   lar g e   co llectio n   o f   p ar allel  tex ts .   I was  b ased   o n   h o o f ten   wo r d s   an d   p h r ases   n atu r al ly   o cc u r   to g eth er   ( s p o n tan eo u s ly   co m b in e)   i n   p ar allel  tex ts   in   two   lan g u ag es,   an d   m a d u s e   o f   th ese  p r o b a b ilit ies  to   co n s tr u ct  tr an s latio n s .   SMT   d o es  well  wh en   th p h r ase  len g th   is   s m all  an d   s en ten ce   s tr u ctu r g et s   class ic  b u SMT   r elies  o n   p ar allel  co r p u s   f o r   m atch in g   p atter n s   b etwe en   s o u r ce   lan g u ag an d   tar g et.   On   th is   co u n t,     p h r ase - b ased   m o d els ex ce l,  p r o d u cin g   o cc asio n ally   q u ite  s atis f ac to r y   tr an s latio n s   o f   th ese  b asic sen ten ce s .   Ho wev er ,   SMT   h as  its   lim itatio n s .   Dee p er   lin g u is tic  s tr u ctu r es  an d   id io m s ,   o r   f in e   lan g u a g u s a r e   o u o f   i ts   leag u e.   An d   th e   p e r f o r m a n ce   g ets  wo r s as  th e   s en ten ce   b ec o m es  lo n g er   a n d   m o r e   co m p licated .   T h is   is   b ec au s SMT   is   h ea v ily   d ep en d en o n   m ass iv p ar allel  co r p o r an d   d o es  n o t   h av an y   k in d   o f   co n ce p tu al  co n s tr ain ts ,   wh ich   ar n ec ess ar y   f o r   d ee p er   o r d e r   u s o f   th lan g u ag [ 35 ],   [ 36 ] .   T h b asis   f o r   th SMT   ar p h ar s e - b ased   m o d el s   ( th er is   e. g . ,   n o   s in g le  wo r d   tr an s latio n   m o d el) ,   an d   a   T M/L co m b in atio n   g en er atin g   p r o p e r - s h ap s en te n ce s   with   f lu en t u s o f   lan g u a g e,   r esp ec tiv ely .   De co d i n g   is   ce n tr al  co m p o n en t   o f   SMT th m ac h in e   "d ec id es"  o n   th b est  p iece wis tr an s latio n   co m b in in g   wo r d s   an d   p h r ases   b ased   o n   s t a ti s t i c al   l i k e li h o o d   ( S n o v e r   e t   a l .   T h o s e   p e r c e n ta g e s   h a v e   to   d o   w i t h   t h e   p a r t i c u l a r   m at h   o f   S M T ,   w h i c h   I   in   t h e o r y   d e t e r m i n e s   h o w   l i k el y   a   g i v e n   t r a n s l a ti o n   p r o d u c e d   b y   t h e   s y s t e m   is   t o   b e   r i g h t ,   v e r s u s   a b s o l u te  g i b b e r i s h .   T h i s   p r o c ess   a l l o ws   S M T   t o   h a n d l e   s t r u c t u r e d   t r a n s l a ti o n s   p r e tt y   w e l l .   N e v e r t h e le s s ,   b e ca u s e   i t   r e li es  s o   h e a v i l y   o n   d a t a   a n d   s t a ti s ti ca l   m o d e l s ,   i t   h a s   a   h a r d e r   t i m e   w i t h   t h e   m o r e   c o m p l e x   n u a n c es   o f   l a n g u a g e .   Ma th em atica l E x p r ess io n   [ 25 ] :     e ̂ = a r g   ma x P ( e f ) = a r g   ma x P ( f e ) P ( e )   ( 1 )     W h er e,   P ( e f )   is   th p r o b ab ilit y   o f   tar g et  s en ten ce   b ein g   g iv en   s o u r ce   s en ten ce .   ( )   I s   th p r o b ab ilit y   o f   s o u r ce   s en ten ce   g iv en   a   tar g et  s en ten ce .     2 . 3 . 2 .   Neura m a chine t ra ns la t io n   MT   u s o cc u r s   in   au t o m ated   tr an s latio n   to o ls   a n d   p r o g r a m s   ( in clu d in g   b u n o t   lim ited   to   SMT ) ,     but   r ec e n tly   NM T   h as  b ec o m th e   in d u s tr y   s tan d ar d   f o r   ad v an cin g   th e   p e r f o r m an ce   o f   MT   t h r o u g h   d ee p   lear n in g   tech n o lo g y .   I n s tead   o f   p iece s ,   th at   wo r d   o r   p h r ase  y o u   u s is   f ed   to   NM T   a n d   ev e r y th in g   tr a n s lates a t   o n ce   tak in g   th f u ll  co n tex in to   ac co u n t.  E n c o d er   tak es  t h in p u s en ten ce   as  in p u an d   g en er ates  f ix ed   en co d in g   wh ich   is   th en   u s ed   b y   th d ec o d er   t o   p r e d ict  its   s ec o n d   lan g u ag e   tr an s latio n .   Att en tio n   is   o n o f   th e   k ey   f ea tu r es  o f   NM T   an d   g r an ts   th m o d el  with   an   a b ilit y   to   f o cu s   o n   im p o r tan wo r d s /p h r ases   in   s en ten ce ,   esp ec ially   cr u cial  wh en   tr an s latin g   lo n g er   an d   m o r s y n tactica lly   co m p lex   s en ten ce s   wh ich   u ltima tely   en ab les  u s   to   b etter   p ass in g   lo n g - ra n g d ep e n d en cies  f r o m   in p u ts   s o   we  g en er ate  ap p licab le  tr an s latio n s   th at   ar n o o n ly   n atu r al  s o u n d in g   b u co n tex tu ally   p er tin en to o .   Ad d itio n ally ,   NM T   u s es  lan g u ag m o d els  to   en s u r th at  tr an s latio n s   ar als o   s y n tactica lly   an d   s ty lis tically   co r r ec t.   An o th er   b en ef it   o f   s u b wo r d   N MT   s y s tem   is   th at  th e y   ca n   p r o d u ce   id io m atic  a n d   n atu r al,   c o n tex tu al   tr an s latio n .   NM T s So ,   W h ile  NM T   Has  L im itatio n s .   T o   p e r f o r m   well,   it  r eq u ir es  lar g am o u n o f   tr ai n in g   d ata  wh ich   is   d if f icu lt  to   co m b y   f o r   lo w - r eso u r ce d   la n g u ag es.  I n   ad d itio n ,   th ey   a r co m p u tatio n ally   in ten s iv an d   n o all  th r esear ch   g r o u p s   m ay   h a v an   a b ilit y   to   b u ild   it  o r   ap p ly   in   r e - s o u r ce   lim ited   en v ir o n m en ts .   Desp ite  th m e n tio n ed   c h allen g es,  NM T   n o wad ay s   is   th s tate - of - th e - ar ap p r o ac h   to   o b tain   h ig h   q u ality   MT   f o r   v ar io u s   lan g u ag es  [ 3 5 ] ,   [ 3 6 ] .   T h b as ic  ar ch itectu r o f   NM T   a p p li es  th en co d e - a n d - Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       B r id g in g   th lin g u is tic  d ivid e:   r ec en t d ev elo p men ts   in   ma ch i n tr a n s la tio n   fo r   … ( Ja y a n a n d   A .   K a mb le )   1277   d ec o d ( E ND)   m ec h a n is m   an d   atten tio n   lib e r ally   to   d ed u ce   th m ap p in g   f r o m   s o u r ce   s en ten ce   to   its   m o s s im ilar   p ar ts .   NM T   ad d itio n ally   u s es  ad v an ce d   n e u r al  n ets  lik R NNs,  L STM s   an d   GR Us  to   h an d le   s eq u en tial  d ataa n d   k ee p   th c o n tex with in   lo n g er   s en ten ce s .   T h ese  th in g s   co m b in ed   allo f o r   tr a n s latio n s   to   b f lu id   an d   s en s ib le  ev en   i f   th s en ten ce s   ar co m p lex .   I n   p ar ticu lar ,   th m ath em a tical  f o r m s   o f   th e   r elatio n s h ip   b etwe en   th in p u an d   o u tp u s eq u en ce s   g iv es  in s ig h in to   h o s u ch   co n tex tu ally   s im ilar   tr an s latio n s   s h o u ld   b g en er at ed   b y   t h is   m o d el  ac co r d in g l y .   Ma th em atica l E x p r ess io n   [ 25 ],   [ 37 ] :     N M T ( X ) = s oft ma x ( W ht + b )   ( 2 )     w h er is   o u tp u p r o b ab ilit y   d i s tr ib u tio n   o v e r   tar g et  v o ca b u l ar y ,   is   weig h m atr ix ,   h is   h i d d en   s tate  o f   n eu r al   n etwo r k   at  tim s tep ,   b   in   n o t atio n s   d en o tes  b ias  v ec to r   an d   ac ts   as  ac tiv atio n   f u n ctio n   th at  m ap s   in p u lo g its   to   b p r o b a b ilit y   d is tr ib u tio n .     2 . 3 . 3 .   B y t pa ir  enco din g   ( B P E )   B PE  [ 3 8 ]   is   p o wer f u te x t o k en izatio n   alg o r ith m ,   f o r   ch ar ac ter   r em o v in g   m eth o d s   in   NL th at  lear n s   to   em b ed   r ar o r   u n s ee n   wo r d s .   B PE  s p lits   wo r d s   ev en   f u r t h er   in to   s m aller   p iece s ,   o f ten   ch a r ac ter s   o r   s u b wo r d s ,   wh ile  f u ll - w3 o r d s   ca n   lead   to   o u t - of - v o ca b u lr y   i n s tan ce s   ( OOV) .   Nex t,  to   r ea ch   p r ed eter m in ed   v o ca b u lar y   s ize  it   co m b in es  t h lev els  o f   h ig h est  c o u n ts   in   an   iter ativ e   way   u n til  th e   d esi r ed   s ize  is   r ea ch ed .     T h is   is   n ice  tr a d e - o f f co m m o n   wo r d s   r em ai n   p r esen ( s o   ar ea s y   wo r d s   s tay   in tact) ,   b u t   less   co m m o n     ( o r   h a r d er )   o n es a r b r o k en   in t o   ea s ier   ch u n k s .   Su ch   an   ap p r o ac h   wo r k s   well  f o r   NM T   wh ich   is   task   th at  u tili ze s   lar g v o ca b u lar y   to   tr a n s late  tex an d   th m o d el  s h o u ld   n o b b iased   b y   u n s ee n   wo r d s .   On d o wn s id th o u g h ,   is   th at,   as  we   s et  t o p   v o ca b u lar y   s ize  m an u ally ,   wr o n g   ch o i ce   ca n   lead   t o   p o o r   p er f o r m an ce .   T h e r ef o r e ,   wh ile  B PE  is   p o wer f u l   an d   im p o r tan p ar o f   th e n co d e r   th at  b o o s ts   m o d el  p e r f o r m a n ce ,   an   o p tim al  v o ca b u lar y   s ize  s h o u ld   also   b e   f in etu n ed .   B PE  wo r k s   b y   iter ativ ely   r ep l ac in g   m o s f r eq u e n ad jace n ch ar ac ter s   o r   ch ar ac ter   p air s   ( u p   to   a   lim it  in   s ize  d eg r ee )   u n til  th tar g et  p r ep r o ce s s ed   v o ca b u la r y   s ize  is   r ea ch ed .   T h o u g h   it  allo ws  m o d el  to   b etter   lear n   f r o m   d if f er e n lin g u is tic  d o m ain s ,   its   p er f o r m a n ce   is   s en s it iv b o t h   to o   s m all  an d   to o   lar g o f   v o ca b u lar y   s izes ( wh ich   im p a cts tr an s latio n   q u ality )   [ 3 9 ] .   Ma th em atica lly ,   E x p r ess io n   [ 40 ]     B PE ( in p ut ) = ite r a tive   r e pl a c e me n t   of   most   fr e q ue n t   b yte   pa ir s   ( 3 )     2 . 3 . 4 .   At t ent io m ec ha nis m   T h atten tio n   m ec h a n is m   is   h u g a d v an ce   f o r   th e   n eu r al  n etwo r k   o f   esp ec ially   f o r   MT   T h is   en ab les  m o d els  to   f o cu s   m o r o n   r elev a n co m p o n en ts   o f   th eir   i n p u r ath er   th a n   tr ea tin g   ev er y t h in g   in   th in p u as  eq u ally   r elev en t.  I d o es  th is   b y   ass ig n in g   atte n tio n   weig h ts   wh ich   h elp s   th m o d el  to   d eter m in e   th at  p ar o f   th in p u o n   wh ich   it  s h o u ld   f o cu s   ( 0   f o r   f o r g ettin g ,   1   f o r   r em em b er i n g ) ,   allo win g   it  to   lear n   co m p lex   s en ten ce s   an d   lo n g - r an g wo r d   d ep e n d en cies  m o r ef f icien tly .   I is   th is   atten tio n   th at  allo ws  f o r   m o r ac cu r ate  m o d els,  an d   g r ea ter   co n tex awa r e n ess   esp ec ially   wh en   th er ar ce r tain   wo r d s   th at  s ig n if y   th im p o r tan ce   m o r th a n   o t h er s .   T h ey   b asically   aid   f o r   th b etter   an d   p r ec is tr an s latio n s   b ec au s th ey   ca p tu r th e   in - p lace   p ec u liar ities   o f   lan g u ag e.   T h m ath e m atica ex p r ess io n s   co n ce r n i n g   th is   p r o ce s s   ar e   m en tio n ed   as f o llo [ 4 1 ] .   Ma th em atica l E x p r ess io n   [ 42 ]     A tte n t ion ( Q , K , V ) = s oft ma x   (  )   ( 4 )     is   th q u er y   m atr ix ,   K   is   th k ey   m atr ix ,   V   is   th v alu m atr i x ,   an d     is   th d im en s io n   o f   th k e y s .     2 . 3 . 5 .   T ra ns f o rm er   a rc hite ct ure   T h T r an s f o r m er   in   n atu r al  la n g u ag e   p r o ce s s in g   elim in ates  th s eq u en tial  o r d er   o f   th in g s   an d   ca n   b e   d o n o n   b atch   m u ch   f aster ,   m o r ef f icien tly   in   p ar allel.   Un lik lan g u a g m o d els  s u c h   as  R NNs   th at  ar p r o ce s s ed   to k e n   b y   to k en ,   th T r an s f o r m e r   p r o ce s s es  all  to k en s   at  o n ce   an d   th is   is   wh y   it  ca p tu r es  lo n g   r a n g e   d ep en d e n cies  m u ch   b etter   th a n   an y   o th er   ar c h itectu r ev er   cr ea ted .   T h f o u n d atio n   f o r   th is   is   s elf - atten tio n ,   wh ich   allo ws  ea ch   to k en   to   “lo o k   at”   ev er y   o th e r   to k e n   in   an   in p u s eq u en ce   an d   g et  b ac k   co n tex t   r ep r esen tatio n   o f   th e n tire   co n tex t f o r   ea ch   wo r d .   T h co r co m p o n en ts   o f   th e   T r an s f o r m er   ar its   s elf - atte n tio n   lay er s   an d   p o s itio n al  en co d in g s ,   wh ich   allo it  t o   k n o h o to k en s   r e late  to o n e   an o t h er   as  well  as  w o r d   o r d er .   I n   ad d itio n ,   it  u s es     m u lti - h ea d   atten tio n   th at   allo ws  th m o d el   to   p ay   atten tio n   to   d i f f er en t   p o s itio n s   o f   th e   i n p u s eq u en ce   at   th Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 Sep tem b er   20 26 1 2 7 2 - 1 2 8 9   1278   s am tim m ak in g   it  b etter   a b le  to   f in d   co m p lex   p atter n s .   T h ese  s et   o f   f ea tu r e s   en ab le  th tr an s f o r m er   to   ex ce in   lik e   tr an s latio n ,   s u m m ar ized   it  a n d   a n s wer   an y   q u esti o n .   Ov er v iew  o f   t h m ath e m atica f o r m u latio n s   o f   s elf - atten tio n   in   tr an s f o r m e r s   [ 4 3 ] ,   [ 4 4 ] .     Tr a n s for me r ( X ) = M ul tiHe a d ( X ) + FFN ( M ul tiHe a d ( X ) )   ( 5 )     M ul tiHe a d ( X )   r ep r esen ts   t h m u lti - h ea d   atten tio n   m ec h an is m   a n d   r ep r es en ts   f ee d - f o r war d   n etwo r k   t h at  is   ap p lied   to   th e   o u tp u t o f   m u lti - h ea d   atten tio n .     2 . 3 . 6 .   L a rg la n g ua g e   m o del s   LLMs   ar r o b u s n eu r al  n etw o r k s   d esig n ed   to   s o lv v ar i o u s   k in d s   o f   lan g u ag task s   s u ch   as  tex t   g en er atio n ,   tr an s latio n ,   q u esti o n - an s wer in g   an d   s u m m ar izat io n .   GPT,   B E R T   an d   L L aM A   ar all  ex am p les  o f   lan g u ag m o d els  tr ain e d   b y   d e ep   lear n in g   o v e r   v e r y   lar g s ets  o f   wr itten /ty p ed   d ata;  th ey   u tili ze   th eir   tr ain in g   d ata  to   g e n er ate  h u m an - s o u n d in g   r esp o n s es  with   r e s p ec to   g iv en   p r o m p t.  L L Ms  a r d if f er en b ec a u s th e y   lev er ag s elf - atten tio n   an d   tr a n s f o r m er   ar c h itectu r es  to   ac h i ev co n tex o v er   lo n g er   d is tan ce s ,   wh ich   en ab les  th em   to   b etter   p r o ce s s   an d   g en er ate  tex t.   L L Ms  ar b asically   d ef in ed   as  tr an s f o r m er s   ( An o th er   Dim en s io n   f o r   T r a n s f o r m er s   an d   L an g u ag e   Mo d els)  o r   th e   u s o f   lar g e - s ca le  p r etr ain in g   a n d   f in etu n i n g   to   ac h iev e   s tate - of - th e - a r r esu lts   o n   lan g u ag e   task s .   T h is   m ak es  f o r   p o wer f u m o d els  th at  ar tr ain ed   o n   lar g d atasets   f o llo wed   b y   f in e - tu n in g   p h a s o n   m an y   d o wn s tr ea m   task s ,   p r o d u cin g   v er y   ef f ec tiv m o d els   ev en   with   lim ited   d ata  a v ai lab le.   W h ile  th ese   m o d els ca n   d o   wo n d er   wo r k ,   t h ey   also   r eq u ir s ig n i f ican t c o m p u te  r eso u r ce s   to   tr ain   a n d   r u n .   Her we  s im p ly   d ef in th m at h s   f o r   t h eir   m ai n   o p er atio n   ( m o s tly   s elf - atten tio n )   im p lem e n tatio n   o f   co r e   p ar t.   Ma th em atica l e x p r ess io n   [ 45 ] ,     ( | 1 , 2 , , 1 ) = ( 1 , 2 , 1 ) ( 1 , 2 , )    ( 6)     2 . 4 .     E v a lua t i o n m et rics   Au to m atic  ev alu atio n   m etr ics au to m atic  ev alu atio n   m etr i cs  p lay   cr itical  r o le  in   MT   s y s tem s ,   ev alu atin g   th p r o d u ce d   o u tp u ag ain s h u m an   r ef er e n ce   tr an s latio n s   an d   m ea s u r in g   h o clo s ely   it   ap p r o x im ates  th em   [ 4 6 ] .   On p o p u lar   m etr ic  is   ca lled   b ilin g u al  e v alu atio n   u n d er s tu d y   ( B L E U )   th at  q u an tifie s   wh at  p er ce n t o f   th n g r a m s   in   y o u r   MT   an d   r ef e r en ce   tr an s latio n   o v er lap   with   ea ch   o th er ,   as a   m ea s u r em en t   o f   f lu e n cy   a n d   ac c u r ac y .   T h e   s ec o n d   m etic  is   th e   m etr ic  f o r   ev alu atio n   o f   tr an s latio n   wit h   ex p licit  o r d e r in g   ( ME T E OR ) ,   wh ich   also   f o c u s es  o n   w o r d s   in   b o th   r ef er en ce   an d   tr an s latio n   b u t   also   ac co u n ts   f o r   co n tex tu a l   m ea n in g ,   r e d u ce s   in f lectio n al   v ar iab ilit y .   L astl y ,   tr an s latio n   er r o r   r ate  ( T E R )   g ets  th m in im u m   n u m b er   o f   ed its   th at  ar r e q u ir e d   to   m atc h   m ac h in o u tp u tr an s latio n   to   t h r e f er en ce   tr an s latio n   an d   f o cu s es  o n ly   o n   th o s s eg m en ts   wh er e   tr an s la ted   tex m is m atch es  h u m an .   T h ese  d im en s io n s   r ep r esen a   h o lis tic  in - d e p th   p r o f ilin g   o f   th e   tr an s latio n   q u a lity   b ey o n d   ad e q u ac y   a n d   p o s t - ed itin g   ef f o r t o f   MT   o u tp u t.   B L E s co r e:  B L E s co r is   a   co m m o n ly   u s ed   m etr ic   b y   Pap in en i   et  a l.  [ 47 ]   to   ev alu ate     m ac h in e - g e n er ated   tr a n s latio n s .   I in d icate s   h o w   m u ch   tr a n s latio n   d ev iates  f r o m   s et  o f   h u m a n   r e f er en ce   tr an s latio n s ,   r an g in g   b etwe en   0   an d   1   with   h ig h e r   v alu e   r ep r esen tin g   b etter   alig n m e n t .   n - g r am   p r ec is io n   m ea s u r es  th o v er lap   o f   n - g r am s   in   m ac h in o u tp u an d   r ef er en ce s ,   co m p u tin g   B L E s co r e.   b r ev ity   p en alty   ( B P)  is   ac co u n ted   f o r   in   th f in al  co m p u tatio n   to   av o id   f av o r in g   s h o r ter   tr an s la tio n s ,   an d   p en al ize   tr an s latio n s   th at  ar e   ex ce s s iv ely   s h o r t   wh ich   h ig h   p r ec i s io n   o n l y   wo u ld   r ewa r d .   B L E d ev elo p ed   as  a   s tan d ar d   m etr ic  f o r   au to m atic   m ac h in e   tr an s latio n   ev alu ati o n   d u e   to   its   o b jectiv e ,   r ep r o d u cib le  co m p u tatio n   an d   its   g o o d   s ca lin g   p r o p er tie s   ac r o s s   lan g u a g es  an d   m o d el s .   T h f o r m u la  in cl u d es  a   b r e v ity   p e n alty   wh ic h   co n s tr ain s   th len g th   o f   th e   tr a n s latio n :      =   ( = 1  )   ( 7 )     w h er e:   BP   is   th b r ev ity   p en alty .     is   th p r ec is io n   o f   n - g r am s .     is   th weig h t f o r   ea c h   n - g r am   len g th   ( u s u ally   u n if o r m ) .   T h ese  co n ce p ts   h elp   in   th o r ig in   o f   m o d er n   MT   m et h o d s ,   f r o m   h is to r ical  v iews  to   co n tem p o r ar y   tech n iq u es  [ 4 8 ] .   ME T E OR   Sco r e:  s co r in g   m eth o d   t h at   allo ws  f o r   a   m o r n u an ce d   co m p ar is o n   o f   th MT with   B L E U.   T h f ir s t,  ME T E OR ,   f o cu s es  m o r o n   m ea n in g   an d   s y n o n y m s   th an   n - g r am   o v e r lap .     T h m eth o d s   ch ar ac ter is th m ea n in g   an d   r elatio n s   b etwe en   wo r d s   to   m o r a cc u r ate  d eg r ee ,   b y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       B r id g in g   th lin g u is tic  d ivid e:   r ec en t d ev elo p men ts   in   ma ch i n tr a n s la tio n   fo r   … ( Ja y a n a n d   A .   K a mb le )   1279   r ep r esen tin g   n o o n ly   ex ac wo r d   p atter n s   b u also   m atch es  th at  ar em b ed d ed   to g et h er   in   ce r tain   way s .     T h s co r v a r ies b etwe en   0   an d   1 ,   with   h ig h er   v alu in d ica tin g   b etter   co v er ag e   o f   t h h u m an   tr an s latio n s .   I n   ter m s   o f   co m p u tatio n ,   M E T E OR ' s   ca lcu latio n   d o es  n o r ely   o n   ex ac m atc h es  as  d o   B L E U.     T h is   co n s is ts   o f   d if f er en ty p e s   o f   wo r d   m atch es,  ex ac m at ch ,   s tem m ed   m atch   an d   s y n o n y m - b ased   m atch   as  well  as a cc o u n tin g   f o r   th o r d er   in   wh ich   wo r d s   wer wr itten .   An d   we  p en alize   tr an s latio n   if   it p lace s   wo r d s   in   awk war d   s p o ts .   ME T E OR   ag g r eg ates  p r ec is io n   ( am o u n o f   MT   th at   co r r esp o n d s   to   h u m an   r ef e r en ce )   an d   r ec all  ( h o m u ch   th h u m an   r ef er en ce   is   ca p tu r e d ) ,   b o th   ar eq u ally   weig h ted .   T h is ,   a n d   its   wo r d   o r d er   p en alty   m ak it   p o wer f u m ea s u r f o r   ass ess in g   th e   q u ality   o f   tr an s latio n .   T h e   ME T E OR   f o r m u latio n   is   g iv en   b el o [ 49 ] .     M E TEOR = 10 P R R + 9P ( 1 )   ( 8 )     w h er e:   wh er th u n ig r am   r ec all  an d   p r ec is io n   ar g iv e n   b y   R   an d   P,  r esp ec tiv ely .   T h b r e v ity   p en alty   MN   is   d eter m in ed   b y     = 0 . 5 ( )   ( 9 )     wh er QR   is   th n u m b er   o f   m atch in g   u n ig r am s ,   an d   C   is   th m in im u m   n u m b er   o f   p h r ase s   r eq u ir ed   to   m atch   u n ig r am s   in   t h SMT   o u tp u with   th o s f o u n d   in   th r ef er e n ce   tr an s latio n s .     2 . 5 .     Rev iew  o f   ex is t ing   m et h o do lo g ies   E ar ly   MT   s y s tem s   u s ed   r u le - b ased   ap p r o ac h es  t h at  h o we v er   ar e   co n s tr ain ed   b y   th a m o u n t   o f   lin g u is tic  r eso u r ce s   r e q u ir ed .   T h ese  s y s tem s   ex p lo ited   h an d - cr af ted   lin g u is tic  r u les  to   tr a n s late  b u th e y   ten d   to   b b r ittl an d   d id   n o g e n er alize   well  to   n o v el  s en ten ce s   [ 50 ] .   W n o p r esen r elate d   wo r k   f o r   t h task   o f   E n g lis h   to   Ma r ath i M T .   I n   2 0 1 7 ,   r esear ch   s tu d ied   b y   Ku n ch u k u ttan   an d   B h attac h ar y y a   [ 51 ]   s h o wed   th at  B PE  co u ld   f ac ilit ate  tr an s latio n   b etwe en   s im ilar   la n g u ag es.  T h eir   aim   was  to   en h an ce   tr an s latio n   b y   b ein g   ca p ab le  o f   lear n in g   v ar iab le - len g th   s u b - wo r d   u n its ,   en ab lin g   an   im p r o v ed   h an d lin g   o f   v o ca b u lar y   an d   t h e   ad d r ess in g   co m m o n   is s u es  s u ch   as  v o ca b u lar y   s p ar s ity   o r   o u t - of - v o ca b u lar y   ( OOV)   wo r d s .   B PE  p r o ce e d s   b y   b e g in n in g   with   v o ca b u lar y   o f   w o r d s   a n d   iter ativ ely   m er g i n g   t h m o s f r eq u en t p air   o f   ch ar ac ter s   o r   s y m b o ls .   I t   r ep ea ts   th p r o ce s s   u n til a  f i x ed   n u m b er   o f   m e r g es o r   s o m e   v o ca b u l ar y   s ize  is   o b tain ed .   I n   th is   way ,   B PE  d ec r ea s es  v o ca b u lar y   s ize  wh en   r etain in g   s en s an d   allo ws  m o r e   ef f ec tiv e   tr an s latio n   b etwe en   s im ilar   l an g u ag es  ( co m p ar T ab le   3 ) .   T h ap p r o ac h   n atu r ally   s o lv es  th p r o b lem   o f   OOV,   also   tu n es  th SMT   s y s tem   f o r   lan g u ag es  with   s im ilar   lex ical  s tr u ctu r e.   I n   th en d ,   th is   h elp s   m ak tr an s lat io n s   m o r ef f icien in   m an ag in g   v o ca b u lar y   an d   s o   is   well - s u ited   to   th o p tim izatio n   o f   r elate d   lan g u ag p air s .       T ab le  3 .   T h p ar allel  co r p o r a' s   tr ain ,   test ,   an d   tu n s p lits   [ 52 ]   La n g u a g e   p a i r   Tr a i n   Tu n e   Te st   b e n - h i n ,   p a n - h i n   4 4 7 7 7   1 0 0 0   2 0 0 0   k o k - mar,   ma l - t a m,t e l - m a l , h i n - m a l , ma l - h i n   4 4 7 7 7   1 0 0 0   2 0 0 0   u r d - h i n ,   b e n - u r d , u r d - mal , ma l - u r d   3 8 1 6 2   8 4 3   1 7 0 7   b u l - ma c   1 5 0 0 0   1 0 0 0   2 0 0 0   d a n - sw e   1 5 0 0 0 0   1 0 0 0   2 0 0 0   may - i n d   1 3 7 0 0 0   1 0 0 0   2 0 0 0   kor - j p n ,   j p n - kor   6 9   8 0 9   1 0 0 0   2 0 0 0       2 . 5 . 1 .   Da t a s et   We   em p lo y ed   th e   d ataset  d es cr ib ed   i n   T ab le   3   to   tr ain ,   f in etu n an d   test   MM T   m o d els  f o r   v a r io u s   lan g u ag p air s   co m p r is in g   I n d ian   lan g u a g es  as  well  a s   n o n - I n d ian   lan g u ag es.  T h e   ap p r o ac h   en s u r es  r esp o n s ib le  m o d el  o p tim izati o n   an d   esti m atio n   b y   m ain t ain in g   b ala n ce d   s p lits   f o r   tr ain in g ,   tu n in g ,   an d   test in g .   C o llectiv ely ,   it  in clu d es  I n do - Ar y an   an d   Dr av i d ian   lan g u ag es  f r o m   th I L C I   co r p u s   [ 1 7 ]   an d   p air s   o f   wo r ld   lan g u ag es   f r o m   th e   Op en Su b titl es2 0 1 6   co r p u s   [ 1 8 ] ,   r esu ltin g   in   c o m p r e h en s iv c h allen g d ataset  f o r   cr o s s - lin g u al  tr an s latio n   s y s tem s .   T h is   also   p o s es  th in tr in s ic  c h allen g o f   lin g u is tic  h eter o g en eity ,   in clu d in g   v o ca b u lar y   s p ar s en ess   in d u ce d   tr a n s latio n   er r o r s   in   s u ch   d atasets .   B L E is   s c o r wh ich   m ea s u r es  th q u a lity   o f   m o d el  b y   co m p ar in g   tr an s latio n s   to   h u m an   r ef er en ce s   s o   th at  we  ca n   e s tim ate  h o g o o d   ar with   o u r   tr an s lat io n .   B L E Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,   Vo l.  15 ,   No .   3 Sep tem b er   20 26 1 2 7 2 - 1 2 8 9   1280   s co r h ig h lig h ts   th ar ea s   t h at  n ee d   im p r o v e m en t,  a n d   e n co u r ag es  th o s co n tex tu ally   r elev an tr an s latio n s   ca n   b p r o d u ce d   f lu en tly   b y   MT   m o d els ac r o s s   d if f er e n t la n g u a g p air s .   An o th er   s tu d y   b y   J h an d   B h a ttach ar y y a   [ 5 3 ]   in   u n d er to o k   t h co n s tr u c tio n   a n d   r eso u r ce - b u ild in g   o f   NM T   s y s tem s   f o r   I n d ian   lan g u ag es  with   d if f icu lties   s u ch   as  r ich   m o r p h o l o g y   a n d   r elativ ely   m o r co m p lex   s y n tax .   E v er y   o n o f   t h ese  lin g u is tic  elem en m a k es  tr an s lat io n   in c r ea s in g ly   c o m p le x   an d   ca lls   f o r   a d d itio n al   r ef in ed   m o d el s   to   ch ec k   with   it.  T h e   au th o r s   ex a m in a   n u m b er   o f   NM T   ar ch itectu r es,  with   p ar ticu lar   em p h asis   o n   t r an s f o r m e r   m o d els  th at  u s s elf - atten tio n   to   l ea r n   lo n g - ter m   ter m   d ep e n d e n cies  in   s en ten ce s .   T h ey   u s tr an s f er - lear n in g   f r o m   b etter - r eso u r ce d   lan g u ag es  o r   s tr en g th en   ac cu r ac y   o n   lo w - r eso u r ce   o n es with   p r e - tr ain ed   m o d els  as  well.   T h d em o n s tr ated   ex p e r im en o f   n m in   T a b le  4   th at,   b u ilt  b etwe en   I n d ian   lan g u ag es,  th r e p o r ted   i m p r o v em en is   v is ib le  u s in g   B L E s co r es.  Hin d i - B en g ali,   in   o th er   wo r d s   th s co r e   f o r   TL - less   T r an s f o r m e r   im p r o v es  f r o m   2 5 . 4   t o   3 0 . 7   af ter   B PE  ( th v alu b ef o r was  2 8 . 5 )   Ho wev er ,   f o r   th e   T r an s f o r m e r   T L   ca s e,   th is   n u m b er   h ad   f allen   to   2 8 . 4   f r o m   an   in itial  s co r o f   3 0 . 1   a f ter   ap p ly in g   B PE   m ea n in g   th at  tr a n s f er   lea r n in g   n ee d s   m o r e   f in e - tu n i n g   b ef o r it  b ec o m es  u s ef u l.  Desp ite  t h ad v an ce m e n i n   tr an s latio n   q u ality   p r o v id e d   b y   n m t,  ac q u ir es  co n s id er a b l b o ttlen ec k   o f   r eq u ir in g   lar g tr ain in g   d atasets   f r o m   tex t c o r p o r a,   esp ec ially   f o r   lo w - r eso u r ce   lan g u ag es.       T ab le  4 .   T h p ar allel  co r p o r o f   I n d ian   lan g u ag es  [ 54 ]   D a t a s e t   La n g u a g e   p a i r   N u mb e r   o f   se n t e n c e s   S o u r c e   D a t a s e t   1   H i n d i   -   B e n g a l i   5 0 0 , 0 0 0   P a r a l l e l   C o r p u s   D a t a s e t   2   M a r a t h i   -   Ta m i l   3 0 0 , 0 0 0   P a r a l l e l   C o r p u s   D a t a s e t   3   Te l u g u   -   G u j a r a t i   2 0 0 , 0 0 0   P a r a l l e l   C o r p u s       As  f u r th er   ev id en ce   o f   im p r o v em en ts   in   NM T   s y s tem s   [ 5 5 ] ,   Kan d im alla  et  a l.   [ 5 6 ]   f o cu s   o n   tr an s latin g   f r o m   E n g lis h   to   v ar io u s   I n d ian   lan g u ag es.  T h e y   wr in g   s o m im p r o v em en ts   ab o v th v an illa   atten tio n   b ased   NM T   im p le m en tatio n   b y   le v er ag in g   tr an s f er   lear n in g ,   d o m ain   a d ap ta tio n   an d   f in et u n in g   m eth o d s .   T h ese  m ec h an is m s   ar u s ed   with   an   in ten to   m o d el  th lin g u is tic  d if f icu lties   o f   I n d ian   lan g u ag es,   th u s   h elp in g   o u r   s y s tem   in   g e n er atin g   co n tex s en s itiv an d   h ig h er   q u ality   tr an s latio n s .   T h r ig h tn ess   o f   th o th er   p o r tio n   o f   th m o d el   o n   wh ich   it  is   h in g in g   is   d u to   s p lice/o p tim ize  i s o m ewh at  ( th m o d els),   as   p r esen t in   f o r m u la  5 , 4   a n d   7   r esp o n s ib le  f o r   its   g r a d u ally   im p o r tan t b u ild   u p   in   ca u s e e f f e ct  ca lcu latio n s .   T h d ataset  u s ed   f o r   th is   wo r k   is   th lar g e   p ar allel  d ata  f o r   E n g lis h   to   I n d ia n   lan g u ag es  p air s ,   with   d o m ain   ad a p tio n   an d   f i n etu n i n g   u s in g   m o n o lin g u al  d ata.   Su ch   h eter o g e n eo u s   d atasets   f ac ilit ate  th NM T   m o d el  to   d ea l   with   th e   in tr icat s y n tactic  ch ar ac te r is tics   o f   I n d ian   la n g u a g es.  I n   th e   b ig g e r   B L E s co r ca s e,   we  m ak e   f u r th er   a n aly s is   o n   t h im p ac o f   Din g   et   a l.   B u t h e   p ap e r   also   m en tio n s   th at  d ata  av ailab ilit y   an d   q u ality   co n tin u e   to   b h is to r ical  ch allen g e,   p ar ticu lar ly   in   lack   o f   r eso u r ce s   I n d ian   l an g u ag es,  wh ich   is   b o ttlen ec k   f o r   th b etter   p er f o r m an ce   o f   o u r   m o d els ac r o s s   all  L 2 s .   R am esh   et  a l.   [ 3 2 ]   Pre s en S am an an tar m o s lar g est  ac ce s s ib le  p u b lic  p ar allel  co r p u s   f o r   an y   1 1   I n d ic  lan g u ag es  as  well  as  Go ld en   B en ch m ar k in g   d ataset  f o r   MT .   T h ese  ar e x p an d ed   in t o   m u ltip le  s o u r ce s   f r o m   th r ee   d if f e r en ar ea s   ( l eg al,   r elig io u s   an d   g o v e r n m en an d   web )   to   m ak r ich   d ata  s et  f o r   MT   d ev elo p m e n in   lan g u ag es  lik Hin d i,  B en g ali,   T am il   an d   T elu g u .   T h ey   f o cu s   o n   o n e   m illi o n   s en ten ce   p air s   with   alig n m en t   an d   q u ality   d a ta.   Ho wev er ,   th e   p a p er   cites  o n d r awb ac k ,   a   lack   o f   q u ality   co n tr o f o r   s u ch   lar g e   an d   v ar ied   d ataset.   Ho wev er ,   Sam an an tar   is   an   im p o r tan s tep   to war d s   cr ea tin g   s u ch   lar g e - s ca le   r ep o s ito r ies;   an d   it h ig h lig h ts   th is s u es th at  co m in to   p lay   in   v ettin g   th is   m u ltit u d o f   s o u r ce s   f o r   q u ality .   Statis t ics  in   T ab le  5   s h o i n s ig h in to   p ar alle c o r p o r with   th eir   co r r esp o n d in g   lan g u ag e   p air s     ( f r o m   E n g lis h   to   b asic  I n d i c)   --   all  d atasets   ar eith er   ex tr ac ted   o r   o r ig in ally   cr e ated .   Fo r   in s tan ce ,     E n g lis h - Hin d h as  1 , 0 0 0 , 0 0 0   s en ten ce   p air s   f r o m   g e n er al  p ar allel  co r p o r a   an d   E n g lis h - B en g ali  h as   800 , 0 0 0   p air s .   0   co r p u s   with   s en ten ce   p air s   d ef in i n g   E n g lis h T am il   s p ec if icity   W also   r ep o r m o n o lin g u al  co r p o r a   f o r   Hin d i,  B en g ali   an d   T am il  to o   am o u n tin g   to   2 , 0 0 0 , 0 0 0   s en ten ce s   ea ch   in   th e   tab le.   T h k ey   m ess ag f r o m   th is   tab le,   h o wev er ,   is   th at  th er ar v e r y   lar g e,   in   f ac u n b eliev ab ly   d i v er s p ar allel  a n d   m o n o lin g u al   d ata  av ailab le  wh ich   ar im p o r tan to   b u ild   MT   s y s tem s   f o r   th ese  lan g u ag es sp ec if ically   ac r o s s   m u ltip le  d o m ain s .       T ab le  5 .   Par allel  co r p o r o f   E n g lis h   to   I n d ian   lan g u ag p air s   [ 32 ]   D a t a s e t   l a n g u a g e   p a i r   N u mb e r   o f   se n t e n c e s   S o u r c e   G e n e r a l   C o r p u s   En g l i sh   -   H i n d i   1 , 0 0 0 , 0 0 0   P a r a l l e l   C o r p u s   G e n e r a l   C o r p u s   En g l i sh   -   B e n g a l i   8 0 0 , 0 0 0   P a r a l l e l   C o r p u s   D o ma i n - s p e c i f i c   En g l i sh   -   Ta mi l   2 0 0 , 0 0 0   P a r a l l e l   C o r p u s   M o n o l i n g u a l   C o r p u s   H i n d i ,   B e n g a l i ,   T a mi l   2 , 0 0 0 , 0 0 0   ( e a c h )   M o n o l i n g u a l   C o r p u s     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l     I SS N:   2252 - 8 7 7 6       B r id g in g   th lin g u is tic  d ivid e:   r ec en t d ev elo p men ts   in   ma ch i n tr a n s la tio n   fo r   … ( Ja y a n a n d   A .   K a mb le )   1281   Sin g h   et  a l.   [ 5 7 ]   o n   h o B E R T ,   GPT - 3   ( L L Ms)   wo r k   we ll  ( o r   n o r ea lly )   at  tr a n s latio n   b etwe en   E n g lis h   an d   I n d ian   lan g u ag es   in   th eir   p ap e r ,   E v al u atin g   T r an s latio n   C ap ab ilit ies  o f   L L M s   f o r   E n g lis h   an d   I n d ian   L a n g u a g es  co n s id er   ( b o th   au to m ated   an d   h u m an )   ev alu atio n   ap p r o ac h es  to   m e asu r th q u ality   o f   tr an s latio n s   b etwe en   lan g u ag es.  T h ey   ar co m b in e d   with   h u m an   f lu e n cy ,   ac c u r ac y   an d   cu ltu r al  r ef er en ce s   cr iter ia  b ased   o n   au to m atic  m ea s u r es  lik B L E U,   T E R ,   ME T E OR .   T h team   is   em p lo y in g   tr a n s f o r m e r   m o d els with   atten tio n   to   b o o s t   tr an s latio n   q u ality .   T ab le  6   s h o ws  th eir   en g - in d   p air s   an d   as  s u ch   th eir   p ar allel  co r p u s   [ 2 3 ] .   T h e   r es o u r ce s   f o r     E n g lis h - Hin d ( 2 , 0 0 0 , 0 0 0   s e n ten ce   p air s )   ar wea lth ier   an d   th en   f o l -   lo wed   b y   E n g lis h - B en g ali  with   1 , 5 0 0 , 0 0 0 .   Ma r ath T am il  T el u g u   an d   Gu ja r ati  ar th o th e r   th r ee   wh ich   h as  s ca le  d ataset  ( 8 0 0 0 0 0 - 1 2 0 0 0 0 0   s en ten ce   p air s ) .   T h is   s p an   s h o ws th ab ilit y   o f   th m o d el  to   t ac k le  in ter - I n d ian   lan g u ag e   tr a n s latab ilit y .   I n   ter m s   o f   p er f o r m an ce   ( T ab le  7 )   E n g lis h - Hin d is   th b est,  with   3 2 . 5   B L E s o r e,   an   E n g lis h - B en g ali  it  th s ec o n d - b est  with   2 8 . 9   On   th lo wer   s id e,   we  h av r esp ec tab le  B L E s co r es  o f   2 1 . 5   an d   2 2 . 8   f o r   E n g lis h - Ass am ese  an d   E n g lis h - Or iy s o   wh ich   in d icate s   th at   th e   q u ality   o f   t r an s latio n   is   n o as   g r ea h e r e.   T h is   is   also   s u p p o r ted   b y   T E R   s co r es  an d   b o th   I n d o HM +I n d o   B   ar e   m u ch   less   er r o n eo u s   co m p ar ed   to   er r o r - p r o n E n g li s h - Ass am ese  an d   E n g lig h - Or i y a.   Ho wev er ,   f o r   all  th at  p r o m is th er is   o n b ig   d r awb ac k   as  in d icate d   in   th is   s tu d y y o u   n ee d   m ass iv co m p u te  r eso u r ce s   to   tan g le  with   th ese  L L Ms.  T h is   co u ld   b b o ttlen ec k   p ar ticu lar ly   in   r e s o u r ce   co n s tr ain ed   s ettin g s ,   wh ich   co n f in es  th u tili ty   o f   th ese  m o d els  f o r   r ea tr an s latio n   task s .   L astl y ,   th L L Ms  ca n   b co n s id er ed   b asic  s o lu tio n   to   im p r o v tr an s latio n   s y s tem s   f o r   E n g lis h - I n d ian   lan g u ag p a ir s h o wev er ,   th eir   u s ag will r em ain   lim ited   b ec a u s o f   th is   h ig h   co m p u tatio n al   r eq u ir em e n t.       T ab le  6 .   Par allel  co r p o r f o r   E n g lis h   an d   I n d ian   lan g u a g es   La n g u a g e   p a i r   N u mb e r   o f   se n t e n c e s   En g l i sh - H i n d i   2 , 0 0 0 , 0 0 0   En g l i sh - B e n g a l i   1 , 5 0 0 , 0 0 0   En g l i sh - M a r a t h i   1 , 2 0 0 , 0 0 0   En g l i sh - T a mi l   1 , 0 0 0 , 0 0 0   En g l i sh - T e l u g u   1 , 0 0 0 , 0 0 0   En g l i sh - G u j a r a t i   8 0 0 , 0 0 0   En g l i sh - K a n n a d a   8 0 0 , 0 0 0   En g l i sh - M a l a y a l a m   7 0 0 , 0 0 0   En g l i sh - P u n j a b i   6 0 0 , 0 0 0   En g l i sh - O r i y a   5 0 0 , 0 0 0   En g l i sh - A ssa mese   4 0 0 , 0 0 0     T ab le  7 .   Au to m ated   m etr ics r e s u lt   La n g u a g e   p a i r   B LEU   TER   En g l i sh - H i n d i   3 2 . 5   5 6 . 2   En g l i sh - B e n g a l i   2 8 . 9   5 9 . 3   En g l i sh - M a r a t h i   2 5 . 7   6 1 . 7   En g l i sh - T a mi l   2 4 . 6   6 2 . 5   En g l i sh - T e l u g u   2 4 . 8   6 1 . 9   En g l i sh - G u j a r a t i   2 7 . 2   6 0 . 1   En g l i sh - K a n n a d a   2 6 . 5   6 0 . 8   En g l i sh - M a l a y a l a m   2 3 . 4   63   En g l i sh - P u n j a b i   2 5 . 1   6 2 . 2   En g l i sh - O r i y a   2 2 . 8   6 4 . 3   En g l i sh - A ssa mese   2 1 . 5   65         3.   R E SU L T S A N D  D ISC U S SIO N   3 . 1 .     B L E Sco re   I m pro v ement s   f ro m   SM T   +   B P E     T ab le  8   s h o ws  th B L E s co r in g   o f   two   tr an s latio n   m o d els  to war d s   lan g u ag p air s ,   with   wh ich   we  o b s er v h o w   B PE  in f lu en ce s   t r an s latio n   q u ality .   T h s co r es o f   B OT th e   m o d els  in cr ea s e d   s ig n if ican tly   af ter   B PE  a s   ca n   b s ee n   in   F ig u r 2   with   m o d el  1   im p r o v in g   f r o m   2 5 . 3   to   3 0 . 7   an d   m o d el  2   f r o m   2 2 . 8   to   2 8 . 4 ,   d en o tin g   t h at  B PE  lead s   to   m u ch   im p r o v e d   tr an s latio n   ac c u r ac y   an d   f lu e n cy .   W h ich   m e an s ,   o n ly   r u le  b ase d   SMT   h as  b ee n   th p ar o f   r esear ch .   I d o es  n o u s r ec en tly   d ev elo p ed   m et h o d s   in   NM T   th at  m ig h p r o d u c e   b etter   m u ltil in g u al  tr a n s latio n s   an d   m o r ef f ec tiv el y   ad d r ess   l in g u is tic  co m p lex ities .       T ab le  8 .   B L E s co r es in d icati n g   en h an ce d   tr a n s latio n   q u alit y   [ 51 ]   M o d e l   La n g u a g e   p a i r   B LEU   s c o r e   ( B e f o r e   B P E)   B LEU   s c o r e   ( A f t e r   B P E)   M o d e l   1   La n g u a g e   A   -   B   2 5 . 3   3 0 . 7   M o d e l   2   La n g u a g e   B   -   C   2 2 . 8   2 8 . 4           Fig u r 2 .   B L E s co r im p r o v em en ts   ac h iev ed   b y   u s in g   B PE   Evaluation Warning : The document was created with Spire.PDF for Python.