I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 7 ,   No .   1 ,  J an u ar y   20 2 5 ,   p p .   2 5 0 ~ 2 5 6   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 3 7 . i 1 . pp 250 - 2 5 6           250     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   Att en tion ba sed E ng lish to  Indo - Ar y a n and   Dra v idia n   la ng ua g e  trans la tion usin g   spa rsely  f a ctored  NM T       Rit esh   K um a r  Dwiv edi 1 ,   P a rm a   Na nd 1 ,   O m   P a l 2   1 D e p a r t me n t   of   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   S h a r d a   U n i v e r si t y ,   G r e a t e r   N o i d a ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   U n i v e r s i t y   o f   D e l h i ,   N e w   D e l h i ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   13 ,   2 0 2 4   R ev is ed   J u n   11 ,  2 0 2 4   Acc ep ted   Sep   2 ,   2 0 2 4       Ne u ra l  m a c h in e   tra n sla ti o n   (NM T)  is   a   so p h ist ica ted   tec h n iq u e   t h a t  e m p lo y s   a   larg e ,   sin g u lar  n e u ra l  n e two r k   to   lea rn   a n d   e x e c u te  a u t o m a ti c   tran sla ti o n   tas k s.  Un li k e   sta ti stica l  m a c h i n e   t ra n sla ti o n   sy ste m s,  NMT   h a n d les   th e   e n ti re   tran sla ti o n   p ro c e ss   in   a n   e nd - to - e n d   m a n n e r,   re m o v i n g   t h e   n e e d   fo r   a d d it i o n a l   c o m p o n e n ts .   T h is   a p p ro a c h   h a s  s h o wn   si g n ifi c a n t   p ro m ise   in   tran sla ti o n   q u a l it y   a n d   h a s  b e c o m e   th e   p re v a len t  m e th o d .   I n   t h is   stu d y ,   we   a p p ly   sp a rse ly   fa c to re d   NMT   t o   E n g l ish   a n d   se v e ra l  In d o - Ar y a n   (Hin d i,   Be n g a li )  a n d   Dra v id ian   ( Tam il ,   M a lay a lam )  lan g u a g e   p a irs.   S p e c ifi c a ll y ,     we   d e v e lo p   th e   m a c h i n e   tran sla ti o n   s y ste m   u sin g   a n   a tt e n t io n - b a se d   m e c h a n ism .   A  sig n ifi c a n t  p ro b le m   with   trad it io n a l  tran sfo rm e r s  is  th e   h u g e  m e m o ry   re q u irem e n t.   T h e re fo re ,   a   sp a rse ly   fa c to re d   NM T   ( S F NM T)  is   u se d   to   re d u c e   th e   m e m o ry   re q u irem e n t  b u t  a lso   im p ro v e s  th e   train in g   ti m e ,   th e re b y ,   re d u c i n g   t h e   c o m p u ti n g   ti m e .   In   t h is  p a p e r,   tak e   i n sp ira ti o n   fro m   Va sw a n i  t ra n sfo rm e r   a n d   m o d if y   it   to   g e t  t h e   b e st  re su lt s.  T h e   sy ste m ’ s  p e rfo rm a n c e   wa s  e v a lu a ted   u sin g   th e   BLE U  m e tri c .   T h e   p r o p o s e d   m o d e l   in d trl   a c h iev e s  a   BLUE  sc o re   o f  3 2 . 1 3   (e n → h i) ,   2 9 . 3 1   (e n → b e ),   3 1 . 2 1   (e n → ta),  2 1 . 1 2   (e n → m l)  a n d   3 2 . 6 7   (e n → h i ),   2 9 . 3 8   (e n → b e ),   3 1 . 7 5   (e n → ta),   2 1 . 1 7   (e n → m l)  wit h o u t  b a c k t ra n sla ti o n   a n d   wit h   b a c k tran sl a ti o n .   T o   e v a lu a te  th e   p e rfo rm a n c e   o f  t h e   sy ste m ,   we   c o m p a re d   th e   re su lt s  with   th o se   o f  e x isti n g   sy ste m s.  Th e   d e v e lo p e d   sy ste m   d e m o n stra ted   a   m a rg in a ll y   h i g h e r   BLE U sc o re   th a n   b o th   A n g laM T  a n d   G o o g le  t ra n sla te.   K ey w o r d s :   B L E U  s co r es   L in g u is tic  d r o p o u t   Ma ch in e  tr an s latio n   NM T   SF NM T   T r an s f o r m e r   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R ites h   Ku m ar   Dwiv ed i   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   Sh a r d a  Un iv er s ity   Gr ea ter   No id a,   I n d ia   E m ail: r ites h . d wiv ed i@ n ic. in       1.   I NT RO D UCT I O N   “ Ma ch in e  t r an s latio n ”   r ef er s   to   th e  au to m ated   tr an s latio n   o f   tex t  b etwe en   lan g u a g es  u s in g   co m p u ter s .   I n   th e  f ield   o f   ar tif icial  in tellig en ce   ( AI ) ,   m ac h i n e  tr an s latio n   ( MT )   is   co n s id er ed   an   AI - c o m p lete   p r o b lem ,   m ea n in g   th at  s o lv in g   MT   is   ak in   to   ad d r ess in g   th e  co r e  ch allen g e  o f   AI :  d ev el o p in g   a  s y s tem   with   g en er al  in tellig en ce .   W ea v er   ( 1 9 4 9 )   p r esen ted   th e  f ir s t  wo r k ab le  m eth o d   f o r   tr an s latin g   te x t  u s in g   co m p u te r s .   I t  s tim u lated   th e   f ield   o f   MT   r esear ch .   T h e   o r ig i n al  m ac h in e  tr an s latio n   m o d els  r elied   s o lely   o n   wo r d - f o r - wo r d   r e p la ce m en ts   with   m u lti lin g u al  d ictio n a r ies,  wh ich   n e v er   p r o d u ce d   s atis f ac to r y   tr a n s latio n s .   T h e  p o o r   ap p r aisal  o f   th e  in f am o u s   1 9 6 6   AL PAC   r ep o r t1   h in d er ed   r esear ch   o n   MT .   T h e  ad o p tio n   o f   s tatis tic - b ased   m eth o d o l o g ies  m ar k ed   a  s ig n i f ican t  r esu r g en ce   o f   r esear c h .   T h ese  m eth o d s   u s ed   a  s en ten ce - alig n ed   p a r allel  co r p u s   to   lear n   th e   b ilin g u al  d ictio n ar ies  ( o r   tr a n s latio n   m o d els)  in   a  p r o b ab ilis tic  m an n e r .   Statis t ica l  m ac h in e  tr an s latio n   ( SMT )   m o d els is   th e  ag g r e g ate  n am e  f o r   th ese  m o d els.  Fo r   o v er   a  d ec ad e,   SM T   was t h e  p r ev ailin g   s tan d ar d .   Ph r ase - b ased   m o d el s   [ 1 ] ,   wh ile  lo n g - estab lis h ed   an d   u tili ze d   in   b o th   co m m er c ial  ap p licatio n s   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A tten tio n   b a s ed   E n g lis h   to   I n d o - A r ya n   a n d   Dra vid ia n   la n g u a g e  …   ( R ites h   K u ma r   Dw ived i )   251   m ac h in e  tr an s latio n   r esear c h ,   h av e  s ee n   th eir   tr a n s latio n   q u ality   p latea u   o v er   ti m e.   T h e  lo n g - ter m   d ep en d e n cies  in   a  s en ten ce   ar e  n o t  c ap tu r ed   b y   p h r ase - b ased   SMT   m o d els,  wh ich   b ase  th eir   tr an s latio n   ju d g m en ts   o n   p h r ases .   T h e  ad d itio n   o f   n u m er o u s   co m p o n e n ts ,   in clu d in g   lan g u ag e  m o d els,   r eo r d e r in g   m o d els,  len g th   p en alties,  an d   tr an s latio n   m o d els,  h as  m a d e  t h e  en tire   SMT   p r o ce s s   m o r e  co m p lex   [ 2 ] .   Owin g   to   th ese  ch allen g es,  a  s ig n i f ican t  m o d if icatio n   o f   th e   cu r r en t  s y s tem   was  n ec ess ar y .   Sev er al   o f   SMT   s y s tem s ’   d r awb ac k s   ar e  a d d r ess ed   b y   N MT .   I t  is   a  co m p r eh en s iv e  e n d - to - en d   s y s tem   th at  u s es  lar g e  n eu r al  n etwo r k   t o   s im u late  th e  wh o le  m ac h in e  tr an s latio n   p r o ce s s .   T h e  r esear ch er   p r o p o s ed   a  s y n ch r o n o u s   in f er en ce   m eth o d   ca p ab le  o f   g e n er atin g   tr an s l atio n s   in   m u ltip le   lan g u a g es  s im u ltan eo u s ly   [ 3 ] .  c u r r e n t   m ac h in e   lear n in g   tr an s latio n   m o d els,  asid e  f r o m   “ hi - en ”   tr a n s latio n ,   ap p ea r   to   tr an s late  o th e r   I n d ian   lan g u ag es  ( B en g ali,   T am il,   Pu n jab i,  Ur d u   an d   G u ajar ati,   T elu g u ,   Kan n ad a,   Ma la y alam )   with   an   ac cu r ac y   o f   o n ly   1 0 %,  Kh an   et  a l.   [ 4 ] .    A  tr an s latio n   m o d el  f r o m   E n g lis h   to   T am il  with   a  B L E U  s co r e  o f   8 . 3 3   h as  b ee n   p r o p o s ed   b y     C h o u d h ar y   et  a l .   [ 5 ] .   An   NM T   s y s tem   o f   I I I T - H  h a s   b ee n   p r o p o s ed   b y   Vik r a n t  i n   a  p ap er   f o r   th e   ev alu atio n   o f   W MT 1 9 .   T h ey   tr an s lated   n ews  f r o m   G u jar ati  to   E n g lis h   u s i n g   an   att en tio n   m o d el  f o r   th eir   wo r k ,   an d   th ey   r ec eiv ed   a   B L E U  s co r e  o f   9 . 8 .   T h e y   h a v e  tack led   th e   lim ited   r eso u r ce   d ata  as  an   is s u e.   Go o d   ef f o r ts   h av e  b ee n   m a d e  in   tr an s latin g   E n g lis h   to   Pu n ja b i.  Kam al  Dee p   h av e  p r o p o s ed   a  m o d el  t h at  claim s   to   g iv e  a  B E L U   s co r e  o f   3 8 . 3 0   f o r   Pu n jab i  to   E n g lis h   a n d   3 6 . 9 6   f o r   E n g lis h   to   Pu n jab i.  T h e  Pu n jab i  lan g u ag e  d o es  n o t  h av e  as  lo w  o f   a  r eso u r ce   c o r p u s   as  it  is   f o r   B h o jp u r i o r   o th er   lan g u ag es .   I n   an o th er   wo r k   b y   Sin g h   et  a l.   [ 6 ]   Stro n g   atten tio n   m o d els  wer e  em p lo y ed ,   a n d   t h e  r esu lts   s h o wed   a  B L E U  s co r e  o f   r o u g h ly   2 4 . 4 8   f o r   b o th   ty p es  o f   tr an s latio n .   A  wo r k   b y   Haq u e  a n d   Hasan   [ 7 ]   h as  p r o p o s ed   a  m o d el  claim in g   th at  th e  s en ten ce s   p r o d u ce d   in   tr an s latin g   E n g lis h   s en ten ce s   to   B en g ali  b y   th eir   m o d el  ar e  m o r e  s em an tically   co r r ec t  th an   th e  s en t en ce s   p r o d u ce d   b y   Go o g le  tr an s lato r .   Ver y   f ew  r e s ea r ch es h av e  b ee n   d o n e  in   th e  E n g lis h   to   B en g ali  lan g u ag e ,   an d   m an y   o f   th em   ar e  n o t  u p   to   p ar   [ 7 ] .   T h is   r e s ea r ch   p r o p o s es  s o m e  s p ec ial   tr an s latin g   r u les  b ec au s e  B e n g ali  is   a  v er y   h ar d   lan g u ag e   an d   p r o d u cin g   r i g h t  s en ten ce s   is   th e  tr u e   ch alle n g e,   e v en   th o u g h   th ei r   alg o r i th m   h as  p r o d u ce d   ac cu r ac y   r ates  o f   ab o v e  9 7 %.  T h e  p ap er   b y   Sip r a   [ 8 ]   f in d in g s   o n   th e  s u b ject  o f   wo r d   b o r r o win g   f r o m   E n g lis h   to   Ur d u   tr a n s latio n   d e m o n s tr at e  th at  t h er e  a r e  t h r ee   p o s s ib le  ap p r o ac h es:  d ir ec t   b o r r o win g   with   m in im al  o r   n o   m o d if icatio n ,   u s in g   a  t r an s lato r   to   tr a n s late  f r o m   E n g lis h   to   Ur d u ,   an d   co m b i n in g   Ur d u   an d   E n g lis h .   He   p r o v id es  n o   d etailed   in f o r m a tio n   o n   an y   NM T   tech n iq u e   o r   m et h o d o lo g y   r elate d   to   em b ed d in g   v ec t o r   d esig n in g   in   h is   wo r k .   L in g a m   et  a l.   [ 9 ]   p r o p o s ed   a  r u le - b ased   m eth o d   f o r   tr an s latin g   T elu g u   in to   E n g lis h .   T h is   ap p r o ac h ,   h ig h lig h ted   d u r in g   a  c o m p r e h en s iv e  r ev i ew  o f   s tu d ies  in   th e  f ield ,   d em o n s tr ated   9 2 %   tr an s latio n   ac cu r ac y   f o r   m o s t  s en ten ce s ,   wh i le  o th er   s en ten ce s   ac h iev ed   ar o u n d   5 0 %  ac cu r ac y .   T h e   co n s tr u ctio n   o f   a  m o r e  ex o tic  m o d el  th at  is   b ased   o n   NM T   p r in cip les  an d   ca n   g e n er ate   s en ten ce s   th at  ar e  m o r e  s em an tically   co r r ec t is wh er e  th e  g a p   is   f o u n d   in   th is   in s tan ce .   I n   th is   p ap er ,   a  n ew  ap p r o ac h   u s in g   tr an s f o r m er - b ased   m ac h in e  tr an s latio n   is   s h o wn .   A  s ig n if ican t   p r o b lem   with   tr a d itio n al  tr an s f o r m er s   is   th e  h u g e  m em o r y   r eq u ir em en t.  T h er ef o r e,   a   s p ar s ely   f ac to r ed   n e u r al   m ac h in e  tr an s latio n   ( SF NM T )   is   u s ed   th at  r ed u ce s   th e  m em o r y   r e q u ir e d   an d   im p r o v e s   th e  tr ain in g   tim e,   th er eb y ,   r e d u cin g   th e  co m p u tin g   tim e.   I n   th is   p ap er ,   tak e  in s p ir atio n   f r o m   Vaswan i  tr an s f o r m er   an d   m o d if y   i t   to   g et  t h e  b est  r esu lts .   T h e   p r o p o s ed   m o d el  was  tr ain e d   o n   d atasets   o f   Sam an an tar .   B L UE   s co r e  h elp s   in   ev alu atio n   o f   th e   p er f o r m a n ce .   T h e  p r o p o s ed   m o d el  in d tr l   a ch iev es  a  B L UE   s co r e  o f   3 2 . 1 3   ( e n → h i) ,   2 9 . 3 1   ( en → b e) ,   3 1 . 2 1   ( en → ta) ,   2 1 . 1 2   ( en → m l)   an d   3 2 . 6 7   ( en → h i) ,   2 9 . 3 8   ( e n → b e) ,   3 1 . 7 5   ( en → ta) ,   2 1 . 1 7   ( en → m l)   with o u t  b ac k tr an s latio n   an d   with   b ac k tr an s latio n .   A  co m p ar is o n   with   o th er   m o d els  s u ch   as  An g laM T   an d   Go o g le  t r an s late  was  d o n e  an d   it  was  o b s er v ed   th at  th e  p r o p o s ed   m o d el  p er f o r m s   s lig h tly   ( as  p er   B L E U   s co r e)   th an   th e   o th er   m o d els.   T h e  s tr u ctu r e  o f   t h e   p ap er   is   as  f o llo ws:   s ec tio n   2   d escr ib es  th e  m eth o d o lo g y ,   b e g in n in g   with   an   ex p lan atio n   o f   h o w   SF NM T   is   em p lo y ed ,   f o llo wed   b y   d etails  o n   th e   m o d if ie d   tr a n s f o r m e r .   Nex t,  t h e  d ataset   d etails  ar e  p r esen ted .   I n   s ec tio n   3   o u tlin es  th e  ex p er im en tal  s etu p   an d   r e s u lts .   Fin ally ,   s ec t io n   4   d is cu s s es  th e   co n clu s io n   an d   s u g g ests   f u tu r e  d ir ec tio n s .       2.   M E T H O D   2 . 1 .     Sp a rsely   f a c t o re d NMT   I n   o u r   s u g g ested   m eth o d ,   u n li k e  o th er   s y s tem s   th at  o n l y   r ec eiv e  p lain   te x t  f o r   tr an s latio n ,   th is   m o d el  r ec eiv es  tex t  an n o tated   b y   a  lin g u is tic  an n o tatio n   s y s tem   f o r   s o u r ce - s id e  tr an s latio n   [ 1 0 ] - [ 1 2 ] .   R aw  tex t  is   u s ed   in   th e   tar g et  s id e   f o r   tr ain in g .   T h e  m o r p h o lo g ical  f e atu r es  co m p o n en t  h as  a  wid e   r an g e   o f   p o s s ib le  v alu es  s in ce   ea ch   wo r d   m ig h t   co n tain   a  m ix tu r e  o f   th ese  f e atu r e  v alu es.  I ts   in d iv id u al  f ea tu r e  v alu es  m ay   b e   r ar e,   lead in g   to   in f r eq u e n t  u p d ates  to   th e  em b ed d e d   v ec to r s   f o r   m o r p h o l o g ical  ch ar ac te r is tics   d u r in g   tr ai n in g .   W h en   s p litt in g   th e  d ata  f o r   tr ain in g ,   th e  m o d el  s h o ws  th e  f r eq u e n cy   o f   co m b in atio n s   o f   m o r p h o lo g ical  f ea tu r es  co m p ar e d   to   th e  f r e q u en cy   o f   ea ch   in d i v id u al  m o r p h o lo g ical  f ea tu r e .   I t  is   ev id en t  th at  th er e  ar e   o r d er s   o f   m ag n it u d e  m o r e  p o s s ib le  co m b in atio n s   th an   th er e  ar e  in d iv id u al  f ea tu r es.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   1 ,  J an u ar y   20 2 5 :   250 - 2 5 6   252   I t  is   s u g g ested   lab ellin g   ea ch   wo r d   ac co r d i n g   to   th e  m o r p h o lo g ical  f ea tu r e  s p ac e  r ath er   th an   tr ea tin g   ea ch   co m b in atio n   as  a   s ep ar at e  f ac to r   v alu e.   T o   d o   th is ,   th e   m o d el  m ain tain s   a n   em b ed d in g   tab le  with   a   v alu e   f o r   ea ch   m o r p h o lo g ical  f ea tu r e  f o r   ea ch   en tr y .   I n   a d d itio n   t o   th e  p r ev i o u s ly   m en tio n e d   m o r p h o lo g ical  f ea tu r e   v o ca b u lar y ,   a  lem m a - v o ca b u l ar y   is   also   m ain tain ed .   Sp ec if ically ,   wh ile  en co d in g   tex t  f o r   s p ar s ely   f ac to r ed   NM T ,   it  is   v er if ied   th at  e v e r y   wo r d   is   lem m atiza b le   with   in clu s io n   in   th e   v o ca b u lar y   ( lem m a) .   I f   s o ,     th e  m o d el   en co d es  th e  w o r d   b y   ad d in g   th e  lem m a ’ s   em b e d d ed   v ec to r   alo n g   with   th e   e m b ed d e d   v ec to r s   o f   ea ch   m o r p h o lo g ical  c h ar ac ter i s tic  it  p o s s ess ed .   I n   th e   ev en t   th at  a  wo r d   ca n n o t   b e   lem m atize d   o r   is   n o t   f o u n d   in   th e  v o ca b ,   B PE  is   u s ed   f o r   t o k en izatio n ,   an   em b ed d i n g   ta b le  is   also   m ain tain ed .   As  a  r e s u lt,  o u r   to k en s   ca n   b e  s u b   wo r d s   o r   ( lem m a   +  m o r p h o lo g ical  ch a r ac ter is tics ) .   T h e  tex t  is   f ed   in to   a  ty p ical  t r an s f o r m er   m o d e l   af ter   it h as b ee n   e n co d e d   as a   s er ies o f   em b ed d e d   v ec to r s .   B u ild in g   u p o n   th e   p r e v io u s ly   p u b lis h ed   b ase  v e r s io n ,   it  is   s u g g ested   a n   a d d itio n al   ex ten s i o n :  a   n ew   h y p er p ar am eter   ca lled   ‘ lin g u i s tic  d r o p o u t ’   ( L D)   i s   in tr o d u ce d ,   r e p r esen tin g   th e  p r o b ab il ity   o f   to k en izin g   a   wo r d   u s in g   a  s u b wo r d   in s te ad   o f   t h e  ( lem m a  +   m o r p h o lo g ical  ch ar ac ter is tics )   r ep r es en tatio n .   B o th   th e   lem m atize d   r ep r esen tatio n   ( if   av ailab le)   an d   th e  s u b wo r d   r e p r esen tatio n   ar e  cr ea ted   d u r in g   d ata  p r ep ar atio n .   A  B er n o u lli  d is tr ib u tio n   ass o c iated   with   th e   L D  p r o b a b ilit y   i s   u s ed   to   d eter m in e   th e   ty p e   o f   r ep r esen tatio n   f o r   ea ch   wo r d   d u r in g   b atc h   cr ea tio n .   T h e   g o al  o f   L D   is   to   t r ain   th e   m o d el  to   o p e r ate  in   s ce n ar io s   with o u t   lin g u is tic  d ata,   s u ch   as  wh en   a  wo r d   is   n o t  in   its   lex ico n .   T r ain in g   with   L D  r esu lts   in   m o r e  f r eq u e n t  u p d ates   to   th e  s u b wo r d   to k en   em b ed d in g s ,   lead in g   to   m o r e  r o b u s t  s y s tem s ,   esp ec ially   wh en   h an d lin g   o u t - of - d o m ain   m ater ial.     2 . 2 .     T ra ns f o rm er   m o del   T r an s f o r m e r s   h av e  g ain e d   s ig n if ican t  im p o r ta n ce   in   tr an s lat io n s   o r   d ee p e r   n eu r al  n etwo r k s   s h o ws  a   g o o d   p er f o r m a n ce   [ 1 3 ] - [ 1 5 ]   i n s p ir atio n   is   tak en   f r o m   [ 1 6 ]   an d   m a k e  m o d if icatio n s   t o   th e  t r an s f o r m e r .    T h e  en co d er   r ec eiv es  th e  f o llo win g   s eq u e n ce   = ( 1 , 2 , 3 , … , )   an d   m a p s   it  to   = ( 1 , 2 , 3 , … , ) .  Giv en   z,   o u tp u t  is   g en er ated   with   th e  h elp   o f   t h e  d ec o d er ,   th e  o u tp u t  is   = ( 1 , 2 , 3 , … , ) .   B ein g   au to - r eg r ess iv e  at  ea ch   s tep   [ 1 7 ] ,   u s in g   th e  s y m b o ls   th at  wer e   g en er ated   ea r lier   as  ex t r a  in p u t  f o r   th e  f o llo win g   g en er atio n .   Fig u r e   1   o f   th e   tr a n s f o r m er ,   r esp ec tiv ely ,   d etails  th e  tr an s f o r m er   ar ch itectu r e   with   f u lly   c o n n ec ted   lay er s   an d   la y er ed   s elf - atten tio n ,   wh ic h   ad h er es  to   t h is   o v er all  d esig n .   I n   th e   f o llo win g   s ec tio n s ,   ch an g es   m ad e  to   th e   [ 1 6 ]   tr a n s f o r m e r   ar e  d escr ib ed .   T h ese  ch a n g es  wer e  f in alize d   as  th e y   p r o v ed   th e  b est  ef f icien c y   o f   th e  m o d el.     2 . 2 . 1 .   Sta c k s - enco der  a nd   deco der   −   E n co d er :   t o   e n h an ce   ca p ac ity ,   a  s tack   o f   N= 8   lay er s   is   em p lo y ed   f o r   th e   s elf - atten tio n   m ec h an is m   an d   p o s itio n al  en co d in g .   Mo r e o v e r ,   a  ch an g e  is   m ad e  to   th e  o u tp u t  d im en s io n      f r o m   5 1 2   t o   2 5 6   to   en s u r e  f aster   tr ain in g   o f   t h e  m o d el.   T h e r e  ar e  n o   o th e r   ch a n g es in   th e  ar ch itectu r e.   −   Dec o d er :  h er e ,   a  s tack   o f   N= 8   id en tical  lay er s   is   u s ed .   T h er e  ar e  n o   o th er   c h an g es in   th e   ar c h itectu r e .     2 . 2 . 2 .   At t ent io n  t hro ug h sca l ed  do t - pro du ct   T h e   dot - p r o d u ct  is   g iv en   b y   t h e  ( 1 ) :        ( , , ) =   (  √ )   ( 1 )     2 . 2 . 3 .   O ptim izer   Ad am   o p tim izer   is   u s ed   as  it  is   o r ig in ally   in   [ 1 6 ] ,   h o wev e r ,   th e  b est  r esu lts   ar e  with   1 = 0 . 92   an d   2 = 0 . 96 .     2 . 3 .     Da t a s et   Sam an an tar   d ataset,   d ev el o p e d   b y   AI 4 B h ar at,   is   a   m u ltil in g u al  p a r allel  co r p u s   d esig n ed   to   en h a n ce   m ac h in e  tr an s latio n   s y s tem s   f o r   I n d ian   lan g u ag es.  I t  co n s is ts   o f   h ig h - q u ality ,   alig n ed   tr an s latio n s   in   m u ltip le  lan g u ag e  p air s ,   in clu d i n g   m aj o r   I n d ian   lan g u ag es.  T h e  d a t aset  was  cr ea ted   to   ad d r ess   th e  n ee d   f o r   r o b u s t   tr ain in g   d ata  i n   lo w - r eso u r ce   lan g u ag e  s ettin g s   an d   aim s   to   s u p p o r t  t h e  d ev el o p m en t  o f   ad v an ce d   m ac h in e   tr an s latio n   m o d els  b y   p r o v id i n g   ex ten s iv e   an d   d iv er s e  lin g u is tic  d ata.   T h e  Sam an an tar   d at aset  is   a  s ig n if ican t  r eso u r ce   f o r   im p r o v in g   t r an s latio n   ac cu r ac y   an d   p e r f o r m an ce   in   I n d ian   la n g u a g es,  f ac ilit atin g   r esear ch   an d   ap p licatio n s   in   n at u r al  lan g u ag e  p r o ce s s in g .   I n   T ab le  1 ,   f o u r   la n g u a g e  p air s   a r e  s h o wn   with   th e  n o .   o f   s en ten ce s   f o r   ea ch   la n g u a g e  p air .   Par a llel  co r p o r a  s h ar ed   b y   [ 1 8 ] ,  [ 1 9 ]   is   lev er ag ed   a n d   d at a  au g m en ted   to   e n h an ce   t h e  tr an s latio n   q u ality   f o r   lo w   r eso u r ce d   lan g u ag es.  T o k en izin g   s en ten ce s   a cr o s s   all  lan g u a g es  is   d o n e   u s i n g   tr ain e d   m o d els,  an d   th e n   f ilter   s en ten ce s   b as ed   o n   th e   r atio   o f   s o u r ce   to   tar g et  to k en   c o u n t   [ 2 0 ] .  R esear ch er s   ex am in e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A tten tio n   b a s ed   E n g lis h   to   I n d o - A r ya n   a n d   Dra vid ia n   la n g u a g e  …   ( R ites h   K u ma r   Dw ived i )   253   tr an s latio n   f r o m   v er y   lo w - r eso u r ce   lan g u ag es,  s u ch   as  Dzo n g k h a  to   E n g lis h ,   u s in g   v ar io u s   NM T   m o d els.  T h e   r esu lts   in d icate   th at   th e   B L E U  s co r e  o f   Seq 2 Seq   m o d els  f lu ctu ates,  wh ile  th e   B L E U  s co r e  o f   th e  tr an s f o r m er   m o d el  s h o ws a  s tead y   in cr ea s e   [ 2 1 ] .   C o m p ar in g   s o m e  s y s te m ’ s   ac cu r ac y   to   Go o g le  t r an s late ’ s   3 8 . 6 7 % f o r   th e   i d e n t i c a l   t e s t   s a m p l e s ,   t h e   r e s e a r c h e r s ’   r e s u l t s   s h o w   t h a t   t h e i r   a p p r o a c h   i s   m u c h   m o r e   e f f e c t i v e   a t   7 9 . 3 3 %   [ 2 2 ] .   B esei s o   et  a l.  [ 2 3 ]   in tr o d u ce   an   in n o v ativ e   lin g u is tic - b ased   ev alu atio n   m eth o d   f o r   E n g lis h - tr an s lated   Ar a b ic  s en ten ce s ,   wh ich   s ig n if ica n tly   o u t p er f o r m s   tr ad itio n al  M T   ev alu a tio n   m eth o d s   lik e   B L E U.   As  a  p r e - p r o ce s s in g   s tep   f o r   m ac h in e  tr an s latio n ,   Ny ein   an d   So e   [ 2 4 ]   em p lo y ed   a  m o d el  t o   r eo r d er   E n g lis h   p h r ases   to   m atch   th e   wo r d   o r d er   o f   My an m ar ,   r esu ltin g   in   q u ality   im p r o v e m en ts   o n   p ar   with   th e   b aselin e  r u le - b ase d   r eo r d er i n g   tech n iq u e .  Ay u   et   a l.   [ 2 5 ]   u s ed   in - d e p th   lin g u i s tic  k n o wled g e  way s   to   ex p lain   wh y   a  s p ec if ic   s eq u en ce   k n o wled g e/v alu e   p ar am eter   in   th e  tr a n s latio n   p r o ce s s   p er f o r m s   b etter   th a n   th e  o t h er   m eth o d .       T ab le  1 .   Sam an a n tar   d ataset  d escr ip tio n   f o r   Hin d i ,   Or iy a,   Pu n jab i ,   an d   T am il   La n g u a g e   p a i r   P a r a l l e l   C o r p u s (N o .   o f   s e n t e n c e s)   En g l i sh - H i n d i   1 0 1 2 5 7 0 6   En g l i sh -   B e n g a l i   8 6 0 4 5 8 0   En g l i sh -   M a l a y a l a m   5 9 2 4 4 2 6   En g l i sh - T a mi l   5 2 6 4 8 6 7       3.   E XP E R I M E N T   AND  R E SU L T S   T h e  m o d el   is   tr ain ed   o n   o n e  m ac h in e  with   8   NVI DI A  A 1 0 0   GPUs .   I n   T a b le  2   d escr ib es  th e  in f r astru ctu r e   d etails.   T o   ev al u ate  th e  im p o r tan ce   o f   d if f er e n t  co m p o n e n ts   o f   th e  t r an s f o r m er ,   ch an g es  to   th e   h y p er - p ar am eter s   o f   th e   b ase  m o d el  wer e   m a d e  in   d if f er en t   way s ,   m ea s u r i n g   th e  c h an g e   in   p er f o r m a n ce   o n   th e  tr an s latio n s   o n   th e  d ev elo p m en t set .   T ab le  3   s h o ws  B L E U  s co r es  an d   p r o v id es  d etails  o f   h y p e r   p ar am eter s   tak en   d u r in g   m o d el  tr ain in g .   Fo llo win g   Fig u r e  1   s h o ws  th e  co m p ar is o n   b etwe en   p r o p o s ed   m o d el  an d   o th er   s tan d ar d   m o d els.     I t  is   s h o win g   b etter   B L UE   s co r e  f o r   all  f o u r   lan g u ag e  p a ir s .   Pro p o s ed   m o d el  u s in g   SF NM T .   I t  n o t  o n ly   r ed u ce s   th e  m em o r y   r eq u ir e d   b u t a ls o   im p r o v es th e  tr ain in g   tim e,   th er eb y ,   r ed u cin g   th e   co m p u tin g   tim e.   T ab le  4   co m p ar es  th e  p er f o r m an ce   o f   f iv e   m ac h in e  tr a n s latio n   m o d els  f o r   tr a n s latin g   E n g l is h   to   f o u r   lan g u ag es.  T h e  r esu lts   ar e  m ea s u r ed   u s in g   two   m etr ics:   B L E U  s co r e  ( in d icatin g   o v er all  s im ilar ity   to   r ef er en ce   t r an s latio n s )   an d   R I B E S  s co r e  ( in d icati n g   f lu en c y   b ased   o n   h u m a n   ju d g m en t) .   E n g lis h   to   Hin d i   ( en - h i) :  Go o g le  t r a n s late  lead s   with   a  B L E U  s co r e  o f   3 2 . 3 3 ,   s u g g esti n g   its   tr an s latio n s   ar e  m o s t  s im ilar   to   h u m an   r ef er e n ce s   f o r   th is   lan g u ag e  p air .   Ho we v er ,   I n d tr l  a ch iev es  a  s tr o n g   s co r e  o f   3 2 . 1 3 ,   in d icatin g   v er y   co m p etitiv e  p er f o r m an ce .   I n te r esti n g ly ,   ad d in g   b ac k tr a n s latio n   to   I n d t r l  im p r o v es  its   B L E U  s co r e  s lig h tly   to   3 2 . 6 7 .   I n   ter m s   o f   R I B E S sco r e,   I n d tr l ( with   o r   with o u t b ac k tr an s latio n )   o u tp e r f o r m s   all  o th er   m o d els ( 0 . 7 8 6 8   an d   0 . 7 8 7 2 ,   r esp ec tiv ely ) ,   s u g g esti n g   its   tr an s latio n s   ar e  ju d g ed   as  m o r e  f lu en t  b y   h u m a n s   f o r   E n g lis h - Hin d i.   E n g lis h   to   B en g ali  ( en - b e) :  I n d tr l  tak es  th e  lead   with   a  B L E U  s co r e  o f   2 9 . 3 1 ,   f o llo wed   b y   Go o g le  t r an s late  at   2 8 . 2 6 .   B ac k tr an s latio n   d o esn ’ t  s ee m   to   s ig n if ican tly   im p ac t  I n d tr l ’ s   p er f o r m an ce   f o r   B en g ali  ( B L E U  s co r e   r em ain s   at  2 9 . 3 8 ) .   W h en   it  co m es  to   R I B E S  s co r es,  I n d tr l  ag ain   d o m in ates  ( 0 . 7 6 3 5 )   f o llo wed   b y   B in g   t r an s latio n   ( 0 . 7 8 8 2 ) .   T h is   in d icate s   th at  B in g   t r an s latio n   ac h iev es  a  h ig h er   lev el  o f   f lu en cy   f o r   B en g ali   d esp it e  h av in g   a  lo wer   B L E U  s co r e.   E n g lis h   to   T am il  ( e n - ta) :  Go o g le  t r a n s late  ac h iev es   a  B L E U  s co r e  o f   3 0 . 9 8 .   I n d t r l  f o llo ws   clo s ely   b eh in d   at  3 1 . 2 1 ,   a n d   b ac k tr a n s latio n   o f f er s   a  m in o r   im p r o v em en t  ( 3 1 . 7 5 ) .   I n   T ab le  5 ,   a  co m p ar is o n   o f   p e r f o r m a n ce   o f   in d t r l   was  d o n e  with   o th er   s tan d ar d   m o d el s   in clu d in g   Go o g le  tr an s latio n ,   B in g   tr an s latio n ,   AI 4 B h ar at  I n d icT r an s   tr an s latio n .       T ab le  2 .  E x p er im en tal  s etu p   d etails   R e s o u r c e   t y p e   D e t a i l s   P r o c e ss o r   I n t e l   X e o n   R a n d o m  a c c e ss  mem o r y   5 1 2   G B   G r a p h i c s   p r o c e ssi n g   u n i t   8 x   N V I D I A   A 1 0 0   G P U s   La n g u a g e   P y t h o n         T ab le  3 .  B L UE   s co r es with   d if f er en t c o n f ig u r atio n s   o f   t h e  p r o p o s ed   tr an s f o r m er     N   d m o d e l   d ff   h   d k   d v   P d r o p   B LU E  ( e n - h i )   B LU E  ( e n - b e )   B LU E  ( e n - t a )   B LU E  ( e n - m l )   F i n a l   8   2 5 6   2 0 4 8   8   64   64   0 . 1   3 2 . 1 3   2 9 . 3 1   3 1 . 2 1   2 1 . 1 2           4   1 2 8   1 2 8     2 6 . 6 5   2 6 . 6 3   2 8 . 7 5   1 8 . 8           16   32   32     2 6 . 8 5   2 8 . 2 9   2 7 . 7 8   1 9 . 5 3     6               2 7 . 7 2   2 8 . 3 4   2 7 . 0 5   1 9 . 4 6     4               2 6 . 2 2   2 8 . 1 9   2 8 . 2 5   1 9 . 2 8     2               2 7 . 7 1   2 7 . 6   2 6 . 6 1   1 9 . 7 7   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   1 ,  J an u ar y   20 2 5 :   250 - 2 5 6   254       F ig u r e   1 .   B L UE   s co r e  o f   p r o p o s ed   m o d el  a n d   o t h er   s tan d ar d   m o d els       T ab le  4 .  Per f o r m an ce   co m p a r is o n   o f   in d tr l   with   o th e r   s tan d a r d   m o d els   M o d e l   B LU E  ( e n - h j )   B LU E  ( e n - b e )   B LU E  ( e n - t a )   B LU E  ( e n - m l )   G o o g l e   t r a n s l a t i o n   3 2 . 3 3   2 8 . 2 6   3 0 . 9 8   1 9 . 4 8   B i n g   t r a n s l a t i o n   3 1 . 6 5   2 0 . 8 7 7   2 9 . 8 5   2 0 . 3 7   A I 4 B h a r a t   I n d i c Tr a n s  t r a n sl a t i o n   3 1 . 3 6   1 7 . 5 4 9   2 8 . 2 7   1 9 . 1 8   I n d t r l   3 2 . 1 3   2 9 . 3 1   3 1 . 2 1   2 1 . 1 2   I n d t r l   +  B a c k t r a n sl a t i o n   3 2 . 6 7   2 9 . 3 8   3 1 . 7 5   2 1 . 1 7                 T ab le  5 .  Per f o r m an ce   co m p a r is o n   o f   in d tr l   with   o th e r   s tan d a r d   m o d els   M o d e l   R I B ES   ( e n - h j )   R I B ES   ( e n - b e )   R I B ES   ( e n - t a )   R I B ES   ( e n - m l )   G o o g l e   t r a n s l a t i o n   0 . 6 6 9 3   0 . 6 1 7 5   0 . 7 1 1 8   0 . 6 3 3 4   B i n g   t r a n s l a t i o n   0 . 6 6 5 2   0 . 7 8 8 2   0 . 6 8 8 1   0 . 7 3 0 7   A I 4 B h a r a t   I n d i c Tr a n s  t r a n sl a t i o n   0 . 6 5 7 6   0 . 6 2 2 1   0 . 6 3 5 8   0 . 7 8 0 3   I n d t r l   0 . 7 8 6 8   0 . 7 6 3 5   0 . 7 4 7 2   0 . 7 2 5 3   I n d t r l   +  B a c k t r a n sl a t i o n   0 . 7 8 7 2   0 . 7 9 2 1   0 . 7 4 9 1   0 . 7 3 1 0       Ho wev er ,   in   T ab le  5 ,   th e   R I B E S   s co r e  p r o v id es  m o r e  in s ig h ts .   I n d tr l  ( with   a n d   with o u t   b ac k tr an s latio n )   ac h iev es  th e  h ig h est  s co r es  ( 0 . 7 4 7 2   a n d   0 . 7 4 9 1 ) ,   s u g g esti n g   its   tr an s latio n s   ar e  ju d g ed   as  m o r e  f l u en t  f o r   E n g lis h - T am il .   E n g lis h   t o   Ma lay alam   ( en - m l) :  t h is   is   th e  m o s t  c h allen g in g   tr an s latio n   f o r   all  m o d els,  r ef l ec ted   in   th e  lo wer   B L E U  s co r es.  Go o g le  t r an s late  lead s   with   1 9 . 4 8 ,   f o llo we d   b y   I n d t r l  at  2 1 . 1 2 .   B ac k tr an s latio n   o f f e r s   m in i m al  im p r o v em en t   f o r   i n d tr l   ( 2 1 . 1 7 ) .   I n ter esti n g ly ,   AI 4 B h ar at  I n d icT r an s   T r an s latio n   ac h iev es  th e  h i g h e s t  R I B E S  s co r e  ( 0 . 7 8 0 3 )   d esp ite   h av in g   a  l o wer   B L E U  s co r e .   T h is   s u g g ests   its   tr an s latio n s   is   ju d g e d   as  m o r e   f lu en t   d esp ite  b ein g   less   s im ilar   to   r ef er e n ce   tr a n s latio n s   in   ter m s   o f   c o n ten t.   Ov er all,   I n d tr l  with   b ac k tr an s latio n   em er g es  as  a  s tr o n g   co n ten d er ,   p a r ticu lar ly   f o r   ac h ie v in g   h u m an - q u ality   f lu en cy   as  m ea s u r e d   b y   R I B E S.  Ho wev er ,   Go o g le  t r an s late  r em ain s   co m p etitiv e  f o r   E n g li s h - Hin d i  an d   T am il  b ased   o n   B L E U  s co r e.   Fo r   Ma lay alam   tr an s latio n ,   AI 4 B h ar a t  I n d icT r a n s   s ee m s   to   p r io r itiz e  f lu en c y   b ased   o n   R I B E S sco r e.       4.   CO NCLU SI O N   An   attem p t  to   tr a n s late  E n g lis h   lan g u a g e  in to   Hin d i,  B en g al i,  T am il,  an d   Ma lay alam   was  m ad e  with   an   in n o v ativ e  ap p r o ac h   o f   u s in g   SF NM T   an d   a  m o d if ie d   tr an s f o r m er   m o d el .   Mo r eo v er ,   to   im p r o v e  th e   d ataset  an d   tr an s latio n ,   a   m e th o d   o f   b ac k tr an s latio n   was  ap p lied .   C h an g es  to   th e  tr a n s f o r m er   i n clu d e  t h e  n u m b er   o f   lay er s   i n   en c o d er - d ec o d er ,   ch a n g es  in   th e  o u tp u t  d im en s io n ,   an d   ch a n g es  in   th e  h y p er p a r am eter s   o f   th e  Ad am   o p tim izer .   T h e  m o d el  n am ed   in d tr l  was  co m p ar ed   with   o th er   s tan d ar d   m o d els  an d   p er f o r m ed   s lig h tly   b e tter   an d   b est  with   b ac k tr an s latio n .   W h ile  i n d tr l  wi th   b ac k t r an s latio n   e m er g es  as   a  s tr o n g   all - ar o u n d   p er f o r m er ,   ac h iev in g   g o o d   s co r es  in   b o th   s im ilar ity   ( B L E U )   an d   f lu e n cy   ( R I B E S),   o th er   m o d els  h av e   th eir   s tr en g th s .   Go o g le   t r an s late  ex ce ls   in   co n ten t   s im il ar ity   f o r   E n g lis h   to   Hin d i  an d   T am il  ( h ig h   B L E U  s co r es).   Ho wev er ,   B L E U  an d   R I B E S  s co r es  co n f lict  ea ch   o th er .   Fo r   in s tan ce ,   a  m o d el  with   h ig h   B L E U  m ig h t  n o t  b e   th e  m o s t  f lu en t   b ased   o n   R I B E S  s co r e.   E n g lis h   to   Ma la y alam   tr an s latio n   s ee m s   m o s t  ch allen g in g ,   wi th   AI 4 B h ar at  I n d icT r an s   p r io r iti zin g   f l u en cy   ( h i g h   R I B E S)  e v en   if   co n ten t  s im ilar ity   is   lo wer   ( lo wer   B L E U) .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       A tten tio n   b a s ed   E n g lis h   to   I n d o - A r ya n   a n d   Dra vid ia n   la n g u a g e  …   ( R ites h   K u ma r   Dw ived i )   255   Fin ally ,   b ac k tr a n s latio n   o f f er s   s o m e  im p r o v e m en t  f o r   in d tr l   b u t   th e  im p ac t  is   m o d es.  A  s ig n if ican t  p r o b lem   with   tr ad itio n al  tr an s f o r m er s   is   th e  h u g e   m em o r y   r eq u ir e m e n t.  T h er ef o r e,   a  SF NM T   was   u s ed   th at  n o t  o n ly   r ed u ce d   th e   m em o r y   r eq u ir ed   b u t  also   im p r o v e d   th e  tr ai n in g   tim e,   th er e b y ,   r e d u cin g   th e  co m p u tin g   tim e .    T h e  p r o p o s ed   m o d el  was  tr ain ed   o n   d atasets :  B ac k tr an s lated - Hin d i,  I I T B - hi - e n ,   W AT - I L MPC ,   I L C I .     T h e  m o d el  ac h iev es  an   av e r ag e  s p ee d   o f   1 1 . 3 7   m illi s ec o n d s   p er   s en ten ce ,   wh ich   o t h er wis e  was  1 4 . 5 6   m illi s ec o n d s   with o u t  th e  SF NM T .   T h e  p r o p o s ed   m o d el  i n d tr l  ac h iev es  a   B L UE   s co r e   o f   3 2 . 1 3   ( e n → h i) ,   2 9 . 3 1   ( en → b e) ,   3 1 . 2 1   ( en → ta) ,   2 1 . 1 2   ( en → m l)   an d   3 2 . 6 7   ( en → h i) ,   2 9 . 3 8   ( en → b e) ,   3 1 . 7 5   ( e n → ta) ,   2 1 . 1 7   ( en → m l)   with o u t   b ac k tr a n s latio n   an d   with   b ac k tr a n s latio n .   A  lim ited   d ataset  is   a  p r im e   s o u r ce   o f   lo w  B L UE   s co r es;  h o wev er ,   d if f er en t   c o n f ig u r atio n s   o f   t h e  tr a n s f o r m er   m o d el   ca n   p r o v id e   b etter   r esu lts .   I t  i s  r ec o m m en d ed   to   e m p lo y   tech n iq u es  s u ch   as  g r id   s ea r c h   o r   r an d o m   s ea r ch   to   s y s tem atica lly   ex p lo r e   d if f er e n t   co m b in atio n s   o f   h y p er   p ar a m eter s .   Oth er   lim itin g   f ac to r s   in clu d e  lim ited   ca p ac ity   o f   t h e  ex p er im en tal  s etu p ,   lead in g   to   s tag n atio n   in   ex p l o r in g   th e  m o d el ’ s   co m p lete  p o ten tial.  SF NM T   m ay   b e  u s ed   f o r   all  o th er   22  o f f icial  I n d ia n   r eg i o n al  lan g u a g es .       RE F E R E NC E S   [ 1 ]   P .   K o e h n ,   S t a t i s t i c a l   m a c h i n e   t r a n sl a t i o n ,   v o l .   9 7 8 0 5 2 1 8 7 4 1 5 1 .   C a m b r i d g e   U n i v e r si t y   P r e ss,   2 0 0 9 .   [ 2 ]   F .   J.  O c h   a n d   H .   N e y ,   “ D i s c r i m i n a t i v e   t r a i n i n g   a n d   ma x i m u m  e n t r o p y   mo d e l s  f o r   s t a t i s t i c a l   m a c h i n e   t r a n sl a t i o n , ”   i n   Pro c e e d i n g s   o f   t h e   A n n u a l   Me e t i n g   o f   t h e   Asso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 0 2 ,   v o l .   2 0 0 2 - J u l y ,   p p .   2 9 5 – 3 0 2 ,     d o i :   1 0 . 3 1 1 5 / 1 0 7 3 0 8 3 . 1 0 7 3 1 3 3 .   [ 3 ]   Q .   W a n g ,   J.   Z h a n g ,   a n d   C .   Z o n g ,   “ S y n c h r o n o u s   I n f e r e n c e   f o r   M u l t i l i n g u a l   N e u r a l   M a c h i n e   Tr a n s l a t i o n , ”   I E EE/ AC M   T ra n s a c t i o n s  o n   A u d i o   S p e e c h   a n d   L a n g u a g e   Pr o c e ssi n g ,   v o l .   3 0 ,   p p .   1 8 2 7 – 1 8 3 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / TA S LP. 2 0 2 2 . 3 1 7 8 2 4 1 .   [ 4 ]   N .   J.   K h a n ,   W .   A n w a r ,   a n d   N .   D u r r a n i ,   “ M a c h i n e   t r a n sl a t i o n   a p p r o a c h e s   a n d   s u r v e y   f o r   i n d i a n   l a n g u a g e s, ”   a rXi v ,   J a n .   2 0 1 7 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 1 7 0 1 . 0 4 2 9 0 .   [ 5 ]   H .   C h o u d h a r y ,   A .   K .   P a t h a k ,   R .   R .   S a h a ,   a n d   P .   K u m a r a g u r u ,   “ N e u r a l   m a c h i n e   t r a n sl a t i o n   f o r   En g l i s h - Ta m i l , ”   i n   Pr o c e e d i n g s  o f   t h e   T h i r d   C o n f e re n c e   o n   M a c h i n e   T ra n sl a t i o n :   S h a r e d   T a s k   P a p e rs ,   2 0 1 9 ,   p p .   7 7 0 – 7 7 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / w 1 8 - 6 4 5 9 .   [ 6 ]   S .   S i n g h ,   M .   A n a n d   K u mar,   a n d   K .   P .   S o ma n ,   “ A t t e n t i o n   b a se d   En g l i s h   t o   P u n j a b i   n e u r a l   m a c h i n e   t r a n s l a t i o n , ”   J o u rn a l   o f   I n t e l l i g e n t   a n d   F u zzy  S y st e m s ,   v o l .   3 4 ,   n o .   3 ,   p p .   1 5 5 1 – 1 5 5 9 ,   M a r .   2 0 1 8 ,   d o i :   1 0 . 3 2 3 3 / JI F S - 1 6 9 4 5 0 .   [ 7 ]   M .   H a q u e   a n d   M .   H a sa n ,   “ E n g l i s h   t o   B e n g a l i   ma c h i n e   t r a n s l a t i o n :   a n   a n a l y si s  o f   sem a n t i c a l l y   a p p r o p r i a t e   v e r b s,”   i n   2 0 1 8   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n n o v a t i o n s   i n   S c i e n c e ,   E n g i n e e ri n g   a n d   T e c h n o l o g y ,   I C I S ET  2 0 1 8 ,   O c t .   2 0 1 8 ,   p p .   2 1 7 – 2 2 1 ,     d o i :   1 0 . 1 1 0 9 / I C I S ET. 2 0 1 8 . 8 7 4 5 6 2 6 .   [ 8 ]   M .   A .   S i p r a ,   “ A   l i n g u i s t i c   s t u d y   o f   b o r r o w i n g s  f r o m   E n g l i sh   t o   u r d u , ”   I n t e rn a t i o n a l   J o u r n a l   o f   Ap p l i e d   L i n g u i st i c s   a n d   En g l i s h   L i t e r a t u r e ,   v o l .   2 ,   n o .   1 ,   p p .   2 0 3 – 2 0 7 ,   Jan .   2 0 1 3 ,   d o i :   1 0 . 7 5 7 5 / i j a l e l . v . 2 n . 1 p . 2 0 3 .   [ 9 ]   K .   Li n g a m,   E.   R a ma l a k sh m i ,   a n d   S .   I n t u r i ,   “ En g l i s h   t o   Te l u g u   r u l e   b a sed   mac h i n e   t r a n s l a t i o n   sy s t e m :   a   h y b r i d   a p p r o a c h , ”   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   Ap p l i c a t i o n s ,   v o l .   1 0 1 ,   n o .   2 ,   p p .   1 9 – 2 4 ,   2 0 1 4 ,   d o i :   1 0 . 5 1 2 0 / 1 7 6 5 9 - 8 4 7 4 .   [ 1 0 ]   D .   B a h d a n a u ,   K .   H .   C h o ,   a n d   Y .   B e n g i o ,   “ N e u r a l   ma c h i n e   t r a n sl a t i o n   b y   j o i n t l y   l e a r n i n g   t o   a l i g n   a n d   t r a n sl a t e , ”   2 0 1 5 .   [ 1 1 ]   J.  A r men g o l - Es t a p é ,   M .   R .   C o st a - j u ssà,   a n d   C .   Es c o l a n o ,   “ E n r i c h i n g   t h e   t r a n sf o r mer  w i t h   l i n g u i s t i c   f a c t o r s   f o r   l o w - r e so u r c e   mac h i n e   t r a n sl a t i o n , ”   i n   Pr o c e e d i n g s   o f   t h e   C o n f e re n c e   R e c e n t   Ad v a n c e s  i n   N a t u r a l   L a n g u a g e   Pro c e ss i n g   -   D e e p   L e a r n i n g   f o r   N a t u r a l   L a n g u a g e   Pro c e ss i n g   Me t h o d s  a n d   Ap p l i c a t i o n s ,   2 0 2 1 ,   p p .   7 3 – 7 8 ,   d o i :   1 0 . 2 6 6 1 5 / 9 7 8 - 9 5 4 - 4 5 2 - 072 - 4 _ 0 0 9 .   [ 1 2 ]   M .   G a r c í a - M a r t í n e z ,   W .   A r a n s a ,   F .   B o u g a r e s,  a n d   L.   B a r r a u l t ,   “ A d d r e ssi n g   d a t a   s p a r si t y   f o r   n e u r a l   ma c h i n e   t r a n sl a t i o n   b e t w e e n   mo r p h o l o g i c a l l y   r i c h   l a n g u a g e s,”   M a c h i n e   T r a n s l a t i o n ,   v o l .   3 4 ,   n o .   1 ,   p p .   1 – 2 0 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 5 9 0 - 0 1 9 - 0 9 2 4 2 - 9.   [ 1 3 ]   I .   S u t sk e v e r ,   O .   V i n y a l s ,   a n d   Q .   V .   L e ,   “ S e q u e n c e   t o   se q u e n c e   l e a r n i n g   w i t h   n e u r a l   n e t w o r k s , ”   A d v a n c e s   i n   N e u ra l   I n f o rm a t i o n   Pro c e ssi n g   S y s t e m s ,   v o l .   4 ,   n o .   J a n u a r y ,   p p .   3 1 0 4 – 3 1 1 2 ,   2 0 1 4 .   [ 1 4 ]   S .   A .   M o h a m e d ,   M .   A .   A b d o u ,   a n d   A .   A .   E l sa y e d ,   “ R e s i d u a l   I n f o r mat i o n   F l o w   f o r   N e u r a l   M a c h i n e   Tr a n sl a t i o n , ”   I EEE   A c c e ss ,  v o l .   1 0 ,   p p .   1 1 8 3 1 3 – 1 1 8 3 2 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 2 2 0 6 9 1 .   [ 1 5 ]   K .   C h o   e t   a l . ,   “ Le a r n i n g   p h r a s e   r e p r e s e n t a t i o n s  u s i n g   R N N   e n c o d e r – d e c o d e r   f o r   st a t i st i c a l   ma c h i n e   t r a n s l a t i o n , ”     i n   Pr o c e e d i n g s   o f   t h e   2 0 1 4   C o n f e re n c e   o n   Em p i ri c a l   Me t h o d s  i n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g   ( E MN L P) ,   2 0 1 4 ,   p p .   1 7 2 4 – 1 7 3 4 ,   d o i :   1 0 . 3 1 1 5 / v 1 / D 1 4 - 1 1 7 9 .   [ 1 6 ]   A .   V a sw a n i   e t   a l . ,   “ A t t e n t i o n   i s  a l l   y o u   n e e d , ”   A d v a n c e s  i n   N e u r a l   I n f o rm a t i o n   Pro c e ss i n g   S y st e m s ,   v o l .   2 0 1 7 - D e c e mb e r ,     n o .   N i p s,   p p .   5 9 9 9 – 6 0 0 9 ,   2 0 1 7 .   [ 1 7 ]   A .   G r a v e s ,   “ G e n e r a t i n g   s e q u e n c e s  w i t h   r e c u r r e n t   n e u r a l   n e t w o r k s,”   a r x i v ,   2 0 1 3 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 1 3 0 8 . 0 8 5 0 .   [ 1 8 ]   S .   S i r i p r a g a d a ,   J.   P h i l i p ,   V .   P .   N a m b o o d i r i ,   a n d   C .   V .   Jaw a h a r ,   “ A   mu l t i l i n g u a l   p a r a l l e l   c o r p o r a   c o l l e c t i o n   e f f o r t   f o r   I n d i a n   l a n g u a g e s , ”   L REC   2 0 2 0   -   1 2 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   L a n g u a g e   R e so u rc e s  a n d   Ev a l u a t i o n ,   C o n f e r e n c e   Pro c e e d i n g s ,   p p .   3 7 4 3 – 3 7 5 1 ,   2 0 2 0 .   [ 1 9 ]   N .   C h o u d h a r y   a n d   G .   N .   J h a ,   “ C r e a t i n g   mu l t i l i n g u a l   p a r a l l e l   c o r p o r a   i n   I n d i a n   l a n g u a g e s, ”   i n   L e c t u re   N o t e s  i n   C o m p u t e r  S c i e n c e   ( i n c l u d i n g   s u b s e ri e s  L e c t u re  N o t e s  i n   Ar t i f i c i a l   I n t e l l i g e n c e   a n d   L e c t u r e   N o t e s  i n   Bi o i n f o rm a t i c s) ,   v o l .   8 3 8 7   LN A I ,   2 0 1 4 ,     p p .   5 2 7 – 5 3 7 .   [ 2 0 ]   T.   K u d o   a n d   J.  R i c h a r d s o n ,   “ S e n t e n c e P i e c e :   a   si m p l e   a n d   l a n g u a g e   i n d e p e n d e n t   s u b w o r d   t o k e n i z e r   a n d   d e t o k e n i z e r   f o r   n e u r a l   t e x t   p r o c e ss i n g , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 1 8   C o n f e re n c e   o n   Em p i r i c a l   Me t h o d s  i n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g :   S y s t e m   D e m o n s t r a t i o n s ,   2 0 1 8 ,   p p .   6 6 – 7 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / D 1 8 - 2 0 1 2 .   [ 2 1 ]   K .   W a n g c h u k ,   S .   C .   N a v a n e e t h a k r i s h n a n ,   Y .   J a mt s h o ,   a n d   Y .   W a n g c h u k ,   “ D z o n g k h a   t o   En g l i s h   t r a n sl a t i o n   u s i n g   t h e   n e u r a l   mac h i n e   t r a n s l a t i o n   a p p r o a c h , ”   I n d o n e s i a n   J o u rn a l   o f   E l e c t r i c a l   E n g i n e e ri n g   a n d   C o m p u t e r   S c i e n c e   ( I J EE C S ) ,   v o l .   3 1 ,   n o .   2 ,     p p .   8 8 5 – 8 9 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s.v 3 1 . i 2 . p p 8 8 5 - 8 9 2 .   [ 2 2 ]   D .   A .   H a me e d ,   T.   A .   F a i sa l ,   A .   K .   A b b a s,  H .   A .   A l i ,   a n d   G .   T .   H a s a n ,   “ D I A - En g l i s h - A r a b i c   n e u r a l   ma c h i n e   t r a n sl a t i o n   d o m a i n :   su l f u r   i n d u st r y , ”   I n d o n e s i a n   J o u rn a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r  S c i e n c e   ( I J EE C S ) ,   v o l .   2 7 ,   n o .   3 ,   p p .   1 6 1 9 – 1 6 2 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s. v 2 7 . i 3 . p p 1 6 1 9 - 1 6 2 4 .   [ 2 3 ]   M .   B e se i s o ,   S .   Tr i p a t h i ,   B .   A l - S h b o u l ,   a n d   R .   A l j a d i d ,   “ S e ma n t i c s  b a sed   e n g l i sh - a r a b i c   m a c h i n e   t r a n sl a t i o n   e v a l u a t i o n , ”   I n d o n e si a n   J o u r n a l   o f   E l e c t r i c a l   En g i n e e ri n g   a n d   C o m p u t e r  S c i e n c e   ( I J EEC S ) ,   v o l .   2 7 ,   n o .   1 ,   p p .   1 8 9 – 1 9 7 ,   2 0 2 2 ,     d o i :   1 0 . 1 1 5 9 1 / i j e e c s . v 2 7 . i 1 . p p 1 8 9 - 1 9 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   1 ,  J an u ar y   20 2 5 :   250 - 2 5 6   256   [ 2 4 ]   M .   K .   N y e i n   a n d   K .   M .   S o e ,   “ S o u r c e   si d e   p r e - o r d e r i n g   u s i n g   r e c u r r e n t   n e u r a l   n e t w o r k s  f o r   E n g l i sh - M y a n mar  mac h i n e   t r a n s l a t i o n , ”   I n t e r n a t i o n a l   J o u rn a l   o f   E l e c t ri c a l   a n d   C o m p u t e r  E n g i n e e r i n g   ( I J E EC S ) ,   v o l .   1 1 ,   n o .   5 ,   p p .   4 5 1 3 – 4 5 2 1 ,   2 0 2 1 ,     d o i :   1 0 . 1 1 5 9 1 / i j e c e . v 1 1 i 5 . p p 4 5 1 3 - 4 5 2 1 .   [ 2 5 ]   M .   A .   A y u ,   T .   M a n t o r o ,   a n d   J .   A si a n ,   “ Q u a l i t y   t r a n s l a t i o n   e n h a n c e me n t   u si n g   s e q u e n c e   k n o w l e d g e   a n d   p r u n i n g   i n   s t a t i st i c a l   mac h i n e   t r a n s l a t i o n , ”   T e l k o m n i k a   ( T e l e c o m m u n i c a t i o n   C o m p u t i n g   El e c t r o n i c s  a n d   C o n t ro l ) ,   v o l .   1 6 ,   n o .   2 ,   p p .   7 1 8 – 7 2 7 ,   2 0 1 8 ,   d o i :   1 0 . 1 2 9 2 8 / T EL K O M N I K A . v 1 6 i 2 . 8 6 8 7 .       B I O G RAP H I E S O F   AUTH O RS       Rite sh  K u m a r   D wiv e d i          he   jo in t  d irec to r  (IT )  i n   G o v t.   o f  I n d ia.  He   p u rsin g   Ph . D .   fro m   De p a rtme n t  C o m p u ter  S c ien c e   a n d   En g in e e ri n g ,   S h a rd a   Un i v e rsity ,   G re a ter   No id a ,   I n d ia.   He   h a s   m o re   t h a n   1 8   y e a rs  o f   e x p e rien c e   i n   so f twa re   a p p li c a ti o n   d e v e lo p m e n t.   He   h a s   k e e n   in tere st  in   d e v e l o p i n g   AI  a n d   M L  a p p li c a ti o n s.  He   c a n   b e   c o n tac ted   a t  e m a il :   rit e sh . d wi v e d i@n ic.i n .       Pa r m a   Na n d           p ro fe ss o r  (Dr.)  P a rm a   Na n d   is  P ro   Vic e   Ch a n c e ll o r  a n d   P ro fe ss o r  De p t.   o f  Co m p u ter  S c ien c e   a n d   En g i n e e rin g ,   S h a r d a   Un iv e rsity   G re a ter  No id a .   He   h a s  o v e r  2 9   y e a rs  o f  tea c h in g ,   i n d u stry   a n d   re se a rc h   e x p e rien c e .   He   h a s  e x p e rti se   in   W irele ss   a n d   S e n so r  Ne two r k ,   Cr y p t o g ra p h y ,   Alg o rit h m   a n d   Co m p u ter  G ra p h i c s.  He   h a s  e a rn e d   h is  P h . D .   fro m   IIT   Ro o rk e e ,   M . Tec h .   a n d   B. Tec h .   i n   Co m p u ter  S c ien c e   a n d   E n g i n e e rin g   fro m   IIT   De lh i.   He   c a n   b e   c o n tac ted   a t  e m a il :  p a rm a . n a n d @s h a rd a . a c . in .       O m   Pa l           re c e iv e d   B. E.   i n   C o m p u ter  S c ien c e   a n d   E n g i n e e rin g   fro m   Dr.  B .   R.   Am b e d k a r  Un i v e rsity ,   Ag ra ,   M BA(O & M )  fro m   IG NO U,  M S   (Re se a rc h )  in   f ield   o f   Cry p t o g ra p h y   fr o m   IIT   Bo m b a y   a n d   P h . D.  in   fiel d   o f  Cy b e r  S e c u rit y   fro m   Ja m ia  M il li a   Isla m ia,  Ne w  De lh i.   P re se n tl y   h e   is  P u rsu i n g   “ P G   Dip lo m a   p ro g ra m   (o n li n e   m o d e )  i n   C y b e r   Law ,   Cy b e r  Crime   In v e sti g a ti o n   a n d   Di g it a l  F o re n sic s”   fro m   Na ti o n a l  Law   In stit u te   Un iv e rsity ,   Bh o p a l.   He   c a n   b e   c o n tac ted   a t  e m a il :  o p a l@c s.d u . a c . i n .     Evaluation Warning : The document was created with Spire.PDF for Python.