I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.  14 ,   No .   1 Ma r ch   20 25 ,   p p .   2 4 3 ~ 2 5 3   I SS N:  2089 - 4864 DOI 1 0 . 1 1 5 9 1 /i j r es . v 1 4 . i 1 . p p 2 4 3 - 253       243       J o ur na l ho m ep a g e h ttp : //ij r es.ia esco r e. co m   Self - a t tent io n  enc o der - deco der  w it m o d el ada ptati o n f o trans literation  an d t ra nsla tion  tas ks in regio na l lang ua g e       Sh a ntha la   Na g a ra j a ,   K ira Y .   Cha nd a pp a   D e p a r t me n t   o f   I n f o r mat i o n   S c i e n c e   a n d   E n g i n e e r i n g ,   G l o b a l   A c a d e my   o f   T e c h n o l o g y ,   B a n g a l o r e ,   I n d i a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  3 ,   2 0 2 3   R ev i s ed   J u l 1 0 ,   2 0 2 4   A cc ep ted   A u g   1 2 ,   2 0 2 4       T h e   re c e n a d v a n c e m e n ts  in   n a tu ra lan g u a g e   p ro c e ss in g   (N L P h a v e   h ig h li g h ted   t h e   sig n if ica n c e   o in teg ra ti n g   m a c h in e   tran slit e ra ti o n   w it h   tran sla ti o n   f o e n h a n c e d   la n g u a g e   se rv ic e s,  p a rti c u larly   in   th e   c o n tex o f   re g io n a lan g u a g e s.  T h is  p a p e in tr o d u c e a   n o v e n e u ra n e tw o rk   a rc h it e c tu re   th a lev e ra g e a   se lf - a tt e n ti o n   m e c h a n is m   to   c re a te   a n   a u to - e n c o d e w it h o u t   t h e   n e e d   f o i tera ti v e   o c o n v o l u ti o n a p ro c e ss e s.  T h e   se lf - a tt e n ti o n   m e c h a n is m   o p e ra tes   o n   p ro jec ti o n   m a tri c e s,  f e a tu re   m a tri c e s,  a n d   targ e q u e ries ,   u ti li z i n g   th e   S o f t m a x   f u n c ti o n   f o o p ti m iza t io n .   T h e   in tro d u c ti o n   o f   th e   se l f - a tt e n ti o n   e n c o d e r - d e c o d e w it h   m o d e a d a p tatio n   (S A EDM re p re se n ts  a   b re a k th ro u g h ,   m a rk in g   a   su b sta n ti a e n h a n c e m e n in   tran slit e ra ti o n   a n d   tra n sla ti o n   a c c u ra c y   o v e p re v io u m e th o d o l o g ies .   T h is   in n o v a ti v e   a p p ro a c h   e m p lo y b o t h   stu d e n t   a n d   tea c h e m o d e ls,   w it h   t h e   stu d e n m o d e l' lo ss   c a lcu late d   th ro u g h   th e   p r o b a b il it ies   a n d   p re d ictio n   lab e ls  v ia  th e   n e g a ti v e   lo g   e n tro p y   f u n c ti o n .   T h e   p ro p o se d   a rc h i tec tu re   is  d isti n c ti v e ly   d e sig n e d   a th e   c h a ra c ter  lev e l,   in c o rp o ra ti n g   a   w o rd - t o - w o rd   e m b e d d in g   f ra m e w o rk ,   a   b e a m   se a rc h   a lg o rit h m   f o se n ten c e   g e n e ra ti o n ,   a n d   a   b in a ry   c las sif ier   w it h in   th e   e n c o d e r - d e c o d e stru c t u re   to   e n su re   th e   u n i q u e n e ss   o f   th e   c o n ten t.   T h e   e ff e c ti v e n e ss   o f   th e   p ro p o se d   m o d e is   v a li d a ted   th ro u g h   c o m p re h e n si v e   e v a lu a ti o n u sin g   tra n slit e r a ti o n   a n d   tran sla ti o n   d a tas e ts  i n   Ka n n a d a   a n d   Hin d la n g u a g e s,  d e m o n stra ti n g   it su p e rio p e rf o rm a n c e   c o m p a re d   t o   e x isti n g   m o d e ls.   K ey w o r d s :   Au to - e n co d er   Natu r al  la n g u a g p r o ce s s in g   Neu r al  n et w o r k   Self - atte n tio n   en co d er - d ec o d er   w it h   m o d el  ad ap tatio n   Self - atte n tio n   m ec h a n is m   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sh a n t h ala  Nag ar aj a   Dep ar t m en t o f   I n f o r m atio n   Sc ien ce   an d   E n g i n ee r in g ,   Glo b al   A ca d e m y   o f   T ec h n o lo g y   R aj ar aj esh w ar in a g ar ,   ( o f f   M y s o r R o ad ) ,   I d ea l H o m es T o w n s h ip ,   B an g alo r e - 5 6 0 0 9 8 ,   Ka r n atak a,   I n d ia   E m ail: s h a n t h ala_ 1 2 @ r ed if f m ail. co m       1.   I NT RO D UCT I O N   I n   to d ay 's  m o d er n   w o r ld ,   ef f ec tiv cr o s s - lan g u ag co m m u n ica tio n   an d   i n f o r m atio n   ac ce s s   h a v e   b ec o m i n d is p en s ab le.   T h r a p id   ex p an s io n   o f   th i n ter n et  h as  led   to   v ast  a m o u n o f   d ig ital  in f o r m at io n   b ein g   g e n er ated   in   v ar io u s   la n g u a g es,  in cl u d i n g   Hin d a n d   E n g l is h   [ 1 ] .   C r o s s - lan g u ag i n f o r m atio n   r etr ie v al  ( C L I R )   en ab les  u s er s   to   f i n d   r elev an d ata  in   d i f f er en lan g u ag es,  m ak i n g   it  p ar tic u lar l y   cr u cial  f o r   lan g u a g es   lik Hin d an d   E n g lis h ,   w h i ch   h av d is ti n ct  lin g u is t ic  f r a m e w o r k s   an d   w r iti n g   s y s te m s   [ 2 ] .   T h is   s tu d y   in v e s t i g ates   t h p er f o r m a n ce   a n d   ef f ec ti v e n es s   o f   C L I R   tec h n iq u e s ,   s p ec i f icall y   f o cu s i n g   o n   Hi n d i - to - E n g lis h   tr an s liter at io n   a n d   tr an s latio n   [ 3 ] [ 5 ] .   Hin d h o ld s   s i g n i f ic an i m p o r tan ce   as   it  i s   s p o k e n   b y   o v er   4 0 o f   I n d ian s   a n d   ac ts   as  lin g u a   f r an ca ,   b r in g i n g   to g eth er   p eo p le  f r o m   d iv er s li n g u i s tic   an d   g eo g r ap h ical   b ac k g r o u n d s   [ 6 ] .   B esid es  E n g lis h ,   Hin d is   o n o f   th 2 2   o f f icia ll y   r ec o g n ized   lan g u a g es  in   I n d ia  [ 7 ] ,   [ 8 ] Du to   its   o f f icial  s tat u s ,   co n s id er ab le  a m o u n o f   o f f icia p ap er w o r k ,   le g al  d o cu m e n ts ,   an d   co m m u n icatio n   ar p r o d u ce d   in   Hin d i,  e m p h a s izin g   t h n ee d   f o r   ef f icie n t a n d   ac cu r ate  C L I R   s y s te m s   to   e n h an ce   ac ce s s ib ilit y   to   s u ch   cr itical  i n f o r m atio n   [ 9 ] ,   [ 1 0 ] .   Giv en   its   w id e s p r ea d   u s ag e,   o f f icial  s tatu s ,   an d   th g r o w in g   d ig i tal   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2089 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 No .   1 Ma r c h   2025 2 4 3 - 253   244   co n ten t,  H in d p la y s   cr u cial   r o le  in   C L I R   i n   I n d ia,   f ac ilit atin g   i n ter cu lt u r al  co m m u n ica tio n   an d   p r o v id i n g   ac ce s s   to   o f f i cial  i n f o r m atio n   [ 1 1 ] ,   [ 1 2 ] .   Fo r   Hin d i - to - E n g lis h   C L I R ,   tr an s liter atio n   is   p ar ticu lar l y   u s e f u l,  as  it  co n v er ts   tex b et w ee n     th Dev a n a g ar s cr ip ( u s ed   in   Hin d i)   an d   th L ati n   s cr ip ( u s ed   in   E n g li s h )   w h ile  p r eser v in g   p h o n et ic   s i m ilar it y   [ 1 3 ] ,   [ 1 4 ] .   Ho w ev er ,   tr an s liter atio n   m a y   n o al w a y s   ca p tu r th e x ac s e m a n tic  m ea n in g   o f   t h te x t.   On   th o th er   h a n d ,   tr an s latio n   in v o lv e s   co n v e y i n g   t h m e an in g   o f   tex f r o m   o n la n g u a g to   an o th er ,   m ak in g   it  m o r s u itab le  f o r   t r an s f er r in g   s e m an t ic  in f o r m at io n   b et w ee n   lan g u ag e s   lik Hin d an d   E n g li s h .   A lt h o u g h   tr an s latio n - b ased   te ch n iq u es  h av s h o w n   ad v an t ag es  o v er   tr an s liter atio n   al g o r ith m s   i n   p r ev io u s   C L I R   r esear ch ,   it  r e m ai n s   u n ce r t ain   if   t h ese  f i n d i n g s   ap p ly   to   a   w id r an g o f   lan g u ag p air s   an d   d o m ain s ,   esp ec iall y   f o r   Hin d i - to - E n g lis h   C L I R   [ 1 5 ] .   R esear ch er s   an d   li n g u is ts   h av ex p lo r ed   v ar io u s   ch alle n g es   r elate d   to   tr an s liter atio n   an d   tr an s latio n   m o d el s .   T r an s latio n   s tu d ie s   h a v ex a m i n ed   asp ec ts   s u c h   as  c u lt u r al  b ac k g r o u n d ,   tr an s latio n   ac cu r ac y ,   an d   t h e   i m p ac o f   tr an s latio n   o n   li ter ar y   w o r k s .   On   t h o th er   h a n d ,   m o s o f   th f o cu s   o n   tr an s lit er atio n   s tu d ie s   h a s   ce n ter ed   ar o u n d   d ev elo p in g   t o o l s   an d   alg o r ith m s   f o r   tex tr an s latio n   ac r o s s   s cr ip ts .   Ho w e v er ,   th r elati v e   ef f ec ts   o f   tr an s liter atio n   a n d   tr an s latio n   o n   cr o s s - li n g u i s tic  co m m u n icatio n   i n   th co n tex o f   r eg io n al   lan g u a g es  li k Kan n ad a ,   Hin d an d   th eir   in ter ac tio n   w it h   E n g lis h   h a v n o b e en   ex te n s i v el y   i n v esti g ated   [ 1 6 ] R ec en ad v an ce m e n ts   in   d ee p   lear n in g   a n d   n at u r al  la n g u a g p r o ce s s in g   ( N L P )   h a v s i g n if ica n tl y   i m p r o v ed   m ac h in tr a n s latio n   an d   tr an s liter atio n   f o r   r eg io n al  lan g u ag es  li k Kan n ad a.   T h ese  d ev elo p m e n ts   h av e   f o cu s ed   o n   o v er co m i n g   r eso u r ce   co n s tr ai n ts   a n d   lan g u ag co m p lex i t y   w h i le  en h a n cin g   t h ac cu r ac y ,   f l u en c y ,   an d   ef f ec t iv e n es s   o f   lan g u ag m o d els.  Neu r al  m ac h i n tr an s lat io n   ( NM T )   m o d els  u tili zi n g   d ee p     lear n in g   tech n iq u es  h a v p r o v en   to   b m o r p r ec is an d   r eliab le  th an   tr ad itio n al  s tati s ti ca an d   r u le - b ased   ap p r o ac h es  [ 1 7 ] ,   [ 1 8 ] .   Fu r th er m o r e,   lar g e - s ca le  p r e - tr ain ed   lan g u a g m o d el s   li k b i d ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   an d   g e n er ativ e   p r e - tr ain ed   tr an s f o r m er s   ( GP T ) ,   alo n g   w it h   t h eir   m u ltil i n g u a l   v er s io n s ,   h a v d em o n s tr ated   r e m ar k ab le  p er f o r m an ce   in   v ar io u s   N L P   tas k s ,   i n clu d i n g   tr an s latio n   an d   tr an s li ter atio n   w h en   tr ai n e d   o n   Hin d i a n d   Kan n ad d ata.   I n   co n cl u s io n ,   ef f ec ti v cr o s s - lan g u a g co m m u n icatio n   an d   ac ce s s   to   i n f o r m atio n   ar ess e n tial i n   t h d ig ital  er a.   T h s tu d y   ai m s   to   in v est ig ate  th p er f o r m an ce   an d   e f f ec tiv e n es s   o f   Hin d i - to - E n g lis h   tr an s liter at io n   an d   tr a n s lat io n   tech n iq u es  i n   C L I R .   C o n s id er in g   t h s ig n i f ica n ce   o f   Hi n d in   I n d ia,   ac cu r ate   C L I R   s y s te m s   ar cr u cial  f o r   f o s ter i n g   in ter cu lt u r al  co m m u n icatio n   a n d   b r ea k in g   d o w n   lan g u a g b ar r ier s   in   th co u n tr y .   R ec e n ad v an ce m en ts   i n   d ee p   lear n in g   an d   NL P   h av s h o w n   p r o m i s i n g   r esu lt s   in   en h a n cin g   tr an s latio n   an d   tr an s liter atio n   m o d el s ,   p r o v id in g   b etter   ac ce s s   to   in f o r m atio n   ac r o s s   d i f f er en t la n g u ag e s   [ 1 9 ] .   I n   th is   n o v el  ap p r o ac h ,   t w o   p r e - tr ain ed   B E R T   m o d els  f r o m   d if f er e n d o m ai n s   ar s ea m les s l y   in te g r ated   in to   s eq u en ce - to - s eq u en ce   m o d el  u s in g   ad ap t er   m o d u les  [ 2 0 ] .   T h ese  ad ap ter s   ar in tr o d u ce d   b et w ee n   B E R T   lay er s   an d   f in e - t u n ed ,   w h ile  late n v ar iab les   d u r in g   f i n e - t u n i n g   d eter m i n w h ic h   la y er s   u t ilize   th ad ap ter s .   T h is   in telli g en t   ad ap tatio n   s ig n if ican tl y   e n h an ce s   p ar a m eter   ef f icie n c y   a n d   d ec o d in g   s p ee d .   T esti n g   t h p r o p o s ed   f r am e w o r k   ag ai n s v ar io u s   NM T   ch allen g e s   d e m o n s tr ates it s   ef f ec t iv en es s .   T h p ap er   in tr o d u ce s   th iter a tiv a n d   len g th - ad j u s tab le  n o n - au to r eg r ess i v d ec o d er   ( I L AND)   [ 2 1 ] u n iq u p ar ad ig m   f o r   m ac h in tr an s latio n .   I L AND  e m p lo y s   len g t h - ad j u s tab le  n o n - au to r eg r ess i v d ec o d er   th at  u s es  h id d en   la n g u a g e   m o d el  to   p r ev en lo w - co n f i d en ce   to k en   cr ea tio n s   w h ile   m a x i m izi n g   tar g et   s en te n ce   len g t h .   C o m p r is i n g   th r ee   s u b - m o d u le s - to k e n   m ask er ,   len g t h   m o d u lato r ,   an d   to k en   g en er ato r - I L A ND  co llab o r ativ el y   ac h ie v es  its   o b j ec tiv es.  T h to k en   m a s k er   an d   to k en   g e n er ato r   h an d le  th m as k ed   lan g u a g m o d el,   w h ile  t h le n g th   m o d u lato r   o p ti m izes  s en te n ce   le n g t h .   T h s eq u e n ce - to - s eq u en ce   tr ai n i n g   o f   th tr an s latio n   m o d el  i s   ef f ec t iv el y   d e m o n s tr ated .   T h co n c u r r en tr ain in g   o f   t h len g t h   m o d u lato r   an d   to k e n   g en er ato r ,   w h ic h   s h ar s i m ilar   s tr u ctu r e s ,   co n tr ib u tes  to   th m o d el 's  s u p er io r   p er f o r m a n ce   co m p ar ed   to   o th er   n o n - au to r eg r ess i v d ec o d er s ,   p r o v id in g   e m p ir ical  v alid atio n .   An o th er   p r o p o s ed   tech n iq u e   [ 2 2 ]   in tr o d u ce s   k n o w led g e - a w ar NM T ,   in co r p o r atin g   ad d itio n al  lan g u a g p r o p er ties   at  t h wo r d   lev el  u s i n g   r ec u r r en t   n e u r al  n et w o r k s   ( R NN) .   T h s e n ten ce   le v el  u s e s   a n   R NN  e n co d er   to   en co d th ese   w o r d - le v el  f ea t u r u n it s .   A d d itio n all y ,   k n o w led g g ate   an d   an   atte n tio n   g at e   co n tr o th q u an tit y   o f   i n f o r m atio n   f r o m   v ar io u s   s o u r ce s   to   ass is in   d ec o d in g   an d   co n s tr u ctin g   tar g et  w o r d s .   T h is   ap p r o ac h   p r o v es  ef f icie n in   e n h a n ci n g   NM T   p er f o r m an ce   b y   le v er ag in g   p r io r   tr an s lat io n   k n o w led g e   f r o m   t h s o u r ce   s id o f   NM T ' s   tr ain in g   p ip eli n e.   I en ab le s   NM T   to   ef f ec ti v el y   i n co r p o r ate  p ast  tr an s latio n   in f o r m atio n   a n d   cr o s s - lan g u ag tr an s latio n   d ata,   r esu lti n g   in   i m p r o v ed   tr an s la t io n   ac c u r ac y   an d   q u alit y .   T o   en h an ce   NM T   m o d el  p er f o r m a n ce   f o r   co n s tr ain ed   r eso u r ce s   an d   lan g u a g p air s ,   n o v el  s tr ateg y   is   p r o p o s ed   f o r   s tan d ar d izin g   NM T   m o d el  tr ain in g   [ 6 ] .   T h is   ap p r o ac h   in v o lv e s   tr ain i n g   th m o d el  to   p r ed ict   tar g et  tr ain i n g   te x ts   u s i n g   w o r d   an d   s en ten ce   e m b ed d i n g s   as  w e ll  as  ca teg o r ical  o u tp u ts   ( i.e . ,   w o r d   s eq u en ce s ) .   B y   p r e - tr ai n i n g   wo r d   an d   p h r ase  e m b ed d in g s   o n   s u b s ta n tial  m o n o lin g u al  d at co r p o r a ,   th m o d el  g ain s   t h ab ilit y   to   g en er alize   b ey o n d   th tr an s latio n   tr ain i n g   s et,   i m p r o v i n g   tr a n s lat io n   ac c u r ac y .   A   u n iq u i m p r o v e m e n to   g en er ativ ad v er s ar ial  n et w o r k s - n eu r al  m ac h in tr an s latio n   ( G A N - NM T )   is   s u g g es ted   b y   i n co r p o r atin g   d ee p   r ein f o r ce m en t le ar n i n g - b ased   atten tio n   o p ti m izatio n   in t o   th g e n er ato r   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S elf - a tten tio n   en co d er - d ec o d e r   w ith   mo d el  a d a p ta tio n   fo r   tr a n s liter a tio n   a n d   …  ( S h a n th a l a   N a g a r a ja )   245   co n v o lu t io n al  n eu r al  n et w o r k   in to   th d is cr i m i n ato r   [ 2 3 ] .   T h is   en h a n ce m e n ad d r ess e s   th ch a llen g o f   u n u s u al  ter m s   in   lo w   r eso u r ce   lan g u ag e s   ( L R L s )   an d   i m p r o v es  t h e   ass i m ilat io n   o f   s o u r ce   s e n ten c e   r ep r esen tatio n s .   A d d itio n al l y ,   n o v el  j o in em b ed d in g   o f   s u b w o r d s   an d   s u b - p h o n etic   r ep r esen tatio n s   o f   s en te n ce s   i s   u ti lized   as  G A i n p u t,  en ab li n g   th m o d el  to   le ar n   s u p er io r   r ep r esen tatio n s   a n d   g en er ate  co n tex t   v ec to r s   m o r s u itab le  f o r   L R L s   th a n   tr ad itio n al  tec h n iq u es.   m u lti - ta s k   m u lti - s ta g tr an s it io n al  ( MM T )   tr ain in g   f r a m e w o r k   is   p r o p o s ed   [ 2 4 ] ,   u tili zi n g   a   b ilin g u al   co n v er s atio n   tr an s la tio n   d ataset   an d   e x tr m o n o l in g u al   co n v er s atio n s .   T h is   f r a m e w o r k   in v o lv e s   th r ee   s tep s s e n te n ce - le v el  p r e - tr ain in g   o n   s izab le  p ar all el  co r p u s ,   in ter m ed iate  tr ai n i n g   w it h   ad d itio n al   m o n o li n g u al  co n v er s atio n s   a n d   u n iq u ta s k s   ( u tter an ce   an d   s p ea k er   d etec tio n )   to   m o d el  co n v er s atio n   co h er en ce   an d   s p ea k er   ch ar ac ter is tics ,   a n d   co n tex t - a w ar f in e - t u n in g   w i th   g r ad u al  tr an s itio n .   T h is   in cr e m e n tal  tr an s itio n   s tr ate g y   s m o o t h l y   s w i tch e s   m o n o lin g u al  co n v er s at io n s   to   m u ltil i n g u al  o n es,   f ac ilit at in g   m o r r ef i n ed   tr ai n in g   p r o ce s s .   T o   aid   NM T   s y s te m s ,   a   s tr ai g h t f o r w ar d   a n d   u s ef u m o d el  o f   th p o te n tial  co s o f   ea ch   tar g et  w o r d   i s   in tr o d u ce d   [ 2 5 ] .   T h is   m o d el  le ar n s   r ep r esen tat io n   o f   f u t u r co s ts   b ased   o n   t h p r ev io u s l y   cr ea ted   tar g et  ter m   an d   its   co n tex t,  w h ich   a s s i s ts   in   NM T   m o d el  tr ain in g .   D u r i n g   d ec o d in g ,   t h lear n ed   r ep r esen tat io n   o f   f u t u r e   co s ts   in   t h cu r r e n t   ti m p h ase   is   u til ized   to   p r o d u ce   th n e x t   tar g et  w o r d ,   en h an ci n g   tr an s l atio n   ac cu r ac y .   R esear ch   f o cu s es  o n   d ee p   lear n in g - b ased   Hin d i - to - E n g li s h   tr an s liter at io n   a n d   tr an s lat io n   in   C L I R .   Ob j ec tiv e:  i m p r o v i n f o r m ati o n   ac ce s s   a n d   cr o s s - c u lt u r al  c o m m u n icatio n .   De v elo p   ac cu r ate,   ef f icien C L I R   s y s te m s   u s i n g   N L P   ad v an c e m en ts .   B en e f it  i n d u s tr ie s   ( b u s in e s s ,   h ea lth ca r e,   an d   e d u ca tio n )   n ee d i n g   m u ltil i n g u al  i n f o r m atio n .   I n v esti g a te  d ee p   lear n in g   m o d el   ad ap tab ilit y   an d   d o m ai n - s p ec if ic  ef f ec ti v e n es s .   E n h a n ce   in ter c u lt u r al  u n d er s t an d in g   an d   aid   tr av el,   h o s p it alit y ,   an d   co m m er cial  s ec to r s .   T r an s latio n   an d   tr an s liter at io n   e n ab le  m ar k et   ex p an s io n   a n d   ec o n o m ic  g r o w t h   i n   Hi n d an d   Kan n ad l an g u a g es.  O v er all,   r esear ch   ai m s   to   b r ea k   lan g u a g b ar r ier s ,   f o s ter   cr o s s - li n g u al  co ll ab o r atio n ,   an d   f ac ilit ate  e f f ic ien t   in f o r m atio n   r etr ie v al.   No v el  s el f - atte n tio n   e n co d er - d ec o d er   w it h   m o d el  ad ap tatio n   ( S A E DM ) :   t h p r o p o s ed   in tr o d u ce s   a   n eu r al  n et w o r k   ar ch itec tu r t h at  u tili ze s   s e lf - atte n tio n   to   c o n s tr u ct   an   en co d er - d ec o d er   w it h o u t h n e ed   f o r   iter atio n s   o r   co n v o l u tio n al  o p er atio n s .   T h is   n o v el  ap p r o ac h   en h a n ce s   t h e f f icie n c y   a n d   ef f ec tiv e n e s s   o f   t h e   en co d er - d ec o d er ,   allo w i n g   f o r   m o r ac cu r ate  an d   f a s ter   p r o c ess i n g   o f   w o r d   an d   s eq u e n ce   e m b ed d i n g s .   I m p r o v ed   tr an s liter atio n   a n d   tr an s latio n   p er f o r m an ce t h s t u d y   d e m o n s tr ates  t h s u p er io r it y   o f   th e   p r o p o s ed   m o d el  o v er   e x is ti n g   s y s te m s   i n   tr an s liter atio n   an d   tr an s latio n   tas k s   f o r   Kan n ad a n d   Hi n d i   lan g u a g es.  B y   in co r p o r atin g   lex ical  w ei g h t in g   an d   f i n e - tu n in g   tech n iq u es,  th p r o p o s ed   s y s te m   ac h ie v es   s u b s ta n tial  i m p r o v e m en t s   in   ac cu r ac y ,   s h o w ca s in g   its   p o ten tial  in   e n h a n ci n g   cr o s s - l in g u al  i n f o r m atio n   r etr iev al  an d   co m m u n ica tio n .   Stu d e n t - teac h er   m o d el  f o r   m o d el  c o m p r es s io n   an d   d o m ai n   ad ap tatio n :   t h r esear ch   in tr o d u ce s   s tu d e n t - teac h er   m o d el  ap p r o a ch   f o r   m o d el  co m p r ess io n   an d   d o m ai n   ad ap tatio n .   T h is   te ch n iq u f ac ili tates   ef f ec tiv k n o w led g tr an s f er   b etw ee n   m o d els,  en ab li n g   th s y s te m   to   ad ap to   d if f er en d o m ai n s   a n d   lan g u a g es.  T h u s o f   s t u d en t - teac h er   m o d els  e n h a n ce s   t h m o d el's  ab ilit y   to   p er f o r m   i n   v ar io u s   li n g u i s tic   co n tex t s ,   m a k i n g   i t a   v er s atile  an d   ad ap tab le  s o lu tio n .   I n teg r atio n   o f   b in ar y   cla s s i f ie r   f o r   co n te n o r ig in al it y t h e   i n co r p o r atio n   o f   b i n ar y   c las s if ier   w it h   th au to - en co d er   en s u r es  co n t en o r ig i n alit y   a n d   m it ig ate s   t h r is k   o f   p la g iar is m .   T h is   co n tr ib u tio n   ad d s   an   ex tr la y er   o f   cr ed ib ilit y   an d   r eliab ilit y   to   t h m o d el,   m a k in g   i s u itab le  f o r   ap p licatio n s   w h er co n te n t   au th e n tic it y   i s   es s en t ial,   s u c h   as in   ac ad e m ic  r esear ch ,   leg a l d o cu m en ts ,   an d   o f f icia l c o m m u n ica tio n s .   T h r esear ch   w o r k   in   th i s   p ap er   is   o r g an ized   as  f o llo w s : i n   t h s ec tio n   1 ,   b r ief   i n tr o d u cti o n   is   g i v en   ab o u th ch alle n g e s   ac r o s s   tex t - p r e - p r o ce s s in g ,   h o w   t h tr an s liter atio n   an d   tr an s la tio n   m o d el s   h a v b ee n   b u ilt  t h at  o v er co m e s   t h ch all en g e s   i n   v ar io u s   la n g u a g es,  a n d   th b r ea k t h r o u g h s   i n v o l v e d   in   p r o ce s s in g   t h e   Hin d an d   K a n n ad la n g u a g e.   I n   s ec tio n   2   n e u r al  n e t w o r k   w it h o u iter atio n s   o r   co n v o lu tio n al  o p er atio n s   is   d ev elo p ed   th at  f o cu s es  o n   s elf - atte n tio n   m ec h a n is m   to   b u ild   an   en co d er - d ec o d er   m o d el .   I n   s ec tio n   3   th d ataset  d etails an d   r es u lts   f o r   tr an s liter atio n   an d   tr an s latio n   m o d el s   ar s h o w n .   T h last   s e ctio n   is   co n cl u s io n .       2.   P RO P O SE D   M E T H O D   T h p r o v id ed   in f o r m a tio n   d escr ib es  n eu r al  n et w o r k   ar ch itect u r th at  e m p lo y s   s el f - atten tio n   m ec h a n i s m s   a n d   d o m ai n   ad ap tatio n   tech n iq u es.  T h n et wo r k   tak es   w o r d   o r   s eq u e n ce   e m b ed d i n g s   as  in p u t   an d   co n s is t s   o f   m u lt ip le  e m b e d d ed   lay er s   w it h   s elf - atte n tio n   a n d   m u lt i - la y er   p er ce p tr o n   ( ML P )   co m p o n e n ts .   I u tili ze s   r ec u r s iv tr an s f er   an d   au to - en co d er   w it h   m as k e d   la y er s   to   h an d le  co m p le x   d ata  an d   o v er co m e   g r ad ien v an is h i n g .   Mo d el  co m p r e s s io n   is   ac h ie v ed   u s i n g   s tu d e n t - teac h er   m o d els,  w h ile   d o m ai n   ad ap tatio n   en s u r es  g o o d   p er f o r m a n ce   ac r o s s   d if f er en t   d o m ai n s .   F ig u r 1   s h o w s   t h p r o p o s ed   w o r k f lo w .   T h s y s te m   d esig n   in v o lv e s   ch ar ac ter - le v el  w o r d - to - w o r d   e m b ed d in g   ar ch itect u r w it h   atten tio n   m ec h an i s m s .   B ea m   s ea r ch   a n d   b in ar y   cla s s i f ier   ar u tili ze d   f o r   NL P   tas k s   a n d   co n ten o r i g in a lit y   as s u r a n ce ,   r esp ec tiv el y .   T h is   co m p r e h en s iv ar c h itect u r ai m s   to   p r o ce s s   an d   ad ap t to   v ar io u s   d o m ai n s   e f f icien tl y .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2089 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 No .   1 Ma r c h   2025 2 4 3 - 253   246   Fig u r 1   illu s tr ates  m ac h i n e   lear n in g   p ip elin f o r   p r o ce s s in g   n at u r al  lan g u ag d ata,   s ta r tin g   w i th   th in p u o f   w o r d   s eq u en ce   e m b ed d in g s - v ec to r   r ep r esen ta tio n s   o f   te x t.  A n   e n co d er   co m p o n en p r o ce s s es   th ese   e m b ed d in g s   to   co n d en s t h i n f o r m atio n   i n to   m o r m an a g ea b le  f o r m   f o r   t h m o d el  to   h an d le.   Fo llo w i n g   t h is ,   a   d ec o d er   tak es  th e   en co d ed   d ata  an d   co n s tr u cts  a n   o u tp u s eq u e n ce ,   wh ich   ca n   b tex t,   a   s u m m ar y ,   tr an s latio n ,   o r   an o th er   f o r m   d ep en d i n g   o n   th a p p licatio n .   T h m o d el   ad ap tatio n   s ta g s u g g e s t s   th at  t h b ase  m o d el  ca n   b e   f i n e - tu n ed   to   b etter   f i s p e cif ic  ta s k s   o r   n e w   d ata  d o m ain s ,   e n h an ci n g   it s   p er f o r m a n ce   o n   ta s k s   d i f f er e n f r o m   t h o n e s   it   w as   in itiall y   tr ain ed   o n .   Fi n all y ,   i n - m o d el  ad ap tatio n   an d   o u t - m o d el  ad ap tatio n   i m p l y   t h at  f i n e - t u n i n g   ca n   o cc u r   w it h in   th ex i s tin g   m o d el  s tr u c tu r o r   th r o u g h   ex ter n al   m o d i f icat io n s   to   t h ar ch itect u r e,   r esp ec tiv el y .           Fig u r 1 .   P r o p o s ed   w o r k f lo w       T h ab o v n et w o r k   i s   u n iq u t y p o f   n eu r al  n et w o r k   th at  d o es  n o t   in v o lv ite r atio n s   o r   co n v o lu tio n al  o p er atio n s .   I n s t ea d ,   it  r elies  o n   s elf - at ten t i o n   m ec h an i s m   to   co n s tr u ct  a n   au to - en co d er .   T h e   in p u t   p r o v id ed   to   th n et w o r k   ca n   b eit h er   w o r d   e m b ed d i n g   o r   s eq u en ce   e m b ed d in g .   T h e n co d er   d ec o d er   c o n s is t s   o f   A   e m b ed d ed   la y er s ,   m u lt ip le  s el f - atte n t io n   la y er s ,   co n v o lu tio n s ,   a n d   m as k ed   m u l tip le   s elf - atte n tio n   la y er s   f o r   mo p .   T h s elf - atte n tio n   la y er s   alo n g   w it h   th tex is   n eit h er   cr ea ted   n o r   m as k ed .   An   in p u t   is   p r o v id ed   as   x p   w it h   th s eq u en ce ,   e m b ed d in g   t h tr a n s f o r m a tio n   v ia  a   w ei g h m atr i x   s u b j ec ted   to   L p th p r o j ec tio n   m atr i x   d en o ted   as  T p   w ith   th e   f ea tu r m atr i x   s h o w n   b y   N p ,   s elf - atte n tio n   m ec h an is m   i s   later   ap p lied   o n   L p , T p , N p   ir r esp ec tiv e,   So f t m a x   f u n c tio n   d en o ted   b y   .     α ( L p , T p , N p ) = s e g ( L p + 1 p + 1 . . L X p + 1 ) R p   ( 1 )     L x p + 1 = L x p L x   Z ( l m ) 2 ( N x p )   ( 2 )     L x p , T x p , N x p = L   p R x l ,   T   p R x t ,   N   p R x n ,   ( 3 )     Hen ce f o r th   L x p , T x p , N x p   r ep r esen ts   th x th   q u er y   w it h   th f ea t u r m atr i x   f o r   th p th   la y er .   { R x l , R x t ,   R x n }   S m d   d ep icts   th v ar iab le  m atr i x   m d   r ep r esen tin g   t h d i m en s io n   f o r   th m o d el  ir r esp ec ti v el y .   M L P   is   f u ll y   co n n ec ted   n e t w o r k   w i th   t h ac ti v atio n   f u n c tio n   th at  i s   ap p lied   o n   ea ch   f u n ctio n .     L n + 1 = β ( α ( L p , T p , N p ) ) + L p   ( 4 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S elf - a tten tio n   en co d er - d ec o d e r   w ith   mo d el  a d a p ta tio n   fo r   tr a n s liter a tio n   a n d   …  ( S h a n th a l a   N a g a r a ja )   247   Ho w e v er ,   L n + 1   is   t h p r eli m in ar y   s ta g w it h   r ele v a n f ea t u r i n f o r m atio n   h o w e v er   L n   is   ad d ed   to   d ev elo p   th co n n ec tio n s   t h at   o v er co m es  g r ad ie n v an is h i n g .   T h is   p r o ce s s   s eq u en ci n g   is   d ep icted   as  I α   d en o ted   b y   t h s o u r ce   as  M r + 1 .   T h α   u tili s es d if f er e n t la y er s   to   lear n   f r o m   t h s o u r ce .     M r + 1 = I α p + 1 ( L p , T p , N p )   ( 5 )     T h α   u tili s e s   d if f er e n la y er s   to   lear n   f r o m   th s o u r ce .   H en ce f o r t h   th is   [ ] z ( z     { 1 , 2 , Z } )   r ep r esen ts   th Z   s i m i lar   lay er s   s tack ed   u p   w it h   ea ch   o th er .   T h o u tco m L z   f o r   th Z th   atten ti o n   la y er   d en o ted   b y   t h f in al  o u tco m e   tr an s m itted .   T h tr an s f er   o f   th a u to - en co d er   b y   tr an s la tio n   m o d el  w h ic h   p r ed icts   th tar g et.   T h d if f er en ce   b et w ee n   t h a u to - e n co d er   b y   t h m as k ed   la y er   t h at  r e p r esen ts   t h o u tp u t   d esig n ed   d y n a m icall y .   T h o u tp u t is d ec o d ed   w h ic h   est i m a t es th p r o b ab ilit y   o f   l og e ( y m | y < m ,   ) .     [ L z = i α z ( L z 1 , T z 1 , N z 1 ) ] z   ( 6 )     2 . 1 .     E ntr o py   T h p r o p o s ed   ap p r o ac h   h er b ec o m e   ac cu s to m ed   b y   f in e - t u n in g   th e   m o d el  a n d   o u t - m o d el  t r ain in g   t o   co n ce n tr ate  o n   tr ai n i n g   a n d   p er f o r m   t h m o d el  co m p r ess io n .   T h is   in c lu d es  t w o - s u b   s ec t io n s   k n o w n   as  t h e   s tu d e n t a n d   teac h er   m o d el.   T h s tu d en t lo s s   i s   d eter m i n ed   b y   t w o   co m p o n e n ts .     T h lo s s   ass o ciate d   w it h   th e   p r o b ab ilit y   a n d   p r ed ictio n   o f   th lab el  b y   i n co r p o r atin g   n e g ati v lo g   en tr o p y   f u n ctio n .     E n tr opy ( δ d ; F ) = U ( w m = 1 ( c , d F )   y m ) l og e ( y m | y < m , δ d )   ( 7 )       T h m o d el  co m p r es s io n   co m p u tes  t h lo s s   in   b et w ee n   t h e   o u tp u p r o b ab ilit y   an d   t h s t u d en teac h er   m o d el.     E n tr opy m ( δ d ; F , δ d )   =   l ( w m = 1 ( c , d F ) y m | y < m , δ d ) l og e ( y m | y < m , δ d )   ( 8 )     T h n ( y m | y < m , δ d ^ )   w it h   δ d   r ep r esen ts   th p ar a m eter   f o r   th s tu d e n m o d e l.   δ d ^ = δ d   ,   th m et h o d   to   av er ag δ d = 1 z δ d ( x ) z   , th w e i g h t   ap p r o ac h   is   r ep r esen ted   as  δ d ( z ) = g p ( S z   δ d ( z ) ) ) δ   d ( z ) w h er ein   [ g - p ]   r ep r esen ts   th n o r m al ized   f u n ctio n   f o r   z th   ev alu a tio n   f o r   th p ar am eter   δ   d ( z )   th at   r ep r esen t s   an   en s e m b le  m o d el.   T h av er ag in g   an d   w ei g h ted - a v er ag i n g   ap p r o ac h   in   th s t u d en m o d e is   ap p lied   to   g ain   n ec es s ar y   i n f o r m atio n   b y   ac c u m u latio n   o f   in f o r m at io n   b y   t h iter atio n s   o f   t h teac h er   m o d el.     2 . 2 .     M o del a da pta t i o n   T h in - m o d el  a n d   o u t - m o d el  c o m p u te  t h p r e - tr ain i n g   o f   th e   m o d el.   I n   ea c h   le v el  th m o d el  v al u i s   th ad d ed   ad v an ta g f o r   th f o r m er   iter atio n   f o r   t h p u r p o s o f   in - m o d el  p ar a m e ter s .   T h p r o ce s s   is   iter ated   to   ac h iev m u t u al  tr a n s f er   o f   d ata.   T h in - m o d el  a n d   o u t - m o d el  f ea tu r e s   ar tr a n s m it ted   ac r o s s   ea ch   o t h er   at   m o d el  lev el  to   tr an s m it  d ata  h en ce f o r t h   en s u r i n g   g o o d   p er f o r m an ce .   T h m o d el  e f f icie n c y   is   ev a lu ated   ac r o s s   s o u r ce   an d   tar g et  d o m ai n   d ata   F d   , F h     is   p ar titi o n ed   i n to   t h tr ain i n g   s ets   F d n ,   F h n   an d   m o d el  an d   t h e v alu a tio n   p air   co n s is t   o f   F d co m ,   F h co m   th at  is   f u r t h er   r esp o n s ib le  to   tr ain   an d   ev a lu a te  th m o d el   as s h o w n   in   A l g o r ith m   1 .     A l g o r ith m   1 .   C o n s is ts   o f   t h m o d el  ad ap tatio n   al g o r ith m   f o r   th p r o p o s ed   m o d el  th at  co n s is t s   o f   t w o   s ta g es   I n   th i n itial  s tag e,   t h m ai n   ai m   is   to   co m p lete  th i n iti aliza tio n   f o r   th i n - m o d el  an d   o u t - m o d el  m o d e l   p ar am eter s .   -   T h µ  f u n ctio n   is   r esp o n s ib le  to   tr ain   th m o d el  f o r   th o b j ec tiv f u n ctio n   F d n   an d   th p ar am eter   u s ed   alo n g   w it h   t h is   δ h ( p + 1 )   ,   in itialized   b y   E n tr opy m ( δ d ;   F d n )   re tain ed   f o r   th s o u r ce .   I n   th i s   s tep   th r ec u r s i v tr an s f er   o f   d ata  is   estab li s h ed   i n   b etw ee n   in - m o d el  an d   o u t - m o d el  ad ap tatio n .     -   T h ƿ   f u n ctio n   tr an s f er s   th m o d el,   it s   m a in   g o al  is   to   u ti lize  th i s   w it h   s el f - k n o w led g e   f u n ctio n   lo s s   d en o ted   as  E n tr o py   ( δ   h ( t 1 ) ;   F d n )   an d   th E n tr o py m ( δ   d ( t 1 ) ;   F h n ) ,   u s ed   alo n g   t h tr ai n in g   s et s   F h n .   -   T h m o d el  tr an s f er   f o r   in - d o m ain   p ar am e ter   s et  δ d   is   in itialize d   th r o u g h   t h p r ev io u s   o u t - d o m ai n   m o d el   p ar am eter   as  δ   h ( t 1 ) .   T h in itial izatio n   is   ca r r ied   o u w h ile  o p ti m iz in g   th e   m o d el  is   p er f o r m ed   t h r o u g h   th in - m o d el  an d   r ep ea ted   f o r   s o u r ce   d o m ain .   -   T h β  m o d el  i s   u tili s ed   f o r   th e v al u atio n   p u r p o s v ia  th e n s e m b le  ac ti v atio n   f u n c tio n   u s ed   f o r   ev alu a tio n   p u r p o s f o r   en s u r i n g   t h p er f o r m a n ce   o f   δ   d ( t )   f o r   b u ild in g   s et  o f   F d co m   b y   th en s e m b le  p ar am eter   d ep icted   as  δ   d   .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2089 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 No .   1 Ma r c h   2025 2 4 3 - 253   248   I n p u t :   T r ain in g   o f   { F d n , F h n } ,   r ep r esen ts   th l is ts   as,  { F d co m , F h co m } ,   w it h   lev e T .   Step   1 :   tr a in   In mode l   Step   2 :   δ d ( p + 1 ) tr ( E n tr opy   ( δ d ;   F d n )   Step   3 :   tr a in   out mode l   Step   4 :   δ h ( p + 1 ) E n tr opy   ( δ h ;   F h n )   Step   5 :   I n itialize  in mode l   an d   out mode l   en s e m b le  m o d e l p ar am eter s   Step   6 :   δ d δ d ( p + 1 ) δ h δ h ( p + 1 )   Step   7 :   f o r   t = 1 , 2 ,   T   do   Step   8 :   in mode l   tr ain in g =T r an s f er   tr ain i n g   m o d el  an d   co m p u tatio n   Step   9 :   δ   d ( t ) ϑ E n tr o py   ( δ   h ( t 1 ) ;   F d n ) E n tr op y m ( δ h ( t 1 ) ;   D b l τ b   ) )   Step   1 0 :   δ d β ( F d co m , δ   d ( t )   Step   1 1 :   tr a in   out mode l =T r an s f er   tr ain i n g   m o d el  an d   co m p u tatio n   Step   1 2 :   δ h ( t )   ( L oss ( δ   h ( t 1 ) ;   F h n ) E n tr opy m ( δ d ( t 1 ) ;   F h n δ h ) )   Step   1 3 :   δ h β ( F h co m , δ   h ( t ) )   Step   1 4 :   en d   f o r   O u tp u t :   i m o d el  tr ai n in g   δ d ; o u m o d el  tr ain in g   δ h     2 . 3 .     Sy s t em   de s ig n   Neu r al  n et w o r k s   b ased   o n   wo r d s   ca n   o f f er   an   en d - to - e n d   s o lu tio n   to   t h co m p le x it ies   ass o ciate d   w it h   t h h u g n u m b er   o f   wo r d s .   Ho w e v er ,   ch ar ac ter - le v el  m et h o d s   ca n   also   b u s e d   to   ev alu ate  th e   co m p le x it y   a s s o ciat ed   w it h   n o is e,   alter atio n s ,   an d   er r o r s .   T h ese  m e th o d s   u s w o r d - to - w o r d   m o d el  e m b ed d in g s   to   ass e s s   t h co m p lex it y   o f   tex t.     2 . 3 . 1 .   P re - pro ce s s ing   a nd   po s t - pro ce s s ing   I n p u p r e - p r o ce s s i n g w h e n   a n   in p u w o r d   is   u tter ed ,   it  is   n o r m alize d   b y   co n v er ti n g   a l let ter s   to   lo w er ca s e,   r e m o v i n g   r ep ea ted   ch ar ac ter s ,   tr an s f o r m in g   d iac r itics   in to   s tan d ar d   7 - b it  Am e r ican   s ta n d ar d   co d e   f o r   in f o r m atio n   i n ter ch a n g ( A S C I I ) ,   an d   co n v er ti n g   e m o j is   an d   e m o tico n s   in v o lv i n g   p u n ct u atio n   i n to   h as h ta g s .   Du r i n g   tr ain i n g ,   f o r eig n   w o r d s   ar tag g ed   as  h a s h ta g s   a n d   th o u tp u is   ali g n ed   w i th   t h in p u th r o u g h   th e s h as h ta g s .   T h is   en s u r es  t h at  th m o d el  lear n s   to   id en ti f y   f o r eig n   w o r d s   an d   tr an s f er   th e m   in to   h as h ta g s   t h at  ar id en tical  to   t h in p u t.  A d d itio n all y ,   e m o j is ,   em o tico n s ,   a n d   p u n c t u atio n s   ar co n v er ted   in to   h as h ta g s   d u r i n g   tr ai n i n g   a n d   p r ed ictio n .   A f ter   tr ain i n g ,   p o s t - p r o ce s s i n g   s tep   co n v er t s   t h h a s h ta g s   b ac k   to   w o r d s   in   t h s o u r ce .   I f   th i n p u an d   o u tp u ar alig n ed ,   th i s   s tep   is   p er f o r m ed   b ef o r r em o v in g   t h to k e n s   [ +]   an d   [ - ] .   Ho w ev er ,   i n   th f in al   o u tp u t,  th w o r d s   alo n g   w it h   th [ +]   to k en   ar m er g ed   an d   th [ - ]   to k en s   ar e   r ep lace d   w i th   w h ite  s p ac t h at  s p lits   w o r d   i n to   m u ltip le  w o r d s .     2 . 3 . 2 .   Sy s t e m   a rc hite ct ure   A   c h ar ac ter - le v el  w o r d - to - wo r d   em b ed d in g   ar ch i tectu r is   a   t y p o f   n e u r al  n et w o r k   th at  u s es   ch ar ac ter - le v el  e m b ed d in g   to   r ep r esen w o r d s .   T h is   t y p o f   ar ch itect u r is   o f te n   u s ed   f o r   task s   s u c h   as   m ac h in tr an s latio n   an d   tex class i f icatio n .   T h m o d el  J ( c | d )   th at  g en er ates  a n   in p u d   f o r   tar g et  c .   T h e   p r o p o s ed   m o d el  co n s is t s   o f   a n   atte n tio n   m ec h an i s m   w h ic h   co n s is o f   g a ted   r ec u r r en u n it   ( GR U ) .   T h in itial   s tag i n   th p r o p o s ed   m o d el   w h ic h   co n s i s t s   o f   r ec u r r en t   n eu r al  n et w o r k s   an d   n o n - r ec u r r en co n n ec tio n s   ess e n tial  f o r   tr ain in g   p u r p o s e.   T h So f t m ax   la y er   f o r   t h p r o p o s ed   m o d el’ s   o u tp u to   t h f i n al  s eq u en c e   o u tp u c .   T h en tr o p y   f u n ctio n   e v alu a ted   f o r   lo s s   f o r   ti m av er ag o v er   c x .   B ea m   s ea r ch   i s   te ch n iq u u s ed   i n   NL P   to   f in d   th m o s li k el y   s e q u en ce   o f   w o r d s   in   s e n ten ce .   I w o r k s   b y   k ee p i n g   tr ac k   o f   f ix ed   n u m b er   o f   ca n d id ate  s eq u en ce s ,   an d   th en   at  ea ch   s tep ,   p r e d ictin g   t h e   n ex w o r d   in   th s eq u e n ce   w it h   th h ig h es lo g - lik eli h o o d .   T h b ea m   s ize  is   h y p er - p ar a m eter   th at  co n tr o ls   h o w   m a n y   ca n d id ate  s eq u e n ce s   ar k ep t tr ac k   o f .     2 . 3 . 3 .   B ina ry   cl a s s if ier   As  m e n tio n ed   ea r lier ,   an   au to en co d er   is   en h an ce d   w ith   b in ar y   clas s if ier   b y   in teg r ati n g   an   atten tio n   m ec h a n i s m .   T h is   atte n tio n   m ec h an i s m   i s   e m p lo y ed   to   cr ea te  task - s p ec if ic  co n te x t u al   r ep r esen tatio n .   T h e   p u r p o s o f   th is   a u g m e n tatio n   i s   to   av o id   p lag iar is m   an d   en s u r th o r ig in al it y   o f   th co n ten I x ( h )   o f   ( h ) .     I x ( h ) = ϑ   v u v g v = 1       ϑ   v = ex p   ( u v ) ex p   ( u v ) g v   ( 9 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S elf - a tten tio n   en co d er - d ec o d e r   w ith   mo d el  a d a p ta tio n   fo r   tr a n s liter a tio n   a n d   …  ( S h a n th a l a   N a g a r a ja )   249     u v = ( j s   ) y ta n h   ( N s i v )       Her j s     an d   N s   ar th r elate d   co n s tr ai n ts .   He n ce   b i n ar y   cla s s i f ier   f o r   I x ( h )   is   s h o w n   a s   i n   t h e   p r o p o s ed   m o d el  th is   class i f ie r   is   tr ain ed   to   m ax i m ize  th en tr o p y .   I n   th is   co n tex t,  th w ei g h ts   ar u s ed   to   d eter m in th i m p o r tan ce   o r   r elev an ce   o f   v ar io u s   tar g et   w o r d s   w it h i n   t h s e n te n ce .   T o   ac h iev th i s ,   t h class i f ier   is   e m p lo y ed   to   ca lcu late  atten tio n al  w ei g h ts   f o r   th e   tar g et  w o r d s   d u r i n g   th m o d e l tr ain i n g   p r o ce s s .     β ie i ( h ; γ jk j ) = l ogs ( d | h ; γ jk j )   ( 1 0 )     β ps   ( k , h ;   γ ps   )= ( 1 + g v = 1 Ƥ v )   l ogs ( h v | v , h < v ; γ ps   )   ( 1 1 )     Her Ƥ v   d ep icts   th at ten tio n   w eig h ass o ciate d   alo n g   t h h v   to   o b tain   ( 1 1 )   an d   γ ps     r ep r esen ts   t h v ar iab le  r elate d   to   ps .   T h m o d el  d ev elo p m e n m o d if ies  t h m ag n it u d o f   t h u p d ated   p ar am eter   w h ile   p r eser v in g   it s   d ir ec tio n .   T h is   en s u r es  t h at  ta s k - s p ec i f ic  w o r d s   an d   tas k - s h ar ed   w o r d s   ar co n s is ten tl y   u p d ated   d u r in g   tr ain i n g .   T h p r im ar y   b en ef it  o f   in co r p o r atin g   lex ical  w ei g h ti n g   is   t h ab ilit y   to   tr ain   at  th w o r d   lev el   r ath er   th an   t h s en te n ce   lev e l.  T h is   ap p r o ac h   is   ad v an tag eo u s   as  it  r ed u ce s   th ti m r eq u i r ed   f o r   tr ain in g   th e   m o d el  w h ile  m ai n tai n i n g   e f f ec tiv e n ess .       3.   RE SU L T   E VA L UA T I O N   T h is   s ec tio n   p r esen t s   t h a n al y s i s   o f   r e s u l ts   o b tai n ed   u s in g   th S A E DM   m o d el  f o r   tr a n s latio n   a n d   tr an s liter at io n .   T h m o d el 's  p er f o r m a n ce   i s   e v al u ated   b ased   o n   ac c u r ac y ,   a n d   co m p ar at iv s t u d y   is   co n d u cted   w it h   o th er   tr a n s l it er atio n   m et h o d s .   T h m ai n   o b j ec tiv is   to   i m p r o v i n f o r m atio n   tr a n s f e r   i n   Kan n ad an d   Hin d lan g u a g es  b y   en h a n ci n g   th m o d el 's   ef f ec ti v e n ess .   Deta il s   o f   th d ataset  u s ed   f o r   tr an s liter at io n   a n d   tr an s latio n   ar p r o v id ed .   Si m u la tio n s   a r co n d u cted   o n   a n   I NT E L   C o r i7   p r o ce s s o r ,   u tili zi n g   P y t h o n   an d   d ee p   l ea r n in g   lib r ar ies,  w i t h   8   GB   r an d o m   ac ce s s   m e m o r y   ( R A M )   an d   6 4 - b it  W in d o w s   OS.  T h s tu d y   a i m s   to   d e m o n s tr ate  t h p r o p o s ed   m o d el ' s   e f f icien c y   i n   ac h iev in g   b etter   tr an s liter at io n   an d   tr an s latio n   r esu lt s .     3 . 1 .     Da t a s et   d et a ils   T h Dak s h i n d ataset  [ 2 6 ]   is   co m p r eh en s i v a n d   d iv er s co llectio n   o f   I n d ian   lan g u ag e s ,   d esig n ed   to   s u p p o r NL P   r esear c h   i n   I n d ia n   la n g u a g es.  I t   in c l u d es  te x f r o m   v ar io u s   d o m ai n s   a n d   s o u r ce s ,   en co m p as s in g   Hi n d an d   Ka n n ad lan g u a g es,  a m o n g   o th er s .   T h d ataset  is   ai m ed   at  f ac ili tatin g   N L P   s tu d ie s   f o r   I n d ian   la n g u a g es.  R esear c h er s   ca n   ac ce s s   te x t   f r o m   d if f er en g en r es,   s u ch   as  n e w s   s t o r ies,  s o cial  m ed ia   co n ten t,  an d   o f f icial  d o cu m e n ts .   T h av ailab ilit y   o f   tex i n   b o th   its   o r ig in al  s cr ip an d   tr an s liter ated   f o r m   en s u r es  ac ce s s ib il it y   e v en   f o r   th o s u n f a m iliar   w i th   t h s cr ip t.  Mo r e o v er ,   th d ataset  p r o v id es  an n o tatio n s   f o r   n a m ed   e n tit ies,  p ar t - of - s p ee c h   id en tifie r s ,   an d   s en ten ce   b o u n d ar ies,  m a k in g   i v a lu ab l f o r   in f o r m a tio n   ex tr ac tio n   a n d   m ac h i n tr a n s latio n   tas k s .   O v er all,   th Da k s h i n d ataset  s er v es   as  v a lu ab le  r eso u r ce   f o r   ac ad em ic  r esear ch er s   e x p lo r in g   I n d ian   la n g u a g es l ik Hi n d an d   Kan n ad an d   th eir   ap p lica tio n s   i n   N L P .   T h w eb   an d   tr an s latio n   ( W A T )   co llectio n   in co r p o r at es  p ar allel  co r p o r a   f o r   m u lt ip le  I n d ian   lan g u a g es,  in c lu d i n g   Hi n d an d   Kan n ad a.   T h m o s r ec en v er s io n ,   W A T 2 0 2 1   in   r esear ch   [ 2 7 ] ,   w a s   r elea s ed   in   2 0 2 1   an d   is   p ar o f   th w o r k s h o p   o n   Asi an   tr a n s la ti o n   ( W A T )   jo in in it iativ e.   T h is   d atase in cl u d es   m u ltil i n g u al   tr an s latio n   d ata  a n d   co r r esp o n d in g   d etails  i n   E n g l is h .   T h co m p ilatio n   co n s i s ts   o f   ap p r o x i m ate l y   1 . 5   m illi o n   p h r ase  p air s   ex tr ac ted   f r o m   d i v er s s o u r ce s   s u c h   as  n e w s ,   co m m u n ic atio n ,   in f o r m atio n   tech n o lo g y ,   le g al,   an d   s cie n ti f ic  co n te n t.  E ac h   s e n te n ce   in   th d ataset  h a s   b ee n   to k en ize d ,   n o r m alize d ,   an d   alig n ed   at  th s e n te n ce   lev el,   e n s u r in g   it s   u s ab ilit y   f o r   v ar io u s   lan g u a g e - p r o ce s s i n g   ta s k s .     3 . 1 . 1 .   T ra ns lite ra t io n   T h ev alu atio n   o f   tr a n s l iter at io n   m o d els  u til izes  p u b licl y   av ailab le  tr an s liter atio n   co r p o r a,   w it h   a   m aj o r   p o r tio n   o f   th d ata  o b tain ed   f r o m   th Da k s h i n co r p u s   [ 2 6 ] .   Fig u r 2   s h o w s   t h e   ac cu r ac y   v alu f o r   tr an s liter at io n   i n   Kan n ad lan g u a g e.   Fi g u r 3   s h o w s   t h ac c u r ac y   v alu f o r   tr an s l iter atio n   in   Hi n d lan g u ag e.   T h o b tain ed   r esu lts   ar th e n   co m p ar ed   b et w ee n   t h e x is ti n g   s y s te m   a n d   th p r o p o s ed   s y s te m   f o r   th H in d i   an d   Kan n ad la n g u a g e,   u s i n g   d ata  f r o m   t h Da k s h i n co r p u s .   T h r esu lt   ev al u ated   i s   r ep r esen ted   i n   th f o llo w in g   w h ich   s h o w s   t h at  t h ac cu r ac y   f o r   th ex i s ti n g   s y s te m   [ 2 7 ] ,   [ 2 8 ]   is   7 7 . 1 8   an d   th P o s tScr ip ( PS )   v alu e   g e n er ates   v alu e   o f   8 5 . 8 7 f o r   Kan n ad la n g u a g an d   f o r   Hi n d la n g u a g t h e x is t in g   s y s te m   [ 2 7 ]   g en er ate s   v al u o f   6 0 . 5 6   an d   th P S g en er ate s   v al u o f   8 5 . 5 6 %.        Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2089 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 No .   1 Ma r c h   2025 2 4 3 - 253   250           F ig u r 2 .   A cc u r ac y   v alu f o r   tr an s liter atio n   in   Kan n ad lan g u a g e   Fig u r 3 .   A cc u r ac y   v alu f o r   tr an s liter atio n   in   H in d lan g u a g e       3 . 1 . 2 .   T ra ns la t io n   T h ev alu atio n   o f   m o d els  in   t h is   s t u d y   is   co n d u c ted   u s i n g   b ilin g u al  ev a lu at io n   u n d er s tu d y   ( B L E U )   s co r es,  an d   th ass e s s m e n an n o tatio n s   in cl u d Sacr eB L E U   s ig n at u r es  f o r   b o th   I n d ic - E n g lis h 2 1   an d   E n g li s h - I n d ic2 2   tr an s latio n s ,   en s u r in g   co n s is te n c y ,   an d   r ep r o d u cib ilit y   ac r o s s   m o d els.  Fi g u r 4   s h o w s   th ac c u r ac y   co m p ar is o n   f o r   tr an s la tio n   i n   Kan n ad lan g u a g e.   Fig u r 5   s h o w s   th ac c u r ac y   co m p ar is o n   f o r   tr an s lat io n   i n   Hin d lan g u a g e.   T h p u b licly   av ailab le  tr an s lat io n   co r p o r a   a r co m p iled ,   w it h   s ig n i f ica n t   p o r ti o n   o f   th d ata   s o u r ce d   f r o m   W A T 2 0 2 1   [ 2 7 ] .   T h r esu lts   o b tain ed   ar t h en   co m p ar ed   b et w ee n   t h e x is t i n g   s y s te m   an d   t h e   p r o p o s ed   s y s te m   f o r   th Ka n n ad lan g u ag f r o m   W A T 2 0 2 1 .   m B AR T   in   r esear ch   [ 2 9 ]   g e n er ates  an   ac c u r ac y   v alu o f   4 . 3 ,   Go o g le   ( GOOG )   in   r esear ch   [ 3 0 ]   g en er ates  an   ac cu r ac y   v al u o f   2 5 . 9 ,   Mi cr o s o f ( MSFT )   in   r esear ch   [ 3 1 ]   g en er ates  v alu o f   2 5 . 4 ,   T F   in   r esear ch   [ 3 2 ]   g en er ates  v alu o f   2 6 . 8 ,   M T 5   in   r esear ch   [ 3 3 ]   g en er ate s   v alu o f   2 8 . 5   w h er e as  th ex is ti n g   s y s te m   g en er ates  v alu o f   3 6 . 2   an d   th e   p r o p o s ed   Natio n al   Nativ T itle  T r ib u n al - P o s tScr i p ( NN T T - PS )   g en er ates  v al u o f   5 6 . 6 9   f o r   Kan n ad lan g u ag e.   T h OP US  in   r esear ch   [ 2 9 ]   m et h o d   g en er at es  v alu o f   1 3 . 3 ,   m B AR T   in   r esear ch   [ 2 9 ]   ge n er ates  an   ac cu r ac y   v alu o f   3 3 . 1 ,   GOOG   [ 3 0 ]   g en er ates  a n   ac cu r ac y   v a lu o f   3 6 . 7 .   MSFT   [ 3 1 ]   g en er ates  v alu o f   3 8 ,   T [ 3 2 ]   g en er ates  v alu o f   3 8 . 8 ,   M T [ 3 3 ]   g en er ate s   v al u o f   3 9 . 2   w h er ea s   t h ex i s ti n g   s y s te m   g en er ates  v alu o f     4 0 . 3   [ 3 2 ]   an d   th p r o p o s ed   N NT T - P S g en er ates a   v al u o f   7 7 . 5 4 9 7 % f o r   Hin d lan g u a g e.           Fig u r 4 .   A cc u r ac y   co m p ar is o n   f o r   tr an s latio n   i n   Ka n n ad la n g u a g e   7 7 . 1 8 8 5 . 8 7 70 75 80 85 90 Ka n n a d a   (ES ) Ka n n a d a (P S ) A cc u r ac y   v alu e Me th o d T r an sl i t erat i on  ka nn ad a 0 20 40 60 80 1 0 0 h in d i E S h in d i P S A cc u r ac y   v alu e Me th o d T r a n s l i t e r a t i o n   H i n d i 0 10 20 30 40 50 60 M b a rt M S F T GO O G TF M t5 IT   P S A cc u r ac y   v alu e Me th o d o lo g y T r an s latio n   Kan n ad a Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       S elf - a tten tio n   en co d er - d ec o d e r   w ith   mo d el  a d a p ta tio n   fo r   tr a n s liter a tio n   a n d   …  ( S h a n th a l a   N a g a r a ja )   251       Fig u r 5 .   A cc u r ac y   co m p ar is o n   f o r   tr an s latio n   i n   Hi n d i la n g u ag e       3 . 2 .     Co m pa ra t iv a na ly s is   T ab le   1   s h o w s   co m p ar ati v an al y s i s   o f   t h ex is tin g   s y s te m   a n d   th p r o p o s ed   s y s te m   f o r   tr an s liter at io n   an d   tr an s lat io n   task s   i n   Kan n ad an d   Hin d lan g u ag e s .   T h r esu lts   in d ic ate  th p er ce n tag e   i m p r o v e m en ac h iev ed   b y   th e   p r o p o s ed   s y s te m   o v er   th ex i s tin g   s y s te m .   Fo r   tr an s liter ati o n   in   Kan n ad a,   th e   p r o p o s ed   s y s te m   d e m o n s tr ate s   s ig n i f ican i m p r o v e m e n o f   1 0 . 6 6 in   ac cu r ac y ,   ac h ie v in g   a n   i m p r ess iv e   ac cu r ac y   r ate  o f   8 5 . 8 7 %,  co m p ar ed   to   th ex is tin g   s y s te m 's  ac cu r ac y   o f   7 7 . 1 8 %.  I n   th ca s o f   tr an s liter atio n   f o r   Hi n d i,  th p r o p o s ed   s y s t e m   o u tp er f o r m s   t h ex is ti n g   s y s te m   b y   r e m ar k ab le  3 4 . 2 2 %.  T h p r o p o s e d   s y s te m   ac h ie v e s   an   ac cu r ac y   o f   8 5 . 5 6 %,  w h ile  t h e x is ti n g   s y s te m   la g s   w i th   a n   ac c u r ac y   o f   6 0 . 5 6 %.  Mo v in g   o n   to   tr an s latio n   in   Kan n ad a,   th p r o p o s ed   s y s te m   s h o w s   r e m ar k ab le  p r o g r es s ,   ac h ie v i n g   an   i m p r o v e m e n o f   4 4 . 1 2 %.   I t   attain s   an   ac cu r ac y   r ate  o f   5 6 . 6 9 %,   w h ile  t h ex is t in g   s y s te m   f all s   s h o r w ith   an   ac cu r ac y   o f   3 6 . 2 %.   Si m ilar l y ,   f o r   tr an s latio n   in   Hin d i,  th p r o p o s ed   s y s te m   ex ce ls   w it h   r e m ar k ab le  5 4 . 6 3 i m p r o v e m en t.  I ac h iev e s   an   i m p r e s s i v ac cu r ac y   r ate  o f   7 6 . 8 9 7 %,  w h ile  t h ex i s ti n g   s y s te m   tr ai ls   w it h   a n   ac cu r ac y   o f   4 3 . 9 %.  T h co m p ar ativ an al y s is   clea r l y   d e m o n s tr ates  t h s u p er io r   p er f o r m a n ce   o f   th p r o p o s ed   s y s te m   i n   all  e v al u ated   task s ,   s h o w ca s in g   it s   ef f ec ti v en e s s   i n   i m p r o v i n g   tr an s liter ati o n   an d   tr an s la tio n   ac cu r ac y   f o r   b o th   Kan n ad a n d   Hin d i la n g u a g es.       T ab le  1 .   C o m p ar ativ a n al y s i s   D a t a se t   Ex i st i n g   sy st e m   P r o p o se d   sy st e m   I mp r o v i sat i o n   i n   ( % )   T r a n sl i t e r a t i o n   ( K a n n a d a )   7 7 . 1 8   8 5 . 8 7   1 0 . 6 5 9 3   T r a n sl i t e r a t i o n   ( H i n d i )   6 0 . 5 6   8 5 . 5 6   3 4 . 2 1 8 5   T r a n sl a t i o n   ( K a n n a d a )   3 6 . 2   5 6 . 6 9   4 4 . 1 1 6 7   T r a n sl a t i o n   ( H i n d i )   4 3 . 9   7 6 . 8 9 7   5 4 . 6 3 2 2       4.   CO NCLU SI O N   I n   co n clu s io n ,   t h is   r esear c h   i n tr o d u ce s   n o v el  S A E DM   a r ch itect u r th at  le v er ag es  t h e   p o w er   o f   s elf - atte n tio n   to   co n s tr u ct  a n   au to - e n co d er ,   av o id in g   t h n e ed   f o r   iter atio n s   o r   co n v o lu tio n al  o p er atio n s .   T h m o d el  e x h ib its   e x ce p tio n al  p er f o r m a n ce   i n   tr an s lit er atio n   an d   tr an s latio n   tas k s   f o r   Kan n ad an d   Hin d i   lan g u a g es,  ac h iev i n g   s i g n if ic an i m p r o v e m e n ts   o v er   th e x is t in g   s y s te m s .   I n co r p o r atin g   lex ica w eig h ti n g   an d   f in e - t u n in g   tech n iq u es,  th p r o p o s ed   s y s te m   e f f icie n tl y   tr ain s   at  th w o r d   lev el,   r ed u cin g   tr ai n in g   ti m e   w h ile  m ai n tai n i n g   ac c u r ac y .   Ov er all,   t h r esear ch   d i s p la y s   t h p o ten tia o f   t h p r o p o s ed   SA E DM   i n   ad v an ci n g   N L P   tas k s .   T h co m b in at io n   o f   s e lf - atte n tio n ,   f i n e - tu n i n g ,   d o m ain   ad ap tatio n ,   an d   b in ar y   clas s i f ier   co n tr ib u tes  to   r o b u s an d   e f f icie n s y s te m   f o r   h an d li n g   d iv er s li n g u i s tic  ch al len g es.  T h p r o p o s ed   m o d el,   f ac ilit ate s   cr o s s - c u lt u r al  u n d er s tan d i n g ,   a n d   i m p r o v in g   t h a cc ess ib ilit y   o f   i n f o r m a tio n   i n   d iv er s la n g u a g es.   As  t h w o r ld   b ec o m es   in cr ea s in g l y   i n ter co n n ec ted ,   th e   e f f ec tiv e n ess   o f   s u c h   m o d els   in   h a n d lin g   co m p le x   lan g u a g tas k s   w ill  p la y   cr u cial  r o le  in   p r o m o ti n g   e f f ec tiv cr o s s - lan g u ag co m m u n icati o n   an d   in f o r m a tio n   ac ce s s .     0 10 20 30 40 50 60 70 80 90 OPUS M b art GO O G M S F T TF M t5 IT( ES ) NN TT (P S ) A cc u r ac y   v alu e Meth o d o lo g y T r an s latio n   Hin d i Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2089 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t ,   Vo l.  14 No .   1 Ma r c h   2025 2 4 3 - 253   252   RE F E R E NC E S   [ 1 ]   Y .   Z h a o   a n d   H .   L i u ,   D o c u me n t - l e v e l   n e u r a l   m a c h i n e   t r a n sl a t i o n   w i t h   r e c u r r e n t   c o n t e x t   st a t e s,”   I EEE   Ac c e ss ,   v o l .   1 1 ,   p p .   2 7 5 1 9 2 7 5 2 6 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 4 7 5 0 8 .   [ 2 ]   K .   M r i n a l i n i ,   P V i j a y a l a k sh mi ,   a n d   T .   N a g a r a j a n ,   S B S i m:   a   se n t e n c e - b e r t   si mi l a r i t y - b a se d   e v a l u a t i o n   me t r i c   f o r   i n d i a n   l a n g u a g e   n e u r a l   ma c h i n e   t r a n sl a t i o n   sy st e ms,”   I EEE/ A C M   T ra n s a c t i o n o n   A u d i o ,   S p e e c h ,   a n d   L a n g u a g e   Pr o c e ss i n g ,   v o l .   3 0 ,   p p .   1 3 9 6 1 4 0 6 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / T A S L P . 2 0 2 2 . 3 1 6 1 1 6 0 .   [ 3 ]   A .   K u m a r ,   A .   P r a t a p ,   a n d   A .   K .   S i n g h ,   G e n e r a t i v e   a d v e r sari a l   n e u r a l   mac h i n e   t r a n sl a t i o n   f o r   p h o n e t i c   l a n g u a g e v i a   r e i n f o r c e me n t   l e a r n i n g ,   I EEE  T r a n s a c t i o n o n   Em e r g i n g   T o p i c i n   C o m p u t a t i o n a l   I n t e l l i g e n c e   ( T ETCI) ,   v o l .   7 ,   n o .   1 ,   p p .   1 9 0 1 9 9 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / T ET C I . 2 0 2 2 . 3 2 0 9 3 9 4 .   [ 4 ]   S .   B h a t i a ,   A .   K u mar,   a n d   M .   M .   K h a n ,   R o l e   o f   g e n e t i c   a l g o r i t h m   i n   o p t i mi z a t i o n   o f   H i n d i   w o r d   se n se   d i sam b i g u a t i o n ,   I EEE   Ac c e ss ,   v o l .   1 0 ,   p p .   7 5 6 9 3 7 5 7 0 7 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 1 9 0 4 0 6 .   [ 5 ]   S .   S a i n i   a n d   V .   S a h u l a ,   N e u r a l   mac h i n e   t r a n sl a t i o n   f o r   E n g l i sh   t o   H i n d i ,   i n   2 0 1 8   F o u rt h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n   Re t ri e v a l   a n d   K n o w l e d g e   Ma n a g e m e n t   ( C A MP ) ,   I EEE,   M a r .   2 0 1 8 ,   p p .   1 6 .   d o i :   1 0 . 1 1 0 9 / I N F R K M . 2 0 1 8 . 8 4 6 4 7 8 1 .   [ 6 ]   B .   Z h a n g ,   D .   X i o n g ,   a n d   J.  S u ,   N e u r a l   mac h i n e   t r a n sl a t i o n   w i t h   d e e p   a t t e n t i o n ,   I EE T ra n sa c t i o n o n   P a t t e rn   A n a l y si a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 2 ,   n o .   1 ,   p p .   1 5 4 1 6 3 ,   Ja n .   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / T P A M I . 2 0 1 8 . 2 8 7 6 4 0 4 .   [ 7 ]   Y .   N i s h i m u r a ,   K .   S u d o h ,   G .   N e u b i g ,   a n d   S .   N a k a m u r a ,   M u l t i - so u r c e   n e u r a l   mac h i n e   t r a n sl a t i o n   w i t h   m i ssi n g   d a t a ,   I EEE / AC M   T ra n s a c t i o n o n   A u d i o ,   S p e e c h ,   a n d   L a n g u a g e   Pr o c e ssi n g ,   v o l .   2 8 ,   p p .   5 6 9 5 8 0 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / T A S L P . 2 0 1 9 . 2 9 5 9 2 2 4 .   [ 8 ]   H .   M o o n ,   C .   P a r k ,   S .   Eo ,   J .   S e o ,   a n d   H .   L i m,  A n   e mp i r i c a l   st u d y   o n   a u t o mat i c   p o st   e d i t i n g   f o r   n e u r a l   mac h i n e   t r a n sl a t i o n ,   I E EE   Ac c e ss ,   v o l .   9 ,   p p .   1 2 3 7 5 4 1 2 3 7 6 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 1 0 9 9 0 3 .   [ 9 ]   Y .   F a n ,   F .   T i a n ,   Y .   X i a ,   T .   Q i n ,   X . - Y .   L i ,   a n d   T . - Y .   L i u ,   S e a r c h i n g   b e t t e r   a r c h i t e c t u r e f o r   n e u r a l   ma c h i n e   t r a n sl a t i o n ,   I EEE/ A C M   T ra n s a c t i o n o n   A u d i o ,   S p e e c h ,   a n d   L a n g u a g e   Pr o c e ssi n g ,   v o l .   2 8 ,   p p .   1 5 7 4 1 5 8 5 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / T A S L P . 2 0 2 0 . 2 9 9 5 2 7 0 .   [ 1 0 ]   O .   S e n   e t   a l . ,   B a n g l a   n a t u r a l   l a n g u a g e   p r o c e ssi n g :   a   c o m p r e h e n si v e   a n a l y si o f   c l a ssi c a l ,   m a c h i n e   l e a r n i n g ,   a n d   d e e p   l e a r n i n g - b a se d   me t h o d s,”   I EEE   Ac c e ss ,   v o l .   1 0 ,   p p .   3 8 9 9 9 3 9 0 4 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 1 6 5 5 6 3 .   [ 1 1 ]   J.  A .   O v i ,   M .   A .   I sl a m,  a n d   M .   R .   K a r i m,  B a N e P :   a n   e n d - to - e n d   n e u r a l   n e t w o r k   b a se d   mo d e l   f o r   b a n g l a   p a r t s - of - sp e e c h   t a g g i n g ,   I EE A c c e ss ,   v o l .   1 0 ,   p p .   1 0 2 7 5 3 1 0 2 7 6 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 2 0 8 2 6 9 .   [ 1 2 ]   U .   K .   A c h a r j e e ,   M .   A r e f i n ,   K .   M .   H o sse n ,   M .   N .   U d d i n ,   M .   A .   U d d i n ,   a n d   L .   I sl a m,  S e q u e n c e - to - se q u e n c e   l e a r n i n g - b a se d   c o n v e r si o n   o f   p se u d o - c o d e   t o   so u r c e   c o d e   u s i n g   n e u r a l   t r a n sl a t i o n   a p p r o a c h ,   I EEE   Ac c e ss ,   v o l .   1 0 ,   p p .   2 6 7 3 0 2 6 7 4 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 1 5 5 5 5 8 .   [ 1 3 ]   Q .   D u ,   N .   X u ,   Y .   L i ,   T .   X i a o ,   a n d   J.  Z h u ,   T o p o l o g y - s e n si t i v e   n e u r a l   a r c h i t e c t u r e   se a r c h   f o r   l a n g u a g e   mo d e l i n g ,   I EEE  Ac c e ss v o l .   9 ,   p p .   1 0 7 4 1 6 1 0 7 4 2 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 1 0 1 2 5 5 .   [ 1 4 ]   O .   F i r a t ,   K .   C h o ,   a n d   Y .   B e n g i o ,   M u l t i - w a y ,   mu l t i l i n g u a l   n e u r a l   ma c h i n e   t r a n sl a t i o n   w i t h   a   s h a r e d   a t t e n t i o n   me c h a n i sm,   in   Pro c e e d i n g o f   t h e   2 0 1 6   C o n f e re n c e   o f   t h e   N o r t h   Am e r i c a n   C h a p t e o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   Ja n .   2 0 1 6 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 6 - 1 1 0 1 .   [ 1 5 ]   S .   H .   S r e e d h a r a ,   V .   K u mar,   a n d   S .   S a l ma,   Ef f i c i e n t   b i g   d a t a   c l u s t e r i n g   u si n g   a d h o c   f u z z y   c   me a n s   a n d   a u t o - e n c o d e r   C N N ,   i n   L e c t u re   N o t e i n   N e t w o r k a n d   S y st e m s ,   S p r i n g e r ,   S i n g a p o r e ,   2 0 2 3 ,   p p .   3 5 3 3 6 8 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 19 - 7 4 0 2 - 1 _ 2 5 .   [ 1 6 ]   F .   A q l a n ,   X .   F a n ,   A .   A l q w b a n i ,   a n d   A .   A l - M a n so u b ,   A r a b i c C h i n e se   n e u r a l   ma c h i n e   t r a n sl a t i o n :   r o man i z e d   a r a b i c   a s u b w o r d   u n i t   f o r   a r a b i c - so u r c e d   t r a n sl a t i o n ,   I EEE  A c c e ss ,   v o l .   7 ,   p p .   1 3 3 1 2 2 1 3 3 1 3 5 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 1 9 . 2 9 4 1 1 6 1 .   [ 1 7 ]   S .   A .   A l maa y t a h   a n d   S .   A .   A l z o b i d y ,   C h a l l e n g e i n   r e n d e r i n g   a r a b i c   t e x t   t o   e n g l i s h   u s i n g   ma c h i n e   t r a n sl a t i o n :   a   sy st e mat i c   l i t e r a t u r e   r e v i e w ,   I EEE  Ac c e ss ,   v o l .   1 1 ,   p p .   9 4 7 7 2 9 4 7 7 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 3 0 9 6 4 2 .   [ 1 8 ]   A .   S o b h y ,   M .   H e l m y ,   M .   K h a l i l ,   S .   El masr y ,   Y .   B o u l e s,  a n d   N .   N e g i e d ,   A n   a i   b a se d   a u t o mat i c   t r a n sl a t o r   f o r   a n c i e n t   h i e r o g l y p h i c   l a n g u a g e f r o sca n n e d   i mag e s   t o   E n g l i sh   t e x t ,   I E EE  Ac c e ss ,   v o l .   1 1 ,   p p .   3 8 7 9 6 3 8 8 0 4 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 6 7 9 8 1 .   [ 1 9 ]   J.  Z a k r a o u i ,   M .   S a l e h ,   S .   A l - M a a d e e d ,   a n d   J.   M .   A l j a a m,  A r a b i c   ma c h i n e   t r a n sl a t i o n :   a   s u r v e y   w i t h   c h a l l e n g e a n d   f u t u r e   d i r e c t i o n s,   I E EE  A c c e ss ,   v o l .   9 ,   p p .   1 6 1 4 4 5 1 6 1 4 6 8 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 1 . 3 1 3 2 4 8 8 .   [ 20]   M .   S h a h r o z ,   M .   F .   M u s h t a q ,   A .   M e h mo o d ,   S .   U l l a h ,   a n d   G .   S .   C h o i ,   R U T U T :   r o man   u r d u   t o   u r d u   t r a n sl a t o r   b a se d   o n   c h a r a c t e r   su b s t i t u t i o n   r u l e s a n d   u n i c o d e   m a p p i n g ,   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   1 8 9 8 2 3 1 8 9 8 4 1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 3 1 3 9 3 .   [ 2 1 ]   S .   K a u sar,  B .   T a h i r ,   a n d   M .   A .   M e h mo o d ,   P r o S O U L :   a   f r a mew o r k   t o   i d e n t i f y   p r o p a g a n d a   f r o o n l i n e   u r d u   c o n t e n t ,   I EE E   Ac c e ss ,   v o l .   8 ,   p p .   1 8 6 0 3 9 1 8 6 0 5 4 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 3 0 2 8 1 3 1 .   [ 2 2 ]   K .   C h e n ,   R .   W a n g ,   M .   U t i y a ma,   a n d   E.   S u mi t a ,   I n t e g r a t i n g   p r i o r   t r a n sl a t i o n   k n o w l e d g e   i n t o   n e u r a l   mac h i n e   t r a n sl a t i o n ,   I EEE/ A C M   T ra n s a c t i o n s   o n   Au d i o ,   S p e e c h ,   a n d   L a n g u a g e   P ro c e ssi n g ,   v o l .   3 0 ,   p p .   3 3 0 3 3 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / T A S L P . 2 0 2 1 . 3 1 3 8 7 1 4 .   [ 2 3 ]   P .   P u j a r ,   A .   K u mar,  a n d   V .   K u mar ,   Ef f i c i e n t   p l a n t   l e a f   d e t e c t i o n   t h r o u g h   ma c h i n e   l e a r n i n g   a p p r o a c h   b a se d   o n   c o r n   l e a f   i mag e   c l a ssi f i c a t i o n ,   I A ES   I n t e rn a t i o n a l   J o u rn a l   o f   Ar t i f i c i a l   I n t e l l i g e n c e   ( I J - AI ) ,   v o l .   1 3 ,   n o .   1 ,   p .   1 1 3 9 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 3 . i 1 . p p 1 1 3 9 - 1 1 4 8 .   [ 2 4 ]   Z .   T a n ,   Z .   Y a n g ,   M .   Z h a n g ,   Q .   L i u ,   M .   S u n ,   a n d   Y .   L i u ,   D y n a mi c   mu l t i - b r a n c h   l a y e r f o r   o n - d e v i c e   n e u r a l   ma c h i n e   t r a n sl a t i o n ,   I EEE/ A C M   T ra n s a c t i o n s   o n   Au d i o ,   S p e e c h ,   a n d   L a n g u a g e   P ro c e ssi n g ,   v o l .   3 0 ,   p p .   9 5 8 9 6 7 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / T A S L P . 2 0 2 2 . 3 1 5 3 2 5 7 .   [ 2 5 ]   G .   H .   N g o ,   M .   N g u y e n ,   a n d   N .   F .   C h e n ,   P h o n o l o g y - a u g me n t e d   st a t i s t i c a l   f r a me w o r k   f o r   mac h i n e   t r a n sl i t e r a t i o n   u si n g   l i m i t e d   l i n g u i s t i c   r e so u r c e s,”   I EEE / A C T r a n sa c t i o n o n   Au d i o ,   S p e e c h ,   a n d   L a n g u a g e   Pr o c e ssi n g ,   v o l .   2 7 ,   n o .   1 ,   p p .   1 9 9 2 1 1 ,   Ja n .   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / T A S L P . 2 0 1 8 . 2 8 7 5 2 6 9 .   [ 2 6 ]   B .   R o a r k   e t   a l . ,   P r o c e ssi n g   so u t h   a s i a n   l a n g u a g e w r i t t e n   i n   t h e   l a t i n   scr i p t :   t h e   D a k s h i n a   d a t a se t ,   i n   Pr o c e e d i n g o f   t h e   T w e l f t h   L a n g u a g e   Re s o u rc e a n d   Ev a l u a t i o n   C o n f e re n c e ,   J u l .   2 0 2 0 .   [ 2 7 ]   G .   R a me sh   e t   a l . ,   S a ma n a n t a r :   t h e   l a r g e st   p u b l i c l y   a v a i l a b l e   p a r a l l e l   c o r p o r a   c o l l e c t i o n   f o r   1 1   I n d i c   l a n g u a g e s,”   T ra n s a c t i o n o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   v o l .   1 0 ,   p p .   1 4 5 1 6 2 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 1 6 2 / t a c l _ a _ 0 0 4 5 2 .   [ 2 8 ]   J.  T i e d e man n   a n d   S .   T h o t t i n g a l ,   O P U S - mt     b u i l d i n g   o p e n   t r a n sl a t i o n   se r v i c e s fo r   t h e   w o r l d ,   i n   Pro c e e d i n g o f   t h e   2 2 n d   An n u a l   C o n f e re n c e   o f   t h e   Eu r o p e a n   Asso c i a t i o n   f o M a c h i n e   T r a n sl a t i o n ,   L i sb o a ,   P o r t u g a l :   Eu r o p e a n   A sso c i a t i o n   f o r   M a c h i n e   T r a n sl a t i o n ,   2 0 2 0 ,   p p .   4 7 9 4 8 0 .   [ 2 9 ]   Y .   T a n g   e t   a l . ,   M u l t i l i n g u a l   t r a n sl a t i o n   w i t h   e x t e n si b l e   mu l t i l i n g u a l   p r e t r a i n i n g   a n d   f i n e t u n i n g ,   a rX i v ,   A u g .   2 0 2 0 ,   d o i :   1 0 . 4 8 5 5 0 / a r X i v . 2 0 0 8 . 0 0 4 0 1   [ 3 0 ]   M .   Jo h n so n   e t   a l . ,   G o o g l e mu l t i l i n g u a l   n e u r a l   ma c h i n e   t r a n sl a t i o n   sy st e m:   e n a b l i n g   z e r o - sh o t   t r a n sl a t i o n ,   T r a n s a c t i o n o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   v o l .   5 ,   N o v .   2 0 1 6 .   [ 3 1 ]   A .   V a sw a n i   e t   a l . ,   A t t e n t i o n   i s   a l l   y o u   n e e d ,   in   3 1 s t   C o n f e r e n c e   o n   N e u ra l   I n f o rm a t i o n   Pro c e ss i n g   S y st e m s   ( N I PS   2 0 1 7 ) ,   L o n g   Evaluation Warning : The document was created with Spire.PDF for Python.