I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   5 ,  Octo b er   20 26 ,   p p .   4 8 9 3 ~ 490 6   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 5 . p p 4 8 9 3 - 490 6           4893     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Em pirica l eva lua t io n of genera tive  fusio n decoding   f o r  Indo nesia n   g ener a l and medica l sp eech r e co g nition       Asril J a rin,  L y la   Rus la na   Ai ni,  Ag un g   Sa nto s a ,   G un a rso ,   M o ha m m a d T eduh   Ulini a n s y a h,    E lv ira   Nurf a dh ila h,  Si s k a   P e bia na   R e se a r c h   C e n t e r   f o r   D a t a   a n d   I n f o r ma t i o n   S c i e n c e s ,   R e se a r c h   O r g a n i z a t i o n   f o r   El e c t r o n i c s a n d   I n f o r ma t i c s ,    N a t i o n a l   R e se a r c h   a n d   I n n o v a t i o n   A g e n c y   ( B R I N ) ,   B a n d u n g ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   No v   5 ,  2 0 2 5   R ev is ed   Au g   3 ,  2 0 2 6   Acc ep ted   Au g   12 ,  2 0 2 6       Th is  st u d y   e m p iri c a ll y   e v a l u a tes   g e n e ra ti v e   f u sio n   d e c o d i n g   ( G F D)  with   o p e n - we ig h t   larg e   la n g u a g e   m o d e ls  f o r  I n d o n e sia n   a u t o m a ti c   sp e e c h   re c o g n it i o n   (ASR)   u n d e r  two   c o n tr o ll e d   o ffli n e   c o n d i ti o n s:  g e n e ra l  re a d   sp e e c h   (F LE URS - ID)  a n d   m e d ic a l  d icta ti o n   (Ha rk it ) .   T h e   train i n g - fre e   b y te - lev e l  fu sio n   i n teg ra tes   th re e   fr o z e n   lan g u a g e - m o d e l  b a c k e n d s — S EA - LION,  S a h a b a t - AI,  a n d   M istral — wit h   fr o z e n   Wh isp e r - larg e - v3   d u ri n g   d e c o d in g .   A   d e v e lo p m e n t  p a rti ti o n   wa s  u se d   to   se lec t  th e   sta ti c   fu sio n   we ig h t  a n d   p ro m p ti n g   c o n d it io n ,   a n d   a   h e ld - o u t  tes t  p a rt it io n   wa s  u se d   fo r   fi n a l  e v a lu a ti o n .   On   F LE URS - ID,  th e   b e st  G F D  c o n fig u ra ti o n   re d u c e d   c o rp u s - lev e l  wo r d   e rr o r  ra te  ( WE R)  fr o m   5 . 9 1 %   to   4 . 1 7 % ,   c o rre sp o n d in g   t o   a   29. 44 %   re lati v e   re d u c t io n .   O n   Ha rk it ,   it   re d u c e d   WER   fro m   1 5 . 8 9 %   t o   1 2 . 3 0 % ,   a   2 2 . 5 9 %   re lati v e   re d u c ti o n .   P a ired   u tt e ra n c e - lev e l  tes ts  y ield e d   p   <   0 . 0 1   fo r   b o th   d a tas e ts.  S e v e r a l  n o n - p r o m p ted   c o n fi g u ra ti o n s  a lrea d y   imp ro v e d   o v e r  t h e   u n f u se d   W h i sp e r - larg e - v 3   b a se li n e ,   su g g e stin g   th a t  t h e   e x tern a l  lan g u a g e - m o d e l  p rio r  c o n tri b u te d   m o re   c o n siste n tl y   t h a n   e x p li c i t  p ro m p ti n g .   P ro m p ti n g   p ro d u c e d   l imited   c h a n g e s  o n   F L EURS - ID  a n d   larg e r   b u t  b a c k e n d - d e p e n d e n t   c h a n g e s  o n   Ha rk i t .   T h e   re su lt s  su p p o rt  G F D  a s  a   train in g - fre e   d e c o d i n g   stra teg y   u n d e r  th e   e v a lu a ted   c o n d it io n s,  wh il e   b ro a d e r   v a li d a ti o n   is  re q u ired   f o r  n o is y ,   sp o n ta n e o u s,  stre a m in g ,   a n d   c li n ica l   d e p lo y m e n t  se tt i n g s.   K ey w o r d s :   Au to m atic  s p ee ch   r ec o g n itio n   Do m ain   ad ap tatio n   Gen er ativ e  f u s io n   d ec o d i n g   I n d o n esian   s p ee ch   L ar g e  lan g u ag e  m o d els   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Asril  J ar in   R esear ch   C en ter   f o r   Data   an d   I n f o r m atio n   Scien ce s ,  R esear ch   Or g an izatio n   f o r   E lectr o n ics   an d   I n f o r m atics   Natio n al  R esear ch   an d   I n n o v a tio n   Ag en cy   B an d u n g ,   I n d o n esia   E m ail:  asri0 0 3 @ b r in . g o . id       1.   I NT RO D UCT I O N   Au to m atic  s p ee ch   r ec o g n itio n   ( ASR )   h as  ad v an ce d   s u b s tan tially   o v er   th e  p ast  d ec ad e ,   tr a n s itio n in g   f r o m   h y b r id   h id d e n   Ma r k o v   m o d el  ( HM M) - b ased   s y s tem s   to   f u lly   n e u r al,   en d - to - e n d   a p p r o ac h es  [ 1 ] ,   [ 2 ] .  Pio n ee r in g   a r ch itectu r es  s u ch   as  d ee p   r ec u r r en t   n eu r al  n etw o r k s   [ 3 ]   an d   th e   atten tio n - b ased   en co d er – d ec o d e r   m o d el  lis ten ,   atten d ,   an d   s p ell  [ 4 ]   p av ed   th e  way   f o r   d ir ec t   ac o u s tic - to - tex t  m ap p in g .   Fu r t h er   b r ea k th r o u g h s   in   d ata  au g m e n tatio n   [ 5 ] ,   s elf - s u p er v is ed   r ep r esen tatio n   lea r n in g   [ 6 ] – [ 8 ] ,   a n d   ar ch itectu r al  in n o v atio n s   s u ch   as  th e  co n f o r m e r  [ 9 ]   h a v e  s u b s tan tially   im p r o v ed   r o b u s tn es s   an d   s ca lab ilit y .   T h ese  ad v an ce s ,   co m b in ed   with   m ass iv e  tr ain in g   d atasets ,   h av e  en ab led   s tate - of - th e - a r t  s y s tem s   s u ch   as  W h i s p er   [ 1 0 ]   to   ac h iev e  n ea r - h u m an   tr an s cr ip tio n   ac cu r ac y   u n d er   c lean ,   h ig h - r eso u r ce   co n d itio n s .   Desp ite  th is   p r o g r ess ,   I n d o n esian   ASR   co n tin u es  to   f ac e  u n iq u e  c h allen g es.   T h e   I n d o n esian   lan g u ag e   ex h ib its   ag g lu tin ati v e  m o r p h o lo g y   an d   p r o d u cti v e  d er i v atio n al  af f ix atio n ,   w h ich   s u b s tan tially   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   20 26 :   4 8 9 3 - 490 6   4894   in cr ea s e  lex ical  v ar iab ilit y   an d   s u r f ac e - f o r m   d iv er s ity   in   s p o k en   lan g u ag e  [ 1 1 ] ,   [ 1 2 ] .   I n   ad d itio n ,   f r eq u en t  I n d o n esian – E n g lis h   c o d e - s w itch in g — a  co m m o n   p h en o m en o n   in   b o th   i n f o r m al  an d   p r o f ess io n al  co m m u n icatio n — in tr o d u c es  s tr u ctu r al  an d   p h o n o lo g ical   v ar iab ilit y ,   f u r t h er   co m p licatin g   ac o u s tic  an d   lan g u ag e  m o d elin g   f o r   ASR   s y s tem s   [ 1 3 ] – [ 1 5 ] .   T h ese  lin g u is tic  ch ar ac ter is tics ,   co m b in ed   with   th e  lim ited   av ailab ilit y   o f   an n o tated   d o m ain - s p ec if ic  co r p o r a ,   d e g r ad e   r ec o g n itio n   p e r f o r m an ce   in   s p ec ialized   co n te x ts   s u ch   as m ed ical  tr an s cr ip tio n .   Prio r   s tu d ies  o n   m e d ical  ASR   co n s is ten tly   r ep o r t  s u b s tan tial in cr ea s es  in   er r o r   w h en   co n f r o n ted   with   ter m in o lo g y - d e n s e  u tter an ce s   an d   d o m ain - s p ec if ic  ex p r e s s io n s ,   ev en   with   lar g e - s ca le  n eu r al  m o d els.   Alth o u g h   m u ltil in g u al  m o d el s   s u ch   as   cr o s s - lin g u al  s p ee ch   r ep r esen tatio n   ( XL S - R )   an d   W h is p er - lar g e - v 3   d em o n s tr ate  s tr o n g   c r o s s - lin g u al  g en e r aliza tio n ,   t h eir   ac cu r ac y   co n s is ten tly   d ec lin es  u n d e r   d o m ain - m is m atch   co n d itio n s ,   p ar ticu lar ly   wh e n   en co u n ter i n g   r ar e   o r   m o r p h o l o g ically   c o m p lex   wo r d   f o r m s   an d   co d e - s witch ed   u tter an ce s   th at  f all  o u ts id e  th eir   p r e - tr ai n in g   d is tr ib u tio n s   [ 1 6 ] – [ 1 8 ] .   R ec en t  p r o g r e s s   in   m u ltil in g u al  d atasets — in clu d in g   f ew - s h o t   lear n in g   ev alu atio n   o f   u n iv er s al  r ep r esen tatio n s   o f   s p ee ch   ( FLE UR S )   [ 1 9 ] ,  m u ltil in g u al  L ib r iSp ee ch   ( ML S )   [ 2 0 ] ,   an d   m ass iv ely   m u ltil in g u al  s p ee ch   ( MMS )   [ 2 1 ]   —   h av e   s ig n if ican tly   ad v an ce d   c r o s s - lin g u al  tr an s f er   f o r   ASR .   Ho wev er ,   th ese  co r p o r a  s till   lack   s u f f icien t  co v er ag e  o f   d o m ain - s p ec if ic  lin g u is tic  p h e n o m en a ,   p ar ticu lar ly   in   l o w - r eso u r ce   d o m ain s   lik e  h ea lth ca r e.   I n   s u ch   s ettin g s ,   en d - to - en d   m o d els  o f ten   m is r ec o g n ize  s p ec ialized   ter m s ,   ab b r ev i atio n s ,   an d   co n te x t - d ep e n d en t  ex p r ess io n s   th at   d ev iate  f r o m   th eir   p r e - tr ain in g   d is tr ib u tio n .   E x ter n al  lan g u ag e - m o d el   in teg r atio n   in   en d - to - en d   ASR   s p an s   s ev er al  d is tin ct  p ar ad ig m s .   C o n v en tio n al  s h allo w  f u s io n   p er f o r m s   lo g - lin ea r   in ter p o latio n   o f   in d ep e n d en tly   tr ain ed   ASR   an d     lan g u ag e - m o d el   s co r es  d u r in g   b ea m - s ea r ch   in f er en ce   an d   d o es  n o t   r eq u ir e  r et r ain in g   th e  ASR   m o d el  [ 2 2 ] .  T r ain in g - tim e  f u s io n   m eth o d s ,   s u ch   as  co ld   f u s io n ,   in s t ea d   tr ain   th e  s eq u en ce - to - s e q u en ce   r ec o g n ize r   to g eth er   with   a  f ix ed   p r etr ai n e d   lan g u ag e  m o d el  [ 2 3 ] .   C o n te x tu al  ap p r o ac h es  s u ch   as  co n tex tu al  lis ten ,   atten d   an d   s p ell  ( C L AS )   jo in tly   o p tim ize  th e  r ec o g n izer   with   em b ed d in g s   o f   task -   o r   u s er - s p ec if ic  co n tex t    p h r ases   [ 2 4 ] ,   wh e r ea s   s ec o n d - p ass   an d   s y n ch r o n o u s   m et h o d s   s u ch   as  R esco r eBER T   [ 2 5 ]   an d   s p ee d y     ASR - lar g e  lan g u ag e   m o d el  ( LLM )   s y n c h r o n o u s   a g g r e g atio n   ( SALSA )   [ 2 6 ]   in t r o d u ce   li n g u is tic  in f o r m atio n   at  d if f er en t  s tag es  o f   th e  r e co g n itio n   p r o ce s s .   T h ese  ap p r o ac h es  d if f er   in   th eir   tr ai n in g   r eq u ir em en ts ,   co n tex tu al  r eso u r ce s ,   s co r e  c o m p atib ilit y ,   ar ch itectu r al   ass u m p tio n s ,   an d   in f er e n ce - tim e  c o s t.   Hsu   et  a l.   [ 2 7 ]   in tr o d u ce d   g en er ativ e   f u s io n   d ec o d in g   ( GFD)   as  a   g en e r ativ e,   s h allo w - f u s io n   f r am ew o r k   f o r   co m b in in g   au to r eg r ess iv e  r ec o g n itio n   m o d els  with   lar g e  lan g u ag e   m o d els  wh o s e  to k en   v o ca b u lar ie s   m ay   d if f e r .   GFD  m ap s   m o d el  lik elih o o d s   in to   a   s h ar ed   b y te - lev el  r ep r esen tati o n   an d   s y n ch r o n izes  ASR   an d   L L M  p r o g r ess io n   d u r in g   b ea m - s ea r ch   d ec o d i n g .   T h is   d esig n   p er m its   in s tr u ctio n - co n d itio n ed   L L M   p r io r s   to   b e   in teg r ate d   with o u t r etr ain in g   eith er   m o d e l.    T h e  p r esen t  s tu d y   ev alu ates  t h e  ef f ec tiv en ess   o f   t h is   tr ain in g - f r ee   b y te - le v el  f u s io n   f o r   I n d o n esian   ASR   in   b o th   g en er al  r ea d   s p e ec h   an d   ter m in o lo g y - d en s e  m ed ical  d ictatio n .   Acc o r d in g l y ,   th is   s tu d y   co n d u cts  an   em p ir ical  ev alu atio n   o f   GFD  f o r   I n d o n esian   ASR   ac r o s s   two   r ep r esen tativ e  d o m ain s :   i)   g en er al  s p ee ch :   r ep r esen tin g   co n tr o lled ,   clea n   r ea d - s p ee ch   co n d itio n s ;  an d   ii)  m ed ical  s p ee ch :  ch ar ac ter i ze d   b y   s p ec ialized   ter m in o lo g y   an d   s ty lis tic  v ar iab ilit y .   W e  em p lo y   th r ee   o p e n - weig h t  L L Ms — L lam a - SEA - L I ON - v 3 . 5 - 8B - R  [ 2 8 ] ,  Gem m a2 - 9B - cp t - s ah ab a tai - v1 - b ase   [ 2 9 ] ,   a n d   Mistra l - 7 B   [ 3 0 ] — f u s ed   with   W h is p er - lar g e - v 3   u s in g   th e   GFD  f r am ewo r k .   T h e   in v esti g atio n   s y s tem atica lly   an aly ze s   th e   ef f ec ts   o f   th e   f u s io n   weig h t  p a r am eter   ( r ) ,   in s tr u ctio n   p r o m p tin g ,   an d   d o m ain   s en s itiv ity   o n   d ec o d in g   im p r o v em e n ts   ac r o s s   g en er al  an d   m ed ical  ASR .   T o   g u id e  th is   in v esti g atio n ,   we  ad d r ess   th e  f o llo win g   r esear ch   q u esti o n s :   −   R Q1 :  d o es  GFD  im p r o v e   A SR   p er f o r m a n ce   c o m p ar e d   t o   a   s tr o n g   W h is p er   b aselin e  in   I n d o n esian   g en er al  an d   m ed ical  d o m ain s ?   −   R Q2 :  h o w  d o es  th e  f u s io n   weig h t  p ar am eter   ( r )   i n f lu en ce   r ec o g n itio n   ac cu r ac y   a cr o s s   d o m ain   co n d itio n s ,   an d   wh at  v al u es y i eld   o p tim al  tr ad e - o f f s   b etwe en   ac o u s tic  ev id en ce   a n d   lin g u is tic  p r io r s ?   −   R Q3 :  h o w  d o   th e  ch o ice  o f   o p en - weig h t  L L M  b ac k en d   a n d   f ix ed   in s tr u ctio n   p r o m p tin g   af f ec t  GFD  p er f o r m an ce   ac r o s s   th e  two   ev alu ated   s p ee ch   d o m ain s ?   T h ese  r esear ch   q u esti o n s   co ll ec tiv ely   ex am in e  th e  ef f ec tiv en ess   o f   GFD  ac r o s s   d if f er en t  d o m ain s ,   f u s io n   s ettin g s ,   an d   L L M  b ac k e n d s .   T h is   s tu d y   d o es  n o t   p r o p o s e  a   n ew  f u s io n   alg o r ith m .   I n s tead ,   it  ad o p ts   th e  o r ig in al  b y te - l ev el  GFD  f r am ewo r k   p r o p o s ed   b y   Hsu   et  a l .   an d   in v esti g ates  h o w  e x ter n al  L L M  p r io r s   in ter ac t  wit h   W h is p er - lar g e - v3  u n d er   I n d o n esian   ASR   co n d itio n s .   T h e  co n tr ib u tio n s   o f   th is   p ap er   ar e   as f o llo ws:   i)   Do m ain - f o c u s ed   em p ir ical  e v alu atio n :  p r esen t  a   co n tr o lled   em p ir ical  ev al u atio n   o f   GFD  f o r   I n d o n esian   ASR   ac r o s s   two   r ep r esen tativ e  s p ee ch   co n d itio n s :  g en e r al  r ea d   s p ee ch   ( FLE UR S - I D)   an d   co n tr o lled ,   ter m in o lo g y - d e n s e  m ed ical  d i ctatio n   ( Har k it).   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mp ir ica l e va lu a tio n   o f g en er a tive  fu s io n   d ec o d in g   fo r   I n d o n esia n   g en era l a n d   med ic a l  …  ( A s r il J a r in )   4895   ii)   Fu s io n - weig h t  ch ar ac ter izatio n :  s h o w  th at  th e  f u s io n   weig h t  p ar am eter     g o v er n s   th e  b alan ce   b etwe en   ac o u s tic  g r o u n d i n g   a n d   lin g u i s tic  p r io r   s tr en g th ,   a n d   th at  it s   o p tim al  v alu e   is   d o m ain - d e p en d en t   r ath er   th an   u n i v er s al.   iii)   Statis t ical  co n f ir m atio n   o f   g ai n s :  u s in g   p air e d   o n e - tailed   t - test s   an d   ef f ec t - s ize  an al y s is ,   we  co n f ir m   th a t   GFD  y ield s   s tatis tica lly   s ig n if ican t  an d   p r ac tically   m ea n i n g f u l   wo r d   er r o r   r ate   ( W E R )   r ed u ctio n s   r elativ e  to   a  s tr o n g   W h is p er - lar g e - v 3   b aselin e.   iv )   LLM - p r io r   an d   p r o m p tin g   ab l atio n :  d is tin g u is h   th e  c o n tr ib u tio n   o f   th e  ex ter n al  L L M  p r io r   f r o m   ex p licit   task   co n d itio n in g   b y   co m p a r in g   wh is p er - o n ly   b aselin e,   n o n - p r o m p ted   GFD,   an d   in s tr u c tio n - p r o m p te d   GFD  ac r o s s   th r ee   o p en - weig h t  L L M  b ac k en d s .   T h e  r esu lts   s h o w  th at  p r o m p tin g   p r o d u ce s   a  s ec o n d ar y   an d   co n f ig u r atio n - d e p en d e n t e f f ec t r elativ e  to   th e   co n tr ib u tio n   o f   th e   ex ter n al  L L M  p r io r .   T h r o u g h   t h i s   s t u d y ,   e m p i r i ca l   e v i d en c e  i s   p r o v i d e d   t h at   G F D   c an   i m p r o v e  I n d o n es i a n   A S R     u n d e r   t h e  e v a l u a t ed   o f f l i n e  c o n d i t io n s .   T h i s   i m p r o v em e n t   i s   a c h i ev ed   b y   i n t eg r a t in g   e x t er n a l  L L M     p r i o r s   d u r in g   d ec o d i n g   w i th o u t  r e tr a in i n g   e i th e r   m o d e l .   T h e   r e s u l t s   f u r t h er   ch ar a c t e r iz e   h o w   t h e  e f f e c t iv en e s s   o f   th i s   in t e g r a t i o n   d e p en d s   o n   s p e e ch   c o n d i t io n ,   s t a t i c  f u s i o n   w e i g h t,   p r o m p t in g   c o n f i g u r a t io n ,   an d   L L M  b ac k e n d ,   p r o v id i n g   a   f o u n d a t i o n   f o r   f u tu r e  d o m a in - s en s i t i v e  d e c o d i n g   s t r a t e g ie s   a n d   d ep l o y m en t - o r i en t e d   e v a lu a t i o n .       2.   M E T H O DS   2 . 1 .     O v er a ll  ex perim ent a l desig n   T h is   s tu d y   ev alu ates  th e  ef f ec tiv en ess   o f   GFD  [ 2 7 ]   f o r   I n d o n esian   ASR   in   two   r ep r esen tativ e   d o m ain s :  g en er al  an d   m ed ic al.   T h e  ex p er im e n tal  p ip elin e  co n s is ts   o f   f o u r   k ey   c o m p o n en ts :   i)   d ataset  s elec tio n   an d   p r ep a r atio n   f o r   d o m ain - g en er al  an d   d o m ain - s p ec if ic  task s ;   ii)  b aselin e  A SR   d ec o d in g   s etu p   u s in g   W h is p er - lar g e - v3;   iii)  i m p lem en tatio n   o f   GFD  with   s y s tem atic  v ar iatio n   o f   th e   f u s i o n   weig h t  p a r am eter   ( r ) ;  an d   iv )   c o m p r e h en s iv e   ev alu atio n   an d   s tatis tical  v alid atio n   o f   p e r f o r m an ce   i m p r o v e m en ts .   All  ex p er im en ts   wer e   co n d u cted   u s in g   o f f lin e   u tter an ce - le v el  d ec o d i n g .   E ac h   u tter an ce   was  ev alu ated   as  a   co m p lete  in p u t  in s tan ce ,   an d   th e  s tu d y   d i d   n o t  im p lem en t  o r   ass es s   ch u n k - wis e  au d io   p r o c ess in g ,   in cr em en tal   tr an s cr ip t d eliv er y ,   en d p o in t  d etec tio n ,   o r   laten c y - co n s tr ain ed   s tr ea m in g   in f e r en ce .   Fig u r e  1   p r esen ts   th e  co m p lete  o f f lin e  e x p er im e n tal  wo r k f lo w.   Fo r   ea ch   d ataset,   co m p lete  u tter an ce s   f r o m   FLE UR S - I D  an d   Har k i t   ar e  d ec o d e d   u s in g   th e  s am e  f r o ze n   W h is p er - lar g e - v 3   m o d el,   eith er   as  th e   u n f u s ed   b aselin e  o r   th r o u g h   GFD  wi th   o n e  o f   th r ee   f r o ze n   L L M  b ac k en d s .   T h e  GFD  ex p er im en ts   ev alu ate   p r o m p te d   an d   n o n - p r o m p te d   co n d itio n s   ac r o s s   th e  p r ed ef in e d   s tatic  f u s io n   weig h ts   r .   T h e  r esu ltin g   tr an s cr ip ts   ar e  ev alu ated   u s in g   co r p u s - lev el  W E R   an d   p air ed   u tter an ce - l ev el  s tatis tical  an aly s i s .           Fig u r e  1 .   Of f lin e  ex p e r im en tal   wo r k f lo w  f o r   e v alu atin g   GFD   f o r   I n d o n esian   ASR       2 . 2 .     Da t a s et s   a nd   s ce na rio s   T wo   d atasets   wer e  u s ed   in   th is   s tu d y :  FLE UR S - I D  [ 1 9 ]   an d   Har k it  m ed ical  [ 3 1 ] .   T ab le  1   s u m m ar izes  th e  d u r atio n ,   n u m b er   o f   u tter an ce s ,   a n d   u tter an ce - len g th   ch ar ac ter is tics   o f   th e  two   d atasets   u s ed   in   th e  ev alu atio n .   i)   FLE UR S - I D  is   th e  I n d o n esian   s u b s et  o f   th e  m u ltil in g u al  FLE UR S  b en ch m ar k   [ 1 9 ]   an d   co n s is ts   o f   s h o r t,  co n tr o lled   r ea d - s p ee ch   u tter an ce s   r ep r esen tin g   g en er al - d o m ain   lan g u ag e.   I n   th is   s tu d y ,     FLE UR S - I D  i s   u s ed   as  a  c o n tr o lled ,   clea n - s p ee ch   r ef e r en ce   co n d itio n   to   ev alu ate  wh eth er   GFD  im p r o v es  r e co g n itio n   wh e n   th e  ac o u s tic  s ig n al  an d   s p ea k i n g   s ty le  ar e  r elativ ely   co n s tr ain ed .   I t   s h o u ld   th er ef o r e   n o t  b e  in ter p r eted   a s   r ep r esen tin g   s p o n tan eo u s   c o n v er s atio n ,   en v ir o n m e n tal  n o is e,   f ar - f ield   s p ee ch ,   o r   o th er   u n co n s tr ain ed   r ea l - wo r ld   c o n d itio n s .   ii)   Har k it   m ed ical  is   a  d o m ain - s p ec if ic  I n d o n esian   clin ical  s p ee ch   co r p u s   d e v elo p ed   u n d e r   th e  Natio n al  R esear ch   an d   I n n o v atio n   Ag e n cy   ( B R I N) .   T h e  co r p u s   co n ta in s   tr an s cr ib ed   m ed ical  d ictatio n s   in v o lv in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   20 26 :   4 8 9 3 - 490 6   4896   clin ical  ter m in o lo g y ,   ab b r ev i atio n s ,   an d   m ix e d   I n d o n esian – E n g lis h   ex p r ess io n s   c o m m o n ly   f o u n d   in   m ed ical  d o cu m e n tatio n   [ 3 1 ] .   I n   th is   s tu d y ,   Har k it  is   u s e d   as  a  co n tr o lled ,   ter m in o l o g y - d e n s e,   an d   d o m ain - m is m atch e d   co n d itio n   to   ev alu ate  d ec o d in g - tim e   lin g u is tic  g u id an ce .   T h e  co r p u s   d o es  n o t   r ep r esen t  th e  co m p lete  d iv e r s ity   o f   m ed ical  s p ec ialties ,   s p o n tan eo u s   clin ician – p atie n t  in ter ac tio n ,   en v ir o n m en tal  n o is e,   o r   in s titu tio n - s p ec if ic  clin ical  wo r k f lo ws.   B o th   d atasets   wer e  s tan d ar d ized   to   Un ico d e  NFC   f o r m   [ 3 2 ]   to   en s u r e  ca n o n ical  tex t   eq u iv alen ce   wh ile   p r eser v in g   p u n ctu atio n   an d   c asin g .   C o d e - s witch ed   E n g lis h   to k en s   ( e . g . ,   “ C T   s ca n ”   an d   “ ch ec k - up ” )   wer e   r etain ed   to   m ain tai n   lex ical  au th en ticity .   No   p r o p r ietar y   d ata   wer e  u s ed .       T ab le  1 .   Su m m a r y   o f   th e  I n d o n esian   s p ee ch   d atasets   u s ed   in   th e  co n tr o lled   o f f lin e  ev alu ati o n   D a t a s e t   Ev a l u a t i o n   c o n d i t i on   D u r a t i o n   ( h )   U t t e r a n c e s   M e a n   u t t e r a n c e   d u r a t i o n   ( s)   M i n i m u m   ( s)   M a x i m u m   ( s)   F LEU R S - ID   G e n e r a l   2 . 2 7   6 6 3   1 2 . 3 2   4 . 4 4   4 1 . 3 0   H a r k i t   M e d i c a l   d i c t a t i o n   1 . 4 0   5 6 3   8 . 9 4   3 . 8 0   2 1 . 5 0       2 . 3 .     B a s eline  a uto ma t ic  s peec h r ec o g nitio n  m o del   T h e  b aselin e  s y s tem   is   b ased   o n   W h is p er - lar g e - v3  [ 1 0 ] ,   a  m u ltil in g u al  tr an s f o r m e r   en co d er – d ec o d er   m o d el  tr ain ed   o n   1   m illi o n   h o u r s   o f   wea k ly   lab eled   au d io   a n d   4   m illi o n   h o u r s   o f   p s eu d o - lab eled   au d io ,   an d   u s ed   th r o u g h o u t  th is   s tu d y   as  th e  f ix ed   ac o u s tic  m o d el .   W h is p er   r ep r esen ts   a  s tr o n g   s tate - of - th e - a r t   f o u n d atio n   f o r   m u ltil in g u al  A SR .   T o   is o late  th e  co n tr ib u tio n   o f   GFD,   wh is p er ' s   p ar am ete r s   wer e  f r o ze n   an d   all  m o d if icatio n s   wer e  r estricte d   to   th e   d ec o d in g   s tag e.   B o th   th e  b aselin e  an d   GFD  s y s tem s   wer e  ev alu ate d   u s in g   o f f lin e  u tter an ce - lev el   d ec o d in g .   T h e   b aselin e  u s ed   b e am   s ea r ch   with   a  b ea m   wid th   o f   5   an d   n o   n u cleu s   s am p lin g ,   wh e r ea s   th e   ex ter n a l  L L M  in   GFD  was  d ec o d ed   with   a  tem p e r atu r e   o f   1 . 7   a n d   n o   to p - p   s am p lin g .   Acc o r d in g ly ,   th e  r ep o r ted   p er f o r m an ce   d if f er en ce s   r ef lect  d ec o d in g - le v el  f u s io n   r ath er   th an   m o d el  r etr ain in g   o r   d if f e r en ce s   in   s tr ea m in g   co n f ig u r atio n .     2 . 4 .     G ener a t iv e  f us io n dec o din g   GFD   is   a  b y te - lev el  g en er ativ e  s h allo w - f u s io n   m eth o d   t h at  in co r p o r ates  ex ter n al  L L M  p r io r s     in to   b ea m - s ea r ch   d ec o d in g .   L ik e  co n v e n tio n al  s h allo w  f u s io n ,   GFD  co m b in es  in d ep en d en tly   o b tain ed     ASR   an d   lan g u a g e - m o d el  p r o b ab ilit ies  d u r in g   in f er en ce .   I ts   d is tin g u is h in g   f ea tu r e  is   th e  co n v er s io n   o f   ca n d id ate - s eq u e n ce   p r o b ab ilit ies  in to   a  s h ar ed   b y te - lev el  r ep r esen tatio n ,   allo win g   th e  A SR   m o d el  an d   th e   L L M  to   p r o g r ess   s y n ch r o n o u s ly   ev en   wh en   th ey   u s e  d if f e r en t  to k en   v o ca b u lar ies  [ 2 7 ] .   Un lik e  co ld   f u s io n ,   wh ich   in co r p o r ates  a  f i x ed   p r etr ain ed   lan g u ag e   m o d el  d u r i n g   s eq u e n ce - to - s eq u en ce   ASR   tr ain in g   [ 2 3 ] ,   a n d   C L AS,  wh ich   jo in tly   lear n s   c o n tex tu al  p h r ase  em b e d d in g s   t o g eth er   with   th e   ASR   m o d el  [ 2 4 ] ,   GFD  p er f o r m s   in teg r atio n   e n tire ly   d u r i n g   i n f er en ce .   C o n s eq u en tly ,   GFD  en ab les  ex ter n al   lan g u ag e  m o d el  g u id a n ce   with o u t   r eq u ir in g   r etr ain in g   eith er   t h e  ASR   m o d el  o r   th e  L L M.   I n   th e   p r esen t  s tu d y ,   W h is p er - lar g e - v 3   an d   all  ex ter n al  L L M s   wer e  k ep t  f r o ze n ,   an d   in te g r atio n   was  p er f o r m ed   ex clu s iv ely   th r o u g h   GFD  d u r in g   d ec o d in g .   No   co n v en tio n al  s h allo w - f u s io n ,   c o ld - f u s io n ,   o r   C L AS  s y s tem   was  im p lem en ted   in   t h e  p r esen t  s tu d y .   I n s tead ,   t h e  ex p er im en tal  b aselin e  co n s is ts   o f   th e  u n ch an g ed   W h is p er - lar g e - v 3   d ec o d er ,   al lo win g   th e   ef f ec t   o f   GFD  to   b e  is o lated   u n d er   o th er wis e  id en tical  d ec o d in g   co n d itio n s .   T h is   p r o b a b ilis tic  f u s io n   is   co n tr o lled   b y   a  s ca la r   f u s io n   weig h t  r ,   wh ic h   d eter m in es  th e  r elativ e   in f lu en ce   o f   t h e  ASR   an d   L L M  d u r in g   b ea m - s ea r ch   d ec o d i n g .   Acc o r d in g l y ,   at  ea c h   d ec o d in g   s tep   ,   th e   b est   p ar tial  b ea m   h y p o t h esis   1 : ∗   is   o b tain ed   b y   m ax im izin g   th e  f o llo win g   weig h ted   co m b i n atio n   o f   ASR   an d   LLM  lo g - p r o b a b ilit ies   as sh o wn   in   ( 1 ) .     1 : ∗ =     { 1 : } [ ( 1 − ) l og ( 1 : ;  ) + ( ) l og  ( 1 : − ;  ) ]   ( 1 )     W h er e   1 :   d en o tes  th e  p ar tial  b ea m   s eq u en ce   u p   to   tim e  s tep   .   AS R ( 1 : ;  )   is   th e  p r o b ab ilit y   ass ig n ed   b y   th e  tr an s cr ip tio n   m o d el  ( ASR   tr an s cr ip tio n   m o d el)   p ar am eter ized   b y    .   L L M ( 1 : − ;  )   is   th e  au to r eg r ess iv e   lan g u ag e - m o d e l  p r o b ab ilit y   o f   th e  ex ter n al  L L M — p ar am eter ized   b y    — f o r   co n tin u in g   th e  h y p o th esis   s eq u en ce ,   co n d itio n ed   o n ly   o n   th e  p r ev io u s ly   g e n er ated   −   tex t  to k en s .   ∈ [ 0 , 1 ]   is   th e  f u s io n   weig h t  co n tr o llin g   th e  b ala n ce   b etwe en   th e  ac o u s tic  m o d el  an d   th e  L L M  co n tr ib u tio n .   k   is   a  d y n am ic  s h if tin g   v alu e  d eter m in e d   s ep ar ately   f o r   ea ch   b ea m   h y p o th esis .   Fo llo win g   th e  o r ig in al  GFD  im p l em en tatio n ,   k   is   s et  to   th e  b y te  len g th   o f   th e  last   to k en   p r o p o s ed   b y   th e   tex t - r ec o g n itio n   m o d el.   T h is   s elec tio n   r estricts th e  n u m b er   o f   s eq u en ce s   r esco r ed   b y   th e   L L M  to   ap p r o x im ately   th e  b e am   s ize  wh ile  r etain in g   th e   m ax im u m   av ailab le   p r e - ex p an s io n   co n tex t.   I n   th e  p r esen t  s tu d y ,   r   is   im p l em en ted   as  a  s tatic  s ca lar   in t er p o latio n   co ef f icien t.  Fo r   ea ch   d ataset,   L L M  b ac k en d ,   an d   p r o m p tin g   co n d itio n ,   a  s in g le   r   v al u e   is   ap p lied   to   all  u tter a n ce s   an d   au to r eg r ess iv e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mp ir ica l e va lu a tio n   o f g en er a tive  fu s io n   d ec o d in g   fo r   I n d o n esia n   g en era l a n d   med ic a l  …  ( A s r il J a r in )   4897   d ec o d in g   s tep s .   C an d id ate  v alu es  ar e  ev alu ated   u s in g   th e  d e v elo p m en t  s p lit,  an d   th e  s elec ted   co n f ig u r atio n   is   th en   ap p lied   to   th e  h eld - o u t te s t set.   No   u tter an ce - lev el,   to k e n - lev el,   co n f i d en ce - c o n d itio n e d ,   o r   au to m atica lly   d o m ain - c o n d itio n e d   a d ju s tm en t  o f   r   is   p e r f o r m ed .   Acc o r d in g ly ,   r   s h o u l d   b e   in ter p r eted   as  an   em p ir ically   s elec ted   co ef f icien t  f o r   a   p ar ti cu lar   ex p er im en tal  c o n f ig u r ati o n   r at h er   th a n   as  a   d ir ec t  p er c en tag e  m ea s u r e   o f   th e  lin g u is tic  co n tr ib u tio n .   T h e  d y n am ic  s h if tin g   v alu e  k   an d   th e  co r r esp o n d in g   d elay e d   co r r ec tiv e - f ee d b ac k   m ec h an is m   f o llo w   th e  o r ig in al  GFD  alg o r ith m   a n d   im p lem en tatio n   with o u t  m o d if icatio n   o r   in d e p en d e n t  tu n in g .   B ec au s e  th e   len g th   o f   t h e  m o s t  r ec en t  r ec o g n itio n   to k e n   m ay   d if f er   ac r o s s   b ea m   h y p o t h eses ,   k   is   d y n a m ically   d eter m in ed   r ath er   th an   f ix e d   g lo b ally .   T h is   b ea m - lev el  f o r m u latio n   ( 1 )   is   f u lly   eq u iv alen t  to   in cr em en tal  to k en - lev el   in ter p o latio n   o f   ASR   an d   L L M  lo g - p r o b ab ilit ies  ex ec u ted   d u r in g   a u to r eg r ess iv e  d ec o d in g ;  th e  b y te - lev e l   r ep r esen tatio n   en s u r es  b o t h   m o d els  o p er ate  o v er   th e  s am e  t o k en   s p ac e,   en ab lin g   tr ain in g - f r ee   f u s io n   with o u t  em b ed d in g   p r o jectio n   o r   v o c ab u lar y   r em ap p i n g .   T h is   f o r m u latio n   allo ws  d o m ain   p r io r s   to   b e  in co r p o r ated   th r o u g h   p r o b ab ilit y - s p ac e  g u id an ce   r ath er   th an   p ar am ete r   u p d ates,  m ak in g   GFD  ap p licab le  ac r o s s   th e   ev alu ated   g e n er al  an d   s p ec ialized   I n d o n esian   ASR   co n d itio n s   with o u t r etr ain in g .   Alth o u g h   GFD  co m b in es  ASR   an d   L L M  p r o b ab ilit ies  in cr em en tally   at  ea c h   au t o r eg r ess iv e    d ec o d in g   s tep ,   th is   s tep wis e  o p er atio n   s h o u ld   n o t  b e  in te r p r eted   as  a  s tr ea m in g   ASR   im p lem en tatio n .   I n   t h e   p r esen t  ex p er im en ts ,   co m p le te  u tter an ce s   wer e  d ec o d ed   o f f lin e,   an d   n o   ch u n k - le v el  au d io   p r o ce s s in g ,     p ar tial - h y p o th esis   em is s io n ,   en d p o in ti n g ,   o r   laten cy   m ea s u r em en t  was  p er f o r m ed .   T h er ef o r e,   th e   r ep o r ted   r esu lts   ch ar ac ter ize  o f f lin e  d ec o d in g   p er f o r m an ce   r ath er   th a n   r ea l - tim e  ASR   b eh av io r .   T h e  d ec o d in g   f r am ewo r k   n ev er th eless   s u p p o r ts   in s tr u ct io n - co n d itio n ed   an d   d o m ai n - s en s itiv e   lin g u is tic  g u id an ce   with o u t  r etr ain in g .   T o   c h ar ac ter ize  t h e  s en s itiv ity   o f   th is   g u id a n ce ,   we  ev al u ated     r  ∈   {0 . 1 0 ,   0 . 2 5 ,   0 . 5 0 ,   0 . 7 5 ,   0 . 8 0 ,   0 . 8 5 ,   0 . 9 0 }.   T h e  o p tim al  co ef f icien t  was  n o t  u n if o r m   a cr o s s   th e  ev alu ated   co n d itio n s :  FLE UR S - I D  ac h i ev ed   its   b est  r esu lt  at   r   =  0 . 7 5 ,   wh er ea s   Har k it   ac h ie v e d   its   b est  r esu lt  at    r   =  0 . 5 0 .   T h ese  v alu es  s h o u ld   b e  in ter p r eted   as  co n f ig u r atio n - s p ec if ic  em p ir ical  o p tim a  r a th er   th an   u n iv er s al  m ea s u r es  o f   th e  r eq u ir e d   L L M  co n tr i b u tio n .   T h e   d if f er in g   o p tim a  m o tiv ate  f u tu r e  ad ap tiv e   f u s io n   m ec h an is m s   th at  co n d itio n   r   o n   r ec o g n itio n   co n f id e n ce ,   ASR – L L M  ag r ee m en t,  o r   d o m ain - r elate d   cu es.     2 . 5 .     L a rg e   la ng ua g e  m o del   i nte g ra t io n a nd   a bla t io n c o n ditio ns   T h r ee   f r o ze n   o p e n - weig h t   L L Ms  wer e  in teg r ated   in to   t h e  GFD  d ec o d in g   p i p elin e:  Mistra l - 7 B ,   L lam a - SEA - L I ON - v 3 . 5 - 8B - R   ( SEA - L I ON) ,   an d   Gem m a2 - 9B - cp t - s ah ab atai - v1 - b ase  ( SAI ) .   T h ese  m o d els   r e p r e s e n t   g e n e r al   m u lt i l i n g u a l ,   S o u t h e a s t   A s i a n   r e g i o n a l ,   a n d   I n d o n e s i a n - a d a p t e d   l a n g u a g e - m o d e l   b a c k g r o u n d s ,   r esp ec tiv ely .   T h e  co m p ar is o n   is   em p ir ical;  th e   p r esen t  s tu d y   d o es  n o t   in d e p en d e n tly   is o late  th e  ef f ec ts   o f     p r e - tr ain in g   d ata  co m p o s itio n ,   to k en izer   d esig n ,   in s tr u ctio n   tu n in g ,   o r   m o d el  ar c h itectu r e.   T o   d is tin g u is h   th e   ex ter n al  L L M  p r io r   f r o m   e x p li cit  task   co n d itio n in g ,   th e  e v alu atio n   u s es th r ee   d ec o d in g   co n d itio n s :   i)   W h is p er - o n ly   b aselin e  ( r   =  0 ) :   th e  ex ter n al  L L M   s co r e  is   ex clu d ed   f r o m   th e  in te r p o latio n ,   an d   d ec o d in g   is   p er f o r m e d   u s in g   f r o ze n   W h is p er - lar g e - v 3   o n ly .   ii)   N o n - p r o m p t e d   G F D  ( r   >   0 ) :   th e   e x t e r n a l   L L M   r e ce i v e s   t h e   p a r t i a l   A SR   h y p o t h es is   wi t h o u t   a n y   t as k -   o r   d o m a i n - s p e c i f i c   i n s t r u ct i o n .   T h i s   c o n d i ti o n   e v a l u a t es   t h e   c o n t r i b u t i o n   o f   t h e   p r e t r a i n e d   L L M   p r i o r   a l o n e .   iii)   I n s tr u ctio n - p r o m p ted   GFD  ( r   >  0 ) :   th e  s am e   L L M  b ac k en d   an d   GFD  p r o ce d u r e   ar e   u s e d ,   b u t  a  f ix ed   d ataset - s p ec if ic  in s tr u ctio n   is   p r ep en d ed   to   t h e  p ar tial h y p o t h esis .   T h e  s elec ted   p r o m p ts   ar e:   −   FLE UR S - I D:  “ B eriku t in i a d a la h   tr a n s krip s i k a lima t u ca p a n   b a h a s a   I n d o n esia : ”   E n g lis h   tr an s latio n :  “ B elo w  is   th e  tr an s cr ip tio n   o f   an   I n d o n es ian   s p o k en   s en te n ce : ”   −   Har k it:  “ A n d a   a d a la h   LL M  d a la m  ko n teks  med is .   P erta h a n ka n   is tila h   med is ,   fa r ma s i,  a n a to mi,   d a n   d ia g n o s is   a p a   a d a n ya ” .   E n g lis h   tr an s latio n :  “ Yo u   a r e  an   L L M  o p er atin g   in   a   m ed ical  co n tex t.   Pre s er v e   m ed ical,   p h ar m ac eu tical,   a n ato m ical,   a n d   d iag n o s tic  ter m s   ex ac tly   as   th ey   ar e ” .   T h e  p r o m p ted   an d   n o n - p r o m p ted   co n d itio n s   wer e  ev alu ated   u s in g   th e  s am e  ca n d id ate  v al u es  o f   th e  s tatic  f u s io n   weig h t  r ,   en a b lin g   d ir ec t  s am e - r   c o m p ar is o n s   o f   p r o m p t   ef f ec ts .   T h e   f in al  p r o m p t  tem p late  an d     r   v alu e  f o r   ea ch   b ac k e n d – c o n d itio n   p air   wer e  s elec ted   u s in g   th e  d e v elo p m e n t  s p lit  an d   s u b s eq u en tly   f ix e d   f o r   ev alu atio n   o n   t h e  h eld - o u t te s t set.  No   u tter an ce - s p ec if ic  p r o m p t selec tio n   o r   test - s et  p r o m p t o p tim izatio n   was  p er f o r m ed .   C o r p u s - lev el   s en s itiv ity   to   r   an d   u tter an ce - l ev el  d is tr ib u tio n s   o f   th e   d e v elo p m en t - s elec ted   co n f ig u r atio n s   ar e  r e p o r te d   in   s ec tio n s   3 . 2   an d   3 . 4 ,   r esp ec tiv ely .     2 . 6 .     E v a lua t i o n  m et rics a nd   s t a t is t ica l a na ly s is   ASR   ac cu r ac y   was  ass ess ed   u s in g   W E R   as  th e  p r im a r y   m etr ic,   co m p u ted   as  ( 2 ) .   W h er e    is   th e   n u m b er   o f   s u b s titu tio n s ,     d eletio n s ,     in s er tio n s ,   an d   N  t h e  to ta l n u m b er   o f   r ef er en ce   wo r d s .      = + +           ( 2 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   20 26 :   4 8 9 3 - 490 6   4898   Statis t ical  s ig n if ican ce   was  ass es s ed   u s in g   p air ed   o n e - ta iled   t - test s   o n   u tter an ce - lev el  W E R   d if f er en ce s   b etwe en   th e   u n f u s ed   W h is p er - lar g e - v 3   b aselin e  an d   th e   b est - p er f o r m in g   GFD  co n f i g u r atio n   f o r   ea ch   ev alu ated   d ataset.   T h e  p air ed   d esig n   co m p a r es  th e  two   d e co d in g   s y s tem s   o n   id e n tical  u tter an ce s ,   th er eb y   co n tr o llin g   f o r   u tter a n ce - s p ec if ic  v ar iab ilit y .   Statis tical   test in g   was  p er f o r m ed   o n ly   af ter   th e  f in al  co n f ig u r atio n   h ad   b ee n   s elec ted   o n   t h e  d ev el o p m en t  p ar titi o n ,   en s u r i n g   th at  t h e  h eld - o u t   test   d ata  wer e   u s ed   ex clu s iv ely   f o r   in d ep e n d en t   ev alu atio n .   I n   ad d itio n   t o   p - v alu es,  C o h en ' s     was  co m p u t ed   to   q u a n tify   th e   p r ac tical  m ag n itu d e  o f   t h e  o b s er v ed   im p r o v e m en ts .     2 . 7 .     Repro du cibili t y   a nd   im plem ent a t io n   All  ex p er im en ts   wer e  im p l em en ted   in   Py th o n   3 . 1 1   u s in g   Py T o r ch   2 . 2   an d   Hu g g in g   Face   T r an s f o r m e r s   4 . 4 3   a n d   wer e  ex ec u ted   o n   an   NVI DI A  A1 0 0   GPU  with   8 0   GB   o f   m em o r y .   T h e  e v alu atio n     u s ed   o f f lin e  u tter an ce - lev el  d ec o d in g   a n d   f o cu s ed   o n   tr an s cr ip tio n   ac cu r ac y .   R ea l - tim e  f ac to r ,   f ir s t - to k en   laten cy ,   en d - to - e n d   laten cy ,   p ea k   m em o r y   u s ag e,   co m p u tatio n al  th r o u g h p u t,   an d   p a r tial - tr an s cr ip t  s tab ilit y   wer e  n o t   m ea s u r e d .   C o n s eq u en tly ,   th e   p r esen t  r esu lts   s h o u ld   n o t   b e   in ter p r eted   as  ev id e n ce   o f   r ea l - tim e  o r   s tr ea m in g   r ea d in ess .   T o   f ac ilit ate  ex p er im en tal   r ep r o d u cib ilit y ,   th is   s tu d y   f o llo ws  th e  o r ig in al  o p en - s o u r ce   im p lem en tatio n   o f   GFD  r ele ased   b y   Hsu   et  a l.   [ 2 7 ]   wh il e  u s in g   th e   p u b licly   av ailab l e  W h is p er - lar g e - v3  ch ec k p o i n t.  T h e  ev alu ated   FL E UR S - I D  an d   Har k it  m ed ical - d ictatio n   d atasets   wer e  o b tain ed   f r o m   th e  o f f icial   r ep o s ito r ies  lis ted   in   th e   d ata   av ailab ilit y   s tatem en t,  with   t h e  ev alu atio n   s u b s ets  s elec ted   ac co r d in g   to   th e   cr iter ia  d escr ib ed   in   s ec tio n   2 . 2 .   All  m o d el   p ar am eter s   r em ai n ed   f r o ze n   th r o u g h o u t   th e   ex p er im en ts ,   an d   o n ly   d ec o d in g - tim e  co n f ig u r atio n s — in clu d in g   th e   s tatic  f u s io n   weig h t,  p r o m p tin g   co n d itio n ,   an d   o th e r   d ec o d in g   p ar am eter s   d escr ib ed   i n   s u b s e ctio n s   2 . 2 – 2 . 6 — wer e  v a r ied .       3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .     O v er a ll  perf o r m a nce  a c ro s s   da t a s et s   T ab le  2   r ep o r ts   co r p u s - lev el   W E R   f o r   th e   u n f u s ed   W h is p er - lar g e - v 3   b aselin e  an d   t h e  b est  GFD   co n f ig u r atio n   s elec ted   f o r   ea c h   d ataset.   W E R   is   r ep o r ted   as   a  p er ce n tag e,   Δ W E R   d en o tes   th e  ab s o lu te  W E R   r ed u ctio n   in   p er ce n ta g e  p o in t s   ( p p ) ,   an d   W E R R   d en o tes  th e  r elativ e  W E R   r ed u ctio n .   L o wer   W E R   in d icate s   b etter   r ec o g n itio n   p e r f o r m an c e.       T ab le  2 .   C o r p u s - lev el  W E R   o f   W h is p er - lar g e - v 3   an d   t h e  b es t G FD c o n f ig u r atio n s   o n   th e  h eld - o u t te s t sets   D a t a s e t   W h i s p e r - l a r g e - v 3   W ER   ( %)   B e st   G F D   W ER   ( %)   ΔW ER   ( p p )   W ER R   ( %)   B e st   G F D   c o n f i g u r a t i o n   F LEU R S - I D   ( g e n e r a l)   5 . 9 1   4 . 1 7   1 . 7 4   2 9 . 44   S EA - LI O N ,   p r o mp t e d ,   r  =   0 . 7 5   H a r k i t   ( me d i c a l)   1 5 . 8 9   1 2 . 3 0   3 . 5 9   2 2 . 5 9   S A I ,   p r o mp t e d ,   r   =   0 . 5 0       On   FLE UR S - I D,   th e  lo west   co r p u s - lev el  W E R   is   o b tain ed   b y   SEA - L I ON  u n d er   th e   p r o m p te d   co n f ig u r atio n   with   a  s tatic  f u s io n   weig h t  o f   r   =  0 . 7 5 ,   r e d u cin g   W E R   f r o m   5 . 9 1 %  to   4 . 1 7 %  ( a n   a b s o lu te  r ed u ctio n   o f   1 . 7 4   pp   an d   a  r elativ e  r ed u ctio n   o f   2 9 . 44 %).   On   Har k it,  th e  lo west c o r p u s - lev e l WER   i s   o b tain ed   b y   SAI   u n d er   th e   p r o m p te d   co n f i g u r atio n   with   r   =  0 . 5 0 ,   r e d u cin g   W E R   f r o m   1 5 . 8 9 %  to   1 2 . 3 0 %    ( an   ab s o lu te   r ed u ctio n   o f   3 . 5 9   pp   an d   a  r elativ e  r e d u ctio n   o f   2 2 . 5 9 %).   T h ese  r e s u lts   id en tify   th e     b est - p er f o r m in g   co n f ig u r atio n s   u n d e r   th e   ev al u ated   e x p er im en tal   s ettin g s   an d   e s tab lis h   co n s is ten t  im p r o v em e n ts   o v er   t h e  u n f u s e d   W h is p er - lar g e - v 3   b aselin e.   Ov er all,   th e  r esu lts   in d icate   th at  GFD  g en er alize s   ac r o s s   b o th   ev alu ated   co n d itio n s .   Sti ll,  it s   p er f o r m an ce   d ep e n d s   o n   th e   in ter ac tio n   am o n g   th e  L L M   b ac k en d ,   th e  p r o m p tin g   co n d itio n ,   th e  s p ee ch   d o m ain ,   an d   th e  s tatic  f u s io n   weig h t.  No   s in g le  b ac k en d   o r   p r o m p tin g   co n f ig u r atio n   is   u n if o r m l y   o p tim a l   ac r o s s   th e  two   d atasets ,   h ig h lig h tin g   th e  im p o r tan ce   o f   co n f i g u r atio n - s p ec if ic  ev alu atio n   r a th er   th an   ap p ly in g   a  s in g le  d ec o d in g   s tr ateg y   u n i v er s ally .     3 . 2 .     Sens it iv it y   t o   f us io n we ig ht  ( r)   Fig u r e  2   s h o ws  co r p u s - lev el  W E R   ac r o s s   th e  ev alu ated   s ta tic  f u s io n   weig h ts   f o r   SEA - L I ON,   SAI ,   an d   Mistra l  u n d er   p r o m p ted   a n d   n o n - p r o m p ted   d ec o d in g .   T h e  s am e  m ar k er   id e n tifie s   ea c h   L L M   b ac k e n d   in   b o th   p an els,  wh ile  s o lid   an d   d ash ed   lin es  d e n o te  p r o m p te d   an d   n o n - p r o m p ted   d e co d in g ,   r esp ec tiv ely .   T h e   h o r izo n tal   d o tted   lin e  r ep r es en ts   th e  u n f u s ed   W h is p er - lar g e - v 3   b aselin e  ( r   =  0 ) .   All  co n f ig u r atio n s   ar e   co m p ar ed   u s in g   id en tical  ca n d id ate  v alu es  o f   r ,   en ab lin g   d ir ec t  ass es s m en t  o f   th e  co n tr ib u tio n   o f   ex p licit   in s tr u ctio n   p r o m p tin g   b ey o n d   th e  ex ter n al  L L M  p r io r .   L o we r   W E R   in d icate s   b etter   r ec o g n itio n   p er f o r m an ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mp ir ica l e va lu a tio n   o f g en er a tive  fu s io n   d ec o d in g   fo r   I n d o n esia n   g en era l a n d   med ic a l  …  ( A s r il J a r in )   4899   Fig u r e  2 ( a)   s h o ws  FLE UR S - I D,   th e  lo west  W E R   i s   o b tain ed   with   p r o m p ted   SEA - L I ON  at  r   =  0 . 7 5 .   Acr o s s   th e  ev alu ated   co n f ig u r atio n s ,   im p r o v em e n ts   ar e  g en er ally   m ain tain e d   f r o m   t h e  lo w - to - m o d er ate   f u s io n   s ettin g s   th r o u g h   r   =   0 . 8 0 ,   wh er ea s   p e r f o r m an ce   d eter io r ates  as  r   ap p r o ac h es  0 . 9 0 .   T h is   p atter n   in d icate s   th at  GFD  b e n ef its   f r o m   s u b s tan tial  L L M   g u id an ce   in   t h e  clea n   r ea d - s p ee ch   co n d itio n ,   b u t  ex ce s s iv e   weig h tin g   o f   th e  L L M  s co r e   e v en tu ally   wea k e n s   co n s is ten cy   with   th e  r ec o g n itio n   e v id en c e.   Fig u r e  2 ( b )   s h o ws  Har k it   m e d ical  d ictatio n ,   th e   o p tim u m   s h if ts   to   r   =  0 . 5 0 ,   with   p r o m p ted   SAI   p r o d u cin g   th e  lo west  co r p u s - l ev el  W E R .   T h is   r esu lt  in d icat es  th at  ter m in o lo g y - d en s e  s p e ec h   b en e f its   f r o m   L L M  g u id a n ce ,   b u t  th e  m o s t  ef f ec tiv e  co n f ig u r atio n   r etain s   a  m o r e   b alan ce d   in ter p o latio n   b etwe en   th e   ASR   an d   L L M  s co r es  th an   th e  FL E UR S - I D  o p tim u m .   Per f o r m an ce   d eter io r atio n   b e y o n d   th e   o p tim u m   s u g g ests   th at  ex ce s s iv e  lin g u is tic  b ias   m ay   p r o d u ce   o v e r - co r r ec tio n   wh en   th e  L L M  p r io r   co n f licts   with   th e  r ec o g n itio n   ev id en ce .   I n s tr u ctio n   p r o m p t in g   p r o v id es  ad d itio n al  d o m ain   co n d itio n in g   f o r   s ev er al  b ac k en d – weig h t  co m b in atio n s ,   b u t  its   b en ef it   is   n o t  u n if o r m   ac r o s s   all  co n f ig u r atio n s   an d   d o es  n o t  eli m in ate  th e  n ee d   t o   p r eser v e  ad e q u ate  ASR   g r o u n d in g .         ( a)       ( b )     Fig u r e  2 .   Sen s itiv ity   o f   co r p u s - lev el  W E R   to   th e  s tatic  f u s io n   weig h t r   o n   ( a )   FLE UR S - I D  an d   ( b )   Har k it       T a k e n   t o g e t h e r ,   t h e s e   r e s u l t s   s h o w   t h a t   r   i s   a   d o m a i n - s e n s i t iv e   i n t e r p o l a t i o n   c o e f f i c i e n t   r a th e r   t h a n   a   u n i v e r s a l   c o n s t a n t .   F L E UR S - I D   r e a c h e s   i ts   o p t i m u m   a t   r   =   0 . 7 5 ,   w h e r e a s   H a r k it   r e a c h es   i ts   o p t i m u m   a t   r   =   0 . 5 0 .   B e c a u s e   t h e   AS R   a n d   L L M  s c o r e   d i s t r i b u t i o n s   a r e   n o t   n e c e s s a r i l y   c al i b r a t e d   t o   a   co m m o n   s c a l e ,   t h e s e  n u m e r i c a l   v a l u e s   s h o u l d   n o t   b e   i n t e r p r e t e d   a s   a b s o l u t e   m ea s u r e s   o f   l i n g u is t ic   i n f l u e n c e   a c r o s s   d o m a i n s   o r   b a c k e n d s .   I n s t e a d ,   t h e   d i f f e r i n g   o p t i m a   i n d i c a t e   t h a t   t h e   e f f e c t i v e   b a l a n c e   d e p e n d s   j o i n t l y   o n   a c o u s t i c   r e l i a b il i t y ,   l e x i c a l  u n c e r t a i n t y ,   p r o m p t i n g   c o n d i t i o n ,   a n d   t h e   a l i g n m e n t   o f   t h e   L L M  p r i o r   w it h   t h e  t a r g et   s p e ec h .   A  s in g le  d ataset - lev el  v alu e  m a y   th er e f o r e  b e   s u b o p tim al   f o r   in d iv i d u al  u tter an ce s   o r   d ec o d in g   s tep s .   T h is   o b s er v atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   20 26 :   4 8 9 3 - 490 6   4900   m o tiv ates  f u tu r e  ad a p tiv e  f u s io n   m ec h an is m s   th at  ad ju s t  r   ac co r d in g   to   lo ca l  r ec o g n itio n   co n f id en ce ,     ASR – L L M  ag r ee m en t,  o r   d ete cted   d o m ain   ch ar ac ter is tics .     3 . 3 .     St a t is t ica l sig nifica nce  a nd   ef f ec t   s ize   T ab le  3   co m p lem en ts   th e   co r p u s - lev el  r esu lts   in   T a b le  2   with   p air e d   u tter an ce - lev el   s tatis t ical     test s .   T h e  W E R   v alu es  ar e   r ep o r ted   at  t h e  c o r p u s   lev el,   Δ W E R   d en o tes  th e  a b s o lu t e  r ed u ctio n   i n   pp ,    an d   th e  p - v alu es  an d   C o h en ' s   d   ef f ec t  s izes  ar e  d er iv ed   f r o m   p air ed   u tter a n ce - lev el  o b s er v atio n s .   B o th   d atasets   s h o w  s tati s tically   s i g n if ican t  im p r o v em en ts   ( p   <   0 . 0 1 ) ,   co n f ir m in g   th at  th e  g ain s   d eliv er ed   b y     GFD  ar e  n o t  attr ib u ta b le  to   s tatis tical  v ar ian ce   o r   r a n d o m   f lu ctu atio n s   in   d ec o d i n g .   T h e   ef f ec t  s ize  v alu es  ( C o h en ' s   d   ≈   0 . 3 0 – 0 . 3 6 )   f all  with in   th e  s m all  ef f ec t  s izes  r an g e,   as  ex p ec ted ,   g iv en   th at  W h is p er - lar g e - v 3   is   alr ea d y   a  r o b u s t  m u ltil in g u al  b aselin e  f o r   I n d o n esian   ASR .   I n   s u ch   s tr o n g - b aselin e  r eg i m es,  ev en   m o d er ate  ef f ec t  s izes  ca n   b e   co n s id er ed   m ater ially   m ea n in g f u l   d u e   to   d im in is h in g   r et u r n s   b eh av io r   t y p ical  in   l o w - W E R   r eg io n s .   M o r e   im p o r ta n tly ,   th e  s tatis tical  r esu lts   d em o n s tr ate  th at  GFD  b en e f its   g e n er al - d o m ain   a n d     d o m ain - s p ec if ic  ASR   co n s is ten tly ,   with o u t  r eq u ir i n g   m o d el  r etr ain in g .   I n   p r ac tice,   t h is   in d icate s   th at  d ec o d in g - lev el  g en er ativ e   f u s i o n   o p er ates  as  a  r o b u s t  im p r o v em en t  lay e r   th at   ca n   b e  e x p ec ted   to   g en er alize   ac r o s s   task   co n d itio n s   —   ev en   wh en   th e  p er f o r m an ce   g ap   b etwe en   d o m ain s   d if f e r s   s u b s tan tially   in   ab s o lu te   W E R   m ag n itu d e.       T ab le  3 .   Statis tical  co m p ar is o n   o f   W h is p er - lar g e - v 3   an d   th e   b est GFD  co n f ig u r atio n s   D a t a s e t   W h i s p e r   W ER   ( %)   B e st   G F D   W E R   ( %)   ΔW ER   ( p p )   p - v a l u e   C o h e n 's  d   F LEU R S - ID   5 . 9 1   4 . 1 7   1 . 7 4   1 . 6 3   ×   1 0 ⁻ ¹⁹   0 . 3 6   H a r k i t   ( me d i c a l )   1 5 . 8 9   1 2 . 3 0   3 . 5 9   3 . 5 0   ×   1 0 ⁻ ¹³   0 . 3 1       3 . 4 .     L L M - prio r  a nd   pro m pt - co nd it io nin g   a bla t io n   Fig u r e  3   co m p ar es  u tter an c e - lev el  W E R   d is tr ib u tio n s   ac r o s s   L L M  b ac k en d s   an d   p r o m p tin g   co n d itio n s   u s in g   t h e  d ev el o p m en t - s elec ted   s tatic  r   f o r   e ac h   b ac k en d – p r o m p t  co m b i n atio n .   E ac h   v io lin   r ep r esen ts   th e  d is tr ib u tio n   ac r o s s   test   u tter an ce s ,   with   th e  b lack   m ar k e r   an d   a d jace n t  v alu e  in d icatin g   t h e  m ed ian   W E R .   Un lik e  th e  c o r p u s - lev el  W E R   in   T ab le  2 ,   Fig u r e  3   s u m m ar izes  ty p ical  u tter an ce - lev el  b eh av io r ;  t h er ef o r e,   th e  two   m ea s u r es  ar e  co m p lem e n tar y   r ath er   th an   n u m e r ically   eq u iv alen t.  B ec au s e  ea ch   co n f ig u r atio n   u s e s   its   o wn   s elec ted   r ,   Fig u r e  3   c o m p ar es   th e  b est - p er f o r m in g   c o n f ig u r atio n s   r ath er   th an   is o latin g   th e  ef f ec t o f   p r o m p ti n g ; d ir ec t sam e - r   p r o m p t c o m p ar is o n s   ar e  p r o v id e d   in   Fig u r e  2 .   Fig u r e  3 ( a)   s h o ws  th at  SE A - L I ON  ac h iev es  t h e  lo wes t  m ed ian   u tter an ce - lev el  W E R   o n   t h e  FLE UR S - I D.   F ig u r e  3 ( b )   s h o ws  th at  p r o m p ted   Mistra l  ac h iev es  th e  lo west  m ed ian   o n   Har k it,  wh er ea s   p r o m p te d   SAI ,   d esp ite  h a v i n g   a   h ig h er   m ed ian   an d   b r o ad er   d is tr ib u tio n ,   ac h iev es  th e  lo west  Har k it     co r p u s - lev el  W E R   r ep o r ted   in   T ab le  2 .   T h is   d if f er e n ce   r ef le cts th e  ag g r eg atio n   m eth o d s : Fig u r e  3   em p h asizes   ty p ical  u tter an ce - lev el  b e h av i o r   th r o u g h   th e  m e d ian ,   wh e r e as  T ab le  2   ag g r eg ates  er r o r s   ac r o s s   all  r ef er en ce   wo r d s .   Ov er all,   th e  r esu lts   in d icate   th at  b ac k en d   p er f o r m an c e  d ep en d s   o n   th e  s p ee ch   co n d itio n   an d   e v alu atio n   m etr ic,   wh ile  t h e  ex te r n al  L L M  p r io r   p r o v i d es  a  m o r e   c o n s is ten t  im p r o v em en t   th an   ex p licit  in s tr u ctio n   p r o m p tin g ,   wh o s e  ef f ec t r em ai n s   co n f ig u r atio n - d ep en d en t.           ( a)   ( b )     Fig u r e  3 .   Utter an ce - lev el  W E R   d is tr ib u tio n s   f o r   th e  d ev elo p m en t - s elec ted   GFD  co n f ig u r atio n s   o n     ( a)   FLE UR S - I D  an d   ( b )   Har k i t     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E mp ir ica l e va lu a tio n   o f g en er a tive  fu s io n   d ec o d in g   fo r   I n d o n esia n   g en era l a n d   med ic a l  …  ( A s r il J a r in )   4901   3 . 5 .     Dis cus s io n   Acr o s s   th e  g en er al - d o m ai n   ( FLE UR S - I D)   an d   m ed ical - d o m ain   ( Har k it)  ev al u atio n s ,   th e  r esu lt s   co llectiv ely   co n f ir m   th at  GFD   im p r o v es  I n d o n esian   ASR   p e r f o r m a n ce   r elativ e   to   a  s tr o n g   W h is p er   b aselin e  ( R Q1 ) .   T h e  im p r o v e m en ts   ar e  o b tain ed   with o u t  r etr ain in g ,   p u r ely   th r o u g h   p r o b ab ilis tic  s t ee r in g   at  d ec o d in g   tim e.   T h is   f in d in g   estab lis h es  GFD  as  a  p r ac tical,   s ca lab le  m ec h an is m   f o r   ex p lo itin g   lin g u is tic  p r io r s   in   u n d er r ep r esen ted   la n g u a g es su ch   as I n d o n esian .   Seco n d ,   f u s io n   weig h t  a n aly s is   d em o n s tr ates  th at    is   n o t  a  u n iv e r s al  co n s tan t  ( R Q2 ) .   I n s tead ,   it   en co d es  a  d o m ain   tr ad e - o f f :  h ig h er     v alu es  ( ≈   0 . 7 0   –   0 . 8 0 )   a r e  o p tim al  f o r   g en e r al - d o m ain   I n d o n esian   s p ee ch ,   wh er e  ac o u s tic  ev id e n ce   is   clea n ,   an d   W h is p er   alr ea d y   m o d els  co r e  s tr u ctu r e  w ell;  wh er ea s   m ed ical  s p ee ch   b en ef its   m o s t  at  m o d e r ate  f u s io n   ( ≈   0 . 5 0 ) ,   wh er e   ter m in o lo g y   d en s ity   r e q u ir es  lin g u is tic  p r io r   s u p p o r t  b u t  ex ce s s iv e  L L M  d o m in a n ce   lead s   to   o v er - co r r ec tio n .   T h e  o b s er v e d   d o m ain - d e p en d en t  o p tim u m   d em o n s tr ates  em p ir ically   th at   a  f ix ed   co ef f icien t  is   u n lik e ly   to   b e  u n iv e r s ally   o p tim al  ac r o s s   I n d o n esian     ASR   co n d itio n s   [ 3 3 ] .   An   ad d itio n al  lim itatio n   co n c er n s   th e  u s e  o f   a  s tatic  f u s io n   weig h t.  I n   th e  p r esen t  s tu d y ,   a  s in g le  v alu e  o f   r ,   s elec ted   u s in g   d ev elo p m en t  d ata,   is   ap p lied   u n if o r m ly   th r o u g h o u t  d ec o d in g ,   ev e n   th o u g h     ac o u s tic  r eliab ilit y   an d   lex ica l  am b ig u ity   m ay   v a r y   s u b s tan tially   ac r o s s   u tter an ce s   an d   d ec o d in g   p o s itio n s .   T h e  o b s er v ed   d o m ai n - d e p en d en t  o p tim u m   th er ef o r e  s u g g ests   th at  a  f ix e d   co e f f icien t  is   u n lik ely   to   b e  u n iv er s ally   o p tim al.   Fu tu r e   w o r k   m a y   in s tead   i n v esti g ate  a d ap tiv e  f u s io n   m ec h an is m s   o p er atin g   at   m u ltip le  lev els.  At  th e  u tter an ce   lev el,   r   co u ld   b e   co n d itio n ed   o n   g lo b al  ASR   co n f id en ce ,   esti m ated   ac o u s tic  q u ality ,   o r   d etec ted   d o m ai n   cu es.  At  th e  to k en   o r   d ec o d in g - s tep   lev el,   it  co u ld   b e  a d ju s ted   ac co r d in g   to   p o s ter io r   en tr o p y ,   th e   s co r e  m ar g in   b et wee n   co m p etin g   b ea m   h y p o th eses ,   ASR – L L M  d is ag r ee m en t,  o r   u n ce r tain ty   in   n ex t - to k e n   p r ed ictio n .   Su ch   a  s tr ateg y   co u ld   in cr ea s e  L L M  in f lu en ce   wh en   ac o u s tic  ev id en ce   is   u n ce r tain     b u t  lin g u is tic  ev id en ce   is   r eli ab le,   wh ile  p r eser v in g   s tr o n g er   ASR   g u id an ce   wh en   th e  l an g u ag e  p r io r   r is k s   o v er - c o r r ec tio n .   I m p lem en tin g   ad a p tiv e  f u s io n   wo u ld   r eq u ir e   ca r ef u l  ca lib r a tio n   to   e n s u r e  s tab le  d ec o d in g   b eh av i o r .   I n   p ar ticu lar ,   th e  f u s io n   co ef f icien t  s h o u ld   b e  s m o o th ed   a n d   b o u n d ed   to   av o id   ab r u p t  f lu ctu atio n s   d u r in g   b ea m   s ea r ch .   All  ad ap tatio n   r u les  s h o u ld   b e  tu n ed   e x clu s iv ely   o n   d e v elo p m e n t  d ata  b e f o r e  e v alu atio n   o n   h eld - o u t   test   d ata  to   p r e v en t  s elec tio n   b ias.  T h e   p r esen t  s tu d y   d o es  n o t   im p lem en t   s u ch   an   ad a p tiv e   m ec h an is m ;  in s tead ,   th e  em p i r ical  o b s er v atio n   th at  d if f er en t  d o m ain s   f av o r   d if f e r en t  v al u es  o f   r   p r o v id es   a  m o tiv atio n   f o r   f u tu r e  c o n f id e n ce -   an d   d o m ain - co n d itio n ed   f u s io n   s tr ateg ies.    T h e  p r esen t  r esu lts   s h o u ld   n o t  b e  in ter p r eted   as  d em o n s tr at in g   th at  GFD  o u tp er f o r m s   co n v en tio n al   s h allo w  f u s io n ,   co ld   f u s io n ,   o r   C L AS,  b ec au s e  th ese  s y s tem s   wer e  n o t   im p lem en t ed   in   th e  c u r r en t   ex p er im en ts .   T h e  em p i r ical  co m p ar is o n   in   th is   s tu d y   is   s p ec if ically   b etwe en   GFD  an d   th e   u n c h an g e d   W h is p er - lar g e - v 3   d ec o d er .   T h e  alter n ativ e  m eth o d s   al s o   r ep r esen t  d if f er en t  in teg r atio n   ass u m p tio n s .   C o n v en tio n al  s h allo w  f u s io n   co m b in es  in d e p en d e n tly   tr ain ed   ASR   an d   L M  s co r es  d u r in g   b ea m   s ea r ch   [ 2 2 ] .  C o ld   f u s io n   in c o r p o r ates  a  f ix ed   p r etr ai n ed   L M  d u r i n g   r ec o g n izer   tr ain i n g   [ 2 3 ] ,   wh er ea s   C L AS  jo in tly   lear n s   co n tex tu al - p h r ase  r ep r esen tati o n s   with   th e  AS R   s y s tem   [ 2 4 ] .   B y   co n tr ast,  GFD  u s es  b y te - lev el  lik elih o o d   m ap p in g   t o   co m b in e  a  f r o ze n   r ec o g n izer   an d   a  f r o ze n   a u to r eg r ess iv e  L L M  d u r in g   d ec o d in g   [ 2 7 ] .   T h is   tr ain in g - f r ee   p r o p er ty   m ak es  GFD  p ar ticu lar ly   r elev an t  wh en   r etr ain in g   d ata  o r   m o d el  ac ce s s   i s   lim ited .   St ill,   it d o es n o t b y   its elf   estab lis h   s u p er io r ity   o v er   tr ain in g - b ased   o r   co n te x t - s p ec if ic  alter n ativ e s .     A  d ir ec t  co m p ar ativ e  s tu d y   s h o u ld   im p le m en t  th ese  m eth o d s   u n d er   m atch ed   d ata  p ar ti tio n s ,   tex t   n o r m aliza tio n ,   b ea m   wid th ,   s ea r ch   b u d g et,   lan g u ag e - m o d el  ca p ac ity ,   co n tex t u a l  r eso u r ce s ,   a n d   h y p er p ar am eter - s elec tio n   p r o ce d u r es.  I n   a d d itio n   to   W E R ,   s u ch   ev alu atio n   s h o u l d   r ep o r t  tr ai n in g   r eq u ir em e n ts ,   in f er en ce   laten c y ,   m em o r y   co n s u m p tio n ,   an d   co m p u tatio n al  c o s t.  T h is   co n t r o lled   co m p ar is o n   is   lef t f o r   f u tu r e  wo r k .   T h e  ab latio n   an aly s is   d is tin g u is h es  th e  co n tr ib u tio n   o f   th e  e x ter n al  L L M   p r io r   f r o m   th at  o f   ex p licit  in s tr u ctio n   p r o m p tin g   ( R Q3 ) .   T h e  W h is p er - o n ly   b aselin e  ( r   =   0 )   e x clu d es  e x ter n a l  L L M  g u id a n ce ;     non - p r o m p ted   GFD  in tr o d u c es  th e  p r etr ain ed   L L M  p r io r   with o u t  task   in s tr u ctio n s ,   an d   p r o m p ted   GFD  ad d itio n ally   in co r p o r ates  a  f ix ed   d ataset - s p ec if ic  in s tr u ctio n .   B ec au s e  s ev er al  n o n - p r o m p ted   co n f ig u r atio n s   alr ea d y   im p r o v e  o v er   th e  W h is p er   b aselin e,   th e  o b s er v ed   g ain s   ca n n o t   b e   attr ib u ted   s o lely   to   p r o m p tin g .   I n s tead ,   th e   ex ter n al   L L M  p r io r   p r o v id es  th e   m o r e  co n s is ten tly   o b s er v ed   c o n tr ib u tio n .   I n   co n t r ast,  p r o m p t  co n d itio n in g   p r o d u ce s   s m aller ,   co n f ig u r atio n - d ep en d en t  ch an g es  wh o s e  ef f ec tiv en ess   v ar ies  with   th e  L L M   b ac k en d ,   s p ee ch   d o m ain ,   a n d   s elec ted   s tatic  f u s io n   weig h t.   B ac k en d   co m p ar is o n s   lik ewise  d o   n o t  s u p p o r t  a  u n iv e r s al  p er f o r m an ce   r a n k in g .   SEA - L I ON  ac h iev es  th e  lo west  m ed ian   u tter an ce - lev el  W E R   o n   FLE UR S - I D,   p r o m p ted   Mistra l  attain s   th e  lo west  m ed ian   o n   Har k it,  a n d   p r o m p ted   SAI   p r o d u ce s   th e  l o west  Har k it   co r p u s - lev el  W E R .   T h ese  co m p lem en tar y   o b s er v atio n s   in d icate   th at  b ac k en d   ef f ec tiv en ess   d ep en d s   o n   b o th   t h e  s p ee ch   co n d itio n   a n d   th e  ag g r eg atio n   m etr ic.   B ec au s e  th e  p r esen t   ex p er im e n ts   d o   n o t  is o late  th e  in d iv i d u al  ef f ec ts   o f   p r e - tr ain in g   co r p u s   co m p o s itio n ,   to k e n izer   d esig n ,   in s tr u ctio n   tu n in g ,   o r   m o d el  ar ch itectu r e,   attr ib u tin g   th e  o b s er v ed   d if f er en ce s   to   an y   s in g le  b ac k en d   ch ar ac te r is tic  r em ain s   o u ts id e  th e  s co p e  o f   th is   s tu d y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   20 26 :   4 8 9 3 - 490 6   4902   B ey o n d   th ese  m ec h an is tic  in ter p r etatio n s ,   th e  p r esen t  f in d i n g s   s h o u ld   also   b e  in ter p r eted   with in   th e  b o u n d ar ies  o f   th e  ev al u ated   d ata  an d   d ec o d i n g   c o n d itio n s .   FLE UR S - I D  r ep r esen ts   co n t r o lled   r ea d   s p ee ch ,   wh er ea s   Har k it r ep r esen ts   a  co n tr o lled ,   ter m in o lo g y - d e n s e  m ed ical - d ictatio n   co n d itio n .   T h e  Har k it   ev alu atio n   d o es  n o t  co v er   th e  f u ll  b r ea d th   o f   I n d o n esian   clin ical   s p ee ch ,   in clu d in g   s p o n tan e o u s   d o cto r – p atien t  co n v er s atio n s ,   m u ltip ar ty   c lin ical  in ter ac tio n s ,   d iv er s e   m ed ical  s p ec ialties ,   v ar y i n g   d o cu m en tatio n   wo r k f lo ws,  en v ir o n m en tal  n o is e,   f ar - f ield   r ec o r d in g ,   ac ce n t  an d   s p ea k in g - s ty le  d iv er s i ty ,   o r   co n tin u o u s ly   ch an g in g   clin ical  co n tex ts   [ 2 4 ] .   Mo r e o v er ,   th e  r elativ ely   lim ited   d u r atio n   o f   th e  two   ev alu atio n   s ets   co n s tr ain s   b r o ad   d ep lo y m e n t - lev el  g e n er aliza tio n   [ 3 4 ] .   Acc o r d i n g ly ,   th e   r esu lts   p r o v id e   co n tr o lled     ev id en ce   th at  GFD  ca n   im p r o v e  I n d o n esian   ASR   u n d er   th e  ev alu ated   c o n d itio n s ,   in clu d in g   th e  Ha r k it   m ed ical - d ictatio n   d ataset.   Sti ll ,   th ey   d o   n o t  estab lis h   r o b u s tn ess   ac r o s s   th e  b r o ad e r   I n d o n es ian   clin ical - s p ee ch   d o m ain   o r   u n co n s tr ain ed   r ea l - wo r ld   en v ir o n m e n ts .     Fro m   a   d ep lo y m en t   p er s p ec ti v e,   th e   ev alu ate d   c o n f ig u r atio n   is   th er e f o r e   m o s t  d ir ec tly   a p p licab le  to   o f f lin e,   s er v e r - s id e  tr an s cr ip ti o n   wo r k f lo ws,  s u ch   as b atch   tr an s cr ip tio n   o f   p r er ec o r d e d   I n d o n esian   s p ee ch   an d   p o s t - en co u n ter   tr an s cr ip tio n   o f   co n tr o lled   m ed ical  d ictatio n .   I n   th e   latter   s ce n ar io ,   th e  g en er ated   tr a n s cr ip t   s h o u ld   b e  r e v iewe d   a n d   co r r e cted   b y   a   q u alif ied   u s er   b ef o r e  it  is   in co r p o r ate d   in t o   a   clin ical  r ec o r d .   L a r g er   an d   m o r e  d iv er s e  I n d o n esian   c o r p o r a  c o v er i n g   m u ltip le  m ed i ca l  s p ec ialties ,   s p o n t an eo u s   an d   d ictated   s p ee ch ,   d iv er s e  s p ea k er s ,   in ter ac tio n   ty p es,  d o c u m en tatio n   wo r k f lo ws,  an d   ac o u s tic  co n d itio n s   ar e  r eq u ir e d   f o r   b r o ad e r   v alid atio n .   A  f u r th er   lim itatio n   co n ce r n s   th e  d ec o d in g   p r o to co l.  Alth o u g h   GFD  in teg r ates  L L M  p r o b ab ilit ies     at  ea ch   au to r eg r ess iv e  d ec o d in g   s tep ,   th e   p r esen t  im p l em en tatio n   was  ev alu ated   o n ly   u n d er   o f f lin e     f u ll - u tter an ce   d ec o d in g   an d   d o es  n o t  p r o ce s s   in co m in g   s p ee ch   in   s tr ea m in g   ch u n k s   o r   p r o d u ce   co n tin u o u s ly   u p d ated   p ar tial  tr an s cr ip ts .   C o n s eq u en tly ,   th e  o b s er v ed   W E R   im p r o v em en ts   s h o u ld   n o t   b e  in ter p r eted   as  ev id en ce   o f   r ea l - tim e  ap p licab ilit y ,   s tr ea m in g   r ea d in ess ,   o n - d ev ice  d ep l o y m en t,  o r   in ter ac tiv e  co n v er s atio n al   ASR .   Dep lo y m en t  in   a  n ew   ap p licatio n   d o m ain   wo u ld   also   r eq u ir e  a  r ep r esen tativ e  d ev elo p m e n t  s et  to     s elec t  th e  s tatic  f u s io n   weig h t   an d   p r o m p tin g   c o n d itio n ,   a f ter   wh ich   th e   s elec ted   co n f ig u r atio n   wo u l d   r em ain   f ix ed   d u r in g   o p er atio n .   Fu tu r e  d ep lo y m en t - o r ien ted   ev alu a tio n s   s h o u ld   th er ef o r e  e x am i n e  r ea l - tim e   f ac to r ,   f ir s t - to k en   a n d   en d - to - en d   l aten cy ,   m e m o r y   a n d   c o m p u tatio n al  o v er h ea d ,   c o m p u tatio n al  th r o u g h p u t ,   en d p o i n tin g   b eh a v io r ,   an d   p ar tial - h y p o t h esis   s tab ili ty .   Su ch   s tu d ies  s h o u ld   also   d eter m in e  wh eth er   th e  ad d itio n al  L L M  s co r in g   co s t   ca n   b e  co n tr o lled   with o u t  s ac r if icin g   th e  ac cu r ac y   g ai n s   o b s er v ed   u n d e r     o f f lin e  d ec o d in g .   T h e  in teg r atio n   o f   ASR   an d   ex ter n al   L L Ms  also   r aises   eth ical  an d   p r i v ac y   co n s id er atio n s   th at    ar e  n o t  ca p tu r ed   b y   ag g r e g at e  W E R .   T h e  p r esen t  s tu d y   u s es  ex is tin g   d ataset s   o b tain ed   f r o m   th e  o f f icial   r ep o s ito r ies  id en tifie d   in   t h e  d ata  av ailab ilit y   s tatem en t  an d   d o es  n o t  in v o l v e  n ew  p a r ticip an t  r ec r u itm e n t  o r   n ew  s p ee ch - d ata  co llectio n .   Nev er th eless ,   p r o s p ec tiv e  u s e  with   r ea l  clin ical  s p ee ch   m ay   in v o lv e     s en s itiv e  p er s o n al  an d   m ed i ca l  in f o r m atio n .   Op er atio n al   im p lem en tatio n   wo u ld   th er ef o r e  r e q u ir e  d at a   m in im izatio n ,   co n tr o lled   ac ce s s ,   s ec u r e  s to r ag e  an d   tr an s m is s io n ,   ap p r o p r iate  r eten tio n   lim its ,   au d itab ilit y ,   an d   co m p lian ce   with   ap p lica b le  in s titu tio n al,   eth ical,   an d   leg al  r eq u ir em en ts .   GFD  s h o u ld   b e  r eg a r d ed     as  a  tr an s cr ip tio n - s u p p o r t  m eth o d   r ath e r   th an   a  d iag n o s tic,   tr ea tm en t - r ec o m m en d atio n ,   o r   a u to n o m o u s     clin ical - d o cu m e n tatio n   s y s tem .   Fair n ess   ac r o s s   s p ea k er   g r o u p s   was  n o t  ev alu ated   in   th e  p r e s en t  ex p er im en ts .   W h is p er - lar g e - v 3   a n d   th e  ex ter n al  L L M  b ac k en d s   m ay   in h e r it  r ep r esen tatio n a l  b iases   f r o m   th eir   p r e - tr ain in g   d ata,   in cl u d in g   u n eq u al  c o v er a g e  o f   I n d o n esian   ac ce n ts ,   r eg io n al  la n g u ag e  v ar ieties,  s p ea k in g   s ty les,  d em o g r a p h ic     g r o u p s ,   s p ee ch   ch ar ac ter is tics ,   m ed ical  s p ec ialties ,   an d   l ex ical  co n v en tio n s .   Dec o d in g - tim e  f u s io n   m ay   co r r ec t  s o m e  ac o u s tically   u n ce r tain   wo r d s   wh ile  also   f av o r i n g   m o r e  f r eq u en t  o r   s tan d ar d i ze d   lan g u a g e  f o r m s .     T h is   b eh av io r   co u l d   d is ad v a n tag e  less   r ep r esen ted   p r o n u n ciatio n s ,   p er s o n al  n am es,  r e g io n al  ex p r ess io n s ,   s p ee ch   im p air m en ts ,   o r   s p ec i alize d   ter m in o lo g y .   T h er e f o r e ,   lo wer   ag g r e g ate  co r p u s - lev e l  o r   u tter an ce - lev el   W E R   s h o u ld   n o t  b e  i n ter p r eted   as  ev id en ce   t h at  er r o r s   ar e  d is tr ib u ted   eq u ally   ac r o s s   u s er s   o r   th at     th e  s y s tem   is   f r ee   f r o m   lin g u is tic,   d em o g r ap h ic,   o r   d o m ain - r elate d   b ias.  Fu tu r e  wo r k   s h o u ld   in clu d e   s u b g r o u p - lev el  p er f o r m an ce   a n aly s is ,   er r o r - r ate  d is p ar ity   as s ess m en t,  ex am in atio n   o f   clin i ca lly   co n s eq u e n tial   s u b s titu tio n s   an d   o m is s io n s ,   an d   ev alu atio n   o f   th e  ef f ec ts   o f   f u s io n   o n   u n d er r ep r ese n ted   s p ea k er s   an d   lan g u ag e  v ar ieties.   T ak en   to g eth e r ,   th ese  f in d i n g s   d em o n s tr ate  th at  GFD  b eh av es  as  a  s tr u ctu r ed   in ter f a ce   b etwe en   ac o u s tic  ev id en ce   an d   lan g u a g e  p r io r   k n o wled g e,   wh er e  t h e  m ag n itu d e  o f   b e n ef it  is   d eter m in ed   jo in tly   b y     i)   th e  s tr en g t h   o f   lin g u is tic  alig n m en t,  a n d   ii)  th e  m atch   b etwe en   r   an d   d o m ain   s ig n al  ch ar ac ter is tics .   T h e  g en er al  p r i n cip le  em er g in g   is   th at  ASR   –   L L M  f u s io n   f o r   I n d o n esian   is   n o t  s im p ly   a  f u n ctio n   o f   “ m o r e  I n d o n esian   tu n in g ” ,   b u t  d e p en d s   o n   h o w  lin g u is tic  d en s ity ,   d o m ain   s p ec ializatio n ,   an d   d ec o d in g - tim e   weig h tin g   in te r ac t.  T h is   in s ig h t  p r o v id es   a  p r in cip led   f o u n d atio n   f o r   f u tu r e   d o m ain - s en s itiv e  d ec o d in g   s tr ateg ies  in   I n d o n esian   AS R .   At  th e  s am e  tim e,   d ep lo y m en t  in   o p er atio n al  en v ir o n m en ts   will  r eq u ir e   Evaluation Warning : The document was created with Spire.PDF for Python.