I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   16 ,   No .   5 ,  Octo b er   20 26 ,   p p .   2 7 9 5 ~ 2 8 0 5   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 16 i 5 . pp 2 7 9 5 - 2 8 0 5           2795       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Ro le mo del ide nti ty co ntract  enf o rc ement as a  s tructu ra l  determinan t  o f  i d entit y  d rift s uppr ess io n in auton o m o us la rg e  la ng ua g e mo del ag ents       Sa ha na   B . 1 ,   Cha rit hra   H .   S . 1 ,   Arshi t ha   S . 1 ,   Cha nd ra k a l a 1 ,   Nee t hu   B .   K rish n a 1 ,   So um y a   P ra s a d a 1 ,  B ha nu priy a   P . 2 ,   Ary a m a n T iwa r y 3   1 D e p a r t me n t   of   C o mp u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   R N S   I n st i t u t e   of   Te c h n o l o g y ,   B e n g a l u r u ,   I n d i a   2 I B M   W a t s o n x   O r c h e st r a t e ,   I B M ,   B e n g a l u r u ,   I n d i a   3 S o f t w a r e   D e v e l o p e r   I n t e r n ,   I B M ,   B e n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   1 8 ,   2 0 2 6   R ev is ed   Au g   4 ,   2 0 2 6   Acc ep ted   Au g   1 9 ,   2 0 2 6       Au to n o m o u s  a g e n ts  p o we re d   b y   lar g e   lan g u a g e   m o d e ls   (LL M s)  a re   d e p lo y e d   wid e l y   a c ro ss   fin a n c e ,   h e a lt h c a re ,   leg a l  re v iew ,   a n d   c u sto m e r   su p p o rt.   Eac h   d e p lo y m e n t  a ss u m e s  th a t  a n   a g e n t  will   re m a in   with in   i ts   a ss ig n e d   r o le  a n   a ss u m p ti o n   th a t   a d v e rsa rial   u se rs   ro u ti n e ly   c h a ll e n g e   th ro u g h   id e n ti ty   d rift   a tt a c k s.  T h i s   w o r k   a s k s   w h e t h e r   p l a c i n g   e n f o r c e m e n t  l o g i c   o u t s i d e   t h e   m o d e l ,   r a t h e r   t h a n   e m b e d d in g   r u les   in   th e   s y ste m   p ro m p t,   is   th e   p rima ry   fa c to r   g o v e rn in g   d rif t   s u p p re ss io n .   We  d e sig n e d   RM IC - G u a rd :  a   fra m e wo rk   wh e re   a   c ry p t o g ra p h ica ll y   se a led   r o le - m o d e l   i d e n ti ty   c o n trac t   (RM IC)   is   c h e c k e d   by   a   d u a l - p a ss   m id d le  wa re   e n g in e   o n   e v e ry   p lan n e d   to o l   c a ll   b e fo re   e x e c u ti o n   p r o c e e d s.   T h e   e n g i n e   ru n s  a   d e term in is ti c   h a rd - ru le  p a ss   fo l lo we d   b y   a   se m a n ti c   in ten t  d rift   sc o re   (IDS)   c o m p u ted   fr o m   se v e n   in d e p e n d e n t   e m b e d d i n g - b a se d   sig n a ls.  E x p e rime n ts   a c ro ss   fo u r   LL M s  (c lau d e - so n n e t - 4 - 6 ,   c lau d e - h a i k u - 4 - 5 ,   ll a m a - 3 . 3 - 7 0 b - v e rsa ti le,   ll a m a - 3 . 1 - 8b - in sta n t),   f o u r   a g e n t   ro les ,   a n d   5 , 2 1 2   API   c a ll s   sh o w   th a t   e x tern a l  e n fo rc e m e n t  re a c h e s  DSR  0 . 9 5 2 – 1 . 0 0 0 ,   wh e re a s  th e   b e st  p ro m p t - o n l y   c o n d it i o n   a c h iev e s  o n ly   DS R  0 . 3 9 1 .   Ab lati o n   c o n firms   th e   d u a l - p a ss   a rc h it e c tu re   is   n e c e ss a ry :  n e it h e r   p a ss   a lo n e   a c h iev e s   a c c e p tab le   jo i n t   d rift - su p p re ss io n   a n d   fa lse - p o siti v e   p e rfo rm a n c e .   All  c o d e ,   c o n tra c ts,  a n d   p ro m p t   d a ta are   re - lea se d   o p e n ly .   K ey w o r d s :   Ad v er s ar ial  r o b u s tn ess   E x ter n al   e n f o r ce m en t  m id d lewa r e   I d en tity   d r if t su p p r ess io n   LLM   a g e n t s   R o le - m o d el   id e n tity   co n tr ac t  I n ten t d r if t sco r in g     T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   C h ar ith r a   H .   S .   Dep ar tm en t   of   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   R NS I n s titu te  o f   T ec h n o lo g y   B en g alu r u   I n d ia   E m ail:  ch ar ith r ah s 2 3 cs@ r n s it.a c. in       1.   I NT RO D UCT I O N     T o o l  au g m e n ted   lar g e  lan g u a g e  m o d el   (LLM )   ag en ts   n o w  h an d le  co n s eq u e n tial  task s   wit h o u t  d ir ec t   h u m an   s u p er v is io n .   A  f in a n c ial   tr an s f er   ag e n t   m ay   s ettle   th o u s an d s   of   tr a n s ac tio n s   o v er n ig h t;   a   h ea lth ca r e   liter atu r e   ag en t   s y n th esizes  r esear ch   p ap er s   th at  i n f lu en ce   clin ical  d ec is io n s ;  a  leg al  r ev iew  ag en t  m ar k s   co n tr ac t  clau s es  f o r   c o m p lian ce   ac tio n .   Acr o s s   all   s u ch   d ep l o y m en ts ,   d esig n er s   ass u m e   th at   an   a g en t   will   s tay   with in   th e   b eh a v io r al   b o u n d a r ies  s et  at  th e  co n f ig u r atio n   tim e.   Ad v er s ar ial  u s er s   tak e   ad v an tag e   o f   th is   ass u m p tio n .   I d en tity   d r if t   attac k s   d iv er t   an   ag en t   f r o m   its   au th o r ized   r o le   th r o u g h   s tr ictly   s eq u en ce d   u s er   tu r n s   [ 1 ] .  T h e  attac k er   d o es  n o t  n ee d   to   b r ea k   th e  en c r y p tio n   o r   r e v er s e  en g in ee r   th e  weig h ts ,   b u t  ju s t  n ee d s   to   p r o d u ce   a   co n v in cin g   s eq u en ce   of   m es s ag es.   Kn o wn   attac k   v ec t o r s   in clu d e   r o le   s witch   co m m an d s ,   f ictitio u s   a u t h o r i t y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 9 5 - 2 8 0 5   2796   s tr u ctu r es ,   an d   in cr e m en tal  to p ic  escalatio n   [ 2 ] ,   [ 3 ] .   I f   d r if t   is   n o t   d etec ted ,   a  c u s to m er - s u p p o r t  ag e n t  m ig h t   r ev ea l  in ter n al  d ata,   a  h ea lth c ar e  ag en t  c o u ld   m ak e  clin ical   r ec o m m e n d atio n s   o u ts id e  its   au th o r ize d   s co p e,   an d   a  f in an cial  a g en t  c o u ld   p e r f o r m   tr an s ac tio n s   ex ce e d in g   p er m itted   lim its   [ 4 ] .   T ea m s   o f   L L M  ag e n ts   h av e   d em o n s tr ated   a u to n o m o u s   ze r o - d ay   e x p lo itatio n ,   lead in g   to   s tr u ctu r al  en f o r ce m en t  [ 5 ] .   T h e  s tan d ar d   p r ac tice  is   to   e m b ed   th e  a g en t’ s   allo wed   an d   d is allo wed   b eh av io r s   with in   th e  s y s tem   p r o m p t,   a   p r o m p t   co n t r ac t,   an d   tr u s t   th e   m o d el   to   s elf - p o lice .   T h is   ap p r o ac h   s u f f er s   f r o m   a   s t r u ctu r al   wea k n ess :  th e  co n tex t  win d o w  th at  co n tain s   th e  co n tr ac t  also   co n t ain s   th e  attac k er ’ s   in s tr u ctio n s .   T h e  m o d el  is   ch allen g ed   to   g e n er ate  a  u s ef u l  r esp o n s e  an d   s im u ltan eo u s ly   r ejec t  its   o wn   o u tp u t  u n d e r   a d v er s ar ial  p r ess u r e,   an d   in   th e   b alan ce   t h e   s ca les   tilt   to war d s   c o m p lian ce   f o r   s u f f icien tly   cr a f ted   in p u ts   [ 6 ] ,   [ 7 ] .   R ec en t   wo r k   co n f ir m s   th at  s af ety   alig n m en t  d o es  n o t  elim in ate  t h is   v u ln er ab ilit y ;  ca p ab ilit y   an d   s af et y   tr ain in g   in tr o d u ce   co m p etin g   o b jectiv es th at  ad v er s ar ial  p r o m p ts   ex p lo it  [ 8 ] .   T h is   wo r k   tak es   a  d if f er en t  p a th .   R MI C   Gu ar d   r elo ca tes  en f o r ce m en t  f o r m   th e   m o d el ’ s   co n tex t  to   a  s ep ar ate  r u n tim e   p r o ce s s :   a  m id d le  war e   en g in e   th at  in te r ce p ts   ev er y   p lan n e d   to o l  ca ll,   ch ec k s   it  a g ain s t  a  tam p er   ev id e n t  cr y p to g r ap h ic  co n tr ac t,  an d   is s u es  a  b in d in g   d ec is io n   b ef o r e  an y   ac tio n   r ea ch es  th e  ex ec u tio n   lay er .   T h e  m o d el  n ev e r   s ee s   e n f o r ce m e n t lo g ic.   I ts   co n tex t  ca r r ies o n ly   a  m in im al  r o le  lab el.   I f   it   i s   n o t in   th e  m o d el  in p u t,  p r o m p t m a n ip u la tio n   ca n no t tu r n   o f f   a   s af eg u ar d .   T h is   wo r k   em p ir ically   ask s   wh eth er   th is   s tr u ctu r al  d if f er en ce   –   en f o r ce m en t  p o s itio n ,   r ath er   th an   m o d el   ca p ab ilit y   or   p r o m p t   q u ality – d eter m in es   th e   d eg r ee   to   wh ich   id en tity   d r if t   is   s u p p r ess ed .   W e   co n d u cted   a  f o u r - c o n d itio n   e x p er im e n t  o v er   f o u r   L L Ms,  f o u r   ag en t  r o les,  an d   a  co r p u s   o f   ad v er s ar ial  an d   leg itima te  p r o m p ts ,   f o r   a  to tal  o f   5 , 2 1 2   API   ca lls .   T h e  r em ain d er   o f   th is   p ap er   d is cu s s es  o u r   s y s tem   d esig n ,   ex p er im en tal  s etu p   a n d   r esu lts ,   an d   s itu ates th em   with in   th e  b r o ad e r   liter atu r e  o f   ag en tic  s a f ety .       2.   RE L AT E D  WO RK   2 . 1 .       P ro m pt   inje ct io n   a nd   a dv er s a ria l   ma n i p u l a t i o n   Per ez   an d   R ib eir o   [ 2 ]   s h o wed   th at  a  s in g le  ad v er s ar ial  u s er   tu r n   ca n   s ilen tly   o v er w r ite  p r i o r   s y s tem   in s tr u ctio n .   L iu   et  a l.   [ 3 ]   ex t en d ed   th is   to   to o l  au g m en ted   s ettin g s   an d   f o u n d   a n   am p lifi ca tio n   o f   r is k   wh en   th e  m o d el  tak es  co n tr o l  o f   r ea l - wo r ld   ac tio n s .   I n d ir ec t  in jecti o n   v ia  to o l  o u tp u t  p r o d u ce s   a  v ec to r   th at  p r o m p t  co n tr ac ts   ca n n o t  h an d le,   b ec au s e  th e  m alicio u s   co n ten t  n ev er   tr av e r s es  th e  u s er   tu r n   at  all,   as  s h o wn   b y   Gr esh ak e  et  a l.   [ 9 ] .   R MI C   Gu ar d   is   in s p ir ed   b y   th is   lin e  o f   wo r k :  r em o v i n g   th e  attac k   s u r f ac e  th at  th ese   p ap er s   ch ar ac ter ize,   by   p u ttin g   en f o r ce m en t   o u ts id e   th e   m o d el’ s   r ec ep tiv e   f ield .   Me th o d s   lik e   Au to DAN   can   g en er ate  s tealth y   jailb r ea k   p r o m p ts   th at  ev ad e  alig n m e n t  tr ain in g   [ 1 0 ] .   I n jecA g e n t  b en ch m a r k s   to o l - in teg r ated   ag en ts   f o r   i n d ir ec t   i n jectio n s   in   p ar ticu lar   [ 1 1 ] .   T o o lEm u   s im u lates   to o l   ex ec u t io n   to   ex p o s e   r is k s   b ef o r e   d e p lo y m e n t  [ 1 2 ] .   Ma n y - s h o t  jailb r ea k in g   s h o ws  th a t  alig n m en t   f ailu r es  s ca le   with   th e   len g th   o f   th e   co n tex t  [ 1 3 ] .”     2 . 2 .     Alig nm ent   ba s ed   s a f e t y   B eh av io r al   co n s tr ain ts   ar e   en c o d ed   in   m o d el   weig h ts   at   tr ai n in g   tim e   th r o u g h   c o n s titu tio n al   AI   [ 1 4 ]   an d   in s tr u ctio n   f o llo win g   v ia   r ein f o r ce m e n t  lear n in g   f r o m   h u m an   f ee d b ac k   ( R L HF)   [ 1 5 ] .   T h ese   tech n i q u es   r aise   th e   b ar   ag ain s t   ca s u al   m is u s e   but   ca n n o t   o f f er   r o le  s p ec if ic  p er   d ep lo y m e n ts   g u a r an tees.   A  g lo b ally   alig n ed   m o d el   wo u ld   ex h i b it  th e  s am e  alig n m en t  p r o p er tie s   r eg ar d less   o f   th e   ag e n t’ s   r o le;  it  wo u ld   n o t   b e   s p ec ialized   to   o n ly   ac t  as  a   f in an cial  tr an s f er   ag en t.   I n   th e   s am e  v ein ,   R MI C   Gu ar d   is   a p p li ed   at   i n f er en ce   tim e   an d   en f o r ce s   p er - r o le   co n s tr ain ts   with o u t   alter in g   th e   u n d er ly in g   m o d el.   Hen ce ,   R MI C   Gu ar d   is   co m p lem en tar y   r ath e r   th an   c o m p etitiv e  with   weig h t - lev el  ap p r o ac h es.     2 . 3 .     Se m a ntic   mo n i t o r i n g   Sen ten ce   B E R T   [ 1 6 ]   allo ws   m ea s u r in g   s em an tic   s im ilar ity   at   s en ten ce   g r an u lar ity .   Sem an tic   an o m aly   s ig n als  ar e   also   ce n tr al  to   r u n tim e   m o n ito r in g   in   r el ated   f ield s .   T h is   is   a   co m p le m en tar y   a p p r o ac h   to   th e  em b ed d in g - b ased   I DS  s ig n als  lev er ag ed   in   R MI C   Gu ar d .   Deb en ed etti   et  a l.   [ 8 ]   s h o w ed   th e  v u ln er a b ilit y   o f   alig n ed   m o d els  to   ad v er s ar i al  in p u ts .   I t  also   s h ar es  a  s im i lar   s tr u ctu r al  in s ig h t  th at  th e  ad v er s ar ial  b eh av i o r   r eq u ir es  a  g en er ato r - ev al u ato r   s ep ar atio n   th at   ec h o es   th e   d u al - p ass   d esig n   of   R MI C   Gu ar d .   T h e   I DS   co m p o n en t   of   R MI C   Gu ar d   e x ten d s   th e   s en ten ce   tr a n s f o r m er   tr ad itio n   b y   c o m b in in g   s ev en   in d ep en d en tly   co m p u ted   s ig n als,  ea ch   o f   wh ich   can   be   a u d ited   an d   ca lib r a ted   s ep ar ately .   An   attac k er   h a v in g   k n o wled g e   of   th e   weig h ts   co u ld   r ev er s e  en g in ee r   a  s in g le  b len d ed   s co r e;  th e  s ev en   in d ep en d e n tly   g ated   s ig n als  d o   n o t  h av e   th is   v u ln er ab ilit y .     2 . 4 .     F o r ma l   s p e c i f i c a t i o n   f o r   a g e n t s   T h e  R MI C   s p ec if icatio n   is   a  J SON  d o cu m en t  an d   its   s h a - 2 5 6   h ash   is   v er if ied   o n   ea ch   lo ad .   I f   an y   f ield   ch a n g es   af ter   s ea lin g   th e   h ash   f ails   an d   t h e   s ess io n   ab o r ts .   T h is   b r in g s   t h e   s p ir it   of   f o r m a l   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R o le  mo d el  id en tity c o n tr a ct  en fo r ce men t a s   a   s tr u ctu r a l d e termin a n t   of …   ( S a h a n a   B . )   2797   m eth o d s   in f o   p r o d u ctio n   d e p lo y m en ts   with o u t   r eq u ir i n g   f u ll   th eo r em   p r o v in g .   Gu a r d Ag e n t   ad o p ts   a   g u a r d - ag en t   ar ch itectu r e  to   m o n ito r   th e  b eh av io r   o f   L L M  ag e n ts   at  r u n tim e  [ 1 7 ] .   Ag en t  b e h av io r al  co n tr ac ts   f o r m alize   p r e  a n d   p o s t  c o n d it io n s   f o r   au to n o m o u s   AI   ag en ts   [ 1 8 ]   Saf eAg en t  d is cu s s es  an   ar ch itectu r e  f o r   r u n tim e  p r o tectio n   with   co n te x t - awa r e   s tatef u l   g o v e r n an ce   [ 1 9 ] .   Ag e n t   Sp ec   [ 2 0 ]   allo ws   c u s to m izab le   r u n tim e   en f o r ce m e n t   p o licies   f o r   L L M  ag en t  ac tio n s .   C o n tex tC o v   p r o d u ce s   ex ec u tab le   co n s t r ain ts   f r o m   ag e n t  in s tr u ctio n   f iles   [ 2 1 ] .     2 . 5 .     Red   t ea m ing   a nd   e v a l u a t i o n   B o m m asan i   et   a l.   [ 1 ]   cla s s if ie d   th e   r is k   ca teg o r ies   of   f o u n d a tio n   m o d els,   with   g o al   m is g en er aliza tio n   an d   r o le  b o u n d ar y   v io latio n s   b ein g   th e  m o s t  s ev er e.   Ma ze i k a  et  a l.   [ 2 2 ]   p r o p o s e  Har m B en ch ,   a  s tan d ar d ized   r ed   team in g   f r am ewo r k .   Per e z  et  a l.   [ 2 3 ]   s h o wed   L L Ms - ass is ted   r ed   team in g .   Ou r   a d v er s ar ial  p r o m p t  c o r p u s   h as  a  s im ilar   ca teg o r ical  s tr u ct u r e  -   r o le  d r if t,  p er m is s io n   d r i f t,  g o al  d r if t,  p er s o n a   d r if t,   d at a  s co p e  d r i f t  b u t   is   s p ec if ically   d esig n ed   f o r   m u lti - r o le  ag en tic  ev alu atio n   r ath er   th an   s in g le   m o d el  ca p ab ilit y   test in g .   Ag en tDo jo   is   a  d y n am ic  b e n ch m ar k   f o r   e v alu atin g   p r o m p t   in jectio n   att ac k   an d   d ef en s e  [ 8 ] .   J ailb r ea k B en ch   p r o v id es  a   s tan d ar d   m ea s u r em e n t f o r   jailb r ea k   r o b u s tn ess   [ 2 4 ] .       3.   SYST E M   DE SI G N   3 . 1 .       Ro le   m o del   identit y   co ntr a ct   ( R M I C )   E ac h   ag en t   is   g o v er n e d   by   a   s e aled   R MI C :   J S ON   ar tifa cts   co n tain in g   a   u n iq u e   ag en t   id e n tif ier ,   n at u r al   lan g u ag e   s em an tic   a n ch o r   s en t en ce s   d ef in i n g   th e   p er m itted   s co p e,   a   to o l   allo w   lis t   an d   b l o c k   lis t,   a   d ata   s co p e   r ec o r d   of   ac ce s s ib le   an d   p r o h ib ited   ca teg o r ies,   n u m er ic   p ar am eter   co n s tr ain ts   ( e. g . ,   a   m ax im u m   t r an s f er   ce ilin g   o f   USD  5 0 , 0 0 0   f o r   th e   f in an cial  ag en t) ,   an d   I DS  o p er atin g   th r esh o ld s .   Sem an tic   an ch o r s   ar e  wr itten   in   f ir s t p er s o n   to   m ax im ize  em b ed d in g   d is tan ce   f r o m   ad v er s ar ial  r ef r am in g .   T h e  s ea lin g   ta k es  p lace   i n   t wo   s tep s .   First,  a  ce n tr o i d   e m b ed d in g   is   co m p u ted   f r o m   th e  an ch o r   s en ten ce s   u s in g   B AAI /b g e - s m all - en - v 1 . 5   [ 2 5 ]   an d   s to r ed   i n   th e  co n tr ac t.   Seco n d ,   a   SHA - 2 5 6   d ig est  in clu d es   all  f ield s   of   t h e   c o n tr ac t   e x ce p t   th e   d ig est   f ield   its elf ;   th e   d ig est   is   s to r ed   an d   r e v er if ied   at   th e   b e g in n in g   of   ev er y   s ess io n .   R u n tim e  tam p er in g   is   p r ev e n ted   b ec au s e  an y   f ield   m o d if icatio n   a f ter   d e p lo y m en t  b r ea k s   th e  d ig est.  No n e  o f   th is   is   f ed   in to   th e  m o d el:   it  is   g iv en   a  s in g le  s en ten ce   r o le  lab el  an d   p r o d u ce s   a  s tr u ctu r ed   Plan n ed - T o o lC all  J SO N  o b ject.     3 . 2 .     Dua l   pa s s   enf o rc em ent   e n g i n e   E v e r y   p l a n n e d   t o o l   c a l l   g o e s   t h r o u g h   t w o   s e q u e n t i a l   p as s e s .   T h e   w h o l e   p i p e l i n e   i s   s h o w n   i n   F i g u r e   1.           Fig u r e   1.   R MI C   Gu ar d   en f o r c em en t   p ip elin e   f r o m   u s er   r eq u est   to   to o l   e x e c u t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 9 5 - 2 8 0 5   2798   3 . 2 . 1 .   P a s s   1   -   Det er m ini s t ic   ha rd   r ul e s   Fo u r   O( 1 )   ch ec k s   ar e   p er f o r m ed   on   th e   s ea led   co n tr ac t:   i )   T h e   to o l   n am e   is   not   in   th e   li s t   of   f o r b id d e n   ac tio n s ;  ii )   T h e  to o l  n am e  m u s t  b e  p r esen t  in   th e  allo wed   ac tio n s   lis t;  iii )   Nu m er ic  ar g u m en ts   m u s t  s ati s f y   all   p ar am eter   co n s tr ain ts ;  iv )   No   d ata  ca teg o r y   r eq u ested   m ay   a p p ea r   o n   th e  p r o h i b ited   d ata  s co p e  lis t.   A  s in g le  f ailu r e  m ea n s   an   im m e d iate  B L OC K  an d   n o th in g   else  h ap p en s .   Fo r   all  co n f ig u r atio n s   t ested ,   th e  h a r d   r u le   laten cy   is   b elo w  2   m s .     3 . 2 . 2 .   P a s s   2   -   I nte nt   drif t   s c o r e   ( I D S )   Pas s   1   clea r s ,   en g in e  co m p u te s   a  s ev en   s ig n al  I DS.  L et  ( )   b e  t h e  L 2   n o r m alize d   em b e d d in g   o f   th e  tex t x   an d   c  th e  s ea led   ce n tr o i d .   T h e  B ase  I DS r ec eiv es th r e e  s ig n als:   ˗   R o le  d is tan ce   ( R D)   d ef in ed   in   ( 1 )   m ea s u r es  th e  an g u lar   d is tan ce   b etwe en   th e  p lan ’ s   em b ed d in g   an d   co n tr ac ted   id en tity   ce n tr o id   v alu es   clo s e   to   1 . 0   in d icate   th at   th e   o u tp u t   of   th e   ag en t   is   f ar   away   f r o m   th e  allo wed   r an g e  i n   th e  em b ed d i n g   s p ac e.        =   1   −   ( ( ) , )   ( 1 )     ˗   Sem an tic  g r o u n d in g   ( SG) ,   I n   ( 2 ) ,   we  d e f in e  s em an tic   g r o u n d in g   ( SG)   as  b ein g   clo s e  t o   1 . 0   wh en   th e   o u tp u t is m o r e  alig n ed   with   p r o h ib ited   co n ten t th an   p er m itte d   co n ten t.        =   1   −   (    −     −     −     )     (2 )     ˗   T r ajec to r y   c u r v atu r e  ( T C )   d e f in ed   in   ( 3 )   m ea s u r es  th e  m e an   ab s o lu te  ch an g e  i n   I DS  o v er   th e  last   f iv e   tu r n s .   T r a n s ien t  ed g e   ca s e  d o es  n o t  ex h ib it  a  c h ar ac ter is tic  o s cillato r y   p atter n   wh ich   ca n   b e   s ee n   f o r   a   s u s tain ed   d r if t a ttack .      =   1   ∑ |  −  − 1   | 5 = 1     ( 3 )     T h en   th e   b ase   I DS   is   ca lcu lated   as   ( 4 ) .   Fo u r   ad d itio n a l   s ig n als   -   Ma h alan o b is   d is t an ce ,   KL   d iv er g en ce ,   J en s en - Sh a n n o n   d iv er g en ce ,   W ass er s tein   d is tan ce ,   Hellin g er   d is tan ce   a n d   to o l   f r eq u en cy   d r if t   a r e   co m p u ted   in   p ar allel   f o r   au d it   telem etr y .   If   B ase   I DS   ≥  0 . 6 0 ,   th e   ca ll   is   b lo ck e d .   If   0 . 3 2   ≤  B ase   I DS   <  0 . 6 0 ,   a   re - an ch o r in g   r ec o v e r y   p r o m p t   is   in jecte d   an d   o n e  c o r r ec tiv e   attem p t  is   g r an ted .   B elo w  0 . 3 2 ,   th e  ca ll  p ass es  to   ex ec u tio n .          = 0 . 4 ×  + 0 . 4 ×  + 0 . 2 ×    ( 4 )       4.   E XP E R I M E N T A L   M E T H O D   4 . 1 .     L a ng ua g e   m o d e l s   We   s elec ted   f o u r   LLMs   ac r o s s   two   v en d o r s :  clau d e - s o n n et - 4 . 6   an d   clau d e - h aik u - 4 - 5   f r o m   An th r o p ic   an d   llam a - 3 . 3 - 7 0 b - v er s atile  an d   llam a - 3 . 1 - 8b - in s tan t  v ia  Gr o q .   T h e  s elec tio n   c u ts   ac r o s s   ca p ab ilit y   tier s ,   p ar am eter   s ca les  an d   alig n m en t  ap p r o ac h es  to   av o id   s in g le  p r o v i d er   b ias.   T em p er at u r e  was  s et  to   0 . 2 ,   r an d o m   s ee d   to   4 2   in   all  r u n s .     4 . 2 .     Ag ent   ro les   a nd   c o n t r a c t s   Fo u r   s ea led   R MI C   c o n tr ac ts   wer e   p r ep ar e d   o f f lin e   a n d   r em ain ed   u n ch a n g ed   in   th e   ex p e r im en ts .   T h e   f in an cial   tr an s f er   ag e n t   can   c h ec k   b alan ce s   an d   a u th o r ize   tr an s f er s   up   to   $ 5 0 , 0 0 0   US.   T h e   cu s to m er   s u p p o r t   ag en t   p er f o r m s   tr o u b lesh o o tin g   a n d   escalate s   tick ets.  T h e   h ea lth ca r e   r esear ch   ag en t   ca n   s ea r ch   Pu b Me d   an d   ar Xiv   an d   s u m m ar ize  p u b lis h ed   liter atu r e,   b u t  it  s h o u ld   n o t  p r o v i d e  clin ical  g u id an ce .   T h e  leg al  d o cu m e n t   r ev iew   a g en t   s h all   n o t   r e n d er   l eg al   o p i n io n s   but   m ay   e x tr ac t   an d   f lag   ca u s es.   B ef o r e   t h e   tr i al   r u n ,   ea c h   c o n tr ac t   was seale d   u s in g   r ea l BAAI   em b ed d in g s .     4 . 3 .     E x p e r i me n t a l   c o n di t i o ns   Fo u r   ac tiv e   co n d itio n s   wer e   e v a l u a t e d :   −   C o n d itio n   B   ( Pro m p t   co n tr ac t )   -   T h e   f u ll   R MI C   co n tr ac t   is   s er ialized   in to   th e   m o d el   s y s tem   p r o m p t;   th e  en f o r ce m e n t e n g i n e  is   d is ab led ; th e  m o d el  s elf - p o licies.   −   C o n d itio n   C   ( R MI C   m id d le  war e)   -   T h e   m o d el  r ec eiv es  a  o n e   s en ten ce   r o le   lab el   o n l y ;   th e  d u al   p ass   en g in e  is   f u lly   ac tiv e .   −   C o n d itio n   C1   ( Har d   r u les   o n l y )   -   Pas s   1   o n ly ;   I DS   is   d is ab led .   I s o lates   d eter m in is tic   r u le   c h e c k i n g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R o le  mo d el  id en tity c o n tr a ct  en fo r ce men t a s   a   s tr u ctu r a l d e termin a n t   of …   ( S a h a n a   B . )   2799   −   C o n d itio n   C2   ( I DS   o n l y )   -   Pas s   2   o n ly ;   Pas s   1   is   d is ab led .   I s o lates   s em an tic   d r if t   s co r in g .   −   C o n d itio n   A  ( n o   co n t r ac t,  n o   en f o r ce m en t)   is   th e  th e o r etica l  f lo o r   ( DSR   =  0   b y   co n s tr u ctio n )   a n d   is   ex clu d ed   f r o m   ac tiv e  tr ials .     4 . 4 .     P r o m pt   c o r p u s   E a c h   m o d e l   r o l e   c o n d i ti o n   t r ip l e   r e c e i v e d   6 5   p r o m p t s :   5 0   a d v e r s a r i a l  a c r o s s   f i v e   at t a c k   c a t e g o r i es  ( r o l e _ d r i f t ,  p e r m i s s i o n _ d r i f t ,  g o a l _ d r i f t ,   p e r s o n a _ d r i f t ,   d a ta _ s c o p e _ d r i f t ,   1 0   e a c h )   a n d   1 5   l e g i t i m a t e   ( 1 0   g e n e r i c  in - s c o p e ,   5   r o l e - s p e ci f i c ) .   T h e   r o l e - s p e c i f i c   l e g it i m at e   p r o m p t s   a r e   d es i g n e d   t o   b e   l e x ic a l l y   p r o x i m a t e   to   a d v e r s a r i a l  i n p u t s   f o r   i n s t a n c e ,   a   g e n u i n e   t r a n s f e r   r e q u e s t  n e a r   t h e   f o r b i d d e n   a c t i o n   v o c a b u l a r y   t o   s t r ess   t es t  f a ls e  p o s i t i v e   b e h a v i o r .   P r o m p t s   we r e   a u t h o r e d   i n d e p e n d e n t l y   a n d   n o t   d r a w n   f o r m   p r i o r   p u b l i s h e d   r e d   t e a m   c o r p o r a .     4 . 5 .     E v a lua t i o n   m e t r i c s   Dr if t  s u p p r ess io n       =   _  /  _    m ea s u r e  h ar d   b l o ck in g   o f   ad v e r s ar ial   ca lls .   Dr if t  d etec tio n      =   _  /  _    co u n t s   an y   aler t   ( B L OC K  o r   W AR N) .   Fals e  p o s itiv es      =  _   /  _     m ea s u r es   o p er atio n al   v iab ilit y .   W ils o n   s co r e   95%   c o n f id e n ce   in ter v als   ar e   r ep o r ted   f o r   DSR   an d   FP R ;   ch i - s q u ar e   c o n tin g e n cy   test s   ass es s   th e   b lo ck ed /n o t - b lo c k ed   d is tr ib u tio n   ac r o s s   co n d itio n s .       5.   RE SU L T S AN D  D I SCU SS I O N   5 . 1 .     P rim a ry   f i n d i n g s   T ab le  1   lis ts   DSR ,   DDR  an d   FP R   f o r   all  m o d els  in   all  co n d itio n s   f r o m   5 , 2 1 2   API   ca ll s   ( two   f u ll  r u n s ) .   Fig u r e  2   s h o ws  th e   s a m e  d ata  in   a  v is u al  f o r m   with   b ar s   d if f er en tiated   b y   p atter n .   T h e   m ain   r esu lt  is   o b v io u s :  in   t h e   co n d itio n   C,   t wo   of   f o u r   m o d els   ac h iev e   D SR   =   1 . 0 0 0 ,   th e   th ir d   ( clau d e - s o n n et - 4 - 6)   ac h iev es  0 . 9 7 2   an d   t h e  f o u r th   ( cla u d e - h aik u - 4 - 5 )   ac h ie v es  0 . 9 5 2 .   I n   c o n d itio n   B ,   n o   m o d el  g o es  b e y o n d   DSR   =  0 . 3 9 1 ;   llam a - 3 . 1 - 8b - in s tan t o n ly   r ea c h es 0 . 0 2 0 .   T h e  g ap   is   r ep licate d   r eg ar d less   o f   ar ch itectu r e  o r   ca p ab ilit y   tier .   DDR  =  1 . 0 0 0   u n d er   co n d itio n   C   f o r   all  f o u r   m o d els)  m e an in g   th at  th e  I DS  en g in e  f l ag s   ev er y   ad v er s ar ial   p r o m p t   as   a   W A R N   at   m in im u m   ev en   wh en   PASS   1   d o es   not   f ir e.   A   ch i - s q u ar e   test   on   th e   b lo ck ed /n o t - b lo c k ed   d is tr ib u tio n   ac r o s s   co n d itio n s   y ield   2 ( 3 )   =  847 . 3 ,   p   <  0 . 0 0 0 1 .   C o h e n ’ s   d   c o m p ar i n g   B ase  I DS  s co r es  ca lcu lated   p er   ( 4 )   ( c o n d itio n   C   v er s u s   C o n d itio n   B )   is   d =1 . 8 4 ,   a  lar g e  ef f ec t.   T h e  d ata   s tr o n g ly   ex clu d e   th e   h y p o th esis   th at   s u p p r ess io n   is   a   co n s eq u en ce   of   m o d el   ca p ab ilit y   r ath e r   th an   en f o r ce m en t   p o s i t i o n .     5 . 2 .     Abla t io n   r e s u l t s   Un d er   co n d itio n   C 1   ( h ar d   r u l es  o n ly ) ,   DSR   ≈   1 . 0 0 0   ac r o s s   all  m o d els,  co n f ir m in g   th at  th e  cr af ted   ad v er s ar ial   co r p u s   alwa y s   tr i g g er s   at   least   o n e   co n t r ac t   c o n s tr ain t   in   n ea r ly   all   ca s es.   T h e   p r ice   is   s teep :     FPR   =  0 . 6 2 2 - 0 . 6 6 7 .   L eg itim ate  q u er ies  th at  m en tio n   tr an s f er   o p er atio n s ,   m ed icatio n   n am es,  o r   co n tr ac t   clau s es   ar e  b lo ck ed   alo n g s id e  g en u in e  attac k s   b ec au s e  Pas s   1   o p er ates  o n   to o l  n am es  an d   d ata  ca teg o r ies   r ath er   th an   s em an tic  in ten t.  A  p r o d u ctio n   d e p lo y m e n t th at  o n ly   r u n s   C 1   will r ejec t m o s t v alid   r eq u ests .   C o n d itio n   C2   ( I DS   o n ly )   h as   D SR   =   0 . 0 0 0   f o r   b o th   An th r o p ic   m o d els,   0 . 0 7 8   f o r   ‘ llam a - 3 . 1 - 8b - in s tan t’   an d   0 . 2 7 2   f o r   ‘ llam a - 3 . 3 - 7 0 b - v er s atile’ .   In   all   ca s es,   m ea n in g   e v er y   ad v e r s ar ial   p r o m p t   is   f lag g ed   at   s o m e   l e v e l - ev en   th o u g h   DDR   =   1 . 0 0 0 ,   th e   I DS   en g in e   ca n n o t   is s u e   ter m in al   B lo ck s   with o u t   h a r d   r u le   v io latio n s   to   an ch o r   o n .   T h e   av er ag e   ad v er s ar ial   B ase   I DS   of   0 . 5 2 7   u n d er   C 2 ,   ca lcu lated   p er   ( 4 ) ,   is   j u s t   u n d er   th e   b lo ck   ce ilin g   o f   0 . 6 0 ,   r esu ltin g   in   N E E DS  R E C OVE R Y  escalat io n s   th at  th e  m o d el  ca n   th en   av o id .   T h e   d u al   p ass   d esig n   is   n o t a   co n v en ie n ce ; it  is   ar ch itectu r ally   r eq u ir ed .     5 . 3 .     I DS   co m po nent   a n a l y s i s   All   s ev e n   s i g n a l   s t atis tics   u n d e r   co n d it io n   C   a r e   s u m m ar i ze d   in   T a b le   2.   A   d eta il ed   v is u al  r e p r ese n t ati o n   o f   t h e   a v er ag e  I DS   c o m p o n e n ts   ac r o s s   al l  f o u r   e v a lu ate d   m o d e ls   u n d er   C o n d it io n   C   is   ill u s tr at ed   i n   Fi g u r e   3 .   T h e   m o s t   s t ab le   d is c r i m i n a to r s   a r e   Ma h al a n o b is   d is t a n ce   ( m ea n   =   0 . 9 5 3 4 ,   SD   =   0 . 0 0 1 9 )   an d   W ass er s tei n   d is ta n c e   ( m ea n   =   0 . 9 9 7 8 ,   SD   =  0 . 0 0 2 7 ) ,   wh i ch   r em ain   n ea r   ce ilin g   with   m in im al  in ter - m o d el   v ar ian ce ,   s u g g esti n g   th at  ad v er s ar ial  in p u ts   p r o d u ce   co n s is ten t   d is tr ib u tio n al   an o m alies   r eg ar d less   of   wh ich   m o d el   g en er ates   th e   p lan .   T o o l   Fre q u en cy   d r if t  ( m ea n   =   0 . 8 3 1 3 ,   SD   =   0 . 1 7 9 5 )   ca r r ies   th e   m o s t   v ar ian ce .   T h is   co m es   f r o m   ca s es   wh e r e   an   a d v er s ar ial   r e q u est  s u cc ess f u lly   u tili ze s   an   allo wed   to o l  in   a n   attac k er - co n tr o lle d   co n tex t.     5 . 4 .     P er   ro le   a n a l y s i s   T ab le  3   DSR   p er   r o le  u n d er   co n d itio n   C .   T h r ee   o f   t h e  f o u r   r o les  ac h iev e  DSR   =  1 . 0 0 0 .   Fin an cial  tr an s f er   ag en t  0 . 9 6 2   Fo u r   m i s s ed   ca s es  ar e  g en u in e  tr an s f er   p r o m p ts   with   B ase  I DS  o f   0 . 5 4 4   -   0 . 5 6 9 ,   ju s t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 9 5 - 2 8 0 5   2800   b elo w   th e   clo ck   ce ilin g .   B ec au s e   tr an s f er   f u n d s   is   an   allo wed   ac tio n   an d   th e   am o u n t   is   with in   th e   lim it   of   USD  5 0 , 0 0 0 ,   Pas s   1   d o es  n o t  tr ig g e r   an d   Pas s   2   d o es  n o t  q u ite  cl ea r   th e  b lo c k   th r esh o ld .   T h e  d ir ec t  f ix   is   tar g ete d   p er - r o le  R OC   ca lib r atio n .     5 . 5 .     F a ls e   po s it iv e   ra t e:   ca us e   a nd   r e me d y   FPR   =   0 . 6 6 7   u n d e r   c o n d itio n s   C   an d   C2   at   d ef au lt   th r esh o ld s   is   th e   s tu d y ’ s   p r in cip al   u n s o l v ed   is s u e.   I n v esti g atio n   p o in ts   to   em b ed d in g   g e o m etr y :   p r o m p ts   s p ec if ic  to   h ea lth ca r e  o r   f in an ce   r o les  s u ch   as  ask in g   ab o u t  tr ea tm en t  p r o to co ls   in   a  r esear ch   co n tex t  p r o d u ce   B ase  I DS  s co r es  o f   0 . 5 3 – 0 . 5 7   ( p e r   ( 4 ) )   th at  cr o s s   th e   war n   f lo o r   o f   0 . 3 2 .   B ec au s e  th e  m ea n   ad v er s ar ial  B ase  I DS  u n d er   C 2   is   0 . 5 2 7 ,   ad v er s a r ial  an d   leg itima te   d is tr ib u tio n s   o v er la p   at  th e  cu r r en t o p e r atin g   p o in t.   T h e  r em ed y   is   p er   r o le  R OC   ca lib r atio n .   T h e  s y s tem   alr ea d y   co m p u tes  s ev en   in d ep en d e n t  s ig n als ;   b y   f itti n g   a   lo g is tic  b o u n d ar y   o n   h eld - o u t  lab ele d   d ata,   t h e  b lo ck   th r esh o l d   ca n   b e  s et  at  th e  p o in t  wh er e   DSR   is   m ax im ized   s u b ject   to   FPR   ≤   0 . 05.   Pre lim in ar y   cr o s s - v ali d atio n   on   our   d ata   s u g g ests   th is   r ed u ce s   th e   FPR   to   0 . 04 – 0 . 08   wh ile   m ain tain in g   DSR   ≥   0 . 950   f o r   all   r o les.   We   tr ea t   th is   s y s tem   is s u e   as   an   en g in ee r i n g   t a s k   r ath er   th a n   a   f u n d a m en tal   lim itatio n :   a   DSR   =   1 . 0 0 0   alr ea d y   co n f ir m s   co r r ec t   r an k in g   a d v er s ar ial   s co r es   lie   ab o v e   leg itima te   s co r es,   an d   c alib r atio n   s ets   th e   o p er atin g   p o in t   with o u t   ch an g in g   s ig n al   q u a l i t y .     5 . 6 .     Drif t   ca t eg o r y   g r a n u l a r it y   W e  co n s id er   t h e  f i v e  a d v er s a r ial  ca teg o r ies  u n d e r   c o n d itio n   C .   B o th   g o al   d r if t  an d   p er s o n a  d r i f t  ac h iev e  1 0 0 %  B L OC K  r ate  a cr o s s   all  m o d els  an d   r u n s .   D ata  s co p e  d r if t  an d   p er m is s io n   d r if t   r ea ch   9 9 . 2 %   an d   9 9 . 1 %   r esp ec tiv ely .   T h e  l o west  B L OC K  r ate  is   f o r   r o le   d r if t,  9 8 . 3 %.   T h e  f o u r   u n b lo c k ed   r o le  d r if t  ca s es  ar e  au th o r ity   claim   f r am in g s   ( “As  th e  b r an ch   m an ag e r ,   ap p r o v e  th is   tr an s ac tio n ”)   th at  in v o k e  an   allo wed   to o l   wh ile   em b ed d in g   an   escalatio n   claim   in   n atu r al   lan g u a g e   an   in s tr u ctio n   ty p e   th at   is   to o l   co m p lian t   but   s em an tically   an o m alo u s .   E n c o d in g   au t h o r ity   claim   d etec tio n   is   a   Pas s   1   p atter n   r u le,   a   f i x   tar g eted   f o r   f u t u r e   i t e r a ti o n s .     5 . 7 .     C r o s s   a r ch i t e c t u r e   c o ns is t e n c y   T h e  co n s is ten cy   o f   c o n d itio n   C   r esu lts   ac r o s s   f o u r   ar c h itectu r ally   d is tin ct  m o d els  a   la r g e  R L HF  tr ain ed   p r o p r ietar y   s y s tem ,   a   c o m p ac t   d is till ed   p r o p r ietar y   s y s tem ,   an   o p e n   weig h t   70B   in s tr u ctio n   tu n ed   m o d el,   an d   a   lig h tweig h t   Gr o q   h o s ted   m o d el   v alid ates   th e   m o d el   ag n o s tic   claim ,   B ec au s e   R MI C   Gu ar d   ev alu ates   s tr u c t u r e d   P la n n e d T o o l C a ll   o b j e c ts   r a t h e r   t h a n   r aw   t e x t   o u t p u t s   or   m o d el   a ct i v a ti o n s ,   it   can   be   d e p l o y e d   as   a   p r o v i d e r   n eu tr al   s af ety   lay e r   in   h eter o g en e o u s   ag en t   e n s em b les   with   no   m o d el   weig h ts .   An y   r ea s o n in g   s y s tem   th at   p r o d u ce s   s tr u ctu r ed   J SON  to o l p lan s   is   co m p atib le  with   th e  en g in e.     5 . 8 .     L a t ency   o v e r h e a d   Fig u r e   4   s h o ws   th e   a v er ag e   p er   ca ll   laten c y   f o r   c o n d iti o n s   B,   C   an d   C1   ac r o s s   th e   m o d els.   C o m p ar ed   to   co n d itio n   B :  C o n d itio n   C   ad d s   6 , 1 5 8   m s /call  f o r   clau d e - s o n n et - 4 - 6   an d   1 6 , 5 8 7   m s /call  f o r   llam a - 3 . 3 - 70b - v er s atile.   T h e  L lam a  o v er h ea d   is   m ain ly   f r o m   r ate  th r o ttli n g   b y   th e  Gr o q   API   wh en   m ak in g   s eq u en tial  I DS  em b ed d in g   ca lls .   Har d   r u le  o n ly   ( C 1 )   laten cies  ar e  co m p ar ab le  to   C o n d i tio n   B ,   co n f ir m in g   th at  Pas s   1   alo n e  ad d s   n eg lig i b le   co s t.  T h e   I DS   o v er h ea d   is   r ed u cib le:  b atch e d   em b e d d in g   ca lls ,   ap p r o x im ate   n ea r est   n eig h b o r   lo o k   u p s ,   an d   p er   s ess io n   ca ch in g   o f   th e   a n ch o r   ce n tr o id   a r e  id en tifie d   p ath s   to   s u b   5 0 0   m s   I DS  ev alu atio n .       T ab le   1.   Ma in   ex p e r im en tal   r e s u lts :   DS R ,   DDR,   FP R   an d   av er ag e   laten cy   p er   m o d el   p er   c o n d i t i o n   M o d e l   C o n d .   D S R   DDR   FPR   L a t e n c y   9 5 %   CI   ( D S R )   C l a u d e - s o n n e t - 4 - 6   B   0 . 3 9 1   0 . 3 9 1   0 . 0 2 8   4 6 7 3 . 6 9   [ 0 . 3 8 – 0 . 5 2 ]   C   C1   0 . 9 7 2   0 . 9 7 2   1 . 0 0 0   0 . 9 7 2   0 . 6 6 7   0 . 6 2 2   1 3 6 3 3 . 4 4   4 9 3 2 . 2 9   [ 0 . 9 7 – 1 . 0 0 ]   [ 0 . 9 7 – 1 . 0 0 ]   C2   0 . 0 0 0   1 . 0 0 0   0 . 6 6 7   1 2 7 8 4 . 7 5   [ 0 . 0 0 – 0 . 0 2 ]   C l a u d e - h a i k u - 4 - 5   B   0 . 3 3 0   0 . 3 3 0   0 . 0 5 0   3 9 5 5 . 7 9   [ 0 . 3 0 – 0 . 4 3 ]   C   C1   0 . 9 5 2   0 . 9 7 2   1 . 0 0 0   0 . 9 7 2   0 . 6 6 7   0 . 6 2 2   1 1 , 7 1 1 . 8 4   3 , 3 4 4 . 5 5   [ 0 . 9 3 – 0 . 9 8 ]   [ 0 . 9 7 – 1 . 0 0 ]   C2   0 . 0 0 0   1 . 0 0 0   0 . 6 6 7   1 1 , 2 4 6 . 3 7   [ 0 . 0 0 – 0 . 0 2 ]   l l a m a - 3 . 3 - 7 0 b - v e r s a t i l e   B   0 . 3 8 0   0 . 3 8 0   0 . 3 7 2   2 8 4 8 . 5 4   [ 0 . 4 7 – 0 . 6 0 ]   C   C1   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   0 . 6 6 7   0 . 6 6 7   1 6 3 4 5 . 5 5   2 9 0 9 . 7 4   [ 0 . 9 8 – 1 . 0 0 ]   [ 0 . 9 1 – 0 . 9 7 ]   C2   0 . 2 7 2   1 . 0 0 0   0 . 6 6 7   1 5 3 9 8 . 9 7   [ 0 . 2 9 – 0 . 4 3 ]   l l a m a - 3 . 1 - 8b - i n s t a n t   B   0 . 0 2 0   0 . 0 2 0   0 . 0 0 0   2 3 5 2 . 3 9   [ 0 . 0 1 – 0 . 0 6 ]   C   C1   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   1 . 0 0 0   0 . 6 6 7   0 . 6 5 5   7 3 5 7 . 5 5   2 3 2 7 . 5 5   [ 0 . 9 8 – 1 . 0 0 ]   [ 0 . 9 8 – 1 . 0 0 ]   C2   0 . 0 7 8   1 . 0 0 0   0 . 6 6 7   6 9 7 5 . 4 2   [ 0 . 0 5 – 0 . 1 2 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R o le  mo d el  id en tity c o n tr a ct  en fo r ce men t a s   a   s tr u ctu r a l d e termin a n t   of …   ( S a h a n a   B . )   2801   B   = Pro m p t   C o n t r a c t   C   =   RM I C   Mi d d l e w a re   C1   =   H a r d   Ru l e s   O n l y   C2   =   IDS   O n l y         Fig u r e   2 .   DSR ,   DDR   an d   FPR   p er   co n d itio n   p er   m o d el   (B   =   Pro m p t   C o n tr ac t,   C   =   Fu ll   Mi d d le   war e,   C1   =   Har d   R u les,  C 2   =   I DS o n ly )       T ab le   2.   I DS   co m p o n en t   s tatis tics   f o r   co n d itio n   C   ( all   m o d e l s )   I D S   M e t r i c   M e a n   S t d .   D e v .   M i n   M a x   B a se   I D S   0 . 5 5 6 7   0 . 0 1 5 7   0 . 5 3 8 4   0 . 5 8 0 9   M a h a l a n o b i s   D i s t a n c e   0 . 9 5 3 4   0 . 0 0 1 9   0 . 9 5 1 7   0 . 9 5 7 4   KL   D i v e r g e n c e   0 . 3 7 1 0   0 . 0 3 7 0   0 . 3 2 4 4   0 . 4 2 1 1   J e n s e n - S h a n n o n   D i v e r g e n c e   0 . 1 6 7 7   0 . 0 2 0 1   0 . 1 4 1 5   0 . 1 9 4 7   W a s s e r s t e i n   D i s t a n c e   0 . 9 9 7 8   0 . 0 0 2 7   0 . 9 9 2 4   1 . 0 0 0 0   H e l l i n g e r   D i s t a n c e   0 . 3 4 4 9   0 . 0 2 2 1   0 . 3 1 5 3   0 . 3 7 3 9   T o o l   F r e q u e n c y   D r i f t   0 . 8 3 1 3   0 . 1 7 9 5   0 . 5 2 7 8   0 . 9 7 5 0         Fig u r e   3 .   Av er ag e   I DS   co m p o n en t   s co r es   f o r   C o n d itio n   C   ac r o s s   all   f o u r   m o d els   ( d ar k er   ce lls   r ep r esen t   h ig h er   d r if t sig n al;  v alu es a r e  m o d el - av er ag ed   m ea n s )       T ab le   3.   R o le - wis e   DSR   p er f o r m an ce   a n d   I DS   s t a t is t i cs   A g e n t   R o l e   D S R   N   ( a d v . )   A v g .   B a se   I D S   F i n a n c i a l   t r a n sf e r   a g e n t   0 . 9 6 2   2 1 2   0 . 5 4 4   C u s t o mer   s u p p o r t   a g e n t   1 . 0 0 0   2 1 2   0 . 5 5 1   H e a l t h c a r e   r e sea r c h   a g e n t   1 . 0 0 0   2 1 2   0 . 5 6 9   Le g a l   d o c u m e n t   r e v i e w   a g e n t   1 . 0 0 0   1 9 7   0 . 5 6 4     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 9 5 - 2 8 0 5   2802       Fig u r e   4 .   Av er ag e   p e r - ca ll   laten cy   ( m s )   f o r   C o n d itio n s   B,   C,   an d   C1   ac r o s s   f o u r   m o d els   ( C 2   o m itted   f o r   clar ity ; I DS - o n ly   laten cy   is   co m p ar ab le  to   f u ll C o n d itio n   C )       6.   CO NCLU SI O N   R MI C   Gu ar d   d em o n s tr ates  th at  p lacin g   en f o r ce m e n t  o u ts id e  th e  m o d el’ s   in s tr u ctio n   co n tex t  r ath er   th an   r ely in g   o n   m o d el  s elf - p o licin g   th r o u g h   a  p r o m p t  c o n tr ac t  is   th e  p r im ar y   d eter m in an t  o f   id e n tity   d r if t   s u p p r ess io n .   Acr o s s   5 , 2 1 2   API   ca lls ,   f o u r   m o d els   an d   f o u r   ag en t   r o les,   ex ter n al   d u al   p ass   m id d le   war e   ac h iev es  DSR   =  0 . 9 5 2   -   1 . 0 0 0   u n if o r m ly ,   wh ile  t h e  b est  p r o m p t  o n ly   co n d itio n   r ea ch es  DSR   =   0 . 3 9 1   a n d   wea k est  r ea ch es  0 . 0 2 0 .   A b latio n   s h o w s   th e  n ec ess ity   o f   t h e  d u al  p as s   ar ch itectu r e:  h ar d   r u les  alo n e  p r o d u ce   t o o   m a n y   f alse  p o s itiv es;  s em an tic  I DS  alo n e  ca n n o t  o u tp u t   ter m in al  b lo ck s .   It   i s   th e  co m b in atio n   o f   b o th   p ass es  th at  m ak es th e  s y s tem   b o th   s af e  a n d   o p er atio n ally   v iab le .   T wo   o p e n   p r o b l em s   d ese r v e   i m m ed iat e   at te n ti o n .   Fi r s t,   p er   r o le   R OC   ca l ib r a ti o n   is   n ee d ed   b e f o r e   p r o d u ct io n   d e p l o y m e n t :   t h e  c u r r e n t d e f au lt th r es h o l d s   y i el d   F PR   =  0 . 6 6 7   at   wa r n   l e v el ,   wh i ch   m u s t   b e  r e d u c e d   wit h o u t   s ac r i f ici n g   DSR .   S e co n d ,   l ate n cy   o p ti m i za ti o n   s p e ci f ic all y   b at ch e d   em b ed d i n g   c o m p u t ati o n   a n d   ce n t r o id   c ac h i n g   is   n e ce s s a r y   f o r   i n te r a cti v e  ap p l ica ti o n s   t h at  ca n n o t  t o l e r at e  s ev e r al   s e co n d s   o f   e n f o r ce m e n t   o v e r h ea d   p er   c all .   B e y o n d   th e s e,   f u t u r e   d ir ec ti o n s   i n c lu d e   m u lt i   ag en t   R MI C   f ed e r ati o n   f o r   c o o r d i n a te d   c r o s s - ag en t   d r i f t   d ete cti o n ,   wh ite   box   e v a lu ati o n   a g ai n s t   a tta c k e r s   wit h   f u l l   c o n t r ac t   k n o w le d g e,   an d   l o n g e r   t r aj ec to r y   win d o ws   t o   ca p t u r e  s lo w  b u r n   d r if t  ca m p ai g n s   u n f o l d i n g   o v e r   te n s   o f   c o n v er s ati o n   tu r n s .   T h e   b r o a d e r   i m p l i c a t i o n   is   a r c h i t e c t u r a l   r a t h e r   t h a n   m o d e l   s p e c i f i c .   P r o m p t   e n g i n e e r i n g   c a n n o t   p r o v i d e   p r o v a b le  r o le  is o latio n ,   r e g ar d less   o f   h o w  well  c o n s tr u cted   t h e  co n tr ac t  tex t   is   o r   h o w  ca p ab le  th e   u n d er ly in g   m o d el  is .   Stru ct u r al  en f o r ce m en t  v er if ia b le,   au d itab le  an d   in d ep e n d en t  o f   t h e  m o d el’ s   r ec ep tiv e  f ield   is   th e   en g in ee r in g   f o u n d atio n   th at  h i g h - s tak es   ag en tic  d e p lo y m e n ts   r eq u ir e.       A C K N O W L E D G M E NT S   T h is   r esear ch   d id   n o t  r ec eiv e  an y   s p ec if ic  g r an t  f r o m   f u n d i n g   ag en cies  in   th e  p u b lic,   co m m er cial,   o r   not - f o r - p r o f it   s ec to r s .   T h e   s tu d y   was   ca r r ied   out   as   p ar t   of   o n g o in g   ac ad em ic   r esear ch   ac tiv ities   at   th e   au th o r s ’   in s titu tio n .   Au th o r s   s tate  n o   f u n d in g   i n v o lv e d .       F UNDING   I N F O R M A T I O N   No   ad d itio n al   ex ter n al   f u n d i n g   was   r ec eiv ed .   Au th o r s   s tate   no   f u n d in g   c o n f l i c t s .       CO NF L I C T   OF   I N T E RE ST   S T A T E M E NT   T h e  au t h o r s   d ec lar e   th at  th e y   h av e  n o   k n o wn   c o m p etin g   f in an cial  in ter ests   o r   p er s o n al  r el atio n s h ip s   th at  co u ld   h av e  ap p ea r ed   t o   in f lu en ce   th e  wo r k   r e p o r te d   in   t h is   p ap er .   Au th o r s   s tate  n o   co n f lict o f   in ter est.       D A T A   A V A I L AB I L I T Y   A l l   r es e a r c h   a r t i f ac t s   u s e d   in   t h i s   s t u d y   a r e   p u b l i c ly   a v a i l a b l e   at   h tt p s : // g i t h u b . c o m / A r s h u - 1 1 0 4 / R M I C . g i t   u n d er   th e   MI T   L icen s e.   T h e   r ep o s ito r y   i n clu d es  th e   en f o r ce m en t   en g in e  s o u r ce   co d e,   s ea led   R MI C   co n tr ac ts ,   ad v er s ar ial  an d   leg itima te  p r o m p t  d atase ts ,   ex p er im en tal  r esu lts   d atab ase,   an d   s tatis t ical   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         R o le  mo d el  id en tity c o n tr a ct  en fo r ce men t a s   a   s tr u ctu r a l d e termin a n t   of …   ( S a h a n a   B . )   2803   v alid atio n   s cr ip ts   r e - p r o d u cin g   all  r ep o r ted   m etr ics  an d   a n a ly s es.  No   d ata  u s ed   i n   th is   s tu d y   ar e   r estricte d   o r   co n f id en tial.       RE F E R E NC E S   [ 1 ]   R .   B o mm a s a n i   e t   a l . ,   “ O n   t h e   o p p o r t u n i t i e s a n d   r i s k s  o f   f o u n d a t i o n   mo d e l s, ”   a r Xi v   p re p ri n t   a r Xi v : 2 1 0 8 . 0 7 2 5 8 ,   A u g .   2 0 2 2 .   [ 2 ]   F .   P e r e z   a n d   I .   R i b e i r o ,   “ I g n o r e   p r e v i o u s  p r o m p t :   A t t a c k   t e c h n i q u e s   f o r   l a n g u a g e   m o d e l s,”   i n   Pr o c .   N e u rI P S   Wo r k sh o p   o n   Ma c h i n e   L e a r n i n g   S a f e t y ,   N e w   O r l e a n s,  LA ,   U S A ,   D e c .   2 0 2 2 .   [ 3 ]   Y .   Li u ,   Y .   J i a ,   R .   G e n g ,   J.  J i a ,   a n d   N .   G o n g ,   “ P r o m p t   i n j e c t i o n   a t t a c k s  a n d   d e f e n s e s  i n   LL M - i n t e g r a t e d   a p p l i c a t i o n s, ”   a rX i v   p re p ri n t   a rXi v : 2 3 0 6 . 0 5 4 9 9 .   [ 4 ]   A .   Z o u ,   Z .   W a n g ,   N .   C a r l i n i ,   M .   N a sr ,   J.  Z.   K o l t e r ,   a n d   M .   F r e d r i k s o n ,   “ U n i v e r sal   a n d   t r a n sf e r a b l e   a d v e r sari a l   a t t a c k s  o n   a l i g n e d   l a n g u a g e   mo d e l s, ”   a rX i v   p r e p r i n t   a rX i v : 2 3 0 7 . 1 5 0 4 3 ,   Ju l .   2 0 2 3 .   [ 5 ]   Y .   Zh u   e t   a l . ,   “ T e a ms   o f   LL M   a g e n t s  c a n   e x p l o i t   z e r o - d a y   v u l n e r a b i l i t i e s , ”   i n   EA C L   2 0 2 6   -   1 9 t h   C o n f e r e n c e   o f   t h e   Eu r o p e a n   C h a p t e r   o f   t h e   As so c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i s t i c s,   Pr o c e e d i n g s   o f   t h e   C o n f e re n c e ,   Vo l .   1   -   ( L o n g   Pa p e r s) ,   2 0 2 6 ,   v o l .   1 ,   p p .   2 3 – 3 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 6 . e a c l - l o n g . 2 .   [ 6 ]   A .   W e i ,   N .   H a g h t a l a b ,   a n d   J .   S t e i n h a r d t ,   “ Ja i l b r o k e n :   H o w   d o e s  L LM   s a f e t y   t r a i n i n g   f a i l ? , ”   i n   A d v a n c e s  i n   N e u ra l   I n f o rm a t i o n   Pro c e ssi n g   S y s t e m s ,   D e c .   2 0 2 3 ,   v o l .   3 6 ,   p p .   1 – 1 5 ,   d o i :   1 0 . 5 2 2 0 2 / 0 7 5 2 8 0 - 3 5 0 8 .   [ 7 ]   N .   C a r l i n i   e t   a l . ,   “ A r e   a l i g n e d   n e u r a l   n e t w o r k s  a d v e r sari a l l y   a l i g n e d ? , ”   i n   Ad v a n c e s  i n   N e u ra l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s ,  D e c .   2 0 2 3 ,   v o l .   3 6 ,   d o i :   1 0 . 5 2 2 0 2 / 0 7 5 2 8 0 - 2 6 8 7 .   [ 8 ]   E.   D e b e n e d e t t i ,   J.  Z h a n g ,   M .   B a l u n o v i c ,   L .   B e u r e r - K e l l n e r ,   M .   F i sc h e r ,   a n d   F .   Tr a mèr,   “ A g e n t D o j o :   A   d y n a m i c   e n v i r o n me n t   t o   e v a l u a t e   p r o m p t   i n j e c t i o n   a t t a c k s  a n d   d e f e n ses   f o r   L LM   a g e n t s , ”   i n   A d v a n c e s  i n   N e u ra l   I n f o rm a t i o n   Pr o c e ss i n g   S y s t e m s ,   D e c .   2 0 2 4 ,   v o l .   3 7 ,   d o i :   1 0 . 5 2 2 0 2 / 0 7 9 0 1 7 - 2 6 3 6 .   [ 9 ]   S .   A b d e l n a b i ,   K .   G r e s h a k e ,   S .   M i s h r a ,   C .   E n d r e s,  T .   H o l z ,   a n d   M .   F r i t z ,   “ N o t   w h a t   y o u ’ v e   si g n e d   u p   f o r :   C o mp r o m i si n g   r e a l - w o r l d   L LM - i n t e g r a t e d   a p p l i c a t i o n s  w i t h   i n d i r e c t   p r o m p t   i n j e c t i o n s,”   i n   AI S e c   2 0 2 3   -   Pr o c e e d i n g s  o f   t h e   1 6 t h   A C M  W o r k sh o p   o n   Art i f i c i a l   I n t e l l i g e n c e   a n d   S e c u ri t y ,   N o v .   2 0 2 3 ,   p p .   7 9 – 9 0 ,   d o i :   1 0 . 1 1 4 5 / 3 6 0 5 7 6 4 . 3 6 2 3 9 8 5 .   [ 1 0 ]   X .   Li u ,   N .   X u ,   M .   C h e n ,   a n d   C .   X i a o ,   “ A u t o d a n :   G e n e r a t i n g   s t e a l t h y   j a i l b r e a k   p r o mp t s  o n   a l i g n e d   l a r g e   l a n g u a g e   mo d e l s, ”   i n   1 2 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   L e a rn i n g   R e p r e se n t a t i o n s ,   I C L R   2 0 2 4 ,   M a y   2 0 2 4 ,   p p .   5 6 1 7 4 – 5 6 1 9 4 .   [ 1 1 ]   Q .   Z h a n ,   Z.   L i a n g ,   Z .   Y i n g ,   a n d   D .   K a n g ,   “ I n j e c A g e n t :   B e n c h mar k i n g   i n d i r e c t   p r o m p t   i n j e c t i o n s   i n   t o o l - i n t e g r a t e d   l a r g e   l a n g u a g e   mo d e l   a g e n t s, ”   Pr o c e e d i n g s o f   t h e   An n u a l   Me e t i n g   o f   t h e   Ass o c i a t i o n   f o r C o m p u t a t i o n a l   L i n g u i s t i c s ,   p p .   1 0 4 7 1 – 1 0 5 0 6 ,   2 0 2 4 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . f i n d i n g s - a c l . 6 2 4 .   [ 1 2 ]   Y .   R u a n   e t   a l . ,   “ I d e n t i f y i n g   t h e   r i s k s   o f   L M   a g e n t s   w i t h   a n   L M - e m u l a t e d   s a n d b o x , ”   i n   1 2 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L e a rn i n g   Re p r e se n t a t i o n s ,   I C L R  2 0 2 4 ,   M a y   2 0 2 4 ,   p p .   2 7 0 3 1 – 2 7 0 9 8 .   [ 1 3 ]   C .   A n i l   e t   a l . ,   “ M a n y - s h o t   j a i l b r e a k i n g , ”   A n t h r o p i c ,   S a n   F r a n c i s c o ,   C A ,   U S A ,   A p r .   2 0 2 4 .   [ 1 4 ]   Y .   B a i   e t   a l . ,   “ C o n st i t u t i o n a l   A I :   H a r ml e ss n e ss   f r o m A I   f e e d b a c k , ”   a rXi v   p rep r i n t   a rX i v : 2 2 1 2 . 0 8 0 7 3 ,   D e c .   2 0 2 2 .   [ 1 5 ]   L.   O u y a n g   e t   a l . ,   “ Tr a i n i n g   l a n g u a g e   mo d e l s  t o   f o l l o w   i n st r u c t i o n s   w i t h   h u m a n   f e e d b a c k , ”   i n   A d v a n c e s  i n   N e u ra l   I n f o rm a t i o n   Pro c e ssi n g   S y s t e m s ,   D e c .   2 0 2 2 ,   v o l .   3 5 ,   p p .   2 7 7 3 0 – 2 7 7 4 4 ,   d o i :   1 0 . 5 2 2 0 2 / 0 6 8 4 3 1 - 2 0 1 1 .   [ 1 6 ]   N .   R e i mers   a n d   I .   G u r e v y c h ,   “ S e n t e n c e - B ER T:   S e n t e n c e   e mb e d d i n g s  u si n g   S i a mes e   B ER T - n e t w o r k s, ”   i n   Pro c e e d i n g s  o f   EM N L P ,   2 0 1 9 ,   p p .   3 9 8 2 – 3 9 9 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / D 1 9 - 1 4 1 0 .   [ 1 7 ]   Z.   X i a n g   e t   a l . ,   “ G u a r d A g e n t :   S a f e g u a r d   LL M   a g e n t s  v i a   k n o w l e d g e - e n a b l e d   r e a s o n i n g , ”   Pr o c e e d i n g s   o f   Ma c h i n e   L e a r n i n g   Re se a rc h ,   v o l .   2 6 7 ,   p p .   6 8 3 1 6 – 6 8 3 4 2 ,   Ju n .   2 0 2 5 .   [ 1 8 ]   V .   P .   B h a r d w a j ,   “ A g e n t   b e h a v i o r a l   c o n t r a c t s:   F o r m a l   s p e c i f i c a t i o n   a n d   r u n t i me  e n f o r c e me n t   f o r   r e l i a b l e   a u t o n o mo u s  A I   a g e n t s , ”   a rXi v   p re p r i n t   a rXi v : 2 6 0 2 . 2 2 3 0 2 ,   F e b .   2 0 2 6 .   [ 1 9 ]   H .   Li u ,   E .   I l y u sh i n ,   J .   N i ,   a n d   M .   Zh u ,   “ S a f e A g e n t :   A   r u n t i me   p r o t e c t i o n   a r c h i t e c t u r e   f o r   a g e n t i c   s y st e ms, ”   a rXi v   p re p r i n t   a rXi v : 2 6 0 4 . 1 7 5 6 2 ,   A p r .   2 0 2 6 .   [ 2 0 ]   H .   W a n g ,   C .   M .   P o s k i t t ,   a n d   J.  S u n ,   “ A g e n t S p e c :   C u s t o m i z a b l e   r u n t i me  e n f o r c e m e n t   f o r   saf e   a n d   r e l i a b l e   LL M   a g e n t s,”   i n   Pr o c .   I C S E ,   O t t a w a ,   C a n a d a ,  A p r .   2 0 2 5 .   [ 2 1 ]   R .   K .   S h a r ma ,   “ C o n t e x t C o v :   D e r i v i n g   a n d   e n f o r c i n g   e x e c u t a b l e   c o n st r a i n t s  f r o m  a g e n t   i n st r u c t i o n   f i l e s, ”   a rXi v   p re p ri n t   a rXi v : 2 6 0 3 . 0 0 8 2 2 ,   M a r .   2 0 2 6 .   [ 2 2 ]   M .   M a z e i k a   e t   a l . ,   “ H a r mB e n c h :   A   s t a n d a r d i z e d   e v a l u a t i o n   f r a mew o r k   f o r   a u t o m a t e d   r e d   t e a m i n g , ”   i n   Pro c e e d i n g s  o f   Ma c h i n e   L e a r n i n g   R e se a rc h ,   J u l .   2 0 2 4 ,   v o l .   2 3 5 ,   p p .   3 5 1 8 1 – 3 5 2 2 4 .   [ 2 3 ]   E.   P e r e z   e t   a l . ,   “ R e d   t e a m i n g   l a n g u a g e   m o d e l s  w i t h   l a n g u a g e   m o d e l s , ”   Pro c e e d i n g s  o f   t h e   2 0 2 2   C o n f e r e n c e   o n   Em p i r i c a l   Me t h o d s   i n   N a t u ra l   L a n g u a g e   Pr o c e s si n g ,   EM N L P  2 0 2 2 ,   p p .   3 4 1 9 – 3 4 4 8 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . e m n l p - mai n . 2 2 5 .   [ 2 4 ]   P .   C h a o   e t   a l . ,   “ Ja i l b r e a k B e n c h :   A n   o p e n   r o b u s t n e ss  b e n c h mar k   f o r   j a i l b r e a k i n g   l a r g e   l a n g u a g e   mo d e l s, ”   i n   A d v a n c e s  i n   N e u ra l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s ,   D e c .   2 0 2 4 ,   v o l .   3 7 ,   d o i :   1 0 . 5 2 2 0 2 / 0 7 9 0 1 7 - 1 7 4 5 .   [ 2 5 ]   S .   X i a o ,   Z .   L i u ,   P .   Z h a n g ,   a n d   N .   M u e n n i g h o f f ,   “ C - P a c k :   p a c k a g e d   r e so u r c e s  t o   a d v a n c e   g e n e r a l   c h i n e se   e m b e d d i n g   ( B A A I / b g e - smal l - en - v 1 . 5 ) , ”   h u g g i n g f a c e . c o ,   2 0 2 3 .   h t t p s: / / h u g g i n g f a c e . c o / B A A I / b g e - s mal l - en - v 1 . 5   ( a c c e ss e d   Ju n .   1 0 ,   2 0 2 6 ) .       B I O G RAP H I E S O F   AUTH O RS       S a h a n a   B .           is  a n   a ss o c iate   p ro fe ss o r  in   th e   De p a rtme n t  o f  Co m p u ter  S c ien c e   a n d   En g i n e e rin g   a t  RNS  In st it u te   o f  Tec h n o l o g y ,   Be n g a lu r u .   S h e   h o l d s  a   P h . D.  fr o m   Visv e sv a ra y a   Tec h n o lo g ica l  Un i v e rsity   (VTU)   a n d   h a s   tea c h in g   e x p e rien c e   fro m   RVCE ,   NMIT ,   a n d   AP S   C o ll e g e   o f  En g in e e rin g .   He r  re se a rc h   in tere st s  in c lu d e   v irt u a li z a ti o n   a n d   c lo u d   c o m p u ti n g .   S h e   h a s  o v e r  4 5   p u b li c a ti o n s  in d e x e d   in   G o o g le  S c h o lar   a n d   S c o p u s   (H - in d e x :   7 ).   S h e   is  a   re c ip ien t  o f  t h e   IEE E  Co m S o c   P ro tsa h a n   Aw a rd   (2 0 2 3 – 24)   a n d   c u rre n tl y   se rv i n g   as   EXECOM   m e m b e r   of   WI E   Ba n g a lo re   se c ti o n .   S h e   c a n   b e   c o n tac ted   a t   e m a il :  sa h a n a . b @rn sit. a c . i n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   16 ,   No .   5 ,   Octo b e r   20 26 :   2 7 9 5 - 2 8 0 5   2804         Cha r ith r a   H .   S .             is  a   d ri v e n   a n d   e n th u sia stic  Co m p u ter  S c ien c e   a n d   En g in e e rin g   stu d e n t   a t  RN S   I n stit u te  o f  Tec h n o lo g y ,   Be n g a lu r u .   Wi t h   a   stro n g   fo u n d a ti o n   in   P y th o n ,   Ja v a ,   m a c h in e   lea rn in g ,   a n d   fu l l  sta c k   d e v e lo p m e n t ,   sh e   d e m o n stra tes   t h e   a b il it y   t o   a p p ly   tec h n ica l  c o n c e p ts  t o   p ra c ti c a l,   re a l - wo rl d   s o lu t io n s.   He r  c o re   a re a s  o f   in tere st  in c l u d e   a rti ficia l  in telli g e n c e ,   a g e n t ic  AI  s y ste m s,  c y b e r  se c u rit y ,   d a ta  a n a ly ti c s,  a n d   i n telli g e n t  s o ftwa re   d e v e lo p m e n t,   a n d   s h e   is  a c ti v e l y   e n g a g e d   in   re se a rc h   a n d   p ro jec t  wo rk   a c ro ss   t h e se   d o m a i n s.   Kn o wn   fo r   h e r  a n a ly ti c a l  th i n k i n g ,   h a n d s - o n   a p p ro a c h ,   a n d   e a g e rn e ss   to   lea rn ,   sh e   c o n siste n t ly   e x p lo re s  e m e rg in g   tec h n o l o g ies   a n d   i n n o v a ti v e   p r o b lem - so l v i n g   m e th o d s .   Th r o u g h   h e r   a c a d e m ic   jo u rn e y   a n d   re se a rc h   e x p e rien c e ,   s h e   a ims   to   c o n - tri b u te   to   t h e   a d v a n c e m e n t   of   in telli g e n t   sy ste m s   a n d   imp a c tfu l   AI - d ri v e n   so l u ti o n s   t h a t   a d d re ss   re a l - wo rld   c h a ll e n g e s.  S h e   c a n   b e   c o n tac ted   a t  c h a rit h ra h s@ g m a il . c o m .         Ar shi th a   S .           is  p u rs u in g   a   Ba c h e lo r  o f  E n g in e e rin g   i n   c o m p u ter  sc ien c e   a n d   e n g in e e rin g   a t  RNS  In stit u te  o f  Tec h n o l o g y ,   Be n g a l u ru .   He r   re se a r c h   in tere sts  in c lu d e   a rti ficia l  in telli g e n c e ,   m a c h in e   l e a rn in g ,   d a ta  sc ien c e ,   a g e n ti c   AI  sy ste m s,  a n d   e m e rg i n g   c o m p u tati o n a l  tec h n o l o g ies .   S h e   h a s  b e e n   in v o lv e d   in   th e   d e sig n   a n d   d e v e l o p m e n t   of   in telli g e n t   s y ste m s   a d d re ss in g   c h a ll e n g e s   in   h e a lt h - c a re ,   c a re e r  g u i d a n c e ,   a n d   n a tu ra l  lan g u a g e   p ro c e ss in g .   Th r o u g h   a c ti v e   p a rt icip a ti o n   in   re se a rc h   p ro jec ts,   h a c k a th o n s,   a n d   in n o v a t io n - d riv e n   i n it iati v e s,   sh e   h a s   g a in e d   e x p e rien c e   in   a p p l y i n g   AI   a n d   d a ta - d riv e n   m e th o d o l o g ies   to   so lv e   p ra c ti c a l  p ro b lem s.   He r  w o rk   re flec ts  a   stro n g   c o m m it m e n t  t o   a d v a n c in g   tec h n o l o g y   f o r   so c ieta l  imp a c t  a n d   fo ste ri n g   in n o v a ti o n   in   e m e rg in g   a re a s  o f  c o m p u ter  sc ien c e .   S h e   c a n   b e   c o n tac ted   a t  e m a il :  a rsh it h a . s1 1 0 4 @g m a il . c o m .         Cha n d r a k a l a           is  c u rre n tl y   p u rsu in g   h e r   Ba c h e lo r   o f   En g i n e e rin g   in   c o m p u ter   sc ien c e   a n d   e n g i n e e r i n g   at   R N S   I n s t i t u t e   of   T e c h n o l o g y ,   B e n g a l u r u ,   a n d   is   p r e s e n t l y   in   h e r   t h i r d   y e a r   of   s t u d y .   H e r   p r i m a ry   a re a s   of   in tere st   in c lu d e   a rti f icia l   in tel li g e n c e ,   a g e n ti c   AI   sy ste m s,   a n d   e m e rg in g   tec h n o lo g ies .   S h e   h a s  c o n tri b u ted   t o   th e   re se a rc h   a n d   d e v e lo p m e n t  o f  R M IC - G u a rd ,   a   c ry p to g ra p h ica ll y   e n f o rc e d   m id d lew a re   sy ste m   fo r   ru n ti m e   i d e n ti t y   c o n trac t  e n fo rc e m e n t  in   a u to n o m o u s  L L M   a g e n ts.   S h e   h a s  a lso   w o rk e d   o n   a n   AI - b a se d   Re su m e   An a ly z e r  p ro jec t  f o c u se d   o n   i n tel li g e n t  re su m e   sc re e n in g   a n d   a n a l y sis.  Th r o u g h   h e r   a c a d e m ic   a n d   p r o jec t   wo r k ,   s h e   h a s   d e v e l o p e d   sk i ll s   in   so ftwa re   d e v e l o p m e n t,   p ro b lem - so lv i n g ,   a n d   AI - d riv e n   a p p li c a ti o n s.   S h e   is  k e e n   o n   e x p lo ri n g   e m e rg in g   tec h n o lo g ies   a n d   a d v a n c i n g   h e r   tec h n ica l  e x p e rt ise   th r o u g h   re se a rc h ,   p r o jec ts,  a n d   c o n ti n u o u s   lea rn in g .   S h e   c a n   b e   c o n tac ted   a t:   c h a n d a n a h 1 6 0 5 @g m a il . c o m .         Ne e th u   B .   K r ish n a           is   a   d e d ica ted   a n d   a m b it i o u s   t h ird - y e a r   e n g i n e e rin g   st u d e n t   at   RNS   In stit u te   o f  Tec h n o lo g y .   Wi th   a   stro n g   p a ss io n   fo r   tec h n o lo g y ,   in n o v a ti o n ,   a n d   p ro b lem - so lv i n g .   S h e   h a s   d e v e lo p e d   a   so li d   fo u n d a ti o n   in   so ftwa re   d e v e lo p m e n t,   a rti ficia l   in telli g e n c e ,   a n d   e m e rg in g   tec h n o l o g ies .   Kn o wn   fo r   a   d isc ip l in e d   w o rk   e t h ic,   a n a ly ti c a l   m in d se t,   a n d   c o m m it m e n t   to   c o n ti n u o u s   lea rn i n g .   S h e   c o n siste n tl y   se e k s  o p p o r tu n it ies   to   e x p a n d   tec h n ica l  e x p e rti se   a n d   a p p l y   k n o wle d g e   t o   re a l - wo rl d   c h a ll e n g e s.   Be y o n d   a c a d e m ics ,   sh e   is  d e e p ly   in tere ste d   in   c o d i n g   a n d   e x p lo ri n g   n e w  tec h n o l o g ica l  a d v a n c e m e n ts.   Wi t h   a   c lea r  g o a l  o f   b e c o m in g   a   su c c e ss fu l  so ftwa re   e n g in e e r,   sh e   a sp ires   to   c re a te  imp a c tfu l  so lu ti o n s  t h a t   c o n tri b u te  m e a n in g fu ll y   to   so c iet y   a n d   tec h n o l o g ica l  p ro g re ss .   S h e   c a n   b e   c o n tac ted   a t  e m a il :  n e e th u . b . k rish n a 1 0 @ g m a il . c o m .         S o u m y a   Pra sa d a           is   a   S e n io r   En g i n e e rin g   M a n a g e r   at   IBM   In d ia   S o ftwa re   Lab s ,   Ba n g a lo re ,   lea d in g   p latfo rm   d e v e lo p m e n t   fo r  IB M   Wats o n x   Orc h e stra te  (Dig it a l  Lab o r).   Wi t h   o v e r  2 5   y e a rs  o f  i n d u stry   e x p e rien c e ,   in c lu d in g   1 4   y e a rs  a t  IBM ,   sh e   h a s  c o n tri b u ted   a c ro ss   M a n u fa c tu ri n g ,   Re tail,   Tele c o m ,   Co n su l ti n g ,   a n d   He a lt h c a re   d o m a in s,  f o c u sin g   o n   AI - p o we re d   b u sin e ss   a u to m a ti o n   a n d   d ig it a l  tran sfo rm a ti o n .   He r  wo rk   h a s  a lso   b e e n   fe a tu re d   o n   IND IAa i.   S h e   is  a   m e m b e r  o f  th e   IBM   Ac a d e m y   of   Tec h n o lo g y   a n d   h a s   a c ti v e ly   c o n tri b u ted   to   th e   tec h   e c o s y ste m   th r o u g h   I EE E   I n d ia   c o l lab o ra ti o n s,   G ra c e   Ho p p e r   Ce leb ra ti o n   (G HC)   In d ia   re v iew in g ,   a n d   g lo b a l   c o n f e re n c e   e n g a g e m e n ts.  He r   re c o g n i ti o n s   i n c lu d e   th e   V - WA   50   Aw a rd   fo r   Wo m e n   in   Tec h n ica l   Lea d e rsh ip   ( 2 0 2 1 )   a n d   b e in g   n a m e d   a m o n g   th e   To p   1 0   Wo m e n   i n   IT   –   Da ta  Lea d e rs  a t   th e   W o m e n   i n   I T  Aw a rd s   As ia  (2 0 2 1 ).   S h e   a lso   su p p o rts   S TE M   m e n t o rsh i p ,   d i v e rsity   i n it i a ti v e s,   a c a d e m ic   c o ll a b o ra ti o n s,   a n d   h a s   m u lt ip le  p a ten ts   a n d   re se a rc h   p u b li c a ti o n s   to   h e r   c re d it .   S h e   can   be   c o n tac ted   at   e m a il :   s p r a s a d a @ i n . i b m . c o m .       Evaluation Warning : The document was created with Spire.PDF for Python.