T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   4 A u g u s t   20 26 ,   p p .   1 216 ~1 2 2 3   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 4 . 27807          1216       J o ur na l ho m ep a g e :   h ttp : //telko mn ika . u a d . a c. i d   Decent ra li z ed  m u lti - a g ent  o rc hestr a tion for leg a cy  order - to - ca sh o pti m i z a tion       Ra hu l K u m a T ha t ik o nd a 1 ,   Su cha rit ha   Do nepu di 2   1 S c h o o l   o f   B u s i n e ss,   U n i v e r si t y   o f   C o n n e c t i c u t ,   S t o r r s,  U n i t e d   S t a t e s   2 R o w l a n d   S c h o o l   o f   B u si n e ss,  P o i n t   P a r k   U n i v e r si t y ,   P i t t sb u r g h ,   U n i t e d   S t a t e s       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J an   13 2 0 2 6   R ev i s ed   A p r   22 2 0 2 6   A cc ep ted   Ma y   25 2026       L e g a c y   e n terp rise   re so u rc e   p lan n in g   (ERP sy ste m se rv e   a th e   o p e ra ti o n a l   b a c k b o n e   o f   g lo b a c o m m e rc e   b u o f ten   c re a te  b o tt len e c k d u e   to   t h e ir  rig id ,   m o n o li th ic  d e sig n .   A o rg a n iza ti o n i n c o rp o ra te  a rti f icia in telli g e n c e   (A I),   th e se   o u t d a ted   sy ste m stru g g le  to   su p p o rt  h ig h - sp e e d ,   p a ra ll e l   w o rk f lo w s,   c re a ti n g   a   sig n if ica n in teg ra ti o n   c h a ll e n g e .   T h is  p a p e i n tro d u c e a   n o n - in tr u siv e   m o d e rn iza ti o n   a p p ro a c h   t h a o v e rlay a   d e c e n tralize d   m u lt i - a g e n t   s y ste m   (M A S o n to   e x isti n g   in f ra stru c tu re   w it h o u re q u iri n g   in v a siv e   c o d e   c h a n g e s.  B y   d e v e lo p i n g   a   d ig it a l   tw in   o f   th e   o r d e r - to - c a sh   (O2 C)   p ro c e ss ,   w e   train   a u to n o m o u a g e n ts  th ro u g h   mu lti - a g e n re in f o rc e m e n lea rn in g   (M A R L to   m a n a g e   c re d it   v a li d a ti o n ,   i n v e n to ry   a ll o c a ti o n ,   a n d   f u lf il l m e n t.   W e   a d a p th e   c e n tralize d   train in g ,   d e c e n tralize d   e x e c u ti o (CT DE)  f ra m e w o rk   to   m e e O2 c o n st ra in ts,  e n a b l in g   a g e n ts  to   lea rn   g lo b a ll y   o p ti m a stra t e g ies   w h il e   o p e ra ti n g   in d e p e n d e n tl y .   S im u latio n   re su lt s h o w   th a th is  a rc h it e c tu re   su rp a ss e ru le - b a se d   ro b o ti c   p r o c e ss   a u to m a ti o n   ( R P A )   b a se li n e s,  in c re a sin g   to tal  th r o u g h p u b y   6 . 9 %   o v e a   m o n o li t h ic  se tu p ,   th o u g h   a a   6 . 3 %   e rro ra te  d u e   to   a g g re s siv e   a ll o c a ti o n   p o li c i e s.  T h e se   re su lt in d ica te  th a d e c e n tralize d   a g e n t - b a se d   o rc h e stra ti o n   p ro v id e a   sc a lab le  a p p ro a c h   f o m o d e rn izi n g   leg a c y   ERP s,  o f f e rin g   in c re a se d   a g il it y   w it h o u t h e   risk s a ss o c iate d   w it h   p latf o rm   re p lac e m e n t.   K ey w o r d s :   Dig ital t w in   Le g ac y   e n ter p r is r eso u r ce   p lan n i n g   Mu lti - a g en s y s te m s   P r o ce s s   o r ch estra tio n   R ein f o r ce m e n t le ar n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R ah u l K u m ar   T h atik o n d a   Sch o o l o f   B u s i n e s s ,   Un iv er s it y   o f   C o n n ec t icu t   Sto r r s ,   C T   0 6 2 6 9 ,   Un ited   States   E m ail: r ah u l.t h ati k o n d a @ u co n n . ed u       1.   I NT RO D UCT I O   E n ter p r is r eso u r ce   p lan n in g   ( E R P )   s y s te m s   s er v as  t h o p er atio n al  b ac k b o n o f   g lo b al  co m m er ce .   Yet,   s i g n i f ican p o r tio n   o f   th e n ter p r is w o r k lo ad   is   ca r r ied   b y   le g ac y   ar ch i tectu r es  ch ar ac ter ized   b y   m o n o lit h ic  co d eb ases   an d   r ig id ,   s eq u en tial  lo ck i n g   [ 1 ] .   W h ile  m o d er n   ag ile  f r a m e w o r k s   e m p h a s ize  m icr o s er v ice s ,   le g ac y   o r d er - to - ca s h   ( O2 C )   p r o ce s s es   o f te n   o p er ate  as  s tr ict   p ip elin e s   wh er d ela y   i n   o n e   s tag ( e. g . ,   c r ed it  ch ec k )   b lo ck s   t h en t ir s eq u e n ce   to   m ai n tai n   ato m ici t y ,   co n s is te n c y ,   i s o latio n ,   d u r ab ilit y   ( AC I D )   co m p lia n ce   [ 2 ] .   T h is   ar ch itect u r al  r i g id it y   cr ea te s   h ea d - of - li n b lo ck in g   p r o b lem ,   i n   w h ich   leg ac y   O2 C   c y cle s   o f ten   i n cu r   3 0 - 4 0 o p e r atio n al   laten c y   d u to   r eso u r ce   co n ten tio n .   As  m ar k et  d e m a n d s   s h i f to w ar d   r ea l - ti m r esp o n s iv e n es s ,   th i s   s eq u e n tia r ig id it y   b ec o m es  cr itical  b u s i n e s s   liab ilit y ,   f o r ci n g   o r g an izatio n s   to   n a v i g a te  in tr icate   tr ad e - o f f s   b et w ee n   co s t,  s er v ice,   an d   s u s tai n ab ilit y   [ 3 ] .   Si m u lta n eo u s l y ,   th e   f ie ld   o f   m u lti - ag e n r ei n f o r ce m e n lea r n in g   ( M AR L )   h a s   m atu r ed ,   w it h   r ec e n t   w o r k s   d e m o n s tr atin g   s u cc ess   in   co m p le x ,   n o n - d if f er e n tiab le  en v ir o n m e n ts .   Un lik p ass iv r o b o tic  p r o ce s s   au to m at io n   ( R P A )   b o ts   th at  f o llo w   p r e - d ef in ed   r u le s ,   ar tif ici al  in telli g e n ce   ( A I )   ag e n ts   p o s s ess   t h au to n o m y   to   p er ce iv th eir   e n v ir o n m e n t   an d   r ea s o n   ab o u g o als  [ 4 ] .   Sp ec if icall y ,   c o n s tr ain ed   M AR L   ( C M AR L )   h a s   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           Dec en tr a liz ed   mu lti - a g en t o r ch estr a tio n   fo r   leg a cy   o r d er - to - ca s h   o p timiz a tio n   ( R a h u l Ku ma r   T h a tiko n d a )   1217   e m er g ed   as   d o m i n an t   p ar ad ig m   f o r   o p ti m izin g   s y s te m s   w i th   h ar d   s af et y   co n s tr ai n ts   [ 5 ] ,   [ 6 ] .   R ec en s t u d ies  h av e   ap p lied   th ce n tr alize d   tr a in i n g ,   d ec e n tr alize d   ex ec u t io n   ( C T DE )   p ar ad ig m   to   d e ce n tr alize d   en er g y   m an a g e m e n [ 7 ] ,   [ 8 ]   an d   au to n o m o u s   lo g is tic s   [ 9 ] ,   d e m o n s tr atin g   th a ag e n t s   ca n   lear n   c o o p er ativ p o licies   w it h o u t r eq u ir in g   ac ce s s   to   th e   g lo b al  s tate  d u r in g   e x ec u t io n .   E x ten s i v r esear ch   h i g h li g h t s   th g r o w i n g   i m p ac t o f   A I   a n d   au to m at io n   i n   s u p p l y   c h ai n   o p ti m izat io n   [ 1 0 ] [ 1 9 ] .   Ho w e v er ,   r ec en i n n o v atio n s   e x p lo r th u s o f   lar g e   lan g u ag m o d els  ( L L Ms )   f o r   in v e n to r y   m an a g e m e n [ 2 0 ] ,   [ 2 1 ] ,   b u th e y   t y p icall y   ass u m m o d er n   ap p licati o n   p r o g r am m i n g   i n ter f ac e   ( A P I )   co n n ec ti v it y   r at h er   th a n   t h b r ittl co n s tr ain t s   o f   m o n o li th ic  en ter p r is s o f t w ar e.   A   cr itical  g ap   r e m ai n s m o s t   ex is t in g   M AR L   f r a m e w o r k s   a s s u m m o d if iab le,   A PI - f ir s t e n v ir o n m e n t s   w h er a g en t s   ca n   in ter ac t f r ee l y .   T h er is   li m ited   r esear c h   o n   ap p ly i n g   s a f a n d   r esil ie n t   r e in f o r ce m en lear n i n g   ( RL )   [ 2 2 ] ,   [ 2 3 ]   to   o r ch estra te  b lac k   b ox   leg a c y   s y s te m s   w it h o u in v a s i v e   co d r ef ac to r in g .   Dep lo y i n g   ad v an ce d   ag e n t s   d ir ec tl y   w it h in   m ai n f r a m e - b ased   E R P   is   f r au g h w it h   r i s k d ir ec w r ite - ac ce s s   r is k s   d ata  co r r u p tio n ,   an d   u n tr ai n ed   a g en t s   ca n   tr i g g er   cu s to m er - f ac i n g   f a ilu r e s .   W h ile  d ig ital   r ep r esen tatio n s   h a v e v o lv ed   i n to   t h e   d ig ital  t w i n   o f   an   o r g a n izatio n   ( DT O )   v ia  p r o ce s s   m i n i n g   [ 2 4 ] ,   p r io r   w o r k   h a s   p r i m ar il y   u s ed   th e m   f o r   o f f li n e   s ch ed u lin g   r ath er   t h a n   as a cti v tr ain in g   e n v ir o n m e n t s   f o r   au to n o m o u s   ag e n t s   [ 2 5 ] - [2 8 ] .   T h is   p ap er   ad d r ess es  th at  g ap   b y   tr ea ti n g   th le g ac y   E R P   as  f i x ed   en v ir o n m e n co n s tr a in r ath er   th an   m o d i f iab le  v ar i ab le.   W p r o p o s a   n o v el  n o n - i n v asi v o r ch estra tio n   f r a m e wo r k   th at  o v er la y s   d ec en tr alize d   m u lti - a g en s y s te m   ( M A S)  o n to   th le g ac y   co r e.   R ath er   th a n   i n ter ac ti n g   d ir ec tl y   w ith   th e   p r o d u ctio n   d atab ase,   ag en t s   t r ain   w it h i n   DT -   h ig h - f id elit y   v ir tu al  r e p lica  o f   th e   O2 C   p r o ce s s   th a t   m ir r o r s   th le g ac y   E R P s   s eq u en tial  w o r k f lo w s   a n d   r eso u r ce   co n s tr ain t s   [ 2 7 ] .   Ou r   co n tr ib u tio n s   ar e:   (i )   a   DT m eth o d o lo g y   f o r   s af e   R L   tr ai n i n g   u s i n g   p r o ce s s   m i n in g ;   ( ii)  a ad ap tatio n   o f   th C T DE   ar ch itect u r s p ec if icall y   f o r   co n s tr ain ed   O2 C   w o r k f lo w s ;   an d   ( iii)  e m p ir ical   v alid atio n   s h o w i n g   6 . 9 th r o u g h p u in cr ea s e   o v er   m o n o lith ic  b aseli n es.   T h n o v el  co n tr ib u tio n   o f   t h is   s tu d y   i s   th ap p licatio n   o f   C T DE - b ased   M A R L   to   leg ac y   O 2 C   w o r k f lo w s ,   b r id g i n g   t h g ap   b etw ee n   m o d er n   A I   ag ilit y   an d   le g ac y   e n ter p r is s tab ilit y .       2.   M E T H O D   T h is   s ec tio n   o u tli n es  th m at h e m atica f r a m e w o r k   o f   th e   leg ac y   O2 C   p r o ce s s ,   t h co n s tr u c tio n   o f   t h e   DT en v ir o n m en t,  a n d   th s p ec if ic  ar ch i tectu r o f   t h d ec e n tr alize d   ag e n ts   u s ed   f o r   o r ch e s tr atio n .     2 . 1 .    P r o ble m   f o r m ula t io n   W f o r m u late  th e   O2 C   p r o ce s s   as  d ec e n tr alize d   p ar tiall y   o b s er v ab l Ma r k o v   d ec is i o n   p r o c ess   ( Dec - P OM DP ) ,   d ef in ed   as  t u p le  = ( , , , , , , , ) .   Her e,   = 5   r ep r esen ts   th n u m b er   o f   ag e n ts .     d escr ib es  th g lo b al  en v ir o n m en s tate,   i n cl u d in g   o r d er   q u eu e s ,   in v e n to r y   le v els,  a n d   r eso u r ce   av ailab il it y .   ( , )   d en o tes  th tr an s i tio n   p r o b ab ilit y   g o v er n ed   b y   E R P   b u s i n es s   r u le s   an d   s to c h asti f ail u r r ates  ( e. g . ,   cr ed it c h ec k   ti m eo u ts ) .   T o   ex p licitl y   m o d el  t h ese  tr an s it io n   p r o b ab ilit ies,  w ad o p ted   th p r o ce s s - m i n i n g - b a s ed   DT O   f r a m e w o r k   p r o p o s ed   b y   Vital et  a l [ 2 7 ] .   W e   u s ed   th I n d u cti v Min er   alg o r it h m   i n   t h e   p r o ce s s   m i n i n g   f o r   P y t h o n   ( P M4 P y )   lib r ar y   to   ex t r ac s o u n d   p r o ce s s   tr ee   f r o m   h is to r ical  s y s te m s ,   ap p licatio n s ,   an d   p r o d u cts  i n   d ata  p r o ce s s in g   ( S A P )   ev e n t   lo g s ,   en s u r in g   t h e   s i m u latio n   is   d ea d lo ck - f r ee .   As  d e m o n s tr ated   i n   r ec en t   liter atu r [2 7 ] ,   th is   ap p r o ac h   allo w s   f o r   th s y s te m atic  d i s co v er y   o f   s y s te m   d y n a m ic s   i n clu d i n g   s to ch ast ic   f ail u r r ates  a n d   b r an c h in g   p r o b a b ilit ies   d ir ec tl y   f r o m   e x ec u t io n   d ata,   r at h er   t h an   r el y i n g   o n   m a n u a l   m o d eli n g .   T h is   d ata - d r iv e n   m o d el   w as   th e n   w r ap p ed   in   cu s to m   Op en A I   G y m   i n ter f ac to   s er v a s   t h e   tr ain i n g   e n v ir o n m e n t.   Th ag e n ts   s h ar g lo b al  r e w ar d   f u n c tio n   ( , )   to   en co u r ag co o p er atio n   b u o p er ate   u n d er   p ar tial o b s er v ab ilit y ,   m ea n in g   ea c h   a g en t     o n l y   p er ce iv es a   lo ca l o b s er v atio n   O .   T h is   r ef lects   r ea l - w o r ld   co n s tr ai n ts   w h er w ar eh o u s a g en d o es  n o h av e   ac ce s s   to   s en s iti v f i n a n cial  d ata  u s ed   b y   t h cr ed it  ag en t.     2 . 2 .    Ag ent   ar chit ec t ure   T h s y s te m   i s   d ec o m p o s ed   in t o   f iv s p ec ialized   ag e n t s ,   ea ch   m an a g i n g   a   cr itical  s u b - p r o ce s s   o f   th e   O2 C   c y c le.   T h is   d ec o m p o s iti o n   is   n o ar b itra r y ;   it  ali g n s   1 :1   w it h   t h A m er ica n   P r o d u ctiv it y   a n d   Q u alit y   C en ter   ( A P QC )   p r o ce s s   class i f icatio n   f r a m e w o r k   ( P C F)  f o r   O2 C   ( I D:  3 . 0 ) ,   en s u r i n g   t h at  t h ag e n r o les  m a p   d ir ec tl y   to   s ta n d ar d   in d u s tr y   o r g an izatio n al  s tr u ct u r es.   T h s p ec i f ic  r o les,  o b s er v at io n s ,   a n d   ac tio n s   ar e   d ef in ed   i n   T ab le  1 .   A s   ill u s tr ated   in   F ig u r 1 ,   th e s a g en t s   o p er ate  as  an   o v er la y   o n   t h leg ac y   co r an d   in ter ac t v ia  th DT in ter f ac e.     T h d ec en tr alize d   MA S   ( to p   l a y er )   co n s i s ts   o f   f i v s p ec iali z ed   ag en t s   t h at  o b s er v a n d   ac t   u p o n   t h e   d ig ital  t w i n   in ter f ac ( m id d le  la y er ) .   T h is   d ig ital  r ep lica  s i m u lates  t h r ig id   O2 C   co n s t r ain ts ,   ef f ec t iv el y   is o latin g   t h p r o d u ctio n   le g ac y   E R P   ( b o tto m   la y er )   f r o m   d i r ec t,  h ig h - r is k   ag e n i n ter ac ti o n s   d u r i n g   tr ain i n g   an d   v alid atio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                       I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 216 - 1 2 2 3   1218   T ab le  1 .   Mu lti - a g en Ma r k o v   d ec is io n   p r o ce s s   d ef i n itio n   A g e n t   t y p e   R o l e   L o c a l   o b se r v a t i o n   s p a c e   ( )   A c t i o n   s p a c e   ( )   O r d e r   a g e n t   I n g e st i o n   a n d   p r i o r i t i z a t i o n   Q u e u e   d e p t h ,   o r d e r   v a l u e ,   d u e   d a t e   P r i o r i t i z e ,   q u e u e ,   r e j e c t   C r e d i t   a g e n t   F i n a n c i a l   v a l i d a t i o n   C u s t o me r   c r e d i t   sco r e ,   o u t s t a n d i n g   b a l a n c e ,   r i s k   e x p o su r e   A p p r o v e ,   d e n y ,   man u a l _ r e v i e w   I n v e n t o r y   a g e n t   S t o c k   m a n a g e me n t   S t o c k   k e e p i n g   u n i t   ( S K U )   a v a i l a b i l i t y ,   r e o r d e r   p o i n t   s t a t u s ,   b a c k l o g   si z e   A l l o c a t e ,   b a c k o r d e r ,   r e l e a se _ h o l d   F u l f i l l me n t   ag e n t   L o g i st i c o r c h e st r a t i o n   P i c k i n g   c a p a c i t y ,   l a n e   c o n g e st i o n ,   s h i p p i n g   c o st   S c h e d u l e _ p i c k ,   c o n so l i d a t e ,   e x p e d i t e   B i l l i n g   a g e n t   R e v e n u e   r e c o g n i t i o n   D e l i v e r y   p r o o f ,   p a y me n t   t e r ms,  i n v o i c e   st a t u s   G e n e r a t e _ i n v o i c e ,   d u n n i n g ,   w r i t e _ o f f           Fig u r 1 .   T h p r o p o s ed   n o n - in v asi v o r ch estra tio n   ar ch itect u r e       2 . 3 .    T ra ini ng   a lg o rit hm   W em p lo y   p r o x i m al  p o lic y   o p tim izatio n   ( P P O)   w ith   C T DE   ar ch itectu r [ 2 9 ] .   Du r in g   tr ain i n g ,   ce n tr alize d   cr itic  n et w o r k    ( )   est i m ate s   th e   v al u o f   th e   g lo b al   s tate,   h e lp in g   to   s tab ilize   th e   lear n in g   o f   th d ec en tr alize d   ac to r   n et w o r k s       (     , ) .   T h o b j ec tiv f u n ctio n   f o r   th ag en t,  t h clip p ed   s u r r o g ate  o b j ec tiv e,   is   d ef in ed   as:      (  ) =   [   (     (     )      ,    (     (     )   , 1     , 1   +     )    ) ]       w h er    is   th ad v a n ta g es ti m ate  an d   = 0 . 2   is   th clip p in g   p ar a m eter .   Du r in g   e x ec u tio n ,   t h ce n tr alize d   cr itic is d is ca r d ed ,   an d   ag e n t s   ac t so lel y   o n   t h eir   lo ca l o b s er v atio n s   .     2 . 4 .    Re w a rd  s ha pin g   T o   p r ev en ag e n ts   f r o m   o p ti m izi n g   f o r   th r o u g h p u at  th ex p en s o f   co m p lia n ce   o r   ac cu r ac y ,   w e   u tili ze   co m p o s ite  r e w ar d   f u n ctio n :      =   1   ·   (  )     2   ·   ( )     3   ·   (  )       w s et  1 = 1 . 0   ( th r o u g h p u t) ,   2 = 0 . 01   ( cy cle  ti m e) ,   an d   3 = 10 . 0   ( er r o r s ) .   T h h ig h   p en alt y   f o r   er r o r s   r ef lects t h b u s in e s s   cr iticali t y   o f   p r ev en ti n g   i n co r r ec t sh ip m en ts   o r   co m p lian c v io latio n s .     2 . 5 .     B a s eline  ar chit ec t ures   T o   r ig o r o u s l y   v al id ate  th e   p r o p o s ed   f r a m e w o r k ,   w e   d ef i n t h r ee   d is ti n ct  ar c h itect u r al  b eh av io r s   f o r   co m p ar is o n :   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           Dec en tr a liz ed   mu lti - a g en t o r ch estr a tio n   fo r   leg a cy   o r d er - to - ca s h   o p timiz a tio n   ( R a h u l Ku ma r   T h a tiko n d a )   1219   a.   Mo n o lith ic  ( b aseli n e) :   s i m u lat es  th leg ac y   m ain f r a m b eh a v io r   w h er p r o ce s s es  ar s tr ictl y   s eq u e n ti al.   T o   m ai n tai n   AC I co m p lian c e,   th s y s te m   e m p lo y s   g lo b al  lo ck in g d ela y   i n   th cr e d it   s tag b lo ck s   I n v e n to r y   all o ca tio n   f o r   all  s u b s eq u en t o r d er s .   b.   R u le - ba s ed   R P A :   s i m u lates  a   m o d er n   R P A   ap p r o ac h .   T as k s   ar p ar allelize d   w h er p o s s ib le,   b u th e   lo g ic  is   co n s er v ati v e .   I f   a n   o r d er   h its   s p ec if ic  r is k   th r es h o ld ,   th R P A   b o h alt s   th p r o ce s s   i m m ed iatel y   to   p r ev en t e r r o r s ,   p r io r itizin g   s a f et y   o v er   th r o u g h p u t.   c.   MA ( p r o p o s ed ) :   th MA S   e m p lo y s   a n   o p ti m is t ic   p o licy .   A g e n t s   lear n   to   p ip eli n n o n - d ep en d en t   tas k s   ( e. g . ,   i n itiati n g   p ick in g   w h ile  f i n al  cr ed it  clea r an ce   i s   p en d in g )   b ased   o n   p r o b ab ilis tic  s u cc e s s ,   p r io r itizin g   m ax i m u m   th r o u g h p u t.       3.   RE SU L T S AN D I SCU SS I O N   T h is   s ec tio n   p r esen ts   t h e m p ir ical  v alid atio n   o f   th p r o p o s ed   f r a m e w o r k ,   d etaili n g   t h s i m u lati o n   p ar am eter s ,   co m p ar ati v p er f o r m a n ce   r esu lt s   ag ai n s t h m o n o lith ic  an d   R P A   b aselin es,  an d   d is cu s s io n   o f   th o b s er v ed   tr ad e - o f f s .     3 . 1 .     Si m ula t io env iro n m en t   We   d ev elo p ed   d is cr ete - ev en s i m u latio n   to   v alid ate  th f r a m e w o r k .   T h en v ir o n m e n p ar a m ete r s ,   d etailed   in   T ab le  2 ,   w er ch o s en   to   r ef lect  h i g h - s tr es s   le g ac y   e n v ir o n m en w it h   n o n - h o m o g en eo u s   o r d er   ar r iv als an d   s to c h ast ic  r eso u r c co n ten tio n .       T ab le  2 .   Sim u latio n   an d   h y p er p ar am eter   co n f i g u r atio n   P a r a me t e r   ca t e g o r y   P a r a me t e r   na me   V a l u e   /   di s t r i b u t i o n   D e scri p t i o n   D a t a se t   O r d e r   va l u e   ( 100 , 5000 )   U n i f o r m d i st r i b u t i o n   ( U S D )   D a t a se t   O r d e r   a r r i v a l   r a t e   P o i sso n   ( = 5 )   N o n - h o mo g e n e o u s a r r i v a l   En v i r o n me n t   S i mu l a t i o n   h o r i z o n   1 0 0 0   D i scre t e   t i me   u n i t s   p e r   e p i so d e   En v i r o n me n t   R e so u r c e   po ol   10   W o r k e r   t h r e a d s   f o r   p r o c e ssi n g   En v i r o n me n t   F a i l u r e   p r o b .   ( c r e d i t )   = 0 . 10   P r o b a b i l i t y   o f   t i me o u t   T r a i n i n g   T o t a l   ti me st e p s   5 , 0 0 0 , 0 0 0   T o t a l   t r a i n i n g   d u r a t i o n   T r a i n i n g   L e a r n i n g   r a t e   ( )   3 × 10⁻   S t e p   si z e   T r a i n i n g   D i sco u n t   f a c t o r   ( )   0 . 9 9   I mp o r t a n c e   o f   f u t u r e   r e w a r ds       3 . 2 .     P er f o rm a nce  c o m pa ri s o n   T ab le  3   s u m m ar ize s   t h co m p ar ativ p er f o r m a n ce   ac r o s s   th t h r ee   ar ch itec tu r es.  T h r u le - b ased   R P A   b aseli n r ed u ce d   th av er ag cy c le  ti m b y   2 3 . 3 ( f r o m   2 7 . 7 1   t o   2 1 . 2 6   tim u n it s )   co m p ar ed   to   th m o n o lit h i s y s te m   b y   p ar a lleli zin g   in d ep en d e n ta s k s .   Ho w e v e r ,   R P A   f a iled   to   y ie ld   s i g n i f ican i n cr ea s i n   th r o u g h p u ( 1 7 6   v s .   1 7 5   o r d er s ) .   T h is   is   a ttrib u ted   to   t h R P A s   r ig id ,   co n s er v at iv e   lo g ic,   w h ic h ,   li k t h e   m o n o lit h i s y s te m ,   h alt s   p r o ce s s i n g   i m m ed iatel y   u p o n   e n co u n ter in r is k   t h r es h o ld s   to   m a in tai n   ze r o   er r o r s .       T ab le  3 .   E x p er im e n tal  r esu lts   co m p ar is o n   K e y   p e r f o r man c e   i n d i c a t o r   ( K P I )   M o n o l i t h i c   ( b a s e l i n e )   R P A   ( r u l e - b a se d )   M A S   f r a mew o r k   ( p r o p o se d )   R e l a t i v e   c h a n g e   ( M A S   v m o n o )   T o t a l   t h r o u g h p u t   ( o r d e r s)   1 7 5   ( ±   0 . 0 0 )   17 ( ±   0 . 0 0 )   1 8 7   ( ±   <   0 . 0 1 )   + 6 . 9 %   A v g .   c y c l e   t i me   ( t i me   u n i t s)   2 7 . 7 1   2 1 . 2 6   1 7 . 9 3   - 3 5 . 3 %   Er r o r   r a t e   ( f a i l e d )   0 . 0 %   0 . 0 %   6 . 3 %   N / A   N e t   e c o n o mi c   v a l u e   ( $ )   $ 8 7 , 5 0 0   $ 8 8 , 0 0 0   $ 9 2 , 9 1 0   + 6 . 2 %       I n   co n tr ast,  th p r o p o s ed   MA f r a m e w o r k   ac h ie v ed   th h ig h e s th r o u g h p u ( 1 8 7   o r d e r s )   an d   th lo w es c y cle  ti m ( 1 7 . 9 3   u n its ) .   B y   e m p lo y i n g   an   o p ti m i s ti c   allo ca tio n   p o lic y ,   th ag e n ts   lear n ed   to   p ip elin m ar g i n al  o r d er s   th at  th R P A   s y s te m   w o u ld   r ig id l y   r ej ec t.  W h ile  th i s   in tr o d u ce d   6 . 3 % e r r o r   r ate,   th s y s te m   s u cc e s s f u ll y   p r o ce s s ed   1 2   a d d itio n al  o r d er s   p er   ep is o d e   th at  h ad   p r ev io u s l y   b ee n   lo s d u to   s y s te m   r i g id it y .   T h tr ain in g   s tab ilit y   o f   t h is   p o lic y   i s   e v id en ce d   b y   t h co n v er g e n ce   p lo i n   Fig u r 2 ,   w h i ch   s h o w s   t h m ea n   r e w ar d   s tab ilizi n g   a f ter   3 . 5   m i llio n   ti m estep s .   T h p lo illu s tr ate s   th e   m ea n   co m p o s i te  r e w ar d   o v er   5   m ill io n   ti m estep s .   T h p o lic y   d em o n s tr ate s   s tab le  co n v er g en ce   a f ter   ap p r o x i m atel y   3 . 5   m i llio n   ti m estep s ,   in d icati n g   th at  t h d ec en tr alize d   ag e n t s   s u cc e s s f u ll y   lear n ed   co o p e r ativ e,   h ig h - t h r o u g h p u o r ch estra tio n   s tr ate g y   w it h o u v io latin g   th h ea v il y   p en alize d   s i m u lated   co m p lia n ce   co n s tr ain t s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                       I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 216 - 1 2 2 3   1220       Fig u r 2 .   T r ain in g   co n v er g e n c o f   th m u l ti - a g e n t p r o x i m a l p o licy   o p ti m izatio n   ( M A P P O )   alg o r ith m       3 . 3 .     Dis cus s io n   T h r esu lts   h ig h li g h f u n d am en tal  tr ad e - o f f   b et w ee n   th e   s tab ilit y   o f   ce n tr al ized   co n tr o an d   th e   ag ilit y   o f   d ec en tr alize d   ag en ts .     3 . 3 . 1 .   E co no m ic  re t urn o n i n v est m e nt   ( RO I )   a na ly s is   A   p r i m ar y   co n ce r n   r eg ar d i n g   th o p ti m is tic  p o lic y   is   t h e   in tr o d u ctio n   o f   6 . 3 er r o r   r ate.   T o   v alid ate  th ec o n o m ic  v iab il it y   o f   th i s   tr ad e - o f f ,   w d ef i n th n et  ec o n o m ic  v al u ( )   o f   th s i m u latio n   ep is o d as:       =   (    ×      ×   )     (    ×   )       w h er    is   th a v er ag o r d er   v a lu ( $ 2 , 5 0 0 ) ,   is   th p r o f it  m ar g in   ( 2 0 %),   an d       is   th e   ad m i n is tr ativ e   co s t o f   m a n u a ll y   r ec ti f y i n g   a n   er r o r   ( $ 5 0 ) .   A p p ly i n g   th e s p ar a m eter s   to   th e x p er i m e n tal  r esu lt s :     Mo n o lith ic  b asel in e:   ( 1 7 5   ×   $ 5 0 0 )     (0   ×   $ 5 0 )   =   $ 8 7 , 5 0 0     MA f r a m e w o r k :   ( 1 8 7   ×   $ 5 0 0 )     ( 1 1 . 8   ×   $ 5 0 )   =   $ 9 2 , 9 1 0   Desp ite  in c u r r in g   r e m ed ia tio n   co s ts   f o r   f la g g ed   o r d er s ,   th M A ar ch itect u r g e n er ated   6 . 2 %   in cr ea s i n   n et  p r o f itab ili t y   ( +$ 5 , 4 1 0   p er   ep is o d e) .   T h is   r esu l co n f ir m s   th at  i n   h ig h - v o lu m le g ac y   en v ir o n m e n t s ,   t h o p p o r tu n it y   co s o f   r i g id   b lo ck i n g   ( lo s t   th r o u g h p u t)   f ar   ex ce ed s   t h e   o p er at io n al  co s o f   h u m a n - in - t h e - lo o p   ex ce p tio n   h a n d lin g .   An al y tical  ex te n s io n th is   ec o n o m ic   ad v an tag s te m s   f r o m   t h M A S s   ab ilit y   to   ex p lo it  p ar tial  o b s er v ab ilit y .   Un lik t h R P A   b aselin e   w h ic h   r elies  o n   s tatic,   g lo b all y   d ef in ed   r is k   th r es h o ld   th e   d ec en tr alize d   ag e n ts   e v al u ate  l o ca lized   s tate  s p ac es.  T h in v en to r y   a g en t ,   f o r   in s ta n ce ,   lear n s   to   allo ca te  s to ck   to   b o r d er lin cr ed it  p r o f iles   wh en   w ar e h o u s ca p ac it y   is   u n d er u tili ze d ,   ef f ec tiv e l y   tr ad in g   ca lcu lated   r is k   o f   ca n ce led   o r d er   f o r   th g u ar a n tee  o f   m a x i m izi n g   cu r r en o p er atio n al  b an d w id th .   T h is   d y n a m ic  r is k - tak i n g   is   th co r d r iv er   o f   th 6 . 9 % in c r ea s in   th r o u g h p u t.     3 . 3 . 2 .   Sens it iv it y   a na ly s is   ( re w a rd  s ha pin g )     T o   v alid ate  th i n ter n a r e w a r d   s tr u ct u r e,   w v ar ied   th e   er r o r   p en alt y   3 .   I is   cr it i ca to   n o te  t h at,   u n l ik t h s ta n d ar d   o p er atio n al  b aselin p r esen ted   in   T ab le  3 ,   th is   s e n s iti v it y   an al y s is   w as c o n d u cted   u n d er   an   ex tr e m s y s te m - s at u r atio n   s ce n ar io   to   d elib er ately   o b s er v th b o u n d ar ies  o f   ag e n p o licy   b r ea k d o w n .   T h is   en v ir o n m e n tal  s tr ess   ac co u n t s   f o r   th s i g n i f ican t l y   h i g h e r   av er ag c y cle  ti m es  a n d   elev ated   er r o r   r ates  co m p ar ed   to   n o r m al  o p er atio n s .   As  s h o w n   i n   T ab le  4 ,   d e cr ea s in g   t h p en alt y   to   an   a g g r ess i v e   3 = 5 . 0   p u s h ed   t h ag e n ts   to   m a x i m ize  t h r o u g h p u to   1 1 0   o r d er s ,   b u r esu lted   in   s e v er 5 0 8 . 5   cy cle  ti m e.   C o n v er s el y ,   in cr ea s in g   3   to   co n s er v a tiv e   2 0 . 0   s u p p r ess ed   th er r o r   r ate  to   3 0 . 2 %,   b u s tr a n g led   th r o u g h p u to   7 5   o r d e r s   an d   c y cle  ti m o f   4 6 5 . 8 .   T h s elec ted   w eig h o f   1 0 . 0   r e p r esen ts   n ec ess ar y   b alan c e   f o r   ex tr e m e - v o lu m e n v ir o n m en ts ,   m ai n tai n in g   t h r o u g h p u t   o f   9 8   o r d er s   an d   cy cle  ti m o f   4 9 0 . 9 .         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           Dec en tr a liz ed   mu lti - a g en t o r ch estr a tio n   fo r   leg a cy   o r d er - to - ca s h   o p timiz a tio n   ( R a h u l Ku ma r   T h a tiko n d a )   1221   T ab le  4 .   Sen s i tiv it y   a n al y s i s   ( r e w ar d   w eig h t   3 )   Er r o r   p e n a l t y   w e i g h t   ( 3 )   T h r o u g h p u t   ( o r d e r s)   A v g .   c y c l e   t i me   Er r o r   r a t e   5 . 0   ( a g g r e ssi v e )   1 1 0   5 0 8 . 5   4 8 . 2 %   1 0 . 0   ( b a se l i n e )   98   4 9 0 . 9   4 0 . 6 %   2 0 . 0   ( c o n se r v a t i v e )   75   4 6 5 . 8   3 0 . 2 %       3 . 4 .     Sca la bil it y   a nd   s t re s s   t esting   T o   ev alu ate  s y s te m   r o b u s t n es s   u n d er   p ea k   lo ad ,   w co n d u cted   s en s itiv it y   a n al y s is   o n   th o r d er   ar r iv al  in te n s it y   ( ) .   W e   co m p ar ed   s y s te m   p er f o r m a n ce   u n d er   n o r m al   lo ad   ( m ea n   in ter - ar r iv al  ti m 5 )   v er s u s   h ig h   s tr es s   lo ad   ( m e an   in ter - ar r iv al  ti m 2 ) ,   r ep r esen ti n g   1 5 0 s u r g in   v o lu m e.   As  s h o w n   i n   T ab le  5 ,   th m o n o lit h ic  s y s te m   s atu r ate s   q u ic k l y in cr ea s i n g   th e   lo ad   r esu lts   in   ex p o n e n tiall y   h i g h er   c y cle   ti m e s   d u to   g lo b al  lo ck in g   q u eu es.  T h MA f r a m e w o r k ,   h o w e v er ,   s ca les  n ea r l y   l in ea r l y ,   ab s o r b in g   th lo ad   in cr ea s w i th   m i n i m al  i m p ac t   o n   laten c y .   T h is   co n f ir m s   th ar ch itect u r al  ad v a n tag o f   d ec en tr alize d ,   n o n - b lo ck in g   ag e n ts   i n   h ig h - v o l u m en v ir o n m e n ts .       T ab le  5 .   Scalab ilit y   a n al y s i s   u n d er   h ig h   s tr ess   S y st e m   T h r o u g h p u t   ( n o r mal )   T h r o u g h p u t   ( h i g h   s t r e ss)   C y c l e   t i me   d e g r a d a t i o n   M o n o l i t h i c   1 7 5   1 8 2   ( s a t u r a t e d )   + 4 5 . 0 %   ( b o t t l e n e c k e d )   R P A   1 7 6   2 1 0   + 1 2 . 4 %   M A S   (p r o p o s e d )   1 8 7   2 4 5   + 5 . 1 ( st a b l e )       3 . 5 .     Si m - to - re a l t ra ns f er   a n d sa f et y   W h ile  th s i m u latio n   r esu lts   ar p r o m is i n g ,   d ep lo y i n g   R L   ag en t s   d ir ec tl y   in to   p r o d u ctio n   E R P   in tr o d u ce s   s i m - to - r ea l   r is k s ,   p r im ar il y   d u to   th s to ch a s ticit y   o f   r ea l - w o r ld   d ata,   w h i ch   m a y   d i f f er   f r o m   th d is tr ib u t io n   u s ed   to   tr ain   th d ig ita t w i n .   T o   m iti g ate  th is ,   w p r o p o s s h ad o w   m o d e   d ep lo y m en t   s tr ateg y .   I n   th i s   p h ase,   ag en ts   r ec eiv r ea l - ti m p r o d u ctio n   in p u t s   an d   g en er ate  ac tio n s ,   b u th e s ac tio n s   ar e   lo g g ed   r ath er   t h an   e x ec u ted .   Fo r   tr u en ter p r is ad o p tio n ,   th ese  tech n ical  s a f e g u ar d s   m u s b p air ed   w it h   s tr ict  g o v er n an ce   co n tr o ls .   R ea l - w o r ld   d ep lo y m en r eq u ir e s   t h at  e v er y   a g e n d ec is io n   w h et h er   it  i s   a n   i n v e n to r y   allo ca tio n   o r   a   cr ed it  h o ld   is   cr y p to g r ap h icall y   lo g g ed   to   en s u r f u ll  au d ita b ilit y   f o r   f i n a n cial  co m p lia n c e.   T o   o p e r a t i o n a l i ze   t h es e   s af eg u a r d s ,   th e   d e p l o y m en t   o f   th is   a r ch it e c tu r e   c an   b e   m an ag e d   th r o u g h   c o m m e r ci a l   c o m p l ia n c f r am ew o r k s ,   s u ch   as   th o s e   b e in g   d ev e l o p e d   b y   Su r e Pa th   Pr o t o c o l s   L L C ,   w h i ch   en s u r e   ag en t   d e c i s i o n s   a r e   f u lly   t r a n s p a r en t   an d   a d h e r e   t o   s t r ic t   f in an c i al   g o v e r n a n c e   c o n t r o l s   b ef o r e   t r an s i t i o n in g   o u t   o f   s h a d o w   m o d e .   A   d i v e r g en c m o n i t o r   c o m p a r es   t h ag en t s   s h a d o w   d e ci s i o n s   a g a in s th e   l eg a cy   s y s t em s   a c tu a o u t c o m e s .   On l y   w h en   th e   ag en t s   p o l i cy   c o n v er g es   t o   a   s af e ty   th r esh o l d   ( e . g . ,   < 0 . 1 %   h a z a r d o u s   e r r o r   r a t e )   i s   c o n t r o l   g r a d u al ly   h an d e d   o v e r ,   e n s u r in g   th a t   th e   l e g ac y   s y s t em s   s ta b i l ity   i s   n ev e r   c o m p r o m is e d   b y   ex p l o r at i o n   n o is e   [ 2 3 ] ,   [ 3 0 ] .       4.   CO NCLU SI O   T h is   p ap er   p r esen ted   f r a m e w o r k   f o r   m o d er n iz in g   le g ac y   O2 C   p r o ce s s es  u s i n g   d ec en tr a lized   m u lti - ag en o r ch e s tr atio n .   B y   le v er ag in g   DT f o r   s af tr ain in g   an d   C M AR L   ar ch itect u r e   f o r   ex ec u tio n ,   w e   d em o n s tr ated   t h at  s ig n i f ica n p er f o r m an ce   g ai n s   ca n   b e   ac h ie v ed   w ith o u i n v a s i v e   co d r ef ac to r i ng.   E x p er i m e n tal  r esu lt s   in d icate   th at  w h ile  r u le - b ased   R P A   s u cc ess f u l l y   r ed u ce d   cy cle  ti m e s   ( - 2 3 . 3 %),   it  f ailed   to   im p r o v t h r o u g h p u d u to   r ig id   r is k   av er s io n .   I n   co n tr ast ,   th p r o p o s ed   MA ac h ie v ed   3 5 . 3 r ed u ctio n   in   c y cle  ti m an d   6 . 2 in cr ea s in   n et  ec o n o m ic  v a lu co m p ar ed   to   th m o n o lit h ic  b aselin e.   C r u cia ll y ,   th e   s y s te m   d e m o n s tr ated   s u p er io r   s ca lab ilit y u n d er   h ig h - s tr e s s   co n d itio n s ,   t h M A ac h i ev ed   3 4 . 6 h ig h er   th r o u g h p u th a n   th m o n o lit h ic  ar ch itectu r e,   av o id in g   th s atu r atio n   ef f ec ts   o b s er v ed   with   leg ac y   lo ck i n g   m ec h a n i s m s .   T h ese  f i n d in g s   s u g g es t t h at  t h tr ad e - o f f   b et w e en   d ec en tr alize d   a g ili t y   an d   ce n tr alize d   co n tr o l i s   ec o n o m icall y   v iab le,   p r o v id ed   th at  h u m a n - in - t h e - lo o p   s af eg u ar d s   ar m ai n tai n ed   f o r   ex ce p tio n   h a n d li n g .   Fu t u r w o r k   w ill   f o cu s   o n   i n t eg r atin g   t h ese  a g en ts   w it h   r ea l - ti m S A P   S/4 H AN A   ev e n l o g s   to   v alid ate  t h e   p r o p o s ed   s h ad o w   m o d e   d ep lo y m e n s tr ateg y   in   p r o d u ctio n   en v ir o n m e n ts .       F UNDIN G   I NF O RM AT I O N   T h is   r esear ch   r ec eiv ed   n o   ex te r n al  f u n d i n g   f r o m   a n y   r e s ea r ch   g r a n t o r   co n t r ac t.         Evaluation Warning : The document was created with Spire.PDF for Python.
                       I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 216 - 1 2 2 3   1222   AUTHO CO NT RIB UT I O NS ST A T E M E NT     T h is   j o u r n al  u s e s   th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   to   r ec o g n ize  in d i v id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   R ah u l K u m ar   T h atik o n d a                               Su c h ar ith Do n ep u d i                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     T h au th o r s   d ec lar e   th at  th e y   h av n o   k n o w n   co m p eti n g   f in an cial  in ter es ts   o r   p er s o n al  r el atio n s h ip s   th at  co u ld   h a v ap p ea r ed   to   in f l u en ce   t h w o r k   r ep o r ted   in   th is   p ap er .       DATA AV AI L AB I L I T   T h d ata   th at  s u p p o r th f i n d in g s   o f   th i s   s t u d y   ar av ailab l f r o m   th co r r esp o n d in g   au t h o r ,   R KT ,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   M .   C .   L a c i t y   a n d   L .   W i l l c o c k s,  R o b o t i c   p r o c e ss  a u t o ma t i o n   a n d   r i s k   mi t i g a t i o n :   t h e   d e f i n i t i v e   g u i d e ,   p .   1 0 5 ,   2 0 1 7 ,   [ O n l i n e ] A v a i l a b l e :   h t t p : / / s b p u b l i s h i n g . o r g / i n d e x . h t ml   [ 2 ]   E.   K ä ä r i ä   a n d   A .   S h a msu z z o h a ,   I m p r o v e me n t   o f   a n   o r d e r - to - c a sh   b u s i n e ss  p r o c e ss   b y   d e p l o y i n g   l e a n   si x   si g ma  t o o l s:   a   c a se   st u d y ,   I n t e r n a t i o n a l   J o u r n a l   o f   Pr o d u c t i v i t y   a n d   P e rf o rm a n c e   M a n a g e m e n t ,   v o l .   7 3 ,   n o .   1 1 ,   p p .   1 6 1 1 8 9 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 8 / i j p p m - 01 - 2 0 2 2 - 0 0 5 0 .   [ 3 ]   N .   G a l a n d e ,   K .   M .   Jo z a n i ,   a n d   İ .   E.   B ü y ü k t a h t a k ı n ,   A r t i f i c i a l   i n t e l l i g e n c e   i n   s u p p l y   c h a i n   o p t i m i z a t i o n :   A   sy s t e m a t i c   r e v i e w   o f   mac h i n e   l e a r n i n g   mo d e l s,  me t h o d s,  a n d   a p p l i c a t i o n s ,   Vi r g i n i a   T e c h ,   Bl a c k sb u r g ,   V A ,   U S A ,   2 0 2 5 .   [ 4 ]   M .   &   C o m p a n y ,   S e i z i n g   t h e   a g e n t i c   A I   a d v a n t a g e ,   Mc K i n s e y   D i g i t a l ,   2 0 2 4 .   A c c e ss ed Ju n e ,   1 3 ,   2 0 2 5 [ O n l i n e .]   A v a i l a b l e :   h t t p s: / / w w w . mck i n se y . c o m/ c a p a b i l i t i e s/ mck i n se y - d i g i t a l / o u r - i n s i g h t s/ se i z i n g - t h e - a g e n t i c - ai - a d v a n t a g e     [ 5 ]   G .   Q u ,   A .   W i e r man ,   a n d   N .   L i ,   S c a l a b l e   R e i n f o r c e me n t   L e a r n i n g   f o r   M u l t i a g e n t   N e t w o r k e d   S y st e ms,”   O p e ra t i o n s   Re se a r c h v o l .   7 0 ,   n o .   6 ,   p p .   3 6 0 1 3 6 2 8 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 2 8 7 / o p r e . 2 0 2 1 . 2 2 2 6 .   [ 6 ]   Z .   Z h e n g   a n d   S .   G u ,   S a f e   M u l t i a g e n t   R e i n f o r c e me n t   L e a r n i n g   W i t h   B i l e v e l   O p t i mi z a t i o n   i n   A u t o n o mo u D r i v i n g ,   I EEE   T ra n s a c t i o n o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 ,   n o .   4 ,   p p .   8 2 9 84 2 ,   2 0 2 5 ,   d o i :   1 0 . 1 1 0 9 / T A I . 2 0 2 4 . 3 4 9 7 9 1 9 .   [ 7 ]   A .   K h a l a t b a r i so l t a n i ,   L .   B o u l o n ,   a n d   X .   H u ,   I n t e g r a t i n g   M o d e l   P r e d i c t i v e   C o n t r o l   W i t h   F e d e r a t e d   R e i n f o r c e m e n t   L e a r n i n g   f o r   D e c e n t r a l i z e d   En e r g y   M a n a g e me n t   o f   F u e l   C e l l   V e h i c l e s,”   I EEE   T ra n s a c t i o n s   o n   I n t e l l i g e n t   T ra n s p o r t a t i o n   S y s t e m s ,   v o l .   2 4 ,   n o .   1 2 ,   p p .   1 3 6 3 9 1 3 6 5 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / T I T S . 2 0 2 3 . 3 3 0 3 9 9 1 .   [ 8 ]   C .   H u ,   G .   W e n ,   S .   W a n g ,   J.   F u ,   a n d   W .   Y u ,   D i st r i b u t e d   M u l t i a g e n t   R e i n f o r c e me n t   L e a r n i n g   W i t h   A c t i o n   N e t w o r k f o r   D y n a mi c   Ec o n o mi c   D i s p a t c h ,   I EEE  T r a n sa c t i o n o n   N e u r a l   N e t w o r k a n d   L e a r n i n g   S y st e m s ,   v o l .   3 5 ,   n o .   7 ,   p p .   9 5 5 3 9 5 6 4 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / T N N L S . 2 0 2 3 . 3 2 3 4 0 4 9 .   [ 9 ]   C .   Z h o u ,   A .   S t e p h e n ,   K .   C .   T a n ,   E .   P .   C h e w ,   a n d   L .   H .   L e e ,   M u l t i a g e n t   Q - L e a r n i n g   A p p r o a c h   f o r   t h e   R e c h a r g i n g   S c h e d u l i n g   o f   El e c t r i c   A u t o m a t e d   G u i d e d   V e h i c l e i n   C o n t a i n e r   T e r mi n a l s,”   T r a n s p o rt a t i o n   S c i e n c e ,   v o l .   5 8 ,   n o .   3 ,   p p .   6 6 4 6 8 3 ,   2 0 2 4 ,   d o i :   1 0 . 1 2 8 7 / t r s c . 2 0 2 2 . 0 1 1 3 .   [ 1 0 ]   Y .   Y a n g ,   M .   W a n g ,   J.  W a n g ,   P .   L i ,   a n d   M .   Z h o u ,   M u l t i - A g e n t   D e e p   R e i n f o r c e me n t   L e a r n i n g   f o r   I n t e g r a t e d   D e man d   F o r e c a st i n g   a n d   I n v e n t o r y   O p t i mi z a t i o n   i n   S e n so r - En a b l e d   R e t a i l   S u p p l y   C h a i n s ,   S e n s o rs ,   v o l .   2 5 ,   n o .   8 ,   p .   2 4 2 8 ,   A p r .   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / s 2 5 0 8 2 4 2 8 .     [ 1 1 ]   M .   S a i f u l l a h ,   K .   G .   P a p a k o n s t a n t i n o u ,   A .   B h a t t a c h a r y a ,   S .   M .   S t o f f e l s,  a n d   C .   P .   A n d r i o t i s ,   M u l t i - a g e n t   d e e p   r e i n f o r c e me n t   l e a r n i n g   w i t h   c e n t r a l i z e d   t r a i n i n g   a n d   d e c e n t r a l i z e d   e x e c u t i o n   f o r   t r a n s p o r t a t i o n   i n f r a s t r u c t u r e   man a g e me n t ,   2 0 2 4 ,   a rX i v .   d o i :   1 0 . 4 8 5 5 0 / A R X I V . 2 4 0 1 . 1 2 4 5 5 .   [ 1 2 ]   E.   B a d a k h s h a n ,   P .   B a l l ,   a n d   A .   B a d a k h s h a n ,   U si n g   d i g i t a l   t w i n f o r   i n v e n t o r y   a n d   c a s h   ma n a g e me n t   i n   su p p l y   c h a i n s,”   I FA C - Pa p e rsO n L i ne ,   v o l .   5 5 ,   n o .   1 0 ,   p p .   1 9 8 0 1 9 8 5 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . i f a c o l . 2 0 2 2 . 0 9 . 6 8 9 .   [ 1 3 ]   J.  G i j sb r e c h t s,  R .   N .   B o u t e ,   J.  A .   V a n   M i e g h e m,  a n d   D .   J.  Z h a n g ,   C a n   D e e p   R e i n f o r c e me n t   L e a r n i n g   I mp r o v e   I n v e n t o r y   M a n a g e me n t ?   P e r f o r man c e   o n   L o st   S a l e s,  D u a l - S o u r c i n g ,   a n d   M u l t i - E c h e l o n   P r o b l e ms,”   Ma n u f a c t u r i n g   &   S e rvi c e   O p e r a t i o n s   M a n a g e m e n t ,   v o l .   2 4 ,   n o .   3 ,   p p .   1 3 4 9 1 3 6 8 ,   M a y   2 0 2 2 ,   d o i :   1 0 . 1 2 8 7 / mso m.2 0 2 1 . 1 0 6 4 .   [ 1 4 ]   J.  R e y e s,  J.  M u l a ,   a n d   M .   D í a z - M a d r o ñ e r o ,   D e v e l o p me n t   o f   a   c o n c e p t u a l   mo d e l   f o r   l e a n   su p p l y   c h a i n   p l a n n i n g   i n   i n d u st r y   4 . 0 :   mu l t i d i me n si o n a l   a n a l y si f o r   o p e r a t i o n ma n a g e me n t ,   Pro d u c t i o n   Pl a n n i n g   &   C o n t r o l ,   v o l .   3 4 ,   n o .   1 2 ,   p p .   1 2 0 9 1 2 2 4 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 3 7 2 8 7 . 2 0 2 1 . 1 9 9 3 3 7 3 .   [ 1 5 ]   B .   R o l f ,   I .   Jac k so n ,   M .   M ü l l e r ,   S .   L a n g ,   T .   R e g g e l i n ,   a n d   D .   I v a n o v ,   A   r e v i e w   o n   r e i n f o r c e me n t   l e a r n i n g   a l g o r i t h ms  a n d   a p p l i c a t i o n i n   s u p p l y   c h a i n   m a n a g e me n t ,   I n t e r n a t i o n a l   J o u rn a l   o f   Pr o d u c t i o n   R e se a rc h ,   v o l .   6 1 ,   n o .   2 0 ,   p p .   7 1 5 1 7 1 7 9 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 0 0 2 0 7 5 4 3 . 2 0 2 2 . 2 1 4 0 2 2 1 .   [ 1 6 ]   T .   S mi t h ,   F .   M u r a t o v i c ,   B .   B r i g g s,  a n d   D .   K e a r n s - M a n o l a t o s,   T h r e e   w a y t o   a p p r o a c h   l e g a c y   t e c h   mo d e r n i z a t i o n   w i t h   A I ,   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           Dec en tr a liz ed   mu lti - a g en t o r ch estr a tio n   fo r   leg a cy   o r d er - to - ca s h   o p timiz a tio n   ( R a h u l Ku ma r   T h a tiko n d a )   1223   D e l o i t t e   I n s i g h t s ,   D e l o i t t e   C e n t e f o I n t e g r a t e d   R e se a rch ,   Ju n .   6 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / w w w . d e l o i t t e . c o m/ u s / e n / i n si g h t s/ t o p i c s/ d i g i t a l - t r a n sf o r mat i o n / l e g a c y - sy st e m - mo d e r n i z a t i o n . h t m l   [ 1 7 ]   M o r d o r   I n t e l l i g e n c e ,   L e g a c y   M o d e r n i z a t i o n   M a r k e t   S i z e   &   S h a r e   A n a l y s i -   G r o w t h   T r e n d &   F o r e c a st ( 2 0 2 5 2 0 3 0 ) ,   Mo r d o r   I n t e l l i g e n c e   I n d u st ry   Re p o rt s ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / w w w . mo r d o r i n t e l l i g e n c e . c o m/ i n d u st r y - r e p o r t s/ l e g a c y - mo d e r n i z a t i o n - mar k e t   [ 1 8 ]   R .   S y e d   e t   a l . ,   R o b o t i c   P r o c e ss  A u t o mat i o n :   C o n t e m p o r a r y   t h e me a n d   c h a l l e n g e s,”   C o m p u t e r i n   I n d u s t ry ,   v o l .   1 1 5 ,   p .   1 0 3 1 6 2 ,   F e b .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . c o mp i n d . 2 0 1 9 . 1 0 3 1 6 2 .   [ 1 9 ]   B i l l t r u st ,   A I I mp a c t   o n   B 2 B   O r d e r - to - C a sh   O p e r a t i o n s   i n   2 0 2 4 ,   B i l l t r u st ,   S e p .   1 0 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / w w w . b i l l t r u st . c o m/ n e w s/ b i l l t r u st - ai - o r d e r - to - c a s h - st u d y - 2 0 2 4   [2 0]   W .   M a o ,   K .   Z h a n g ,   R .   Z h u ,   D .   S i mc h i - L e v i ,   a n d   T .   B a şar,  M o d e l - F r e e   N o n st a t i o n a r y   R e i n f o r c e me n t   L e a r n i n g :   N e a r - O p t i mal   R e g r e t   a n d   A p p l i c a t i o n s   i n   M u l t i a g e n t   R e i n f o r c e me n t   L e a r n i n g   a n d   I n v e n t o r y   C o n t r o l ,   M a n a g e m e n t   S c i e n c e ,   v o l .   7 1 ,   n o .   2 ,   p p .   1 5 6 4 1 5 8 0 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 1 2 8 7 / mn sc . 2 0 2 2 . 0 2 5 3 3 .   [ 2 1 ]   M .   B .   A .   W a h a b ,   S .   A .   M a z e n ,   a n d   I .   M .   A .   H e l a l ,   U t i l i z i n g   L a r g e   L a n g u a g e   M o d e l i n   B u si n e ss  P r o c e ssM a n a g e me n t :   A p p l i c a t i o n s   a n d   C h a l l e n g e s,”   J o u r n a l   o f   C o m p u t e S c i e n c e ,   v o l .   2 1 ,   n o .   8 ,   p p .   1 9 2 1 19 3 2 ,   2 0 2 5 ,   d o i :   1 0 . 3 8 4 4 / j c s sp . 2 0 2 5 . 1 9 2 1 . 1 9 3 2 .   [ 2 2 ]   Y .   C h e n ,   J .   D o n g ,   Z .   W a n g ,   a n d   C .   Z h a n g ,   A   P r i mal - D u a l   A p p r o a c h   t o   C o n st r a i n e d   M a r k o v   D e c i s i o n   P r o c e sse w i t h   A p p l i c a t i o n t o   Q u e u e   S c h e d u l i n g   a n d   I n v e n t o r y   M a n a g e me n t ,   Ma n a g e m e n t   S c i e n c e ,   v o l .   7 2 ,   n o .   2 ,   p p .   9 5 5 9 8 8 ,   F e b .   2 0 2 5 ,   d o i :   1 0 . 1 2 8 7 / mn s c . 2 0 2 2 . 0 3 7 3 6 .   [ 2 3 ]   L .   Y e   e t   a l . ,   R e si l i e n t   M u l t i a g e n t   R e i n f o r c e me n t   L e a r n i n g   W i t h   F u n c t i o n   A p p r o x i mat i o n ,   I EEE   T ra n s a c t i o n o n   A u t o m a t i c   C o n t r o l ,   v o l .   6 9 ,   n o .   1 2 ,   p p .   8 4 9 7 8 5 1 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / T A C . 2 0 2 4 . 3 4 0 9 6 7 6 .   [ 2 4 ]   W .   M .   P .   v a n   d e r   A a l st ,   Tw i n   T r a n si t i o n P o w e r e d   b y   Ev e n t   D a t a   U si n g   O b j e c t - C e n t r i c   P r o c e ss  M i n i n g   t o   M a k e   P r o c e sse s   D i g i t a l   a n d   S u st a i n a b l e ,   i n   C EU R   W o rks h o p   Pro c e e d i n g s ,   v o l .   3 4 2 4 ,   2 0 2 3 .   [ 2 5 ]   A .   S e i p o l t   e t   a l . ,   R e i n f o r c e me n t   l e a r n i n g   a n d   d i g i t a l   t w i n - d r i v e n   o p t i mi z a t i o n   o f   p r o d u c t i o n   s c h e d u l i n g   w i t h   t h e   d i g i t a l   mo d e l   p l a y g r o u n d ,   D i sc o v e r I n t e r n e t   o f   T h i n g s ,   v o l .   4 ,   n o .   1 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s4 3 9 2 6 - 0 2 4 - 0 0 0 8 7 - 0.   [ 2 6 ]   D .   I v a n o v ,   D i g i t a l   su p p l y   c h a i n   t w i n s:   M a n a g i n g   t h e   b u l l w h i p   e f f e c t ,   r e si l i e n c e ,   a n d   v i a b i l i t y . ,   I n t e r n a t i o n a l   J o u rn a l   o f   Pro d u c t i o n   Re se a r ch ,   v o l .   5 9 ,   n o .   1 0 ,   p p .   9 0 1 0 8 ,   2 0 2 1 .   [ 2 7 ]   F .   V i t a l e ,   S .   G u a r i n o ,   F .   F l a mm i n i ,   L .   F a r a mo n d i ,   N .   M a z z o c c a ,   a n d   R .   S e t o l a ,   P r o c e ss  M i n i n g   f o r   D i g i t a l   T w i n   D e v e l o p me n t   o f   I n d u st r i a l   C y b e r - P h y si c a l   S y st e ms,”   I EEE  T ra n sa c t i o n o n   I n d u st r i a l   I n f o rm a t i c s ,   v o l .   2 1 ,   n o .   1 ,   p p .   8 6 6 8 7 5 ,   2 0 2 5 ,   d o i :   1 0 . 1 1 0 9 / TI I . 2 0 2 4 . 3 4 6 5 6 0 0 .   [ 2 8 ]   D .   I v a n o v   a n d   A .   D o l g u i ,   A   d i g i t a l   s u p p l y   c h a i n   t w i n   f o r   ma n a g i n g   t h e   d i s r u p t i o n   r i s k a n d   r e si l i e n c e   i n   t h e   e r a   o f   I n d u st r y   4 . 0 ,   Pro d u c t i o n   Pl a n n i n g   &   C o n t r o l ,   v o l .   3 2 ,   n o .   9 ,   p p .   7 7 5 7 8 8 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 3 7 2 8 7 . 2 0 2 0 . 1 7 6 8 4 5 0 .   [ 2 9 ]   A .   O r o o j l o o y j a d i d ,   M .   R .   N a z a r i ,   L .   V .   S n y d e r ,   a n d   M .   T a k á č ,   A   D e e p   Q - N e t w o r k   f o r   t h e   B e e r   G a me :   D e e p   R e i n f o r c e me n t   L e a r n i n g   f o r   I n v e n t o r y   O p t i mi z a t i o n ,   Ma n u f a c t u ri n g   a n d   S e r v i c e   O p e r a t i o n M a n a g e m e n t ,   v o l .   2 4 ,   n o .   1 ,   p p .   2 8 5 3 0 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 2 8 7 / M S O M . 2 0 2 0 . 0 9 3 9 .   [ 3 0 ]   Y .   C .   L i a o ,   P .   S t r e l i ,   Z .   L i ,   C .   G e b h a r d t ,   a n d   C .   H o l z ,   C o n t i n u a l   H u m a n - in - t h e - L o o p   O p t i mi z a t i o n ,   C o n f e ren c e   o n   H u m a n   Fa c t o rs i n   C o m p u t i n g   S y st e m s   -   Pr o c e e d i n g s   ,   2 0 2 5 ,   d o i :   1 0 . 1 1 4 5 / 3 7 0 6 5 9 8 . 3 7 1 3 6 0 3 .       B I O G RAP H I E S O F   AUTH O RS        Ra h u K u m a r   T h a ti k o n d a           r e c e iv e d   th e   M a ste o f   S c ien c e   in   Bu sin e ss   A n a l y ti c s   a n d   P r o jec M a n a g e m e n f ro m   th e   Un iv e rsit y   o f   Co n n e c ti c u t,   S t o r rs,  CT ,   USA ,   in   2 0 1 8 .   He   is   c u rre n tl y   a   M a n a g e o f   a n   A n a l y ti c tea m   a a   F o rtu n e   1 0 0   c o m p a n y ,   w h e re   h e   o v e rse e s   th e   im p le m e n tatio n   o f   A I - d ri v e n   o p ti m iza ti o n   stra teg ies   a n d   a n a l y ti c so lu ti o n s.  His  re se a rc h   in tere sts  in c l u d e   m u lt i - a g e n sy st e m s ,   p re d ictiv e   a n a ly ti c in   e n te rp rise   so f tw a r e ,   a n d   leg a c y   s y ste m   m o d e rn iza ti o n .   H e   h a s   su c c e ss f u l ly   le d   m u l t i p l e   p r o j e c ts   i n t e g r a t i n g   m a c h i n e   le a r n i n g   in t o   l a r g e - sc a le   f i n a n c ia l   w o r k f l o w s .   H e   c a n   b e   c o n t a c te d   a t   e m a i l :   ra h u l . t h a t i k o n d a @ u c o n n . e d u .         S u c h a r it h a   D o n e p u d         r e c e iv e d   th e   M a ste r d e g re e   in   In f o rm a ti o n   S y ste m a n d   Bu sin e ss   A n a l y ti c f ro m   P o in P a rk   Un iv e rsi t y ,   P it ts b u rg h ,   P A ,   USA ,   in   2 0 2 1 .   S h e   is  c u rre n tl y   a   V ice   P re sid e n t,   s p e c ialist  in   Risk ,   T re a su r y   &   AL M   a BN M e ll o n ,   w h e re   sh e   lea d s   in it iativ e in   a ss e t - li a b il it y   m a n a g e m e n t,   re g u lato ry   c o m p li a n c e ,   a n d   d a ta  g o v e rn a n c e .   He re se a rc h   in tere sts  in c lu d e   th e   a p p li c a ti o n   o f   A a n d   m a c h in e   lea r n in g   to   f in a n c ial  o p e ra ti o n s,   sp e c if ic a ll y   to   e n h a n c e   d a ta  q u a l it y ,   re g u lato ry   c o m p li a n c e ,   a n d   a u to m a ted   d e c isio n - m a k in g .   S h e   u se P y th o n   a n d   S QL   to   d e v e lo p   i n n o v a ti v e   m o d e ls  f o li q u id it y   m a n a g e m e n a n d   risk   m it ig a ti o n ,   w it h   a   f o c u o n   im p r o v in g   o p e ra ti o n a e ff icie n c y   in   la rg e - sc a le  f in a n c ial  s y ste m s.   S h e   c a n   b e   c o n tac ted   a e m a il sd o n e p @ p o i n tp a rk . e d u .     Evaluation Warning : The document was created with Spire.PDF for Python.