I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   5 ,  Octo b er   2 0 2 6 ,   p p .   4 6 4 5 ~ 4 6 5 5   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 5 . p p 4 6 4 5 - 4 6 5 5           4645       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   O ptimi zing  cloud  energy  wit h  deep   reinforceme nt  l ea rning :  a n  a rtif icia l be e colo ny - Q - l ea rning  hy brid app ro a ch       M o ha m m ed  Z ia ur  Ra hm a n 1 ,   Ana nd a ra j   Sh a nthi P icha n di 2   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   S c h o o l   o f   E n g i n e e r i n g   a n d   Te c h n o l o g y ,   S a p t h a g i r i   N P S   U n i v e r si t y ,     B e n g a l u r u ,   I n d i a   2 S c h o o l   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   P r e s i d e n c y   U n i v e r si t y ,   B e n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ma y   2 6 ,   2 0 2 5   R ev is ed   J u l 2 7 ,   2 0 2 6   Acc ep ted   Au g   1 2 ,   2 0 2 6       Lo a d   b a lan c in g   in   t h e   c lo u d   i s  a  c ru c ial  c h a ra c teristic  fo r  d istri b u t in g   re so u rc e s  fro m   d a ta  c e n ters .   Ho we v e r,   lo a d   b a la n c in g   i n   a  c lo u d   e n v iro n m e n t  re m a in s  a   c h a ll e n g in g   issu e   d u e   to   t h e   in fl u x   o f  n u m e ro u s   in c o m in g   tas k s,  p a rti c u larl y   i n   a n   in fra str u c tu re   a s  a   se rv ice   (Ia a S )  c lo u d   e n v iro n m e n t.   To   a d d re ss   th e   c o m p lex it y   a n d   h i g h   d ime n sio n a li ty   o f   th e   p ro c e ss ,   m a c h in e   lea rn in g   (M L )  tec h n iq u e s  c o m b in e d   wit h   o p ti m iza ti o n   a lg o rit h m s  a re   u se d ,   w h ich   fa ste n   t h e   p ro c e ss   a n d   m in imiz e   e x e c u ti o n   ti m e .   Th e   d e e p   re in f o rc e m e n t  lea rn in g   (DRL)  –   a rti ficia l  b e e   c o lo n y   with   Q - lea rn in g   (ABCQ )  a p p r o a c h   is  p r o p o se d   to   so l v e   lo a d   b a lan c in g   i n   a  c lo u d   e n v iro n m e n t.   Th e   a g e n t   in   DRL  m a k e s  in telli g e n t  d e c isio n s   to   h a n d le  a  larg e   n u m b e r  o f  tas k s  e fficie n tl y   a t  les se r  ti m e   a n d   in c re a sin g   sp e e d .   T h e   a rti ficia l   b e e   c o lo n y   ( ABC )   a l g o ri th m   u se s  a   g lo b a l  g u i d i n g   fa c to r   to   in it ializ e   p o siti o n   u p d a tes ,   e n h a n c in g   t h e   se a rc h a b il it y   a n d   p e rfo rm a n c e   o f   th e   a lg o rit h m .   Th e   p r o p o se d   DRL - ABCQ   a p p ro a c h   o p ti m ize s  sc h e d u li n g   a n d   re so u rc e   u ti l iza ti o n ,   i n c re a se s  th e   th ro u g h p u t  o f  v irt u a l  m a c h in e s  ( VMs),   a n d   b a lan c e s  th e   lo a d   b e twe e n   VM s.  Th e   DRL - ABCQ   a p p ro a c h   a c h iev e s  a   m a k e sp a n   o f   1 2 5 . 5 2   s,  e n e rg y   u t il iza ti o n   o f   9 9 . 8 1   k J,   a n d   a   t h ro u g h p u t  o f   2 . 3 9   j o b s /s,  c o m p a re d   t o   e x isti n g   a p p ro a c h e s.   K ey w o r d s :   Ar tific ial  b ee   co lo n y   Dee p   r ein f o r ce m en t le ar n in g   L o ad   b alan ci n g   Q - lear n in g   Vir tu al  m ac h in es   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h am m ed   Z iau r   R ah m an   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   Sch o o l o f   E n g in ee r in g   a n d   T ec h n o lo g y   Sap th ag ir i N PS   Un iv er s ity   B en g alu r u ,   I n d ia   E m ail:  m o h am m e d ziau r @ s n p s u . ed u . in       1.   I NT RO D UCT I O N   I n   r e c en t   t i m e s ,   t h e  c l o u d   n e tw o r k   h a s   b e co m e   a  p o p u l ar   te c h n iq u e   t h a t   o f f er s   v ar i o u s   s e r v i c e s   a s   p e r   u s e r   r eq u e s t s   a cr o s s   in t er n e t   [ 1 ] .   C l o u d   c o m p u t i n g   ( C C )   p r o v i d e s   u s e r s   w i th   th e  a b i l i ty   t o   a c c e s s   c o m p u t in g   r e s o u r ce s   o r   e n ab l e s   t h e m   t o   p u r ch a s e   r e q u ir e d   c l o u d   s e r v i c e s   o n - d em an d   v i a  t h e  i n te r n e t ,   b a s e d   o n   ap p l i ca t i o n s   [ 2 ] – [ 4 ] .   T h e   C C   s y s t e m   h a n d l e s   v a r i o u s   s e r v i ce s   b a s e d   o n   p r o c e s s i n g   p la t f o r m s   r e q u e s t e d   b y   u s er s   [ 5 ] .   C C   i s   t h e   in t e g r a t io n   o f   p ar a l l e l   a n d   d i s t r ib u te d   c o m p u t in g   w i t h   r e s o u r c e  s h ar i n g ,   s u c h   a s   h ar d w ar e   a n d   s o f t w ar e ,   w h i ch   o p e r a t e s   o n   a   “ p a y - as - y o u - g o ”   m o d e l   [ 6 ] .   I n f r a s t r u c t u r e   a s   a   s e r v i ce   ( I a a S )   i s   a   t e ch n iq u e   b eh i n d   s e r v e r   m a n ag e m e n t ,   d a t a   c e n t e r s ,   a n d   v ir t u a l   m a ch i n es   ( V M s )   [ 7 ] .   I a a S  p r o v i d e s   a   c l o u d   s e r v i c e  t h a t  g iv e s   u s e r s   a c c e s s   to   s er v er s   o r   c lo u d   co m p u t er s   to   p r o ce s s   a n d   s t o r e  d a t a.   U s e r s   c a n   o p er a t e   ap p l ic a t i o n s   o r   s er v er s   o n   r en t a l   s e r v e r s ,   w i t h   m a i n te n an c e   an d   h a r d w ar e   co s t s   [ 8 ] .  C l o u d   i n f r a s tr u c tu r e   p r o c e s s es   o n   V M s ,   a n d   I a a S   o f f er s   b en e f i t s   i n c lu d in g   p r o v id i n g   u s e r   a c c e s s   t o   s e r v e r s   i n   th e   c l o s e s t   lo c a t io n s .   B e ca u s e   o f   t h e  d y n a m i c  n a tu r e  o f   t h e  c l o u d   en v ir o n m en t ,   l o a d s   f lu c tu a t e  o v e r   t i m e ,   m ak i n g   i t  ch a l l e n g i n g   to   a l lo c a t e  th e   a p p r o p r ia t e   VM   [ 9 ] .   T h i s   i s s u e  l e ad s   to   h i g h   co s t s ,   lo w e r   p r o f i t s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 6 4 5 - 4 6 5 5   4646   f o r   o r g a n i za t i o n s ,   a n d   r ed u c ed   m o d e l   p er f o r m a n c e   [ 1 0 ] .   E a c h   p h y s i c a l   m a c h in e   co n s u m e s   e l e c t r i c a l   p o w er   b a s e d   o n   th e   ta s k s   i t   p e r f o r m s   [ 1 1 ] ,   an d   c o n s u m p t i o n   in c r e a s e s   a s   t h e   s er v er   h an d l e s   n u m e r o u s   wo r k l o ad s ,   c a u s i n g   h i g h   e n e r g y   u s ag e   [ 1 2 ] .   T o   m i t i g a t e   th i s   i s s u e ,   a n   e f f e c t i v e   s c h ed u l in g   a lg o r i t h m   i s   r e q u i r e d   t o   m a n ag e  l o ad   b e t w ee n   V M s ,   c o m p u t e  e ac h   i n co m in g   t a s k   w i t h   l e s s   c o m p l e t io n   t i m e ,   a n d   r e d u c e  e n e r g y   c o n s u m p t io n   i n   th e   d a t a  c e n ter   [ 1 3 ] .   I n   a  c lo u d   en v ir o n m en t,  in c o m in g   ta s k s   ar e  a s s ig n ed   to   th e  p r o p er   VM   to   a ll o ca te   n ec e s s a r y   r es o u r c es  f o r   co m p u ta ti o n   [ 1 4 ] .   T h o u g h ,   wh en   s u it ab l e   r eso u r ce s   a r e  u n av ai la b le  o r   s er v er   i s   h ea v ily   lo ad ed ,   in co m in g   t ask s   r eq u ir e  m o r e  t im e  f o r   co m p le ti o n   [ 1 5 ] .   T r ad i t io n a l  ap p r o a ch e s ,   l ik e  r o u n d - r o b in   an d   we ig h t ed   l o ad   b al an c in g ,   f ai l   to   ad ap t  to   r ea l - t im e  f l u c tu at io n s   in   r e s o u r ce   d em an d .   Ad d i ti o n a lly ,   wh il e  h eu r i s ti c - b a s ed   al g o r i th m s   c an   b e  ef f ic ien t   in   c er t ai n   s ce n ar io s ,   th ey   l ac k   e f f e ct iv e n es s   i n   p r ed ic tin g   wo r k lo ad s   a n d   p r o a ct iv ely   a d ju s t in g   r es o u r c e  a llo ca tio n .   T h e s e  li m i ta tio n s   r e s u lt  in   u n d er u t i li za tio n   o f   r es o u r c es ,   in cr e a s ed   r esp o n s e   tim e s ,   an d   d eg r a d ed   q u al ity   o f   s e r v i ce   ( Qo S)  f o r   clo u d   u s e r s .   T o   m it ig a te   th e s e   i s s u e s ,   in te l lig en t   lo ad   b ala n c in g   s t r a teg ie s   u ti l iz in g   m ac h in e   le ar n in g   ( ML )   an d   d ee p   le ar n in g   ( DL )   h av e  g ain ed   a t ten tio n .   T h e s e  al g o r i th m s   d y n am ic al ly   p r ed i ct   wo r k lo ad   p a tt er n s ,   o p ti m i ze   r e s o u r c e   s ch ed u l in g ,   an d   i m p r o v e  o v er al l  ef f ec tiv en e s s .   T h i s   m an u s cr ip t  a im s   to   d ev e lo p   an   ad ap tiv e  lo ad   b a lan cin g   m ec h an i s m   th at   co m b in e s   ML / DL   a lg o r ith m s   to   ad d r es s   ex i s t in g   li m i ta tio n s   an d   en h a n ce   r e s o u r ce   d i s tr ib u tio n   in   I aa S - en ab led   c l o u d   en v ir o n m en t s .   J en a  et  a l.   [ 1 6 ]   s u g g ested   th e  h y b r id izatio n   o f   m o d if ied   p a r ticle  s war m   o p tim izatio n   ( MPSO)   an d   an   en h an ce d   Q - lear n in g   ap p r o ac h ,   n am ed   QM PS O,   f o r   d y n am ic  lo ad   b alan cin g   b e twee n   VM s .   T h e  h y b r id izatio n   p r o ce s s   ad ju s ted   th e  MPSO  v elo city   th r o u g h   p b est  an d   g b est   v al u es  o f   b ette r   ac tio n s   p r o d u ce d   b y   en h a n ce d   Q - lear n in g .   T h e   g o al  o f   th e  h y b r id izatio n   wa s   to   en h an ce   th e  m eth o d ’ s   p e r f o r m a n ce   th r o u g h   b alan cin g   lo ad   b etwe en   VM s ,   in cr ea s in g   VM   th r o u g h p u t ,   an d   m ain tain in g   task   p r io r ity   b alan ce   th r o u g h   o p tim izin g   task   waitin g   tim es.   Ho wev er ,   th e  s u g g ested   m et h o d   co n s u m ed   a  s ig n if ica n t  am o u n t  o f   e n er g y   d u e  to   th e  h ea v y   lo a d   in   th e  n etwo r k .   Pra d h a n   an d   B is o y   [ 1 7 ]   p r esen ted   a  lo ad   b alan cin g   m eth o d   ca lled   m o d i f ied   p ar ticle  s war m   o p tim izatio n   ( L B MPSO) ,   wh ich   s ch ed u led   task s   ac r o s s   ex is tin g   clo u d   r eso u r ce s ,   r ed u ce d   m ak esp an ,   an d   in c r ea s ed   r eso u r ce   u tili za tio n .   T h is   was  a ch iev ed   th r o u g h   ap p r o p r iate  m atch in g   b etwe e n   r eso u r ce s   an d   task s   with in   th e  d ata  ce n ter .   T h e  p r o p o s ed   m eth o d   p e r f o r m ed   b etter   in   m in im izin g   m ak esp an   an d   m ax im izin g   r eso u r ce   u tili za tio n .   Ho wev er ,   it  co n s u m e d   ex ce s s iv e  tim e  d u e  to   h ea v y   lo ad   co n d itio n s .   Har is   an d   Z u b air   [ 1 8 ]   em p lo y ed   lo ad   b alan cin g   ap p r o ac h   d e p en d in g   o n   h y b r id   a p p r o ac h es ,   n am ely   m an tar a y   m o d if ied   m u lti - o b jectiv e  Har r is   Haw k   o p tim izatio n   ( MM H HO) .   T h is   h y b r i d izatio n   e n h a n ce d   Har r is   Haw k   o p tim izatio n   ( HHO )   s ea r ch   t h r o u g h   in teg r atin g   th e   m an ta   r ay   f o r ag in g   o p tim izatio n   ( MRF O)   ap p r o ac h ,   co n s id er in g   f ac to r s   lik e  r es p o n s e  tim e,   co s t,  an d   r eso u r ce   u s ag e.   T h e  d ev el o p ed   m eth o d   im p r o v e d   p er f o r m an ce   b y   im p r o v i n g   th e  th r o u g h p u t  o f   VM s ,   b alan ci n g   lo ad   b etwe en   VM s ,   an d   m ain tain in g   b alan ce   b etwe en   task   p r io r ities   th r o u g h   ad ju s tin g   task   waitin g   tim es.  T h o u g h ,   th e  m eth o d   s till   f ac ed   is s u es  r elate d   to   lo ad   b alan cin g   an d   s u b o p tim al  r eso u r ce   u tili za tio n .   So u r av las  et  a l.   [ 1 9 ]   im p le m e n ted   a  wo r k lo ad - p er - VM   s tr ateg y   f o r   task   lo ad   b alan cin g ,   w h ich   aim ed   to   en h a n ce   m ea n   r esp o n s e  tim e  an d   s y s tem   m ak esp an   i n   th e  clo u d .   T h e   is s u e  was  f o r m u lated   as  a  f i n ite  Ma r k o v   p r o ce s s ,   r ef e r r ed   t o   as  th e  b alan ce   eq u atio n   f o r   e ac h   s tate.   B y   b alan cin g   t h e  p o ten tial  s tates,  th e  ex p ec ted   u s ag e  o f   VM s   co u ld   b e  d e r iv ed ,   p lay in g   an   ess en tial  r o le  in   th e   task   allo ca tio n   p r o ce s s .   T h e   lo a d   b alan ce r   ac te d   as  th e   ce n tr al   s er v er ,   u tili zin g   f air   task   allo ca tio n   to   d is tr ib u te  in co m in g   task s ,   b alan ce   th e  VM s ,   an d   ac co u n t  f o r   t h eir   c u r r en t  s tate  an d   p r o ce s s ab ilit y .   Ho wev er ,   th e   im p lem en te d   m eth o d   h a d   h ig h   lo ad s   o n   VM s   b ec au s e  it  d id   n o t  co n s id er   o p tim al  s o lu tio n s .   L ah an d e   et  a l.   [ 2 0 ]   in tr o d u c ed   a  lo ad   b alan cin g   m ec h an is m   b y   ex p er im en tin g   an d   e x ec u tin g   task s   u tili zin g   th e  Sip h t  task   d ataset.   T h e  R S  ap p r o ac h es:  f ir s t  co m e  f ir s t  s er v e d   ( FC FS ) ,   m ax im u m - m in im u m   ( m ax - m in ) ,   m ax im u m   co m p letio n   tim e   ( MCT) ,   an d   r o u n d   r o b in   ( R R )   wer e  co n s id er e d   f o r   b alan cin g   ex ec u tio n   lo ad s   ac r o s s   VM s .   T h e  ex p er im en t   was  p er f o r m ed   i n   f o u r   s tag es,  with   ea ch   s tag e  in clu d in g   1 6   s ce n ar io s ,   wh er e  e ac h   s ce n ar io   v ar ie d   b ased   o n   t h e  n u m b er   o f   VM s   u tili ze d .   Ho wev er ,   th e  in tr o d u ce d   m eth o d   h ad   h i g h   en er g y   co n s u m p tio n   an d   m a k esp an   d u e  to   h ea v y   l o ad   co n d itio n s .   B y   u tili zin g   th e  a r t if icial  b ee   co lo n y   with   Q - lea r n in g   ( AB C Q)   ap p r o ac h ,   o n ce   a  b etter   r ewa r d   was   o b tain ed ,   th e  m et h o d   s o u g h t  t o   ac h iev e  a  g lo b al  o p tim al  r e war d   in   less   co m p u tatio n   tim e   b y   ex ch a n g in g   d ata  with   n eig h b o r in g   n o d es.  T h e  e s s en tial c o n tr ib u tio n s   o f   th is   r esear ch   ar e  d escr ib ed   as f o llo ws:   T h e  d ee p   r ein f o r ce m en t  lear n in g   ( DR L )   –   AB C Q  ap p r o ac h   is   p r o p o s ed   to   b alan ce   lo a d   b etwe en   VM s   in   clo u d ,   m ax im izin g   r e war d   th r o u g h   m in im izin g   m a k esp an   tim e  an d   en er g y   c o n s u m p tio n .   T h e  ag e n t in   DR L   m ak es  in tellig en t  d ec is io n s   to   h a n d le  h u g e   n u m b er   o f   task s   in   less   tim e  an d   at  h ig h er   s p ee d .   T h e   ar tific ial  b ee   co l o n y   ( AB C )   alg o r ith m   u s es  th e  g l o b al  g u id in g   f ac to r   in   th e   p o s itio n   u p d atin g   p h ase,   wh ic h   im p r o v es th e  s ea r c h ab ilit y   o f   t r ad itio n al  AB C   in   f in d in g   o p ti m al  s o lu tio n s .     T h is   r esear ch   p a p er   is   o r g a n ized   as  f o llo ws.  Sectio n   2   p r esen ts   th e  d etails  o f   t h e   p r o p o s ed     DR L - AB C Q  ap p r o ac h .   Sectio n   3   p r esen ts   th e   o u tco m es  an d   d is cu s s io n .   Fin ally ,   s ec ti o n   4   p r o v i d es  th e   co n clu s io n s   o f   t h is   r esear ch .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Op timiz in g   clo u d   en erg y  w ith   d ee p   r ein fo r ce men t le a r n in g :   a n   a r tifi cia l b ee   …   ( Mo h a mme d   Zia u r   R a h ma n )   4647   2.   M E T H O D   T h is   p ap er   p r o p o s es  th e  DR L - AB C Q  s ch ed u lin g   ap p r o ac h ,   wh e r e  th e   ag e n t  r ec ei v es  a  s ep ar ate   r ewa r d   b y   c o n s id er in g   th e   ac tio n   tak en   in   ev er y   s tate  o f   t h e  en v ir o n m e n t.  T h e  AB C Q  ap p r o ac h   aim s   to   ac h iev e  a  g lo b ally   b etter   r ewa r d   with   less   co m p u tatio n   tim e  b y   ex ch an g in g   d ata  with   n eig h b o r in g   n o d es  af ter   o b tain in g   b etter   in d i v id u al  r ewa r d s .   I n itially ,   th e  ap p r o p r iate  ac tio n   is   ch o s en   b y   co n s id er in g   th e  v alu e  f u n ctio n   o f   s tate - ac tio n ,   an d   t h e  p er s o n al  b etter   r ewa r d   is   t h en   o b tain e d   f o r   ev er y   s er v er ,   wh ich   o p tim izes  lo ad   an d   its   p ar a m eter s .   Af ter   ac h iev in g   p e r s o n al  b etter   r e war d s ,   ev er y   s er v er   id en tifie s   g lo b al   b etter   v alu e   th r o u g h   s h ar in g   th eir   d ata  b et wee n   s er v er s   at  h ig h   s p ee d .   T h e  f o llo win g   s ec tio n   ex p lain s   th e  r ewa r d   f u n ctio n ,   DR L ,   Q - lear n in g ,   a n d   AB C   alg o r ith m s .   Fig u r e  1   r ep r esen ts   a  p r o ce s s   o f   lo ad   b alan cin g   in   th e  clo u d   u s in g   t h e   DR L - AB C Q  ap p r o ac h .           Fig u r e  1 .   Pro ce s s   o f   lo ad   b alan cin g   in   cl o u d       2 . 1 .     Rew a rd  f un ct io n   T h e  p r o b lem   o f   lo ad   b ala n c in g   is   d e f in ed   as  Ma r k o v   d ec is io n   p r o ce s s   ( MD P)   b ec a u s e  o f   th e  s im u ltan eo u s   n atu r e  o f   task s   in   a  clo u d   en v ir o n m en t.  I n   a  d ev elo p e d   ap p r o ac h ,   d ata  ce n ter   co n tr o ller   is   d escr ib ed   as  an   ag en t,  an d   d at a  ce n ter   its elf   is   d escr ib ed   as  t h e  en v ir o n m en t,  wh e r e  ag en t  allo ca tes  in co m in g   task s   to   th e  ap p r o p r iate  VM   in   ev e r y   c y cle.   T h e   MD P  in clu d es  f o u r   s ig n i f ican t   v a r iab les,  n am ely   s tate ,   ac tio n ,   tr an s itio n   f u n ctio n ,   an d   r ewa r d ,  wh ich   ar e  ex p lain ed   a s   f o llo ws   [ 2 1 ] .     2 . 1 . 1 .   Sta t e  a nd   a ct io n sp a ce   I n   th e  s tate  s p ac e,   a  p er f ec t  m o v e  is   m ad e  b y   th e  ag en t  d ep e n d in g   o n   VM   d ata  lik e  am o u n t  o f   VM s ,   th e  ex is ten ce   o f   m illi o n s   o f   i n s tr u ctio n s   p er   s ec o n d   ( MI PS ) ,   th e  ce n tr al  p r o ce s s in g   u n it  ( C PU) ,   b an d wid th ,   an d   m em o r y .   T h e  m ath em atic al  ex p r ess io n   f o r   th e  s tate  s p ac e  is   g iv en   in   ( 1 ) .   I n   th e  ac tio n   s p ac e,   ev er y   task   is   em p lo y ed   to   VM   f o r   p r o ce s s in g .   E v er y   ac tio n   in clu d es  d if f er en t  p iece s   o f   d ata  lik e  n u m b er   o f   task s ,   len g th   o f   task   an d   s ize  o f   th e  f ile.   T h e  m ath em atica l e x p r ess io n   f o r   th e  ac tio n   s p ac e  is   g iv en   in   ( 2 ) .     = {  ,  ,  ,  ,   }   ( 1 )     = { , ,  }   ( 2 )     2 . 1 . 2 .   T ra ns it io n f un ct io n a n d a ct io n select io n   T h is   p h ase  r ep r esen ts   wh en   th e  ag en t  co n s id er s   th e  ac tio n   in   th e  p r esen t  s tate,   wh ich   r ea ch e s   th e  n ew  s tate.   T h e  ag en t  alwa y s   a ttem p ts   to   s elec t  th e  ap p r o p r ia te  ac tio n   th at  r esu lts   in   an   o p t im u m   s tate,   wh ich   p r o v id es   a  h ig h est  r ewa r d .   T h e  tr a n s itio n   f u n ctio n   is   d escr ib ed   as  ( , , , + 1 ) .   I t   r ep r esen ts   th e   p o s s ib ilit y   o f   r ea c h in g   th e  f o llo win g   s tate  + 1   an d   o b tain in g   th e   r ewa r d     af ter   ex ec u tin g   th e   c h o s en   ac tio n   a t   in   th e  p r esen t  s tate  .  Du e  to   t h e  clo u d ’ s   d y n a m ic  n atu r e,   ta s k s   v ar y   with   r esp ec t  to   th e  le n g th ,   tim e  a n d   s ize  o f   a  f ile  [ 2 2 ] – [ 2 4 ] .   C er tai n   VM s   ar e  o v er lo a d ed ,   wh ile  s o m e  ar e  u n d er lo ad e d ,   as   d ef i n ed   u s in g   ( 3 ) .   Fo r   b alan cin g   lo a d   b etwe en   VM s ,   th e  ag en t  c o n s id er s   an   ac tio n   to   tr an s f er   ex t r a  task s   f r o m   an   o v er lo a d ed   VM   to   u n d er lo a d ed   VM   at  h i g h   s p ee d .   T h e  s p ee d   o f   task   tr a n s f er   is   m ea s u r ed   u s in g   ( 4 ) .       = { <   |  |    >   |  |        =   |  |         ( 3 )      = ∑ ∑ ∑ ( 1 −  ,  , )  ,  , = 1 = 1 = 1   ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 6 4 5 - 4 6 5 5   4648   W h er e   ,   r ep r esen ts   th e  ad d itio n al  task   th at  is   tr an s f er r ed   b etwe en     to     VM ;    ,   r ep r esen ts   th e   r eq u ir ed   b an d wid th   b etwe en     an d     VM .   Her e,    , = 1   s ig n if ies  th at    VM   is   o v er lo ad ed ,  wh er e     , = 1   r ep r esen ts   th at   th e  e x tr a  task   i s   tr an s f er r ed   f r o m     to     VM .   W h en   task   t r an s f er   s p ee d   is   in c r ea s ed ,   task   co m p letio n   tim e  also   r e d u ce s .   T h e  ch o s en   ac tio n     in   iter atio n     is   m ea s u r ed   b y   ( 5 ) .     =  (  )   ( 5 )     2 . 1 . 3 .   Rew a rd   I n   th is   p h ase,   th e   ag e n t  r ec ei v es  a  r ewa r d   f o r   m ak in g   m o v es  in   d if f er en t   s tates.  T h e  a g e n t  aim s   to   s elec t  th e  s tate  th at  y ield s   h ig h er   r ewa r d s ,   th er e b y   in cr ea s in g   ac cu r ac y .   I n   th e  p r o p o s ed   m eth o d ,   th e  r ewa r d   f u n ctio n   is   ch ar ac ter ize d   th r o u g h   a  r ed u ctio n   in   task   co m p letio n   tim e  o n   a  p a r ticu l ar   VM   an d   en er g y   co n s u m p tio n .   T h e  m ath em atic al  ex p r ess io n   d escr ib in g   th e  r e war d   is   g iv en   in   ( 6 ) .     = { , +  }   ( 6 )     2 . 2 .     Q - lea rning   a pp ro a ch   Q - lear n in g   is   a  r ein f o r ce m en t le ar n in g   ( R L )   ap p r o ac h   t h at  h elp s   th e  ag en t  lear n   h o w  to   ac t   o p tim al ly   in   a  g iv en   en v ir o n m en t.  Q - lea r n in g   aim s   to   id en tify   th e  o p tim al  p o licy   f o r   ac tio n   s elec tio n   th at  m in im izes  th e  ex p ec ted   s u m   o f   r ewa r d s   f o r   th e  ag en t.  C o n s id er   a  s et  o f   s tates    =   { ₁ , ₂ , ₃ , . . . , ₙ }   in   th e  en v ir o n m en t,   wh er e  ev e r y   s tate  co n tain s   a  s et  o f   ac tio n s .   T h e   ag en t     =   { ₁ , ₂ , ₃ , . . . , ₘ }   ch o o s es  an   ac tio n   ₜ   ∈     at  tim e    in   s tate  ₜ   ∈     to   tr a n s itio n   to   th e   n ex t  s tate  ₜ₊ ₁   ∈   ,  r ec eiv in g   th e  r ewa r d   ₜ₊ ₁   f r o m   th e  en v ir o n m en t.  Fo r   task   p r o ce s s in g ,   it  is   ess en tial  to   ch o o s e  r e lev an t  ac tio n s   to   in cr ea s e  Q - v alu e  o f   ev er y   s tate,   th at  is   cr u cial  f o r   id en tify i n g   t h e  o p tim u m   p o licy   in   th e   clo u d   en v ir o n m e n t.  T h e  Q - v alu e  f u n ctio n   is   b ased   o n   th e  ac tio n   ch o s en   in   a  s tate.   Fig u r e  2   illu s tr ates  th e   p r o ce s s   o f   Q - lear n in g .           Fig u r e  2 .   Pro ce s s   o f   Q - lear n in g       C o n s id er   an   ag en t  in   s tate  ₜ   an d   th e  ch o s e n   ac tio n   ₜ .  T h e  p r o c ess   o f   Q - v alu e  is   d ir ec ted   to w ar d s   a   b etter   s tate ,   m ax im izin g   to tal   r ewa r d   in   t h e  en v ir o n m en t.   T h e  m ath e m atica l  ex p r ess io n   f o r   th e   Q - v alu e   is   g iv en   in   ( 7 ) ,   wh er e     r ep r esen t s   lear n in g   r ate,     r ep r esen ts   th e  d is co u n t  f ac to r ,   w h ich   in f lu en ce s   s u cc ess iv e   s tates  b ased   o n   p ast ac tio n s ,  an d   ₜ   r ep r esen ts   th e  r ewa r d   o b ta in ed   f r o m   p r o ce s s in g   th e  ac tio n   in   s tate  ₜ .     ( , ) = ( 1 − ) ( , ) + [ +  + 1 ( + 1 , + 1 ) ]   ( 7 )     T h e   Q - v a l u e   i s   d e r i v e d   f r o m   Q - t a b l e ,  w h i c h   s t o r es   a ll   p r o b a b l e   s t a t e s ,  t h e i r   c o r r es p o n d i n g   Q - v a l u e s ,  a n d   t h e   c o r r e c t   a c t i o n s .   T h e   Q - l e a r n i n g   a p p r o a c h   a t t e m p t s  t o   es t i m at e   t h e   o p t i m u m   s t a t e   f r o m   i t s   e x p e r i e n c e   a n d   i n c o r p o r a t e s   a   g r e e d y   s t r a t e g y   w i t h i n   t h e   Q - l e a r n i n g   p r o c e s s .   T h e   m a t h e m a t i ca l   e x p r e s s i o n   f o r   c o m p u t i n g   t h e   Q - v a l u e   i s   g i v e n   i n   ( 8 ) ,   w h e r e     r e p r e s e n t s   t h e   l e a r n i n g   r a t e   a n d     r e p r e s e n t s   t h e   t r a n s i ti o n   f u n c t i o n .     ( + 1 ) ( ,   ) = ( ,   ) + [ + 〖  〗 _    [   ( ( ,   ) ,   ́ _   ) ] − ( ,   )   ( 8 )     2 . 2 . 1 .   F it nes s   f un ct io n   T h e  f itn ess   f u n ctio n   o f   t h e   D R L - AB C Q  ap p r o ac h   is   b ased   o n   m a k esp an ,   waitin g   tim e ,   a n d   r eso u r ce   u tili za tio n .   T h e  m ath em atica l  ex p r ess io n   f o r   t h e  f itn ess   f u n c tio n   is   g iv en   in   ( 9 ) .   Ma k esp an   is   m in im ized   wh en   th e  h ig h est  n u m b er   o f   task s   ar e  s u cc ess f u lly   p r o ce s s ed   in   th e  d ata  ce n ter ,   wh ich   i m p ac ts   th e  m o d el’ s   th r o u g h p u t.   MS  r ep r esen ts   th e   to tal  co m p letio n   tim e  f o r   ea c h   task ,   an d   th e  m at h em atica l  ex p r ess io n   is   g iv en   in   ( 1 0 ) .   Ne x t,  ᵤ   is   m ax im ized ,   an d   its   m ath em atica l  ex p r ess io n   is   g iv en   in   ( 1 1 ) .   ᵤ   is   m ea s u r ed   as  th e  to tal   co m p letio n   tim e  o f   th e   task s  d iv id ed   b y   t h e  h ig h est  m a k esp an   o r   ex ec u tio n   tim e.   W h er e     is   f itn ess   f u n ctio n ,     is   wai tin g   tim e ,     is   m ak esp an ,   an d   ᵤ   is   r eso u r ce   u tili za tio n .  T h e  alg o r ith m   f o r   Q - u p d ate  is   g iv en   as  in   Alg o r ith m   1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Op timiz in g   clo u d   en erg y  w ith   d ee p   r ein fo r ce men t le a r n in g :   a n   a r tifi cia l b ee   …   ( Mo h a mme d   Zia u r   R a h ma n )   4649   =  +  +   ( 9 )      =  {  }   ( 1 0 )     ( ) =     ( 1 1 )     Alg o r ith m   1 .   Fo r   Q - v al u e  u p d atin g   Initialize values to  α   (learning rate),    (discount factor) and    (reward)   Initialize the Q - values   for  = 1          for  = 1            ( , ) = 0     end for   end for    choose action  a I   form the agent  = { 1 , 2 , 3 , … , }   and compute that and to following state  + 1   Calculate learning rate   Compute reward   Update  + 1   using (8)   Repeat this phase for the new state till that converges     2 . 3 .     Art if ici a l  bee  co lo ny   wit h g lo ba l g uid ing   f a ct o r   T h e  AB C   alg o r ith m   with   a  g lo b al  g u id i n g   f ac to r   is   a  s war m   in tellig en ce   tech n iq u e  wh i ch   m im ics  f o r ag in g   b eh av i o r   o f   b ee s .   T h e  alg o r ith m   is   d iv id ed   to   th r ee   p h ases :  lead er ,   f o llo wer ,   an d   s co u ter .   T h e  lead er   r ep r esen ts   th e  f o o d   s o u r ce   an d   ca r r ies  in f o r m atio n   ab o u t  it.   I n   AB C ,   ag en ts   ar e   class if ied   b ased   o n   th e   r o les  o f   b ee s :  em p lo y ed ,   o n lo o k er ,   an d   s co u t  b ee s   [ 2 5 ] .   E ac h   b ee   g r o u p   ex h ib its   d if f er en t  b eh av io r s   r elate d   to   ex p lo r atio n   an d   e x p lo itatio n .   T h e  ex p lo itatio n   b eh a v io r   in v o lv es  s ea r ch in g   f o r   n ew   f o o d   s o u r ce s   to   av o id   lo ca l  o p tim a,   wh ile  th e  ex p l o r atio n   b eh a v io r   f o cu s es  o n   s ea r ch in g   f o r   o p tim al  f o o d   s o u r c es  n ea r   th e  cu r r en t   o n e.   I n   th is   r esear ch ,   Q - lear n i n g   is   u tili ze d   to   en h an ce   th e  s o lu tio n s   an d   o b tain   m an y   co r r ec t  s o lu tio n s   to   th e  p r o b lem .   T h e   AB C   alg o r ith m   is   ch ar ac ter ized   th r o u g h   s tr o n g   e x p lo r atio n   b eh av io r   a n d   wea k er   ex p lo itatio n   b eh av io r ;   th u s ,   g o al  is   to   o p ti m ize  th e  ex p lo itatio n   b eh av io r .   Du r in g   th e   in itializatio n   s tag e,   AB C   alg o r ith m   d ef in es  a  p o s itio n   o f   f o o d   s o u r ce   with   p o s s ib le  s o lu tio n s   to   is s u e.   First,  th e  f o o d   s o u r ce   is   r an d o m l y   p r o d u ce d ,   a n d   th e  m ath em atic al  ex p r ess io n   f o r   th is   is   g iv en   i n   ( 1 2 ) .     , 0 = +  ( 0 , 1 ) × (  − )     ( 1 2 )     W h er e    d ef in es  lo wer   b o u n d   o f    ℎ   o p tim izatio n   p ar am ete r   an d      d ef in es  th e  u p p er   b o u n d   o f    ℎ   p ar am eter   o f   o p tim izatio n .   Ad d itio n ally ,   th e   in itializatio n   s tag e  AB C   alg o r ith m   d i v id es  alg o r ith m   in t o     th r ee   s u b - s tag es :   em p lo y ed ,   o n lo o k er ,   an d   s co u t  b ee   p h ases .   T h e  ap p r o ac h   r e p ea ts   th e  th r ee   s tag es  u n til  th e   h ig h est  n u m b e r   o f   iter atio n s   is   attain ed .   I n   em p lo y ee   b ee   s tag e ,   th e  alg o r ith m   id e n tifie s   p o s itio n   o f   n eig h b o r in g   f o o d   s o u r ce   r ela tiv e  to   th e  cu r r en t  f o o d   s o u r ce .   T h e  cu r r en t  lo ca tio n   u p d ate  ex p r ess io n   h as    s tr o n g   s ea r ch   ca p a b ilit ies  b u t  lack s   s u f f icien t  ex p lo r atio n   ca p ab ilit ies .   T h is   lim itatio n   o f ten   ca u s es  th e   alg o r ith m   to   f all  in to   lo ca l   o p tim a  an d   r ed u ce s  th e  u p d ate  s p ee d .   T o   o v er c o m e   th is   is s u e,   th e   p o s itio n   u p d atin g   f o r m u la  in c o r p o r ates   g lo b al  g u id in g   f ac to r s ,  an d   t h e  u p d ated   m ath e m atica l  ex p r ess io n   f o r   p o s itio n   u p d ate  is   g iv en   in   ( 1 3 ) .     , = , + , ( , − , ) + (  , − , )   ( 1 3 )     W h er e  ,   r ep r esen ts   th e  n ew  p o s itio n   p r o d u ce d   clo s er   to   , ,  ,        r ep r esen t  r an d o m   n u m b er s   p r o d u ce d   b y   r an d o m   f o r m u las ,   an d    ,   r ep r esen ts   th e  b est  v alu e.   T h e  g lo b al  g u id i n g   f ac to r   (  , − , )   is   in clu d ed   to   en ab le  th e  b ee   s ea r ch   to   h av e  a  h ig h er   d ir ec tio n ,   an d   th e    in f lu en c in g   f ac to r   i s   in clu d ed   as  th e   g lo b al  f ac to r   f o r   co n s tr ain in g   th e  s ea r ch   am p litu d e.   At  th is   s tag e,   th e  v alu e  o f   a  Q - ta b le  i s   u p d ated   b y   u s in g   ( 8 ) .   I f   a   f o o d   s o u r ce   p r o v id es   g o o d   f it n ess   v alu e,   em p lo y ee   b ee   d o es  n o t  r e p lace   cu r r en t  f o o d   s o u r ce   with   a   n ew  s o u r ce .   I n s tead ,   it  u p d ates  Q - v alu e  th r o u g h   r ewa r d in g   n ewly   ch o s en   f o o d   s o u r ce   a n d   p en alizin g   c u r r e n t  f o o d   s o u r ce .   Similar ly ,   if   a  n e w  f o o d   s o u r ce   d o es n o t p r o v id e  g o o d   f itn ess   v alu e,   it is   p en alize d ,   wh ile  cu r r en t   f o o d   s o u r ce   is   r ewa r d ed .   T h e  Q - tab le  is   u p d ated   ev er y   tim e   th e  em p l o y ee   b ee   id en tifie s   a n   ap p r o p r iate   f o o d   s o u r ce .   Hen ce ,  n u m b er   o f   em p lo y ee   b ee s   is   d en o ted   as   ,   an d   Q - tab le  is   u p d ate d   o n ce   f o r   ea ch   em p lo y e e   b ee .   I n   an   o n l o o k e r   s tag e,   th e  o n lo o k er   b ee   s elec ts   a  f o o d   s o u r ce   f r o m   Q - tab le  b ased   o n   Q - v al u es .   T h e  o n lo o k er   b ee   s ea r ch e s  f o r   a   n ew  f o o d   s o u r ce ,  a n d   m ath em a tical  ex p r ess io n   f o r   th is   is   g iv en   in   ( 1 4 ) .   I f   a  n ew   f o o d   s o u r ce   h as   h i g h   f itn ess   v alu e,   it r ep lace s   p r esen t  f o o d   s o u r ce ,   a n d   Q - v al u e  is   u p d ate d   ac co r d in g l y .     , = , + ∅ , ∙ ∙ ( , −  , )   ( 1 4 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 6 4 5 - 4 6 5 5   4650   W h er e  ,   r ep r esen ts   th e  p ar am e ter   f o r   o p tim izatio n   in   th e  n ei g h b o r in g   f o o d   s o u r ce ,   wh er e  ∅ ∈ [ − 1 , 1 ] ,   an d    ,   r ep r esen t  p ar am eter   f o r   o p tim izatio n   in   t h e  o p tim u m   f o o d   s o u r ce ,   wh ich   is   s elec ted   th r o u g h   r a n d o m   s elec tio n .   Usi n g   th e  ( 1 4 )   im p r o v es  ex p lo itatio n ,  r ath e r   th an   j u s t  u p d atin g   th e  d im en s io n   v a lu es.  T h e  o n lo o k e r   b ee s   ex p lo it  th e  cu r r en t  f o o d   s o u r ce   an d   u p d ate  all  d im en s io n s   with   v ar y in g   weig h t  v alu es ,   an d   th e  Q - v alu es  ar e  s u b s eq u en tly   u p d ated .   I n   t h e  s co u t  b ee   s tag e,   if   th e r e  h a v e  b ee n   s ev er al  s u cc ess f u l  att em p ts   at  id en tify in g   th e  b est  n eig h b o r s ,   th e  c u r r e n t  f o o d   s o u r ce   is   d is ca r d ed ,   an d   th e  s co u t  b ee   r an d o m ly   s ea r ch es  f o r   n ew  f o o d   s o u r ce .   T h e  al g o r ith m   f o r   AB C   with   a  g lo b al  g u id i n g   f ac t o r   is   d escr ib ed   as in   Alg o r ith m   2 .     Alg o r ith m   2 .   AB C   with   a  g lo b al  g u id in g   f ac to r   Initialization   Initialize the population and measure the fitness value   Set parameters such as best solution, highest number of iterations, population size   Identify good solution   Employee Bees stage     for every position do       Update employee bee position through (13)       Evaluate new position         if fitness value is good replace the present location with a new  location         end if        Measure the possibility and update the Q - table to choose a location in  onlooker bee stage     end for     Onlooker Bees stage     for every onlooker do       choose the location depended on Q - value and probability       Update the location of the onlooker bee through (14)       Evaluate new location         if fitness value is good replace the present location with a new  location         end if         Update Q - table by (8)       end for       Identify a better solution (Q - table)     Scout Bees stage     for every position do       Abandon solutions which are not updated and produce new solutions randomly        Update Q - table by (8)     end for   end while       3.   RE SU L T S AN D  D I SCU SS I O N   T h e  p er f o r m a n ce   o f   a  DR L - AB C Q  ap p r o ac h   is   s im u lated   in   a  C lo u d Sim  en v ir o n m en t  with   f o llo win g   co n f ig u r atio n s :  an   i5   p r o ce s s o r ,   W in d o ws  1 0   OS,  an d   8   GB   o f   R A M.   T h e  s im u latio n   in v o lv es  two   d if f er en t  ex p er im en ts   to   ass es s   th e  alg o r ith m ' s   ef f ec tiv en ess .   T h e  in itial   ex p er im en t  u s es  two   s ets  o f   task s   to   ev alu ate  r ewa r d   p er ce n tag e   a n d   c o m p ar es   en er g y   c o n s u m p tio n   a n d   co m p u tatio n   tim e  o f   th e   DR L - AB C Q   ap p r o ac h   with   ex is tin g   ap p r o ac h es.  T h e  s ec o n d   e x p er im en t  f o c u s es  o n   m ea s u r in g   t h e  ac cu r ac y   o f   th e     DR L - AB C Q  ap p r o ac h .   Per f o r m an ce   m etr ics  s u ch   as  m ak esp an ,   lo ad   b alan cin g   in d ex ,   th r o u g h p u t,  e n er g y   co n s u m p tio n ,   co m p letio n   ti m e,   an d   r ewa r d   ar e  co n s id er ed   to   ev alu ate  th e  DR L - AB C Q  ap p r o ac h ' s   p er f o r m an ce .   Key   p ar am eter s   o f   th e   p r o p o s ed   DR L - AB C Q   alg o r ith m   in cl u d e   a  lear n in g   r ate  o f   0 . 0 1 ,   wh ich   co n tr o ls   th e  m eth o d ’ s   ad ap tatio n   s p ee d   an d   b ala n ce s   co n v er g en ce   with   s tab ilit y .   T h e  ex p lo r atio n - e x p lo itatio n   tr ad eo f f   e n s u r es  ad ap ta b ilit y   wh ile  p r ev en tin g   s u b - o p tim al  d ec is io n s .   T h e  b atch   s ize  o f   6 4   im p ac ts   th e   tr ain in g   s p ee d   a n d   s tab ilit y ,   wh ile  th e  d is co u n t  f ac to r   ( γ   =  0 . 9 )   s tr ik es  a  b ala n ce   b etw ee n   s h o r t - ter m   a n d     lo n g - ter m   r ewa r d s .   Ad d itio n ally ,   p ar am eter s   o f   th e  AB C   alg o r ith m   ar e  s et  to   5 0   b ee s   an d   a  m ax im u m   iter atio n   o f   1 0 0 ,   wh ich   en h a n ce s   o p tim izatio n   with o u t  e x ce s s iv e  co m p u tatio n al   o v e r h ea d .   Fin e - tu n i n g   t h ese  p ar am eter s   en s u r es  a  b ala n c e  b etwe en   en er g y   ef f icien cy   an d   o v er all  p er f o r m a n ce .   T ab le  1   p r esen ts   a  s im u latio n   p ar am eter s   o f   a  DR L - AB C Q  ap p r o ac h .   T ab le  2   p r esen ts   th e  p er f o r m an ce   o f   th e   DR L - AB C Q  ap p r o ac h   ev alu ate d   o n   d if f er e n t  t ask s   2 , 000  an d   4 , 0 0 0 .   T h e  p ar ticle  s war m   o p tim izatio n   ( PS O) ,   g r e y   wo lf   o p tim izatio n   ( GW O) ,   wh ale  o p tim izatio n   alg o r ith m   ( W OA) ,   an d   d war f   m o n g o o s e  o p tim izatio n   ( DM O)   ar e  th e  ex is tin g   alg o r ith m s   u tili ze d   to   v alid ate   p er f o r m an ce   o f   DR L - AB C Q  ap p r o ac h .   I n   T a b le  2 ,   th e  m et r ics  co n s id er ed   in clu d e  m ak e s p an ,   in d ex   o f   lo ad   b alan cin g ,   th r o u g h p u t,  en e r g y   co n s u m p tio n ,   co m p letio n   tim e ,   an d   r ewa r d .   T h e  DR L - AB C Q  ap p r o ac h   o b tai n s   1 2 5 . 2 5   s   f o r   m a k esp an ,   0 . 4 2   f o r   th e  in d e x   o f   lo a d   b alan ci n g ,   2 . 3 9   jo b s /s   f o r   th r o u g h p u t,  3 6 7 , 8 2 5 . 9   W   f o r   en er g y   c o n s u m p tio n ,   1 5 . 3 2   s   f o r   co m p letio n   tim e,   an d   4 2 . 7 5 %  f o r   r ewa r d   with   2 0 0 0   task s .   Fo r   4 0 0 0   task s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Op timiz in g   clo u d   en erg y  w ith   d ee p   r ein fo r ce men t le a r n in g :   a n   a r tifi cia l b ee   …   ( Mo h a mme d   Zia u r   R a h ma n )   4651   th e  DR L - AB C Q  ap p r o ac h   o b tain s   1 5 0 . 6 2   s   f o r   m a k esp an ,   0 . 4 3   f o r   th e  i n d ex   o f   lo ad   b al an cin g ,   2 . 8 7   jo b s /s   f o r   th r o u g h p u t,   4 4 1 , 3 9 1 . 0 8   w  f o r   en e r g y   c o n s u m p ti o n ,   1 8 . 3 8   s   f o r   c o m p letio n   tim e,   an d   4 2 . 7 5 % f o r   r ewa r d .       T ab le  1 .   Simu latio n   p ar am eter s   o f   th e  DR L - AB C Q  ap p r o ac h   P a r a me t e r s   V a l u e   S c h e d u l i n g   i n t e r v a l   0 . 0 1   -   1   se c o n d s   W o r k e r   n o d e   sp e e d   2 0 0   -   4 0 0   i n st r u c t i o n s/ s e c o n d   W o r k e r   n o d e   mem o r y   si z e     2  -   8   G B   W o r k e r   n o d e   sw a p p i n g   c o s t     2  -   1 0   i n st r u c t i o n s/ G B   W o r k e r   q u a n t u m   0 . 0 1   -   0 . 5   se c o n d s   W o r k e r   n o d e   st a r t u p   t i m e   1 2 0   -   6 0 0   se c o n d s   W o r k e r   n o d e   sc h e d u l e r   n o t i f i c a t i o n   t i me   1 - 5   i n st r u c t i o n s   S i mu l a t i o n   t i me   10 , 000   Ta sk   r a n g e   1 , 0 0 0   –   5 , 0 0 0   Le n g t h   1 , 0 0 0   –   2 , 0 0 0   F i l e   si z e   3 0 0   -   4 0 0       T ab le  2 .   Per f o r m an ce   o f   d if f er en t  o p tim izatio n s   with   th e  DR L - AB C Q  ap p r o ac h   f o r   d if f e r e n t ta s k s   Ta sk s   M e t h o d s   M a k e s p a n   ( s)   I n d e x   o f   l o a d   b a l a n c i n g   Th r o u g h p u t   ( jo b s/ s)   En e r g y   c o n su m p t i o n   ( w a t t )   C o m p l e t i o n   t i m e   ( s)   R e w a r d   ( %)   2 , 0 0 0   PSO   1 4 7 . 8 0   0 . 8 5   1 . 3 2   3 8 4 2 1 7 . 8   3 2 . 2 3   3 8 . 5 0     G W O   1 3 3 . 2 4   0 . 7 7   1 . 6 9   4 1 2 3 0 9 . 6 7   3 8 . 1 7   3 1 . 6 5     W O A   1 5 9 . 3 7   0 . 9 2   1 . 8 7   4 9 5 6 2 3 . 7 4   2 9 . 5 4   2 9 . 6 0     D M O   1 7 8 . 1 7   0 . 7 6   1 . 9 1   5 1 7 8 9 0 . 4 3   3 3 . 5 4   3 9 . 5 3     D R L  –   A B C Q A   1 2 5 . 5 2   0 . 4 2   2 . 3 9   3 6 7 8 2 5 . 9   1 5 . 3 2   4 2 . 7 5   4 , 0 0 0   PSO   1 7 7 . 3 6   0 . 8 6   1 . 5 8   4 6 1 0 6 1 . 3 8   3 8 . 6 8   3 8 . 2 0     G W O   1 6 0 . 0 0   0 . 7 8   2 . 0 3   4 9 4 7 7 1 . 6   4 5 . 8   3 2 . 0 0     W O A   1 9 1 . 2 4   0 . 9 3   2 . 2 4   5 9 4 7 4 8 . 4 9   3 5 . 4 5   3 0 . 0 0     D M O   2 1 3 . 8   0 . 7 7   2 . 2 9   6 2 1 4 6 8 . 5 2   4 0 . 2 4   3 9 . 6 0     D R L - A B C Q A   1 5 0 . 6 2   0 . 4 3   2 . 8 7   4 4 1 3 9 1 . 0 8   1 8 . 3 8   4 2 . 7 5       T ab le  3   p r esen ts   th e  p er f o r m a n ce   o f   th e  DR L - AB C Q  ap p r o ac h   ev alu ated   with   d if f e r en t  n u m b er s   o f   VM s ,   s p ec if ically   1 0   an d   5 0 .   T h e  ex is tin g   alg o r ith m s   u tili ze d   to   v alid ate  th e  p er f o r m a n ce   o f   th e  DR L - AB C Q   ap p r o ac h   in cl u d e   PS O,   GW O,   W OA,   an d   DM O.   I n   T a b le  3 ,   th e   m etr ics  co n s id er ed   ar e  m ak esp an ,   in d ex   o f   lo ad   b alan cin g ,   th r o u g h p u t,  e n er g y   co n s u m p tio n ,   co m p leti o n   tim e,   an d   r ewa r d .   T h e  DR L - AB C Q  ap p r o ac h   ac h iev es  1 4 0   s   f o r   m ak esp a n ,   0 . 4 5   f o r   th e  in d ex   o f   lo a d   b ala n cin g ,   2 . 5 0   jo b s /s   f o r   th r o u g h p u t ,   3 8 0 , 0 0 0   W   f o r   en er g y   c o n s u m p tio n ,   2 0 . 0 0   s   f o r   co m p letio n   tim e ,   an d   4 5 . 0 0 %  f o r   r ewa r d   with   1 0   VM s .   Fo r   5 0   VM s ,   th e  DR L - AB C Q  ap p r o ac h   ac h iev es  1 1 5 . 0 0   s   f o r   m ak esp an ,   0 . 4 0   f o r   t h e  in d ex   o f   lo a d   b alan c in g ,   3 . 0 0   jo b s /s   f o r   th r o u g h p u t ,   3 6 0 , 0 0 0   W   f o r   e n er g y   co n s u m p tio n ,   2 2 . 0 0   s   f o r   co m p letio n   tim e ,   a n d   4 7 . 0 0 % f o r   r ewa r d .       T ab le  3 .   Per f o r m an ce   o f   DR L - AB C Q  ap p r o ac h   with   d if f e r e n t V Ms   V M s   M e t h o d s   M a k e s p a n   ( s)   I n d e x   o f   l o a d   b a l a n c i n g   Th r o u g h p u t   ( j o b s/ s)   En e r g y   c o n su m p t i o n   ( w a t t )   C o m p l e t i o n   t i m e   ( s)   R e w a r d   ( %)   10   PSO   1 6 0 . 0 0   0 . 8 8   1 . 2 5   4 2 0 . 0 0 0   3 5 . 0 0   3 5 . 0 0     G W O   1 5 0 . 0 0   0 . 8 0   1 . 5 5   4 3 0 . 0 0 0   4 0 . 0 0   3 2 . 0 0     W O A   1 7 0 . 0 0   0 . 9 5   1 . 8 5   4 8 0 . 0 0 0   3 0 . 0 0   3 0 . 0 0     D M O   1 8 5 . 0 0   0 . 7 8   1 . 9 5   5 0 0 . 0 0 0   3 3 . 0 0   3 8 . 0 0     D R L  –   A B C Q A   1 4 0 . 0 0   0 . 4 5   2 . 5 0   3 8 0 . 0 0 0   2 0 . 0 0   4 5 . 0 0   50   PSO   1 3 0 . 0 0   0 . 8 0   1 . 4 0   3 7 0 . 0 0 0   2 8 . 0 0   4 0 . 0 0     G W O   1 2 0 . 0 0   0 . 7 5   1 . 7 5   3 8 0 . 0 0 0   3 2 . 0 0   3 5 . 0 0     W O A   1 3 5 . 0 0   0 . 8 5   2 . 0 0   4 0 0 . 0 0 0   2 7 . 0 0   3 3 . 0 0     D M O   1 4 5 . 0 0   0 . 7 4   2 . 0 5   4 1 0 . 0 0 0   3 0 . 0 0   4 0 . 0 0     D R L  –   A B C Q A   1 1 5 . 0 0   0 . 4 0   3 . 0 0   3 6 0 . 0 0 0   2 2 . 0 0   4 7 . 0 0       T ab le  4   p r esen ts   th e  p er f o r m a n ce   o f   t h e  DR L - AB C Q  ap p r o ac h   ev alu ated   with   d if f e r en t  t ask   s izes,  n am ely   2 0 0 0   an d   4 0 0 0 ,   u s in g   ex is tin g   lo ad   b alan cin g   alg o r ith m s .   T h e  ex is tin g   alg o r ith m s   f o r   co m p ar is o n   in clu d e  R R ,   least  co n n ec tio n s   ( L C ) ,   g lo b al  s er v e r   lo a d   b alan cin g   ( GSLB),   an d   r an d o m   f o r est  ( R F).   I n     T ab le  4 ,   th e  f o llo win g   m etr ics  ar e  p r esen ted :  m ak esp an ,   in d ex   o f   lo ad   b alan cin g ,   t h r o u g h p u t,  en er g y   co n s u m p tio n ,   co m p letio n   tim e,   an d   r ewa r d .   T h e  DR L - AB C Q  ap p r o ac h   ac h iev es  1 2 5 . 2 5   s   f o r   m ak esp an ,     0 . 4 2   f o r   t h e  in d e x   o f   l o ad   b alan cin g ,   2 . 3 9   ( jo b s /s )   f o r   th r o u g h p u t,  3 6 7 , 8 2 5 . 9   W   f o r   e n er g y   c o n s u m p tio n ,   1 5 . 3 2   s   f o r   c o m p letio n   tim e,   an d   4 2 . 7 5 %  f o r   r ewa r d   wit h   2 0 0 0   task s .   Fo r   4 0 0 0   task s ,   th e  DR L - A B C Q   ap p r o ac h   ac h iev es  1 5 0 . 6 2   s   f o r   m ak esp a n ,   0 . 4 3   f o r   th e   in d e x   o f   lo a d   b alan cin g ,   2 . 8 7   ( jo b s /s )   f o r   t h r o u g h p u t,   4 4 1 , 3 9 1 . 0 8   W   f o r   en er g y   co n s u m p tio n ,   1 8 . 3 8   s   f o r   co m p letio n   tim e,   an d   4 2 . 7 5 % f o r   r ewa r d .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 6 4 5 - 4 6 5 5   4652   T ab le  4 .   Per f o r m an ce   o f   DR L - AB C Q  ap p r o ac h   with   d if f e r e n t ta s k s   Ta sk s   M e t h o d s   M a k e s p a n   ( s)   I n d e x   o f   l o a d   b a l a n c i n g   Th r o u g h p u t   ( j o b s/ s)   En e r g y   c o n su m p t i o n   ( w a t t )   C o m p l e t i o n   t i m e   ( s)   R e w a r d   ( %)   2 , 0 0 0   RR   1 8 2 . 3 7   0 . 6 8   1 . 9 2   1 9 2 3 8 5 . 7   2 2 . 9 3   2 9 . 8 5     LC   1 7 6 . 8 4   0 . 6   2 . 0 7   1 8 1 4 7 2 . 3   2 1 . 6 5   3 1 . 2 0     G S LB   1 7 1 . 9 2   0 . 5 7   2 . 1 8   1 7 6 9 2 5 . 6   2 0 . 7 5   3 2 . 5 0     RF   1 8 6 . 4 5   0 . 7 1   1 . 8 8   1 9 6 7 3 4 . 9   2 3 . 2 7   2 8 . 7 5     D R L  –   A B C Q A   1 2 5 . 5 2   0 . 4 2   2 . 3 9   3 6 7 8 2 5 . 9   1 5 . 3 2   4 2 . 7 5   4 , 0 0 0   RR   2 0 3 . 4 8   0 . 6 9   2 . 3 3   3 7 2 5 4 8 . 9   2 7 . 6 3   2 8 . 4 0     LC   1 9 8 . 7 6   0 . 6 2   2 . 4 7   3 6 2 3 9 5 . 4   2 6 . 5 7   3 0 . 1 0     G S LB   1 9 1 . 5 9   0 . 5 9   2 . 6 2   3 5 6 7 8 5 . 1   2 5 . 4 2   3 1 . 5 0     RF   2 0 7 . 3 2   0 . 7 3   2 . 2 4   3 8 2 7 4 6 . 5   2 8 . 8 9   2 7 . 3 0     D R L - A B C Q A   1 5 0 . 6 2   0 . 4 3   2 . 8 7   4 4 1 3 9 1 . 0 8   1 8 . 3 8   4 2 . 7 5       Fig u r es  3   a n d   4   illu s tr ate  th e  r ewa r d   o b tain e d   f r o m   t h e  en v i r o n m e n t  f o r   r ed u cin g   en er g y   co n s u m p tio n   an d   c o m p letio n   tim e.   T h ese  f ig u r es  co m p ar e  th e  r ewa r d   v al u es  o f   th e  DR L - AB C Q  ap p r o ac h   with   ex is tin g   alg o r ith m s   s u ch   as  PS O,   GW O,   W OA,   an d   DM O  f o r   task   s ets  o f   2 0 0 0   a n d   4 0 0 0 .   Fig u r e  3   s h o ws  th e  to tal  r ewa r d   p er   ite r atio n ,   f r o m   1 0   to   1 0 0   iter atio n s ,   f o r   th e  2 0 0 0 - task   s et.   Fig u r e  4   s h o ws  th e   to tal   r ewa r d   p er   iter atio n ,   f r o m   1 0   t o   1 0 0   iter atio n s ,   f o r   th e  4 0 0 0 - t ask   s et.   Fro m   b o th   f ig u r es,  th e  p r o p o s ed   DR L - AB C Q  ap p r o ac h   o u t p er f o r m s   th e  ex is tin g   alg o r ith m s .   As  th e  n u m b er   o f   task s   in cr e ases   f r o m   2 0 0 0   to   4 0 0 0 ,   r ewa r d   p e r ce n tag e  also   s u r p ass es  th e  ex is tin g   alg o r ith m s .   Fig u r e  5   r e p r esen ts   ac cu r ac y   o f   a   DR L - AB C Q  ap p r o ac h ,   cl ea r ly   s h o win g   th at   th e   ac cu r ac y   in cr ea s es  s tead ily   as  th e  iter atio n   co u n t  p r o g r e s s es  f r o m   1 0   to   1 0 0 .   T h e  f i n al  o u tco m e  o f   tr ain i n g   th e  n eu r al  n etwo r k   is   im p r o v e d   ac cu r ac y   at  th e  e n d   o f   ea ch   iter atio n .   T h is   r esu lt  r ef lects  en h an ce d   ac cu r ac y   in   d y n am ic   en v ir o n m en ts .   Fig u r e  6   s h o ws   th e  p er f o r m an ce   o f   d if f er e n t  alg o r ith m s   with   2 0 0 0   to   4 0 0 0   task s   allo ca ted   to   ex is tin g   VM s .   Fro m   Fig u r e  6 ,   it  is   ev id en t  th at  th e  D R L - AB C Q  ap p r o ac h   co n s u m es  le s s   co m p letio n   tim e   th an   th e  ex is tin g   alg o r ith m s ,   s u ch   as  PS O,   GW O,   W OA,   an d   DM O.   Fig u r e  7   r ep r esen ts   th e  to tal  en er g y   co n s u m p tio n   ac r o s s   v ar io u s   V Ms  in   th e  d ata  ce n ter .   Fr o m   F ig u r e  7 ,   it   is   clea r   th at   th e   DR L - AB C Q  ap p r o ac h   s av es  m o r e  en er g y   th an   th e  e x is tin g   alg o r ith m s ,   in clu d in g   PS O,   G W O,   W O A,   an d   DM O.   T h e  n u m b er   o f   VM s   r an g es f r o m   1 0   to   5 0   to   ev alu ate  th e  p er f o r m an ce   o f   th e  DR L - AB C Q  ap p r o ac h .               Fig u r e  3 .   R ewa r d   p er ce n tag e   f o r   2 , 0 0 0   task s   Fig u r e  4 .   R ewa r d   p er ce n tag e   f o r   4 , 0 0 0   task s               Fig u r e  5 .   I te r atio n   v s   ac c u r ac y   Fig u r e  6 .   Nu m b er   o f   task s   v s   co m p letio n   tim e     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Op timiz in g   clo u d   en erg y  w ith   d ee p   r ein fo r ce men t le a r n in g :   a n   a r tifi cia l b ee   …   ( Mo h a mme d   Zia u r   R a h ma n )   4653       Fig u r e  7 .   Nu m b er   o f   VM s   v s   en er g y   c o n s u m p ti o n       3 . 1 .     Co m pa ra t iv e  a na ly s is   T h e  p er f o r m an ce   o f   th e  DR L - AB C Q  ap p r o ac h   is   co m p ar e d   with   ex is tin g   tech n iq u es  lik e  QM PS O,   L B MPSO ,   an d   MM HHO,   u s i n g   m etr ics  lik e  m a k esp an ,   e n e r g y   u tili za tio n ,   an d   th r o u g h p u t.  T h e  DR L - AB C Q   ap p r o ac h   ac h iev es a   m a k esp a n   o f   1 2 5 . 5 2   s ,   en e r g y   u tili za tio n   o f   9 9 . 8 1   k J ,   an d   th r o u g h p u t  o f   2 . 3 9   jo b s /s   wh en   co m p ar ed   to   th e  e x is tin g   ap p r o ac h es.  T ab le  5   p r esen ts   th e  c o m p ar ativ e  r esu lts   o f   th e  DR L - AB C Q  ap p r o ac h .       T ab le  5 .   C o m p a r ativ e  tab le  o f   th e  DR L - AB C Q  ap p r o ac h   M e t h o d s   M a k e s p a n   ( s)   En e r g y   u t i l i z a t i o n   ( k J)   Th r o u g h p u t   ( jo b s / s)   Q M P S O   [ 1 6 ]   NA   1 7 3 . 8 7   5 . 4 6   LB M P S O   [ 1 7 ]   1 0 8 . 8 7   NA   NA   M M H H O   [ 1 8 ]   NA   5 5 . 0 1   4 . 5 2   P r o p o se d   D R L - A B C Q   a p p r o a c h   1 2 5 . 5 2   9 9 . 8 1   2 . 3 9       3 . 2 .     Dis cus s io n   T h e  s im u latio n   o f   th e  DR L - AB C Q  ap p r o ac h   is   p er f o r m e d   in   a  Py th o n   en v ir o n m en t,  an d   th r ee   d if f er en t   ex p e r im en ts   ar e   co n d u cted   t o   v alid ate  th e   r ewa r d   p er ce n tag e   an d   ac cu r ac y .   T h e   p er f o r m a n ce   o f   th e   DR L - AB C Q  ap p r o ac h   is   co m p ar ed   with   v ar io u s   o p tim izatio n   alg o r ith m s   lik e  PS O,   GW O,   W OA,   an d   DM O.   Ad d itio n ally ,   DR L - AB C Q  a p p r o ac h   is   co m p ar e d   with   e x is tin g   alg o r ith m s   lik e  QM PS O,   L B MP SO,  an d   MM HHO.   T o   ad d r ess   th e   is s u es  o f   c o m p lex ity   an d   h ig h   d im e n s io n ality ,   t h e  DR L - AB C Q  ap p r o ac h   is   em p lo y ed ,   wh ich   ac ce ler ates  th e  p r o ce s s   an d   m in im izes  th e  ex ec u tio n   tim e.   T h e  a g en t  in   DR L   m ak es  in tellig en t  d ec is io n s   to   h an d le   h u g e  n u m b e r   o f   task s   in   less   tim e  an d   at  h ig h er   s p ee d s .   T h e  AB C   alg o r ith m   u tili ze s   th e  g lo b al  g u id in g   f ac to r   f o r   in itializin g   p o s itio n   u p d ates,  wh ich   en h a n ce s   th e  s ea r ch ab ilit y   p er f o r m an ce   o f   th e  AB C   alg o r ith m .   T h e  p r o p o s ed   DR L - AB C Q  ap p r o ac h   o p tim izes  s ch ed u lin g   an d   r eso u r c e   u s ag e,   in cr ea s es  VM   th r o u g h p u t,  an d   b ala n ce s   th e  lo a d   b et wee n   VM s .   T h e  ex p er im en tal   o u tco m es  c o n f ir m   th at  DR L - AB C Q  ap p r o ac h   d e liv er s   th e  b est  r ewa r d s   wh en   l ar g e  n u m b e r   o f   task s   ar e  allo c ated   to   d ata   ce n ter .   T h e  ex p er im e n tal  r esu lts   ac q u ir ed   b y   p r o p o s ed   DR L - AB C Q  m o d el  ar e  co n s is ten t  wh ich   em p lo y   RL   an d   h y b r id   o p tim izatio n   alg o r it h m s .   Prio r   r esear ch es  h a v e  s h o w n   th at  DR L - b ased   s ch ed u ler s   ef f icien tly   ad a p t  to   d y n am ic  wo r k lo ad s   an d   m i n im ize  m ak esp an   an d   e x ec u tio n   tim e  th r o u g h   lear n i n g   o p tim u m   r eso u r c e  a l l o c a ti o n   p o l i c i es   [ 2 0 ] – [ 2 2 ] .  Si m i l a r l y ,   h y b r i d   m et a - h e u r i s t i c  a l g o r i t h m s   l i k e   Q MP S O  [ 1 6 ]   a n d   M M H HO   [ 1 8 ]   en h an ce d   co n v er g e n ce   b e h a v io r   s h o ws  h ig h   en e r g y   co n s u m p tio n   u n d e r   h ea v y   lo a d   co n d itio n s .   T h e   co m b in atio n   o f   a  g lo b al  g u id in g   f ac to r   in   AB C   m o d el  in   p r o p o s ed   DR L - AB C Q  a lg o r ith m   im p r o v es   ex p lo itatio n   wh e n   a v o id in g   p r em atu r e  co n v er g en ce ,   r esu ltin g   in   l o w  en er g y   co n s u m p tio n   an d   en h an ce d   lo ad   b alan cin g .   Mo r eo v er ,   a n   in c r ea s e  in   th r o u g h p u t  with   h i g h   VM   co u n ts   d eter m in es  th e  s ca lab ilit y   an d   r o b u s tn ess   o f   th e  p r o p o s ed   m o d el  in   lar g e - s ca le  clo u d   en v ir o n m en ts .       4.   CO NCLU SI O N   T h is   r esear ch   p r o p o s es  an   ef f ec tiv e  ap p r o ac h   f o r   lo a d   b alan cin g   in   a  clo u d   en v i r o n m en t.  T h e     DR L - AB C Q  ap p r o ac h   is   p r o p o s ed   to   b alan ce   lo ad   in   cl o u d   n etwo r k .   T h is   ap p r o ac h   c o m b in es  b o th   DR L   alg o r ith m   an d   AB C   with   th e  Q - lear n in g   ap p r o ac h .   B y   u s in g   DR L ,   th e   n eu r al  n etwo r k   is   tr ain ed   to   ac h iev e   o p tim al  r ewa r d s .   T h r o u g h   th e   AB C Q  ap p r o ac h ,   o v er all  p r o ce s s in g   tim e  o f   in co m in g   lo a d   is   m in im ized .   T h e  DR L - AB C Q  ap p r o ac h   im p r o v es  v ar io u s   l o ad   b alan cin g   p ar am eter s   in   less   tim e  c o m p ar ed   to   ex is tin g   alg o r ith m s   in   th e  clo u d   n et wo r k .   T h e  DR L - AB C Q  ap p r o ac h   ac h iev es  a  m ak esp an   o f   1 2 5 . 5 2   s ,   en er g y   u tili za tio n   o f   9 9 . 8 1   kJ ,   an d   th r o u g h p u t  o f   2 . 3 9   jo b s /s   wh en   co m p ar ed   to   e x is tin g   ap p r o ac h es.  T h e  th r o u g h p u t   o f   th e  p r o p o s ed   DR L - AB C Q  ap p r o ac h   is   s lig h tly   lo wer   th a n   th at  o f   d if f er en t  b e n ch m ar k   alg o r ith m s ,   wh ich   is   an   ess en tial  tr ad e - o f f   f o r   ac h iev in g   im p r o v ed   en er g y   ef f ic ien cy .   T h e  in tellig en t  s ch ed u lin g   m ec h an is m   in   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   5 ,  Octo b er   2 0 2 6 :   4 6 4 5 - 4 6 5 5   4654   DR L - AB C Q  m in im izes   u n n ec ess ar y   task   m ig r atio n s ,   an d   o p tim ized   C PU  u tili za t io n   lead s   to   an   o v er all   en h an ce m e n t  in   en er g y   ef f icien cy .   Fu tu r e  w o r k   f o cu s es  o n   o p tim izin g   th e  tr a d e - o f f   b etw ee n   th r o u g h p u t  an d   en er g y   co n s u m p tio n   b y   in clu d in g   an   ad a p tiv e  lear n in g   m e ch an is m   th at  d y n am ically   ad j u s ts   th e  s ch ed u lin g   p ar am eter s   b ased   o n   r ea l - tim e  wo r k lo ad   v ar iatio n s .       ACK NO WL E DG M E N T S   T h e  au t h o r s   wo u ld   lik e  to   t h an k   th e  Sch o o l   o f   C o m p u t er   Scien ce   a n d   E n g i n ee r in g ,   Pre s id en cy   Un iv er s ity ,   B en g alu r u ,   f o r   p r o v id in g   th e   n ec ess ar y   s u p p o r t a n d   f ac ilit ies to   ca r r y   o u t th is   r e s ea r ch   wo r k .         F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Mo h am m ed   Z iau r   R ah m an   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓     An an d ar aj  Sh an t h i  Pich an d i     ✓   ✓   ✓     ✓     ✓     ✓   ✓   ✓   ✓   ✓     C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   Data   a v aila b i lit y   is   n o t   a p p li ca b le   t o   t h is   p ap er   as   n o   n e w  d a t a  w er e  cr ea te d   o r   an al y z e d   i n   t h is   s t u d y .         RE F E R E NC E S   [ 1 ]   A .   Ja n g r a   a n d   N .   M a n g l a ,   “ A n   e f f i c i e n t   l o a d   b a l a n c i n g   f r a mew o r k   f o r   d e p l o y i n g   r e s o u r c e   sc h e d u l i n g i n   c l o u d   b a se d   c o mm u n i c a t i o n   i n   h e a l t h c a r e , ”   Me a s u remen t :   S e n so r s ,   v o l .   2 5 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . me a se n . 2 0 2 2 . 1 0 0 5 8 4 .   [ 2 ]   P .   U d a y a sa n k a r a n   a n d   S .   J.   J.   T h a n g a r a j ,   “ E n e r g y   e f f i c i e n t   r e s o u r c e   u t i l i z a t i o n   a n d   l o a d   b a l a n c i n g   i n   v i r t u a l   ma c h i n e s   u s i n g   p r e d i c t i o n   a l g o r i t h ms,”   I n t e rn a t i o n a l   J o u r n a l   o f   C o g n i t i v e   C o m p u t i n g   i n   En g i n e e ri n g ,   v o l .   4 ,   p p .   1 2 7 – 1 3 4 ,   J u n .   2 0 2 3 ,     d o i :   1 0 . 1 0 1 6 / j . i j c c e . 2 0 2 3 . 0 2 . 0 0 5 .   [ 3 ]   D .   T e n n a k o o n ,   M .   C h o w d h u r y ,   a n d   T.   H .   Lu a n ,   “ C l o u d - b a se d   l o a d   b a l a n c i n g   u si n g   d o u b l e   Q - l e a r n i n g   f o r   i m p r o v e d   q u a l i t y   o f   se r v i c e , ”   Wi r e l e ss  N e t w o rks ,   v o l .   2 9 ,   n o .   3 ,   p p .   1 0 4 3 – 1 0 5 0 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 7 6 - 0 1 8 - 1 8 8 8 - 8.   [ 4 ]   M .   S .   A l   R e sh a n   e t   a l . ,   “ A   f a st   c o n v e r g i n g   a n d   g l o b a l l y   o p t i m i z e d   a p p r o a c h   f o r   l o a d   b a l a n c i n g   i n   c l o u d   c o mp u t i n g , ”   I EEE   Ac c e ss ,   v o l .   1 1 ,   p p .   1 1 3 9 0 – 1 1 4 0 4 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 4 1 2 7 9 .   [ 5 ]   B .   X u   a n d   M .   L u ,   “ A g e n t - b a s e d   v i r t u a l   ma c h i n e   mi g r a t i o n   f o r   l o a d   b a l a n c i n g   a n d   c o - r e si d e n t   a t t a c k   i n   c l o u d   c o mp u t i n g , ”   A p p l i e d   S c i e n c e s ,   v o l .   1 3 ,   n o .   6 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 3 0 6 3 7 0 3 .   [ 6 ]   S .   S e f a t i ,   M .   M o u s a v i n a sa b ,   a n d   R .   Z .   F a r k h a d y ,   “ L o a d   b a l a n c i n g   i n   c l o u d   c o mp u t i n g   e n v i r o n m e n t   u s i n g   t h e   g r e y   w o l f   o p t i m i z a t i o n   a l g o r i t h m   b a se d   o n   t h e   r e l i a b i l i t y :   p e r f o r ma n c e   e v a l u a t i o n , ”   T h e   J o u r n a l   o f   S u p e r c o m p u t i n g ,   v o l .   7 8 ,   n o .   1 ,     p p .   1 8 – 4 2 ,   Ja n .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s1 1 2 2 7 - 0 2 1 - 0 3 8 1 0 - 8.   [ 7 ]   K .   J.   R a j a sh e k a r ,   C h a n n a k r i s h n a r a j u ,   P .   C .   G o w d a ,   a n d   A .   B .   J a y a c h a n d r a ,   “ S C EH O - I P S O :   a   n a t u r e - i n s p i r e d   m e t a   h e u r i s t i c   o p t i m i z a t i o n   f o r   t a s k - sc h e d u l i n g   p o l i c y   i n   c l o u d   c o mp u t i n g , ”   A p p l i e d   S c i e n c e s ,   v o l .   1 3 ,   n o .   1 9 ,   S e p .   2 0 2 3 ,     d o i :   1 0 . 3 3 9 0 / a p p 1 3 1 9 1 0 8 5 0 .   [ 8 ]   W .   A l mu s e e l e m ,   “ E n e r g y - e f f i c i e n t   a n d   sec u r i t y - a w a r e   t a s k   o f f l o a d i n g   f o r   m u l t i - t i e r   e d g e - c l o u d   c o m p u t i n g   s y st e ms,”   I E EE   Ac c e ss ,   v o l .   1 1 ,   p p .   6 6 4 2 8 – 6 6 4 3 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 2 9 0 1 3 9 .   [ 9 ]   M .   A d i l ,   S .   N a b i ,   M .   A l e e m,  V .   G .   D i a z ,   a n d   J.  C .   L i n ,   “ C A ‐ M LB S :   c o n t e n t ‐ a w a r e   m a c h i n e   l e a r n i n g   b a s e d   l o a d   b a l a n c i n g   sch e d u l e r   i n   t h e   c l o u d   e n v i r o n me n t , ”   Ex p e rt   S y st e m s ,   v o l .   4 0 ,   n o .   4 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 1 1 1 / e x s y . 1 3 1 5 0 .   [ 1 0 ]   H .   M i k r a m,   S .   E l   K a f h a l i ,   a n d   Y .   S a a d i ,   “ H EPG A :   a   n e w   e f f e c t i v e   h y b r i d   a l g o r i t h m  f o r   s c i e n t i f i c   w o r k f l o w   s c h e d u l i n g   i n   c l o u d   c o m p u t i n g   e n v i r o n me n t , ”   S i m u l a t i o n   Mo d e l l i n g   Pra c t i c e   a n d   T h e o ry ,   v o l .   1 3 0 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . s i mp a t . 2 0 2 3 . 1 0 2 8 6 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.