I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.  1 5 ,   No .   1 Ma r ch   20 2 6 ,   p p .   2 3 6 ~ 24 7   I SS N:  2089 - 4864 DOI 1 0 . 1 1 5 9 1 /i j r es . v 1 5 . i 1 . pp 2 3 6 - 24 7           236     J o ur na l ho m ep a g e h ttp : //ij r es.ia esco r e. co m   H DG C - h y b r id  t a sk   o ff l o a d in g   fr a m e w o r k   u s in g   de e r e i nf o r cem en l e a r n i n g   a n g e n et ic  a l g o r i t hm s f o r   6 G   e d g c l o u d       K a niezhil Ra dh a k ri s hn a n 1 ,   M o ng - F o ng   H o rng 2 ,   Siv a   Sh a nk a r   S ub ra m a nia n 3 ,   Ch un - Chih   L o 2   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   N a v a r a sam   A r t s a n d   S c i e n c e   C o l l e g e   f o r   W o m e n ,   T a mi l   N a d u ,   I n d i a   2 D e p a r t me n t   o f   El e c t r o n i c   E n g i n e e r i n g , N a t i o n a l   K a o h si u n g   U n i v e r si t y   o f   S c i e n c e   a n d   T e c h n o l o g y ,   K a o h si u n g ,   T a i w a n   3 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g K G   R e d d y   C o l l e g e   o f   En g i n e e r i n g   a n d   T e c h n o l o g y ,   H y d e r a b a d ,   I n d i a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  1 7 ,   2 0 2 4   R ev i s ed   J an   3 1 ,   2 0 2 6   A cc ep ted   Feb   1 7 ,   2 0 2 6       T h e   ra p id   e v o lu ti o n   o f   6 G   n e t w o rk h a s   b ro u g h n e w   c h a ll e n g e in   th e   d o m a in   o f   tas k   o f f lo a d in g   (T O) ,   p a rti c u larly   w it h in   e d g e   c o m p u ti n g   e n v iro n m e n ts  th a t   a re   h e a v il y   re li a n o n   th e   in tern e o f   th i n g s   ( Io T ) T ra d it io n a T m e th o d th a b a se d   o n   r u le - b a se d   h e u risti c o sh a ll o w   lea rn in g   tec h n i q u e f a il   to   a d a p t   e ff icie n tl y   to   th e   d y n a m ic,  u n p re d icta b le   n e tw o rk   c o n d it i o n s,  re so u rc e   h e t e ro g e n e it y ,   a n d   v a ry in g   tas k   d e m a n d s.  T h e   p ro li f e ra ti o n   o f   e d g e   c o m p u ti n g ,   th e   Io T ,   a n d   6 G   n e tw o rk h a i n tro d u c e d   n e w   c h a ll e n g e in   T O   d u e   to   d y n a m ic   n e tw o rk   c o n d it i o n s,   re so u rc e   h e tero g e n e it y ,   a n d   u n p re d icta b le  tas k   d e m a n d s.  T o   a d d re ss   th e se   c h a ll e n g e s,   th is  w o rk   p ro p o se a n   in n o v a ti v e   TO  m e th o d   t h a in teg r a tes   d e e p   re in f o rc e m e n lea rn in g   (DR L )   w it h   h e u risti c   se a rc h   m e th o d s.  T h e   c o m b in a ti o n   o f   DRL   a n d   h e u risti c   a lg o rit h m e n h a n c e a d a p tab il it y ,   c o n v e rg e n c e   sp e e d ,   a n d   d e c isio n - m a k in g   e ff icie n c y ,   m a k in g   it   we ll - su it e d   f o re a l - ti m e   TO  in   c o m p lex   a n d   u n p re d icta b le  e n v iro n m e n ts  Th is  p a p e r   p ro p o se a   n o v e h y b rid   T f ra m e w o rk   th a in teg ra tes   DR L   w i th   g e n e ti c   a lg o rit h m ( GA to   a d d re ss   t h e se   c h a ll e n g e s.  T h e   p ro p o se d   h y b ri d   o p ti m iza ti o n   tec h n i q u e   o f f e p ro m isin g   so lu ti o n b y   lev e ra g in g   th e   stre n g th o f   in d iv id u a l   a p p ro a c h e t o   b a la n c e   c o m p e ti n g   o b jec ti v e s,  su c h   a e n e rg y   c o n su m p ti o n ,   tas k   c o m p letio n   ti m e ,   a n d   re so u rc e   u ti li z a ti o n .   T h is  m e th o d   e x p lo re o p ti m iza ti o n   stra teg ies   to   e n h a n c e   T e ff icie n c y   in   d e c e n tralize d   e n v iro n m e n ts  m a in l y   f o c u sin g   o n   o p ti m izin g   e n e rg y   u se   w h il e   e n su rin g   p e rf o r m a n c e   m e tri c s l ik e   late n c y ,   th ro u g h p u t,   a n d   tas k   d e a d li n e s a re   m e t .   K ey w o r d s :   6 n et w o r k s   Dee p   r ein f o r ce m e n t le ar n in g   E d g co m p u ti n g   Gen etic  al g o r ith m s   T ask   o f f lo ad in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kan iez h il R ad h ak r i s h n a n   Dep ar t m en t o f   C o m p u ter   Scie n ce ,   Nav ar asa m   A r t s   an d   Scie n ce   C o lle g f o r   W o m en   A r ac h alu r ,   T a m il Na d u ,   I n d ia   E m ail:  k an iezh il @ y a h o o . co . in       1.   I NT RO D UCT I O N   T h ev o lu tio n   o f   m o b ile  an d   w ir ele s s   co m m u n icatio n   n et wo r k s   h as  w i tn e s s ed   s i g n if ica n leap   w ith   th d ep lo y m e n o f   5 G,   en ab lin g   u ltra - r eliab le  lo w - la ten c y   co m m u n icat io n s   ( U R L L C ) ,   en h a n ce d   m o b ile  B r o ad B   an d   ( eM B B ) ,   an d   m a s s i v m ac h i n e - t y p co m m u n ic atio n s   ( m MT C ) .   I n   th r ea l m   o f   ed g co m p u tin g   an d   th in ter n et  o f   t h i n g s   ( I o T ) ,   5 h as  f ac ilit ated   in telli g en tas k   o f f lo ad in g   ( T O)   b y   b r in g i n g   co m p u ta tio n   clo s er   to   th d ata  s o u r ce ,   th er e b y   d i m i n i s h i n g   r esp o n s e   ti m an d   n et w o r k   co n g esti o n .   E x i s t in g   m e th o d o lo g ies   f o r   T in   5 G - en ab led   en v ir o n m e n ts   p r ed o m in a n tl y   r el y   o n   r u le - b ased   h e u r is tic s ,   s tat ic  o p tim izatio n ,   o r   s h allo w   lear n i n g   m o d els  th at   co n s id er   p ar am eter s   s u c h   as  laten c y ,   en er g y   co n s u m p ti o n ,   b an d w id th ,   an d   co m p u tatio n   ca p ac it y   [ 1 ] - [ 5 ] .   Ho w e v er ,   th ese  tech n iq u e s   o f t en   f ai to   s ca le  e f f ec t iv el y   u n d er   h ig h l y   d y n a m ic   co n d itio n s ,   p ar ticu lar l y   w h e n   n et w o r k   to p o lo g ies  ch a n g r ap id ly ,   r eso u r ce   av ailab ilit y   f lu ct u ate s ,   o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       HDGC - h yb r id   ta s o fflo a d in g   fr a mewo r u s in g   d ee p   r ein fo r ce men t le a r n in g     ( K a n iezh il R a d h a kris h n a n )   237   ap p licatio n   w o r k lo ad s   ar n o n - s tatio n ar y .   Fu r t h er m o r e,   5 G - b ased   f r a m e w o r k s   s tr u g g le  w it h   cr o s s - la y er   o p tim izatio n   d u to   t h l i m it ed   co n tex t u al  a w ar e n es s   o f   d ev ice  s tate s   a n d   tas k   d ep en d en cies,  lead i n g   to     s u b - o p ti m al  allo ca tio n   o f   r eso u r ce s   an d   i n cr ea s ed   s y s te m   o v er h ea d .   T r ad itio n al  r ein f o r ce m en lear n i n g   ( R L )   ap p r o ac h es  em p lo y ed   w it h in   5 s y s te m s ,   w h ile  ad ap tiv o f ten   f ac co n v er g en ce   is s u e s ,   ex p lo r atio n - ex p lo itatio n   i m b alan ce ,   a n d   lack   o f   g e n er aliza tio n   in   n o n - s ta tio n ar y   e n v ir o n m e n t s   [ 6 ] - [ 9 ] .   As  w ad v an ce   in to   th e   6 G   er a,   co m m u n icatio n   p ar ad ig m s   u n d er g o   tr a n s f o r m at iv e   s h if t.   6 n et w o r k s   ar ch ar a cter ized   b y   ter a h er tz  co m m u n icat io n ,   in telli g e n s u r f ac e s ,   u ltra - m ass i v MI MO ,   an d   in te g r atio n   w it h   ar tif ic ial  in t ellig e n ce   ( AI - n a tiv e )   i n f r a s tr u ctu r e.   T h ese  in n o v atio n s   o f f er   u n p r ec ed en te d   s u p p o r f o r   r ea l - ti m e,   d is tr i b u ted ,   an d   co n te x t - a w ar c o m p u tatio n   o f f lo ad in g   [ 1 0 ] - [ 1 4 ] .   T h in h er en t   in telli g e n ce   e m b ed d ed   i n   6 a r ch itect u r en ab les   s ea m les s   o r ch estra tio n   a m o n g   E d g e,   Fo g ,   an d   C lo u d   la y er s .   Mo r eo v er ,   6 f ac ilit ate s   j o in o p ti m izatio n   o f   co m p u tati o n ,   co m m u n icatio n ,   an d   co n tr o b y   lev er a g in g     h ig h - b an d w id t h   lo w - laten c y   li n k s ,   p er v asi v s e n s in g ,   an d   d e ep   s e m a n tic  u n d er s ta n d in g   o f   task s   an d   s er v ices .   I n   th is   la n d s ca p e,   th n ee d   f o r   r o b u s t,  ad ap tiv e,   an d   in tellig e n T m ec h an i s m s   b ec o m es  p ar a m o u n to   ex p lo it th f u ll p o ten tial o f   6 G - en ab led   s y s te m s   [ 1 5 ] - [ 1 9 ] .   T o   a d d r ess   th ese  c h alle n g e s ,   t h is   w o r k   p r o p o s es  n o v el  h y b r id   T f r a m e w o r k   t h at  i n te g r ates  d ee p   r ein f o r ce m en lear n i n g   ( D R L )   w it h   h eu r i s tic  g e n etic  al g o r ith m s   ( G A )   i n   6 G - e n ab led   ed g e - clo u d   ec o s y s te m .   DR L   ar ch itect u r es,  p ar ticu lar l y   ac to r - cr itic  ( AC ) ,   an d   d ee p   Q - n et w o r k s ,   ar e m p lo y ed   to   lear n   d y n a m ic   o f f lo ad in g   p o licies  t h at  ad ap t   to   r ea l - ti m n et w o r k   s tate s   [ 2 0 ] - [ 2 4 ] .   T o   o v er co m DR L   li m ita tio n s   s u ch   a s   s lo w   co n v er g e n ce   an d   p o licy   s u b o p ti m al it y ,   G A   is   e m b ed d ed   to   r ef in th ex p lo r atio n   p r o ce s s   an d   o p tim ize   d ec is io n   q u alit y   [ 2 5 ] - [ 2 7 ] .   T h p r o p o s ed   m o d el  in c o r p o r ates  t r an s f er   lear n i n g ,   T r an s f o r m er - b ased     atten tio n   m ec h an is m s   f o r   lo n g - ter m   d ep en d en c y   m o d eli n g ,   an d   g r ap h   n e u r al  n et w o r k s   ( GNNs)   to   ca p tu r th e   s p atial - te m p o r al  tas k   d ep en d en cie s .   T h is   h y b r id   f r a m e w o r k   s ig n i f ica n tl y   e n h a n ce s   ad ap tab ilit y ,   co m p u tatio n al  e f f icien c y ,   a n d   r eso u r ce   u tili za tio n   u n d er   co m p lex   an d   u n p r ed ictab le  n et w o r k   en v ir o n m e n ts .   T h p ap er   is   o r g an ized   as   f o ll o w s ;   s ec tio n s   2   d i s cu s s   th e   r elate d   w o r k   an d   d ei n es   T s tr ateg y .   I n   s ec tio n   3 th p r o b lem   o f   th ex is tin g   s y s te m   w as  d is cu s s ed   an d   p o i n o u h o w   to   er ad icate   th is s u e s   in   th ex is tin g   s y s te m   a n d   th er eb y   i m p r o v th en er g y   e f f icie n c y .   Sectio n   4   d is cu s s   th p r o p o s ed   f r a m e w o r k .   Sectio n   5   p r esen ts   r es u lt s   an d   d is cu s s io n   an d   f i n all y ,   co n clu s io n s   ar p r esen ted   in   s ec tio n   6 .       2.   L I T E R AT U RE   R E VI E W   A   co m p r eh e n s i v co m p ar ati v an al y s i s   o f   en er g y   co n s u m p tio n   in   m o b ile  ed g co m p u ti n g   ( ME C )   en v ir o n m e n t s   w as  p r esen ted   in   [ 1 ] ,   w h er s e v er al  q u alit y - of - s er v ice  ( Qo S)  p ar am e ter s   w er ev al u ated   in   ter m s   o f   u s ag e f f icie n c y   a n d   p er ce n tag e - b ased   p er f o r m an ce .   B o th   f u ll  a n d   p ar tial  T s tr ateg ies  w er e   ex a m in ed   u s i n g   d i f f er en m etah eu r i s tic  o p ti m izatio n   al g o r ith m s ,   h i g h li g h ti n g   k e y   li m itatio n s   o f   ME C   s y s te m s   s u ch   a s   s ca lab ilit y   c o n s tr ain ts ,   co m p u tatio n al  o v e r h ea d ,   an d   en er g y   in e f f icie n c y   u n d er   d y n a m ic  w o r k lo ad s .   L et   a l.   [ 2 ]   ev alu ated   a n d   v alid ated   th e   ef f ec ti v e n es s   o f   T alg o r it h m   f o r   m u ltis er v er   ed g e   co m p u ti n g .   T h s t u d y   j o in tl y   o p tim ized   d iv er s s y s te m   p ar a m eter s   an d   p r esen ted   co m p ar at iv a n al y s i s   ag ain s f i v ex is ti n g   al g o r ith m s ,   d e m o n s tr atin g   i m p r o v ed   ef f icien c y ,   lo ad   b alan ci n g ,   an d   p er f o r m a n ce .   An   o p tim a d ec is io n - m a k in g   m o d el  f o r   T an d   r e s o u r ce   allo ca tio n   w as  p r o p o s ed   in   [ 3 ] ,   ai m i n g   to   m i n i m iz e   ex ec u t io n   d ela y   an d   en er g y   c o n s u m p tio n   w h ile  m ax i m izi n g   co m p u ti n g   r ates  u n d er   s tr ict   en er g y   co n s tr ain t s .   T h m o d el  en ab les  s y s te m   m ai n ten a n ce   at  ea c h   ti m f r a m u s in g   D R L .   Fu r t h er m o r e,   ed g e - to - clo u d   o f f lo ad in g   w a s   s h o w n   to   i m p r o v task   co m p let io n   r ates  b y   ef f ic ien t l y   m a n ag i n g   d ata  tr an s f er   b et w ee n   ed g e   s er v er s   an d   clo u d   in f r as tr u ct u r es.  I n   g e n er al,   ef f icie n T an d   en er g y - a w ar m ec h a n is m s   s ig n i f ica n tl y   en h a n ce   ME C   s er v er   u tili za ti o n   th r o u g h   i n telli g e n lo ad   b al an cin g   an d   tas k   s ch ed u li n g   [ 4 ] .   Ho w e v er ,   li m ite d   b atter y   ca p ac it y   r e m ai n s   m aj o r   ch allen g w h en   o p ti m izi n g   T d ec is io n s   u n d er   u n r eliab le  ed g p er f o r m a n ce   co n d itio n s   [ 5 ] .   A   co m p u tatio n   o f f lo ad in g   m o d el  o v er   co llab o r ativ clo u d ed g n et w o r k   w as   i n tr o d u ce d   in   [ 6 ] ,   co n s id er in g   co m p lete  o f f lo ad in g   r eq u ir e m en t s   an d   s er v er   r eso u r ce   u tili za tio n .   T h au th o r s   f o r m u lated   th e   o f f lo ad in g   s tr ateg y   a s   co n v ex   o p ti m izatio n   p r o b lem ,   g u ar an teei n g   u n iq u an d   o p ti m al  s o lu t io n .   I n   a   b r o ad e r   p er s p ec tiv e,   ed g e cl o u d   co m p u ti n g   e n v ir o n m en t s   ef f ec t iv el y   b r id g t h g ap   b et w ee n   ce n tr alize d   clo u d   in f r astr u ct u r es  a n d   en d   u s er s   b y   en ab li n g   n ea r - d ata  co m p u ti n g   s er v ices   w it h   m i n i m al  la ten c y .   TO   is   th er ef o r r eg ar d ed   as  o n o f   th m o s p r o m is in g   ap p r o ac h es  to   en h an ce   s er v ice   q u alit y ,   en er g y   ef f ic ien c y ,   an d   r eso u r ce   u tili za tio n   in   ed g e clo u d   s y s te m s   [ 7 ] .   A   co o p er ativ T s tr ateg y   b ased   o n   m u lti - ag e n d ee p   r ein f o r ce m en t   lear n i n g   ( M ADR L )   w as   p r o p o s ed   in   [ 8 ] ,   w h er ea c h   ed g n o d o p er ates  as   an   in te lli g en t   ag en t.  C en tr alize d   tr ai n in g   w i th   d ec en tr alize d   ex ec u tio n   m i tig ate s   n o n - s tatio n ar it y   is s u e s   an d   i m p r o v es  T ef f icien c y   b y   o p ti m izi n g   s h ar ed   r e w ar d   f u n ctio n .   T h p r o p o s ed   s ch e m s i g n if ican t l y   r ed u ce s   e n er g y   co n s u m p tio n   w h i le  s ati s f y i n g   co m p u tatio n   an d   co m m u n ica ti o n   co n s tr ai n ts .   DR L   tech n iq u e s   s u ch   as  d ee p   Q - n et w o r k s   ( DQN)   w er s h o w n   to   p r o v id ad ap tiv an d   ef f icie n t   d ec is io n - m a k i n g   in   d y n a m ic  an d   r eso u r ce - co n s tr ai n ed   ed g en v ir o n m e n t s   [ 9 ] .   A d d itio n all y ,   h y b r id   m o d el s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   2 3 6 - 24 7   238   in te g r atin g   lo n g   s h o r t - ter m   m e m o r y   n e t w o r k s   w i th   d i f f er e n tial  e v o lu tio n   ( L ST M - DE )   an d   f u zz y   Q - lear n i n g   w er e m p lo y ed   to   p r ed ict  f u t u r I o T   w o r k lo ad s   a n d   en ab l p r o ac tiv r eso u r ce   au to - s ca l in g   an d   o f f lo ad in g   d ec is io n s   f o r   m o b ile  ap p licati o n s   [ 1 0 ] .   Nea r - r ea l - ti m a n d   h ig h l y   ac c u r ate  p r ed ictio n s   f o r   o p tim a o f f lo ad in g   de cisi o n s   an d   co m p u tin g   r eso u r ce   allo ca tio n   w er ac h ie v ed   u s in g   m u lti - ta s k   lear n i n g - b ased   f ee d - f o r w ar d   n eu r al  n et w o r k   ( MT FF N)   m o d el  in   [ 1 1 ] .   Si m u la tio n   r es u lt s   d e m o n s tr ated   s u p er io r   p er f o r m a n ce   co m p ar ed   w it h   b e n ch m ar k   o f f lo ad in g   ap p r o ac h es.  T s tr ateg ies  m a y   b class if ied   a s   b in ar y   o r   p ar tial.  B in ar y   o f f lo ad in g   e x ec u tes  ta s k s   eit h er   lo ca ll y   o r   f u ll y   o f f lo ad s   th e m   to   clo u d lets ,   w h er ea s   p ar tial  o f f lo ad in g   d is tr ib u tes  ta s k s   b et w ee n   lo ca d ev ices  an d   r e m o te  s er v er s .   Mo r eo v er ,   o f f lo ad in g   d ec is io n s   ca n   b s tatic  o r   d y n a m ic;  s tatic  o f f lo ad in g   a s s i g n s   ta s k s   to   p r ed ef in ed   e d g s er v er s ,   w h ile  d y n a m ic   o f f lo ad i n g   ad ap ts   d ec is io n s   b ased   o n   r ea l - ti m s y s te m   co n d itio n s   [ 1 2 ] .       3.   T ASK   O F F L O AD I N G   I n   f ield s   i n cl u d in g   AI ,   m ac h in e   lear n i n g ,   an d   b i g   d ata   an al y s i s ,   T is   cr u cia f o r   en ab li n g   co m m u n icatio n   b et w ee n   lo ca d ev ices  a n d   clo u d   in f r astr u ctu r e.   T h n ee d   f o r   d ev ice s   th at  d o   n o h av e   s u b s ta n tial  co m p u ter   p o w er   o n   th eir   o w n   s er v es  as  t h f o u n d atio n   f o r   its   i m p o r tan ce .   T h ese  m et h o d s   tr an s f er   ca lcu latio n s   f r o m   p o ten tia ll y   r eso u r c e - co n s tr ai n ed   d ev ices,  in clu d i n g   m o b ile  p h o n es  an d   I o T   d ev ices  in   clo u d   co m p u ti n g ,   to   clo u d   o r   ed g s er v er s .   T h clo u d   s er v ices  ar en ab led   in   a   s u ch   w a y   t h at   task   to   b d o n f le x ib l y   i n   g i v e n   ti m w it h o u o v er lo ad in g   lo ca ap p licatio n s .   T h ese  ap p r o a ch es  ar to   en h an ce   t h e   p er f o r m a n ce ,   m i n i m ize  t h d elay   a n d   r eg u late  p o w er   u s ag e.   T h is   m ea n s   t h at  o r g an izatio n s   ca n   a v o id   ex p en d in g   lar g s u m s   i n   t h p u r ch a s o f   h ar d w ar an d   o t h e r   s u p p o r s tr u ct u r es  b y   h ir in g   clo u d   r eso u r ce s   o n   as - n ee d ed   b asis .   T O   is   te ch n iq u u s ed   to   im p r o v th d i s tr ib u tio n   o f   co m p u ti n g   ac ti v i ties   a m o n g   s e v er al  d ev ices,  s u c h   as  clo u d   s er v er s ,   ed g d ev ices,  o r   m o b il p h o n es,  esp ec iall y   i n   th e   co n tex o f   en er g y   co n s er v atio n .   T h g o al  o f   T O   is   to   im p r o v p er f o r m an ce   a n d   r ed u ce   o v er all  en e r g y   co n s u m p tio n ,   esp ec iall y   in   s y s te m s   w it h   li m ited   r eso u r ce s ,   s u ch   b atter y - o p er ated   d e v ices.  T h o b j ec tiv is   to   s h if p r o ce s s in g - h ea v y   task s   to   th ed g e,   n ea r   th d ata  s o u r ce ,   in   o r d er   t o   m in i m ize  laten c y ,   co n s er v b an d w id t h ,   an d   o p tim ize   r eso u r ce   u s a g e,   all  w h ile  m a in tain i n g   e n er g y   e f f icien c y .   T h ap p r o ac h es  ar to   en h a n c th p er f o r m a n ce ,   m in i m ize  t h d ela y   a n d   r eg u late  p o w er   u s ag e.   T h is   m ea n s   th a o r g an izatio n s   ca n   av o id   ex p en d in g   lar g s u m s   in   th p u r ch a s o f   h ar d w ar e   an d   o th er   s u p p o r t   s tr u ct u r es  b y   h ir i n g   clo u d   r e s o u r ce s   o n   a s - n ee d ed   b asis .   Ke y   co n ce p ts   o f   TO :   i)   e d g n o d es ,   ii)  e n er g y   ef f icien c y ,   iii)  l ate n c y   r ed u c ti o n ,   iv )   b an d w id th   o p ti m izatio n ,   an d   v )   s ca lab ili t y .     3 . 1 .     P r o ble m   d ef i nitio n   I n   th is   u b iq u ito u s   a g e,   r ea l - ti m d ata  p r o ce s s i n g   an d   lo w   l aten c y   r esp o n s e s   h av b ec o m ess e n tial.   T r a d itio n al  clo u d   co m p u ti n g   s y s te m s   th at  co n ce n tr ate  d ata  p r o ce s s in g   in   d i s ti n ct  d ata  ce n t er s   o f ten   f all  s h o r t   o f   th ese  r eq u ir e m en t s   d u to   in tr in s ic  late n c y   a n d   b an d w id t h   co n s tr ai n ts .   W h ile  o f f l o ad in g   p r ef er en ce s   s p ec if ic  to   u s er ,   s u ch   a s   d esire d   laten c y   o r   w i lli n g n es s   t o   ex p en d   en er g y ,   ar tak e n   i n to   co n s id er atio n   i n   o f f lo ad in g   d ec is io n s ,   ex i s ti n g   o f f lo ad in g   s tr ate g ies  ar u s u all y   m o d elled   s o   th at  t h e y   ca n   b ap p lied   t o   all  u s er s .   T h p r o p o s ed   a r g u m en t s   ex p lai n ed   to   o p en   ch allen g es :   a.   Ou ts o u r cin g   ta s k s   o n   to   clo u d   p r im ar il y   d ep en d s   o n   n et w o r k   q u alit y   a n d   h i g h   late n c y   h a m p er s   r ea l - ti m e   o r   tim e - co n s tr ai n ed   task s .   b.   T h o f f lo ad in g   o f   s e n s it iv ta s k s   i n cr ea s es q u esti o n s   o v er   d ata  p r iv ac y   an d   s ec u r it y .   c.   R eso u r ce   m an a g e m e n is   ch allen g e,   esp ec iall y   w h e n   o p er atin g   o v er   m u ltip le  clo u d   d o m a in s .   T h u s ,   th r ec ti f icatio n   o f   t h e   m en tio n ed   ch al len g es  i n   o f f lo ad in g   f o r m s   t h g o al  o f   th i s   s t u d y   to   en h a n ce   t h o f f lo ad in g   p er f o r m an ce   a n d   r ed u ce   o n   en er g y   c o n s u m p tio n   an d   co s t.  T h ed g clo u d   co m p u ti n g   p ar ad ig m ,   w h ic h   m o v e s   co m p u tatio n   clo s er   to   th d ata  s o u r ce   to   in cr ea s d ata   p r o ce s s i n g   e f f ic ien c y ,   is   ex a m in ed   i n   t h is   p ap er .   B y   u s i n g   ed g d ev ices  s u ch   a s   s e n s o r s ,   g ate w a y s ,   a n d   m o b ile  d ev i ce s   th at  ar lo ca te n ea r   o r   at  th d ata  g e n er atin g   s i tes,  ed g co m p u t in g   s ig n i f ica n tl y   r ed u ce s   late n c y   an d   b a n d w id th   co n s u m p tio n .   B y   r ed u ci n g   th lo ad   o n   ce n tr alize d   d at ce n ter s   a n d   p r o v id i n g   r e al - ti m p r o ce s s i n g   ca p ab ilit ies,  th i s   ap p r o ac h   en h an ce s   t h s ca lab ilit y   a n d   r el iab ilit y   o f   s y s te m s .       4.   T H E   P RO P O SE F RAM E WO RK   T r a d itio n al  T m et h o d s   r el y   h ea v il y   o n   r u le - b ased   h e u r is tics   o r   s h allo w   lear n i n g   m o d els.  T h ese   ap p r o ac h es  lack   th f le x ib ilit y   to   h a n d le  th u n p r ed ictab le  an d   d y n a m ic  n at u r o f   6 n et w o r k s .   T r ad itio n al  m et h o d s   o f te n   r es u lt   i n   s u b o p ti m al  r eso u r ce   allo ca tio n   an d   in cr ea s ed   late n c y .   T h e y   al s o   s u f f er   f r o m   p o o r   s ca lab ilit y   in   co m p lex   n et w o r k   en v ir o n m e n ts .   R L   tec h n iq u es,  w h ile   ad ap tiv e,   f ac ch al l en g e s   s u c h   as  s lo w   co n v er g e n ce .   T h e y   ar al s o   p r o n to   g etti n g   tr ap p ed   in   lo ca o p tim a,   t h u s   l i m iti n g   t h eir   e f f ec tiv e n ess .   T h er is   p r ess in g   n ee d   f o r   h y b r id   f r am e w o r k s   to   o v er co m t h li m itatio n s   o f   ex i s ti n g   m et h o d s .   T h ese  f r a m e w o r k s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       HDGC - h yb r id   ta s o fflo a d in g   fr a mewo r u s in g   d ee p   r ein fo r ce men t le a r n in g     ( K a n iezh il R a d h a kris h n a n )   239   ai m   to   co m b i n ad ap tiv lear n in g   ca p ab ilit ie s   w it h   h eu r i s ti o p ti m izatio n   m et h o d s .   T h er co m e s   s o lu tio n   f o r   th ex i s ti n g   ch a llen g e s   ar h y b r id   f r a m e w o r k s   lev er a g DR L   a n d   GA   f o r   b etter   d e cisi o n - m ak i n g .   T h is   co m b i n atio n   en ab les a  m o r ef f icie n t e x p lo r atio n - e x p lo itatio n   b alan ce   i n   co m p lex   ed g e - clo u d   ec o s y s te m s .   T h h y b r id   d ee p   r ein f o r ce m e n lear n i n g   w it h   g e n etic  co m p u tatio n   ( HDG C )   f r a m e w o r k   co m b in e s   DR L   an d   G A .   I is   d esig n e d   to   o p tim ize  T in   6 G - en ab led   ed g e - clo u d   n et w o r k s .   GA   e n h a n ce s   t h e   ex p lo r atio n   p r o ce s s   t h r o u g h   p o p u latio n - b ased   s ea r ch .   T h i s   ac ce ler ates  co n v er g en ce   an d   h elp s   a v o id   lo ca l   o p tim a   in   TO .   T h f r a m e w o r k   i n co r p o r ates  tr an s f er   lear n i n g   to   ad ap to   n e w   e n v ir o n m en ts   q u ic k l y .   T h i s   en s u r es  r o b u s t,  s ca lab le,   an d   co n tex t - a w ar tas k   d is tr ib u tio n   ac r o s s   ed g an d   clo u d   la y e r s .   T h s y n er g y   o f   DR L   an d   G in   th HDG C   f r a m e w o r k   o p ti m ize s   TO .   I ac h iev e s   e f f icien an d   ad ap ti v p er f o r m a n ce   i n   co m p le x   6 n et w o r k   s ce n ar io s .     4 . 1 .     Net wo rk   m o del   T h p r o p o s ed   n et w o r k   m o d el  is   d esi g n ed   f o r   6 G - en ab led   h ier ar ch ical  ed g e - clo u d   co m p u ti n g   ar ch itect u r e,   co m p r is i n g   th r ee   p r im ar y   la y er s I o T   d ev ice  lay er ,   ed g co m p u ti n g   la y er ,   an d   clo u d   d ata  ce n ter   la y er .   A th lo w est  tier ,   d iv er s s et  o f   I o T   d ev ices  g en er ates  co m p u tatio n al  task s   ch ar a cter ized   b y   v ar y i n g   s izes,  e n er g y   b u d g ets,  late n c y   r eq u ir e m e n ts ,   a n d   d ata  d ep en d en cie s .   Fi g u r 1   d is p la y   t h n et w o r k   m o d el  o f   th w o r k .           Fig u r e   1 .   HDGC  ar ch itec tu r e       T h ese  d ev ices  ar co n n ec ted   to   n ea r b y   ed g s er v er s   t h r o u g h   u ltra - r eliab le  lo w - la ten c y   6 G   lin k s ,   w h ic h   s u p p o r d y n a m ic  s p ec tr u m   ac ce s s   a n d   in te llig en r ef lec tin g   s u r f ac es  to   en s u r s tab le  an d     h ig h - t h r o u g h p u co n n ec t io n s .   T h ed g lay er   co n s is t s   o f   h eter o g e n eo u s   ed g s er v er s   w it h   d if f er in g   co m p u tatio n al  ca p ac ities   a n d   en er g y   p r o f iles ,   f o r m i n g   d ec en tr alize d   an d   co o p er ativ p r o ce s s i n g   n et w o r k .   E ac h   ed g e   n o d p er io d icall y   s en s es  i ts   e n v ir o n m en a n d   c o llab o r ates  w it h   ad j ac en n o d es  to   s h ar e   r eso u r ce   av ailab ilit y   a n d   w o r k lo ad   in f o r m atio n   v ia  6 G’ s   h i g h - s p ee d   d ev ice - to - d e v ice  ( D2 D)   co m m u n icatio n .   ce n tr al  DR L   ag e n t,  e m b ed d ed   w ith in   t h ed g la y er ,   o b s er v es  g lo b al  s tate  p ar a m eter s s u c h   as  b an d w id th   u tili za t io n ,   C P a n d   m e m o r y   s tat u s ,   tr an s m i s s io n   d ela y s ,   an d   task   g r ap h s a n d   g e n er ates  o p ti m al  T d ec is io n s   u s i n g   an   AC   ar c h ite ctu r e.   T o   en h an ce   t h d ec is io n   p r o ce s s ,   th DR L   p o lic y   i s   au g m e n ted   w it h   G th at  i n tr o d u ce   p o p u latio n - b a s ed   r ef in e m e n ts ,   th u s   ac ce ler at in g   co n v er g e n ce   a n d   p r ev en ti n g   s u b o p ti m al  lo ca d ec is io n s .   I n   th is   w o r k ,   w e   p r o p o s n o v el  h y b r id   f r a m e w o r k   t h at  co m b in e s   DR L   w i th   h eu r i s tic   o p tim i za tio n ,   p ar ticu lar l y   G A   f o r   d y n a m ic  a n d   in te lli g en T f r o m   ed g s er v er s   to   th clo u d .   T h is   s ec tio n   d elin ea tes  th s tr u ct u r al  co m p o n en ts   o f   th p r o p o s ed   m et h o d ,   elu cid ates  th eir   in ter ac ti o n s ,   an d   p r esen ts   d etailed   m a th e m atica f o r m u la tio n s   u s ed   in   t h d ev e lo p m e n an d   in te g r atio n   o f   t h f r a m e wo r k .     4 . 2 .     Dee p r einf o rc em e nt  lea rning - ba s ed  t a s k   o f f lo a din g   A t h co r o f   th p r o p o s ed   m eth o d   is   DR L - b ased   d ec is io n   en g i n d esi g n ed   to   o p ti m ize  T d ec is io n s   i n   r ea l - ti m as  s h o w n   in   Fi g u r e   2 .   L et  th s y s te m   s tate  at  ti m b r ep r esen ted   as  s t   ϵ n ,   w h ic h   ca p tu r es  f ea tu r es   s u ch   a s   C P u til izatio n ,   m e m o r y   u s a g e,   n et w o r k   la ten c y ,   an d   e n er g y   lev els   o f   ed g a n d   clo u d   r eso u r ce s .   T h ac tio n   a t   ϵ   A   co r r esp o n d s   to   th d ec is io n   o f   w h et h er   to   o f f lo ad   g iv e n   task   T i   to   lo ca l   ed g n o d E j ,   an o th er   ed g n o d e ,   o r   to   th clo u d   s er v er   C .     S t ar t   T a s k   G e n er a t i o n   b y   I o T   Dev i c e s   S t a t e   o b s e r v a t i o n   ( C P U,   M e m o r y )   DR L   ag e n t   ( C r i t i c   &   DQ N)     G e n eti c   A l g o r i t h m   ( P o p u l a t i o n ,   s ele c t i o n )   R ef i n ed   O f f l o a d i n g   Dec i s i o n   T r an s f e r   L e a r n i n g   ( I f   s i m i l ar   E n v i r o n m en t )   A t t e n t i o n   M e ch a n i s m   ( T r an s f o r m er )   Gr a p h   Ne u r al  Net wo r k   ( T a s k / R es o u r c e)   Of f l o ad   t o   E d g o r   C l o u d   T a s k   E x e cu t i o n   &   F ee d b ac k     S t o r E x p er i en c i n   R e p l ay   b u f f e r   Up d a t e   DR L   P o l i cy   E ND   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   2 3 6 - 24 7   240       Fig u r e   2 .   DR L   m et h o d       T h g o al  o f   th r e w ar d   f u n ct io n   R ( s t,  at)   is   to   m i n i m ize  d ela y   an d   e n er g y   u s ag w h ile  o p ti m izi n g   j o b   th r o u g h p u t.  T h DR L   ag e n s ee k s   to   m a x i m ize  th p r ed icted   cu m u lati v d is co u n ted   r ew ar d   b y   lear n i n g   a n   o p tim u m   s tr ate g y   π( at |   s t) :     E π [ γ t t = 0 R( s t a t ) ] =J( π)   ( 1 )     w h er th d is co u n f ac to r   is   d e n o ted   b y   γ   ϵ   [ 0 ,   1 ] .   W ad o p an   A C   ar ch itect u r w h er th ac to r   n e t w o r k   π θ   p r o p o s es  ac tio n s ,   an d   t h cr itic  n et w o r k   V ϕ ( s t )   esti m a tes t h v al u f u n ctio n :     V ϕ ( s t ) = E π [ γ k t = 0   R ( s t + k , a t + k ) ]   ( 2 )     Gr ad ien ts   f o r   th ac to r   ar co m p u ted   u s i n g   t h ad v a n ta g f u n ctio n :     θ J ( π ) = E t [ θ l og π θ a t |   s t ) A t ]       A t = R ( s t , a t ) + V ϕ ( s t + 1 ) θ ( s t )   ( 3 )     4 . 3 .     T a s k   o f f lo a din g   bet w ee n e dg a nd   clo ud   I n   th m u lti - la y er   co m p u tin g   en v ir o n m e n t,  ea c h   tas k   T i   is   ch ar ac ter ized   b y   it s   s ize  D i ,   co m p u tatio n   r eq u ir e m en C i ,   an d   d ea d lin L i .   T h s y s te m   m u s d ec id th b est  lo ca tio n   f o r   p r o ce s s in g ed g e   n o d E j ,   p ee r   ed g n o d E k ,   o r   clo u d   s er v er   C .   T h d ec is io n   v ec to r   [ a 1 a 2 ,   . . . ,   a N ]   m ap s   ea c h   tas k   to   tar g et   co m p u te  n o d e.   T h o f f lo ad in g   d e cisi o n   a f f ec t s   tas k   e x ec u tio n   d ela y   τ i ,   w h ic h   in cl u d es  tr a n s m i s s io n   ti m τ t r an s   an d   ex ec u t io n   ti m τ ex ec :     τ i = τ t r an s ( T i , a i ) + τ ex ec ( T i , a i )   ( 4 )     T h to tal  s y s te m   late n c y   L t o t al   is   ( 5 ) .     L t o t al = τ i . I ( τ i L i ) + . I ( τ i > L i ) N i = 1   ( 5 )     W h er I   is   th in d icato r   f u n ct io n   en f o r cin g   d ea d lin co n s tr ain ts .   T h r e w ar d   f u n ct io n   i n c o r p o r ates  p en alty   f o r   m is s ed   d ea d lin es a n d   en er g y   o v er u s e.   DR L   w it h   d ee p   Q - L ea r n in g   f o r   s tate - ac tio n   e s ti m atio n   in   p ar allel,   DQN   is   tr ai n ed   to   esti m at e     Q - v alu e s   o f   s tate - ac tio n   p air s :     Q ( s t , a t ) = E π [ R ( s t , a t ) + ma x a Q ( s t + ! , a )   ( 6 )     T o   s tab ilize  lear n in g ,   ex p er ie n ce   r ep la y   a n d   tar g et   n et w o r k s   ar e m p lo y ed .   T h lo s s   f u n ctio n   m i n i m ized   at   ea ch   iter atio n   i s :   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       HDGC - h yb r id   ta s o fflo a d in g   fr a mewo r u s in g   d ee p   r ein fo r ce men t le a r n in g     ( K a n iezh il R a d h a kris h n a n )   241   L θ = E ( s , a , r , s ) [ ( r + ma x a Q θ ( s , a ) Q θ ( s , a ) 2 ]   ( 7 )     Her e,   Q θ   is   p er io d ically   u p d ate d   tar g et  n et w o r k .     4 . 4 .     I nco rpo ra t i o n o f   g enet ic  a lg o rit h m s   T o   im p r o v e x p lo r atio n - e x p l o itatio n   an d   av o id   lo ca o p tim a,   G A   is   e m p lo y ed   alo n g s id D R L .   E ac h   ca n d id ate  s o lu tio n   a   is   en co d ed   as  c h r o m o s o m e   r ep r esen ti n g   o f f lo ad in g   d ec is io n s .   T h f i tn e s s   f u n ctio n   F(a )   is   d ef i n ed   b as ed   o n   r e w ar d   R :     F ( a ) = ( ω 1 . 1 τ i + ω 2 . ( 1 E i E m ax ) ) . I N i = 1 ( τ i L i )   ( 8 )     Gen etic  o p er atio n s   i n cl u d s el ec tio n ,   cr o s s o v er ,   an d   m u tatio n   as s h o w n   i n   Fi g u r e   3.     Selectio n h i g h - p er f o r m in g   ch r o m o s o m es a r ch o s e n   f o r   r ep r o d u ctio n ,   p r o p ag atin g   b en e f i cial  tr aits .     C r o s s o v er g en et ic  m ater ial  i s   ex ch a n g ed   b et w ee n   s elec ted   c h r o m o s o m es to   cr ea te  n o v el  s o lu tio n s .     Mu tatio n r an d o m   alter atio n s   ar in tr o d u ce d   to   m ai n tai n   d iv er s it y   a n d   p r ev en t p r e m at u r c o n v er g e n ce .   T h GA  i m p r o v e s   t h o f f lo a d in g   p o lic y   w i th   ea ch   DR L   iter at io n .   I g en er ate s   p o p u latio n   o f   alter n ati v o f f lo ad i n g   d ec is io n s ,   s elec ti n g   th f itte s s o lu ti o n s   to   in f o r m   s u b s eq u e n DR L   tr ai n in g   p h ase s .   T h is   iter ativ p r o ce s s   en s u r es   co n tin u o u s   i m p r o v e m e n an d   ad a p tatio n   o f   o f f lo ad in g   s tr ateg ies,  lead in g   to   m o r r o b u s t a n d   g lo b all y   o p ti m al  s o l u tio n s .           Fig u r 3 .   Gen etic  p r o ce s s       4 . 5 .     T ra ns f er   lea rning   f o a da ptiv o f f lo a din g   T r an s f er   lear n in g   e n ab les  t h e   u s o f   p r e - tr ai n ed   DR L   p o li cies  to   ac ce ler ate  lear n in g   i n   n e w   b u r elate d   en v ir o n m e n ts .   S u p p o s π_ θ^ {so u r ce is   th s o u r ce   p o licy   tr ai n ed   u n d er   k n o w n   n et w o r k   co n d itio n s .   Fo r   n e w   ta s k   e n v ir o n m en t E _ tar g et,   p ar am eter s   θ  ar in itia lized   as   ( 9 ) :       θ t ar g e t θ s o ur ce + Δθ   ( 9 )     w h er Δ θ  is   ad j u s ted   v ia  o n li n lear n in g   to   f i n e - t u n t h p o lic y   in   E _ tar g et.     4 . 6 .     At t ent io n - ba s ed  re info rc e m e nt  lea rning   T o   ca p tu r lo n g - ter m   ta s k   d ep en d en cie s ,   atten tio n - b ased   R L   m ec h a n is m s   u s i n g   T r an s f o r m er   m o d el s   ar in teg r ated .   T h s tate  s eq u e n ce   s t = [ s t k , . . s t ]   is   p r o ce s s ed   th r o u g h   s el f - atten tio n   m ec h a n i s m :     A tte n tio n ( Q,   K,   V)   s o f t m ax ( Q K T d k ) V   ( 1 0 )     Her e,   Q,   K,   ar q u er ies,  k e y s ,   an d   v al u es d er iv ed   f r o m   s t ,   an d   d k   is   th d i m e n s io n   o f   t h k e y   v ec to r s .   T h atten tio n   o u tp u s er v e s   as a   co n tex t - a w ar r ep r esen tatio n   f o r   ac tio n   s elec tio n .     4 . 7 .     G ra ph   neura l net w o rk s   f o depend ency   m o delin g   T o   r ep r esen a n d   p r o ce s s   th d ep en d en cies  a m o n g   ta s k s   an d   n o d es,  GNNs  ar u t ilize d .   L et  th e   d y n a m ic  s y s te m   b m o d eled   a s   d ir ec ted   g r ap h   G= ( V,   E ) ,   w h er n o d es  r ep r ese n ta s k s   o r   d ev ices,  a n d   ed g es   r ep r esen t c o m m u n icatio n   o r   d ep en d en c y   li n k s .   T h f ea tu r o f   ea ch   n o d v i ϵ is   u p d ated   as   ( 1 1 ) :       h i ( l + 1 ) = σ ( W ( l ) h j ( l ) + b ( l ) j N ( i ) )     ( 1 1 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   2 3 6 - 24 7   242   w h er N( i)   is   th n eig h b o r h o o d   o f   n o d i,  W ( l )   is   th w e ig h m atr ix   at  la y er   l,  an d   σ   is   an   R E L ac tiv a tio n   f u n ctio n .   T h ese  e m b ed d in g s   a r co n ca ten ated   in to   t h s tate  v ec to r   u s ed   b y   t h DR L   a g en t .     4 . 8 .     H y brid  lea rning   cy cle   T h tr ain in g   p r o ce s s   in v o lv e s   th f o llo w i n g   s tep s :   a.   T h DR L   a g en t o b s er v e s   s tate   s _ t a n d   s elec ts   ac tio n   a_ t.   b.   GA   g e n er ates a   ca n d id ate  p o p u latio n   o f   o f f lo ad in g   s tr ate g ie s   ar o u n d   a_ t.   c.   Fit n e s s   e v alu a tio n   a n d   s elec tio n   ar p er f o r m ed .   d.   DR L   p o lic y   is   u p d ated   b ased   o n   th r ef i n ed   ac tio n .   e.   E x p er ien ce   is   s to r ed   an d   r ep la y ed   f o r   s tab ilit y .   f.   T r an s f er   lear n in g   i n itial izes o r   u p d ates th m o d el  i n   n e w   e n v ir o n m e n ts .   g.   T r an s f o r m er   an d   GNN  m o d u l es e n h an ce   te m p o r al  an d   s tr u c tu r al  u n d er s ta n d in g .   T h is   h y b r id   ap p r o ac h   en ab les  r ap id   ad a p tatio n   to   ev o lv in g   n et w o r k   co n d it io n s ,   r ed u ce s   co n v er g en ce   ti m e,   an d   s ig n i f ica n tl y   e n h an c es th o v er all  e f f icie n c y   o f   T in   ed g e - clo u d   in teg r ated   n et wo r k s       5.   RE SU L T S AN D I SCU SS I O N   T in   en er g y   ef f icie n c y ,   p ar ticu lar l y   i n   ed g an d   clo u d   co m p u tin g ,   in v o l v es  tr an s f er r in g   co m p u tatio n al  tas k s   to   r e m o t s er v er s   o r   ed g n o d es  to   o p tim ize  p o w er   co n s u m p tio n   an d   p er f o r m an ce .   Sev er al  p er f o r m a n ce   m etr ics  ca n   b u s ed   to   ev alu ate  th e f f icie n c y   o f   T s tr ateg ies.  T h ese  m etr ics  t y p ica ll y   f o cu s   o n   en er g y   co n s u m p tio n ,   ex ec u tio n   ti m e,   r eso u r ce   u tili za tio n ,   an d   o v er all  s y s te m   e f f icien c y .   B elo w   ar s o m k e y   p er f o r m a n ce   m etr ic s :     E n er g y   e f f icie n c y   m etr ic s   ( en er g y   co n s u m p tio n ) ,     E x ec u t io n   p er f o r m a n ce   m e tr ics ( th r o u g h p u t) ,     Net w o r k   p er f o r m a n ce   m e tr ic s   ( d elay ) ,     R eso u r ce   u tili za tio n   m e tr ics,       Qo m etr ics.   T h m etr ics  ar u s ed   f o r   en s u r in g   th o p ti m al  allo ca tio n   o f   r eso u r ce s   ac r o s s   ed g n o d es,  n et w o r k   co n n ec ti v it y   an d   n e t w o r k   p er f o r m a n ce   i m p ac t s   en er g y   e f f ici en c y ,   a n d   h elp s   to   ev al u ate  th ef f ic ien c y   o f   tas k   ex ec u t io n   a f ter   o f f lo ad in g .   T h HD GC   f r a m e w o r k   i s   e v a lu ated   u s i n g   cr itical  m etr ic s   f o r   6 ed g e - clo u d   n et w o r k s .     5 . 1 .     P a ck et   deliv er y   ra t io   T h p ac k et  d eliv er y   r atio   ( P DR )   is   co n s id er ed   as  th m ai n   p er f o r m a n ce   p ar a m eter   w h ic h   p r o v id es   th ass e s s   t h ef f icac y   o f   t h s u g g e s ted   h y b r id   D R L   a n d   H DGC  o f f lo ad in g   p ar ad ig m .   P DR   d ep icted   to   b a   cr u cial  m ea s u r o f   n et w o r k   r eliab ilit y   an d   ef f icie n c y   b ase d   o n   th s u cc ess f u r atio   o f   th d eliv er ed   d ata  p ac k ets  to w ar d s   all  p ac k ets  b r o ad ca s t.  I n   th co n te x o f   ed g e - c lo u d   o f f lo ad in g   o v er   6 G - en ab led   n et w o r k s ,   h ig h   P DR   d ir ec tl y   co r r elate s   w it h   th r o b u s tn e s s   o f   r o u ti n g   a n d   o f f lo ad in g   d ec is io n s   u n d er   d y n a m ic  a n d   h eter o g e n eo u s   co n d it io n s   a s   s h o w n   i n   Fi g u r e   4.           Fig u r 4 .   I n ter v al  v s   P DR   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       HDGC - h yb r id   ta s o fflo a d in g   fr a mewo r u s in g   d ee p   r ein fo r ce men t le a r n in g     ( K a n iezh il R a d h a kris h n a n )   243     5 . 2 .     T hro ug hp ut   T h r o u g h p u t,  d ef i n ed   as  t h to tal  v o l u m o f   s u cc es s f u l l y   tr a n s m itted   d ata  o v er   t h n et w o r k   w it h i n   a   g iv e n   ti m ef r a m e,   is   cr itical  m e tr ic  in   ev al u ati n g   t h e   ef f icie n c y   a n d   ca p ac ity   o f   T s tr ateg ies  in     n ex t - g e n er atio n   6 G - e n ab led   ed g e - clo u d   en v ir o n m e n t s   as   s h o w n   i n   Fi g u r e   5.   T h r o u g h p u an al y s is   w as   p er f o r m ed   ac r o s s   s i m u la tio n   in ter v als  o f   1 0 0   to   2 0 0   s ec o n d s   in   th p r o p o s ed   h y b r id   DR L   an d   HDG C   ar ch itect u r e,   an d   th r es u lt s   w er co m p ar ed   w it h   t h b as elin d ee p   r ein f o r ce m e n lea r n in g   w it h   tr a n s f er   lear n in g   ( DR L T )   m eth o d .           Fig u r 5 .   I n ter v al  v s   th r o u g h p u t       5 . 3 .     Dela y   Dela y ,   o r   en d - to - en d   late n c y ,   is   cr itical  p er f o r m a n ce   p ar am eter   i n   6 G - e n ab led   ed g e - clo u d   n et w o r k s ,   p ar ticu lar l y   f o r   ti m e - s e n s i tiv e   ap p licatio n s   s u ch   as  au to n o m o u s   s y s te m s ,   r e m o te  h ea lt h ca r e,   an d   in d u s tr ial  au to m atio n   as s h o wn   in   Fig u r e   6 .           Fig u r 6 .   P ac k et  s ize  v s   d ela y       5 . 4 .     P a ck et   dro pp ed   P a ck et   d r o p p e d   is   a   c r i tic al  m etr ic  in   ev a lu atin g   th r o b u s tn ess   an d   r e lia b i lity   o f   d ata   t r an s m is s io n   ac r o s s   e d g e - cl o u d   n e tw o r k s ,   p ar t icu la r ly   in   h ig h - d en s ity ,   h ig h - v elo ci ty   6 en v ir o n m en ts   as   s h o w n   in   Fig u r e   7.   On   a v er ag e,   HD GC   r ed u ce s   p ac k et  d r o p s   b y   m o r t h a n   7 5 %,  s h o w ca s i n g   its   s u p er io r   n e t w o r k   r esil ie n ce   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4864   I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t Vo l.  1 5 ,   No .   1 Ma r c h   202 6 :   2 3 6 - 24 7   244   ad ap tab ilit y   u n d er   v ar y i n g   tr af f ic  lo ad s .   T h p r o n o u n ce d   p er f o r m an ce   ad v a n tag e   o f   H D GC   s te m s   f r o m   i ts   h y b r id   ar ch itect u r th at  co m b i n es r ea l - ti m R L   w it h   ad ap tiv h eu r is tic  s ea r ch   s tr ateg ies .       Fig u r 7 P ac k et  s ize  v s   p ac k e t d r o p p ed       5 . 5 .     Da t a   r a t e   Data   r ate  is   p i v o tal  p er f o r m an ce   m etr ic  i n   e v al u ati n g   th ca p ab ilit y   o f   T m o d els  w it h i n     ed g e - clo u d   ar ch itect u r es,  esp ec iall y   i n   6 G - e n ab led   en v ir o n m e n t s   w h er u ltra - h i g h - s p e ed   an d   lo w - late n c y   co m m u n icatio n   is   i m p er ativ as  s h o w n   i n   Fi g u r e   8 .   T h o b s er v ed   p er f o r m a n ce   i m p r o v e m en ts   ar r o o ted   in   HDGC s   h y b r id   o p tim izat io n   d esig n ,   w h ic h   s tr ateg icall y   b len d s   DR L   w i th   g e n etic  h e u r is tic s   f o r   d y n a m ic   task   d is tr ib u tio n   a n d   b an d w id th   allo ca tio n .   T h DR L   ag e n t ,   en h a n ce d   th r o u g h   atte n tio n - b ased   ar ch itectu r es   s u c h   as   tr an s f o r m er s   a n d   s u p p o r ted   b y   tr a n s f er   lear n i n g ,   ad ap ts   in   r ea ti m to   tr a f f ic  f lu ct u atio n s   a n d   d ev ic e   m o b il it y .           Fig u r e   8 .   P ac k et  s ize  v s   d ata  r ate       5 . 6 .     Av er a g ener g y   co ns u m ptio n   As  s ee n   in   T ab le  1 ,   en er g y   ec o n o m y   i s   s till   k e y   d esig n   g o al  in   6 G - en ab led   ed g co m p u t in g ,   w h er ex ten d ed   o p er atio n   o f   b atter y - co n s tr ai n ed   I o T   d ev ices  an d   ed g n o d es  m u s b g u ar an teed   w it h o u t   co m p r o m is i n g   co m p u tatio n al  p er f o r m a n ce .   T h is   tr en d   p er s is ted   co n s is te n tl y ev e n   at  lar g er   p ac k et  s izes,  s u c h   as  5 0   an d   6 0   b y te s ,   HDGC  m ain tai n ed   s i g n i f ica n tl y   lo w er   en er g y   co n s u m p tio n   le v els  o f   0 . 0 2 3 2   J o u les  an d   0 . 0 2 9 9   J o u les,  r esp ec tiv el y ,   c o m p ar ed   to   0 . 0 9 3 7   J o u les  an d   0 . 0 8 8 3   J o u les  co n s u m ed   b y   DR L T .   Usi n g   th R L   p o licy   w i th   t h h e lp   o f   th h eu r is tic  g en e tic  o p ti m izatio n   m et h o d   s u p p o r ts   to   r ed u ce   th u n n ec es s ar y   tas k   m o b il it y   a n d   d u p licate  d is p en s atio n   w h ic h   u s u all y   r esu lts   i n   t h w asta g o f   t h en er g y .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   R ec o n f i g u r ab le  &   E m b ed d ed   Sy s t     I SS N:   2089 - 4864       HDGC - h yb r id   ta s o fflo a d in g   fr a mewo r u s in g   d ee p   r ein fo r ce men t le a r n in g     ( K a n iezh il R a d h a kris h n a n )   245       T ab le  1 .   Valu es f o r   av er ag e n er g y   co n s u m p tio n   Pa c k e t   si z e   D R L T   H D G C   20   0 . 0 8 7 3 6 7 2   0 . 0 2 8 5 4 7 2   30   0 . 0 8 1 0 1 1 3   0 . 0 2 5 3 2 3 5   40   0 . 0 7 7 7 6 5 2   0 . 0 2 3 5 5   50   0 . 0 9 3 6 8 6 6   0 . 0 2 3 1 9   60   0 . 0 8 8 2 8 0 6   0 . 0 2 9 9 3       6.   CO NCLU SI O N   I n   th is   w o r k ,   w p r o p o s ed   a   h y b r id   T f r am e w o r k   th a in teg r ates  DR L   w it h   G A   to   o p t i m ize  tas k   allo ca tio n   in   6 G - en ab led   ed g e clo u d   en v ir o n m e n ts .   T h f r a m e w o r k   e n ab les  in telli g en d e cisi o n - m ak i n g   th a d y n a m icall y   ad ap ts   to   task   av ailab ilit y ,   r eso u r ce   p er f o r m an ce ,   an d   n et w o r k   to p o lo g ies  w it h   r ea ti m e   m o d i f icat io n s ,   w h ich   f r a m th n at u r an d   d y n a m ic  n et w o r k s .   T h r o u g h   th i s   h y b r id   m o d el,   tr ad itio n al  Of f lo ad in g   m et h o d s   ar u tili ze d   f o r   r eliab ilit y ,   s ca lab ilit y ,   an d   ef f ec ti v en e s s   h elp s   to   ac h iev t h o p ti m al   o f f lo ad in g   d ec is io n s .   T h p r o p o s ed   w o r k   h as  f r a m e w o r k   o f   i n co r p o r ated   GNN  an d   tr an s f o r m er   b ased   atten tio n ,   w h ic h   p r o d u ce s   en h an ce m e n t i n   t h o v er all  p er f o r m an ce   o f   m u lt i m o d d is tr ib u t ed   s y s te m   w it h   lo n g   ter m   d ec is io n   m ak in g   a n d   tas k   d ep en d en c y .   T h f r a m e w o r k   en s u r es d ata  i n te g r it y   an d   a u t h en ticit y   o f   t h d ata  w it h   s e n s i tiv co m p u tatio n   an d   co m m u n icat io n   a m o n g   ed g d ev ices,  s er v er s ,   an d   c lo u d   s y s te m s .   T h co m p ar is o n   b et w ee n   t h p r o p o s ed   HDGC  m o d el  a n d   th b a s elin e   DR L T   ap p r o ac h   co n f ir m s   th s u p er io r it y   o f   th h y b r id   s o lu tio n   ac r o s s   al ev alu at io n   m e tr ics.  HDG C   ac h iev e s   h i g h er   P DR ,   f a s ter   co n v er g e n ce ,   a n d   i m p r o v ed   th r o u g h p u o v er   i n cr ea s i n g   s i m u latio n   ti m es.  P ac k et - d r o p   co m p ar is o n s   i n d icate   o v er   7 5 r ed u ctio n   w it h   HDG C ,   w h i le  d ata - r ate  co m p ar is o n s   s h o w   c o n s is ten tl y   h i g h er   p er f o r m a n c as  d ev ice  n u m b er s   g r o w .   F u r th er m o r e,   en er g y - c o n s u m p tio n   co m p ar is o n s   h i g h li g h H DGC s   s ig n i f ica n ef f icie n c y   ad v a n ta g e,   w it h   f ar   lo w er   e n er g y   u s a g ev en   at  lar g er   p ac k et  s izes.  Ov er all,   t h co m p ar i s o n   u n d e r s co r es  th s u p er io r   r eliab ilit y ,   ef f icie n c y ,   an d   s ca l ab ilit y   o f   t h p r o p o s ed   HDGC - b ased   f r a m e w o r k   co m p ar ed   to   DR L T .       FU NDIN G   I NF O RM AT I O N   Au t h o r s   s tate  n o   f u n d i n g   i n v o l v ed .       AUTHO CO NT RIB UT I O NS ST A T E M E NT   T h is   jo u r n al  u s e s   th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   t o   r ec o g n ize  in d i v id u al  au t h o r   co n tr ib u tio n s ,   r ed u ce   au t h o r s h ip   d is p u tes,  an d   f ac ilit ate  co lla b o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Kan iez h il  R ad h a k r is h n a n                               Mo n g - Fo n g   Ho r n g                               Siv S h a n k ar   Su b r a m a n ia n                               C h u n - C h ih   L o                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y si s   I     I n v e st i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i si o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au t h o r s   s tate  n o   co n f lic t o f   i n t er est.       DATA AV AI L AB I L I T Y   Data   av ailab ilit y   is   n o ap p licab le  to   th is   p ap er   as  n o   n ew   d ata  w er cr ea ted   o r   an aly ze d   in   th i s   s tu d y .       Evaluation Warning : The document was created with Spire.PDF for Python.