I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   3 ,  J u n e   20 25 ,   p p .   3506 ~ 3 5 1 8   I SS N:  2088 - 8 7 0 8 ,   DOI :  1 0 . 1 1 5 9 1 /ijece. v 15 i 3 . pp 3 5 0 6 - 3 5 1 8           3506     J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   In v est ig a t io n of  t he s a tel lite  int e rn et  o f  th in g s  a n d   re info rcem ent  lea rnin g   v i a  c o mp lex  s o ft w a re d efin ed net w o rk  m o del ing       Arun K um a r 1 ,   Su m it   Cha k r a v a rt y 2 ,   Aziz   Na ntha a m o rn ph o ng 3   1 D e p a r t me n t   o f   El e c t r o n i c s a n d   C o m mu n i c a t i o n   En g i n e e r i n g ,   N e w   H o r i z o n   C o l l e g e   o f   E n g i n e e r i n g ,   B e n g a l u r u ,   I n d i a     2 D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g   a n d   C o mp u t e r   E n g i n e e r i n g ,   K e n n e sa w   S t a t e   U n i v e r s i t y ,   K e n n e s a w ,   U n i t e d   S t a t e s   3 C o l l e g e   o f   C o m p u t i n g ,   P r i n c e   o f   S o n g k l a   U n i v e r si t y ,   P h u k e t ,   T h a i l a n d       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   1 0 ,   2 0 2 4   R ev is ed   J an   1 7 ,   2 0 2 5   Acc ep ted   Ma r   3 ,   2 0 2 5       Th e   sa telli te  in tern e t  o f  th i n g s   (S Io T )  h a s  e m e rg e d   a s  a   tran sfo rm a ti v e   tec h n o l o g y ,   e n a b li n g   g l o b a l  c o n n e c ti v it y   a n d   e x ten d in g   I o T  i n fra stru c tu re   t o   re m o te  a n d   u n d e rse rv e d   re g i o n s.  Th is  p a p e r  e x p lo re s  th e   i n teg ra ti o n   o f  S I o T   with   a d v a n c e d   re in f o rc e m e n t  lea r n in g   (R L)  tec h n i q u e s  t h ro u g h   so p h isti c a ted   so ftwa re - d e fin e d   n e two r k in g   (S D N)  m o d e li n g .   T h e   st u d y   e m p h a siz e s  S DN ’s  c a p a b il it y   to   o ffe r   flex i b le,  d y n a m ic,  a n d   e fficie n t  m a n a g e m e n t  o f  sa telli te - b a se d   Io T  n e tw o rk s,  a d d re ss in g   u n i q u e   c h a ll e n g e s  su c h   a s  h ig h   late n c y ,   li m it e d   b a n d wid t h ,   a n d   fre q u e n t   m o b il it y .   T o   a d d re ss   th e se   c h a ll e n g e s,  we   p ro p o se   a n   R L   b a se d   a p p r o a c h   f o r  o p ti m izin g   n e two rk   re so u rc e   a ll o c a ti o n ,   ro u ti n g ,   a n d   c o m m u n ica ti o n   stra teg ies .   Th e   RL  a lg o rit h m   e n a b les   a u to n o m o u s  a d a p tatio n   to   re a l - t ime   n e two rk   c o n d it i o n s,  tac k li n g   c rit ica l  c o n c e rn s  su c h   a s  sp e c tru m   m a n a g e m e n t,   e n e rg y   e fficie n c y ,   a n d   l o a d   b a lan c in g ,   e n s u rin g   re li a b le  c o n n e c ti v it y   wh il e   m in imiz i n g   c o n g e stio n   a n d   p o we r  c o n s u m p ti o n .   F u r th e rm o re ,   S DN   fa c il it a tes   n e two rk   p r o g ra m m a b il it y ,   e n a b li n g   c e n tralize d   c o n tr o l  a n d   stre a m li n e d   m a n a g e m e n t  o f  S I o T   sy ste m s.  Th e   p ro p o se d   R L - d ri v e n   S DN   m o d e l  is  v a li d a ted   th r o u g h   sim u latio n   e x p e rime n ts,  d e m o n stra ti n g   sig n if ica n t  imp r o v e m e n ts  in   th r o u g h p u t ,   n e tw o r k   e fficie n c y ,   a n d   q u a li ty   o f  se rv i c e   (Qo S )  m e tri c s  c o m p a re d   to   trad it io n a l   n e two rk   m o d e ls.  T h is   wo rk   a d v a n c e s  th e   d e v e l o p m e n t   o f   sa t e ll it e   Io T   n e two rk s  b y   p r o v i d i n g   a   r o b u st,   sc a lab le  fra m e wo rk   th a t  i n teg ra te s  RL  a n d   S DN   tec h n o lo g ies ,   o ffe ri n g   in tell ig e n t  a n d   e fficie n t  c o n n e c ti v it y   s o lu ti o n s   to   m e e t  th e   g ro wi n g   d e m a n d s o f   n e x t - g e n e ra ti o n   S I o T  sy ste m s.   K ey w o r d s :   C o m p lex   n etwo r k   m o d elin g   C o m p lex   s o f twar e  d ef i n ed   n etwo r k   Fra ctal  an aly s is   s atell ite  n etwo r k   Netwo r k   v ir tu aliza tio n   Satellite in ter n et  o f   th in g s   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Aziz   Nan th aa m o r n p h o n g   C o lleg e  o f   C o m p u tin g ,   Prin ce   o f   So n g k la  Un iv er s ity   Kath u   8 3 1 2 0 ,   T h ailan d     E m ail:  az iz. n @ p h u k et. p s u . ac . th       1.   I NT RO D UCT I O N    T h e   r a p i d   e v o l u t i o n   o f   c o m m u n i c a t i o n   t e c h n o l o g i es   h as   u s h e r e d   i n   a   n e w   e r a   o f   i n t e r c o n n e cti v i t y ,   w it h   t h e   i n t e r n e t   o f   t h i n g s   ( I o T )   p l a y i n g   a   f u n d a m e n t a l   r o l e   i n   t r a n s f o r m i n g   i n d u s t r i es   w o r l d wi d e .   T h e   I o T   e n v i s i o n s   a  g l o b a l   e c o s y s t e m   o f   i n t e r c o n n e c t e d   d e v i c es   c a p a b l e  o f   s ea m l es s   d a t a  e x c h a n g e   a n d   i n t e ll i g e n t   d e c is i o n - m a k i n g .   A s   a  r e s u l t ,   i n d u s t r i es   ac r o s s   v a r i o u s   s e c t o r s ,   s u c h   as   h ea l t h c a r e ,   m a n u f a ct u r i n g ,   a n d   t r a n s p o r t a ti o n ,   a r e  e x p e r i e n c i n g   u n p r e c e d e n t e d   a d v a n c e m e n t s   i n   e f f i c i e n c y ,   a u t o m a t i o n ,   a n d   d a t a - d r i v e n   i n s i g h ts .   I n   p ar allel,   s atellite  co m m u n icatio n   s y s tem s   h av e  em er g ed   as  es s en tial  en ab ler s ,   ex te n d in g   I o T   in f r astru ctu r e  t o   r em o te  an d   u n d er s er v ed   s ec tio n s   wh er e  o u t m o d ed   g lo b al   g r id s   a r e  im p r a ctica l  o r   ca u tio u s ly   u n v iab le  [ 1 ] .   Desp ite  its   p o ten t ial,   m an ag in g   s atellite  I o T   n et wo r k s   b o o n s   m o m en to u s   task s   d u e   to   h ig h   laten cy ,   in ad eq u ate  b an d wid t h ,   an d   d y n am ic  ch an n el  co n d itio n s .   I n   t h is   co n tex t,  s o f twar e - d ef in e d   n etwo r k in g   ( SDN)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n ve s tig a tio n   o f th e  s a tellite in tern et  o f th in g s   a n d   r ein fo r ce men t le a r n in g   …  ( A r u n   K u ma r )   3507   h as  ap p ea r ed   as  a  tr an s f o r m at iv e  p atter n   th at  in tr o d u ce s   p r o g r am m ab ilit y ,   f lex i b ilit y ,   an d   ce n tr alize d   co n tr o l   in to   n etwo r k   m an ag em e n t  [ 2 ] .   SDN  allo ws  d y n a m ic  co n f ig u r atio n   a n d   o p tim izatio n   o f   s atellite  I o T   n etwo r k s ,   ac co m m o d atin g   th e  h eter o g e n eo u s   d em an d s   o f   I o T   d e v ices.   T h e   d y n a m i c   a n d   d i s t r i b u t e d   n a t u r e   o f   s a t e l li t e   I o T   i n t r o d u c e s   a d d i t i o n a l   c o m p l e x i t ie s ,   s u c h   a s   r e s o u r c e  a l l o c a ti o n   a n d   r e a l - t i m e   d e ci s i o n - m a k i n g   u n d e r   u n p r e d i c t a b l e   c o n d i t i o n s .   T h es e   c h a ll e n g e s   a r i s e   f r o m   t h e   n e e d   t o   m a n a g e   a   l a r g e   n u m b e r   o f   d ev i c e s   i n   h i g h l y   v a r i a b l e   e n v i r o n m e n t s ,   m a k i n g   e f f i ci e n t   r eso u r c e   m a n a g e m e n t   e s s e n t i a l .   T o   a d d r e s s   t h e s e   is s u e s ,   t h i s   s t u d y   e x p l o r e s   t h e   i n te g r a t i o n   o f   r e i n f o r c e m e n t   l e a r n i n g   ( R L )   w i t h i n   t h e   S D N   f r a m ew o r k ,   e n a b l i n g   i n t el l i g e n t   a g e n ts   t o   a d a p t i v e l y   o p ti m i z e   n e tw o r k   r e s o u r c e s .   T h i s   i n c l u d e s   o p t i m i z i n g   c r i t i c al   p a r a m e t e r s   s u c h   as   b a n d w i d t h ,   e n e r g y   c o n s u m p t i o n ,   an d   c o m p u t a t i o n a l   c a p a c it y   [ 3 ] .   T h e   p r o p o s e d   r e s e a r c h   i n v e s tig a t e s   h o w   t h e   i n c o r p o r a t i o n   o f   R L   w i t h   S D N   c a n   s i g n i f i ca n t ly   e n h a n c e   t h e   g a i n ,   r e l i a b il i t y ,   a n d   s c al a b i l i t y   o f   s at e l li t e   I o T   n e t w o r k s .   T h i s   i n t e g r at i o n   a l l o ws   f o r   m o r e   e f f i c i e n t   r es o u r c e   m a n a g e m e n t   a n d   o p t i m i z a t i o n   i n   d y n a m i c   n e t w o r k   e n v i r o n m e n t s .   B y   l e v e r a g i n g   a d v a n c e d   R L   t e c h n i q u e s ,   s u c h   a s   d e e p   r e i n f o r c e m e n t   l e a r n i n g   a n d   m u l t i - a g e n t   s y s t e m s ,   t h e   s tu d y   e n a b l e s   r e a l - t i m e   o p t i m i z a ti o n   a n d   a u t o n o m o u s   d e c i s i o n - m a k i n g ,   u l ti m a t el y   i m p r o v i n g   n e t w o r k   p e r f o r m a n c e   a n d   a d a p t a b i l i t y   i n   c o m p l e x   s ce n a r i o s .   Fu r th er m o r e ,   th e  s tu d y   h ig h li g h ts   th e  r o le  o f   s atellite  I o T   in   cr itical  ap p licatio n s ,   s u ch   as  d is aster   m an ag em en t,   en v ir o n m en tal  m o n ito r in g ,   a n d   p r ec is io n   ag r i cu ltu r e,   wh e r e  r eliab le  an d   r o b u s t  co m m u n icatio n   s y s tem s   ar e  p ar am o u n t  [ 4 ] .   T h ese  ap p licatio n s   d em an d   in n o v ativ e  s o lu tio n s   to   en s u r e  s e am less   co n n ec tiv ity   u n d er   e x tr em e  co n d itio n s .   T h e  in teg r atio n   o f   R L   with in   SDN  ar ch itectu r es  n o t  o n ly   e n h an ce s   o p er atio n al  ef f icien cy   b u t  also   p r o v id es   a  p ath way   f o r   d e v elo p in g   s ca lab le  an d   s u s ta in ab le  m o d els  ca p ab le  o f   ac co m m o d atin g   ex p o n e n tial I o T   g r o wth   [ 5 ] .   Desp ite  th e  o p p o r t u n ities ,   th e  s tu d y   ac k n o wled g es  k e y   c h allen g es,  in clu d in g   th e   co m p u tatio n al   co m p lex ity   o f   R L   al g o r ith m s ,   th e  n ee d   f o r   r o b u s t  s ec u r ity   m ec h an is m s ,   an d   th e  in te g r atio n   o f   le g ac y   s y s tem s   with   m o d e r n   SDN  a r ch itectu r e s .   T h ese  ch allen g es  ar is e  d u e  t o   th e   h ig h   p r o ce s s in g   d em an d s   o f   R L   m o d els,  th e   v u ln er ab ilit y   o f   I o T   n etwo r k s   t o   cy b er   t h r ea ts ,   an d   t h e  d i f f icu lty   o f   en s u r in g   s ea m less   in ter o p er ab ilit y   b etwe en   tr ad itio n al  an d   s o f twar e - d ef i n ed   in f r astru ctu r es.   Ad d r ess in g   th ese   ch allen g es  r eq u ir es   a  m u ltid is cip lin ar y   ap p r o ac h ,   co m b i n in g   ex p er tis e  in   s atellite   co m m u n icatio n ,   m ac h in e  lear n in g ,   a n d   n etw o r k   en g i n ee r in g   to   d ev elo p   e f f icien t,  s ec u r e,   an d   s ca lab le  s o lu tio n s .   T h i s   r es e a r c h   i n v e s ti g a t es   t h e  in t e r s e c ti o n   o f   s a t e ll i t e  I o T ,   R L ,   a n d   S DN ,   p r o p o s i n g   i n n o v a ti v e   s o l u ti o n s   t o   a d d r e s s   t h e   c h a ll e n g e s   o f   m o d e r n   c o n n e c t i v i t y .   B y   h a r n e s s i n g   t h e   s t r e n g t h s   o f   t h es e   te c h n o l o g i e s ,   t h is   s t u d y   p a v e s   t h e   w a y   f o r   n e x t - g e n e r a t i o n   s a t e ll i t e   I o T   n e t w o r k s   t h at   a r e   i n t e l l i g e n t ,   a d a p t i v e ,   a n d   r e s i li e n t .   T h e   f i n d i n g s   h o l d   t h e   p o t e n ti a l   t o   d r i v e   a d v a n c e m e n t s   a c r o s s   d o m a i n s ,   i n c l u d i n g   s m a r t   c it i es ,   a u t o n o m o u s   s y s t e m s ,   g l o b al  h e a l t h c a r e ,   a n d   e n v i r o n m e n t a l   s u s ta i n a b i li t y ,   c o n t r i b u t i n g   t o   th e   v i s i o n   o f   a   t r u l y   c o n n e c t e d   w o r l d .   T h e  o r g an izatio n   o f   t h is   wo r k   is   as  f o llo ws.  T h e  in tr o d u ctio n   is   p r o v id e d   in   s ec tio n   1 .   Sectio n   2   will  an aly ze   th e   s y s tem   ar ch itect u r e  o f   o u r   s atellite  f r am ew o r k .   Sectio n   3   is   a   r ev iew  o f   p r io r   r esear ch .   T h e   s im u latio n   d ev elo p ed   in   MA T L AB   wil l  b e  em p h asized   in   s e ctio n   4 .   Sectio n   5   elu cid ates  th e  r esu lts ,   wh er ea s   s ec tio n   6   p r esen ts   th e  c o n clu s i o n .   T h e  p r o p o s ed   wo r k   m ak es  a  s ig n if ican t  c o n tr ib u tio n   t o   in teg r atin g   em er g in g   tech n o lo g ies  with in   th e  S - I o T   d o m ain .   T h is   s tu d y   in tr o d u ce s   an   in n o v ativ e  ap p r o ac h   t o   au g m en t  th e  ef f icien cy ,   s ca lab ilit y ,   an d   ad ap ta b ilit y   o f   S - I o T   s y s tem s   b y   lev e r ag in g   t h e  s y n er g y   b etwe en   SS DN  an d   R L .   T h e  p r o p o s ed   SDN - R L   f r am ewo r k   m o d els  th e  d y n am ic  co m p lex ities   o f   S - I o T   en v ir o n m en ts ,   ad d r ess in g   cr itical  ch allen g es   s u ch   as r eso u r ce   allo ca t io n ,   laten cy   o p tim izatio n ,   an d   s ea m less   d ev ice  in ter o p er a b ilit y   [ 6 ] .   T h e  f r a m ewo r k   en a b les r ea l - ti m e  d ec is io n - m a k in g   an d   ce n tr alize d   m an ag e m en t  o f   s atellite   n etwo r k s ,   o f f er in g   g r ea ter   f lex ib ilit y   an d   ef f icien cy   i n   m a n ag in g   co m p l ex   co m m u n icatio n   s y s tem s .   R L   f u r t h er   e n h an ce s   ad ap tiv e  o p tim izatio n   b y   tr ain i n g   in tellig en t   ag en ts   t o   r esp o n d   d y n am ically   t o   th e   ac tiv e  n at u r e  o f   S - I o T   tr af f ic  an d   en v i r o n m e n tal  co n s tr ain ts .   T h is   ca p ab ilit y   allo ws  th e  s y s tem   to   au to n o m o u s ly   ad ju s t  n etwo r k   p ar am ete r s ,   en s u r in g   o p tim al  p er f o r m a n ce   ev en   u n d er   f lu ctu atin g   co n d itio n s   an d   r eso u r ce   lim itatio n s .   A   co r e  h ig h lig h t  o f   th is   wo r k   is   th e  in tr o d u ctio n   o f   th e  lo w  laten cy   an d   jo in t - jam m in g   m itig atio n   m ed iu m   ac ce s s   co n t r o l  ( L J J - MA C )   p r o to co l,   a  n o v el  m e d iu m   ac ce s s   co n tr o l   ( MA C )   p r o to co l  d esig n e d   f o r   en er g y - ef f icien t,  lo w - laten c y   co m m u n icatio n   in   S - I o T   s y s tem s   [ 7 ]   Un lik e  co n v e n tio n al  MA C   p r o to co ls ,   L J J - MA C   in co r p o r ates   SDN  an d   R L   p r in cip les  to   d y n am ically   allo ca te  s p ec tr al  r eso u r ce s ,   r e d u ce   c o llis io n   r ates,   an d   ad ap tiv ely   p r io r itize  I o T   tr af f ic.   T h e  p r o t o co l’ s   d esig n   en s u r es  h ig h   r eliab ilit y   an d   ef f icien t  b an d wid th   u tili za tio n ,   wh ich   is   cr u cial  f o r   d en s e  an d   h eter o g e n eo u s   d ev ice  ec o s y s tem s   ty p ical  o f   S - I o T   n etwo r k s .   Ad d itio n ally ,   L J J - MA C   s u p p o r ts   m u lti - tier   h ier ar ch ical  a r ch itectu r es,  en ab lin g   s ea m less   co m m u n icatio n   b etwe en   s atellite  r elay s ,   ter r estrial  g atew ay s ,   an d   I o T   en d p o i n ts   [ 8 ] .   T h e  co n tr ib u tio n s   o f   th is   s tu d y   ar e  v alid ated   th r o u g h   co m p r eh en s iv e  s im u latio n s ,   d em o n s tr atin g   th e  s u p er io r ity   o f   th e  p r o p o s ed   S DN - R L   f r am ewo r k   an d   th e  L J J - MA C   p r o to co l  o v er   tr a d itio n al  s o lu tio n s .   T h ese  s im u latio n s   h ig h lig h t   s ig n if ic an t  im p r o v em en ts   i n   k e y   p er f o r m an ce   m etr ics  s u ch   as  th r o u g h p u t,  laten cy ,   an d   en er g y   ef f icien cy ,   s h o wca s in g   th e  ef f ec tiv en ess   o f   th e  p r o p o s ed   ap p r o ac h .   B y   o p tim izin g   n e two r k   p er f o r m an ce   ac r o s s   m u ltip le  d im e n s io n s ,   t h e  s tu d y   u n d er s co r es  th e   p o ten tial  o f   t h is   f r am ewo r k   to   t r an s f o r m   th e  S - I o T   lan d s ca p e,   m ak in g   it m o r e  ef f i cien t a n d   ad a p tab le  to   f u tu r e  d em an d s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   3 5 0 6 - 3 5 1 8   3508   B y   ad d r ess in g   cr itical  ch allen g es  an d   o f f er in g   a   s ca lab le,   i n tellig en t  f r a m ewo r k ,   th is   wo r k   lay s   th e   f o u n d atio n   f o r   f u tu r e   r esear ch   in   S - I o T   s y s tem s .   T h is   f r am e wo r k   en a b les m o r e   ef f icien t  r e s o u r ce   m an a g em en t   an d   d y n am ic  d ec is io n - m ak i n g ,   p av in g   th e  way   f o r   im p r o v ed   n etwo r k   p er f o r m an ce .   A p p licatio n s   o f   th is   r esear ch   in clu d e  s m ar t  a g r ic u ltu r e,   en v ir o n m e n tal  m o n ito r in g ,   an d   d is aster   m an ag em en t,  all  lev er ag in g   s atellite - en ab led   I o T   co n n ec ti v ity   to   p r o v id e  r eliab le,   r ea l - ti m e  d ata  in   r em o te  an d   u n d er s er v ed   ar ea s .   A   s ate llit e  b ea m   an ten n a  f o cu s es  elec tr o m ag n etic  s ig n als  in to   n ar r o w  b ea m s   f o r   ef f icien t  co m m u n icatio n   as  s h o wn   in   Fig u r e  1 .   T h ese  b ea m s   en ab le  p r ec is e  co v er ag e  o f   s p ec if ic  g eo g r a p h ic  ar ea s ,   o p tim izin g   s ig n al  s tr en g th   an d   m in im izin g   in ter f er en ce — f ea tu r es  ess en tial  f o r   ap p licati o n s   lik e  S - I o T   an d   b r o ad b an d   s er v ices,  as sh o wn   in   Fig u r e   1 ( a) .   T h e  s witch   p r o ce s s   in   s atellite s   in v o lv es r o u tin g   s ig n als b etwe en   b ea m s   o r   ch an n els,  en s u r in g   s ea m less   co n n ec tiv ity   an d   ef f icien t  r eso u r ce   u tili za tio n   with in   d y n am ic   co m m u n icatio n   n etwo r k s ,   as illu s tr ated   in   Fig u r e  1 ( b ) .         ( a)       ( b )     Fig u r e  1 .   Ar c h itectu r e  o f   s atellite  co m m u n icatio n   ( a)   s atellite  b ea m   an ten n a  an d   ( b )   s witch   p r o ce s s       2.   SYST E M   ARCH I T E CT U R E   T h e  s y s tem   ar ch itectu r e  in te g r ates  s atellite  co m m u n icatio n ,   I o T   d e v ices,  R L ,   an d   SDN  f o r   ef f icien t  an d   in tellig en t   d ata  t r an s m i s s io n   an d   r eso u r ce   m an ag e m en t.  T h e   ar c h itectu r e  c o n s is ts   o f   s ev er al  k e y   co m p o n en ts :  I o T   d ev ices,  s a tellites ,   g r o u n d   s tatio n s ,   SDN   co n tr o ller s ,   a n d   R L   a g en t s   [ 9 ] .   I o T   d ev ices,  d is tr ib u ted   o v e r   v ast  g eo g r ap h ic  ar ea s ,   g en er ate  d ata  th at  m u s t  b e  tr an s m itted   r eliab ly   a n d   ef f icien tly .   T h ese   d ev ices  co m m u n icate   with   s atellites   in   lo w  ea r th   o r b it  ( L E O)   to   r elay   d ata  to   g r o u n d   s tatio n s .   T h e  SD N   f r am ewo r k   m an a g es  th e  s atellite  an d   ter r estrial  n etwo r k   in f r a s tr u ctu r e.   T h e   SDN  co n tr o ller   ce n tr alize s   n etwo r k   m an ag em en t  an d   d y n am ically   co n f ig u r es  th e  d ata  f lo w  p at h s   b etwe en   I o T   d ev ices  an d   g r o u n d   s tatio n s .   I t  ac h iev es  o p tim al  p er f o r m an ce   b y   lev er ag i n g   R L - b ased   d ec is io n - m ak in g   al g o r ith m s .   T h e  R L   ag en t,   in teg r ated   in to   th e   SDN  ar ch itectu r e ,   l ea r n s   an d   ad a p ts   to   d y n a m ic   n etwo r k   co n d itio n s ,   s u ch   as   ch an g in g   s atellite   p o s itio n s ,   wea th er   co n d itio n s ,   an d   tr af f ic  lo a d s .   T h is   ad ap ti v e  m ec h an is m   en s u r es  r ed u ce d   laten cy ,   en h an ce d   th r o u g h p u t ,   an d   ef f icien t  s p e ctr u m   u tili za tio n   [ 1 0 ] .   A  cr u cial  elem en t  in   th e  ar c h itectu r e  is   th e  L J J - MA C   p r o to co l,  a  c u s to m   MA C   p r o to co l  tailo r ed   f o r   s atellite  I o T .   L J J - MA C   ad d r ess e s   th e  u n iq u e  ch allen g es  o f   s atellite  n etwo r k s ,   in clu d in g   h ig h   p r o p ag atio n   d elay s ,   i n ter m itten t  co n n ec tiv ity ,   a n d   li m ited   b an d wid th .   I t   o p tim izes  ch an n el  ac ce s s   b y   p r io r itizin g   d ata   p ac k ets  b ased   o n   th eir   u r g en cy   an d   th e  n etw o r k ’ s   r ea l - tim e   s tate.   T h e  p r o t o co l  em p l o y s   ad ap ti v e  tim e - d iv is io n   m u ltip lex in g   an d   c o n ten tio n - b ased   m ec h an is m s   to   b alan ce   f air n ess   an d   ef f icien cy .   A d d it io n a lly ,   it  in teg r ates  with   th e  SDN  co n tr o ller   to   d y n a m ically   ad ju s t  p ar a m eter s   b ased   o n   R L   f ee d b ac k ,   en ab lin g   s ea m less   in ter ac tio n   b etwe en   s atellite  an d   ter r estrial  co m p o n en ts .   T h e   s y n er g y   b etwe en   R L   an d   SDN  f o s ter s   p r o ac tiv e  an d   in tellig en t  d ec is io n - m ak in g ,   s u ch   as  o p tim izin g   s atellite  h an d o v er s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n ve s tig a tio n   o f th e  s a tellite in tern et  o f th in g s   a n d   r ein fo r ce men t le a r n in g   …  ( A r u n   K u ma r )   3509   s ch ed u lin g   d ata  tr a n s m is s io n ,   an d   b alan ci n g   tr af f ic  lo ad s   ac r o s s   m u ltip le  p ath s .   T h is   ar ch it ec tu r e  is   p ar ticu lar ly   s u ited   f o r   s ce n ar io s   lik e  d is aster   r ec o v er y ,   r em o te  ar ea   m o n ito r in g ,   a n d   lar g e - s ca le  I o T   d ep lo y m e n ts ,   wh er e   d y n am ic   ad ap tab ilit y   an d   h ig h   r el iab ilit y   ar e   cr itical.   B y   c o m b in in g   L J J - MA C   with   SDN  an d   R L ,   t h e  s y s tem   en s u r es r o b u s t,  s ca lab le,   a n d   e n er g y - ef f icien t o p er atio n s   in   a   co m p lex   s atellite - I o T   e n v ir o n m en t  [ 1 1 ] .       3.   RE L AT E D  WO RK S   T h e  ef f icien t  u tili za tio n   o f   s atellite  r eso u r ce s   is   also   d em o n s tr ated   in   th e  s u cc ee d i n g   test s   illu s tr ated   in   Fig u r e   2 .   T h e  in teg r atio n   o f   S - I o T   with   ad v an ce d   n etwo r k   tech n o lo g ies h as g ain e d   s ig n i f ican t a tten tio n   d u e   to   its   p o ten tial  in   en ab lin g   wid esp r ea d ,   r eliab le  co n n ec tiv ity   f o r   r em o te  an d   u n d e r s er v e d   r eg io n s .   E x is tin g   r esear ch   h ig h lig h ts   th e  u s e  o f   SDN  to   en h an ce   t h e  ad a p ta b ilit y ,   s ca lab ilit y ,   an d   ef f icie n cy   o f   s atellite  I o T   s y s tem s .   S DN  d ec o u p les  co n tr o l  an d   d ata  p lan es,  en ab lin g   d y n am ic  r ec o n f ig u r atio n   o f   s atellite  n etwo r k s   to   ad d r ess   v ar y in g   I o T   tr af f ic  d e m an d s .   Stu d ies  s u c h   as   [ 1 2 ]   h av e  d e m o n s tr ated   h o w   SDN  c o n tr o ller s   o p tim ize  b an d wid th   allo ca tio n   an d   m in i m ize  laten cy   in   s atellite - en ab l ed   I o T   en v ir o n m en ts .   R L   h as  e m er g ed   as  a  cr itical   co m p o n en t  in   en h an cin g   th e  i n tellig en ce   o f   SDN - b ased   s atellite  I o T   s y s tem s .   R L   tech n iq u es  en ab le  a u to m ated   ex ec u tiv e  p r o ce d u r es  in   r eso u r ce   ap p o r tio n m en t,   r o u tin g ,   an d   tr af f ic  m a n ag em e n t,  al lo win g   s y s tem s   to   f am iliar ize  to   alter in g   n etwo r k   cir cu m s tan ce s .   Fo r   in s tan ce ,   L iu   et  a l.   [ 1 3 ]   u tili ze d   d ee p   R L   m o d els  to   o p tim ize   h an d o v er   d ec is io n s   b etwe en   s atellite  n o d es,  r e d u cin g   s er v ic e  in ter r u p tio n s   a n d   im p r o v in g   Qo S.  Fu r t h er m o r e ,   h y b r id   a p p r o ac h es  co m b in in g   R L   with   o th er   m ac h in e  lear n in g   p ar ad i g m s ,   as  ex p lo r ed   b y   T ir m izi  et  a l.   [ 1 4 ] ,  en h an ce   n etwo r k   r eliab ilit y   a n d   th r o u g h p u t,  esp ec ially   in   d y n am ic   s atellite  I o T   s ce n ar i o s .   T h e  L J J - MA C   p r o to co l   h as  b ee n   s p ec if ically   p r o p o s ed   as  a   MA C   s o lu tio n   f o r   s atellite  I o T   n etwo r k s ,   ad d r ess in g   ch allen g es   s u ch   as  co llis io n   m in im izatio n   an d   en er g y   e f f icien cy .   I t  in teg r ates  ad v an ce d   s ch ed u li n g   alg o r ith m s   with   r ein f o r ce m e n t le ar n in g   to   p r io r itize  cr itical  I o T   d ata  p ac k ets,   th er eb y   im p r o v in g   o v er all  n et wo r k   p er f o r m a n ce .           Fig u r e  2 .   Simu latio n   p ar am ete r s       L iu   et  a l.  [ 1 5 ]   s h o wed   th at  L J J - MA C   s ig n if ican tly   r ed u c es  p ac k et  lo s s   an d   tr an s m is s io n   d elay s ,   m ak in g   it  s u itab le  f o r   laten cy - s en s itiv e  ap p licatio n s   in   s atell i te  I o T .   Ad d itio n ally ,   r esear ch e r s   h av e  ex p lo r e d   th e   in ter p lay   o f   SDN,   R L ,   an d   M AC   p r o to co ls   to   ac h ie v e  h o lis tic  im p r o v em en ts   in   s atellite  I o T   s y s tem s .   I n   [ 1 6 ]   im p lem en ted   a n   R L - d r iv en   SDN  co n tr o ller   with   a d ap tiv e   MA C   lay er   f u n ctio n alities   to   d y n am ically   allo ca te   s atellite  r eso u r ce s ,   ca ter in g   to   v ar y in g   I o T   tr af f ic   p atter n s   w h ile  m ain tain in g   en er g y   ef f ici en cy .   I n   co n clu s io n ,   th e  co n v er g en ce   o f   SDN,   R L ,   an d   s p ec i alize d   p r o t o co ls   lik e  L J J - MA C   o f f er s   a  p r o m is in g   p ath way   f o r   d ev elo p in g   r o b u s t  s atellite  I o T   n etwo r k s .   Fu t u r e  w o r k   s h o u ld   f o cu s   o n   i n teg r atin g   th es e  tech n o l o g ies  with   em er g in g   ad v an ce m e n ts   s u ch   as 6 G  co m m u n icatio n   an d   ed g e  co m p u tin g ,   f u r th er   en h a n cin g   th ei r   ca p a b ilit y   to   m ee t  th e  d em an d s   o f   n e x t - g en er atio n   I o T   ap p licatio n s .   W e  th en   u s ed   ( 1 )   to   r ep r esen ts   th e  f r o n t - e n d   tim in g ,   o r   th e  tim e  ass o ciate d   with   th e  s tar t o r   lead in g   p ar t  o f   a n   ev en t  o r   s ig n al.     f ro n t = + 2 2 ,   b a c k = 2  + − 2 2 .       ( 1 )     T h e  eq u atio n   ( 2 )   r ep r esen ts   t h e  to tal  tim e  r e q u ir e d   f o r   a  s e t  o f   o p er atio n s ,   tr an s m is s io n s ,   o r   e v en ts   to   o cc u r   with o u t  in ter r u p tio n .   Fro m   th e  th eo r etica l  r esu lts ,   C   m ea n s   th e  R T T   o f   L o R a,   t h e  laten cy   o f   o u r   m eth o d   is   g iv en   in   ( 3 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   3 5 0 6 - 3 5 1 8   3510   C o n t ig uo us = ∑  + ( − 1 + ) 2 π = 1      ( 2 )     LS T - M A C = ( +  ) 2        ( 3 )       4.   P RO B L E M   F O R M U L A T I O N   T h e  L J J - MA C   p r o ce d u r e  a n d   th e  ar r an g e m en t  ar c h itectu r e  i llu s tr ated   in   Fig u r e   3 .   T h e  in te g r atio n   o f   s atellite  in ter n et  o f   th in g s   ( SI o T )   a n d   R L   in   SS DNs  in tr o d u ce s   co m p le x   c h allen g es  th at   n ec ess itate  p r ec is e  p r o b lem   f o r m u latio n .   SIo T ,   as  a  v ital  en ab ler   o f   g lo b al  co n n e ctiv ity   f o r   I o T   d ev ices,  d em a n d s   r o b u s t,  s ca lab le,   an d   ef f icien t  m an ag em e n t  o f   s atellite  r e s o u r ce s   to   s u p p o r t  h eter o g en e o u s   ap p licatio n s .   R L ,   with   its   ad ap tiv e   d ec is io n - m ak in g   ca p a b ilit ies,  o f f er s   a  p r o m is in g   av en u e  f o r   o p tim izin g   n etwo r k   co n f ig u r atio n s ,   r eso u r ce   allo ca tio n ,   an d   Qo S  u n d er   d y n am ic  co n d itio n s .   Ho w ev er ,   th e  n o n - d eter m in is tic  n atu r e  o f   s atellite  co m m u n icatio n   en v ir o n m en ts ,   ch ar ac ter ized   b y   laten cy ,   b an d wid th   co n s tr ain ts ,   an d   m o b ilit y ,   co m p licates  th is   o p tim izatio n .   SDNs   ad d   an o th er   l ay er   o f   co m p le x ity   b y   s ep ar atin g   co n tr o l  an d   d ata  p lan es,  r eq u ir in g   in tellig en t   co o r d in atio n   t o   en s u r e  n etwo r k   r esp o n s iv en ess   an d   r eliab i lity   [ 1 7 ] .   A   s ig n if ican t  asp ec t   o f   th e  p r o b lem   is   d esig n in g   p r o t o co ls   lik e  t h e  L J J - MA C   to   ad d r ess   m ed iu m   ac ce s s   is s u es  in   SIo T   en v ir o n m e n ts .   L J J - MA C   aim s   to   r ed u ce   laten cy   an d   m itig ate  in ter f er en ce   th r o u g h   d y n a m ic  ch an n el  allo ca tio n   an d   a n ti - jam m in g   m ec h an is m s ,   lev er ag in g   R L   f o r   r ea l - tim e  d ec is io n - m ak in g .   T h e  p r o to co l   in teg r ates  s ea m less ly   with   S DN  ar ch itectu r es  to   ad ap tiv ely   co n f ig u r e  s atellite  l in k s   b ased   o n   n etwo r k   tr af f ic  p atter n s   an d   in ter f er en ce   lev el s   [ 1 8 ] .   T h is   h y b r i d   ap p r o ac h   en ab les  th e  n etwo r k   to   m ain tain   ef f icien t  co m m u n i ca tio n   ev en   u n d er   h o s tile  co n d itio n s .   T h e  p r o b lem   f o r m u latio n   ce n te r s   o n   b alan ci n g   th e   tr ad e - o f f s   b etwe en   th r o u g h p u t,  laten cy ,   en er g y   ef f icie n cy ,   an d   s ca lab ilit y   wh ile  en s u r in g   s ec u r it y   ag ain s t a d v er s ar ial  attac k s .   Mo d elin g   th e  SIo T - RL - SDN  f r am ewo r k   in v o lv es d ef in i n g   s tate  s p ac es,  ac tio n   s et s ,   an d   r ewa r d   f u n ctio n s   th at  r ef lect  th e  m u lti - d im en s io n al  o b jectiv es  o f   th e  s y s tem .   I n co r p o r atin g   L J J - MA C   en h an ce s   th is   m o d el  b y   o f f er in g   a  tailo r e d   m ec h an is m   f o r   co ll is io n   an d   jam m in g   m itig atio n ,   th er e b y   o p tim izin g   r eso u r ce   u tili za tio n   an d   Qo S  in   SIo T   s y s tem s .   T h is   m u lti - f ac eted   p r o b lem   h ig h lig h ts   th e   n ee d   f o r   in n o v ativ e  s o lu tio n s   th at  a d d r ess   t h e  in tr icac ies  o f   in teg r atin g   SIo T ,   R L ,   an d   SDN  tech n o l o g ies with in   a  c o h esiv e  f r am ewo r k   [ 1 9 ] .   T h e   s tep s   in v o lv e d   in   im p lan tatio n   o f   L J J - MA C   J o in ed   B ea m   m eth o d   in   in d icate d   i n   Alg o r it h m   1.   T h e   s atellite  g atew ay ,   alo n g   with   its   lin k   b u d g et,   is   illu s tr ated   in   Fig u r e   4 .   T o   en h an ce   o u r   ap p r o ac h ,   we  in co r p o r ated   tim e  awa r e n ess   b y   tr ain in g   ea c h   s et  with   tim e - c o n s tr ain ed   p u r p o s es  o v er   a  f in ite  tim e  h o r izo n .   T h e  r esu lts   d em o n s tr ate  th at,   e v en   with in   a  lim ited   tim e  p r o s p ec t,  o u r   m eth o d   s u r p ass es  to p o g r a p h ical  n eig h b o r h o o d - b ased   a n d   ar b itra r y   d i v is io n   s tr u ctu r es,   ac h iev in g   l o wer   s y s tem   av er a g e  waitin g   tim es  an d   av er a g e  s er v ice  wait  tim es  [ 2 0 ] – [ 2 2 ] .             Fig u r e  3 .   Satellite  d iag r am       T h e  s atellite  g atew ay ,   alo n g   with   its   lin k   b u d g et,   is   illu s tr ated   in   Fig u r e   4 .   T o   en h an ce   o u r   ap p r o ac h ,   we  in co r p o r ated   tim e   awa r en es s   b y   tr ain in g   ea ch   s et  with   tim e - co n s tr ain ed   o b jectiv es  o v er   a   f in ite  tim e  h o r izo n .   T h e  r esu lts   d em o n s tr ate  th at,   ev en   with in   a  lim ited   tim e  h o r izo n ,   o u r   m eth o d   s u r p ass es   g eo g r ap h ical   n eig h b o r h o o d - b ased   an d   r a n d o m   allo ca tio n   s ch em es,  ac h iev in g   lo wer   s y s tem   av er ag e   waitin g   tim es  an d   av er ag e  s er v ice  wait  tim es  [ 2 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n ve s tig a tio n   o f th e  s a tellite in tern et  o f th in g s   a n d   r ein fo r ce men t le a r n in g   …  ( A r u n   K u ma r )   3511       Fig u r e  4 .   Satellite g atew ay   s p ec s       Alg o r ith m   1 .   L J J - MA C   jo in ed   b ea m   alg o r ith m   1.   Sy s tem   in itializatio n :   −   I n itialize  all  n etwo r k   p ar am eter s ,   in clu d in g   th e  n u m b e r   o f   u s er s ,   b ase  s tatio n s ,   an d   th e  wir eless   en v ir o n m en t.   −   Def in e  th e  b ea m f o r m in g   m atr i ce s   f o r   ea ch   b ase  s tatio n   an d   u s er   eq u ip m en t  ( UE )   in   th e   s y s tem .   2.   C h an n el  esti m atio n :   −   Per f o r m   a  c h an n el  esti m atio n   p h ase  wh er e  b ase  s tatio n s   an d   UE s   ex ch an g e  p il o t sig n als.   −   E s tim ate  th e  ch an n el   s tate  in f o r m atio n   ( C SI)   at   b o th   th e  tr an s m itter   an d   r ec eiv e r   e n d s   f o r   ea c h   co m m u n icatio n   lin k   in   th e  n et wo r k .   3.   B ea m f o r m in g   v ec to r   ca lcu lati o n :   −   B ased   o n   th e  esti m ated   C SI,   c alcu late  th e  o p tim al  b ea m f o r m in g   v ec to r s   at  th e  b ase  s tatio n s   to   f o cu s   th e   tr an s m is s io n   p o wer   to war d s   th e  UE s .   −   Ap p ly   tech n i q u es  s u ch   as  s i n g u lar   v alu e  d ec o m p o s itio n   ( SVD)   o r   o th e r   o p tim izatio n   alg o r ith m s   to   d eter m in e  th e  m o s t e f f ec tiv e  b ea m f o r m in g   v ec to r s .   4.   User   s ch ed u lin g :   −   Use  a  m ed iu m   ac ce s s   co n tr o l  ( MA C )   p r o to co l  to   s ch ed u le  u s er s   f o r   d ata  tr an s m is s io n   b ased   o n   th e  cu r r en t   n etwo r k   co n d itio n s ,   in clu d in g   th e  q u ality   o f   th e  ch an n el,   n etwo r k   co n g esti o n ,   an d   f air n ess   co n s id er atio n s .   −   Prio r itize  u s er s   th at  ar e  in   g o o d   ch an n el  co n d itio n s   an d   th o s e  r eq u ir in g   h ig h er   d ata  r ates.   5.   T r an s m is s io n   tim e  s lo t a llo ca tio n :   −   Allo ca te  tim e  s lo ts   f o r   th e   tr a n s m is s io n   o f   d ata  b etwe en   th e   b ase  s tatio n s   a n d   u s er s .   E n s u r e  ef f icien t   u s e   o f   av ailab le  b a n d wid th   w h ile  m in im izin g   in ter f e r en ce .   −   Ap p ly   tim e  d iv is io n   m u ltip le   ac ce s s   ( T DM A)   o r   o th er   s ch ed u lin g   s ch em es  to   allo ca te  tr an s m is s io n   o p p o r tu n ities .       5.   RL   DE T A I L S     T h e  in v esti g atio n   in to   th e  SIo T   an d   R L   th r o u g h   co m p lex   SDN  m o d elin g   em p h asizes  ef f icien t  r eso u r ce   allo ca tio n ,   s ca lab ilit y ,   an d   a d ap tiv e  d ec is io n - m ak in g   in   s p ac e - g r o u n d   co m m u n icatio n s .   R L   alg o r ith m s ,   in teg r ated   with in   SDN  f r am e wo r k s ,   o p tim ize  SIo T   p er f o r m an ce   b y   en a b lin g   au t o n o m o u s   lear n in g   o f   tr af f ic   p atter n s ,   r eso u r ce   c o n ten tio n   r eso lu tio n ,   a n d   d y n am ic  r ec o n f ig u r atio n   in   v a r y in g   n etwo r k   co n d itio n s .   T h is   ap p r o ac h   en h an ce s   th r o u g h p u t,  m in im izes  laten cy ,   an d   s u p p o r ts   th e  m ass iv e  co n n ec tiv ity   d em an d s   o f   I o T   d ev ices  lin k ed   v ia  s atellites.   T h e  L J J - MA C   p r o to co l,  p iv o tal   in   th is   co n tex t,  ad d r ess es  m e d iu m   ac ce s s   co n tr o l   b y   lev er a g in g   R L   f o r   co llis io n   av o id a n ce   an d   ch an n el  s ch e d u lin g .   B y   lear n in g   t h e  tr af f ic   ch ar ac ter is tics   an d   n etwo r k   d y n am ics,  L J J - MA C   en s u r es  ef f i cien t  s p ec tr u m   u til izatio n   an d   en er g y - awa r e  co m m u n icatio n   f o r   I o T   n o d es.  T o g et h er ,   th ese  in n o v at io n s   s h o wca s e  h o w  R L   a n d   SDN  s y n er g ize  to   tack le   SIo T   c h allen g es,  d eliv e r in g   r o b u s t,  a d ap tab le,   an d   h ig h - p er f o r m a n ce   n etwo r k in g   s o lu ti o n s   tailo r ed   to   th e   in tr ic ate  d em an d s   o f   s atellite - b ased   I o T   ec o s y s tem s   [ 2 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   3 5 0 6 - 3 5 1 8   3512   I ter ate  th is   p r o ce s s ,   ad ju s tin g   b ea m f o r m in g   an g les,  tr an s m is s io n   p o wer ,   an d   s ch ed u lin g   d e cisi o n s   to   en s u r e  o p tim al  th r o u g h p u t,   f a ir n ess ,   an d   o v er all  n etwo r k   p er f o r m a n ce .   Dee p   r ei n f o r ce m en t  lear n in g   ( DR L )   o p tim izes  s atellite  I o T   s y s te m s   b y   en a b lin g   ad a p tiv e  r eso u r ce   allo ca tio n   i n   co m p lex   S DNs.  T h e  L J J - MA C   p r o to co l   in teg r ates  DR L   to   en h an ce   m e d iu m   ac ce s s   ef f icien cy ,   r ed u cin g   laten cy   an d   co lli s io n s .   B y   m o d elin g   d y n am ic  n etwo r k   s tates,  DR L   p r o v id es  r o b u s t  d ec is io n - m ak in g   f o r   s ca lab le  an d   en er g y - ef f icien t  I o T   ap p licatio n s   in   s atellite  co m m u n icatio n   en v ir o n m en ts .   T h e  s tate  eq u atio n   is   g iv en   b y   [ 2 1 ] .     = 1 , 2 , 1 , 2     ( 4 )     T h e  in eq u ality   α =0   <  { L 1 ,p ,L 2 ,p ,m 1 ,p ,m 2 ,p ,i }  s u g g ests   th at  a  p ar am eter   α  eq u als  ze r o   an d   is   s m aller   th an   a  s et  o f   v ar iab les,  in clu d in g   L 1 ,p ,L 2 , p  ( li k ely   r elate d   to   len g th s   o r   lev el s ) ,   m 1 ,p ,m 2 , p  ( p o s s ib ly   m o m en t s   o r   m ea s u r es),   an d   i .   T h is   co n d itio n   co u ld   d e f in e  b o u n d ar ies  o r   co n s tr ain ts   in   a  m ath e m atica l  o r   p h y s ical   m o d el.   T h e  ac tio n   eq u atio n   is   r ep r esen ted   as  [ 2 2 ] .     α = 0 < { 1 , , 2 , , 1 , , 2 , , }     ( 5 )   T h e  ag e n t  d ete r m in es  th e   co u r s e  o f   ac tio n   b y   s elec tin g   tw o   g r o u n d   s tatio n s   ( 1 – 3 3 )   b as ed   o n   th e   s atellite’ s   in clin atio n   an d   th e  m o u n tin g   a n g le  o f   its   b ea m s .   I n   th is   co n te x t,  I  r e p r esen t   th e  in clin atio n ,   L  d en o tes  th e  g r o u n d   s tatio n s ,   p  s ig n if ies  th e  s elec tio n   p r o ce s s ,   an d   M  in d icate s   th e  m o u n tin g   an g le.   T h e  ass o ciate d   r ewa r d   is   d ef in e d   in   [ 2 3 ] .     = 1 + + ( 1 + 2 ) = ∑ 1 = 1 , 2     ( 6 )     T h e  m ea s u r ed   in   b its   p er   s ec o n d   ( b p s ) ,   it  d eter m i n es  th e  q u a lity   an d   ef f icien cy   o f   th e  tr an s m is s io n ,   im p ac tin g   au d io   o r   v id e o   clar ity .   Hig h er   b it r ates p r o v id e  b etter   q u ality   b u t r eq u ir e  m o r e  b a n d wid th ,   wh ile  lo wer   b itra tes   s av e  b an d wid th   at  th e  co s t  o f   r e d u ce d   q u ality   o r   r eso lu t io n   [ 2 4 ] .   SDN  p lay s   a  cr u ci al  r o le  in   s atelli te  co m m u n icatio n   b y   e n ab lin g   f l ex ib le,   ce n tr alize d   c o n tr o l  o v e r   th e  n etwo r k ’ s   in f r astru ctu r e.   I t  allo ws  d y n am ic   m an ag em en t   o f   r eso u r ce s ,   s u ch   as  b an d wid th   an d   co n n ec ti v ity ,   o p tim izin g   s atellite  lin k s   in   r ea l - tim e.   W ith   SDN,   s ate llit e  n etwo r k s   ca n   ef f icien tly   h an d le  tr af f ic,   p r io r itize  cr itical  d ata,   an d   ad ap t  to   v ar y in g   n etwo r k   co n d itio n s .   T h is   en h an ce s   s ca lab ilit y ,   r ed u ce s   o p er atio n al  c o s ts ,   an d   s u p p o r ts   ad v an ce d   a p p licatio n s   lik e  I o T   an d   g lo b al  co n n ec tiv ity   [ 2 5 ] .       6.   RE SUL T S   Ou r   s tu d y   ex p l o r es  th e  in teg r at io n   o f   ad v an ce d   tec h n o lo g ies  lik e  SDN  an d   R L   in   th e  m an ag em en t  an d   o p tim izatio n   o f   s atellite  co m m u n icatio n   n etwo r k s ,   s p ec if i ca lly   tar g etin g   I o T   a p p licatio n s   in   r em o te   ar ea s .   T h ese  s atellite - b ased   n etwo r k s ,   s u ch   as  L E O  s atelli te  co n s tellatio n s ,   o f f er   an   e f f icien t  s o lu tio n   f o r   co n n ec tin g   I o T   g ad g ets  in   en v ir o n m e n ts   wh er e  ter r estrial  s u b s tr u ctu r e  is   u n f ea s ib le,   s u ch   as  wo o d s ,   o ce an s ,   an d   r em o te   r eg io n s .   A  s ig n if ican t  ch all en g e  in   s u ch   s y s tem s   is   th e  ef f ec tiv e  d is tr ib u tio n   o f   r eso u r ce s   ( s u ch   as   co m m u n icatio n   c h an n els  a n d   p o wer )   wh ile   en s u r in g   t h at  d iv er s e  Qo S  r eq u ir e m en ts   ar e   m et.   Dif f er en t   I o T   ap p licatio n s   h av e   v a r y in g   n ee d s   in   ter m s   o f   s p ec tr u m ,   d elay ,   an d   co n s is ten cy ,   wh ich   c o m p licates  th e  r eso u r ce   m an ag em en t   task .   T h e  p ap er   u s e s   R L   to   au t o n o m o u s ly   d ete r m in e  th e   o p tim al  allo ca tio n   o f   r eso u r ce s   in   r ea l - tim e  b y   co n tin u o u s ly   lear n in g   f r o m   th e  s y s tem ’ s   p er f o r m an ce .   T h is   en a b les  a  m o r e   ad ap tiv e  an d   s ca lab le   s o lu tio n   f o r   I o T   d e p lo y m e n ts   wh er e   tr ad itio n al   m eth o d s   f a ll  s h o r t.  T h e   p a p er   f u r th e r   d i s cu s s es  th e  en er g y   ef f icien cy   o f   s atellite  I o T   s y s t em s .   Sin ce   m an y   I o T   d ev ices  ar e  b atter y - p o wer ed   an d   o p er ate  in   r em o te  ar ea s ,   m an ag in g   th e  tr a d e - o f f   b etwe en   p o wer   co n s u m p tio n   a n d   tr a n s m is s io n   ef f icien cy   is   cr itical.   T h e  p r o p o s ed   R L - b ased   m eth o d s   aim   to   o p tim i ze   en er g y   u s e  wh ile  m ee tin g   co m m u n icatio n   r e q u ir em en ts ,   o f f er in g   s ig n if ican t   im p r o v em e n ts   o v er   tr ad itio n a l  ap p r o ac h es.  Fo r   in s tan ce ,   s im u latio n s   in   th e  p ap er   s h o w  th at  th e  R L - b ased   ap p r o ac h   ca n   in cr ea s e  p o wer   ef f icien cy   b y   u p   to   6 0 . 9 1 %   co m p ar ed   t o   o th er   c o n v e n tio n al  alg o r ith m s .   I n   ad d itio n ,   th e  p ap er   in co r p o r ate s   SDN  to   p r o v id e   a  f le x ib le,   ce n tr alize d   co n tr o l  m ec h an is m ,   wh ich   is   cr u cial   f o r   m an ag in g   t h e  co m p le x ities   o f   s atellite  I o T   s y s tem s .   SDN   allo ws  f o r   d y n am ic  r ec o n f i g u r atio n   o f   n etwo r k   re s o u r ce s ,   en h an cin g   th e  n etwo r k ’ s   ad ap ta b ilit y   an d   p er f o r m an ce   in   v ar io u s   s ce n a r io s .   Fu r t h er m o r e ,   th e  au th o r s   s u g g est  a  tr an s f er   lear n in g   m eth o d   f o r   ef f icien t  d ep l o y m en t  i n   s p ac e  en v ir o n m e n ts ,   en s u r in g   th at  th e  m o d el  ca n   q u ick ly   ad a p t  an d   p e r f o r m   with   m in im al  co m p u tatio n al  r eso u r ce s .   T h is   s tu d y   co n tr ib u tes  s ig n if ican tly   to   o p tim izin g   r eso u r ce   allo ca tio n   in   S - I o T ,   o f f e r in g   a  m o r e  r o b u s t,  s ca lab le,   an d   en er g y - ef f icien t  s o lu tio n   f o r   s atellite  co m m u n icatio n   in   r e m o te  ar ea s .   I n   R L ,   tr ain in g   2 , 0 0 0   tim es  r e f er s   to   th e  ag en t  iter ativ ely   in t er ac tin g   with   th e  en v ir o n m en t ,   ad ju s tin g   its   s tr ateg ies b ased   o n   r ewa r d s   r ec eiv ed   af ter   ea ch   ac tio n .   Ov er   2 , 0 0 0   tr ai n in g   cy cles,  th e  R L   m o d el  r ef in es its   d ec is io n - m ak in g   to   m ax im ize  its   o b jecti v e,   en h an cin g   p er f o r m an ce   b y   lear n i n g   o p tim al  p o l icies.  T h is   r ep ea ted   ex p o s u r e  im p r o v es th e  ag en t’ s   ad ap tab ilit y   an d   ef f icien c y   in   co m p lex   task s   g iv e n   in   Fig u r e   5.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n ve s tig a tio n   o f th e  s a tellite in tern et  o f th in g s   a n d   r ein fo r ce men t le a r n in g   …  ( A r u n   K u ma r )   3513       Fig u r e  5 .   R L   tr ain e d   2 0 0 0   tim es       Fig u r e  6   illu s tr ates  th e  r esu lts   o f   tr ain in g   a  R L   m o d el  5 0 0   tim es  u s in g   d if f er en t  f o r m u las.  E a ch   f o r m u la   lik ely   r ep r esen ts   a  d is tin ct  ap p r o ac h   t o   o p tim izin g   t h e  m o d el’ s   lear n in g   p r o ce s s ,   f o cu s in g   o n   r eso u r ce   allo ca tio n   in   s atellite  I o T   n etwo r k s .   B y   tr ain in g   th e  R L   m o d el  m u ltip le  tim es,  th e  f i g u r e   d em o n s tr ates  h o w  d if f er en t   co n f ig u r atio n s   o f   th e  alg o r ith m   af f ec t  its   p er f o r m an ce ,   e f f i cien cy ,   o r   ac cu r ac y .   T h is   s etu p   h elp s   co m p ar e  th e   ef f ec tiv en ess   o f   ea ch   ap p r o a ch ,   em p h asizin g   t h e  im p o r ta n ce   o f   ad a p tin g   th e  lea r n in g   p r o c ess   to   v a r y in g   n etwo r k   co n d itio n s   o r   Qo S  r e q u ir em en ts .   T h e  s ig n if ica n ce   o f   tr ain in g   a  R L   m o d el  5 0 0   ti m es  u s in g   a  d if f er en t   f o r m u la  lies   in   its   ab ilit y   to   e n h an ce   th e  r o b u s tn ess   an d   g e n er aliza tio n   o f   t h e  m o d el.   R ep ea ted   tr ain in g   with   v ar ied   f o r m u latio n s   allo ws  th e  R L   ag en t  to   e x p lo r e   d if f er e n t  s tr ateg ies,  ad ap tin g   t o   d iv e r s e  co n d itio n s   an d   u n ce r tain ties   in   th e  en v ir o n m e n t.  T h is   p r o ce s s   im p r o v es its   d ec is io n - m ak in g   ab ilit ies,  en s u r in g   it c an   h an d le  a   wid e  r an g e  o f   s itu atio n s   ef f ec t iv ely ,   esp ec ially   in   co m p lex   s y s tem s   lik e  s ate llit e  I o T ,   wh er e  r eso u r ce   allo ca tio n   an d   n etwo r k   d y n am ics ar e  h i g h ly   v ar iab le.           Fig u r e  6 .   R L   tr ain e d   5 0 0   tim e s   u s in g   a  d if f er e n t f o r m u la   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   3 5 0 6 - 3 5 1 8   3514   Fig u r e  7   in   th e  co n tex t  o f   R L   r ep r esen ts   th e  cu m u lativ e  r ew ar d   ac h iev ed   af te r   test in g   th e  R L   m o d el  5 0 0   tim es.   T h e  c u m u lativ e   r ewa r d   s er v es  as  a   m ea s u r e  o f   th e  m o d el’ s   o v er all  p er f o r m an ce   an d   lear n in g   ef f ec tiv en ess   ac r o s s   th ese  tr i als.  B y   o b s er v in g   th e   r ewa r d   ac cu m u latio n   o v er   tim e,   t h is   f ig u r e   h elp s   i n   u n d er s tan d i n g   h o w  well  th e  R L   ag en t  is   lear n in g   th e  task .   A n   in cr ea s in g   tr en d   in   cu m u lativ e  r ewa r d   in d icate s   s u cc ess f u l  lear n in g ,   wh ile  p lat ea u s   o r   d ec lin es  m ig h t  s u g g est  is s u es  s u ch   as  in s u f f icien t  ex p l o r ati o n ,   s u b o p tim al   p o licy ,   o r   m o d el  in ef f icien cy .   T h is   ty p e  o f   an aly s is   is   e s s en ti al  f o r   f in e - tu n i n g   an d   o p tim izin g   R L   m o d els.  T h e   cu m u lativ e  r ewa r d   r ef lects  th e  R L   m o d el’ s   lear n in g   p r o g r ess   an d   ef f icien c y   in   o p tim izin g   r eso u r ce   allo ca tio n   in   th e  SI o T   s y s tem .   T h e   r esu l ts   s u g g est  th at  with   i n cr ea s ed   tr ain in g   e p is o d es,  th e   R L   m o d el  co n v er g es  t o   a n   o p tim al  p o licy ,   ac h iev in g   h ig h er   cu m u lativ e  r ewa r d s .   T h is   d e m o n s tr ates  th e  m o d el’ s   ab ilit y   to   ad a p t  to   v ar y in g   n etwo r k   co n d itio n s   an d   m ee t  d iv er s e  Qo S r eq u ir e m en ts   ef f i cien tly .           Fig u r e  7 .   R L   test ed   5 0 0   tim es u s in g   Dif f er en t  f o r m u la       Fig u r e  8   in   t h e  p a p er   d em o n s tr ates  th e  p er f o r m a n ce   o f   a   R L   m o d el   th at  was  tr ain e d   5 0 0   tim es  u s in g   th e  n o r m al  f o r m u la  b u t w ith   an   in cr ea s ed   lear n in g   r ate  o f   1 .   T h is   in cr ea s ed   lear n in g   r ate  m ea n s   th at  th e  m o d el   m ak es  lar g er   u p d ates  to   its   p ar am eter s   af ter   ea ch   tr ain i n g   iter atio n ,   p o te n tially   s p ee d in g   u p   t h e  lear n in g   p r o ce s s .   Ho wev er ,   wh ile  a  h ig h e r   lear n in g   r ate  ca n   ac ce ler ate  c o n v er g en ce ,   it  m ay   also   lead   to   o v e r s h o o tin g   th e  o p tim al   s o lu tio n   o r   ca u s in g   in s tab ilit y   in   th e   tr ain in g   p r o ce s s .   I n   th e   co n tex t  o f   t h is   ex p e r im en t,   in c r ea s in g   th e   lear n in g   r ate  to   1   co u ld   r esu lt   in   f aster   lear n in g ,   b u t   it  also   in tr o d u ce s   th e  r is k   o f   th e  m o d el  n o t   s ettlin g   o n   t h e  o p tim al   p o licy   if   th e  u p d ates  ar e  to o   l ar g e.   T h e  f ig u r e   lik ely   s h o ws   h o w  th e  m o d el’ s   p er f o r m a n c e  ev o lv es  o v e r   th e  tr ain in g   iter atio n s ,   co m p ar in g   it  to   a  m o d el  with   a  s tan d a r d   le ar n in g   r ate.   I n   p r ac tical  ter m s ,   th is   ad ju s tm en t  ca n   b e  b en e f icial  f o r   ce r tain   ty p es  o f   p r o b lem s   wh er e   q u ick   co n v er g en ce   is   m o r e  im p o r tan t  th a n   g r ad u al   f in e - tu n in g .   Ho wev er ,   ca r e f u l  tu n i n g   is   r e q u ir ed   t o   p r e v en t  th e   m o d el  f r o m   m is s in g   o p tim al  s o lu tio n s   o r   en c o u n ter i n g   in s t ab ilit y .   Ov er all,   th is   ex p er im en t  lik ely   p r o v id es  in s ig h ts   in to   th e  tr ad e - o f f   b etwe en   lea r n in g   r ate  an d   s tab ilit y   in   R L   ap p licatio n s ,   esp ec ially   in   co m p lex   d o m ai n s   lik e  s atellite  I o T   n etwo r k s .   Fig u r e   9   in   th e   s tu d y   d is cu s s es  th e  r esu lts   o f   R L   with   an   in c r ea s ed   lear n in g   r ate  f o r m u la  te s ted   u n d er   v ar io u s   co n d itio n s .   T h e  in cr e ased   lear n in g   r ate  ap p r o ac h   ai m s   to   o p tim ize  th e  lear n in g   p r o ce s s   b y   ad ju s tin g   h o w  q u ick l y   th e  m o d el  u p d ate s   its   p ar am eter s   d u r in g   tr ain in g .   T h e  r esu lts   s h o w  th at  a  h ig h er   lear n in g   r ate  ca n   in itially   ac ce ler ate  co n v er g en c e,   en ab lin g   t h e  m o d el   to   r ea ch   a  s o lu tio n   f aster   th a n   with   s tan d ar d   lear n in g   r ates .   Ho wev er ,   th e  in cr ea s ed   r ate  al s o   in tr o d u ce s   s o m e  in s tab ilit y ,   with   th e  m o d el  ex p er ien cin g   s h ar p er   f lu ct u atio n s   in   p er f o r m an ce   ea r ly   in   th e  tr ain in g   p r o ce s s .   B y   ad ju s tin g   th e  lear n in g   r ate  d y n am ically ,   th e  R L   m o d el  ca n   b etter   r esp o n d   to   th e  co m p le x ities   o f   th e  en v ir o n m en t  it  is   tr ain ed   in .   T h e  r esu lts   s u g g est  th at  th e  o p tim al  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         I n ve s tig a tio n   o f th e  s a tellite in tern et  o f th in g s   a n d   r ein fo r ce men t le a r n in g   …  ( A r u n   K u ma r )   3515   lear n in g   r ate  d e p en d s   o n   th e  s p ec if ic  task   an d   th e  t r ad e - o f f   b etwe en   e x p lo r atio n   a n d   e x p lo itatio n   in   t h e  R L   f r am ewo r k .   I f   s et  to o   h ig h ,   th e   m o d el  m a y   ex p er ien ce   o v er s h o o tin g ,   w h er e  it m o v es p ast th e  o p tim al  p o in t to o   q u ick ly ,   lead in g   to   p o o r   p er f o r m an ce .   O n   th e   o th e r   h an d ,   if   th e  lear n in g   r ate  is   to o   l o w,   t h e  m o d el  m a y   tak e   lo n g er   to   co n v er g e,   lim itin g   e f f icien cy .   I n   th e   co n te x t  o f   R L ,   ad a p tiv e  lear n in g   r ates  ca n   h elp   ac h iev e   f aster   co n v er g en ce ,   b u t  ca r ef u l  t u n in g   is   n ec ess ar y   to   av o id   in s tab i lity .   T h e  f ig u r e   lik ely   d em o n s tr ates  th is   tr ad e - o f f   th r o u g h   v ar y i n g   p er f o r m a n ce   m etr ics o v er   th e  co u r s e  o f   tr ai n in g   with   an   in cr ea s ed   lear n in g   r ate.   T h u s ,   f u r t h er   in v esti g atio n   is   r eq u ir e d   to   f in e - tu n e  th e  lear n in g   r ate  f o r   o p t im al  r esu lts   in   R L   s ettin g s .           Fig u r e  8 .   R L   tr ain e d   5 0 0   tim e s   u s in g   n o r m al  f o r m u la  h o we v er   an   in cr ea s ed   lea r n in g   r ate  o f   1           Fig u r e  9 .   R L   test ed   r esu lts   u s in g   in cr ea s ed   lear n in g   r ate  f o r m u la     Evaluation Warning : The document was created with Spire.PDF for Python.