I nte rna t io na l J o urna l o f   Appl ied P o w er   E ng ineering   ( I J AP E )   Vo l.  14 ,   No .   3 ,  Sep tem b er   20 25 ,   p p .   60 0 ~ 61 2   I SS N:  2252 - 8792 ,  DOI :  1 0 . 1 1 5 9 1 /i j ap e . v 14 . i 3 . pp 60 0 - 61 2           600       J o ur na l ho m ep a g e :  h ttp : // ija p e. ia esco r e. co m/   Ba tt ery cy cle li fe  a nd t hro ug hput  opti m i z a tion in  w ir eless   co m m uni ca tion s y ste m  w ith  energy  harv esting  capa bility       O m a r  E na s s ir i,  Yo us s ef   Ro c hd i,  O ua do ud i  Z y t o un e   EN S A ,   I b n   T o f a i l   U n i v e r si t y ,   K e n i t r a ,   M o r o c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Ma y   3 ,   2 0 2 4   R ev i s ed   Ma r   1 8 ,   2 0 2 5   A cc ep ted   J u n   2 3 ,   2 0 2 5       T h is   re se a rc h   p a p e r  p r o p o se s  a   n o v e l  a p p ro a c h   to   a d d re ss   t h e   e n e rg y   c h a ll e n g e s  f a c e d   b y   in tern e t  o f   th in g s  (Io T )  d e v ice s.  T h e   w irel e ss   c o m m u n ica ti o n   s y ste m   in v o lv e s  a   tr a n s m it ter  e q u ip p e d   w it h   e n e rg y   h a rv e stin g   m o d u le   th a t  c h a rg e s  b o th   a   re c h a rg e a b le  b a tt e r y   a n d   a   c a p a c it o r   th ro u g h   a n   e n e rg y   sto ra g e   m a n a g e m e n t  sy st e m   ( E S M S ).   T h is   E S M S   is  b a se d   o n   a   re in f o rc e m e n t  lea rn in g   a lg o rit h m   to   d y n a m ica ll y   s w it c h   b e tw e e n   th e   b a tt e ry   a n d   th e   c a p a c it o r ,   e n su rin g   e ff icie n t  p o w e r  u ti li z a ti o n .   T h is   re in f o rc e m e n t  lea rn in g   a lg o r it h m   e n a b les   t h e   d e v ice   to   lea rn   a n d   a d a p t  it s  e n e rg y   c o n su m p ti o n   p a t tern s  b a s e d   o n   e n v iro n m e n tal  c o n d it io n s  a n d   u sa g e ,   o p ti m izin g   e n e rg y   u sa g e   o v e r   t im e .   A d d it io n a ll y ,   th e   s y ste m   e m p lo y s  a   ra in f lo w   c o u n ti n g   m e th o d   to   e stim a te  th e   sta te - of - h e a lt h   (S o H)  o f   th e   b a tt e ry ,   e n su rin g   it s  lo n g e v it y   a n d   o v e ra ll   s y ste m   p e r f o r m a n c e .   B y   c o m b in in g   th e se   a p p r o a c h e s,  th e   p ro p o se d   sy ste m   a i m s  to   sig n if ica n tl y   im p ro v e   th e   e n e rg y   e ff icie n c y   a n d   li f e sp a n   o f   Io T  d e v ice s,  a s   w e ll   a s  th e   a m o u n t  o f   d a ta  se n t  f o r   d if f e r e n t  tem p e r a tu re   ra n g e s,  u lt im a tel y   e n h a n c i n g   th e ir  c o st - e f fe c ti v e n e ss   a n d   p e rf o rm a n c e .   K ey w o r d s :   B atter y   C ap ac ito r   E n er g y   h ar v esti n g   I n ter n et  o f   t h i n g s   R ein f o r ce m e n t le ar n in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   O m ar   E n a s s ir i   E NS A ,   I b n   T o f ail  Un iv er s it y   Ken itra ,   Mo r o cc o   E m ail:  o . en a s s ir i @ u m 5 r . ac . m a       1.   I NT RO D UCT I O N    On e  o f   th e  m ai n   c h alle n g e s   i n   th e  i n ter n et   o f   t h i n g s   ( I o T )   a r ea   lies   i n   t h e  n ee d   f o r   en er g y   w h er ev er   d ev ices  ar e   in s talled ,   ac r o s s   a ll  f ield s   o f   ap p licatio n   [ 1 ] ,   [ 2 ] .   T h is   ch al len g e  is   p ar tic u lar l y   p r o n o u n ce d   f o r   s en s o r   n o d es  p lace d   in   i n ac ce s s ib le  ar ea s ,   s u c h   as   b io m ed i ca l  s en s o r s   i m p lan ted   i n   t h e  h u m a n   b o d y ,   w h er e   b atter y   r ep lace m en t  is   e x ce ed in g l y   d i f f ic u lt.  I n   s u c h   ca s e s ,   b atter y   li f e  is   cr u cial  to   e n s u r e  co n tin u o u s   p o w er   f o r   th ese  d ev ice s ,   ex e m p li f ied   b y   p ac e m a k er s   an d   i m p la n tab le  d ef ib r illato r s .   T o   a d d r ess   th is   is s ue ,   s i g n i f ica n t   atten tio n   h a s   b ee n   g i v en   to   r en e w ab le  en er g ies  to   ex te n d   th e  lif e s p an   o f   b atter ie s   p o w er i n g   th e s e  d ev ice s .   I n   th is   co n te x t,  en er g y   h ar v est in g   e m er g es   as  a  h i g h l y   p r o m i s in g   s o l u tio n ,   p ar tic u lar l y   f o r   d ev ices  w i th   lo w er   en er g y   co n s u m p tio n   [ 3 ] .   C o m b in ed   w it h   a  h y b r id   s to r ag e   s y s te m   co m p o s ed   o f   b atter ie s   an d   ca p ac ito r s ,   th ese   s y s te m s   ar e  ca p ab le  o f   p o w er in g   w ir eles s   s e n s o r   n et w o r k s   ( W SNs ) .   Var io u s   to p o lo g ies  an d   co n f ig u r atio n s   co m b i n i n g   b atter ies  a n d   ca p ac ito r s   ar e  d is cu s s ed   i n   [ 4 ] ,  [ 5 ] .   T h e  k e y   a s p ec t  i n v o l v es   th e   m an a g e m e n t  o f   th e   s to r ag e   s y s te m   o f   t h e  h ar v e s ted   en er g y   b ased   o n   t h e  r e q u ir e m e n ts   a n d   co n d itio n s   o f   t h e  I o T   d ev ices .   T h er ef o r e,   ef f ec ti v e  en er g y   s t o r ag e  m an a g e m e n t s y s te m s   ( E SMS)   m u s t b e  e m p lo y ed   [ 6 ] ,  [ 7 ] .     Sin ce   I o T   de v ices  r eq u ir e  co n tin u o u s   p o w er   a n d   m o s t   o f   th e m   ar e  b atter y - p o w er ed ,   t h e y   ar e  f ac i n g   f i n ite  b atter y   li f e  an d   h ig h   e n er g y   co n s u m p tio n ,   esp ec iall y   in   i n ac ce s s ib le  o r   h az ar d o u s   lo ca tio n s .   E n er g y   h ar v e s tin g   tec h n o lo g y   ad d r ess es  t h is   b y   co n v er ti n g   e n er g y   f r o m   s o u r ce s   li k e  s o l ar ,   th er m al,   w in d ,   m ec h a n ical,   p y r o elec tr ic,   a n d   R F   i n to   u s ab le  e lectr ical  e n er g y ,   e n h an c in g   th e   ef f icie n c y ,   d u r ab ilit y ,   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter y  cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   601   lif eti m e   o f   I o T   d ev ices  [ 8 ] .   Se v er al  s tu d ie s   h av e   ad d r ess ed   t h e  p r o b le m   o f   e n er g y   m a n a g e m en t  i n   th e   I o T .   I n   [ 9 ] ,   th e   au th o r s   h a v e  p r o p o s ed   to   m i n i m ize  th e  v o lu m e  o f   d ata  th at  m a y   b e  tr an s m it ted   th r o u g h   th e  I o T   en v ir o n m e n t  a n d   s ch ed u le   t h e  w o r k   o f   cr it ical  en er g y   I o T   n o d es  f o r   b etter   en er g y   e f f ic ien c y .   Als o ,   a  f a u lt   to ler an ce   s ce n ar io   is   ap p lied   to   ad d r ess   th e  en er g y   p r o b le m s   f ac ed   b y   I o T   n o d es.   I n   [ 1 0 ] ,   th e  au th o r s   p r o p o s ed   a  r ein f o r ce m e n t  lea r n in g   m et h o d   to   d ea l  w it h   th e  b atter y   leak a g e  f o r   w ir el ess   co m m u n icatio n   s y s te m s .   T h e  r esear c h   p ap er   [ 1 1 ]   ad d r ess ed   a  s et  o f   al g o r ith m s   t h at  s tu d y   e n er g y   m a n ag e m en t  i n   t h e   f ie ld   o f   I o T .   I t  lis ted   th e   ad v a n tag e s   a n d   li m itatio n s   o f   ea c h   o n e   an d   r aised   a  s et   o f   q u est io n s   r eg a r d in g   t h e  q u alit y   o f   s er v ices   in   t h e  I o T   an d   h o w  to   ex te n d   its   li f esp a n   f r o m   an   e n er g y   p er s p ec tiv e.   Fi n all y ,   it  co n clu d ed   b y   cr ea tin g   a  co m p ar ati v e  tab le  b et w ee n   t h ese   alg o r it h m s .   An o th er   s t u d y   r elied   o n   p r ed ictin g   th e  b atter y   li f e  o f   I o T   d ev ices   u s in g   t h e  r an d o m   f o r est  r eg r es s io n   a lg o r it h m   is   p r o p o s ed   in   [ 1 2 ] .   T h e  m o d el  is   test ed   u s i n g   t h e   ' B ea ch   W ater   Qu a lit y   –   Au t o m a ted   Se n s o r s '   d ata s et,   w h i ch   co m es  f r o m   s e n s o r s   i n   a n   I o T   n et w o r k   i n   C h ica g o ,   US A .   T h e  m o d el  in c o r p o r ates  v ar io u s   p r e - p r o ce s s in g   tec h n iq u es  a n d   ac h ie v e s   a  p r ed ictiv e  ac cu r ac y   o f   9 7 %  i n   p r ed ictin g   t h e  b atte r y   li f e  o f   I o T   d ev ices.  I n   [ 1 3 ] ,   a  p latf o r m   is   in tr o d u ce d   t h at   co m b in e s   s e n s in g   p r o ce s s in g ,   an d   w ir e les s   co m m u n icat io n   f ea t u r es   f o r   lo w - p o w er   I o T   b ased   s y s te m s .   I t  in cl u d es  a n   e n er g y   m an a g e m e n t  i n teg r ated   cir c u i t  ( IC )   d esig n ed   f o r   h i g h l y   ef f i cien t  e n er g y   h ar v est in g ,   m ak i n g   it  id ea l  f o r   lo w - p o w er   an d   co m p ac t  e n er g y   s o u r ce s .   T h is   p lat f o r m   ac c o m m o d ates   v ar io u s   p o w er   s u p p l y   o p tio n s   a n d   in te g r ates   a   h y b r id   en er g y   s to r ag e  s y s te m .   An   e n er g y   m an a g e m en t  s tr ateg y   u tili z in g   a   r ein f o r ce m e n t  lear n i n g   alg o r ith m   is   o u tli n ed   i n   [ 1 4 ] .   T h is   E SMS   f u l f ill s   s ev er al  s tr i n g e n t  cr i ter ia,   in c lu d i n g   lo w   p o w er   co n s u m p tio n ,   h ig h   r eliab ilit y ,   s el f - s u f f icie n c y   in   p o w er   s u p p l y ,   an d   d ata  b ac k u p   to   h an d le  u n ex p ec ted   f ailu r e s .   E n er g y   is   co llected   v ia  s o lar   p a n els  a n d   s to r ed   in   s u p er ca p ac ito r s .   T h e  d ev elo p ed   s y s te m   w a s   a p p lied   to   a  p h y s ica l   E SMS  d ev ice   an d   te s ted   in   r ea l - w o r ld   co n d itio n s   to   g a th er   p r ac tical  d ata.   A   s tu d y   ex p lo r es  m u lt ip le  ap p r o ac h es  to   o p tim ize  en er g y   s y s te m s   a n d   i m p r o v e  b atter y   p er f o r m an ce   a n d   lif e s p an   is   p r esen ted   in   [ 1 5 ] .   I t   ex a m in e s   t h e  p o w er   r eq u ir e m en ts   f o r   telec o m   s ite   b ac k u p s   an d   ev al u ate s   t h e  i m p ac ts   o f   v ar io u s   p ar a m eter s   o n   b atter y   li f e,   p r o p o s in g   m e th o d s   to   o p ti m ize  b atter y   c h a r g in g   m a n ag e m e n t   f o r   e n h a n ce d   lo n g e v it y   a n d   p er f o r m a n ce .   I n   [ 1 6 ] ,   an   ad v an ce d   f o r ec asti n g   m o d el,   s u c h   as  lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   an d   b ac k   p r o p ag atio n   n eu r al  n et w o r k   ( B P NN) ,   ar e  u ti lized   to   p r ed ic t  s o lar   p lan t  p o w er   o u tp u t,  d em o n s tr atin g   r es u lts   clo s el y   ali g n ed   w it h   ac tu al  p o w er   p r o d u ctio n .   Dh ak ed   an d   B ir la   [ 1 7 ]   im p le m e n ted   a  s o lar - t h er m al  d is h - Sti r lin g   s y s te m   w it h   b atter y   s t o r ag e  in   a n   i s lan d ed   m icr o g r i d ,   in te g r atin g   a  co n tr o l   s c h e m e  to   m an a g e  p o w er .   T h e  s y s te m   ac h ie v es  3 0 %  e f f icien c y ,   r eliab l y   s u p p l y in g   e n er g y   i n   s tead y - s ta te  co n d itio n s ,   w h i le  th e   b atter y   ef f ec tiv e l y   s u p p o r ts   th e  lo ad   d u r in g   tr an s ie n t p er io d s .   T o   ad d r ess   th ese  is s u es,  th i s   p ap er   p r o p o s es   an   en er g y   h ar v est in g   s y s te m   t h at  ex p lo r es  th e  co m b i n atio n   o f   ca p ac ito r s   an d   b atter ies  to   s to r e  en er g y   a n d   p o w er   s e n s o r   n o d es.  T h e  r ain f lo w   a lg o r it h m   is   u s ed   to   e s ti m ate  b atter y   l if e,   w h ile   th e   r ein f o r ce m e n t  lear n in g   al g o r ith m   d eter m i n es  t h e   o p ti m al  s tate  o f   a   w ir ele s s   s en s o r   n o d e  b as ed   o n   av a ilab le  en er g y ,   b atter y   s ta tu s ,   an d   i n f o r m atio n   c ap ac it y   d u r i n g   th e   d esig n ated   tr an s m i s s io n   p er io d .   T h is   ap p r o ac h   h elp s   ad ap t  t h e  m o d el  to   a  d y n a m ic  w o r k i n g   e n v ir o n m en t  an d   ex ten d   t h e  b atter y   li f esp a n .   T h e  o r g an izatio n   o f   t h is   p ap er   is   as  f o llo w s :  T h e  m et h o d s   s ec tio n   p r o v id es   a  d etailed   d es cr ip tio n   o f   th e  p r o ce d u r es  f o llo w ed   i n   th i s   w o r k ,   i n cl u d in g   th e  j u s t if icat io n   f o r   th e  ch o s e n   al g o r ith m .   T h is   is   f o llo w ed   b y   r esu lt s   an d   d is cu s s io n   s ec tio n ,   w h er e  o u r   f in d i n g s   an d   i n ter p r etatio n s   o f   t h e  r esu l ts   ar e   p r esen ted .   Fi n all y ,   t h e   p ap er   co n clu d es  w it h   t h e  co n c lu s io n   s ec tio n .       2.   M E T H O DS   A   s ig n i f ica n t  ch a llen g e  w it h i n   th e s e  E SMS  i s   b atter y   d eg r ad atio n   d u e  to   d ee p   d is ch ar g e  an d   h i g h   cu r r en t  d e m a n d   [ 9 ] .   Hig h   ch a r g e/d is ch ar g e  r ates  ar e  i n f lu e n ce d   b y   t h e  t y p es   an d   c h ar ac ter is tics   o f   b atter ie s   an d   ca p ac ito r s   [ 1 1 ] ,   [ 1 2 ] .   I n   th is   s t u d y ,   o u r   f o cu s   is   o n   w ir e l ess   n o d es  o f   an   I o T   b ased   s y s t e m ,   ass u m i n g   th eir   tr an s m itter s   ar e  eq u ip p ed   w it h   a n   e n er g y   r ec o v er y   s y s te m .   T h e  co llected   en er g y   ca n   b e  s to r ed   eith er   i n   t h e   b atter y   o r   i n   th e  ca p ac ito r   v i a  a  p r e - in s talled   ( s ee   Fi g u r e  1 ) .   C o m m u n icatio n s   o cc u r   with i n   li m ited   ti m e   in ter v a ls ,   w it h   tr a n s m itter s   co n d u cti n g   tr an s m is s io n s   o v er   e q u al  ti m e  d u r atio n s ,   ca lled   ti m e - s lo t  a n d   d en o ted   as  .   I t  is   ass u m ed   th a t  d ata  p ac k ets  ar r i v e  p er io d icall y   a n d   ar e  tr an s m itted   i n   t h e  s u b s eq u en t   ti m e - s lo t  .    A   g e n er ated   d ata  p ac k et  i s   tr a n s m itted   i n   t h e  f o llo w i n g   ti m e   s lo t  u n le s s   d ee m ed   u n n ec ess a r y   ( e. g . ,   f o r   co n tr o l  ap p licatio n s ) .   T h e  tr an s m is s i o n   ch a n n el  r e m ai n s   co n s ta n t   d u r in g   ea ch   tr a n s m is s io n   p er io d .   E ac h   n o d e   tr an s m itter   i s   eq u ip p ed   w ith   a n   en er g y   h ar v esti n g   s to r ag e  s y s te m   a n d   h ar v ested   e n er g y   is   s to r ed   in   eit h er   th e   b atter y   o r   th e  ca p ac ito r   an d   ca n   b e  d ir ec tl y   u s ed   f o r   th e  n ex t  p er io d ,   b y   a  p o w er   m an a g e m e n t   s y s te m   b ased   o n   th e  e n er g y   le v e ls   s to r ed   in   b o th   d ev ice s   ( b atter y /cap ac ito r ) .  T h e  E SMS  s elec t s   t h e  ap p r o p r iate  s to r ag e  u n it,   eith er   th e  b atter y   o r   th e  ca p ac ito r ,   d ep en d in g   o n   th e  r e m ai n in g   q u a n tit y   o f   e n er g y   i n   ea ch   u n it.  C u r r en t l y ,  m o s t  o f   t h e  s e n s o r   n o d es  t h at  ar e  p o w er ed   b y   h ar v e s ted   en e r g y   r eq u ir e  a  p o w er   m a n a g e m en t  s y s te m   ( P MS)   to   ad ap t  th e  s to r ed   en er g y   to   th e  r elate d   elec tr o n ic  cir cu it s   d u r in g   v ar io u s   o p er atio n s   ( s u ch   as  p r o ce s s in g   a n d   tr an s m itti n g   ca p tu r ed   d ata) .   I n d ee d ,   th e  elec tr ical  e n er g y   p r o v id ed   b y   th e  e n er g y   h ar v ester   o f te n   ex h ib its   u n s tab le  v o lta g e,   cu r r en t,  an d   p o w er   lev els  t h at  ar e  n o t  d ir e ctl y   s u itab le  f o r   s u p p l y i n g   th e   elec tr o n ic  s y s te m .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g ,  Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   602   Mo r eo v er ,   d u e  to   th e  in ter m i t ten t  n a tu r e  o f   s ca v e n g ed   en er g y   s o u r ce s ,   t h e  p o w er   m a n a g e m en t  cir cu it  m u s t   d etec t  th e  h ar v e s ted   p o w er   l e v el  a n d   p o ten tiall y   s w itc h   t o   an   id le  s tate  w h e n   t h e  q u an tit y   o f   p o w er   i s   in s u f f icien t ( i.e . ,   w h e n   t h e  p o w er   co n s u m ed   b y   t h e  m a n ag e m en t c ir cu it e x ce ed s   t h e  s ca v e n g ed   p o w er ) .     2 . 1 .     E nerg y   ha r v esting   T h e  r en e w ab le  en er g y   c a n   b e  h ar v ested   f r o m   v ar io u s   ex t er n al  s o u r ce s   [ 1 8 ] .   T h ese  s o u r ce s   ar e   class i f ied   ac co r d in g   to   h a r v es t - s to r e - u s e  an d   h ar v e s t - u s e  [ 1 9 ].   T h e  h ar v ested   en er g y   i s   d en o te d  as   .   Sin ce   th e  p r ese n ce   o f   th e s e  e n er g y   s o u r ce s   is   d i s co n ti n u o u s   in   n at u r e,   elec tr o n ic  s y s te m s   p o w er ed   b y   e n er g y   h ar v e s tin g   m u s t  i n clu d e  a  P MS  an d   a  s to r ag e  d ev ice  to   s to r e  th e  s ca v e n g ed   en er g y .   So ,   a  co n v er s io n   o f   th e   r ec o v er ed   en er g y   is   n ec es s ar y   to   m a k e  it  co m p atib le  a n d   r ea d y   f o r   u s e.   I n d ee d ,   th e   u s a g e   o f   a  tr an s d u ce r   is   ess e n tial  to   ad ap t  t h e  o b tain ed   en er g y   to   t h e  u s u al  s to r ag e  d ev ice ;   t h e  d i f f er en t  tr an s d u ce r s   ar e  m e n tio n ed   i n   [ 20 ] ,  [ 21 ] .   T h e  s ch e m atic   o f   a  t y p ical   m o b ile   s e n s o r   s y s te m   p o w er ed   b y   e n er g y   h ar v es tin g   i s   p r ese n ted   i n   Fig u r e  2 .   T h e  en er g y   s o u r ce   is   s ca v en g ed   b y   t h e  e n er g y   h ar v esti n g   tr an s d u ce r   an d   co n v er ted   to   elec tr ical   en er g y ,   ev e n   th o u g h   it c a n n o t  b e  u s ed   in   t h e  ac tu al  f o r m   to   p o w er   th e  elec tr o n ic  s y s te m .           Fig u r e  1.   Sto r ag e  an d   m a n ag e m en t s y s te m   o f   e n er g y   h ar v est in g       .      Fig u r e  2 .   E n er g y   h ar v e s ti n g   m an ag e m e n t       2 . 2 .     B a t t er y   f e a t ures a na ly s is   I n   t h e  f ield   o f   t h e  w ir ele s s   s e n s o r   n et w o r k ,   th e   b atter y   is   th e   co r n er s to n e   f o r   co n tin u it y   o f   s er v ice  o f   co n n ec ted   o b j ec ts   in   d ail y   li f e,   w h ic h   m a k es  th e   m o s t  cr it ical  co m p o n e n ts   o f   a n y   I o T   d ep lo y m en t   is   t h e  ch o ice  o f   b atter ies.  T h at  i s   w h y   ch o o s i n g   t h e  r ig h t b atter y   f o r   th e  s m ar t d ev ice  is   a  c h alle n g in g   ta s k   b ec au s e   it   d ep en d s   o n   s e v er al  p ar a m e te r s   [ 22 ] .   A ls o ,   b atter y   p er f o r m an ce   g e ts   r ed u ce d   b y   t w o   s id es,  p h y s ica l  an d   ch e m ical.   Ge n er all y ,   th e   e n d   o f   li f e  f o r   b atter ies  i s   d e f in ed   as  8 0 %  o f   th e   n o m i n al  ca p ac it y ( i.e . ,   th e   b atter y   i s   co n s id er ed   as  d ea d   w h e n   it  l o s es  8 0 %  o f   th e   n o m i n al  ca p ac it y ) .   I n   g e n er al,   t h e  ca p ac it y   o f   b atter ies  f ad es   m ai n l y   w i th   t h e  f o llo w i n g   s tr ess   f ac to r s   [ 23 ] ,   as  th e  te m p er atu r e,   n u m b er   o f   c y cle s   o f   ch ar g e  an d   d is ch ar g e,   th e  s tate  o f   c h ar g e  ( So C )   s w i n g ,   th e  C - r ate,   th e  w aiti n g   p er io d s ,   an d   th e  So C  in   w aiti n g   p er io d s .   T h e  b atter ies   ar e  ch ar ac ter ized   b y   s ev er al  p ar a m eter s   s u c h   as  v o lta g e  an d   ca p ac it y .   T h e  v o ltag e  m ai n l y   d ep en d s   o n   th e  So C   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter y  cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   603   an d   th e  te m p er at u r e  o f   t h e  b atter y ,   w h ile  t h e  ca p ac it y   r ep r esen ts   t h e  a m o u n t  o f   ch ar g e  d eliv er ed   b y   t h e   b atter y   at  t h e  r ated   v o lta g e.   T h is   r elatio n s h ip   is   e x p lain ed   i n   ( 1 ) .     = .   ( 1 )     W h er e  k   is   th e  P eu k er t  ex p o n en t  ( t y p icall y   k   ϵ   {1 . 0 ,   1 . 3 }  as  s tated   in   [ 24 ] ,     is   th e  c ap ac ity ,     is   th e  d is ch ar g e   cu r r en t ,   an d     is   th e  ti m e  at  t h e  m i n i m u m   d i s ch ar g e.   T h e  b atter y   So C   is   d ef in ed   as  t h e   p er ce n tag e  o f   t h e  b atter y   ca p ac it y   av ai lab le  f o r   d is ch ar g e.   I t c an   b e   ex p r es s ed   as ( 2 ) .      =  0    ( 2 )     T h e  ca p ac ity     is   m ea s u r ed   in   am p er e - h o u r s   ( Ah ) ,   0   is   th e  b atter y   v o ltag e ,   an d     is   en er g y   o f   b atter y .   An o t h er   p ar a m eter   t h at   i s   also   i m p o r tan t   is   th e   d ep th   o f   d is c h ar g e   ( Do D) .   I t  is   d e f in ed   a s   t h e   p er ce n tag e  o f   t h e  b atter y   ca p ac it y   t h at  h a s   b ee n   d is c h ar g ed .      =  . −   .   ( 3 )     T h e  So C   a n d   Do D   s i g n if ican t l y   a f f ec t  b atter y   l if e,   alo n g   w i th   o t h er   f ac to r s   l ik e   o p er atin g   ti m e  a n d   te m p er atu r e.   So C   a n d   Do D  ar e  th e  p r im ar y   f ac to r s   d ete r m in in g   ca len d ar   an d   c y cle  ag in g   o f   b atter ies.   C alen d ar   ag i n g   r elate s   to   ca p ac it y   r ed u ctio n   o v er   ti m e,   w h il e  cy c le  ag i n g   i s   lin k ed   to   th e  f r eq u en c y   a n d   d ep th   o f   ch ar g e - d is c h ar g e  c y cle s   [ 25 ] .   B o th   ty p es  o f   ag i n g   ar e  i n ter r elate d   an d   cr u cial  f o r   u n d er s tan d in g   b atter y   d eter io r atio n .   I n   [ 2 6 ] ,   [ 2 7 ] ,   th e  au th o r s   g i v e  th e  b atter ie s   lo s e  ca p ac it y   o v er   ti m e  a n d   u s e .   T h e  ca p ac ity   f ad e   f o r   ca len d ar   an d   c y cle  a g in g ,   r esp ec tiv el y ,   is   g iv e n   as   ( 4 )   an d   ( 5 ) .     .  ( , ) = × × ×   ( 4 )     . (  , ) =  ×  × ×   ( 5 )     Th e  eq u atio n s   p ar a m et e r s   ar e   d ef in ed   as  f o llo w :    is   th e  ti m e  in   m o n th ,     is   t h e  te m p er atu r e   i n   Kelv i n ,   an d      is   th e  n u m b er   o f   c y cles.  T h e  r est  o f   p ar a m eter s   ar e  co ef f icien ts   f o r   a  lith i u m   ir o n   p h o s p h at e   ( LF P   o r   L iFeP O4 )   b atter y   ar e  as :  α t = 3 . 087 . 10 − 7 ,  α NC = 6 . 87 . 10 − 5 ,  β t = 0 . 05146 ,  β NC = 0 . 027 ,   an d   n = 0 . 5 .  R ec all  th at  t h e  m ain   o b j ec tiv e  h er e  is   to   esti m ate  t h e  lif e ti m e  o f   a  b atter y   b y   a  s u itab l e  m e th o d .   T h e  r ain f lo w - co u n ti n g   ( R F C )   alg o r ith m   is   a  u s ef u l  m eth o d   th e  esti m ate  t h e  b atter y   c y cles   n u m b er   [ 28 ] .   R FC   p r o ce s s es  ea ch   So C   c u r v e  to   r e tu r n   t h e  e x p er ien ce d   n u m b er   o f   c y cles  a t  d if f er en t  Do D.   C o m b i n i n g   r ai n f lo w   w it h   t h e  r u le  o f   P al m g r en   M i n er   [ 29 ] ,   [ 30 ] ,   th e  b atter y   d eg r ad atio n   d u r in g   a  g i v e n   ti m e  p er io d   is   ex p r ess ed     as   ( 6 ) .     ( % ) = ∑ (  ) (  )  = 100 ∑  = 1   ( 6 )     W h er e  D   is   th e   to tal  d a m a g e  t h at  is   w h e n   = 1 ,   th e  b atter y   m u s t  b e  r ep lace d .     is   th e   n u m b er   o f   c y cle s   r etu r n ed   b y   t h e  r ain f lo w   alg o r ith m   f o r   ea ch   a m p lit u d e ,   th e  Do D ,   w h ile  t h e  N m ax   is   t h e  n u m b e r   o f   c y cles  t h e   b atter y   ca n   e n d u r e  f o r   ea ch   g i v en   Do D .  A cc o r d in g   to   th e  c u r v e s   th at  g i v es  t h e  n u m b er   o f   c y cle s   v er s u s   t h e   Do D   p r o v id ed   b y   th e  d atas h ee t  o f   m an u f ac t u r er   f o r   th e  b atter y   VL 3 0 P   ce lls   t y p e  f r o m   S A FT   b atter ies   co n s id er ed   in   th i s   p ap er   an d   b ased   o n   [ 3 1 ] ,  th e  n u m b er   o f   c y cles  ( N ma x   is   r ea ch ed   i f   th e  c ap ac it y   d eg r ad atio n   attain s   3 0 %)  ca n   b e  ap p r o x i m ated   as ( 7 ) .      ( DoD ) = 3 . 10 7 ×  ( % ) − 1 . 825   ( 7 )     T h e  n u m b er   o f   c y cles  ca n   b e  ca lcu lated   u s i n g   t h e  cu r v e  p r o v id ed   b y   t h e  m an u f ac t u r er   o f   th e  V L 3 0 P   b atter y ,   as sh o w n   i n   ( 8 ) .      ( 80 % ) = ( % ) × 10000 100%   ( 8 )     B y   esti m ati n g   t h e  r e m ai n ed   c ap ac it y   o f   t h e  b atter y   at  a  p er ce n tag e   R C %,   it  w i ll  b e  p o s s i b le  to   d eter m i n e  t h e  en d   o f   lif e  o f   th e  b atter y   ( E O L )   in   y ea r s   as e x p lain ed   i n   ( 9 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g ,  Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   604   1 −  = × . × (  12 ) + [  ×  . ×  ] ×    ( 9 )     T h e  s o lu tio n   o f   ( 9 )   ca n   ex p ec t   th e  lif e ti m e  o f   th e  b atter y   in   y ea r s .   T h e  b atter y   li f eti m e  i s   ca lcu lated   b ased   o n   th e  s tep s   il lu s tr ated   in   A l g o r it h m   1 .     A l g o r ith m   1 .   B atter y   li f eti m e  esti m atio n   p r o ce s s   I n p u t:   -   SOC   v ec to r   ( ti m e  s er ies o f   s ta te  o f   ch ar g e)   I n itializatio n :   -   Set r e m ai n i n g   ca p ac it y : R C   ←   7 0 %   -   E s ti m a te  Nc y cl   ( DO D)   u s i n g   r ain f lo w   co u n tin g   ( R FC )   ap p lied   to   SOC   C o m p u tatio n   s tep s :   -   Use  e q u atio n   ( 6 )   to   co m p u te  t h e  d eg r ad atio n   p er ce n ta g e  ( D%)   -   R ep lace   D% in to   e q u atio n   ( 8 )   to   ca lcu late  th e  n u m b er   o f   c y c les   ( NC )   -   So lv e  e q u atio n   ( 9 )   to   d eter m in e  th e  b atter y   li f eti m e     2 . 3 .     C a pa ci t o r  f e a t ures   C ap ac ito r s   ar e  h ig h l y   v er s a til e  en er g y   s to r ag e  d ev ice s   w it h   ap p licatio n s   in   elec tr ic  v eh ic l es,  en er g y   h ar v e s tin g ,   an d   g r id   s tab iliza tio n ,   o f f er i n g   ad v an tag e s   li k e  h ig h   p o w er   d en s it y ,   lo n g   l if ec y cle,   an d   w id e  o p er atin g   te m p er atu r e   r an g e.   T h eir   k e y   c h ar ac ter is tic s   i n clu d e   n o m i n al  ca p ac ita n ce ,   w o r k i n g   v o lta g e,   to ler an ce ,   leak a g e  c u r r en t,   w o r k i n g   te m p er atu r e,   p o lar i za tio n ,   an d   eq u i v alen t  s er ie s   r esi s tan ce   [ 32 ] .   C ap ac ito r s   h a v e  th e  p o ten tial t o   r ep lace   b atter ies d u e  to   th eir   s u p er io r   p o w er   d en s it y ,   w h ich   s h o r ten s   c h ar g i n g   ti m e s   an d   lo n g er   l if e  c y cle  [ 33 ] .   T h ey   ar e  f o r g i v i n g   w h e n   o v er u s ed   a n d   en v ir o n m e n tall y   f r ien d l y ,   m a k i n g   th e m   id ea l  f o r   I o T   ap p licatio n s .   C ap ac ito r s   ca n   s er v e   as   i n te r m ed iate  s to r ag e   d ev ice s ,   p r o v id in g   p o w er   d u r i n g   b atter y   c h a n g e s   o r   o f f l in e  p er i o d s ,   an d   as  u n in ter r u p tib le  p o w er   s u p p lies   ( UP S)  in   e m er g e n cies.  A d d itio n al l y ,   h y b r id   ap p licatio n s   co m b in in g   ca p ac ito r s   w it h   b atter ies  c an   o p ti m ize  e n er g y   u s a g e  a n d   in c r ea s e  b atter y   lif esp a n .   T h e  eq u iv ale n t c ir cu i t o f   ca p ac ito r   is   s h o w n   i n   Fi g u r e  3.           Fig u r e  3.   E q u iv ale n t c ir cu it o f   ca p ac ito r       T h e  lif esp a n   o f   a  ca p ac ito r   is   in f lu e n ce d   b y   f ac to r s   s u ch   as  o p er atin g   v o ltag e   an d   te m p er atu r e  [ 34 ] ,   w it h   lea k ag e  r esi s ta n ce   ,   eq u iv a len t  s er ies  r esis tan ce    ,   an d   eq u iv ale n t  s er ie s   in d u cta n ce s      p lay in g   k e y   r o les.  T h e  d ielec t r ic  in   a  r ea l  ca p ac ito r   m u s t  h a v e  a  h ig h   li m ited   r esis ta n ce   t o   m i n i m ize  cu r r en t   f lo w   b et w ee n   t h e  p late s   w h e n   v o lta g e  i s   ap p lied .   L ea k a g e  r esis ta n ce   t y p icall y   r a n g e s   f r o m   1   MΩ   to   1 0 0   MΩ   an d   ca n   i m p ac t  ca p ac ito r   p er f o r m a n ce .   E x p er i m e n tal   test s   a n d   m an u f ac t u r er   d ata  ar e  es s e n tial   f o r   e s ti m ati n g   ca p ac ito r   lif esp an .   T h e  A r r h e n iu s   eq u atio n   is   a  k e y   r ef er e n ce   f o r   p r ed ictin g   ca p ac ito r   lif esp a n   [ 35 ] ,   w it h   ag in g   b ein g   i n f lu e n ce d   b y   o p er atin g   co n d itio n s   a n d   te m p er at u r e.     = × ×   ( 1 0 )     W h er e    is   th e  ab s o l u te  te m p er atu r e  in   ( Kel v e n ) ,     is   t h e  r ea cti o n   ti m e  f o r     in   ( ℎ ) ,     is   th e  p ar am eter   to   b e   d eter m in ed   ( ℎ ) ,   an d     is   th e  e n er g y   ac ti v atio n   in    .   W h er ea s     is   g iv e n   by   ( 1 1 ) .     = × ln ⁡ ( 1 2 ) 1 1 − 1 2   ( 1 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter y  cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   605   T h e  v alu e s   o f     is   cited   i n   [ 3 6 ] ,   w h ile  :  e m p ir ical  s a f et y   f ac t o r ,   d ef in ed   as:  I f   ⁡ 0 ⁡ = 105 ⁡ ℃   th e n   f o r   > 0 ⁡ ,   = 4 ,   an d   if   0 ⁡ = 105 ⁡ ℃ ,   th en   f o r   ⁡ < ⁡ 0 ,  = 2 ,   also   if   0 = 85 ⁡ ℃   th e n   = 2 .   I n   i n d u s tr y ,   th e  li f e  o f   elec tr o l y t ic  ca p ac ito r   is   g i v en   i n   ( 1 2 ) .     = 0 × 2 0 −  10   ( 1 2 )     W h er e    is   th e  li f e  o f   t h e  ca p ac ito r   at  th e  o p er atin g   te m p er at u r e     an d     is   th e  li f e  at  t h e  r ated   te m p er atu r e   .   T h is   m ea n s   t h at  f o r   ev er y   10 ⁡ ℃   in cr ea s e  in   o p er atin g   te m p er at u r e,   th e  lif e  o f   t h e  elec tr o l y ti c  ca p ac ito r   r ed u ce s   b y   h al f   [ 3 7 ] .   T h e  p r ed ictio n   o f   ca p ac ito r   ag in g   is   o f ten   b ased   o n   ex p er i m e n tal   ex tr ac ts   b ased   o n   f ail u r e  p h y s ics.  A cc o r d in g   t o   A r r h e n iu s '   la w ,   t h e  li f esp a n   o f   a  ca p ac ito r   is   i n f lu e n c ed   b y   t h e  a m b ie n t   te m p er atu r e,   th e  c u r r en t  p ass in g   t h r o u g h   it,  an d   th e  ap p lied   elec tr ical  v o ltag e .   C ap ac ito r   m a n u f ac tu r er s     o f f er ,   in   th eir   ca talo g u es,  a  f o r m u la  to   esti m ate  th e  li f es p an   o f   ca p ac ito r s   ( )   ac c o r d i n g   to   th e  v ar io u s   co n s tr ain ts   [ 3 8 ].     = 0 × × ×   ( 1 3 )     W ith   0   is   th e  p ar ticu lar   li f e  ( h o u r s )   i n   ex tr e m e  o p er atin g   co n d itio n s   ( m ax i m u m   allo w a b le  te m p er atu r e) .   W h ile  t h e  o th er   co ef f ic ien t s   ar e    is   t h e  te m p er at u r e  f ac to r   an d   ⁡ K T = 2 T 0 − T c 10   w it h   0   is   u p p er   ca teg o r y   te m p er atu r e.   T h e    is   th e  a m b i en t  te m p er at u r e  in   t h e  ap p lica tio n .     is   t h e  r ip p le  cu r r en t  f ac t o r   = ∆ 0 10   w it h   = 1 − ( 0 ) 2   an d   =  1 . 4 ,   w h er e     an d     ar e  r esp ec tiv el y   th e  r ip p le  cu r r en t  in   ap p licatio n s   a n d   th e   f r eq u en c y - n o r m alize d   r ip p le  c u r r en t,  0   is   th e  n o m i n al  r ip p le  c u r r en t  at  u p p er   ca teg o r y   te m p er atu r e,   an d   ∆T 0   is   c o r e  te m p er atu r e  i n cr ea s e  o f   elec tr o l y tic  ca p ac ito r s .     is   th e  v o ltag e  f ac to r   is   e x p r ess e d   b y   = ( 0 ) ,  w h er e  V 0   an d   V x   ar e  r e s p ec tiv el y   t h e  r ated   v o lta g e  a n d   a ctu al  o p er atin g   v o lta g e.   O n   t h e  o t h er   h a n d ,   t h e   ex p o n en t  n   ca n   v ar y   b et w ee n   1   an d   6 ,   alth o u g h   f o r   m o s t  d atash ee t s   cited   in   [ 3 8 ] ,  [ 3 9 ].   T h e  ex p o n en t  i s   g i v e n   b y   t h e  f o llo w in g   co n d itio n   0 . 5 ≤ 0 ≤ 0 . 8 → = 3 ⁡  ⁡ 0 . 8 ≤ 0 ≤ 1 → = 5   cit ed   in   [ 40 ].     2 . 4 .     E nerg y   s t o r a g e  m a na g e m e nt  s y s t e m   T h e  p r o p o s ed   s y s te m   ai m s   to   f in d   o p ti m al  ac tio n s   t h at  le a d   to   o p tim ize  d ata  tr an s m is s i o n   an d   th e  b atter y   lif e ti m e  as  w ell.   At  e ac h   ti m e  s lo t  d en o ted   as   n ,   t h e  s y s te m   d ec id es  ab o u t  t h e  s to r ag e  d esti n atio n   ( b atter y   o r   ca p ac ito r ) ,   th e  tr a n s m i s s io n   ( tr a n s m it  o r   n o t) ,   an d   th e  s o u r ce   o f   e n er g y   i f   it  d ec id es  to   tr an s m it .   F ig u r e  4   illu s tr ates t h e  to p o lo g y   o f   t h e  p r o p o s ed   s y s te m .     T h e  s et  o f   ac tio n s   i s   as  f o llo ws:   i)   ⁡ 0 ∈ { 0 , 1 }   is   th e  i n d icato r   o f   t h e  s to r ag e  in   th e  b atter y   f o r   0   =  1 ,   in   th e  ca p ac ito r   f o r   ⁡ 0   =  0   at  t h e  m o m en t  n ;   ii)  T h e  p o w er   s o u r ce   in d icato r   is   ⁡ 1 ∈ { 0 , 1 }   w h er e  ⁡ 1   =  1   in d icate s   p o w er   f r o m   th e  b atter y   an d   ⁡ 1   =  0   in d icate s   p o w er   f r o m   th e  ca p ac ito r ;  a n d   iii)  T h e  d ata   tr an s m is s io n   in d icato r   i s   ⁡ 2 ∈ { 0 , 1 }   in d i ca tes  t h e  p ac k et   is   d r o p p ed   if   ⁡ 2   =  0   o r   is   tr an s m itted   i f   ⁡ 2   =  1 .   P o w er i n g   t h e  s y s te m   w it h   a  b atter y   co m b i n ed   w ith   a  ca p ac ito r   d ir ec tly   in f l u e n ce s   th e   b atter y ’ s   li f esp a n ,   po ten tiall y   r ed u ci n g   t h e  n u m b er   o f   c y cle s   a n d   i n cr ea s i n g   t h e  q u a n ti t y   o f   d ata   t h at  ca n   b e  tr an s m i tted .   T h is   o p tim izatio n   i s   ill u s tr ated   in   F ig u r e  5 .           Fig u r e  4 .   S y n o p tic  e n er g y   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g ,  Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   606   ( a)     ( b )       Fig u r e  5.   C o m p ar is o n   o f   a  s y s te m   w it h   b atter y   o n l y   v s .   b atte r y   +  ca p ac ito r :  ( a)   d ata  tr an s m is s io n   co m p ar is o n   an d   ( b )   d ata  s en t c o m p ar is o n       I n   th e  f o llo w i n g ,   en er g y   o p tim izatio n   is   ad d r ess ed   th r o u g h   th e  in teg r atio n   o f   r ein f o r ce m e n t  lear n i n g .   T h e  ap p r o ac h   b eg in s   w i th   t h e  estab lis h m en t  o f   a  s y s te m   o p ti m izatio n   f r a m e w o r k ,   w h ic h   s er v es  as  a   f o u n d atio n   f o r   in telli g e n t  co n tr o l.  R ei n f o r ce m e n t  lear n i n g   is   t h en   le v er a g ed   to   en h an ce   th e  s y s te m ’ s   p er f o r m a n ce   a n d   ad ap tab ilit y .     2 . 4 . 1 .   O pti m iza t io n a nd   f o rm u la t io n  s y s t e m   T h e  m ai n   g o al  is   to   in cr ea s e  t h e  b atter y   lif et i m e .   It   also   ai m s   to   tr an s m i t  th e  w h o le  d ata  w ith o u t  lo s s   d u r in g   th e  r eq u ir ed   ti m e,   as ill u s tr ated   in   ( 1 4 ) .     ma x { } ∞ = 0 ⁡ l im → ∞ ∑ = 0   ( 1 4 )     W h er e  0   ≤   γ   <  1   is   t h e  p r o b ab ilit y   f ac to r   o f   t h e  tr a n s m it ter   to   ac co m p lis h   it s   o p er atio n   i n   t h e  s p ec i f ied   ti m e   s lo t.  I n   r ea l  ti m e  th e  s y s te m   c h ec k s   th e  b atter y   s ta te  B n ,   th e  ca p ac ito r   C n ,   th e  s ize  o f   d ata  D n ,   an d   th e  ch an n el   s tate.   T h e  s y s te m   w ill  e s ti m at e  th e  a m o u n t   o f   t h e  r eq u ir ed   en er g y   to   tr a n s m it   th e   in co m i n g   d ata,   in   o r d er   to   s elec t th e  u s ed   eq u ip m en t to   p o w er   th e  tr a n s m itter ,   t h is   e n er g y   n o ted     m u s t  m ee t t h e  f o llo w i n g   co n d itio n s :     0 . ≤ 1 + ( 1 − 1 )   ( 1 5 )     0 ≤ ≤   ( 1 6 )     0 ≤ ≤    ( 1 7 )     Du r in g   ea ch   p h ase ,   t h e  tr an s m itter   n ee d s   E n T   am o u n t  o f   p o w er   t o   tr an s m it  d ata  f r o m   B n   o r   C n   ( in   th e  b atter y   o r   th e  ca p ac ito r ) .   I n   t h e  n e x t  ep o ch ,   th e  d e v ices  r e ce iv e  B n+ 1   o r   C n+ 1  a m o u n t  o f   en er g y .   T h u s ,   th is   en er g y   at  ea ch   ep o ch   ca n   b e  u p d ated   ( 1 8 )   an d   ( 1 9 ) .     + 1 = { − 1 2 + 0 , }   ( 1 8 )     + 1 = { − ( 1 − 1 ) 2 + ( 1 − 0 ) ;  }   ( 1 9 )     T h e  p r o b lem   d e f in ed   ab o v e  i s   NP - h ar d   s i n ce   v ar iab le s ⁡ X n 0 ,   X n 1 ,   an d   X n 2   ar e  b in ar y .   B ec au s e  t h e   r ef er en ce d   p r o b lem   h as  a f f i n e  o b j ec tiv e  an d   co n s tr ain ed   f u n c tio n s ,   it   is   co n s id er ed   as  m i x ed   i n te g er   li n ea r   p r o g r a m   ( MI L P ) .   B r an ch   an d   B o u n d   is   a  co m m o n l y   u s ed   alg o r ith m   t o   s o lv e  th is   k i n d   o f   p r o b lem s   [ 4 1 ] .   Ho w e v er ,   to   u s e  t h is   al g o r ith m ,   all  t h e  f u t u r e  d ata,   ch an n el  s tate  a n d   en er g y   ar r iv als  m u s t  b e  k n o wn   in   ad v a n ce .   I n   t h e  liter atu r e  lo t  o f   w o r k s   w er e  p r o p o s ed   to   s o lv e  MI L P   b ased   o n   m ac h i n e  lear n i n g   an d   r ein f o r ce m en t  lear n i n g   i s   a  p o w er f u l so lu tio n   to   d ea l  w it h   s u ch   t h i s   s t y le  o f   p r o b le m   [ 4 2 ].     2 . 4 . 2 .   Reinf o rc e m ent   lea rnin g   R ein f o r ce m e n t  lear n i n g   ( R L )   is   p r o p o s ed   as  a  s o l u tio n   f o r   en er g y   o p ti m izatio n   in   p o i nt - to - p o in t   w ir ele s s   co m m u n icatio n .   T h e  m et h o d   in v o lv e s   an   e n er g y   m an a g e m e n t  s y s te m   th at   d y n a m icall y   o p ti m izes   p o w er   f lo w   b et w ee n   b atter ies   an d   ca p ac ito r s   in   I o T   co m m u n ica tio n   s y s te m s .   T h is   ap p r o ac h   lear n s   o p ti m al   d ec is io n s   o v er   ti m e  w i th o u t p r io r   k n o w led g e   o f   e n er g y   d e m a n d s ,   u s i n g   o n l y   e n v ir o n m e n tal   s tate  o b s er v at io n s   ( e. g . ,   b atter y   c y cle s   an d   li f eti m e) .   B asicall y ,   R L   s y s te m   i s   m o d eled   b y   th e  i n ter ac tio n   b e t w ee n   en v ir o n m e n t   an d   th e  m o d el  co m p o n e n t s   as  illu s tr ated   in   Fi g u r e  6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter y  cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   607       Fig u r e  6 .   R ein f o r ce m e n t  lear n in g   a n d   in ter ac t io n   m o d el       Q - lear n in g   i s   a  v alu e   b ased   l ea r n in g   al g o r ith m   i n   r ei n f o r ce m en t  lear n i n g .   T h e  m ai n   o b j ec tiv e  o f   r ein f o r ce m en t  lear n in g   is   to   d eter m i n e  th e  b est  Q - v al u e  f o r   ea ch   s tate  u s in g   a  lear n i n g   r a te  co ef f icie n t  α n   in   th e  n t h   lear n i n g   iter atio n   a n d   a  d is co u n t  f ac to r   0   ⩽   γ  ⩽   1 .   T h is   ap p r o ac h   en s u r es  t h at  t h e  tr an s m itter   h a s   a   p r o b a b ilit y   o f   1   −  γ   to   o p er ate  s u cc e s s f u ll y   i n   ea ch   t i m e  s lo t  T s .     ( , ) = ( 1 − ) − 1 ( , ) + [  ( , ) +   ∈ − 1 ( , ) ]   ( 2 0 )     T h e  u s ed   q - lear n i n g   n o tatio n s   ar e:   -   T h e  s tate  s et  S<B n ,   H n ,   C n ,   D n >,   w h er e  B n   r ep r esen ts   t h e  b atter y   en er g y   at  t h e  m o m en t  n ,   H n   is   th e  s tate  o f   ch an n e l,  C n   r ep r esen ts   t h e  ca p ac ito r   en er g y   at  t h e  m o m e n t  n ,   an d   D n   a m o u n t  o f   co llected   d ata   in   th e  ti m e   p er io d   n .    -   Set o f   ac tio n s   A ={ < X n 0 , X n 1 , X n 2 > } .   -   T h e  r ew ar d   f u n ctio n   i s   ex p lai n ed   b y   th e  f o llo w i n g   f u n ct io n :  R t ( S n , S n + 1 ) = X n D n .   A l g o r ith m   2   r ep r esen ts   t h e  p s e u d o - co d e   o f   th e  Q - lear n i n g   al g o r ith m .     A l g o r ith m   2 . Q - lear n i n g   al g o r ith m   I n itializatio n   -   Fo r   ea ch   s tate  S i   ∈   S   an d   ea c h   ac tio n   x j   ∈   A ,   d o :   Q( S i , x j )   ←  0   -   E v alu a te  th e  i n itial  s tate  S i   ∈   S   L ea r n i n g   p r o ce s s   W h ile   th e  m a x i m u m   n u m b er   o f   iter atio n s   is   n o t r ea ch ed ,   do :   -   C h o o s e  a n   ac tio n   x j   ∈   A   u s i n g   th e  ε - g r ee d y   p o lic y   b ased   o n   t h e  cu r r en t Q - v al u es.   -   E x ec u te  ac tio n   x j   a n d   o b s er v e:   –   T h e   i m m ed iate  r e w ar d   R t   –   T h e  n ex t  s tate  S′   -   Up d ate  th e  Q - v al u e  u s in g   t h e  Q - lear n in g   u p d ate  r u le :   Q t+ 1 (S i , x j )   ←  Q( S i , x j )   +  α   [ R t   +  γ   m a x x, J   Q t ( S′ ,   x ′ j )   −  Q( S i , x j )]   -   Set th e  c u r r en t sta te:  S i   ←  S′   E n d   w h ile     T h e  Q - lear n i n g   al g o r ith m   d et er m in e s   t h e  o p ti m a l  s tate   b y   e s ti m ati n g   th e  n e x t  Q - v alu e,   Q n+ 1  ( Si,   x i) .   T h is   esti m atio n   i s   ac h iev ed   b y   co m b i n in g   t h e  p r ev io u s   est i m ate,   Q n - 1   ( Si,   x i) ,   w it h   th e  esti m ated   ex p ec ted   v alu e  o f   t h e  b est  ac tio n   at  th e  s u b s eq u e n t  s tate  S n +1 .   Du r in g   e ac h   ti m e  s lo t  ( ) ,   th e  alg o r ith m   r ef i n e s   its   esti m ates a cc o r d in g   to   th e  f o ll o w i n g   s tep s :   -   No tices th e  c u r r en t sta te  S n =S j  ϵ   S .   -   Selects a n d   ex ec u tes an   ac t io n   X n =x i   ϵ   A .   -   Ob s er v es t h e  n e x t s tate  an d   th e  co r r esp o n d in g   r e w ar d ,   th e n   u p d ates its   es ti m ate  o f   Q  u s i n g   ( 2 0 ) .       3.   RE SU L T S  AND   D I SCU SS I O N   T h e  s i m u latio n   a n al y s is   o f   t h e   p r o p o s ed   m et h o d   is   p r esen te d   in   th is   s ec tio n .   T h e  p ar am et er s   u s ed   in   th is   w o r k   ar e  as   f o llo w s :  T h e  s y s te m   m o d el  h as   a  m ax i m u m   en er g y   ca p ac it y   o f   b atter y   t h at  i s   lo ca ted   in   B m a x   =  {2 0 .   2 . 5 10 −5 ,   5 0 .   2 . 5 10 −5 , 1 0 0 .   2 . 5 10 −5 } J .   T h e  en er g y   lev e l  in   th e  b atter y   is   B n   =  {0 ,   B m a x }.   T h e  p ac k et  s izes  ar e  D  =  {3 0 0 ,   6 0 0 }  b its   w i th   tr an s itio n   s tate  p r o b ab ilit ies  p d   ( d 1 ,   d 1 )   =   p d   ( d 2 ,   d 2 )   =  0 . 9 9   an d   th e  c h an n el  s tate  Hn   =   {0 . 0 1   0 . 0 2 }.   T h e  en er g y   h ar v es te d   in   t i m e - s lo tted   T s   =  1 0 0   s ,   w h ic h   is   w o r th   is     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8792   I n t J   A p p l P o w er   E n g ,  Vo l.  14 ,   No .   3 ,   Sep tem b er   20 25 :   60 0 - 61 2   608   E n T   =  0 . 5 ×1 0 − 5   J .   T h e  n o is e  p o w er   d en s it y   i s   N0   =  −1 6 7   d B m /Hz,   t h e  tr a n s m it  ti m e  is   Δ T x   =  0 . 0 0 5   s .   T h e  ca p ac ito r   ca p ac ity   r an g e s   f r o m   0   to   2 4 0   µF.   T h e  Q - lear n i n g   p ar a m eter s   ar e:  th e  lear n i n g   r ate  f i x ed   at  α   =  0 . 8 5 ,   th e  ex p lo r atio n   p r o b ab ili t y   is   ε  =  0 . 1 ,   an d   th e  d is co u n t  f a cto r   γ   =  0 . 9 9 .   Fig u r e  7   d ep ic ts   th e  e x p ec ted   tr an s m itted   d ata  b y   t h e  s y s te m   as  a  f u n ct io n   o f   th e  ca p ac it o r   ca p ac ity   at  d if f er en t  te m p er atu r e  v al u es.  Desp ite  t h e  te m p er atu r e  p ar a m eter   d ir ec tl y   i n f l u en ci n g   th e  d eg r ad atio n   o f   b atter y   ca p ac it y ,   h o w e v er ,   t h e   p r o p o s ed   m e th o d   d e m o n s tr at es  th at   th e  q u an tit y   o f   tr a n s m i tted   d ata  in cr ea s es   w it h   t h e  ca p ac it y   o f   t h e  ca p a cito r .   No tab ly ,   b e y o n d   a  ce r tain   ca p ac it y   v al u e,   t h e  d ata  tr a n s m i s s io n   b ec o m es   al m o s t li n ea r .     Fig u r e  8   illu s tr ates  th e  i n cr ea s e  in   b atter y   ca p ac it y   a s   a  f u n ctio n   o f   ca p ac ito r   ca p ac it y   a t  d if f er e n t  te m p er atu r e  v al u es,  d e m o n s tr atin g   t h e  ef f ec ti v e n es s   o f   t h e  p r o p o s ed   m o d el.   T h e  b atter y ’ s   li f eti m e  i n cr ea s es   lin ea r l y   b ef o r e  s tab ilizi n g   w it h   a  s lig h t  a u g m e n tat io n .   T h is   in d icate s   th at   th e  m et h o d   u s ed   in   t h is   s y s te m   o p tim izes  th e   b atter y ’ s   li f esp a n   b y   co m p ar i n g   it  w it h   o th er   s o lu tio n s   in v o lv in g   o n l y   t h e  b atter y ,   w it h o u t  t h e  in cl u s io n   o f   a  ca p ac ito r   o r   th e  r ein f o r ce m en t le ar n i n g   al g o r it h m   m e n tio n ed   ea r lier .         ( a)       ( b )       ( c)       ( d )         Fig u r e  7 .   T h e  am o u n t o f   d ata  t r an s m itted   w it h   th e  p r o p o s ed   m et h o d   at  d if f er e n t te m p er at u r e  v alu e s :    ( a)   2 0   °C ,   ( b )   2 5   °C ,   ( c)   3 5   °C ,   an d   ( d )   4 5   °C   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A p p l P o w er   E n g   I SS N:   2252 - 8792       B a tter y  cy cle  life a n d   th r o u g h p u t o p timiz a tio n   in   w ir eless   co mmu n ica tio n   s ystem  … ( Oma r   E n a s s ir i )   609   ( a)     ( b )     ( c )     ( d )       Fig u r e   8 .   T h e  lif eti m e  o f   th e  b atter y   w it h   th e  p r o p o s ed   m e th o d   f o r   d if f er en t te m p er atu r e  v alu es,  i n   f u n ctio n   th e  ca p ac it y   o f   th e  ca p ac ito r :  ( a)   2 0   °C ,   ( b )   2 5   °C ,   ( c)   3 5   °C ,   an d   ( d )   4 5   °C       Ou r   n u m er ical  r es u lts   h av e  ill u s tr ated   th e  r elev a n ce   o f   th e  l ea r n in g   th eo r etic  ap p r o ac h   f o r   p r ac tical   s ce n ar io s .   T h e  p r o p o s ed   m o d el  lead s   to   an   i m p r o v e m en t   i n   t h e  q u a n tit y   o f   d ata  tr a n s m itted   w ith o u t  b ein g   in f lu e n ce d   b y   te m p er atu r e.   T h is   m e th o d   e n h a n ce s   t h e  e f f e ctiv e n ess   o f   t h e  co m m u n icati o n   s y s te m   eq u ip p ed   b y   a  d ev ice  o f   e n er g y   h ar v est in g   an d   s to r es  it s   en er g y   in   a  b atter y   o r   a  ca p ac ito r ,   alo n g s i d e  a  r ein f o r ce m en t   lear n in g   al g o r ith m .   T h is   ad ap tati o n   o f   tr an s m itted   d ata  s u r p a s s es t h e  p er f o r m a n ce   o f   t h e  p r ev io u s   s y s te m s .   As   f o r   th e   b atter y - ca p ac ito r   co m b in atio n   f o r   en er g y   s to r ag e,   th is   E SM S  h a v e  ex p an d ed   th e   b atter y   li f esp a n   b y   r ed u cin g   t h e  c h ar g e  d i s ch ar g e   c y cle s .   U n li k e  t h e  ap p r o ac h   p r esen ted   in   [ 9 ] ,   w h ic h   f o cu s es  o n   r ed u c in g   d ata  tr an s m is s io n   to   en h an ce   en er g y   e f f ic ien c y ,   o u r   m et h o d   in cr ea s es  d ata  tr a n s m is s io n   th r o u g h   th e  u ti lizatio n   o f   a  h y b r id   s to r ag e  s y s te m .   A d d itio n all y ,   o u r   o n lin e   o p ti m izatio n   m o d el  d e m o n s tr ates   s u p er io r   p er f o r m an c e   co m p ar ed   t o   o f f li n e  r e g r ess io n   al g o r ith m s ,   p ar tic u lar l y   i n   d y n a m ic  e n v ir o n m en t s   w h er e   p r e - p r o ce s s in g   i s   n ec es s ar y   [ 1 2 ] .   Of f lin e   m o d e ls   o f te n   r eq u ir e  u p d ates  w h e n   en v ir o n m e n tal  co n d itio n s   c h an g e,   w h er ea s   o u r   ap p r o ac h   ad ap ts   to   th e  en v ir o n m en t .    T h e  p r o p o s ed   s y s te m   e f f ec ti v el y   m ee ts   it s   o b j ec tiv es  b y   o p ti m izi n g   e n er g y   e f f icie n c y   th r o u g h   t w o   k e y   s tr ateg ie s .   First,  it  e x te n d s   th e  b atter y   l if e s p an   b y   i m p le m e n ti n g   ad v an ce d   en er g y   m an a g e m en t   tech n iq u es,   w h ich   r ed u ce   t h e  r ate  o f   b atter y   d eg r ad atio n   an d   i m p r o v e  o v er al l  lo n g e v it y .   Seco n d ,   it  e n h an ce s   d ata  tr an s m i s s io n   ca p ab ilit ies  b y   le v er ag i n g   a  h y b r id   s to r ag e  s y s te m   t h at  b alan ce s   p er f o r m a n ce   an d   ef f icien c y .   T h is   d u al  ap p r o ac h   n o t  o n l y   en s u r es  t h at  en er g y   co n s u m p tio n   is   m i n i m ized   b u t   also   th at  a  g r ea ter   v o lu m e  o f   d ata  ca n   b e  t r an s m itted   w it h o u t  co m p r o m is i n g   s y s te m   p er f o r m a n ce .   As  a   r esu lt,  th e  s y s te m   ac h iev e s   a  r o b u s t  b alan ce   b etw ee n   m ai n tai n i n g   h i g h   en er g y   e f f icie n c y   a n d   m ee ti n g   d ata   tr an s m is s io n   n ee d s ,   p r o v id in g   a  s u s ta in ab le  s o l u tio n   th at  ad ap ts   to   v ar y i n g   o p er atio n al  d e m a n d s.       4.   CO NCLU SI O N   I n   th i s   p ap er ,   an   en er g y   h ar v e s tin g   s y s te m   is   p r o p o s ed   t o   ex p lo r e   th e  co m b in atio n   o f   ca p a cito r s   an d   b atter ies  to   s to r e  h ar v es ted   en er g y   an d   t h en   p o w er   a  w ir eless   tr an s m itter   n o d e .  T h e  r ain f lo w   a lg o r it h m   esti m ate s   b atter y   li f e ,  w h ile  t he   Q - lear n i n g   al g o r ith m   d eter m i n e s   th e  o p ti m al  s tr ateg y ,   to   tr an s m it  d ata  o r   to   s to r e  g at h er ed   en er g y   i n   a   n o d e  b ased   o n   t h e   a v ailab le   en er g y ,   b atter y   s tate ,   a n d   t h e  c h an n el   in f o r m a tio n   d u r in g   t h e  d esi g n a ted   tr an s m i s s io n   p er io d .   Ou r   r es u lt s   d e m o n s tr ate  th e  ap p licab ilit y   o f   t h e  ap p r o ac h   p r o p o s ed   to   ex ten d   th e  b atter y   li f esp a n   b y   i m p le m en t in g   ad v a n ce d   en er g y   m an a g e m en t  tech n iq u e s ,   w h ich   r ed u ce   t h e   r ate  o f   b atter y   d eg r ad atio n   a n d   i m p r o v e  o v er all  lo n g e v it y   an d   en h a n ce s   d ata  tr an s m is s io n   ca p ab ilit ies  b y   lev er ag i n g   a  h y b r id   s to r ag e  s y s te m   th at   b alan ce s   p er f o r m a n ce   a n d   ef f icie n c y .   T h is   d u al   ap p r o ac h   n o t  o n l y   en s u r es  t h at  e n er g y   u s ag e   is   o p tim ized   b u t  al s o   t h at  a  g r e ater   v o lu m e  o f   d ata   ca n   b e  t r an s m itted   w i th o u t   co m p r o m is i n g   s y s te m   p er f o r m an ce .   F u t u r e  s t u d ies  co u ld   f o llo w   u p   o n   w o r k   d o n e  w it h   r ea l - w o r ld   d ep lo y m en t s   to   v al id ate  t h e   th eo r etica l   m o d els   an d   o p ti m izatio n   al g o r ith m s   p r o p o s ed   u n d er   d i f f er en t   en v ir o n m e n tal   an d   o p er atio n al  co n d i tio n s .   I n   ad d itio n ,   m ac h in e   lear n i n g   m o d els  p o s s ib l y   tr ain ed   o n   o p er atio n al  d ata  co u ld   p r ed ic t  en er g y   a v ailab ilit y ,   allo w i n g   tr an s m i s s io n   s ch ed u le  o p tim izatio n   to   b ec o m e   m o r e  d y n a m ic   an d   p o ten t iall y   i m p r o v i n g   s y s te m   p er f o r m an ce .   A l s o ,   ex a m i n i n g   h o w   e n e r g y   h ar v e s ti n g   an d   Evaluation Warning : The document was created with Spire.PDF for Python.