I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 5 ,   N o .   2 J un e   20 2 6 ,   pp.   623 ~ 633   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 5 i 2 . pp 62 3 - 633             623       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   D e e p   le ar n in g - b ase d  op t i m i z a t io n  t e c h n iq u e s f or  n e t w or k   li f e t im e  e n h a n c e m e n t  i n  w ir e l e ss s e n sor  n e t w o r k s       Abh ay  R agh u n a t h   Ga id h an i 1 ,   Am ol   D.   P ot gan t war 2   1 D e pa r tm e nt   of  C o mpu te r  E ngi n e e r in g, M E T  I ns ti tu t e   of  E ngi n e e r in g, S a v it r ib a P hul e  P un e  U ni v e r s it y , N a s hi k, I ndi a     2 D e pa r tm e nt   of  C o mpu te r  E ngi n e e r in g,  S a ndi I ns ti tu te   of   T e c hno l o g y  a nd R e s e a r c h C e nt e r   A f f il ia te t o  S a v it r ib a P hul e  P un e  U ni ve r s it y  ( S P P U) N a s hi k,  I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve No v   2,   2024   R e vi s e J u l   22,   2025   A c c e pt e De c   14,   2025       W i r e l e s s   s en s o r   n e t w o rk s   ( W SN s ar i n t eg ral   t o   ap p l i c at i o n s   l i k e n v i r o n men t al   m o n i t o r i n g ,   h e a l t h c ar e ,   an d   s u rv e i l l a n ce ,   y e t   t h ey   fa ce   t h c ri t i c a l   c h a l l en g o l i mi t ed   e n e r g y   r e s o u r ce s ,   w h i c h   s h o rt e n s   t h e   n e t w o r k 's   o p e rat i o n al   l i f e s p an .   A d d r e s s i n g   t h i s   i s s u e ,   t h i s   p ap e e x p l o r e s   d ee p   l e ar n i n g - b as ed   o p t i mi zat i o n   t ec h n i q u e s   as   s o l u t i o n   t o   e n h an ce  n e t w o rk   l i f e t i me   b y   e ffi ci e n t l y   m a n ag i n g   en e rg y   co n s u m p t i o n .   W p re s e n t   a   d e t ai l e d   re v i ew   o f   t h e   e x i s t i n g   ch al l e n g e s   i n   W SN s   a n d   e x am i n e   v ari o u s   d ee p   l e ar n i n g   me t h o d s ,   i n c l u d i n g   n e u ra l   n e t w o rk s ,   d ee p   r e i n fo r ceme n t   l e arn i n g   (D RL ) ,   a n d   g en e rat i v e   a d v e rs ari a l   n e t w o rk s ,   s p ec i f i c al l y   t ai l o r e d   f o W S N   o p t i mi zat i o n .   In   t h i s   s t u d y ,   w i n t ro d u ce   a   n ew   r ei n f o r ceme n t   l e arn i n g   (R L )   b as e d   o p t i m i zat i o n   al g o r i t h m   t o   p ro l o n g   t h n e t w o rk   l i f e t i me .   T h e   p ro p o s e d   t e ch n i q u e   i s   i n t en d ed   t o   s m art l y   d i s t ri b u t t h e   en e rg y   c o n s u m p t i o n   a m o n g   t h e   n e t w o r k   el eme n t s ,   l e a d i n g   t o   d e s i rab l e   p e rf o r m an ce   w i t h   r e g ar d   t o   t h e   b at t e r y   l i f e t i me.   T h e   p ap e r   en d s   w i t h   s u mm ar y   o f   d e s i g n   as p ec t s   an d   f u t u re   re s e ar ch   d i r ec t i o n s   t o   i m p ro v e   t h e   W SN   p e rfo r m a n ce   f u rt h e b as ed   o n   d ee p   l e ar n i n g .   K e y w o r ds :   De e l e a r ni ng   Ne t w o r k   l if e t i m e   Opt i mi z a t i o n   t e c hni que s   P e r f o r m a n c e   e v a l ua t i o n   W i r e l e s s   s e ns o r   n e t w o r ks   Th i s   i s   a n   o p en - a cces s   a r t i cl u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   Abh a y   R a g h u na t h   Ga i d h a ni   De pa r t m e n t   o f   C o m put e r   E n g i n e e r i n g,   M E T   I n s t i t ut e   o f   E n g i n e e r i n g   S a vi t r i ba i   P h u l e   P un e   U ni ve r s i t y   Na s hi k - 422002,   I n d i a   E m a i l a bh a y . ga i d h a ni 2 @ g m a il . c o m       1.   I NT RODU C T I ON   W i r e l e s s   s e n s o r   n e t wor ks   ( W S Ns )   c o n s i s t   o f   a   n u m be r   o f   d i s t r i b ut e n o de s ,   whi c h   ga t h e r   da t a   f r o m   t h e   e nvi r o nm e n t   t h e y   a r e   de p l o y e i n ,   a n t h e n   s e n t h e   da t a   wi r e l e s s ly .   S uc h   ne t wor ks   h a v e   pr o g r e s s i ve l y   b e c o m e   c r i t i c a l   i n   a pp li c a t i o ns   s uc h   a s   e nvi r o nm e n t a l   m o ni t o r i n g,   h e a l t h c a r e ,   i n du s t r y   a ut o m a t i o n   a n s m a r c i t i e s   [ 1] .   W h a t e ve r   i t   i s ,   b ut   t h e   s y s t e m   e n e r g y   i s   a l wa y s   a   l im i t e r e s o ur c e ,   e s pe c i a ll y   f o r   W S Ns   in   w hi c t h e   r e s o u r c e s   a r e   s c a r c e   a s   t h e   s e n s o r   n o de s   t y p i c a ll y   o pe r a t e   un de r   l im i t e b a t t e r y   po we r   wi t h   t h e   ne e to  b e   o pe r a t i o n a l   f o r   a n   e x t e n de t i m e   [ 2] .   T o   c i r c u m v e n t   t h e s e   c o n s t r a i n t s ,   s e v e r a l   o pt i mi z a t i o n   s t r a t e g i e s   we r e   pr o p o s e i n   t e r m s   o f   m a n a g i ng  t h e   e ne r g y   r e s e r v e s   o f   s e ns o r   n o de s   a n pr o l o n g i ng  n e t wo r k   l i f e t i m e .   R e c e n t   pr o g r e s s   i n   t h e   f i e l o f   m a c hi ne   l e a r ni ng,   e s pe c i a ll y   de e l e a r ni ng,   h a s   s h o wn   gr e a t   p r o m i s e s   to  t a m e   t h e   c o m p l e xi t i e s   o f   W S Ns   m a n a g e m e n t .   De e l e a r ni ng  a l go r i t hm s   c a n   b e   us e to  e f f e c t i v e ly   a d j us t   v a r i o us   n e t wo r k   pa r a m e t e r s   a n e nh a n c e   e ne r g y   e f f i c i e n c y   a n ne t wor l i f e t i m e   [ 3] .   I n   t hi s   pa pe r ,   w e   s ur v e e xi s t i n de e l e a r ni ng - b a s e o p t i mi z a t i o n   a ppr o a c h e s   to wa r d   W S Ns ,   pa r t i c u l a r ly   t e x t e n n e t w o r k   li f e t i m e .   T h e   m o s pr o m i ne n t   c h a l l e n ge   i n   W S Ns   i s   t h e   s c a r c i t y   o f   e n e r g y   i n   s e ns o r   n o de s   t h a a r e   ge n e r a l ly   de p l o y e d   i n   e nvi r o nm e n t s   t h a t   a r e   n ot   c o s t   e f f e c t i v e   f o r   m a n ua ll y   r e p l a c i ng  o r   r e c h a r g i n b a t t e r i e s .   C o nv e n t i o n a o p t i mi z a t i o n   a ppr o a c h e s   a r e   n o t   a bl e   t f u ll y   c o ns i de r   t h e   c o m p l e x   r e l a t i o ns hi be t we e n   ne t wor pa r a m e t e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   623 - 633   624   a n e n e r g y   c o n s u m pt i o n .   I t   m a y   l e a t i n e f f i c i e nt   e n e r g y   c o n s u m pt i o n ,   pr e - m a t ur e   n e t wor r e c o nf igur a t i o n   a n de gr a de o v e r a l l   pe r f o r m a n c e   [ 4] .   A c c o r di n g ly ,   t h e   de v e l o p m e n t   o f   m o r e   e f f e c t i ve   t e c h ni que s   f o r   e n e r g y   c o n s u m pt i o n   m a n a ge m e n t   i s   a n   o pe n   pr o bl e m .   T s o l v e   t h e s e   pr o bl e m s ,   we   a ppl y   t h e   de e l e a r ni ng  t e c h ni que s ,   e s pe c i a l ly   t h e   r e i nf o r c e m e n t   l e a r ni n ( RL )   i n   e n e r gy   c o n s um p t i o n   op t i m i z a t i o n   i n   W S Ns .   S o,   th r ou gh   t h e   a ppl i c a t i o n   o f   R L - b a s e m o de l s s e n s o r   n o de s   c a n   a da pt   i t s   a c t i o n s   d y na mi c a ll y   o n   t h e   f ly   a c c o r di n to   r e a l - t i m e   s t a t e   o f   t h e   n e t wo r k   by   l e a r ni ng  i n t o   t h e   e nvi r o nm e n t   t t a ke   t h e   a c t i o n   a s   e n e r g y   s a vi ng  a s   po s s i bl e .   T h e   s o l ut i o n   n o t   o nl e x t e n ds   n e t wo r k   w o r ki n l e n gt h   b ut   a l s o   s t r e n gt h e n s   t h e   da t a   de l i ve r y   r a t i o   a c hi e v e by   u nif o r m ly   d i s t r i b ut i ng  e n e r g y   c o n s u m pt i o n   i n   t h e   n e t wo r k .   T hi s   pa pe r   a l s o   pr e s e n t s   de s i g n   i s s u e s   f o r   t h e   de p l o y m e n t   o f   s uc h   m o de l s   in  W S N s   w i t h   l im i t e r e s o ur c e s .   T h e   n o v e l t y   o f   t hi s   a ppr o a c h   c o m e s   f r o m   i t s   a da p t a t i o n   to  t h e   i n c r e a s i ng ly   c h a n g i ng  n e t wo r k   c o n di t i o ns ,   wh e r e   R L   i s   a pp l ied  to  o p t i mi z e   t h e   n e t wo r k   m a n a g e m e n t   m e c h a ni s m   a n d   n e t wo r k   r o u t i n pr oto c o l s .   T hi s   de e l e a r ni ng  i nf l ue n c e o p t i mi z a t i o n   a r c hi t e c t ur e   h a s   t h e   c a pa bil i t y   o f   pr o l o n g i n t h e   l if e   o f   W S Ns   s i g nif i c a n t l y ,   i n   o r de r   to   ke e pa c e   wi t h   pr a c t i c a l   a pp li c a t i o n s   [ 5 ] - [ 10] .   I n   t h e   pa pe r ,   t h e   a u t h o r s   pr o p o s e   a   n o v e l   de e l e a r ni ng - b a s e R L   m o de l   a s   a n   a dv a nc e e n e r g y   o p t i mi z a t i o n   a l go r i t hm   i W S Ns   c o m pa r e t o   c l a s s i c a l   m e t h o ds .   R L   i s   s pe c if i c a ll y   s u i t a bl e   f o r   t h e   d y n a mi c   a n u n k n o wn   c h a r a c t e r i s t i c s   o f   W S Ns   s i nc e   ne n o de s   a r e   a dde o r   e xi s t i n n o de s   f a il ,   l e a d i n t c o n t i n uo us   v a r i a t i o ns   i n   e n e r g y   l e ve l s ,   to p o l o gy ,   a n t r a f f i c .   R L   l e a r ns   o nl i ne   f r o m   a ge n t   i n t e r a c t i o n   unli ke   s t a t i c   o p t i mi z a t i o n   m e t h o ds ,   pr o v i d i ng  de c i s io n s   f o r   e n e r g y - e f f i c i e n t   o pe r a t i o n   i n   t h e   l o n t e r m .   De c e n t r a l i z a t i o n   e n a bl e s   n o de s   to  m a ke   i nde pe n de n t   c h o i c e s   a n r e duc e s   c o m put a t i o n a l   o ve r ha n a n d   n e t wo r ke d   i t .   R L   a l s o   e n s ur e   b a l a n c e e n e r g y   us e   a m o n n o de s ,   l e a d i n to  i n c r e a s e n e t wo r k’ s   l if e t i m e ,   a n s uppo r t   f o r   m u l t i - o bj e c t i v e   o p t i mi z a t i o n   ( e n e r g y ,   l a t e n c y   a n r e l i a bil i t y   c a n   b e   c o m bi ne d) .   T hi s   e f f i c i e nc y   a n a da pt a bil i t y   a r e   pa r t i c u l a r l y   b e n e f i c i a l   i r e s o ur c e - c o n s t r a i n e d,   l a r ge - s c a l e   W S N s .   T h e   m a j o r   c o n t r i b ut i o n s   o f   t hi s   pa pe r   a r e   a s   f o l l o w s :   -   W e   pr o vi d e   a n   e x t e n s i ve   r e vi e o f   r e c e n t   de e l e a r ni ng - ba s e o pt i m i z a t i o n   t e c hni que s   pr o p o s e f r o m   2020  to   2024 ,   wi t h   a   pa r t i c u l a r   f o c us   o n   W S Ns .   -   T h e   pa pe r   pr o p o s e s   a   n o v e l   R L - b a s e r o u t i n a l go r i t hm   s p e c i f i c a l ly   de s i g n e to   e n h a n c e   n e t wo r k   li f e t i m e   a n i m pr o v e   pa c ke t   de l i ve r y   r a t e s   i n   W S Ns .   -   Our   a ppr o a c h   f a c il i t a t e s   t h e   b a l a nc i ng  o f   e n e r g y   c o n s u m pt i o n   a c r o s s   s e ns o r   n o de s ,   whi c h   h e l p s   t e x t e n n e t wo r k   l if e s pa n   a n i m pr o v e   s c a l a bi li t y .   -   W e   a l s o   i n t r o duc e   m e c h a ni s m s   f o r   i n c e n t i vi z e da t a   s h a r i n w i t hi n   t h e   W S N,   e v a l ua t e us i n m e t r i c s   s uc h   a s   h o c o un a n r e m a i n i ng  e ne r g y ,   e n s ur i ng  e f f i c i e n t   n e t wo r k   o pe r a t i o ns .   T h e   r e m a i n d e r   o f   t hi s   pa pe r   i s   o r ga ni z e a s   f o ll o ws s e c t i o n   r e vi e ws   r e l a t e wo r k   o n   de e p   l e a r ni ng - ba s e o p t i mi z a t i o n   t e c hni que s   i n   W S Ns ,   s pa nni ng  f r o m   2020  to  2024 ,   a n pr o vi de s   a   c om pa r a t i v e   a n a ly s i s .   S e c t i o n   pr o vi de s   a n   o v e r vi e o f   s e v e r a l   m e t h o ds   h a ve   b e e n   pr o po s e i n   t h e   l i t e r a t ur e   t h a h a s   e x p l o r e o f   o p t i mi z a t i o n   o f   W S Ns   o pe r a t i o n .   T h e   pr o p o s e R L   b a s e r o u t i n a l go r i t hm   f o r   n e t wor k   li f e t i me   im pr o v e m e n t   i n   W S i s   d i s c us s e i n   s e c t i o n   4.   I n   s e c t i o n   5,   t h e   pe r f o r m a n c e   o f   t h e   pr o p o s e m e t h o i s   pr e s e n t e a n c o m p a r e w i t h   c l a s s i c a l   o pt i m i z a t i o n   a ppr o a c h e s .   T h e   c h a ll e n ge s ,   c o n s t r a i n t s   a nd  f ut ur e   r e s e a r c h   d i r e c t i o n s   a r e   c o v e r e i n   s e c t i o n   6.   S e c t i on   c o n c l ude s   t h e   pa pe r .       2.   RE L AT E WORK   T hi s   s e c t i o n   g i ve s   a   c o m pr e he n s i ve   o v e r vi e o f   d e e l e a r ni n g - b a s e o pt i m i z a t i o n   m e t h o ds   f o r   W S N s   a n c l e a r ly   e m p h a s i z e s   e n e r g y   e f f i c i e n t   a ppr o a c h e s   to wa r ds   i m pr o vi n n e t wo r l i f e t i m e .   T he   s ur v e c o m pr i s e s   de e r e i nf o r c e m e n t   l e a r ni ng  ( DR L ) ,   c l us t e r i n g - b a s e d   r e s o ur c e   a l l o c a t i o n ,   e n e r g y - e f f i c i e nt  r o u t i n g   a l go r i t hm s ,   a n hy br i m o de l s   f o r   t a s s c h e du li n a n da t a   a ggr e ga t i o n .   T h e s e   s t r a t e gi e s   h a v e   b e e n   us e t a ddr e s s   t h e   m a i W S i s s ue s   i nc l ud i n po we r   c o n s u m pt i o n ,   n o de   l o c a l i z a t i o n ,   da t a   t r a n s m i s s i o n ,   a n d   c o v e r a ge   o p t i mi z a t i o n .   T h e s e   hy br i s t i t c hi ng  m e t h o ds   o v e r c o m e   m a ny   po we r - r e l a t e pr o bl e m s   i n   W S Ns ,   ke e p i n t h e   s a t i s f a c t or i n e s s   o f   o pe r a t i o n   a n gua r a n t e e i n t h e   n e t wo r k   r e l i a bil i t y .   F ur t h e r m o r e ,   w e   de e p ly  r e vi e s o m e   ot h e r   e n e r g y   e f f i c i e n t   W S Ns   pr oto c ol s ;   d e e Q - l e a r ni ng  b a s e s t r a t e gi e s ,   a da pt i v e   t r a n s m i s s i o po we r   c o n t r o l   a n e n e r g y   h a r v e s t i n pr e d i c t i o n   m o de l .   T he   s e c o n gr o up   o f   s t udi e s   e x p l o r e   hy b r i de e l e a r ni ng  t e c h ni que s   wh e r e   a   c o m bi na t i o n   o f   c l u s t e r i n g,   r o u t i n g,   a n t a s s c h e du li ng  t e c h ni que s   a r e   u t i li z e to  mi n im i z e   r e s o ur c e   c o n s u m pt i o n   a n i nc r e a s e   n e t wo r k   l if e t i m e   i n   W S Ns .   I n   pa r t i c u l a r ,   we   r e vi e t e c hni que s   f o r   i n t e l li ge n t   e n e r g y   c o n t r o l ,   s e n s o r   a c t i va t i o a n e n e r g y - e f c i e n t   c o m m u ni c a t i o n   pr oto c o l   whi c h   a r e   im po r t a n t   to  e n e r g y - li mi t e e nvi r o nm e n t s .   T h e   r e vi e we wo r ks   c o v e r   a   wi d e   r a n ge   o f   a pp l i c a t i o n s   s uc h   a s   e nvi r o nm e n t a l   m o ni t o r i n g,   h e a l t hc a r e ,   s m a r t   c i t i e s   a n pr e c i s i o n   a gr i c u l t ur e ,   wh e r e i n   e n e r g y   e f f i c i e n c y   i s   c r uc i a l   f o r   t h e   e f f e c t i v e   a n e f f i c i e n t   o pe r a t i o n   o f   W S N s .   Go df r e y   e al.   [ 6] ,   a l s o   pr o p o s e a   DR L   b a s e f r a m e wo r to  o p t i mi z e   r o u t i n i n   W S Ns   f o r   b e tt e r   e n e r g y   e f f i c i e n c y .   T h e   DR L   f r a m e wo r i s   pr o p o s e f o r   n o de s   to  l e a r n   h o to  r o u t e   o p t i m a l ly  t h r o ugh   i n t e r a c t i o n s   w i t h   t h e   e nvi r o nm e n t ,   t a ki n e ne r g y   l im i t a t i o n s   a n d y n a mi c a l   c h a n ge s   i n   t h e   n e t wo r k   i n t Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e lear ning - bas e opti miz ati on  tec hniques   f or   n e t w o r k   li f e ti me       ( A bhay   R aghunath   Gaidhani )   625   a c c o un t .   I n   t h e   s a m e   l i ne ,   a   de e l e a r ni n g - e na bl e e n e r g y - e f f i c i e n t   da t a   a gg r e ga t i o n   t h a n   i n   to   m a ke   da t a   a ggr e ga t i o n   i n   W S N s   a wa r e   o f   o pt i mi z a t i o n   to   m i nim i z e   e ne r g y   c o ns u m pt i o n   a n m a i n t a i n   n e t wo r k   pe r f o r m a n c e   a n da t a   a c c ur a c y   [ 7] .   A   de e l e a r ni ng - ba s e c l u s t e r i n wa s   us e t de v e l o a   r e s o ur c e   a l l o c a t i o n   s c h e m e   t h a t   di s t r i b ut e s   t h e   b a n dw i dt h   a n po we r   o f   t h e   n o de s   i n   W S Ns   i n   a n   e f f i c i e n t   m a nn e r   t e nh a nc e   t h e   n e t wo r k   pe r f o r m a nc e   a n e n e r g y   e f f i c i e n c y   [ 8] .     R e s e a r c h e r s   pr e s e n t e a   hy b r i m e t h o o f   l o n s h o r t - t e r m   m e m o r y   ( L S T M s )   a n c o nv o l ut i o n a n e ur a l   n e t wo r ks   ( C NN s )   to   e x t r a c t   f e a t ur e s   a n l o c a t e   n o de   i n   p a c ke t   tr a f f i c   n e t wo r k ,   whi c h   l e to   s i gnif i c a n im pr o v e m e n t   i n   n o de   l o c a l i z a t i o n   a c c ur a c y   a n e n e r g y   c o ns u m pt i o n   e f f i c i e nc y   i n   W S N s   [ 9] .   A e n e r g y - e f f i c i e n t   r o u t i n a l go r i t hm   f o r   W S N s   ba s e o n   de e Q - l e a r ni ng  wa s   de v e l o pe by   K a p il e s wa r   e al.   [ 10]   t h a e n a bl e s   t h e   n o de s   to  t a ke   r o u t i n de c i s i o ns   w i t h   mi n im u m   e n e r g y   c o n s u m pt i o n   whil e   e ns ur i n c onn e c t i vi t y   a n da t a   de l i ve r y   [ 10] .   De e l e a r ni ng  t e c hni que s   we r e   ut i l i z e i n   e n e r g y   h a r v e s t i n s t r a t e gi e s   t o   tr a de   o f f   da t a   t r a n s m i s s i o n   pe r f o r m a n c e   a n e ne r g y   a va i l a bil i t y   i n d i c a t i n d y na mi c   be h a vi o r   o f   t h e   n e t wor to   pr o l o n g   i t s   l if e   t i m e   [ 11] .   C h o wdh ur y   a n De   [ 12]   pr o p o s e a   hy b r i o p t i mi z a t i o n   f o r   DR L   b a s e c o v e r a ge   i n   W S N   wh e r e i t h e   n e t wo r k   a da pt s   s e n s o r   de pl o y m e n t   b a s e o n   d y n a mi c   e nvi r o nm e n t   f o r   e n e r g y   e f c i e n t   c o v e r a ge   by   s a t i s f yi ng  t h e   o pe r a t i o n a l   e n e r g y   r e qu i r e m e n t s .   An   i nn o va t i ve   m e t h o wa s   a l s o   pr o p o s e f o r   W S e n e r g y   c o n s u m pt i o n   pr e d i c t i o n   b a s e o n   de e l e a r ni n g,   to  f a c il i t a t e   c o m m u ni c a t i o n   pr oto c o l   a n r e s o ur c e   a l l o c a t i o e f f e c t i v e ly   [ 13] .   T a s s c h e du l i ng  i n   W S N s   wa s   o p t i mi z e vi a   de e l e a r ni ng  m o de l s   f o r   m i n im iz i n t h e   e n e r g y   c o n s u m pt i o n   whil e   s a t i s f yi ng  a pp l i c a t i o de m a n ds   to wa r d s   n e t w o r k   e f f i c i e nc y   im pr o v e men t   [ 14] .   P r e d i c t i ve   e ne r g y   ha r ve s t i ng   m o d e l s   f o r   t a s s c he d u l ing   we r e   a l s o   pr e s e n t e d,   w hi c pr o vi d e   pr e di c t i o o f   e ne r g y   i n f o r m a t i o f o r   t h e   ne t wo r t o   m a k e   t h e   o pt i m u m   r e s o ur c e   a nd  s c he d u li ng   d e c i s i o ba s e o n   p r e d i c t e e ne r g y   a va il a b il i t y   [ 1 5] .   D e e l e a r ning - a i d e a l go r i t hm s   w e r e   u s e f o r   a c t u a t i o o f   t h e   s e ns o r ,   t h u s   s a vi ng   e ne r g y   by   a d a pt i ng  t he   s e ns o r   a c t i va t i o ns   ba s e o n   t he   e nvi r o nm e nt   w hil e   e ns u r i ng   s u f f i c i e nt   c o ve r a ge   [ 16 ] .   S ur e s h   e al.     [ 17]   i n ve s t i g a t e po w e r   c o n t r o l   s c he m e s   w i t h   d e e l e a r ni ng   w hi c h   a d a pt e t he   t r a ns mi s s i o po w e r   i t e r m s   o f   mi n im iz ing   t he   po we r   c o ns u m pt i o n   w i t e ns ur i ng   t he   r e li a b le   c o mm u n i c a t i o n .   Ávil a   e al.   [ 18 ]   p r o p o s e a   de e l e a r ni ng  b a s e m o bil e   s i nk  r o u t i n s c h e m e   t e n a bl e   e n e r g y - e f f i c i e n t   da t a   a c qu i s i t i o n   i n   W S N s .   T h e   n e t w o r k   e n e r g y   e f f i c i e n c y   wa s   e x t e n s i ve ly   im pr o v e by  s u i t a bl y   a d j u s t i n t h e   m o ve m e n t s   o f   t h e   s i nk  a n s e t t i n up   t h e   da t a   c o l l e c t i o n   s t r a t e gi e s .   Z h o u   e al .   [ 19 ]   i n t r o duc e a   de e l e a r ni ng - b a s e e n e r g y   h a r ve s t i n pr e d i c t i o n   a l go r i t hm   t h a t   t un e s   t r a n s mi s s i o n   s c h e du l e s   f o r   i nc r e a s i ng   5G  n e t wo r k   t h r o ugh put.   Hy b r i m a c hi ne   l e a r nin a ppr o a c h e s   we r e   a l s o   a do p t e d   i n   n o de   de pl o ym e n t   o p t i mi z a t i o n   i n   W S N s   us i ng  DR L   t e nh a n c e   c o ve r a ge   a n c o nn e c t i vi t y   w i t h   r e duc i ng  e n e r g y   c o n s u m pt i o [2 0] .   C h e n   e al.   [ 21 ]   a   hy b r i de e l e a r ni ng  s c he m e   wa s   pr o po s e to  o p t i mi z e   t h e   da t a   f us i o n   pr o c e dur e s   i W S N s   a n m i n im i z e   t h e   e n e r g y   c o ns u m pt i o n ,   m e a n w hil e   s a t i s f yi ng  t h e   da t a   a c c ur a c y   a n n e t wo r k   pe r f o r m a n c e .   T o   a ddr e s s   t hi s   pr o bl e m ,   we   h a v e   i n t r o duc e a   de e Q - l e a r ni n g - b a s e o pt i m a l   n o de   s e lec t i o n   i W S N s ,   wh e r e   t h e   n o de s   m a ke   de c i s i o n s   o n   t h e   f ly   w i t h   r e s pe c t   to   o pe r a t i n t h e   n o de s   t o   s l e e s t a tes ,   whi c b o t h   a c hi e ve   t a s ks   a n e n e r g y   s a vi ng  [ 22] .   Y o un us   e al .   [ 23 ]   p r o p o s e a   hy b r i s l e e s c h e du li ng   m e t h o us i n de e l e a r ni ng  f o r   e n e r g y - e f f i c i e n t   W S o pe r a t i o n s ,   b a l a n c i ng  e n e r g y   us a g e   w i t h   n e t wo r k   pe r f o r m a n c e .   Un de r wa t e r   W S Ns   a l s o   b e n e f i t t e f r o m   de e l e a r ni ng - b a s e da t a   t r a n s mi s s i o n   t e c hni que s ,   wh e r e   e n e r g y - e f f i c i e n t   t r a n s m i s s i o n   s t r a t e gi e s   we r e   de v e l o pe d   to  m i n im i z e   c o ns u m pt i o n   w hil e   e ns ur i n r e li a bl e   da t a   de l i ve r y   [ 24] .   L a s t l y ,   pr e c i s i o n   a gr i c u l t ur e   a pp li c a t i o n s   s a i m pr o v e m e n t s   t h r o ugh   a   de e l e a r ni n g - b a s e d   e n e r g y - a wa r e   r o u t i n pr oto c o l ,   whi c h   o p t i mi z e r o u t i n de c i s i o ns   i n   W S N s   c o n s i d e r i n b o t h   e n e r g y   c o n s t r a i n t s   a n e nvi r o nm e n t a l   f a c to r s   [ 25] .   T a bl e   pr e s e n t s   t h e   c o m pa r a t i v e   a n a ly s i s   o f   a ll   t h e   p r o p o s e d   t e c h ni que s   i n   t h e   l i t e r a t ur e .       3.   DE E P   L E AR NI NG - B ASE OP T I M I Z AT I ON  T E CHNI QU E S   3. 1.     Ne u r al   n e t wo r k s   f o r   e n e r gy  p r e d ict ion   Ne ur a l   n e t wo r ks   h a v e   be e n   v e r y   po pu l a r   i e n e r g y   pr e d i c t i o n   f o r   W S Ns ,   a s   t h e y   c a n   c a pt ur e   t h e   n o nli ne a r   r e l a t i o ns hi b e t we e n   e nvi r o nm e n t a l   va r i a bl e s   a n e n e r g y   us a ge   [ 6] .   T h e   f e e d f o r wa r n e ur a l   n e t wo r ks   ( F NN ) ,   r e c ur r e n n e ur a l   n e t wo r k   ( R NN ) ,   L S T M   n e t w o r k ,   C NN   a r e   a l l   u s e a s   m o de l s   o f   br a i n   a n d   s i mi l a r ly   i nve s t i ga t e f o r   S DB   c l a s s i f i c a t i o n 76.   H i s t o r y   s e n s o r   da t a ,   e n vi r o nm e n t a l   c o n d i t i o n s ,   a n n o de   pr o pe r t i e s   a r e   a n a ly z e by   n e ur a l   n e t wo r ks   t h a c a n   a c c ur a t e l y   pr e d i c t   e n e r g y   c o ns u m pt i o n   [ 6] .   T t r a i n   t h e   n e ur a l   n e t wo r k   to   pr e di c t   b u il d i n e n e r g y ,   w e   pr e pr o c e s s   t h e   da t a   s o   t h a i t   i s   c o m pa t i bl e   w i t h   o ur   m o de l   t r a i ni ng.   Nor m a li z a t i o n ,   s c a l i ng,   a n f e a t ur e   e n g i n e e r i n a r e   t h e   m e a t h a t   a r e   us e s t a n da r d i z e   t h e   d a t a   [ 7] .   T h e   m o de l s   a r e   t r a i ne w i t h   b a c kpr o pa ga t i o n   o r   s to c h a s t i c   gr a d i e n t   de s c e n t   l e a r ni ng  a l go r i t hm s   us i ng  a   l o s s   f u n c t i o n   t h a t   m e a s ur e s   t h e   d i f f e r e n c e   b e t we e n   t h e   pr e di c t e a n a c t ua l   e n e r g y   c o ns u m pt i o n   [ 8] .   W h e n   de p l o y e o n   t h e s e   r e s o ur c e - l im i t e W S n o de s ,   s o   a s   to   m i n im i z e   t he   m o de l   c o m p l e xi t y   f o r   e n e r g y - e f f i c i e n t   i nf e r e n c e ,   m o de l   c o m pr e s s i o n   t e c hni qu e s ,   s uc h   a s   qua n t i z a t i o n   a n d   pr uni n g,   n e e t b e   e n a bl e [ 9] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   623 - 633   626   T a bl e   1.   C o m pa r a t i ve   a n a ly s i s   o f   pr o p o s e t e c hni q ue s   i n   t h e   l i t e r a t ur e   R e f e r e nc e   M e th o d ol o g y   R e s ul ts   L im it a ti o ns   [ 6]   R e in f o r c e m e nt  l e a r ni ng ba s e r o ut in g i nt e gr a te w i th  s of twa r e - de f in e d W S N  a r c hi t e c tu r e   I mpr ove d r o ut in g a da pt a bi li t y  a nd  r e du c e d e n e r g y   c o ns umpt i o c o mpa r e d t o  s ta ti c  S D W S N   r o ut in g   C e nt r a li z e S D N  c o nt r o in tr o duc e s   ov e r he a d a nd  s c a la bi li t y   c o ns tr a in ts   [ 7]   N e ur a n e tw o r k ba s e d da ta   a ggr e ga ti o f o r   e n e r g y   e f f i c ie n c y   R e duc e d r e dunda nt  t r a ns mi s s io ns   a nd i mpr ove d a ggr e ga ti o e f f ic i e n c y   L im it e d t o  a ggr e ga ti o n;  r o ut in a nd c lu s te r in g n ot  j o in tl y   o pt im i z e d   [ 8]   C lu s te r - ba s e d r o ut in g us in f u ll y   r e c ur r e nt  d e e p l e a r ni ng w it h m e ta - he ur is ti c   o pt im i z a ti o n   E nha nc e d ne twor k l i f e ti m e  a nd  e n e r g y  ba la nc e  a c r o s s  c lu s te r s   H ig c o mput a ti o na c o mpl e x it y   li mi ts  r e a l - ti me  a ppl i c a bi li t y   [ 9]   S e c ur e  d e e p l e a r ni ng ba s e r o ut in w it h i nt r us io n d e t e c ti o n   A c hi e v e e n e r g y - e f f i c i e nt  a nd  s e c ur e  da ta  t r a ns mi s s io n   I nc r e a s e d p r o c e s s in g ove r h e a due  t o  i nt e gr a t e d s e c ur it y   me c ha ni s ms   [ 10]   D e e p Q - le a r ni ng c ombi ne d w i th   a da pt iv e   th r e s ho ld - ba s e c lu s te r in g   I mpr ove d e n e r g y   e f f i c ie n c y  a nd  s ta bi li t y  p e r i o ove r   c la s s ic a c lu s te r in g s c h e m e s   E v a lu a t e o n s ma ll - s c a l e   ne tw o r ks s c a la bi li t y   n o f ul l y   a na l y z e d   [ 11]   D e e r e in f o r c e m e nt  l e a r ni ng  f o r   th r o ughpu o pt im i z a ti o n i e ne r g y - ha r ve s ti ng W S N s   I mpr ove d t hr o ughput a nd  e ne r g y   ut il iz a ti o n und e r  ha r ve s ti ng  c o ns tr a in ts   F oc us e s   o n E H - W S N s no a ppl ic a bl e  t o  ba tt e r y - o nl y   ne tw o r ks   [ 12]   V o r o n o i G l o w w o r m S w a r O pt im iz a ti o n w it K - me a ns   c lu s te r in g   A c hi e v e d b e tt e r   c ove r a g e   e f f ic i e n c y  a nd r e duc e e n e r g y   c o ns umpt i o n   O pt im iz a ti o c o mpl e x it y   in c r e a s e s  w it h ne twor k s iz e   [ 13]   D e e le a r ni ng ba s e d e n e r g y   pr e di c ti o n m o d e l   A c c u r a te   r e s id ua e ne r g y   e s ti ma ti o f or  pr o a c ti v e   e n e r g y  ma na g e m e nt   P r e di c ti o n - ba s e d a ppr o a c h d oe s   no in c lu d e  r o ut in g d e c is i o ns   [ 14]   A na l y ti c a e n e r g y - e f f i c i e nt   s c he dul in f r a m e w or k   E s ta bl is he d o p ti ma s c h e dul in po li c i e s   f o r   e n e r g y   c o ns e r v a ti o n   D oe s  no s upp o r a da pt i ve   o r   le a r ni ng - ba s e me c ha ni s ms   [ 15]   D e e le a r ni ng ba s e d gr o upi ng  mo d e f or  da ta  t r a ns mi s s io n   I mpr ove d e n e r g y   e f f i c ie n c y  a nd  ba la nc e d da ta   f o r w a r di ng   G r o upi ng s tr a t e g y  l a c ks  d y na mi c   r o ut in g a da pt a ti o n   [ 16]   I nt e ll ig e nt   L E A C H  e nha n c e m e nt   us in g de e p b e li e f  n e tw o r ks   I mpr ove c lu s t e r - h e a d s e l e c ti o a nd e x te nd e d n e tw o r k l i f e ti m e   I nhe r it s   L E A C H - r e la t e ov e r he a a nd pe r i o di c  r e - c lu s t e r in c o s t   [ 17]   F e d e r a t e d de e r e in f or c e me n le a r ni ng  f or  di s tr ib ut e d r o ut in g   A c hi e v e d s c a la bl e  a nd pr i v a c y - pr e s e r v in g r o ut in o pt im i z a ti o n   C o mm uni c a ti o ove r h e a be tw e e f e d e r a t e d a g e nt s   [ 18]   S y s t e ma ti c  l it e r a tu r e  r e v i e w   o e n e r g y  ha r ve s ti ng i n W S N s   C o mpr e h e ns iv e  t a xo n o m y  a nd  de s ig n i ns ig ht s  f or  E H - W S N s   D oe s  no p r o p o s e   o r   e v a lu a t e  a   c o n c r e te   r o ut in g s o lu ti o n   [ 19]   S y s t e ma ti c  ma ppi ng s tu d y   o e n e r g y   pr e di c ti o n i E H - W S N s   I de nt i f ie tr e nds  a nd ga ps  i n e ne r g y   pr e di c ti o n t e c hni qu e s   N o  di r e c p e r f or ma nc e   e v a lu a ti o o r  a lg or it hmi c  c o n tr ib ut i o n   [ 20]   M a c hi ne  l e a r ni ng dr i ve r o ut in o pt im i z a ti o f or  6 G - e na bl e d W S N s   D e m o ns tr a te e n e r g y   e f f ic ie n c y   ga in s  i n ne x t - ge n e r a ti o n W S N   s c e na r i o s   A s s ume s  a dv a nc e d 6 G   in f r a s tr uc tu r e  a v a il a bi li t y   [ 21]   D e e le a r ni ng ba s e d gr o upi ng  mo d e f or  e n e r g y - e f f i c i e nt   tr a ns mi s s io n   I mpr ove d ne tw or k l i f e ti m e  t hr o ugh  o pt im i z e d n o d e  gr o upi ng   D upl ic a te   of  [ 15] gr o upi ng - o nl y   f oc us   [ 22]   Q - le a r ni ng ba s e d d e la y - a w a r e  da ta   f us i o n   R e duc e d d e la y  a nd i mpr ove e n e r g y  ut il i z a ti o n   L im it e d t o  dut y - c y c l e d ne tw or ks   a nd f us i o o p e r a ti o ns   [ 23]   R e in f o r c e m e nt  l e a r ni ng ba s e r o ut in g i n S D W S N s   E nha nc e d r o ut in g p e r f or ma n c e  a nd  a da pt a bi li t y   D e pe nd e n c e   o n c e nt r a li z e d S D N   c o nt r o ll e r   [ 24]   D e e le a r ni ng ba s e d da ta   a ggr e ga ti o n a nd  f us i o n   R e duc e c o mm uni c a ti o ove r h e a a nd i mpr ove e n e r g y   e f f i c i e n c y   D oe s  no a ddr e s s  r o ut in o r   c lu s te r in g   [ 25]   M o bi l e  s in k ba s e d i nt e l li ge nt   r o ut in g s c h e me   R e duc e d h o ts p o e n e r g y   de pl e ti o a nd i mpr ove d l i f e t im e   S in k mo b il it y  i nt r o du c e s   a ddi ti o na s y s t e c o mpl e x it y   [ 26]   S ur v e y   of  e n e r g y  ha r v e s ti ng a nd  o pt im i z a ti o n i n W S N s   C o mpr e h e ns iv e   ove r v i e w   of   E H   te c hni que s  a nd  c ha ll e ng e s   N o   e x pe r im e nt a v a li da ti o o r   a lg o r it h mi c  p r o p o s a l       3. 2.     De e p   r e in f o r c e m e n t   l e a r n in f o r   r ou t in o p t im iz at ion   DR L   h a s   e xhi b i t e a   s t r o n pot e n t i a l   i s o l vi ng  r o u t i n pr o bl e m s   i n   W S N s ,   whi c h   c a n   a l s o   m a ke   a da pt i v e   de c i s i o ns   a c c o r di n to  t h e   r e a l - t i m e   s t a t e   o f   t h e   n e t wor k.   B y   f o r m u l a t i n t h e   W S s y s t e m   a s   a   M a r ko v   de c i s i o n   pr o c e s s   ( M DPs ) ,   DR L   a ge n t s   h a v e   b e e n   tr a i ne to  a c qui r e   r o u t i n s t r a t e g i e s   t h a c a n   r e duc e   e n e r g y   c o n s u m pt i o n   a n a c hi e ve   b e t t e r   n e t w or pe r f o r m a n c e   [ 15] .   On e   o f   t h e   m o s t   w i de ly   u s e DR L   a l go r i t hm s   i s   d e e Q - l e a r ni ng,   whi c us e s   de e n e ur a l   n e t wo r ks   to  l e a r n   t h e   Q - v a l ue   f u nc t i o n   t e s t i m a t e   t h e   e x p e c t e c um u l a t i v e   r e wa r f o r   a c t i o n s   [ 16] .   P o l i c y   gr a d i e n t   t e c h ni que s   w hi c h   d i r e c t l y   o pt i m i z e   po l i c y   pa r a m e t e r s   i ns t e a o f   e s t i m a t i n Q - va l ue s   h a ve   a ls o   b e e n   i nve s t i g a t e [ 18 ] .   A dd i t i o n a ll y ,   DR L - b a s e r o u t i n a l go r i t hm s   s u f f e r   f r o m   c o nv e r ge n c e   s t a bil i t y ,   t hi s   s h o r t c o m i ng  c a n   be   a ddr e s s e by   e m p l o yi ng  m e t ho ds   s uc h   a s   e x p e r i e nc e   r e p l a y   a n t a r ge t   n e t w o r ks   [ 21] .     3. 3.     Gener at ive  ad ve r s a r ia l   n e t wo r k s   f o r   e n e r g h ar ve s t in g   Ge n e r a t i v e   a d v e r s a r i a l   n e t wo r ks   ( GA Ns )   h a ve   be e n   r e c e n t l y   s t ud i e f o r   s y n t h e s i z i ng  t h e   e n e r g y - h a r v e s t e da t a   to  t r a i n   t h e   W S e n e r g y   h a r v e s t i ng  m o de l ,   t h us   a c c ur a t e l y   m o de l i ng  t h e   e n e r g y   pr o f i l e s   in  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e lear ning - bas e opti miz ati on  tec hniques   f or   n e t w o r k   li f e ti me       ( A bhay   R aghunath   Gaidhani )   627   W S N s   [ 19] .   GA Ns   i nv o l v e   t wo  n e t w o r ks ,   t h e   ge n e r a t o r   a n t h e   d i s c r im i na t or ;   t h e   ge n e r a t or   ge n e r a t e s   s y n t he t i c   e n e r g y   pr o f il e s ,   whil e   t h e   d i s c r i mi na t o r   d if f e r e n t i a t e s   b e t we e n   r e a l   a n ge n e r a t e pr o f i l e s   [ 16] .     T h e   tr a i ni ng  o f   GA N s   i s   f o r m u l a t e a s   a   m i n - m a x   ga m e ,   wh e r e   t h e   ge n e r a to r   tr i e s   to  ge n e r a te  s y n t he t i c   e n e r g y   pr o f il e s   t h a t   a r e   i n d i s t i n gu i s ha bl e   f r o m   r e a l - wo r l pr o f i l e s   a n t h e   d i s c r im i na t or   t r i e s   to  c l a s s if y   t h e m   c o r r e c t l y   [ 20] .   T h e s e   a r e   n o t   r e a l   t r a c e s ,   b ut  s y n t h e t i c   t r a c e s ,   whi c h   a r e   us e f u l   t o   o p t i mi z e   e n e r g y   m a n a g e m e n s c h e m e s   i n   W S N,   s pe c i a l ly   i n   t r a n s mi s s i o n   s c he du l i ng  a n n e t wor k   l i f e t i me   pr o l o n ga t i o n   [ 21] .   Ne v e r t h e l e s s ,   i s s ue s   s uc h   a s   gua r a n t e e i n t h e   qua l i t y   o f   s y n t he t i c   da t a   a n a c c omm o da t e   GA N s   c o m put a t i o n a l   r e qu i r e m e n t s   a r e s o ur c e   c o n s t r a i n e n o de s   s h o u l b e   a ddr e s s e whil e   de p l o y i ng   GA N s   [ 22] .       4.   P ROP OS E M E T HO D   R L   i s   a   po we r f u l   d i s c i p li ne   i m a c hi ne   l e a r ni ng  t h a t   us e s   t e c hni que s   t o   r e i nf o r c e   de s i r e b e ha vi o r   a n r e s i s t a n c e   un de s i r e a c t i o n .   I l e t s   a ge n t s   d a c t i o n s   a n que r y   t h e   r e s u l t i n s t a t e ,   ge r e wa r ds   a nd  l e a r n   a   s t r a t e gy   t o   m a ke   de c i s i o ns   w i t h .   I n   t h e   c o n t e x t   o f   W S Ns ,   R L   pr o vi de s   t o   t h e   po s s i bil i t y   t m a k e   a   d y n a mi c   a d j u s t m e n t   o f   t h e   r o u t i n de c i s i o n ,   whi c h   gr e a t ly   o u t pe r f o r m s   t h e   t r a di t i o n a l   r o ut i n m e c h a ni s m   i n   t h e   e f f i c i e nc y   o f   da t a   t r a n s m i s s i o n .   T h e   a ppr o a c h   c o n s i d e r s   t h e   us e   o f   R L   to  y i e l e n e r g y   c o ns e r va t i o n   a n n e t wo r k   l if e t i m e   m a xim i z a t i o n   b a s e   o n   s e a r c h   o f   o pt i m a l   gr o un ds   f o r   c o m m u ni c a t i o n .     T h e   pr o p o s e wo r k   c a n   b e   b r o ke n   do wn   i n t o   two   m a i pa r t s c l us t e r i n ( i nc l ud i n c l u s t e r   h e a s e l e c t   a n c l us t e r i n g)   a n t h e   us e   o f   r e i nf o r c e men t   l e a r ni ng  to   i m pr o v e   t h e   r o u t i n g.   M u l t i p l e   c lus t e r i n g   r o u t i n pr o to c o l s   h a v e   b e e n   f o un t b e   e f f e c t i v e ,   whi c h   c a n   i m pr o v e   t h e   n e t wo r k   s t a bi l i t y   a n pr o l o n i t s   li f e t i m e .   I n   t hi s   pa pe r   we   us e   a   hy b r i m e t h o d,   w h e r e   c l u s t e r i n i s   i n t e gr a t e wi t h   R L   to  de s i g n   a e f f i c i e n t   r o u t i n g   a l go r i t hm   f o r   W S N s .   G i v e n   t h e   e xi s t i n s o l ut i o n s   b e i ng  e i t h e r   too   m uc h   o n   e ne r g y   o r   m o r e   o n   h o p,   t hi s   a ppr o a c h   ba l a n c e s   b o t h ,   b e c a us e   m u l t i - h o i s   i m po r t a n t   j us t   a s   e n e r g y   e f f i c i e n c y .     T h e   o r i g i na l i t y   o f   t hi s   a ppr o a c h   i s   to  a ppl y   R L   to  t a ke   s e que n t i a l   de c i s i o ns   a n t h us ,   to   pe r f o r m   de c i s i o n s   b a s e o n   pr o b a bil i t i e s .   T hi s   i s   a   m o r e   s o l i a n e f f i c i e n t   m e t h o c o m pa r e to   de t e r m i ni s t i c   o n e s   e m p l o y e i s o m e   W S r o ut i n s c h e m e s .   T h e   R L   n e t wo r v i e t r e a t s   e v e r y   de vi c e   i t h e   ne t wor a s   a n   R L   a ge n t .   T h e   s pa c e   f o r   e a c h   de vi c e   i s   t h e   s e t   o f   pa th s   t h a t   i t   c a n   t a ke   to   g o   to  t h e   s i n k,   a n pot e n t i a l   n e i g hb o r   n o de s   to  wh e r e   i t   c o ul s e n da t a .   T h e   o bj e c t i v e   o f   R L   a ge n t   i s   to  l e a r n   a n   o p t i m a l   po l i c y   o f   s e l e c t i n b e s t   n e x t   h o r o u t i n w i t h   i n   c o ns i de r a t i o n   to   e n e r g y   c o n s u m pt i o n   a n n e t wo r k   l if e t i m e .   T h e   pr o p o s e d   s c h e me   c a n   h e l de vi c e s   to   a c hi e v e   b e t t e r   qua l i t y   pe r f o r m a n c e   t h a n   t r a di t i o n a l   o n e s   by   s h a r i ng  t h e i r   l o c a l   i nf o r m a t i o w i t h   ne i g hb o r i n n o de s   to  m a ke   t h e   r o u t i n de c i s io n   m u c h   b e t t e r   a n s a v e   e n e r g y .     T h e   R L   m o de l   f o r   e ne r g y   o pt i m i z a t i o n   pur po s e   i W S Ns   r e pe a t e d l y   u nf o l d s   i n d i c a t e s   f e a t ur e s   s uc a s   s t a t e ,   a c t i o n ,   a n r e wa r s pa c e s   de f i ne   a c c o r di n to   t h e   n e t wo r k   c o n t r o l l e r   d y n a mi c s .   I m po r t a n m e t r i c s   s uc h   a s   t h e   r e s i dua l   e n e r g y ,   d i s t a n c e   to  t h e   s i n k,   l i nk  qua l i t y ,   a n s i z e   o f   t h e   que ue   a r e   i n c l ud e i n   t h e   s t a t e   s pa c e ,   g i vi ng  i t   m uc h   m o r e   i nf o r m a t i o n   to   m a ke   a   de c i s i o n .   A c t i o n s   i nc l ude   i n c r e a s i ng  o r   de c r e a s i ng   t r a n s m i s s i o n   po we r ,   de c i d i ng  t h e   n e x t - h o n e i g hbo r   ( to   r o u t e   pa c ke t s   to ) ,   whi c h   a f f e c t s   e n e r g y   c o n s u m pt i o n ,   a n s w i t c hi ng  be t we e n   a c t i v e   a n s l e e p,   w hi c h   d i r e c t l y   a f f e c t s   e n e r g y   c o n s u m pt i o n .   T h e   r e wa r d   f u n c t i o n   e n c o ur a ge s   e n e r g y   e f f i c i e n c y ,   b a l a n c e e ne r g y   de p l e t i o n ,   a n s uc c e s s f u l   pa c ke t   de l i ve r y   a n pe n a li z e s   pa c ke l o s s   a n hi g h   e n e r g y   ut i li z a t i o n .   T hi s   c a n   b e   f ur t h e r   b a l a nc e by   u s i ng  t h e   d y n a mi c   a n d i s t r i b ut e n a t ur e   o f   W S by   e n e r g y   e f f i c i e n t   r o u t i n t e c hni qu e s   t h a c a n   e n a bl e   a da pt a bil i t y ,   s c a l a bil i t y   a n e f f e c t i v e   e n e r g y   m a n a ge m e n t   i n   r e s o ur c e   c o n s t r a i ne a n v o l a t i l e   e nvi r o nm e n t s .     F i gur e   i l l u s t r a t e s   t h e   m e t h o do l o g y   f o r   t h e   R L - ba s e a ppr o a c h   a i m e a t   e x t e n d i ng  t h e   l i f e t i m e   o f   t h e   w i r e l e s s   s e n s o r   n e t w o r k.   T h e   ke y   c o m po n e n t s   a r e :   -   Ne t w o r k   s e t up:   i ni t i a li z a t i o n   o f   s e ns o r   n o de s   a n ne t w o r k   to p o l o g y .   -   C l u s t e r   f o r m a t i o n :   c l us t e r i n o f   n o de s ,   w i t t h e   s e l e c t i o n   o f   c l u s t e r   h e a ds   r e s po ns i bl e   f o r   c o m m u ni c a t i o n   w i t h   n e i g hb o r i n c l u s t e r s .   -   T h r e s h o l c r i t e r i a :   e s t a bli s hi ng  e n e r g y   t h r e s h o l d s   f o r   n o de   a c t i vi t y   a n r o ut i n de c i s i o n s .   -   Da t a   tr a n s mi s s i o n :   o p t i mi z e r o u t i n o f   da t a   f r o m   n o de s   to   t h e   s i n us i ng  t h e   R L   m o de l .   -   Ne t w o r pa r a m e t e r s   c o m pa r i s o n :   e v a l ua t i o n   o f   n e t w o r pe r f o r m a n c e   b a s e o n   m e t r i c s   s uc h   a s   e n e r g y   c o n s u m pt i o n ,   pa c ke t   de l i ve r y   r a t i o ,   a n n e t wo r k   l if e t i m e .   F i gur e   s h o ws   t h e   s y s t e m   a r c hi t e c t ur e   t h a t   i s   a n   o v e r vi e a b o ut   t h e   m e t h o pr o p o s e a n h o R L   a n d   c l u s t e r i n c o o pe r a t e   to  c o n tr i b ut e   o n   t h e   b e s t   n e t w o r k   l if e t i m e   a n o p t i m a l   da t a   t r a n s m i s s i o n   e n e r g y .   I m a i n ly   a ddr e s s e s   t h e   pr o bl e m   o f   t r a f f i c   o pt i mi z a t i o n   a n e ne r g y   m a n a ge m e n t   i n   t h e   n e t wor k.   R o u t i n g :   i s   f i n d i ng  t h e   b e s t   pa t h   f o r   da t a   to  g b e twe e n   a   s o ur c e   a n a   de s t i n a t i o n .   T h e   pr o b l e m s   a r e   c o m p li c a t e due   to   n e t w or to p o l o g y ,   c h a nne l   c ha r a c t e r i s t i c s   a n pe r f o r m a nc e   m e t r i c s .   T h e s e   d if f i c u l t i e s   a r e   a ddr e s s e i n   t h e   pr o p o s e a ppr o a c h   by   t h e   R L   m o de l ,   w hi c h   f l e xi b ly   c h a n ge s   i t s   r o u t i n de c i s i o n   a c c o r di n g   to  t h e   n e t wo r k   s t a t us   to  a c hi e v e   e ne r g y - e f f i c i e n t   t r a ns m i s s i o n .   S l e e s c h e du li ng:   a l s o ,   f o r   f ur t h e r   e n e r g y   e f f i c i e n c y ,   we   a dd  a   s l e e s c he du l i ng  p h a s e   to  c o n t r o l   t h e   e n e r g y   o f   t h e   s e ns o r   n o de s .   N o de s   t ur n   o n   a n o f f   t h e   a c t i vi t y   t o   s a v e   po we r ,   whi l e   t h e   s i nk  a l wa y s   r e m a i ns   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   623 - 633   628   a c t i v e   t c o n t r o l   t h e   da t a   f l o wi t hi t h e   c l us t e r .   T pr e v e n t   pr e m a t ur e   e n e r g y   e xh a u s t i o n   i n   c l us t e r   h e a d,   t h e   c l u s t e r   h e a f u n c t i o n   i s   r ot a t e d   i n   r o un r o bi n   f a s hi o n   by   s h a r i ng  e ne r g y   e qua ll y   o n   t h e   n o de s .   S n oo z e   s c h e du li ng  c a n   a l s o   s i g nif i c a n t l y   a l l e vi a t e   t h e   us e les s   pa c ke t   t r a n s m i s s i o n s   by   t ur ni n o f f   t h e   n o de s   th a t   h a v e   b e e n   i n   i d l e   s t a t e   f o r   a   whi l e .   E x pe c t e o u t c o m e :   t h e   pr o p o s e R L - b a s e m e t h od  we   pr o p o s e i n   t hi s   pa pe r   h a s   t h e   p ot e n t i a l s   t o   r e m a r ka bly   i m pr o v e   t h e   l if e   pe r i o o f   n e t wor ks   by   we ll   o r ga ni z i ng  a n c o n t r o l li ng  t h e   s e ns o r   n ode s .   T h e   o v e r a l l   go a l   i s   to  r e duc e   p o we r   c o n s u m pt i o n   a nd  pr e v e n t   e n e r g y   dr a i ni ng  i n   s e ns o r   n o de s ,   whi c h   wo ul d   e x t e n t h e   li f e t i m e   o f   t h e   n e t wo r k .   T h e   pr o p o s e m e t h o m a n a ge s   to   m a k e   e a c h   m e m be r   i n   t h e   s e ns o r   n o de s   to   w o r k   e f f i c i e n t l y   a n i t   c o n t r i b ut e s   t h e   s u s t a i n e d   pe r f o r m a n c e   o f   t h e   W S by   a da pt i n t h e   t r a de   of   e n e r g y   c o n s u m pt i o n   a n r o u t i n de c i s i o ns   i n t e l li ge n t l y .           F i gur e   1.   S y s t e m   a r c hi t e c t ur e       5.   P E R F ORM AN CE   E VA L UA T I ON    W e   i ni t i a ll y   de ve l o pe t h e   K - m e a ns   a l go r i t hm   i n   o r de r   to  r e l a y   s e l e c t i o n   o f   t h e   c l us t e r   h e a a n d   t e s t e i t s   pe r f o r m a n c e   u n de r   t h e   A OD pr oto c o l .   I n   t hi s   pa pe r ,   we   e v a l ua t e   o ur   pr o p o s e s c h e m e   i n   t e r m s   o f   t h e   f o l l o w i ng  t h r e e   pe r f o r m a n c e   i n d i c a t o r s pa c ke de l i ve r y   r a t i o   ( P DR ) ,   t h r o ugh put   a n e n e r g y   c o ns u m pt i o n .   F o r   f ut ur e   w o r k ,   we   wi l l   e x p l o r e   de e l e a r ni ng  t e c h ni que s   f o r   b e tt e r   o p t i mi z a t i o n   a n c o m pa r e   w i t h   t h e   pr o p o s e R L - b a s e a ppr o a c h .     5. 1   E x p e r im e n t a l   s e t u p   P e r f o r m a n c e   e v a l ua t i o n   e x p e r i m e n t s   we r e   pe r f o r m e i n   a   r e a l i s t i c   s im u l a t i o n   e nvi r o nm e n t   r e a l i z e d   w i t h   n e t wo r s i m u l a t o r   ( NS - 2 ) .   T h e   K - m e a n s   a l go r i t hm   w a s   im p l e m e n t e i n   t h e   A OD pr o to c o l   w i t h o ut  a ny   c h a n g e s   t o   t h e   pr oto c o l ,   s o   t h a t   we   c o ul i nv e s t i g a t e   t h e   e f f e c t   o f   c l us t e r s   o n   t h e   n e t wo r pe r f o r m a n c e .   T a bl e   de s c r i be s   t h e   s im u l a t i o n   c o nf i gur a t i o n   pa r a m e t e r s   e m p l o y e f o r   t h e   e v a l ua t i o n .   T h e   s im u l a t i o e nvi r o nm e n t   e v a l u a t e s   h o t h e   A OD pr oto c o l   pe r f o r m s   w h e n   i n t e gr a t e wi t h   t h e   K - m e a ns   c l u s t e r   h e a s e l e c t i o n   a l go r i t hm .   T h r e e   c a s e s   we r e   s i m u l a t e w i t h   d i f f e r e n t   n u m b e r   o f   t h e   c l u s t e r   h e a ds   ( 3,   5 ,   a n 7)   to  i nve s t i g a t e   a n a n a ly z e   t h e   e f f e c t   o f   t h e   c l us t e r   h e a ds   o n   t h e   o v e r a l l   p e r f o r m a n c e   o f   t h e   n e t wo r k.     5. 2 .     Re s u l t s   an d   d is c u s s ion   K - m e a n s   c l us t e r i n wa s   a do pt e i n   o r de r   f o r   da ta  to   r o u t e   m o r e   by   o pt i mi z i ng  r o u t i n pa t hs   a n d   r e duc i n t h e   l o a o n   i n d i v i dua l   n o de s .   T hi s   r e s u l t e i n   a   s i g nif i c a n t   e n e r g y   s a vi ng  a n an   e x t e n de n e t wo r k   li f e .   T h e   a n a ly s i s   i nc l ud e t h e   f o l l o w i ng  c r i t i c a l   pe r f o r m a n c e   m e a s ur e s :   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e lear ning - bas e opti miz ati on  tec hniques   f or   n e t w o r k   li f e ti me       ( A bhay   R aghunath   Gaidhani )   629   -   P DR :   t h e   r a t i o   o f   pa c ke t s   c or r e c t l y   r e c e i ve a t h e   de s t i n a t i o n   to  t h e   pa c ke t s   t r a n s m i t t e d.   A s   s h o wn   i F i gur e   2,   t h e   i n t r o duc t i o n   o f   c l us t e r s   i n c r e a s e t h e   P DR ,   i n d i c a t i n b e t t e r   da t a   t r a n s m i s s i o n   r e l i a b i li t a s   t h e   n e t wor b e c o m e s   m o r e   or ga ni z e d.   -   T h r o ugh put :   t h i s   r e f e r s   t t h e   tot a l   n u m be r   o f   s uc c e s s f u ll y   t r a n s mi t t e bi t s   pe r   s e c o n d.   F i gur e   3   il l us t r a t e s   t h a t h r o ugh put  i nc r e a s e w i t h   t h e   de p l o y m e n t   o f   c l us t e r s ,   a s   m o r e   e f f i c i e n t   r o u t e s   a n b a l a n c e t r a f f i c   l o a ds   we r e   e s t a bli s he a c r o s s   t h e   ne t w o r k .   -   E n e r g y   c o n s u m pt i o n e n e r g y   c o n s u m pt i o n   wa s   m e a s ur e a s   t h e   pe r c e n t a ge   o f   e n e r g y   ut i l i z e by   t h e   s e n s o r   n o de s   dur i n da t a   t r a n s m i s s i o n   a n r e c e pt i o n .   As   de p i c t e i n   F i gur e   4,   t h e   n e t wo r wi t h   t h r e e   c l u s t e r s   e xhi bi t e l o we r   e n e r g y   c o ns u m pt i o n   c om pa r e to   n e t w o r ks   wi t h   f e we r   o r   n o   c l u s t e r s ,   w hi c i nd i c a t e s   b e t t e r   e n e r g y   m a n a g e m e n t   a n pr o l o n ge d   n e t wor l i f e t i m e .   T h e   r e s u l t s   de m o ns t r a t e   t h a c l us t e r i n us i n t h e   K - m e a n s   a l go r i t hm   im pr o v e s   n e t wo r k   e f f i c i e nc y   by   e nh a n c i ng  pa c ke t   de l i ve r y ,   i n c r e a s i ng  t h r o ugh put,   a n r e duc i n e ne r g y   c o n s u m pt i o n .   T h e s e   im pr ov e m e n t s   l a y   t h e   f o un da t i o n   f o r   f ur t h e r   o p t i m i z a t i o n   us in de e l e a r ni ng - b a s e a ppr o a c h e s ,   whi c h   we   pl a n   to  im p l e m e n t   i n   f ut ur e   wor f o r   c o m pa r i s o n .       T a bl e   2.   S i m u l a t i o n   c o nf i gur a t i o n   pa r a m e t e r s   P a r a me t e r s   V a lu e s   Ch a nne t y p e   W ir e l e s s   P r o pa ga ti o n m o d e l   T w o   r a y  g r o und   M A C  t y p e   802.11   L in k l a y e r   t y pe   LL   I nt e r f a c e  qu e u e  t y pe   D r o p T a il P r iQu e u e   N umbe r   of  n o d e s   100   C lu s te r  he a ds   3, 5, 7   S im ul a ti o n t im e  ( s )   10   I ni ti a t o r  r o ut in g p r o t oc o l   AODV   T o p ol o g y  di m e ns io ns   ( X , Y )   1000, 1000   T r a f f i c  t y p e   T C P           F i gur e   2.   P a c ke t   de l i ve r y   r a t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   623 - 633   630       F i gur e   3.   T h r o ugh put           F i gur e   4.   E n e r gy   c o ns u m pt i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       De e lear ning - bas e opti miz ati on  tec hniques   f or   n e t w o r k   li f e ti me       ( A bhay   R aghunath   Gaidhani )   631   6.   CHAL L E NG E S   AN F UT UR E   DI R E CT I ONS     6. 1.     S c al ab il it an d   r e al - t im e   p e r f o r m an c e   On e   o f   t h e   m a j o r   pr o bl e m s   f o r   W S Ns   i n   us i ng  de e l e a r ni ng  i s   s c a l a bl e   a n r e a l - t i m e   pr o c e s s i n g,   pa r t i c u l a r l y   i bi da t a   a n de n s e   s e n s o r   n e t wor ks .   T h e   m a j o r i t y   o f   s e n s o r   n o de s   a r e   r e s o u r c e - c on s t r a i n e d   w i t h   r e s pe c t   to   pr o c e s s i n po we r ,   m e m o r y   a n e ne r g y .   On - de vi c e   pr o c e s s i ng  a ll o w s   de e l e a r ni ng  m o d e l s   t b e   s c a l e d,   w hi l s t   b e i ng  r e a c t i v e   o n   s uc h   de vi c e s   is   a   bi c ha l l e nge .   T h e   f ut ur e   w o r s h o ul pa y   a t ten t i o n   t de s i g n   l i g h t we i g h t   a n e f f i c i e n t   de e l e a r ni ng  m o de l s   t a i l o r e f o r   W S Ns ,   e s pe c i a l ly   i n   t h e   a s pe c t s   o f   m o de l   c o m pr e s s i o n   ( e . g. ,   pr uni n g,   qua n t i z a t i o n ) ,   a n de pl o ym e n t   o f   e n e r g y - e f f i c i e n t   s o l ut i o ns   t h a o f f e r   a c c e pt a bl e   pe r f o r m a n c e   o n   l im i t e r e s o ur c e s .   R e c e n t   o p t i mi z a t i o n - b a s e c l us t e r i n a n r o u t i n f r a m e wo r ks   h a v e   de m o ns t r a t e i m pr o v e s c a l a bil i t y   i n   d e n s e   W S de pl o y m e n t s   by   e m p l o yi ng  a d v a n c e m e t a - h e ur i s t i c   s t r a t e gi e s   f o r   c l u s t e r - h e a s e l e c t i o n   a n c o v e r a ge   ba l a n c i ng  [ 27] - [ 29] .     6. 2.     S e c u r it an d   p r ivacy  c on c e r n s   S i n c e   de e l e a r ni ng  m o de l s   a r e   b e i n us e w i t W S Ns ,   i t   i s   o f   gr e a t   i m po r t a n c e   to  s e c ur e   a n pr e s e r v e   t h e   c o nf i de n t i a li t y   o f   t h e   da t a .   W S Ns   ge n e r a ll y   d e a l   w i t h   s e n s i t i ve   i nf o r m a t i o n   a n p ot e n t i a ll y   v u l ne r a bl e   t a tt a c ks ,   s uc h   a s   a d ve r s a r i a l   a t t a c or   da t a   l e a ka ge ,   whe n   de e l e a r ni ng  m o de l s   a r e   d e p l o y e d.   T h us ,   i t   i s   n e c e s s a r y   to   de vi s e   s t r o n s e c ur i t y   mea s ur e s   a n pr i v a c y   pr e s e r vi ng  t e c hni que s ,   s uc h   a s   t h o s e   b a s e o n   d i f f e r e n t i a l   pr i va c y   o r   h o m o m o r phi c   e n c r y pt i o n ,   to   p r e v e n t   s e n s i t i ve   i nf o r m a t i o n   f r o m   l e a k a ge   o v e r   t r a i ni ng  a n i nf e r e nc e .   F ur t h e r   s t udi e s   n e e t h a n d l e   t h e s e   s h o r t c o m i ng s   s uc h   t h a t   t h e   s a f e   a nd  s e c ur e   de p l o y m e n t   o f   de e l e a r ni n i n   W S N s   c a n   b e   gua r a n t e e d.     6. 3.     Har d war e   im p l e m e n t at ion   c h al l e n ge s   An o t h e r   i s s ue   i s   t h a t   de p l o y i ng  de e l e a r ni ng  m o de l s   i n t o   s e n s o r   n o de s   i n   a   ha r dwa r e   f o r m .   Ho we v e r ,   t h e   c o m put a t i o n a l   c a pa bil i t y   o f   s e n s o r   n o de s   i s   v e r y   li mi t e a n d   t h e i r   po we r   s uppl i e s   h a v e   s e ve r e   e n e r g y   c o n s t r a i n t s ,   s o   e x e c ut i n de e l e a r ni ng  m o de l s   a t   t h e   e dge   a r e   n ot  r e a l i s t i c   unl e s s   s pe c i a li z e d   h a r dwa r e   a c c e l e r a t o r s   o r   e n e r g y - e f f i c i e n t   a r c hi t e c t ur e s   c a n   b e   pr o vi d e d.   F ut ur e   w o r k   wi ll   f o c us   o n   ha r dwa r e - s o f t wa r e   c o - de s i g n e ne r g y - e f f i c i e n t   pr o c e s s o r   a n h a r dwa r e   a c c e l e r a t or   ( e . g . ,   t e n s o r   p r o c e s s in uni t s   ( T P Us ) f i e l d - pr o gr a m m a bl e   ga t e   a r r a y s   ( F P G As ) )   de s i g ns   t a i l o r e f o r   de e l e a r ni n t a s ks   i n   s e n s o r   n e t wo r ks .   T h e r e   i s   a   n e e f o r   o p t i mi z i ng  t h e   t r a i ni ng  a n i nf e r e n c e   to   w o r wi t hi n   t h e   c o ns t r a i n t s   o f   W S N   n o de s ,   i n   o r de r   to  a c hi e v e   f u ll   pot e n t i a l   o f   t h e   de e l e a r ni ng - b a s e d   o p t i mi z a t i o n   m e t h o ds .     6. 4.     I n t e gr at ion   wit h   e d ge   c om p u t in g   an d   I oT   p l at f o r m s   De e l e a r ni ng -   po we r e o p t i m i z a t i o n   pa r a d i g m s   i n t e gr a t e o n   e dge   c o m put i n a n I o T   pl a t f o r m s   o f f e r   t h e   a bil i t y   t o   i m pr o v e   t h e   i n t e l li ge n c e   a n a uto n o m y   o f   W S N s .   E dge   c o m put i n c a n   b e   us e d   to   pus h   m o r e   i n t e ns i ve   c o m put a t i o n s   t a n   e dge   l o c a t i o n ,   h e l p i ng  t a l l e vi a t e   pr o c e s s i n a t   s e ns o r   n o de s .   C o l l a b o r a t i v e   l e a r ni ng  m o de l s   s uc h   a s   f e de r a t e l e a r ni ng  a n e dge   i n t e ll i ge n c e   ha v e   a l s o   b e e n   pr o p o s e f o r   t h e   d i s t r i b ut e o p t i m i z a t i o n   a n c o o pe r a t i ve   de c i s io n - m a k i ng  i n   de c e n t r a l i z e W S Ns .   F ur t h e r   r e s e a r c h   i s   a l s o   wa r r a n t e to  i nv e s t i ga t e   h o w   c o m m o d i t y   e dge   c o m put i n a n I o T   pl a t f o r m s   o f   de e l e a r ni ng  c o ul be   to uc hl e s s ly   i n t e gr a t e i n t t h e   e r a   o f   W S N s ,   i n   o r d e r   to  a c hi e ve   m o r e   i n t e l l i g e n t ,   s c a l a bl e ,   a n e f f i c i e n t   W S f u n c t i o ni ng .       7.   CONC L USI ON   I n   t hi s   pa pe r ,   we   h a ve   pr e s e n t e a   RL   b a s e met h o d   to   o p t i m i z e   t h e   r o u t i n i n   W S Ns   a n s im pr o v e   t h e   l if e s pa n   o f   n e t wo r a n t h e   e n e r g y   ut i li z a t i o n .   W e   c o n duc t e a n   e x t e ns i ve   s t ud y   w hich   po s e s   t h e s e   de e l e a r ni n g - b a s e o pt i m i z a t i o n   s o l ut i o ns :   n e ur a l   ne t wor ks   f o r   pr e di c t i n e ne r g y ,   DR L   f o r   r o u t i n g,   ge n e r a t i v e   a dve r s a r i a l   n e t wor ks   f o r   h a r v e s t i n g.   T h e   K - m e a ns   c l us t e r i n pr o c e s s   s e l e c t i o n   o f   c l u s t e r   h e a a n t h e   A OD r o u t i n pr oto c o l   h a be e n   c o m bi ne to   r e s u l t   i n t r e m a r ka bl e   i nc r e a s e   i n   pa c ke t   de l i ve r y   r a t i o ,   t h r o ugh pu t ,   a n e n e r g y   e f f i c i e n c y .   T h e   r e s u l t s   o f   o ur   pe r f o r m a n c e   a n a ly s i s   pr o v e   t h a t   de e l e a r nin us i ng   t e c h ni que s   pr o vi de   a   po t e n t i a l   a n e f f e c t i ve   s o l u t i o n   f o r   W S Ns   i o v e r c o m i n s o m e   o f   t h e   l a t t e r s   m a in  c h a ll e n g e s   i n   de c o upl i ng  t h e   e n e r g y   po we r   a n th e   r o u t i n de c i s i o ns .   Our   pr o p o s e d   r e i nf o r c e m e n t   l e a r ni ng   b a s e a ppr o a c h   a l l o ws   f o r   t h e   dy n a mi c   a n a da pti ve   r o u t i n g,   l e a d i ng  to  l o n ge r   n e t wo r k   l i f e t i m e   w it h   l o we r   e n e r g y   c o n s u m pt i o n .   T h e   e x pe r im e n t   s h o we pr on o un c e pr o l o n ge n e t wor k,   e n e r g y   e f f i c i e n t   a n d   s y s t e m   pe r f o r m a n c e   c o m pa r e to   tr a di t i o n a l   r o u t i n pr oto c o l s .   Our   s t udy   i ns i g h t s   hi g hl i g h t   t h e   b e ne f i t s   o f   i n t e gr a t i o n   o f   de e l e a r ni ng  i n t o   c l u s t e r i n a n r o ut i n po l i c i e s   i n   W S N s .   T a ki n a d v a n t a ge s   o f   t h e   po we r f u l   de e l e a r ni ng - b a s e pr o a c t i ve   da t a - dr i v e n   de c i s io n - m a k i ng,   we   a r e   a bl e   to   a d j us t   t h e   W S Ns   i a   t i m e l y   m a nn e r   s o   a s   to   a c hi e ve   t h e   r e a l - t i m e   pe r f o r m a n c e   f o r   t h e   s c a l a bil i t y ,   r o b us t n e s s ,   a n e f f i c i e n c y   i r e s o ur c e - c o n s t r a i n e e nvi r o nm e n t s .   I n   o ur   f ut ur e   w o r k,   we   w i ll   im p l e m e n t   a n c o m pa r e   a d v a n c e de e p   l e a r ni ng   t e c h ni que s   to   e n h a n c e   t h e s e   a l go r i t hm s   a n v e r if y   t h e i r   f e a s i bil i t y   i n   l a r ge - s c a l e   W S N.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 5 ,   N o.   2 J un e   20 2 6 :   623 - 633   632   AC K NOWL E DGM E NT S   T h e   a ut h o r s   wo ul l i ke   t o   t h a n t h e   De pa r t m e n t   o f   C o m put e r   E n g i ne e r i n g,   M E T   I n s t i t ut e   o f   E n g i ne e r i n g,   S a vi t r i b a i   P h u l e   P un e   U ni ve r s i t y ,   Na s hi k,   I n d i a   f o r   pr o vi d i ng  t h e   ne c e s s a r y   s upp o r a n i n f r a s t r uc t ur e   f o r   t h i s   r e s e a r c h .         F UN DI NG  I N F ORM AT I ON    T h e   a ut h o r s   s t a t e   n o   f un d i ng  i s   i nv o l v e d.       AU T HO CONT RI B UT I ONS   S T AT E M E NT   T hi s   j o ur n a l   u s e s   t h e   C o n t r i b ut or   R o l e s   T a x o n o m y   ( C R e d i T )   to  r e c o gni z e   i n d i v i dua l   a ut h o r   c o n t r i b ut i o ns ,   r e duc e   a ut h or s hi d i s put e s ,   a n f a c il i t a t e   c o l l a b o r a t i o n .       Nam e   of   Aut h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Abh a y   R a g h u na t h   Ga i d h a ni                               Am o l   D.   P ot ga n t wa r                                 C     C o n c e pt ua li z a ti o n   M     M e th o d o l o g y   So     So f twa r e   Va     Va li da ti o n   Fo     Fo r ma a na l y s is   I     I nve s ti ga ti o n   R     R e s o u r c e s   D   :   D a ta  C ur a ti o n   O   :   W r it in -   O r ig in a D r a f t   E   :   W r it in -   R e v i e w  &   E di ti ng   Vi     Vi s ua li z a ti o n   Su     Su pe r v is io n   P     P r o j e c a dmi ni s tr a ti o n   Fu     Fu ndi ng a c qui s it i o n         CONF L I CT   OF   I NT E RE S T   S T AT E M E NT     T h e   a ut h o r s   s t a t e   n o   c o n f li c t   o f   i n t e r e s t .       I NF ORM E CONSE NT   W e   h a v e   o b t a i n e i nf o r m e c o n s e n t   f r o m   a l l   i nd i vidua l s   i n c l ude i n   t hi s   s t ud y .       E T HI CA L   AP P ROV AL   T h e   r e s e a r c h   r e l a t e to  a ni m a l   us e   h a s   c o m p l i e wi t h   a l l   t h e   r e l e v a n t   n a t i o na l   r e gu l a t i o ns   a n d   i ns t i t ut i o n a l   po l i c i e s   f o r   t h e   c a r e   a n us e   o f   a ni m a ls .       RE F E R E NC E S   [ 1]   I F A k y il di z ,   W S u,  Y .   S a nka r a s ubr a ma ni a m,  a nd  E C a y ir c i,   A   s ur ve y   o n   s e ns o r   n e tw o r ks ,   I E E E   C om m uni c at io ns   M aga z in e vo l.  40, n o . 8, pp. 102 114, Aug.   2002, d o i:  10.1109/M C O M .2002.1024422.   [ 2]   J N A l - K a r a ki   a nd  A E K a ma l,   R o ut in t e c hni qu e s   in   w ir e l e s s   s e ns o r   ne tw or ks a   s ur v e y ,   I E E E   W ir e le s s   C om m uni c at io ns vo l.  11, n o . 6, pp. 6 28, D e c . 2004, d o i:  10.1109/M W C .2004.1368893.   [ 3]   Y .  L e C un Y .  B e ng io a nd  G . H i nt o n D e e p  l e a r n in g,   N at u r e ,  vo l.  5 21 no 75 53 pp 43 6 44 4,   M a y  2 01 5,  do i:  1 0. 10 38 /n a t ur e 1 45 3 9.   [ 4]   J Y ic k,  B .   M ukhe r j e e a nd  D G h o s a l,   W ir e le s s   s e ns o r   n e tw o r k   s ur ve y ,   C om put e r   N e tw or k s vo l.   52,  n o .   12,  pp.  2292 2 330,  A ug. 2008, do i:  10.1016/j . c o m n e t. 2008.04.002.   [ 5]   P R a w a e al . W ir e le s s   s e ns o r   n e tw o r ks a   s ur ve y   o r e c e nt   de ve l o pm e nt s   a nd  po t e nt ia s y n e r gi e s ,   J our nal   Supe r c o m put   vo l.  68, pp. 1 48, 2014, d o i:  10.1007/s 11227 - 013 - 1021 - 9 .   [ 6]   D G o d f r e y B S uh,  B H L im K . - C L e e a nd  K . - I K im A e ne r g y - e f f i c i e nt   r o ut in p r o t o c o w it r e in f or c e me nt   l e a r ni ng  in   s of twa r e - d e f in e d w ir e l e s s  s e ns o r  n e tw o r ks ,   Se ns or s ,   v o l.  23, n o . 20, Ar t.  n o . 8435, 2023, d o i 10.3390/s 23208435.   [ 7]   F K h or a s a ni   a nd  H .   R N a ji E n e r g y   e f f i c i e nt   da ta   a ggr e ga ti on  in   w ir e l e s s   s e ns o r   n e tw o r ks   us in n e ur a n e tw o r ks ,   I nt e r nat i onal   J our nal  of  S e ns o r  N e tw or k s ,   v o l.  24, n o . 1, pp. 26 42, 2017, d oi 10.1504/I J S N E T .2017.084207.   [ 8]   S Y a da w a a nd  S M J o s hi ,   E n e r g y - e f f ic ie nt   da ta   a ggr e ga ti o n   a nd  c lu s te r - ba s e r o ut in in   w ir e l e s s   s e ns o r   n e tw o r ks   u s in T a s ma ni a f ul l y   r e c u r r e nt   de e l e a r ni ng  ne twor w it pe li c a n   v a r ia bl e   ma r in e   pr e da t o r s   a lg o r it hm,   J our nal   of   I nt e r c onne c ti on  N e tw or k s ,   v o l.  23, n o . 4, Ar t.  n o . 2350005, 2023, d o i:  10.1142/ S 0219265923500056.   [ 9]   M .   S a k th im o h a n J D e n y a nd   G E R a n i,   S e c u r e   de e p   le a r n in g - ba s e e ne r g y   e f f ic ie nt   r o ut i ng   w it i nt r u s io n   de te c t io s y s te m   f or   w ir e le s s   s e n s o r  ne t w o r k s ,   J o u r n al   o I n t e ll ig e nt   an d   F u z z y   Sy s te m s ,   v o l.  4 6,  no .  4 pp 85 87 8 60 3,  2 02 4,  do i 10 .3 23 3/ J I F S - 2 35 51 2 .   [ 10]   N K a pi l e s w a r J S i m o n,  P S a nka r a na r a y a na n,  N K M a nd  A V R E ne r g y - e f f i c i e nt   r o ut in g   in   w ir e l e s s   s e ns o r   n e tw or ks   us in de e p Q - l e a r ni ng a nd a da pt i ve  t hr e s h o ld - ba s e c lu s t e r in g,   in   P r oc . 7t I nt e r nat io nal  C onf e r e nc e  on I nt e ll ig e nt  Sus ta in abl e  Sy s t e m s   ( I C I SS) ,   I ndi a , 2025, pp. 377 383, d o i:  10.1109/ I C I S S 63372.20 25.11076402.   [ 11]   Z H a s a ni   e al .,   D e e r e in f o r c e m e nt   le a r n in g - ba s e m e c ha ni s to   im pr ove   th e   th r o ughput  of   E H - W S N s ,   Sc ie nt if ic   R e por t s vo l.   15, Ar t.  no . 28321, 2025, d o i 10.1038/s 41598 - 025 - 14111 - y.   [ 12]   A .   C ho w dh ur y   a n d   D D e ,   E ne r g y - e f f ic ie nt   c o v e r a ge   o pt im iz a t io n   i w ir e le s s   s e n s o r   ne t w o r k s   b a s e d   o V o r o no i G lo w w o r m   s w a r o pt im iz a t io n K - me a n s   a l go r it hm,   A d  H o c   N e tw o r k s v o l.   12 2,  A r t.  no .  1 02 66 0,  N o v 20 21 do i:   10 .1 01 6/ j. a d ho c .2 02 1. 10 26 60 .   [ 13]   M S e lv a r a a nd  S S a nt ha na m,  D e e le a r ni ng - ba s e e n e r g y   pr e di c ti o in   w ir e l e s s   s e ns o r   ne twor ks ,   I nt e r nat io nal   J our nal   of  B io - I ns pi r e d C om put at io n v o l.  24, n o . 3, pp. 176 190, 2024, d o i 1 0.1504/I J B I C .2024.141691.   Evaluation Warning : The document was created with Spire.PDF for Python.