I nte rna t io na l J o urna l o f   P o wer   E lect ro nics   a nd   Driv e  S y s t em   ( I J P E DS)   Vo l.  1 7 ,   No .   3 ,  Sep tem b er   20 2 6 ,   p p .   2 1 2 7 ~ 2 1 4 8   I SS N:  2 0 8 8 - 8 6 9 4 ,   DOI : 1 0 . 1 1 5 9 1 /ijp ed s . v 1 7 . i 3 . p p 2 1 2 7 - 2 1 4 8           2127       J o ur na l ho m ep a g e :  h ttp : //ij p e d s . ia esco r e. co m   TCM - F o rmer :  a  t ra nsfo rmer wi th  t empo ra l conv o lution    for pho tov o ltaic p o wer f o recas ting       Sa ra b Al - C hla iha wi 1 ,  M o ha m m ed  A.   T .   Alrubei 2 ,  F a ris A.   Alha dd a d 3   1 Te c h n i c a l   E n g i n e e r i n g   C o l l e g e   o f   N a j a f ,   A l - F u r a t   A l - A w sa t   T e c h n i c a l   U n i v e r si t y ,   A l - N a j a f ,   I r a q   2 C o m mu n i c a t i o n   D e p a r t me n t   o f   N a j a f   Te c h n i c a l   I n st i t u t e ,   A l - F u r a t   A l - A w s a t   T e c h n i c a l   U n i v e r si t y ,   A l - N a j a f ,   I r a q   3 El e c t r i c a l   D e p a r t me n t   o f   N a j a f   Te c h n i c a l   I n st i t u t e ,   A l - F u r a t   A l - A w sat   Te c h n i c a l   U n i v e r s i t y ,   A l - N a j a f ,   I r a q       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 9 ,   2 0 2 5   R ev is ed   Au g   6 ,   2 0 2 6   Acc ep ted   Au g   1 9 ,   2 0 2 6       To   tac k le  t h e   p r o b lem   o f  m o d e li n g   lo n g - term   tren d s  a n d   sh o rt - term   a n d   h ig h - fre q u e n c y   v a riati o n s  in   P V  ti m e   se ri e s,  a   stro n g   a n d   e fficie n t  fo re c a stin g   m o d e l  o f   p h o t o v o lt a i c   (P V)  p o we r  g e n e ra ti o n   is  a d v a n c e d .   T h is  p a p e r  p re se n ts  S TL - TCM - F o rm e r,   a   h y b ri d   m o d e l   th a t   b re a k s   d o wn   t h e   ra w   P V  sig n a l  wit h   se a so n a l - tren d   d e c o m p o siti o n   wit h   LOES S   (S TL )  in to   tre n d   a n d   se a so n a l   c o m p o n e n ts.  T h e se   e lem e n ts  a re   a fter  th a t  p ro c e ss e d   v ia  a   d u a l   p a th   e n c o d e r  d e c o d e r   t ra n sfo r m e r  a rc h it e c tu re   th a t  is  imp r o v e d   wit h   a   tem p o ra l  c o n v o l u ti o n a l  m o d u le  ( TCM ).   Th e   p e ri o d   (tra n sfo rm er - b a se d )  p a th   is  u se d   f o r  c a p tu ri n g   th e   g l o b a l,   lo n g - ra n g e   d e p e n d e n c ies   in   se a so n a l   c o m p o n e n t  a n d   t e m p o ra l  (TCM )   p a th   is   u se d   to   e x trac t  th e   lo c a li z e d ,   sh o rt - term   d y n a m ics .   Tren d   c o m p o n e n t  is  p ro c e ss e d   with   a   d e d ica ted   TCM   b ra n c h ,   m i n imiz in g   c o m p o n e n t   in terfe re n c e s  a n d   p ro v id in g   a   m u lt isc a le  tem p o ra l  re p re se n tatio n ,   s p e c ifi c   to   P V  g e n e ra ti o n   p a tt e rn s.  T h e   p ro p o se d   m o d e l  wa s  e v a lu a ted   o n   t h e   Yu l a ra   (Ulu ru )  so lar  d a tas e t  u n d e r  s h o rt - term   (6 0 - h o u r)  a n d   lo n g - term   (3 0 0 - h o u r)  f o re c a stin g   h o riz o n s.  C o m p a re d   with   b e n c h m a rk   m o d e ls  in c lu d i n g   L S TM ,   WOA - LS T M ,   V M D - LS T M ,   WOA - VMD - LS TM ,   a n d   h y b rid   WOA/VM D/LS TM   c o n fi g u ra ti o n s,  S TL - TCM - f o rm e r  a c h iev e d   su p e ri o r  p e rfo r m a n c e   with   R²   =   9 9 . 7 6 % ,   M AP E  ≈  2 . 2 4 % ,   RM S E  =   1 6 . 6 3 ,   a n d   M AE  =   1 0 . 3 6 .   I n   a d d i ti o n ,   th e   P JM  i n terc o n n e c ti o n   d a tas e t  wa s  a lso   e m p lo y e d   to   e v a lu a te  th e   g e n e ra li z a ti o n   c a p a b il i ty   o f  t h e   p ro p o se d   m e th o d .   Th e   re su lt s  d e m o n str a te  h ig h   a c c u ra c y ,   sta b il it y ,   a n d   stro n g   g e n e ra li z a ti o n   c a p a b i li ty   u n d e r  v a r y in g   e n v iro n m e n tal  c o n d i ti o n s.   K ey w o r d s :   Ph o to v o ltaic  p o wer   f o r ec asti n g   Seaso n al – tr en d   d ec o m p o s itio n   v ia  L OE SS   So lar   en er g y   p r e d ictio n   STL   d ec o m p o s itio n   T im e  s er ies  f o r ec asti n g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sar ab   A l - C h laih awi   T ec h n ical  E n g i n ee r in g   C o lleg e  o f   Naja f ,   Al - Fu r at  Al - Awsat  T ec h n ical  Un iv er s ity   3 1 0 0 1   Al - Naja f ,   I r a q   E m ail:  in j.sr b @ atu . ed u . iq       1.   I NT RO D UCT I O N   As  th e  wo r ld   u n d er g o es  a  r ap i d   tr an s itio n   to war d s   th e  u s e  o f   r en ewa b le  en e r g y   s o u r ce s ,   p h o to v o ltaic   ( PV)   p o wer   g en er atio n   h as  b ec o m e  an   ess en tial  elem en t  o f   r en ewa b le  en er g y   p o r tf o lio s   [ 1 ] .   T h e  g r o win g   n a t u r e   o f   s o l a r   e n e r g y   i n t o   m o d e r n   p o w e r   g r i d s ,   h o w e v e r ,   p o s e s   a   g r e a t   c h a l l e n g e   a s   i t   e n t a i ls   i n h e r e n t  i n t e r m i tt e n c y   a n d   v a r y i n g   r e lia n c e   o n   o t h e r   f a c t o r s   li k e   s o la r   i r r a d i a n c e ,   t e m p e r a t u r e ,   a n d   c l o u d   c o v e r   [ 2 ] .   S t a b l e ,   e f f i c ie n t ,   a n d   e c o n o m ic a l   f u n c t i o n i n g   o f   p o w e r   s y s te m s   t h e r e f o r e   r e q u i r e s   a c c u r at e   a n d   r e li a b l e   P V  p o w e r   f o r e c a s ti n g .   P r e c is e   P V   p o w e r   p r e d i c t i o n   is   h i g h l y   p r a ct i c a l ,   w h i c h   c a n   d i r e c t l y   s u p p o r t   m a j o r   o p e r a t i o n al  p r o c e s s es ,   i n cl u d i n g   g r i d   s c h ed u l i n g ,   e n e r g y   t r a d i n g ,   a n d   o p ti m i z a ti o n   o f   s t o r a g e .   H i g h e r   q u a l i t y   f o r e c as ts   wi l l  a l l o w   o p e r a t o r s   t o   m a n a g e   t h e   b a l a n c e   b e t w e e n   s u p p l y   a n d   d e m a n d   m o r e   e f f i c i e n t l y ,   m a k e   b e t t e r   d e c i s i o n s   i n   t h e   m a r k e t ,   a n d   m a n a g e   s t o r ag e   a s s e ts   m o r e   e f f i ci e n t l y .   T h e r e f o r e ,   t h e y   r e q u i r e   h i g h   a c cu r a c y   w i t h   r e g a r d   to   p r e d i c t i n g   t h e   s y s t e m   p e r f o r m a n c e   a n d   e n a b l i n g   a   l a r g e - s c a le   i n t e g r a t i o n   o f   P V   [ 3 ] ,   [ 4 ] .   D e s p i t e   t h e   l a r g e   b o d y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 6 9 4   I n t J Po w  E lec  &   Dr i Sy s t ,  Vo l.  1 7 ,   No .   3 ,  Sep tem b er   20 2 6 :   2127 - 2 1 4 8   2128   o f   r e s e a r c h   o n   t h i s   t o p i c ,   PV   p o w e r   f o r e c a s t i n g   is   a   c o m p l e x   p r o b l e m   w i t h   s t o c h as t ic i t y ,   n o n l i n e a r i t y   a n d   c l o s e   t e m p o r a l   c o r r e l at i o n s .   C o n v e n ti o n a l   s t a t is ti c a l   m o d el s ,   l i k e   a u t o r e g r e s s i v e   i n te g r a t e d   m o v i n g   a v e r a g e   ( AR I M A )   a n d   e x p o n e n t i a l   s m o o t h i n g   m o d e l s   a r e   n o t   a lw a y s   s u f f i c i e n t   t o   d e s c r i b e   n o n l i n ea r   d y n a m i c s   a n d   m u l ti - s c al e  v a r i a b i l it y   o n   s o l a r   p o w e r   d a t a   [ 5 ] ,   [ 6 ] .   M a c h i n e   l e a r n i n g   ( M L )   s y s te m s ,   li k e   r a n d o m   f o r e s ts   ( R F ) ,   s u p p o r t   v e c t o r   m a c h i n es   ( S V M )   a n d   th e   a r t i f ic i a l  n e u r a l   n et w o r k   ( AN N )   h a v e   i n c r e as e d   t h e  a c c u r a c y   o f   p r e d i c ti o n   b y   l e a r n i n g   n o n l i n e a r   t r e n d s ,   b u t   th e s e   s y s t e m s   c o n t i n u e   t o   f a i l   in   c a p t u r i n g   t h e   l o n g - t e r m   r e l a t io n s   a n d   i n   t e m p o r a l   c h a n g e s   [ 7 ] .   G a t e d   r e c u r r e n t   u n i t s   ( GR U )   a n d   l o n g   s h o r t - t e r m   m e m o r y   ( L S T M )   a r e   r e c u r r e n t   n e u r a l   n e t w o r k   ( R N N )   a n d   d e e p   le a r n i n g   m o d e l s ,   w h i c h   w e r e   m aj o r l y   u t i li z ed   f o r   p r e d i c t i n g   P V   p o w e r   [ 8 ] .   S u c h   a r c h i t e ct u r e s   a r e   v e r y   g o o d   a t   c a p t u r i n g   t i m e   s e r i es   s e q u e n t i al   d e p e n d e n c ie s ;   n e v e r t h el e s s ,   t h e y   h a v e   a   n u m b e r   o f   l i m i t a ti o n s .   L S T M - b a s e d   m o d e l s   a r e   p r o n e   t o   t h e   p r o b l e m   o f   v a n i s h i n g   g r a d i e n t s ,   h i g h   c o m p u t a t i o n a l   c o s ts ,   a n d   a   r e d u c e d   c a p a c i t y   t o   e f f e c t i v e l y   l e a r n   l o n g   t e r m   t e m p o r a l   p a t t e r n s .   B esi d e s ,   t h e i r   e f f e c ti v e n e s s   r e d u c e s   w i t h   c o m p l i c at e d   p e r i o d i c i t i es   o r   a b r u p t   a l t e r at io n s   a s   a   r es u l t   o f   m et e o r o l o g ic a l   c o n d i t i o n s   [ 9 ] .   T r a n s f o r m er - b a s e d   a r c h i te c t u r e  h a s   b e c o m e   a   s t r o n g   c o m p e t i t o r   t o   t i m e   s e r i e s   m o d e l i n g   o v e r   t h e   p a s t   f e w   y e a r s   b e c a u s e   o f   t h e i r   s e l f - a t te n t i o n   m e c h a n i s m   ( A M )   t h a t   a l l o w s   t h e m   t o   e f f e c t i v e l y   m o d e l   l o n g - r a n g e   c o r r e l a t i o n s   a n d   c o m p l i c a t e d   t e m p o r a l  i n t e r a c ti o n s   [ 1 0 ] .     T h o u g h   t h e   r e c e n t l y   s u g g e s t ed   L S T M -   a n d   t r a n s f o r m e r - b a s e d   P V   f o r e c as t i n g   m o d e ls   h av e   a l r e a d y   s h o w n   t h e   p r o m i s i n g   p e r f o r m a n c e ,   a   n u m b e r   o f   r e s e a r c h   g a p s   e x i s t .   S p e ci f i c al l y ,   t h e   v a s t  m a j o r i t y   o f   c u r r e n t   m e t h o d s   c a n n o t   e f f e c ti v e l y   a n d   s i m u l t a n e o u s l y   c a p t u r e   b o t h   s h o r t - t e r m   l o c al   d y n a m i c s   a n d   l o n g - t e r m   t e m p o r a l  d e p e n d e n c i e s   o n   u n i f i e d   p l at f o r m .   T h e   s t a n d a r d   t r a n s f o r m e r   m o d e l s   d o   n o t   u s u a l l y   p r o v i d e   s u f f i ci e n t  r e p r e s e n t a ti o n   o f   l o c a l i z e d   tem p o r a l   v a r i a t i o n s   t h a t   a r e   v e r y   i m p o r t a n t   i n   s o l a r   p o w e r   g en e r a t i o n   r e s u l ti n g   i n   l o w e r e d   a c c u r a c y   i n   h i g h l y   d y n a m i c   s e t ti n g s   [ 1 1 ] ,   [ 1 2 ] .   C o n s e q u e n t l y ,   t h e s e   c h al l e n g es  c a n   b e   r e s o l v e d   b y   c r e a t i n g   a   m o d e l   t h a t   c a n   c o l le c t i v e l y   l e a r n   l o c al   t e m p o r a l -   a n d   l o n g - r a n g e   d e p e n d e n c i e s   i n   o n e   a r c h i t e c t u r e ,   a n d   t h e r e b y   e n h a n c e   P V   p o w e r   f o r e c a s t i n g   p e r f o r m a n c e .   E v e n   t h o u g h   v a r i o u s   h y b r i d   t r a n s f o r m e r   b a s e d   m o d e ls   d i s c u s s e d   i n   t h e   l i t e r at u r e   h a v e   t r i e d   t o   i m p r o v e   f o r e c a s t i n g   a c c u r a c y   b y   i n t e g r a t i n g   t r a n s f o r m e r   m o d e l s   w i t h   c o n v o l u t i o n a l   n e t w o r k s ,   r e c u r r e n t   n e t w o r k s ,   o r   ti m e   s e r i es   d e c o m p o s i t i o n ,   m o s t   o f   s u c h   m o d e l s   i n cl u d e   o t h e r   m o d u l e s   i n   a n   a d   h o c   m a n n e r   w i t h o u t   a   s p e ci f i c   m e c h a n i s m   o f   m o d e l i n g   v a r i o u s   f o r m s   o f   t e m p o r a l   d e p e n d e n c i e s .   T h e   m a i n   d i f f e r e n c e   o f   t h e   p r o p o s e d   m e t h o d   i s   t h e   d e s i g n   a n d   i n t e g r a t i o n   o f   a   t e m p o r a l  c o n v o l u t i o n a l   m o d u l e   ( T C M )   a s   a   s p e ci a l   p u r p o s e   c o m p o n e n t   t o   l e a r n   t h e   t r e n d   s u b s e r i es .   I n   t h i s   d e s i g n ,   T C M  i s   n o t   j u s t   a n   a u x i l i a r y   c o n v o l u t i o n a l   b l o c k ;   i t   i s   e x p l i c it l y   ta s k e d   wi t h   t h e   r o l e  o f   e x t r a c t in g   l o n g   t e r m ,   n o n - s t a ti o n a r y ,   a n d   m u l t i   s c a l e   v a r i a t i o n s   t h at   a r e   e m b e d d e d   w i t h i n   t h e   t r e n d   c o m p o n e n t .   T e m p o r a l   c o n v o l u t i o n a l  s t r u c t u r es   e n a b l e   T C M   m o d e l s   t o   m o d e l   l o c a l   a n d   c o n t i n u o u s   d e p e n d e n c i e s   m o r e   e f f e c t i v e l y   t h a n   A Ms .   C o n v e r s e l y ,   t h e   t r a n s f o r m e r   is   o n l y   t a s k e d   w i t h   le a r n i n g   l o n g   r a n g e   d e p e n d e n c i e s   a n d   p e r i o d i c   p a t t e r n s   t h a t   e x i s t   i n   t h e   s e as o n a l   c o m p o n e n t .   T h i s   l e a r n i n g   t as k   d e c o u p l i n g   o f   T C M   a n d   t r a n s f o r m e r   e n s u r e   t h a t  e a c h   s u b n e t w o r k   f o c u s e s   o n   a   s p e c i f i c   c l a s s   o f   t e m p o r a l   p a t t e r n ,   w it h o u t   t h e   i n f o r m a t i o n   i n t e r f e r e n c e   t h a t   i s   c o m m o n   t o   m o s t   h y b r i d   t r a n s f o r m e r   d es i g n s .   T h e  p r o p o s e d   a p p r o a c h   a i m s   n o t   o n l y   a t   i n t e g r a t i n g   a  n u m b e r   o f   e x i s t i n g   e l e m e n ts ,   b u t   at   c r e at i n g   a   p u r p o s e - d r i v e n   a r c h i t ec t u r e   i n   w h i c h   T C M   is   t h e   c e n t r al   el e m e n t   i n   t r e n d   m o d el i n g   a n d   t h e   c o m p l e m e n t   o f   t h e   t r a n s f o r m e r .   I t   i s   t h i s   p a r t i c u la r   a r c h i t e c t u r a l   d es i g n   t h a t   m a k e s   t h e   p r o p o s e d   m o d e l   u n i q u e   i n   c o m p a r i s o n   t o   m o s t   o f   t h e   l i t e r a t u r e' s   t r a n s f o r m e r - b a s e d   h y b r i d   a p p r o a c h e s .   T h i s   p a p e r   p r e s e n t s   t h e  n e w   h y b r i d   s y s t e m   d u b b e d   S T L - T C M - F o r m e r   t o   m e e t   t h e   c h a l l e n g e s ,   c o m p r is i n g   o f   S T L   d e c o m p o s i t i o n   a n d   a   d u a l - p a t h   t r a n s f o r m e r   m o d e l   w i t h   T C M .   I t   is   a ls o   n o t a b l e   th a t   t h e   T C M - F o r m e r   c a n   b e   v ie w e d   a s   a   s u c c es s f u l  b r i d g e   o f   g l o b a l   m o d e l i n g   a n d   l o c a l   f e a t u r e   l e a r n i n g ,   w h e r e   t h e   t r a n s f o r m e r   c a p t u r e s   t h e   l o n g - r a n g e   d e p e n d e n c i e s ,   a n d   T C M   l ea r n s   t h e  f i n e - g r a i n e d   t e m p o r a l   v ar i a t i o n s ,   t o   u n it e   t h e  t w o   m e t h o d s   i n   a  d i s t i n c ti v e  a n d   c o m p l e m e n t a r y   m a n n e r   t h a t   i s   e f f e c t i v e  i n   PV   f o r e c a s t i n g .   T h e   s t r u c t u r e   w o u l d   b e   e f f e ct i v e   i n   c a p t u r i n g   t h e   l o n g - t e r m   p e r i o d i c   a n d   t h e   s h o r t - t e r m   v a r i at i o n   i n   P V   p o w e r   d a t a .   S T L   d e c o m p o s it i o n   s e p ar a t e s   t h e   t r e n d   a n d   s e as o n a l   p a r ts ,   w h i c h   a r e   f u r th e r   e n h a n c e d   t o   o b ta i n   m u lt is c a l e   t e m p o r a l   f e at u r e s .   T h e   d u a l - p a t h   a r c h it e c t u r e  r e d u c e s   c o m p o n e n t   i n t e r f e r e n ce ,   i n c r e a s es   m o d e l   i n t e r p r e t a b ili t y ,   a n d   b o o s t s   r o b u s t n e s s .     T h e   m a j o r   c o n t r i b u t i o n s   o f   t h e   p r e s e n t e d   s t u d y   c o u l d   b e   s u m m e d   u p   a s   f o l l o ws :   i)   C r e a ti o n   o f   a   n e w   P V   p o w e r   p r e d i c t i v e   s y s t e m   n a m e d   t e m p o r a l   c o n v o l u t i o n a l   m o d u l e   e n h a n c e d   t r a n s f o r m er   ( T C M - F o r m e r ) :   T h e   s u g g e s ted   m o d e l ,   n a m e d   T C M - F o r m e r ,   s i m u lt a n e o u s l y   c a p t u r es   g l o b a l   a n d   l o c al  t e m p o r a l   d e p e n d e n c i e s   wi t h   t h e   u s e   o f   a   d u a l - p a t h   s t r u c t u r e ,   w h i c h   i n t e g r a t es   tr a n s f o r m e r - b a s e d   b l o c k s   a n d   T C M   b l o c k s .   T C M - F o r m e r   al l o w s   r i c h e r   a n d   m o r e   c o m p r e h e n s i v e   m u lt i   s c al e   t e m p o r a l   r e p r e s e n t a t i o n   r e g a r d i n g   P V   p o w e r   t i m e - s e r ies   d a t a   b y   j o i n t   m o d el l i n g   l o n g - te r m   t r e n d s   a n d   s h o r t - t e r m   s e aso n a l   v a r i a t i o n .   ii)   U t i li z a ti o n   o f   s e as o n a l - t r e n d   d e c o m p o s i t i o n   u s i n g   l o es s   ( S T L ) :   U s i n g   S T L   d e c o m p o s i t i o n   t o   d i v i d e   t h e   ti m e  s e r i es   i n t o   t w o   p r i n c i p al   c o m p o n e n t s - t r e n d   a n d   s e as o n a l -   th e   l e a r n i n g   m o d e l   c a n   ca p t u r e   t h e   l o n g - t e r m   v a r i a t i o n s   a n d   s h o r t - t e r m   p e r io d i c   v a r i a t i o n s   i n   t h e  t i m e   s er i e s   i n d e p e n d e n tl y   a n d   p r e c is e l y .   T o   a   l a r g e  e x t e n t ,   t h is   s e p a r a ti o n   r e d u c e s   i n f o r m a t i o n   i n t e r f e r e n c e  a n d   o v e r l a p   a m o n g   c o m p o n e n t s ,   t h u s   i m p r o v i n g   t h e  g e n e r a l i z a ti o n   a b i l it y   o f   t h e   m o d e l   t o   d e a l   wi t h   t e m p o r a ll y   d y n a m i c   a n d   c l i m at e - d e p e n d e n t   d at a s et s .   iii)   I n t e g r a t i o n   o f   c o m p l e m e n t a r y   p e r i o d i c   a n d   t e m p o r a l   f e at u r e s :   T h e   e n c o d e r – d e c o d e r   a r c h i t ec t u r e   i s   u s e d   to   c o m b i n e   t h e   o u t p u t   o f   tw o   p a r al l e l   s u b   m o d u l e s   p e r i o d   m o d u l e   a n d   t h e   t e m p o r a l  m o d u l e .   T h e   P e r i o d   m o d u l e  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Po w  E lec  &   Dr i Sy s t     I SS N:   2088 - 8 6 9 4       TC M - F o r me r :   a   tr a n s fo r mer  w ith   temp o r a l c o n vo lu tio n   fo r   p h o to v o lta ic  p o w er   …   ( S a r a b   A l - C h la ih a w i )   2129   u s e s   at t e n ti o n   i n   o r d e r   t o   e x t r ac t   l o n g - r a n g e   d e p e n d e n c i e s   a n d   t h e   t e m p o r a l   m o d u le ,   w h ic h   i s   b as e d   o n   t h e  T C M ,   c o n c e n t r a t es   o n   t h e   s h o r t - t e r m   l o c al   t e m p o r a l  p a t t e r n s .   T h i s   d u a - p a t h   f u s i o n   c a n   p r o v id e   c o m p l e t e   a n d   e n h a n c e d   m u l t i s c a l e   f e at u r e s   r ep r e s e n t a ti o n s   o f   PV   p o w e r   t i m e - s e r i es   d a t a .   i v )   A p p l i c a ti o n   o f   t h e   T C M   m o d u l e   f o r   t r e n d   c o m p o n e n t   m o d e l i n g :   I t   u s e s   a   s p e c ia l   T C M   m o d u l e   t o   m o d e l   t h e  t r e n d   c o m p o n e n t   ( X T r e n d )   t h a t   s e e k s   t o   c a p t u r e   l o n g - t e r m   t e m p o r a l   d y n a m i c s   a s   w e l l   as   n o n - s t a t i o n a r y   v a r i a t i o n s   o f   P V   p o w e r   d a t a .   A l s o ,   t h e   p r o p o s e d   d e s i g n   h a s   b e t t e r   p r e d i c t i v e   a c c u r a c y   a n d   r o b u s t n e s s   t o   n o i s e   as   c o m p a r e d   t o   t r a d i ti o n al   m o d e l s   t h at   a p p r o x i m a t e   t h e   tr e n d   b y   u s i n g   l i n e a r   m o d e l s   o r   s h a l l o w   l a y e r s .   T h e   i m p o r t a n c e   o f   t h i s   r e s e a r ch   i s   t h a t   i t   c o u l d   f u r t h e r   d e v e l o p   t h e   r e s e a r c h   c o m m u n i t y   a n d   t h e   u s e  o f   P V   p o w e r   f o r e c as t i n g .   P r e c is e   a n d   r e l i a b l e   P V   f o r e c as t i n g   i s   es s e n t i a l   i n   i n c r e as i n g   g r id   s t a b i li t y ,   e n e r g y   m a n a g e m e n t   o p t i m i z a ti o n ,   a n d   f a c i l i t at i n g   t h e   l a r g e   s ca l e   i n te g r a t i o n   r e g a r d i n g   r e n e w a b l e   e n e r g y   s o u r c e s .   T h e  p r o p o s e d   a p p r o a c h   h e l p s   t o   d e v e l o p   m o r e   e f f i c i e n t   a n d   r o b u s t   f o r e c a s t i n g   f r a m e w o r k s ,   a s   it   d e a l s   w it h   s o m e   o f   t h e   m a i n   i s s u e s   i n   m o d e l i n g   c o m p l e x   t e m p o r a l   d y n a m i c s .   As   a   r e s e a r c h   p e r s p e ct i v e ,   f i n d i n g s   g i v e   u s   a n   i n s i g h t   i n t o   h o w   t o   i m p r o v e   t i m e   s er i e s   l e a r n i n g   t o   p r o p e r l y   m a n a g e   d i f f e r e n t   t e m p o r a l   p a t t e r n s .   P r a c ti c a ll y ,   t h e  e n h a n c e d   f o r e c a s t i n g   a c c u r a c y   c a n   g u i d e   g r i d   o p e r a t o r s ,   e n e r g y   p l a n n e r s   a n d   s m a r t   g r i d   s y s t e m s   f o r   m a k i n g   w e l l - i n f o r m e d   d e c i s i o n s ,   d e cr e a s e   t h e   o p e r a t i o n a l   u n c e r t ai n t y   a n d   e n h a n c e   t h e   o v e r a l l   p e r f o r m a n c e   a n d   s u s ta i n a b i li t y   o f   t h e   e n e r g y   s y s t e m s .   T h e   r e s e a r c h   i s   s t r u c t u r e d   a s   f o l l o w s :   i )   S e c ti o n   2   p r o v i d e s   a   c o m p r e h e n s i v e   r e v i e w   o f   t h e   l i t e r a t u r e   i n   t h e   f i el d   o f   P V   p o we r   f o r e c ast i n g ;   ii )   S e c ti o n   3   e x p l ai n s   t h e   m e t h o d o l o g y   o f   t h e  p l a n n e d   S T L - T C M - f o r m e r   m o d e l ;   i ii )   S ec t i o n   4   p r o v i d es  t h e   e x p e r i m e n t al   f i n d i n g s   a n d   i n c l u d e s   q u a n ti t a ti v e   a n d   q u a l i t at i v e   a n al y s is   o n   m o d e l   p e r f o r m a n c e ;   a n d   i v )   S ec t i o n   5   s u m m a r i z es   t h e   r es e a r ch   a n d   p r e s e n t s   p o s s i b le   f u t u r e   r e s e a r c h   d i r e ct i o n s .       2.   RE L AT E D   WO RK   I n   th e  r ec e n t  p ast,  PV  p o wer   p r ed ictio n   h as  r ec eiv ed   m u ch   atten tio n   o n   h y b r id   d ee p   lear n in g   ( DL )   ar ch itectu r es  to   en h an ce   p r e d ictio n   ac cu r ac y   a n d   r o b u s t n ess .   C GAf o r m er   m o d el  [ 1 3 ]   co n s is ts   o f   o n e - d im en s io n al  co n v o lu tio n al  n e u r al  n etwo r k s   ( C NN1 D)   f o r   e x tr ac tin g   lo ca l  f ea tu r es,  a  Glo b al  Ad d itiv e  AM   f o r   ca p tu r in g   g lo b al  d ep en d en cies,  an d   an   au to - co r r elatio n   m o d u le  to   lear n   p er io d ic  p atter n s .   T h e  last   p r ed ictio n   is   p r o d u ce d   b y   a  m u ltil ay er   p e r ce p tr o n   ( ML P).   E x p er im e n tal  f in d in g s   in d icate d   th at   th e  s u g g ested   m o d els  ar e   s ig n if ican tly   b etter   th a n   th e  t r ad itio n al  L STM   m o d els  in   ter m s   o f   R MSE   an d   MA E ,   a n d   also   in   ter m s   o f   g en er aliza tio n .   Nev er t h eless ,   t h e  co m p lex ity   o f   th e  m o d el  a n d   its   d ep en d en ce   o n   lar g e - s c ale   d ata  m ay   b e  th e   o n ly   r estrictio n s .   A  h y b r id   m o d el  th at  in co r p o r ates  a  b etter   wh ale  v ar iatio n al  m o d e  d ec o m p o s itio n   ( I W VM D)   with   a  co n tex t - e m b ed d ed   ca u s al  co n v o lu tio n al  t r a n s f o r m e r   ( C C T r an s )   is   p r esen ted   in   [ 1 4 ]   to   s o lv e  th e  task   o f   lo n g - s eq u e n ce   f ea tu r e   ex tr ac ti o n .   T h e  o p tim izatio n   s tr ateg y   o f   th e   C D C T F  also   im p r o v es  th e  p er f o r m a n ce   o f   f o r ec asti n g .     C o m p ar ab le,   [ 1 5 ]   p r esen ts   a  m u lti - s tep   p r ed ictio n   m o d el  th at  in teg r ates  C NN  a s   a   s h o r t - ter m   d y n am ics  n etwo r k   a n d   t r a n s f o r m er   f o r   l o n g - te r m   d e p e n d en cies.  Alth o u g h   t h ese  m eth o d s   b ased   o n   t r an s f o r m er s   ar e  ef f ec tiv e  at  ca p tu r in g   g l o b al  tem p o r al  in ter ac tio n s ,   th ey   ca n   h av e  d if f i cu lty   at  ca p tu r in g   s h o r t - ter m   o r   lo ca l   v ar iatio n   b ec au s e  o f   th eir   in h er en t  f o cu s   o n   lo n g - r a n g e  d ep en d en cies  a n d   g l o b al  AM s .   I n   o r d er   to   ca p tu r e  lo ca l  tem p o r al  d y n am ics,  a  n u m b er   o f   s tu d ie s   in teg r ate  co n v o lu tio n al  an d   r ec u r r e n t  ar ch itectu r es.  T h e  T C N - E C ANe t - GR U  m o d el  [ 1 6 ]   c o m b in es  th e  tim e  co n v o lu tio n a l  n etwo r k s   ( T C N) ,   ef f icien t  ch an n el  atten tio n ,   a n d   GR U  to   p r o ce s s   n o n lin ea r   an d   h ig h - d im e n s io n   PV  d a ta  d u r in g   d if f er e n t  wea th er   co n d itio n s .   T h e  m o d e l h as a n   ex ce llen t p e r f o r m an ce   in   all  s ea s o n s .     Similar ly ,   [ 1 7 ]   s u g g ests   a  co m p lex   h y b r id   f r am ewo r k   ( I C E E MD AN - T C N - B iL STM - M HA)   wh ich   b r ea k s   th e  s ig n als  d o wn   in to   in tr in s ic  m o d e  f u n ctio n s   an d   i n tr o d u ce s   AM s   to   a m p lify   th e   f ea tu r e   r ep r esen tatio n ,   lead in g   to   g r ea ter   s tab ilit y   in   d if f er en t   wea th er   co n d itio n s .   T r a n s f o r m e r - b a s ed   ar ch itectu r e   h as  also   b ee n   ex p an d ed   to   m e d iu m -   an d   lo n g - ter m   f o r ec a s tin g .   SP - t r an s f o r m er ,   p r ese n ted   in   [ 1 8 ] ,   u s es  s p atio tem p o r al  p o s itio n al  en co d in g   an d   s elf - atten tio n   f o r   ca p tu r i n g   th e  r elatio n s   b et wee n   g eo g r ap h ical,   m eteo r o lo g ical,   an d   PV d ata.     I n   [ 1 9 ] ,   th e  I FTf o r m e r   m o d el  in co r p o r ates  o u tlier   d etec t io n ,   tim e - s er ies  d ec o m p o s itio n ,   an d   a   Pro Sp ar s e  AM   to   im p r o v e   p r ed ictio n   ac cu r ac y   an d   r o b u s tn ess .   E v en   th o u g h   th ey   o u tp er f o r m ,   th e s e  t r an s f o r m er - b ased   m o d els  co n tin u e  to   h av e   d r awb ac k s   in   te r m s   o f   th eir   a b ilit y   to   ca p tu r e   f in e - g r ain ed   lo ca l   v ar iatio n s   an d   s h o r t - ter m   d y n am ics,  wh ich   ar e  in s tr u m en ta l  to   h ig h ly   v o latile  PV  g en er atio n .   T h e  r esear ch   [ 2 0 ]   o u tlin es  a   s y s tem atic  r e s ea r ch   o n   th e   s ig n if ican ce   o f   co m b i n in g   m eteo r o lo g ical  d ata  an d   ir r ad ian ce   m o d ellin g   with   t r a n s f o r m er   n e two r k s ,   en h an ci n g   f o r ec asti n g   ac cu r ac y   with   Op e n Me teo   in f o r m atio n .     A  h y b r id   VM D - W OA - L STM   m o d el  is   p r o p o s ed   i n   [ 2 1 ] ,   in   wh ich   d ec o m p o s itio n   an d   r ec o n s tr u ctio n   o f   PV  s ig n als  ar e  o p tim ized   to   y ield   h ig h   a cc u r ac y   a n d   s tab ilit y   in   p r ed ictio n .   I n   [ 2 2 ] ,   t h ey   in tr o d u ce   a  n ew   t r an s f o r m er - b ased   f r am ewo r k   r eg ar d in g   u ltra - s h o r t - ter m   PV  p o wer   f o r ec asti n g   th at  tak es  in to   ac co u n t  wea th er   p atter n   r ec o g n itio n ,   in   wh ich   m eteo r o lo g ical  f e at u r es  an d   s o lar   ir r ad iatio n   p at ter n s   ar e  m o d eled   to g eth er .   T h r o u g h   ex p er im en t al  d ata,   it  is   estab lis h ed   th at  th er e  ar e   g r ea t   im p r o v em e n ts   in   th e   f o r ec asti n g   ac cu r ac y   in   v er y   s h o r t  tim e  h o r izo n s   b u t  t h e  m o d el  p er f o r m an ce   is   v er y   r elia n t  o n   th e   q u ality   o f   t h e  in p u t  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 6 9 4   I n t J Po w  E lec  &   Dr i Sy s t ,  Vo l.  1 7 ,   No .   3 ,  Sep tem b er   20 2 6 :   2127 - 2 1 4 8   2130   d ata.   I n   [ 2 3 ] ,   a   t r an s f o r m er   m o d el  with   f ea t u r e  au g m en ta tio n   is   en h an ce d   to   f o r ec ast  s h o r t - ter m   PV  p o wer   th at  u s es  ad v an ce d   f ea tu r e  ex tr ac tio n   an d   n o r m aliza tio n   m o d u les  to   en h an ce   n o is e  r ed u ctio n   an d   p r ed ictio n   s tab ilit y .   I n   th is   wo r k ,   it  is   d em o n s tr ated   th at  AM s   in   co m b in atio n   with   f ea t u r e  en h an ce m en t  ar e  ab le  to   s u cc ess f u lly   r ed u ce   R MSE   an d   MA E   er r o r s   in   en er g y   d i s tr ib u tio n   n etwo r k s ,   b u t  at  t h e  co s t  o f   a  h i g h   co m p u tatio n al  c o s t a n d   tr ain i n g   tim e.     I n   [ 2 4 ] ,   th e  s tu d y   p r o v id es  a  d ee p   p r o b ab ilis tic  m eth o d   o f   s o lar   p o wer   f o r ec asti n g   an d   i n v o lv es  th e  co m b in atio n   o f   a  t r a n s f o r m er   n etwo r k   with   Ga u s s ian   p r o ce s s   ap p r o x im atio n   to   q u an titativ ely   m o d el   p r ed ictio n   u n ce r tain t y .   I t  s h o ws  th at  t r an s f o r m er - b ased   m o d els  ca n   b e   u s ed   to   f o r ec ast  p o in ts   as  well  as  est im ate  a  p r o b ab ilit y   d is tr ib u tio n   o f   PV  p o we r ,   an d   ca n   b e  u s ed   in   r is k   m an a g em e n t  in   s m ar t  g r id s .   Nev er th eless ,   th e  m ain   lim ita tio n s   o f   th is   ap p r o ac h   ar e   th e   s tatis tical  co m p lex ity   an d   th e  lar g e   am o u n ts   o f   tr ain in g   d ata  r eq u ir e d .     I n   [ 2 5 ] ,   a   th o r o u g h   co m p a r ati v e  an aly s is   o f   th e   class ical  ML   alg o r ith m s   an d   th e   t r an s f o r m er - b ased   d ee p   m o d els  in   s o lar   en er g y   f o r ec asti n g   is   ca r r ie d   o u t   o n   r ea l - wo r ld   d ataset.   I t  h as  b ee n   s h o wn   th a t   t r an s f o r m er   m o d els  ar e   b etter   th an   tr a d itio n al  o n es,  esp ec ial ly   wh en   u s in g   m u lti - s o u r ce   d ata  an d   in   d if f e r en t  wea th er   co n d itio n s ,   b u t  s till ,   h ig h   atten tio n   s h o u ld   b e  p ai d   to   h y p e r p ar am ete r   o p tim izatio n ,   o th er wis e  r esu lts   ca n   d eter io r ate  d r am atica lly .   T h e  r esear ch   in   [ 2 6 ]   ex p lo r es th e  is s u e  o f   f ea tu r e  s elec tio n   as   well  as h y p er p ar am eter   o p tim izatio n   in   t r an s f o r m er   m o d els  to   f o r ec a s t  PV  p o wer   with   th e  u s e  o f   Swo r d f is h   m o v em en t  o p tim izatio n   alg o r ith m   ( SMOA) .   T h is   p ap er   d em o n s tr ates  th at  ef f icien t  f ea t u r e  s elec tio n   an d   au to m atic  h y p e r p ar am eter s   o p tim izatio n   co u ld   s ig n if ican tly   in cr ea s e  th e  p r e d ictiv e  ac cu r ac y   an d   s tab ilit y   o f   th e   m o d el  in   ch a n g ea b le   wea th er   co n d itio n s ,   h o wev e r ,   it  is   s til l  u n clea r   h o w  th e  c o n v er g en ce   b eh av i o r   o f   th e  o p tim izatio n   alg o r ith m   an d   its   s en s it iv ity   to   in itial  p a r am eter s   ar e  af f ec ted   b y   ch an g in g   wea th er   co n d itio n s .   I n   g en er al,   th ese  wo r k s   co n f ir m   th at  th e   u s e  o f   h y b r id   m o d els  th at   in teg r ate   s ig n al  d ec o m p o s itio n ,   AM s ,   an d   DL   m o d els  a r e  h el p f u l   in   PV  f o r ec asti n g ,   an d   also   i n d icate   th at  t r a n s f o r m er - b ase d   m o d els  n ee d   to   b e   co m p le m en ted   b y   ad d itio n al  m ec h an is m s   to   o v er co m e   th e  ef f ec t  o f   s h o r t - ter m   an d   lo ca l  v ar iab ilit y .   A  co m p ar is o n   o f   th e  r ev iewe d   m eth o d s   is   p r o v id ed   in   T ab le  1 .       T ab le  1 .   C o m p a r is o n   o f   r elate d   wo r k s   R e f .   M e t h o d   A d v a n t a g e s   D i sad v a n t a g e s   [ 1 3 ]   C G A f o r mer ( C N N 1 D   +   G A D A t t e n t i o n   +   A u t o - C o r r e l a t i o n   +   M LP)   Ef f e c t i v e   m u l t i - sc a l e   f e a t u r e   e x t r a c t i o n ;   s t r o n g   g l o b a l   d e p e n d e n c y   m o d e l i n g ;   i m p r o v e d   R M S E   a n d   M A E;   g o o d   g e n e r a l i z a t i o n   H i g h   m o d e l   c o mp l e x i t y ;   r e q u i r e s   l a r g e   d a t a se t s;   l i mi t e d   i n t e r p r e t a b i l i t y   [ 1 4 ]   I W V M D   +   C C Tr a n s  ( t r a n sf o r mer)   +   C D C TF   P o w e r f u l   m u l t i - s c a l e   d e c o m p o s i t i o n ;   st r o n g   l o n g - seq u e n c e   m o d e l i n g ;   h i g h   a c c u r a c y   a n d   r o b u st n e ss   H i g h   c o m p u t a t i o n a l   c o st ;   c o mp l e x   a r c h i t e c t u r e ;   l i m i t e d   a b i l i t y   t o   c a p t u r e   s h o r t - t e r m/ l o c a l   v a r i a t i o n s  d u e   t o   t r a n sf o r m e r   [ 1 5 ]   C N N   +   t r a n sf o r m e r   ( mu l t i - st e p   f o r e c a s t i n g )   C o m b i n e s  sh o r t - t e r m  ( C N N )   a n d   l o n g - t e r m   ( t r a n sf o r mer)   f o r e c a st i n g ;   f l e x i b l e   a c r o ss   t i m e   sca l e s   M o d e l   b a l a n c i n g   i s   c h a l l e n g i n g ;   Tr a n sf o r mer   p a r t   w e a k   i n   m o d e l i n g   f i n e - g r a i n e d   l o c a l / s h o r t - t e r m   f l u c t u a t i o n s   [ 1 6 ]   TC N - EC A N e t - G R U   S t r o n g   l o c a l   a n d   t e m p o r a l   f e a t u r e   e x t r a c t i o n ;   g o o d   p e r f o r m a n c e   u n d e r   n o n l i n e a r   a n d   s e a s o n a l   v a r i a t i o n s   S e n s i t i v e   t o   h y p e r p a r a me t e r   t u n i n g ;   ma y   st r u g g l e   w i t h   v e r y   l o n g - t e r m   d e p e n d e n c i e s   [ 1 7 ]   I C EEM D A N - TC N - B i LST M - M H A   S t r o n g   n o i s e   r e s i st a n c e ;   e f f e c t i v e   i n   d i f f e r e n t   w e a t h e r   c o n d i t i o n s;   g o o d   f e a t u r e   r e p r e se n t a t i o n   V e r y   c o m p l e x   a r c h i t e c t u r e ;   h i g h   c o m p u t a t i o n a l   c o s t   [ 1 8 ]   SP - t r a n sf o r mer   C a p t u r e s  s p a t i o t e m p o r a l   d e p e n d e n c i e s;   h i g h   a c c u r a c y   i n   m e d i u m / l o n g - t e r m f o r e c a st i n g   H i g h   c o m p l e x i t y ;   r e q u i r e s  s p a t i a l   d a t a ;   l i m i t e d   p e r f o r m a n c e   o n   s h o r t - t e r m/ l o c a l   d y n a mi c s   d u e   t o   g l o b a l   a t t e n t i o n   [ 1 9 ]   I F Tf o r mer ( D I F   +   LO F   +   D e c o m p o si t i o n   +   P r o S p a r s e   t r a n sf o r mer)   R o b u st   t o   n o i s e   a n d   o u t l i e r s;   st r o n g   f e a t u r e   e x t r a c t i o n ;   h i g h   a c c u r a c y   a n d   g e n e r a l i z a t i o n   M u l t i - st a g e   p r e p r o c e ssi n g   i n c r e a se s   c o m p l e x i t y ;   t r a n sf o r m e r   st r u g g l e s   w i t h   l o c a l / s h o r t - t e r m   v a r i a t i o n s   [ 2 0 ]   Tr a n sf o r mer  +   met e o r o l o g i c a l   d a t a   ( O p e n M e t e o )   I mp r o v e d   a c c u r a c y   u si n g   e x t e r n a l   w e a t h e r   d a t a ;   c o m p r e h e n si v e   m o d e l i n g   D e p e n d e n t   o n   e x t e r n a l   d a t a   q u a l i t y ;   t r a n sf o r mer  l i m i t a t i o n   i n   c a p t u r i n g   r a p i d   l o c a l   f l u c t u a t i o n s   [ 2 1 ]   V M D - W O A - LSTM   H i g h   a c c u r a c y ;   e f f e c t i v e   f o r   n o n - st a t i o n a r y   d a t a ;   st a b l e   u n d e r   f l u c t u a t i o n s   Ti me - c o n s u mi n g   o p t i mi z a t i o n ;   l a c k s   g l o b a l   d e p e n d e n c y   m o d e l i n g       3.   P RO P O SE D  M E T H O D   I n   t h is   r esear ch   p ap er   s u g g ests   a  n ew  tr an s f o r m er - b ased   ar ch itectu r e,   wh ich   is   ca lled   T C M - Fo r m er ,   to   f o r ec ast  PV  p o wer .   T h e   m ajo r   aim   o f   s u ch   a r ch itectu r e  is   ad d r ess in g   th e  i n h er e n t  co n s tr ain ts   o f   s elf - atten tio n   ( SA) - b ased   m o d els  in   m o d elin g   s h o r t - te r m   an d   lo ca lized   d ep en d en cies  in   tim e - s er ies  d ata.   T h o u g h   th e  AM   h as  a   h ig h   ca p a b ilit y   o f   m o d elin g   lo n g - r an g e  d ep en d en cies,  it  ten d s   to   u n d er - p er f o r m   in   th e   ca s e  o f   r ap id   f lu ct u atio n s ,   tr an s ien t  v ar iatio n s   an d   f in e - g r ain ed   l o ca l  p atter n s .   I n   o v e r co m in g   th is   d if f icu lty ,   th e   s u g g ested   ar ch itectu r e  i n co r p o r ates  a  T C M  in   p ar allel  en c o d er - d ec o d er   lin es,  th u s ,   allo win g   an   in tellig en t   m ix   o f   g l o b al  an d   lo ca l d ep en d en cy   lear n in g .   T h is   d esig n   f a cilitates a  r ich ,   m u ltis ca le  tem p o r al  r ep r esen tatio n   o f   PV p o wer   d ata.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Po w  E lec  &   Dr i Sy s t     I SS N:   2088 - 8 6 9 4       TC M - F o r me r :   a   tr a n s fo r mer  w ith   temp o r a l c o n vo lu tio n   fo r   p h o to v o lta ic  p o w er   …   ( S a r a b   A l - C h la ih a w i )   2131   In   th e  f ir s t  s tag e,   th e  in p u t  ti m e - s er ies  d ata  ar e  d ec o m p o s ed   u tili zin g   s ea s o n al - tr en d   d ec o m p o s itio n   u s in g   lo ess   ( STL )   in to   two   p r in cip al  co m p o n e n ts :  tr en d   co m p o n en t  ( )   an d   th e  s ea s o n al/p er io d i c   co m p o n en t  (   ) .   T h e  d ec o m p o s itio n   is   u s ef u l  in   h elp in g   th e  m o d el  to   in d e p en d e n tly   lear n   b o th   th e  lo n g - ter m   v ar iatio n s   a n d   th e   s h o r t - ter m   p er io d ic  s tr u ctu r es  in   th e   PV  p o wer   s ig n al.   T h e  d e - co m p o s ed   tim e - s er ies   co m p o n en ts   ar e   th en   f ed   in t o   th e   p r o p o s ed   tr an s f o r m er   n etwo r k   s im u ltan e o u s ly   a n d   at  th e  e n co d er   an d   d ec o d er   s tag es,  two   p ar allel  p r o ce s s in g   p ath s   ar e   u s ed .   T wo   co m p lem en tar y   s u b   m o d u les  ar e  u s ed   in   th e   en co d er ,   th e   Per io d   E n co d er ,   wh ich   u s es  th e  AM   t o   ca p t u r e  lo n g - r a n g e   d ep e n d en cies  an d   r ec u r r in g   tim e   p atter n s   in   th e  s ea s o n al  co m p o n en t,  an d  th e  tem p o r al  en c o d er ,   wh ich   is   b ased   o n   th e  T C N,   an d   ex tr ac ts   s h o r t - ter m   an d   lo ca l  f ea tu r es lik e  ab r u p t c h a n g es a n d   h ig h - f r eq u en cy   n o is e.     T h e  o u tp u ts   r eg ar d in g   s u ch   tw o   p ath s   ar e  f u s ed   f o r   g e n er atin g   an   im p r o v e d   m u ltis ca le  r ep r esen tatio n   o f   th e  s ea s o n al   co m p o n e n t  en ca p s u latin g   b o th   lo n g - ter m   d e p en d en cies  an d   lo ca lized   tem p o r al  s tr u ctu r es.  T h e   d ec o d er   c o m p r is es  two   p ar allel  s u b m o d u les:   p er io d   d ec o d er ,   wh ich   a p p lies   m ask ed   AM   to   m o d el  f u tu r e   lo n g - ter m   d ep en d en cies;  an d   tem p o r al  d ec o d er ,   w h ich   u s es  T C N  f o r   r ef in in g   an d   e n r ich in g   s h o r t - ter m   f ea tu r es  f o r   ac cu r ate  p r ed icti o n   r eg ar d in g   t h e  s ea s o n al  co m p o n e n t.  T h e  o u tp u ts   f r o m   th ese  two   d ec o d er   s u b m o d u les ar e  in te g r ated   f o r   p r o d u cin g   th e  f in al  p r e d icted   PV p o wer   s eq u en ce .   A  d ed ica ted   T C N  n etwo r k   is   in co r p o r ated   f o r   ex tr ac tin g   d y n am ic  tem p o r al  f ea tu r es  f r o m   ,   en s u r in g   ac cu r ate  m o d eli n g   r eg a r d in g   lo n g - ter m   v ar iatio n s   an d   tr en d s .   T h is   ar ch itectu r e   p r o d u ce s   a   r o b u s t,  co m p r eh e n s iv e  an d   h i er ar ch ically   awa r e   m o d el  th at   h as  th e   ab ilit y   to   s im u ltan eo u s ly   ca p tu r e  g lo b al   an d   lo ca l  tem p o r al   s tr u ctu r e s .   As  a  r esu lt,  t h e   s u g g ested   T C M - f o r m er   s h o ws  m o r e  s tab ilit y   an d   ac cu r ac y   in   ter m s   o f   p r e d ictin g   PV  p o wer   as  o p p o s ed   to   tr ad itio n al  tr an s f o r m er - b ased   f r am ewo r k s .     T h e  s u g g ested   STL - T C M - Fo r m er   alg o r ith m   is   ef f ec tiv e  i n   i n cr ea s in g   th e  i n ter p r etab ilit y   o f   m o d els  in   co m p ar is o n   with   th e  b aselin e  m o d els,  wh ich   is   m o s tly   ex p lain ed   b y   th e  in c o r p o r atio n   o f   th e  ST L   d ec o m p o s itio n   ap p r o ac h   an d   a  d u al - p ath   m ec h a n is m .   T h e  STL   m o d u le   b r ea k s   d o wn   th e   in p u t   s ig n al   ex p licitly   in to   tr en d ,   s ea s o n a l ,   an d   r esid u al  c o m p o n en ts ,   allo win g   th e   m o d el   to   an aly ze   ea ch   s tr u ct u r al   co m p o n en t o f   th e  d ata  s ep ar at ely   r ath er   th an   an aly ze   a  s in g l e  en tan g led   tim e  s er ies.  T h is   d ec o m p o s itio n   g iv es   a  clea r   p i ctu r e  o f   th e  r o le  o f   v ar io u s   tem p o r al  p atter n s   to war d s   th e  f in al  p r e d ictio n .     As  an   ex am p le,   th e  tr en d   co m p o n e n t  will  ca p tu r e  lo n g - ter m   d r if t,  an d   th e  s ea s o n al  co m p o n en t  will  ca p tu r e  p er io d ic   tr en d s .   D u al - p ath   ar c h itectu r e  also   e n h an ce s   in ter p r etab ilit y   th r o u g h   s e p ar atin g   s h o r t  ter m   lo ca l d y n am ics an d   lo n g - ter m   d ep en d e n cies in to   two   p ar allel  p r o ce s s in g   s tr ea m s .   T h e  co n v o lu tio n al  r ec ep tiv e   f ield s   p r o v id ed   b y   th e  T C M  p ath   p a y   f o cu s es   o n   lo ca l  tem p o r al  c h an g es,  a n d   th u s ,   it  is   s im p ler   to   attr ib u te   m o d el  d ec is i o n s   to   s h o r t  ter m   f lu ctu atio n s   o r   ab r u p t  c h an g e s .   B y   co n tr ast,  th e   t r an s f o r m e r   m o d els  h ig h - lev el   in ter ac tio n s   b etwe en   th e  f u ll  s eq u en ce ,   an d   its   atten tio n   m ap s   p r o v id e   a  clea r   an d   in s p e ctab le  v iew  o f   h o w  d is tan t tim e  s tep s   im p ac t o n e  an o th er .   T h e  g e n er al  s tr u ctu r e   o f   th e  s u g g ested   ap p r o ac h   is   s h o wn   in   Fig u r e  1 .     3 . 1 .     ST L   deco m po s it io n   I n   s tep   1   o f   th e  p r o p o s ed   ap p r o ac h ,   to   in cr ea s e  th e   ab ilit y   o f   th e  m o d el  to   an aly ze   t h e  m u ltis ca le   d y n am ics  o f   PV  p o wer   tim e - s er ies  d ata,   th e  STL   ap p r o ac h   is   u s ed .   I n co r p o r atin g   STL   in to   th e  p r o p o s ed   T C M - Fo r m er   f r am ewo r k   allo ws th e  m o d el  to   is o late  lo n g - te r m   an d   s tab le  tr en d s   as we ll  as r ap id   an d   p er io d ic   v ar iatio n s ,   wh ich   will  allo w   th e  m o d el  to   lear n   th e  s p ec if ics  o f   ea ch   tem p o r al  d y n a m ics  ef f icien tly .   I n   ad d itio n ,   th e   ab ilit y   to   s elec t  o n ly   th e   s ig n if ican t  d ata  i n   th e  r aw  d ata  an d   f ilter   th e  n o is e  an d   o t h e r   n o n - s tr u ctu r al  elem en ts   lead s   to   a  m o r e  ef f icien t  an d   s tab le  lear n in g   p r o ce s s .   T h is   m ea n s   th at  th e  en co d er   an d   d ec o d er   m o d u les  o f   th e  tr an s f o r m er   ca n   ca p tu r e  lo n g - ter m   an d   s h o r t - ter m   d e p en d e n cies  m o r e  ac cu r ately   an d   m ak e   PV p o wer   p r ed ictio n s   m o r e  ac cu r ate.   T h e  len g th   o f     o f   th e  in p u t  tim e  s er ies   is   g iv en   as ( 1 ) .     = { 1 . 2 . … .     }   ( 1 )     T h is   tim e  s er ies ca n   b e  b r o k en   d o wn   in to   th r ee   m aj o r   co m p o n en ts   in   th e  STL   f r a m ewo r k   a s   ( 2 ) .     = + +                     . = 1 . 2 . … .   ( 2 )     Her e,     is   th e  tr en d   c o m p o n en t ,   wh ich   is   th e  lo n g - ter m   c h an g e  o r   th e   g en e r al  d ir ec tio n   o f   th e  d ata;    d en o tes  th e  s ea s o n al  co m p o n e n t,  wh ich   r ep r esen ts   th e  r ep etitiv e  o r   p er io d ic  ch an g es  o v er   a  g iv en   r u n ;  an d     is   th e  r esid u al  co m p o n en t,  o r   th e  r an d o m   ch an g e s   o r   th e  u n p r ed ictab le  n o is e.   T h e  tr en d   an d   s ea s o n al   c o m p o n e n t s   a r e   e s t i m at e d   d u r i n g   t h e   S T L   d e c o m p o s i t i o n   p r o c e s s   b y   l o c a l l y   s m o o t h i n g   w i t h   t h e   h e l p   o f   l o c a l l y   esti m ated   s ca tter p lo t  s m o o th i n g   ( L OE SS ) .   T h e  ab o v e  iter a tiv e  f ilter in g   a n d   u p d atin g   o f   ea ch   o th er   b etwe en   th e  two   m ain   co m p o n en ts   r esu lt in   s tab le  co n v er g en ce .   T h is   p r o ce s s   h as th e  f o llo win g   m aj o r   s tag es:   i)   T r en d   esti m atio n   with   th e  u s e  o f   th e  L OE SS   f ilter   in   o r d er   t o   s m o o th   th e  d ata:     =   ( − )   ( 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 6 9 4   I n t J Po w  E lec  &   Dr i Sy s t ,  Vo l.  1 7 ,   No .   3 ,  Sep tem b er   20 2 6 :   2127 - 2 1 4 8   2132   ii)   Seaso n al   ex tr ac tio n   o f   th e  r esi d u al   d ata,   af te r   elim in atin g   th e   tr en d :     =   ( − )   ( 4 )     iii)   R es i d u a l   c o m p u t a ti o n :   t h e   d i f f e r e n c e   b e t w e e n   t h e   o b s e r v e d   d a t a   a n d   t h e   t o t al   o f   t h e   es t i m at ed   c o m p o n e n t s :     = − ( + )   ( 5 )     O n c e   t h e  s m o o t h i n g   p r o c e s s   a n d   i t e r a ti v e   c o n v e r g e n c e  a r e  c o m p l e t e d ,   t h e   t w o   i m p o r t a n t   e l e m e n ts   = { }   a n d     = { }   ar e   u s e d   as   t h e   m ai n   i n p u t s   t o   t h e   s u g g e s t e d   T C M - Fo r m e r   n e t w o r k .   T h e  t r e n d   c o m p o n e n t   ( )   a n d   s e as o n a l   c o m p o n e n t   (   )   a r e   u s e d   i n   t h is   s t r u c t u r e   t o   ca p t u r e   t h e   l o n g - t e r m   i n f o r m a t i o n   a n d   s l o w   c h a n g e s   i n   P V   p o w e r   a n d   p e r i o d ic   d a i l y   o r   s e a s o n a l   c h a n g es ,   r e s p e c t i v el y .   T h i s   d e c o m p o s i t i o n   n o t   o n l y   s i m p l if i e s   t h e   m o d e l   a n d   f a c i l i t at e s   t r a i n i n g   b u t   a l s o   a l l o ws   p r o c e s s in g   e a c h   c o m p o n e n t   s e p a r a t el y   i n   s e p a r a t e  e n c o d er   a n d   d e c o d e r   s t r e a m s .   F i n a lly ,   t h i s   d es i g n   m a k es   a  c o n t r ib u t i o n   t o w a r d s   t h e   a c c u r a c y   a n d   s t r e n g t h   o f   P V   p o w e r   f o r e c a s t i n g .   B y   c o n t r ast ,   t h e   r e s i d u a l   c o m p o n e n t   ( )   i s   n o t   p a r t   o f   t h e   p r o p o s e d   f r a m e w o r k   b e c a u s e   o f   i t s   n o is e   d o m i n a t e d ,   n o n - s tr u c t u r e d   a n d   i n h e r e n t l y   s t o c h as t i c   c h a r a c t e r is ti c s .   T h i s   c o m p o n e n t   c a n   b e   r e g a r d e d   a s   t h e   m a i n   i n d i c a t o r   o f   i r r eg u l a r   v a r i a t i o n s   a n d   n o i s e   i n   m e a s u r e m e n ts   t h a t   d o   n o t   h a v e   a n y   s t a b l e   t e m p o r al   d e p e n d e n c i e s ,   s o   i t s   p r es e n c e   c a n   c a u s e   a n   u n n e c e s s a r y   u n ce r t a i n t y   a n d   h a v e   a n   a d v e r s e   e f f e c t  o n   t h e   le a r n i n g   s t a b il i t y   a n d   p r e d ic t i v e   p e r f o r m a n c e   r e g a r d i n g   t h e   m o d e l .   T h e r e f o r e ,   it   is   i n t e n t i o n a ll y   e x c l u d e d   f r o m   t h e   i n p u t   p i p e l i n e   t o   e n s u r e   t h a t   t h e   m o d e l   f o c u s e s   o n   t h e   m o s t   i n f o r m a t i v e   a n d   s t r u c t u r a ll y   m e a n i n g f u l   c o m p o n e n t s   o f   t h e   t i m e   s e r ie s .   F i g u r e   2   p r e s e n t s   a n   e x a m p l e   o f   a   t i m e   s e r i e s   a n d   i t s   c o m p o n e n t s   a f t e r   t h e   S T L   d e c o m p o s i t i o n   p r o c ess .   Fi g u r e  2 ( a )   s h o ws   t h e   o r i g i n al   ti m e   s e r i e s .   A ls o ,   t h e   d e c o m p o s e d   t r e n d ,   s e as o n a l ,   an d   r e m a i n d e r   c o m p o n e n t s   a r e   s h o w n   i n   F i g u r e s   2 ( b ) - 2 ( d ) ,   r e s p e c t i v e l y .           Fig u r e  1 .   Diag r a m   o f   th e  p r o p o s ed   T C M - f o r m er   f r am ewo r k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Po w  E lec  &   Dr i Sy s t     I SS N:   2088 - 8 6 9 4       TC M - F o r me r :   a   tr a n s fo r mer  w ith   temp o r a l c o n vo lu tio n   fo r   p h o to v o lta ic  p o w er   …   ( S a r a b   A l - C h la ih a w i )   2133     ( a)     ( b )     ( c)     ( d )     Fig u r e  2 .   E x am p le  o f   a  tim e  s er ies an d   its   d ec o m p o s ed   co m p o n en ts   u s in g   t h e  STL   alg o r ith m : ( a)   p h o to v o ltaic  tim e  s er ies s ig n al,   ( b )   tr en d   co m p o n e n t,  ( c)   s ea s o n al  c o m p o n en t,  an d   ( d )   r em ain d e r   co m p o n en t       3 . 2 .     T CM - f o rm er   enco der   T h e  p r o p o s ed   T C M - Fo r m e r   en co d er   a r ch itectu r e   is   d e v el o p ed   to   ca p tu r e   m u ltis ca le  in f o r m atio n   f r o m   t h e  s ea s o n al  co m p o n e n t   o f   th e   tim e - s er ies  d ata,   en a b l in g   th e  s y s tem   to   r ep r esen t  s h o r t -   an d   lo n g - ter m   tem p o r al  d e p en d e n cies  s im u ltan eo u s ly .   T h is   p a r t  co m p r is es   two   p ar allel  p ath s ,   o n e  t r an s f o r m er   en c o d er   a n d   th e  o th e r   T C M  p ath ,   wh ich   c o n ce n tr ate   o n   lo n g - r an g e  g lo b a l  d ep en d en cies  a n d   lo ca l  f ea t u r es  an d   s h o r t - ter m   co r r elatio n s ,   r esp ec tiv ely .   T h e  m o d el  h as  a  d u al - b r an c h   s tr u ctu r e  th at  en a b les  it  to   g ain   a  m o r e  co m p r eh e n s iv e  in s ig h t  in to   th e  tem p o r al  d y n a m ics  an d ,   th e r ef o r e,   en h an ce s   th e  ac cu r ac y   an d   s tab ilit y   o f   PV   p o wer   f o r ec asti n g .   T h e   ar ch ite ctu r e  o f   t h e  p r o p o s ed   T C M - Fo r m er   en c o d er   is   d e p icted   in   Fi g u r e  3 .           Fig u r e  3 .   Stru ctu r e  o f   th e  en c o d er   in   th e  p r o p o s ed   T CM - Fo r m er   n etwo r k       T h e  in p u t  s eq u en ce   o f   th e   s ea s o n al  d ata   in   t h e  tr a n s f o r m er   en co d er   Path ,     ℝ ×   is   f ed   i n to   a   r eg u lar   t r a n s f o r m e r   en c o d er   t h at   co n s is ts   o f   m u lti - h ea d   att en tio n   ( MH A) ,   a d d   a n d   n o r m ,   an d   f ee d - f o r war d   lay er s .   T h e  m u lti - h ea d   atten ti o n   m ec h an is m   allo ws  th e  m o d el  to   ac q u ir e  l o n g - r an g e   d ep en d en cies  b etwe en   tem p o r al  p o in ts   at  v ar io u s   s ca l es.  T h e  o u tp u t o f   t h e  atten tio n   is   ca lcu lated   as   in   ( 6 ) .        ( . . ) =   ( √ )   ( 6 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 6 9 4   I n t J Po w  E lec  &   Dr i Sy s t ,  Vo l.  1 7 ,   No .   3 ,  Sep tem b er   20 2 6 :   2127 - 2 1 4 8   2134   W h er e  th e  m atr ices  ar e  q u er y ,   k ey ,   a n d   v alu e  ( = ,  =   an d   = )   an d   ,  ,    ar e  p ar am eter s   to   b e  t r ain ed .   T h e  r esu lts   o f   all  atten tio n   h ea d s   ar e  co n ca ten ated   a n d   lin ea r ly   p r o jecte d :       ( . . ) =  ( ℎ  1 . … . ℎ  ℎ ) 0   ( 7 )     A  r esid u al  co n n ec tio n   is   in co r p o r ated ,   f o llo wed   b y   lay e r   n o r m aliza tio n :     1 =   ( +   ( . . ) )   ( 8 )     T h en ,   th e   n o r m alize d   o u tp u t  p ass es  th r o u g h   a  f ee d - f o r war d   n etwo r k   ( FF N)   co m p o s ed   o f   two   lin ea r   tr an s f o r m atio n s   with   a  R eL U  ac tiv atio n :     2 =  ( 1 1 + 1 ) 2 + 2   ( 9 )     Af ter   an o th er   r esid u al  co n n ec tio n   an d   n o r m aliza tio n ,   th e  u l tim ate  o u tp u t  o f   th e  t r an s f o r m er   en co d e r   p ath   is   o b tain ed :     =    ( 1 + 2 )   ( 1 0 )     T h is   b r an c h   f o cu s es  o n   ex tr ac tin g   lo n g - ter m   p er i o d icit ies  an d   g lo b al  d ep en d en cie s   in   th e   s ea s o n al  in f o r m atio n .   I n   th e  T C M  Path ,   th e  m o d el  r ep r esen ts   lo ca l  an d   s h o r t - te r m   d ep e n d e n cies.  I t  h as  two   s u cc ess iv e   co n v o l u tio n al  b lo c k s ,   ea ch   co n tain in g   th e  f o llo win g   s eq u en ce   o f   lay er s :     C o n vo lu tio n   →  N o r ma liz a tio n   →  R eLU  →  Dro p o u t.     E ac h   b lo ck   h as  a  o n e - d im en s io n al  co n v o lu tio n al  lay er   th at  ex tr ac ts   lo ca l  tem p o r al  f ea tu r es.  At  tim e  s tep   ( ) ,   th e  co n v o lu tio n al  o p er atio n   is   d ef in ed   as   ( 1 1 ) .     = ∗ +   ( 1 1 )     I n   wh ich   ( ∗ )   is   th e  tem p o r al  c o n v o lu tio n ,   ( )   is   th e  weig h ts   o f   th e  f ilter ,   an d   ( )   is   th e  b ias  te r m .   Af ter   th at,   f ea tu r e  d is tr ib u tio n   is   s tab ilized   u tili zin g   b atch   n o r m aliza tio n :     ̃ =  ( )   ( 1 2 )     T h e  R eL U  ac tiv atio n   in tr o d u c es n o n lin ea r ity :     =  ( ̃ )   ( 1 3 )     L astl y ,   a  d r o p o u t la y e r   is   ad d e d   to   av o id   o v er f itti n g :     =  ( )   ( 1 4 )     T h is   s tep   is   r ep ea te d   o n   th e  s e co n d   co n v o lu tio n al   b lo c k .   T h e   in itial  co n v o lu tio n al  lay er   ca p tu r es  lo w  lev el  tem p o r al  in f o r m atio n   s u ch   as  h ig h   f r e q u en c y   an d   l o ca l ized   v ar iatio n s ,   an d   th e  s u b s e q u en t  co n v o lu tio n al  lay er   ( with   d ee p er   r ec ep tiv e  f i eld )   lear n s   h i g h er   lev el  in ter   p er io d   d e p en d e n cies  in   a  m o r e   ab s tr ac t  f o r m .   T h e  f in al  o u tco m e   o f   t h e  T C M  p ath   is   g iv en   as   ( 1 5 ) .      = ( 2 )   ( 1 5 )     T h e  r esu lts   o f   th e  t r a n s f o r m e r   en co d er   a n d   th e  T C M  m o d u le  ar e  t h en   c o m b in e d   to   f o r m   th e  f in al  en c o d er   r ep r esen tatio n :      =  ( .  )   ( 1 6 )     T h e  r esu ltin g   v ec to r   (  )   is   a  s u m m atio n   o f   c o m p lem e n tar y   in f o r m atio n   b etwe en   th e  lo n g - ter m   d ep en d e n cies  ( s elf - atten tio n )   an d   s h o r t - ter m   d y n am ics  ( t em p o r al  c o n v o lu tio n ) .   T h is   d u al - pa th   en co d in g   ar ch itectu r e  o f f er s   a  p o ten t  a n d   f le x ib le  s tr u ctu r e  f o r   m u lt is ca le  tim e - s er ies  m o d elin g ,   wh ich   s ig n if ican tly   en h an ce s   th e  q u ality   an d   v alid ity   o f   p h o to v o ltaic  p o wer   f o r e ca s tin g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Po w  E lec  &   Dr i Sy s t     I SS N:   2088 - 8 6 9 4       TC M - F o r me r :   a   tr a n s fo r mer  w ith   temp o r a l c o n vo lu tio n   fo r   p h o to v o lta ic  p o w er   …   ( S a r a b   A l - C h la ih a w i )   2135   3 . 3 .     T CM - F o rm er   deco der   T h e  d ec o d er   o f   th e  p r o p o s ed   T C M - Fo r m er   n etwo r k   tak es  a   d u al - p at h   d esig n   s im ilar   to   th e  en co d e r ,   wh ich   allo ws  it  to   m o d el  b o th   th e  lo n g - ter m   g lo b al  an d   th e  s h o r t - ter m   lo ca l  ch a r ac ter is tics   at  th e  s am e  tim e ,  wh ile   th e  en co d er   r ec o n s tr u ct s   an d   p r ed icts   th e  f u t u r e  s ea s o n al  co m p o n en ts .   T h e  f ir s t  b r an ch   f o llo ws  th e   ar ch itectu r e  o f   a  tr an s f o r m er   d ec o d er ,   a n d   th e  s ec o n d   b r a n ch   em p lo y s   th e  T C M  as  ex p lain ed   p r ev i o u s ly .   T h r o u g h   th e  i n teg r atio n   o f   t h e  two   c o m p lem e n tar y   m ec h a n is m s ,   th e  d ec o d er   is   p r o v id e d   with   th e  ca p ab ilit y   to   f o r ec ast  th e   f u tu r e  s ea s o n a l  tr en d s   ac cu r ately   an d   co n s id er   b o th   g lo b al   an d   lo ca l   tem p o r al  d e p en d e n cies.  T h e  p r o p o s ed   T C M - Fo r m e r   d ec o d er   h as th e   f o llo win g   s tr u c tu r e,   as sh o wn   in   Fig u r e  4 .           Fig u r e  4 .   Stru ctu r e  o f   th e  d ec o d er   in   th e  p r o p o s ed   T C M - Fo r m er   n etwo r k       I n   th e   f ir s t  p ath ,   th e  in p u t  to   t h e  d ec o d er ,   i.e . ,   th e   p r e d icted   s ea s o n al  co m p o n en ts   u p   to   ti m e  s tep   ,   is   p r o ce s s ed   b y   th e  m ask ed   m u lti - h ea d   atten tio n   ( MH A)   lay er .   T h is   lay er   o p er ates  s im ilar ly   to   t h e  atten tio n   m ec h an is m   in   th e  e n co d e r ,   w ith   th e  k ey   d if f er e n ce   b ein g   t h at  it  ap p lies   a  lo wer - tr ian g u l ar   m ask   to   p r ev en t  in f o r m atio n   leak ag e  f r o m   f u t u r e  tim e  s tep s .   T h is   en s u r es  t h at  ea ch   p o s itio n   ca n   o n ly   atten d   to   its   p r ec ed in g   p o s itio n s ,   m ain tain in g   ca u s al  ( au to r eg r ess iv e)   m o d elin g .   Ma th em atica lly ,   it is   f o r m u lated   a s   ( 1 7 ) .          ( . . ) =   ( √ + )   ( 1 7 )     W h er e  ( )   r ef er s   to   th e  m ask   m atr ix ,   th e  v alu es  o f   wh ich   ar e  s et  to   ( −∞)   in   f u tu r e  p o s itio n s   to   ap p ly   ze r o   atten tio n   weig h ts .   T h is   o p er at io n   g u ar an tees seq u en tial   s tep - by - s tep   p r ed ictio n   an d   is   in   lin e  with   ca u s al - tem p o r al  m o d ellin g .   T h e  r esu lt  o f   th is   lay er   is   ad d ed   to   t h e  in p u t   th r o u g h   a   r esid u al   co n n ec tio n ,   an d   th e n   lay er   n o r m aliza tio n   ( Ad d   &   No r m )   is   p er f o r m ed   to   i n cr ea s e  th e  s tab ilit y   o f   th e  tr ain in g .   Nex t,  th e  o u tp u t  is   p ass ed   in to   a  s ec o n d   m u lti - h e ad   atten tio n   lay e r ,   wh er e   th e  Qu er y   ( Q)   is   th e  o u tp u t  f r o m   t h e  p r ev i o u s   d ec o d er   lay er ,   wh ile   th e  k ey   ( K)   a n d   v alu e  ( V)   ar e  d er iv e d   f r o m   th e  en co d er ’ s   f in al  r ep r esen tatio n   (  ) .   T h is   cr o ss - atten tio n   alig n s   th e  d ec o d er   in ter m ed iate  r ep r esen tatio n s   wit h   th e  co n te x tu al  f ea tu r es  o f   th e  en co d er   o n   m a n y   s ca les,  th u s   p r o v i d in g   th e  d e co d er   with   th e  a b ilit y   to   ef f e ctiv ely   u tili ze   th e   h is to r ical  t em p o r al  c o n tex t   to   p r ed ict  f u t u r e  s ea s o n al  co m p o n en t s.   A  s ec o n d   Ad d & No r m   s tep   is   s u b s eq u en tly   u s ed ,   wh ic h   is   th en   f o llo wed   b y   an   FF N  co m p r is in g   two   lin ea r   tr an s f o r m atio n s   s ep ar at ed   b y   a  R eL U  ac tiv atio n   f u n c tio n .   T h e   s u b n etwo r k   p r o v i d e s   n o n lin ea r   f ea tu r e   tr an s f o r m atio n s   an d   r e m ap p i n g   th at  en ab le   th e  m o d el  to   lear n   s o p h is ticated   r elatio n s   b etwe en   tem p o r al   p atter n s .   On ce   th e  f i n al  Ad d & No r m   o p e r atio n   is   d o n e,   th e  o u tp u t o f   th is   b r an c h   is   r ep r ese n ted   as  − .   Similar   to   th e  en co d er ,   in   t h e  s ec o n d   p ath   a   T C M  is   ad d ed   t o   ca p tu r e  l o ca l  v ar iatio n s   a n d   s h o r t - ter m   d ep en d e n cies  in   th e  p r ed ict ed   s ea s o n al  co m p o n e n t.  T h e   T C M  in   th e  d ec o d er   co n s is t s   o f   s eq u en tial  co n v o l u tio n   b lo ck s   ( n o r m ali z atio n   b lo c k s ) ,   R eL U  b lo ck s ,   an d   d r o p o u t   b lo ck s .   T h e   f ir s t   co n v o lu tio n al   lay er   f o cu s es  o n   lear n in g   f in e - g r a in ed   tem p o r al  f ea tu r es  an d   h ig h - f r e q u en c y   lo ca l  v ar iatio n s ,   wh ile  th e  s ec o n d   co n v o l u tio n al  lay er ,   with   a  d ee p er   r ec ep tiv e  f ield ,   ca p tu r es  m ed iu m - ter m   d e p en d en cies  an d   b r o ad er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 6 9 4   I n t J Po w  E lec  &   Dr i Sy s t ,  Vo l.  1 7 ,   No .   3 ,  Sep tem b er   20 2 6 :   2127 - 2 1 4 8   2136   co n tex tu al  tr a n s itio n s .   T h e  r es u lt  o f   th e   T C M  p ath   is   r ep r esen ted   as  − .   T h e  r esu lts   o f   t h e  two   d ec o d er   p ath s   ar e   co m b in ed   to   p r o d u ce   th e  f in al  d ec o d er   r ep r esen tati o n :     =  ( − . −  )   ( 1 8 )     T h is   co m b in ed   r ep r esen tatio n   is   th en   p ass ed   th r o u g h   a  f u l ly   co n n ec ted   ( FC )   lay er   th at  m ap s   th e   lear n ed   f ea tu r e  s p ac e  to   th e   f i n al  p r ed ictio n   s p ac e:     ̂ S eas o n = σ ( ∗ + )   ( 1 9 )     I n   wh ich   ( )   an d   ( )   ar e   th e  p a r am eter s   to   b e  t r ain ed   i n   th e   FC   lay er ,   an d   ( σ )   is   th e  o u tp u t  ac tiv atio n   f u n ctio n .   T h e  r esu ltan t  en h an ce d   s ea s o n al  f o r ec ast  ̂ S eas o n   co m b in ed   with   th e  tr en d   co m p o n en t,  wh ich   h as  b ee n   p r o ce s s ed   b y   t h e  s p ec ialized   T C M,   is   th e  u ltima te  p o w er   p r ed ictio n   o f   p h o to v o ltaic  o u tp u t.  T h is   d esig n   allo ws  th e  T C M - F o r m er   d ec o d er   to   attain   a   b alan ce d   r ep r e s en tatio n   o f   g lo b al  a n d   lo ca l  t em p o r al   s tr u ctu r es,  wh ich   p r o v id es   r o b u s t a n d   h ig h ly   ac cu r ate  PV p o wer   f o r ec asti n g   o u tco m es.       4.   RE SU L T S E V AL U AT I O N   Fo r   ass ess in g   th e  p er f o r m a n c e  r eg ar d in g   th e  s u g g ested   ap p r o ac h   i n   esti m atin g   th e   o u tp u t   p o wer   o f   PV  s y s tem s ,   a  s er ies  o f   ex p er im en ts   wer e  ca r r ie d   o u t  o n   b o t h   s h o r t - te r m   an d   lo n g - ter m   b ases .   T h ese   ex p er im en ts   ar e  aim ed   at  d et er m in in g   th e  ac cu r ac y ,   th e  s tab ilit y ,   an d   th e  g en e r aliza tio n   p o ten tial  o f   th e   p r o p o s ed   m o d el  in   d i f f e r en t  t em p o r al  c o n d itio n s   an d   en v ir o n m en tal  v ar iatio n s .   T o   th is   e n d ,   th e   Yu lar a   So lar   Po wer   Sy s tem   in   Ulu r u   ( Ay er s   R o ck ) ,   Au s tr alia  was  s elec ted   as  th e  test   d ata.   T wo - tim e   h o r izo n s   wer e   f o r ec asted :  a   s h o r t - ter m   h o r iz o n   ( 6 0   h o u r s )   an d   a  lo n g - ter m   h o r izo n   ( 3 0 0   h o u r s ) .   T h e  e n tire   co m p u tatio n al   ex p er im en t w as   ca r r ie d   o u t in   MA T L AB   o n   a  co m p u te r   r u n n in g   W in d o ws 1 1 ,   with   8   GB   R AM ,   an   I n tel  C o r e  i7   p r o ce s s o r ,   a n   8   GB   g r a p h ic s   ca r d ,   an d   a  1   T B   h ar d   d is k .     4 . 1 .     Da t a s et   des cr iptio n   T h e  d ata  in   th is   ex p er im en t  was  d er iv ed   f r o m   th e  Yu lar a   So lar   Po wer   Statio n   in   Ulu r u   ( Ay er s   R o ck ) ,   Au s tr alia,   co v er in g   th e   tim ef r am e  o f   1   J an u ar y   2 0 1 8   to   3 1   Dec em b er   2 0 1 8   ( DKA  So lar   C en tr e,   2 0 1 8 ) .   T h is   d ata  is   ac ce s s ib le  o n   th e  DKA  So lar   C en tr e  web s i te   [ 2 7 ] .   PV  ar r ay s   d o   n o t  p r o d u ce   elec tr icity   at  n ig h t   tim e,   an d   th e r ef o r e ,   th e  d ata   th at  f ell  with in   th e  r a n g e  o f   0 7 : 0 0   AM   an d   0 7 :0 0   PM  wer e  an aly ze d .   As  a  r esu lt,   13  s a m p l e s   w e r e   t a k e n   d a i l y ,   a n d   f o r   3 6 5   d a y s ,   t h i s   r e s u lt e d   i n   4 7 4 5   h o u r l y   s a m p l e s .   T h e   d a t a   t e m p o r a l  r e s o l u t i o n   is   o n e  h o u r ,   wh ich   p r o d u ce s   4 7 4 5   tim e   p o in ts .   T h e  d ataset  o f f er s   a  r ea lis tic  an d   r ep r esen tativ e   s tan d ar d   o f   ass ess in g   s h o r t  a n d   lo n g - ter m   p r e d ictio n   o f   P V  p o wer   m o d els  in   d if f er en t   s o lar   an d   clim atic  co n d itio n s .     4 . 2 .     E v a lua t i o n m et rics   T o   q u a n titativ ely   d eter m in e  t h e  p er f o r m an ce   an d   ac c u r ac y   o f   th e  p r o p o s ed   ap p r o ac h   in   p r ed ictin g   PV  o u tp u t  p o wer ,   f o u r   m etr ics  o f   s tatis tical  ev alu atio n   h av e  b e en   u s ed :  R MSE ,   MA E ,   m ea n   ab s o lu te   p er ce n tag e   er r o r   ( MA PE) ,   a n d   c o ef f icien t   o f   d eter m i n atio n   ( 2 ) .   All  t h ese  m etr ics  as s ess   th e  m o d el   p er f o r m an ce   f r o m   a  d if f er e n t  p er s p ec tiv e  as d ef in e d   b elo w :   i)   R o o t  m ea n   s q u ar e  e r r o r   ( R MSE )   T h e  R MSE   is   u s ed   to   m ea s u r e  th e   ex ten t   o f   th e  er r o r   i n   p r e d ict io n s   b y   co m p u tin g   t h e  s q u ar e d   d if f er en ce s   b etwe en   th e  p r e d i cted   an d   ac tu al  v alu es.  T h is   m ea s u r e  is   esp ec ially   s en s itiv e  to   lar g e  er r o r s ,   th u s   ef f ec tiv ely   h ig h lig h tin g   s ig n if ican t  d ev iatio n s .   A  s m aller   R MSE   in d icate s   h ig h e r   ac cu r a cy   o f   th e   f o r ec ast.   W h er e,   ( )   an d   (   ̂ )   ar e  th e  ac t u al  an d   p r ed icted   v al u es o f   PV p o wer ,   r esp ec tiv ely .       = √ 1 × ∑ ( − ̂ ) 2 = 1   ( 2 0 )     ii)   Me an   ab s o lu te  er r o r   ( MA E )   T h e  MA E   is   an   av er ag e  o f   th e  m ag n itu d e  o f   th e  ab s o lu te  d ev iatio n s   b etwe en   ac tu al  an d   p r ed icted   v alu es.  I n   co m p ar is o n   t o   R MSE ,   th is   m ea s u r e  is   less   s en s i tiv e  to   o u tlier s   an d   p r o v id es  a  d ir ec t  m ea s u r e  o f   av er ag e  p r ed ictio n   d ev iatio n .     MAE = 1 ∑ | − ̂ | = 1   ( 2 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.