I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   38 ,   N o .   3 J un e   2025 ,   pp.   1 540 ~ 1 552   I S S N:  2502 - 4752,   DO I 10 . 11591/i j e e c s . v 38 .i 3 . pp1 540 - 1 552             1540     Jou r n al  h o m e page ht tp: // ij e e c s . iaes c or e . c om   A  c om p ar at iv e  st u d y  on  e le c t r ic it y  l oad  f or e c ast in g u si n st at is t ic al  an d  d e e p  l e ar n in g a p p r oac h e s       T e h r e e m   F at im B u t t 1 ,   S an a   T am e e r 1 ,   M u h am m ad   S al e e m 1 ,   Jaww ad   S am Ur   Re h m an 2   S at h is h   K u m ar   S e l vap e r u m al 3   1 D e pa r tm e nt   of  S c ie n c e s  a nd H uma ni ti e s , S ir   S y e d C A S E  I T   ( S S C A S E I T ) ,   I s la ma ba d, P a ki s ta n   2 D e pa r tm e nt   of   B i ome di c a E ng in e e r in g, R ip ha h U ni ve r s it y I s l a ma ba d, P a ki s ta n   3 C o ll e g e   of   E ngi n e e r in g, A s ia  P a c i f i c  U ni ve r s it y   of   I nn ov a ti o a nd T e c hn o l o g y ,   K ua la   L umpur M a la y s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve M a y   7 2024   R e vi s e No v   30 2024   A c c e pt e F e b   27 2025       L o ad   f o r ec as t i n g   h as   b ec o me  r e p ro v i n g   as p ec t   o a n   e n e r g y   m a n ag emen t   s y s t em   ( E MS).   I t   g i v e s   b as i c   ad v an t ag e   t o   g r i d   s t ab i l i t y ,   c o s t   e ff ec t i v en e s s   an d   b at t e r y   s t o rag e   s y s t em  (BSS).   Fo r   t h i s   p u rp o s e,   m a c h i n l e ar n i n g   (ML )   i s   w i d e l y   a d o p t ed   t o   f o r ec as t   t h e l ec t ri c i t y   l o ad .   T h i s   re s e ar c h   p ap e i n v e s t i g at e s   t h e   p e rfo r m a n ce s   o v ari o u s   t i me   s e r i e s   e s t i m at i n g   mo d el s   ap p l i e d   t o   el ec t ri c i t y   l o ad   d at fo r   an   I r i s h   co m p an y .   T h e   r e s e ar c h   m ai n l y   ad o p t s   t h e   a u t o r e g r e s s i v i n t eg rat ed   mo v i n g   a v e rag ( A RIMA )   m o d el ,   l o n g   s h o rt - t e rm   memo r y   ( L ST M)  n e t w o r k s   an d   t ran s fo r me n eu ral   n e t w o r k   (T N N t o   fo r ec as t   t h e   el ec t ri c i t y   l o a d .   A   c o m p ari s o n   e v al u at i o n   i s   co n d u c t e d   e n co m p as s i n g   v ar i o u s   q u an t i f y i n g   me as u r e s   s u ch   as   ro o t   me an   s q u are  e rro r   (RMSE ),   me an   s q u ar e   e rro (MS E an d   m e a n   ab s o l u t e   e rro (M A E ) .   T h e   re s u l t s   are   t h en   co m p ared   t o   g e t   an   u n d e rs t an d i n g   w h e t h e t h e   T N N   u s i n g   at t e n t i o n - b as ed   mech an i s i s   b e t t e t h an   t h e   t w o   s t at e   o t h art   m o d e l s .   H en ce   p ro v i d e s   c o m p l e t e   u n d e rs t an d i n g   ab o u t   w h i c h   o t h e   mo d el   n eed s   i m p ro v eme n t s   i n   i t s   ar c h i t ec t u r fo r   e n h an cemen t   o f   o p e rat i o n a l   e ff i c i en cy   an d   co s t   e ff ec t i v en e s s   i n   t h r e al m   o E M S .   K e y w o r d s :   A ut o r e g r e s s i ve   i n t e gr a t e m o vi ng  a ve r a ge   E l e c t r i c i t y   l o a f o r e c a s t i n g   L o n s h o r t - t e r m   m e m o r y   T r a n s f o r m e r   ne ur a l   n e t wo r k   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   S a t hi s h   K u m a r   S e l v a pe r u m a l   C o l l e g e   o f   E n g i ne e r i ng,   A s i a   P a c i f i c   U ni ve r s i t y   o f   I n n o v a t i o n   a n T e c hn o l o g y   57000,   K ua l a   L u m pur ,   M a l a y s i a     E m a i l s a t hi s h@a pu. e du. m y       1.   I NT RODU C T I ON   E l e c t r i c i t y   l o a f o r e c a s t i n i s   c r uc i a l   f o r   e c o l o g i c a l   we ll - b e i ng,   s t e a dy   wo r ki n o f   gr i w i t h   e f f i c i e n t   r e s o ur c e   m a na ge m e n t .   T o   f o s t e r   r e n e wa bl e   e n e r g y   r e s o ur c e s   o n e   n e e a   r o b u s t   de s i g n e f o r e c a s t i ng  s y s t e m   t h a t   e l im i na t e s   s e v e r a n c e .   T h e   l o a o f   e l e c t r i c i t y   f o r e c a s t i n i s   r e qu i s i t e   f o r   m a i n t a i n i ng  gr i s t a bi li t y ,   e nh a nc i n r e s o ur c e s   a l l o c a t i o n ,   i n c o r po r a t i n r e n e wa bl e   e n e r g y ,   s uppo r t i n m a r ke t   o pe r a t i o n s   a n e nh a n c i ng   r e s i li e n c e   to  di s r upt i o n .   M a c hi ne   l e a r ni n ( M L )   t e c hni que s   c a n   a ddr e s s   t h e   e v o l vi ng  c ha l l e nge s   o f   t h e   e n e r g y   s e c t or   a n b u i l a   m o r e   s us t a i n a bl e   a n r e l i a bl e   e l e c t r i c i t y   i n f r a s t r uc t u r e   f o r   t h e   f ut ur e   [ 1 ] .   B y   a pp lyi ng  ML   to  t h e   a c qu i r e da t a t h e   c h a ll e n ge s   i n   m e a s ur i ng  t h e   l o a c a n   b e   e n t e r t a i n e d   e f f i c i e n t l y .   B y   c o m p a r i n t h e   t h r e e   m a c hi ne - l e a r ni ng  a l go r i t hm s   i . e .   a ut or e gr e s s i v e   i n t e gr a t e m o vi ng   a v e r a ge   ( A R I M A ) l o n s h o r t - t e r m   m e m o r y   ( L S T M )   a n t r a n s f o r m e r   n e ur a l   n e t wor ( T NN )   t h i s   s t ud y   b r i n g s   f o r wa r t h e   b e s t   a n m o s t   r e l i a bl e   s o l ut i o n   t o   t h e   a d m i n i s t r a t e pr o bl e m s .   B y   f a r   T NN   a r e   we l l   k no wn   f o r   t h e i r   o u t s t a n d i n r e s u l t s   i n   l a n gua g e   tr a n s l a t i o n .   I n   t hi s   r e s e a r c h   T NN   i s   us e o n   t i m e   s e r i e s   da t a   a n t h e n   c o m pa r e t t h e   m o s t   b e n c h   m a r k i ng  M L   m o de l s   li ke   A R I M A   a n L S T M .   I n   t h e   U ni t e S t a t e s ,   a   r e s e a r c h   w a s   c o n duc t e i n   2019  o n   pr i m a r y   e ne r g y   c o ns u m pt i o n   t ha t   t h e   b u il d i ng  z o n e   us e up  to  32 %   o f   pr i m e   e n e r g y .   T hi s   us a ge   wa s   i nc r e a s e by   11 %   whi c h   i s   m o r e   t h a n   t h a t   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         A   c ompar ati v e   s tudy  on  e lec tr icity  load   f or e c as ti ng  us ing  s tat is ti c al  and     ( T e hr e e F ati ma  B utt )   1541   t h e   e n e r g y   c o ns u m e i 2010  a n i t   i s   a l s o   c o n s i d e r e t h a t   gl o b a l   e n e r g y   us a g e   w i ll   b e   i nc r e a s e by   1 . 3 %   pe r   y e a r   o n   r e gu l a r   f r o m   2018  t o   2050 .   Z h a n e al.   [ 2 ]   us e s uppo r t   v e c to r   m a c hi ne s   ( S VM ) l o g i s t i c   r e gr e s s i o ( LR ) ,   a n d i f f e r e n t   a r t i f i c i a l   n e ur a l   ne t wor ( A N N )   m o de l s   f o r   b u i l d i ng  l o a pr e d i c t i o n .   A   c a s e   s t ud y   wa s   c o n duc t e by   B a t l l e   e al.   [ 3 ] ,   whi c h   c a t e go r i z e t h a t   f o ur   m e t h o ds -   e n e r g y   a ud i t s   m e t h o ds ,   s t a t i s t i c a r e gr e s s i o n   m e t h o ds ,   n e ur a l   n e t wo r ks   a n S uppo r v e c to r s   m a c hi ne s -   c a n   b e   u s e to   a n a l y z e   e n e r g y   c o n s u m pt i o n .   B e t we e n   2010  a n 2035,   gl o ba l   e l e c t r i c i t y   de m a nd  i s   pr o j e c t e to   i n c r e a s e   by   36% ,   gr o wi n a t   a a v e r a ge   a nn ua l   r a t e   o f   1. 2%   [ 4] S i mi l a r l y ,   i n   B r a z i l ,   t h e r e   h a s   b e e n   a   s i z a bl e   r i s e   i n   e l e c t r i c i t y   c o ns u m pt i o n ,   w i t h   a   34. 1%   i nc r e a s e   r e c o r de b e t we e n   2005  a n 2016,   a s   r e p o r t e d   i n   t h e   S t a t i s t i c a l   Ye a r b o o k   o f   E l e c t r i c i t y   2017.   T h i s   r e po r i n d i c a t e s   a   c o n s u m pt i o n   o f   461. 7   T W h   i n   2016  a l o n e .   Not a bl y ,   t h e   publi c   s e c t or   a c c o u n t s   f o r   a r o un 6. 9%   o f   t h e   n a t i o n' s   t ot a l   c o ns u m pt i o n ,   wi t h   e l e c t r i c i t y   c o ns t i t u t i n o v e r   91%   o f   i t s   us a ge .   A c c o r d i n to  E P E ,   t hi s   s e c t o r   i s   e x pe c t e to  e x pe r i e n c e   a   y e a r ly   gr o wt h   r a t e   o f   4%   f r o m   2017  to   2 026  [ 3] .     I n   t hi s   c ur r e n t   e r a ,   wh e r e   e ne r g y   i s   e v o l vi ng,   a c c ur a t e   a n pr e c i s e   f o r e c a s t i n i s   e s s e n t i a l   f o r   a ddr e s s i ng   m a ny   o f   t h e   i s s u e s   r e s u l t i ng  f r o m   s upp ly   a n de man o f   e n e r g y .   As   e n e r g y   i s   v o l a t i l e   i n   na t ur e ,   a   t i m e ly   a n d   pr e c i s e   m e t h o do l o g y   i s   a   r e qu i s i t e   t m i t i ga t e   t h e   r i s k s   a n b a l a n c e   t h e   s upp l y   a n de m a n r a t i o .   As   pe r   t h e   a b o v e   m e n t i o n e d i s c us s i o n ,   t hi s   r e s e a r c h   de l ve s   i n t o   t h e   i m po r t a n c e   o f   l o a f o r e c a s t i n g   a n de v e l o pe a   m e t h o do l o g y   a im e t b r i n a c c ur a c y   by   e x p l o r i ng  t i m e   s e r i e s   f o r e c a s t i n t e c hni que s   t a i l o r e e x p li c i t ly   f o r   e l e c t r i c i t y   l o a pr e d i c t i o n .   B y   j u x t a po s i n c us t o m a r y   s t a t i s t i c a l   m e t h o ds   l i ke   A R I M a ga i ns t   c o n t e m po r a r y   de e l e a r ni ng  ( DL )   s t r uc tur a l   de s i g n   s uc h   a s   L S T M   n e t wor ks   a n a tt e n t i o n - b a s e d   t r a n s f o r m e r s ,   t h e   s t udy   a i m s   t s c r ut i ni z e   t h e i r   a pp li c a bil i t y ,   r o b us t n e s s ,   a n f o r e c a s t i n a c c ur a c y .   W a z i r a l i   e t   a l .   [ 5]   p r o v i de   a n   i n - de p th   a n a l y s i s   o f   v a r i ous   f or e c a s t i n g   m ode l s -   A NN ,   M L ,   a n d   DL -   a ga i n s tr a d i t i o n a l   s t a t i s t i c a l   m o de l s .   T h e   pa pe r   i ndi c a tes   t h e   s tr e n g t h s   a n d   l i m i t a t i o n s   o f   th e s e   m o de l s .   A n d   s h o ws   th a f or e c a s t i n g   r e s u l t s   o f   m ode l s ;   l i ke   A N N ,   M L   a n d   DL ;   h a s   a l l e vi a t e d   a ga i n s tr a di t i o n a l   m o d e l s .   M o de l i n e n e r g y   c o n s u m pt i o n   a n i t s   f o r e c a s t i n g,   s t a n ds   a s   a   f o c a l   e x e r t i o n   w i t hi n   b o t h   de v e l o pe d   a s   we l l   a s   de ve l o p i n n a t i o n s ,   o f f e r i ng  i ns t r um e n t a l   i n t u i t i o n s   to   c o n c e r ni ng  o r ga n i z a t i o n   a n po l i c ym a ke r s .   P r e c i s e ly   e v a l ua t i n t h e   n e e d s   o f   e n e r g y   c o ns u m pt i o n   h o l d s   n o t e w o r t hy   i nf e r e n c e s ;   un de r e s t i m a t i n t h e   r i s ks   o f   d i r e   o ut a ge s ,   s tr i k i ng  s e v e r e   im pr e s s i o ns   o n   e c o n o m y   a n li f e .   T h us ,   i t   b e c o m e s   i m p e r i o us   to   m o de l   c o n s u m pt i o n   o f   e n e r g y   w i t h   e xa c t n e s s   t f o r e s ta l l   i nf l a t e e r r or s   a n t o   c e r t i f y   o pt i m u m   a ll o c a t i o n   o f   r e s o ur c e s   [ 6] .   T h e   l a t e n t   o f   a r t i f i c i a l   i n t e ll i ge n c e   ( A I )   pr o c e dur e s   i n   a ug m e n t i n l o a pr e d i c t i n e f f i c i e n c y ,   m a i n ly  w i t h   r e s pe c t   to  t h e   a pp l i c a t i o n   o f   s m a r m e t e r s   i t h e   r e s i de n t i a l   s e c t o r   i s   o f   ke y   im po r t a n c e .   T h e   s ur v e y   o f   t h e s e   a f o r e m e n t i o n e a d v a nc e A I   pr otot y pe s   w i s h e s   to   s h e l i g h t   o n   t h e i r   c o m p e t e n c e s   a n i nf l ue nc e s   t t h e   r e c o gni t i o n   o f   f o r e c a s t i n s y s t e m s   t h a t   i s   i n t e ll i ge n t ,   a n i s   m o vi ng  pa r a ll e l   w i t h   t h e   s pr o ut i n l a n d s c a pe   o f   s m a r t   t e c h n o l o g i c a l   m o d e l s   i n   m a n a ge m e n t   o f   r e s i de n t i a l   e n e r g y .   Ha y e s   [ 7]   p r o vi d e s   a   de t a i l e r o l e   o f   AR I M A   m o de l   i n   t i m e - s e r i e s   f o r e c a s t i n g.   T h e   s t udy   hi g hli g h t e t h e   ke y   c o m po n e n t s   o f   A R I M A   a n d   e x p l a i ns   h o t h e s e   c o m po n e n t s   a r e   c o l l e c t i ve l us e to   pr e d i c t   n e x t   i n s t a n t   us i n pr e vi o u s   i ns t a n c e s .   L a t e r   i n   m e t h o do l o g y   s e c t i o n   o f   t hi s   pa pe r   m a t he m a t i c a r e pr e s e n t a t i o n   o f   A R I M A   i s   a l s o   m e n t i o n e d.   A R I M A   de n o t e s   a   s t a t i s t i c a l   pr o b e   m o de l   i nf l u e n c i ng  t i m e   s e r i e s   da t a   f o r   a   t w o f o l pur po s e a c qu i s i t i o n   o f   i n s i g h t s   o f   da t a s e t   a n f o r e c a s t i ng  f o r t h c o m i ng  t r e n ds   [ 8] .   I n   t h e   de m e s n e   o f   s t a t i s t i c a l   m o de li ng,   a n   a ut o r e gr e s s i v e   ( AR )   m o de l   m a ke s   pr o ph e s i e s   a b o ut   i mm i ne n t / f o r t h c o m i ng  va l u e s   by   d e pe n d i ng   o n   pa s i ns t a n c e s   [ 9] .   T h e   o r i g i ns   o f   A R I M A   i s   tr a c ke b a c to  t h e   dr udge r y   o f   B o x   [ 10]   wh pr e s e n t e t h e   A R I M A   m o de l   i n   t h e   1970s .   S i n c e   t h e n ,   A R I M A   h a s   b e c o m e   a   f o un da t i o n   s to n e   i n   t h e   t ur f   o f   da t a   e x p l o r a t i o n   a n f o r e t e l li ng,   t h a t   hi n ge   o n   t i m e   i n t e r l ude s .   S h o r t   t e r m   f o r e c a s t i n o f   e l e c t r i c i t y   l o a wa s   pe r f o r m e i n   2023  us i ng  A R I M A   a n A N N.   T h e   s t ud y   wa s   e s t a bl i s he o n   r e a l - t i m e   e l e c t r i c i t y   l o a da t a   f r o m   a r o un 709   h o us e h o l ut i li t i e s   a n c o m pr i s e s   o f   o v e r   18 - m o n t h s   o f   da t a .   T h e   f i nd i ng s   o f   t h e   r e s e a r c h   r e v e a l e t h a A R I M A   pe r f o r m e s l i g h t l y   be tt e r   t h a n   AN N   [ 11] .   T h e   c o nj e c t ur i n o f   e l e c t r i c i t y   a t   a   v e r y   s h o r t e r m   t i m e   s e r i e s   f o r e c a s t i n ( VST - T S F )   o n   a   r e s i d e n t i a l   c us t o m e r   l e ve l   i s   o f   ke y   im po r t a n c e   i n   p l a nni ng  t he   m a n a g e m e n t   o f   e ne r g y   a n po we r .   T h e s e   pr e d i c t i o n s   w il h e l t h e   a ut h or i t i e s   to  m a k e   tr a de - o f f   po l i c i e s   f o r   b e tt e r   c o n s u m pt i o n .   Di ve r s e   m o de l s ,   b ot h   s t a t i s t i c a l   a n d   r e c ur r e n t ,   h a v e   be e n   t a i l o r e to  pr o b e   VST   e l e c t r i c i t y   l o a f o r e c a s t i n g.   B ut  t h e s e   m o de l s   ha v e   l o c o n v e r ge n c e   r a t e ,   a n a r e   n o t   a bl e   t o   d e t e c t   un de r lyi ng  c o m p l e x   pa t t e r n s   i n   da t a   a n s o   f o r t h .   T o   ov e r c o m e   t h e s e   pr o bl e m s   L S T M   wa s   de v e l o pe [ 12] .   L S T M - NN   wa s   de v e l o pe t o   a ddr e s s   s o m e   o f   t h e   s h o r t c o m i ngs   o f   o b s o l e t e   r e c ur r e n t   n e ur a l   n e t wo r ks   ( R NN s ) ,   a   m o de l   u n a bl e   t o   c a p t u r e   l o n g - t e r m   da t a   pa tt e r n s   i n   c h r o n o l o g i c a l   s e que n c e .   L S T M   a ddr e s s e t h e   c h a ll e n ge s   o f   gr a d i e n t   i s s ue s   f a c e by   R NN s   w h e r e   t h e   gr a di e n t s   o f   l o s s   f u n c t i o n   d i mi n i s h e d   e x po n e n t i a ll y   o v e r   t i m e   dur i n t r a i ni ng.   T hi s   i s s ue   hi n d e r e t h e   a pt i t ude   o f   R NN s   t h a t   e f f e c t i v e ly   a c q u i r e   a nd   r e m e m be r   da t a   a n f a c t s   f r o m   d i s t a n t   t i m e   s t e ps   i n   s e que n t i a l   d a t a   [ 13 ] .   T h e   c o n s u m pt i o n   o f   e l e c t r i c i t y   f r o m   t h e   r e n e wa bl e   s o ur c e s   i s   i n c r e a s i ng  s pe e d il y   due   to   t h e   l o m a i n t e n a n c e   a n e nvi r o nm e n t a l   f r i e n d ly   n a t ur e .   A pr o po s ,   a   s t udy   wa s   c o n duc t e to   p r e di c t   t h e   s o l a r   po we r   by   us i ng  d if f e r e n t   M L   m o de l s .   I t   wa s   i n t e r pr e t e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   38 ,   N o .   3 ,   J un e   20 25 1 540 - 1 552   1542   t h a t   a m o n a l l   c h o s e n   m o de l s   R NN   a n S VM   o u t pe r f o r m e a n b o ugh t   hi g h e s t   a c c ur a c y   i t e r m s   o f   pe r c e n t a ge   m e a n   a b s o l ut e   pe r c e n t a ge   e r r o r   ( M A P E )   [ 14 ] .   I n   pa r t i c u l a r ,   t h e   t e r m   v e r y   s h o r t e r m   l o a f o r e c a s t i n c a n   s pa n   f r o m   f e m i nut e s   to  o n e   we e k.   T hi s   d i vi s i o n   c a n   b e   o f   ke y   i m po r t a n c e   i n   a c c ur a t e l y   pr e d i c t i n t h e   l o a o f   e l e c t r i c i t y   o n   t h e   gr i d.   S t u d i e s   h a ve   s h o w n   t h a i f   l o a f o r e c a s t i n e r r or s   a r e   de c r e a s e by   o nly   1%   c a n   s a v e   up  to   w o r t h   10   m il li o n   poun ds   f o r   e l e c t r i c i t y   ut i li t y   o pe r a tor s   [ 15 ] .   T h e   m u l t i p l i c a t i ve   ga t e   uni t s   wi t hi n   L S T M   d y n a mi c a ll y   r e gu l a t e   a c c e s s   t o   t h e   c o n s t a n t   e r r o r   f l o w,   d e m o n s t r a t i n i t s   a da pt a bil i t y .   I m po r t a n t l y ,   L S T M   e xhi b i t s   l o c a l   s pa t i a l   a n t e m po r a l   c h a r a c t e r i s t i c s ,   r e s u l t i n i n   c o m put a t i o n a l   e f f i c i e n c y   [ 16] .   An o t h e r   t e c h ni que   t a i l o r e s pe c if i c a ll y   f o r   t h e   a c qu i r e da t a   i s   a tt e n t i o n - b a s e T NN .   T h e   pr e v a i li ng   m o de l s   f o r   s e que n c e   t r a n s duc t i o n   r e l y   o n   i n t r i c a t e   R NN   o r   c o n v o l ut i o n a l   n e ur a l   n e t wo r k   ( C NN ) i nc o r por a t i n b o t h   wi t h   a n   e n c o de r   a n w i t h   a   de c o de r .   M o s t   o f   s uc c e s s f u l   a m o n t h e m   i s   i n t e gr a t i ng  b o t h   w i t h   a n   e n c o de r   a n a   de c o de r   us i n a t t e n t i o n   m e c ha ni s m .   I n   c o n t r a s t ,   a n   o r i g i na l   a n f o r t h r i g h t   n e t wo r k   de s i g n   c a l l e t h e   t r a n s f o r m e r ,   whi c h   r e l i e s   e xc l u s i ve ly   o n   a tt e n t i o n   m e c h a ni s m s ,   c o m p l e t e l y   d i s c a r d i n t h e   r e qu i r e m e n t   f o r   R NN   a n C NN s .   T e n t a t i v e   o u t pu ts   f r o m   t w o   M L   t r a n s l a t i o n   c h o r e s   e s t a bl i s h   t h e   domi na n c e   o f   t h e s e   t r a n s f o r m e r   m o de l s   i n   t e r m s   o f   pa r a l l e li z a bil i t y ,   e f f i c i e n c y   i n   t r a i ni ng  a n qua l i t y   [ 17] .   W a n e al.   [ 18]   pr e s e n t e a   t r a n s f o r m e r - b a s e pr otot y pe   f o r   f o r e c a s t i n e n e r g y   s y s t e m .   I t   wa s   s t a t e i n   t h e   pa pe r   t h a t   tr a n s f o r m e r   b a s e d   m o de l   h a s   o u t pe r f o r m e t h e   t r a di t i o n a l   m e t h o ds .   F o r e c a s t i n g   e n e r g y   l o a d s   ( l i ke   e l e c t r i c i t y ,   h e a t i n g ,   a n c oo l i ng )   i n   t h e   s y s t e m .   I n   t h e   s a m e   y e a r ,   Z h a n [ 19]   a l s o   w o r ke d   o n   t i m e   a ug m e n t e t r a n s f o r m e r   a r c hi t e c t ur e .   Du r i n t h e   r e s e a r c h   i t   i s   s t a t e d   t h a t h e i r   m o de l   e f f i c i e n t l y   a ddr e s s   c o m p l e x   t i m e   s e r i e s   pr o bl e m s .   M o r e o v e r ,   i t   wa s   a l r e a d y   d i s c u s s e by   Ho c h r e i t e r   e al.   [ 2 0]   t h a t   a   c i p h e r - de c i p h e r   a r r a n ge m e n t   i s   i n c l ud e i n   t h e   m a jo r i t y   o f   vi a bl e   n e ur a l   s e que n c e   m o de l s   o f   t r a n s duc t i o n .   An   AR   m o de l ,   l i k e   A R I M A ,   i s   t h e   o n e   i n   whi c h   a   v a l u e   a s pe c i f i c   i ns t a n t   de pe n ds   o n   t h e   e r s t whi le   o n e .   B ut  a n   a tt e n t i o n   ba s e m o de l   i s   n o t   a n   AR   c l a s s i c a l   m o de l   h e nc e   i t   c a n   e v e n   o v e r a we t h e   c ur bs   o f   R NN   s uc h   a s ,   s l o we r   c o m put a t i o n   s pe e a n m e m o r y   c o n s t r i c t i o n s ,   a n c a n   be   o f   gr e a t   pr o m i ne n c e   i n   t r i u m p hi ng   b e t t e r   r e s ul t s   i n   a   m o r e   s pe e d y   wa y   [ 21] .   T h r o ug h   a n   e xh a u s t i v e   pr o p or t i o n a l   a n a ly s i s ,   t hi s   r e s e a r c h   wo r o bj e c t s   to  s ub s i d i z e   to  t h e   b ur ge o ni n f i e l o f   e ne r g y   pr o j e c t i n by   e nli g h t e ni ng  t h e   c a pa bil i t i e s   o f   d i f f e r e n t   m o de l s   a n i t s   s u i t a bil i t y   f o r   r e a l - wo r l a pp l i c a t i o n s .       2.   P ROP OS E M E T HO D   T h e   pr o p o s e m e t h o do l o gy   e n c o m pa s s e s   s e v e r a l   ph a s e s   to   de v e l o a n e v a l ua t e   pr e di c t i v e   m o de l s   f o r   VST   e l e c t r i c i t y   l o a f o r e c a s t i n g.   S t a ge   1:   i n   t hi s   s t a ge ,   t h e   da t a s e g o e s   t h r o ugh   a   ni t p i c k i ng  pr o c e s s   o f   e x a mi na t i o n   a n a na ly s i s .   Du r i n t hi s   pr o c e s s   i t   wa s   m a d e   s ur e   t h a t   t h e   a c qu i r e da t a   i s   c e r t a i nly   a   t i m e - s e r i e s   da t a ,   a s   t i m e - s e r i e s   da t a   i s   r e qu i s i t e   i do m a i ns   l i k e   e l e c t r i c i t y   l o a f o r e c a s t i n g.   P r e d i c t i n e l e c t r i c i t y   l o a i n   t i m e   s e r i e s   da t a   i s   c r uc i a b e c a u s e   t h e   s e que n c e   o f   da t a - po i n t s   a n t h e   t i m e   i n t e r v a ls   be t w e e n   t h e m   a r e   o f   vi t a l   i m po r t a n c e   f o r   un de r s t a n d i n g   pa tt e r n s   a n tr e n ds   ( i f   a ny )   w i t hi n   t h e   da t a - p o i n t s .   P a r t i c u l a r l y   i n   c a s e   o f   f o r e c a s t i n e l e c t r i c i t y   l o a d,   e a c h   m o de l   i s   r e qu i r e t d o   t w o   b a s i c   t a s ks ;   a n a ly z i ng  m a g ni t ude   o f   e l e c t r i c i t y   l o a a t   di f f e r e n t   po i n t s   i n   ti m e   a n d   to   i de n t i f y   s e qu e n t i a l   a n a ny   s e a s o n a l   t r e n ds   a s   we l l   a s   a n o m a li e s   o r   s udde n   c h a n g e s   i n   e l e c t r i c i t y   us a ge .   T h e   t e m po r a l   de pe n de n c i e s ;   l i ke   r e l a t i o ns hi b e t we e n   pa s t ,   p r e s e n t   a n f ut ur e   da t a - p o i n t s ;   a ll o ws   m o de l s   t pr e d i c t   e l e c t r i c i t y   l o a by   m a k i ng  s ur e   to  pr o duc e   pr e c i s e   pr e d i c t i o n s .   Af t e r   t h e   a f f i r m a t i o n   t h a t   t h e   da t a   i s   t i m e - s e r i e s ,   t h e   n e x t   s t a ge   o f   pr e pr o c e s s i n o f   da t a   i s   c a ll e f o r .   S t a ge   2:   a f t e r   t h e   de t a i l e a n a ly s i s   a n ni t p i c k i ng  e x a mi na t i o n   o f   da t a   f o r ,   t h e   n e x t   s t a ge   i s   pr e - pr o c e s s i ng  o f   da t a .   T hi s   s t a ge   i s   ve r y   c r uc i a l   a s   i t   m a k e s   s ur e   to  pr e pa r e   da t a   i n   a c c o r da n c e   w i t h   t h e   m o de l s ,   whi c h   a r e   un de r   e x a mi na t i o n   f o r   c o m pa r i s o n .   T hi s   s t a ge   of   pr e pr o c e s s i ng  o f   da t a   i s   e s s e n t i a l ,   a s   e a c h   m o de l   h a s   d i f f e r e n t   r e qui s i t e s   a n s t r uc t ur e s .   W i t h o ut  p r o p e r   pr e p r o c e s s i ng,   m o de l s   m a y   s t r ugg l e   to  gi v e   o p t i m a l   pe r f o r m a n c e .   A n o t h e r   v e r y   t r i c k y   t hi ng  to  d o   i n   p r e - pr o c e s s i n s t a ge   i s   n o r m a li z a t i o n   o f   da t a .   T hi s   i nv o l ve s   m o u n t i n n u m e r i c a l   f e a t ur e s   i n   a   r a n ge   b e t we e n   0   a n 1.   Nor m a li z a t i o n   i s   a l s o   a ddr e s s e a s   t h e   da tas e t   h a s   m e a n   o f   a n s t a n da r de vi a t i o n   o f   1.   N o r m a li z a t i o n   i s   do n e   to  m a ke   s ur e   t h a e a c h   i n s t a nc e   i n   da t a s e i s   h a vi ng  e qua l   im po r t a n c e .     S t a ge   3:   I n t e r m i t t e n t l y ,   i n   t h e   t hi r ph a s e ,   t h e   da t a   i s   s p l i t t e i n t t w s e t s   tr a i ni ng  a n t e s t i n s e t s .   T hi s   s e g m e n t a t i o n   i n to   tr a i ni ng  a n t e s t i n s ubs e t s   i s   do n e   to  e s t a bl i s h   m o de l s   a bi li t y   n o o nl y   t t r a i n   e f f i c i e n t l b ut   a l s o   to  e nh a n c e   t h e i r   a bil i t y   t s pe c u l a t e   unf o r e s e e n   da t a .   T r a i ni ng  s e t ,   c o m pr i s e s   o f   80%   o f   tot a l   da t a - p o i n t s ,   i s   u s e to  e n l i g h t e n   t h e   m ode l s -   l i ke   A R I M A ,   L S T M ,   a tt e n t i o n - b a s e d   T N N -   a l l ow i n t h e m   to  g r a s r e l a t i o n s hi ps ,   de pe n de n c i e s   a n d   pa tt e r n s   wi t hi n   t h e   d a ta .   On c e   t h e   tr a i ni n g   p r oc e s s   i s   o v e r   th e   r e m a i ni ng   2 0 %   o f   th e   da ta - p o i n t s   a r e   pa s s e d   f r o m   t h e   tr a i n e d   m o d e l .   T h e   pe r f or m a n c e   o f   da ta   i s   e v a l ua t e d   by   us i n s e v e r a l   us i n m e t r i c s   l i ke   m e a n   a b s o l u t e   e r r or   ( M A E ) ,   m e a n   s q ua r e d   e r r or   ( M S E ) ,   a n d   r oot  m e a n   s q ua r e d   e r r or   ( R M S E ) .   B y   go i n t h r o ugh   t h e   a b o v e   m e n t i o n e ph a s e s   o f   t h e   pr o p o s e d   m e t h o do l o g y ,   s t r o n p r e d i c t i o m o de l s   c a n   b e   o b t a i n e f o r   f o r e c a s t i n l o a o f   e l e c t r i c i t y   o n   s m a r t   m e t e r s .   M or e o v e r ,   t h i s   m e t ho d o l o g y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         A   c ompar ati v e   s tudy  on  e lec tr icity  load   f or e c as ti ng  us ing  s tat is ti c al  and     ( T e hr e e F ati ma  B utt )   1543   a l l o w s   a   c o m pa r a t i v e   s t ud y   o f   t h e   t h r e e   m o de l s -   A R I M A ,   L S T M ,   a n a tt e n t i o n - b a s e t r a n s f o r m e r   n e ur a l   n e t wo r k .   T h e   da t a   o f   s m a r t - m e t e r s   i s   a c qu i r e d   f r o m   I r i s h   S o c i a l   S c i e nc e   Da t a   A r c hi ve   ( I S S DA ) .   T h e   e v a l ua t i o n   o f   t hi s   h o us e h o l s m a r t   m e t e r s   da t a ,   a ll o ws   r e s e a r c h e r s   to  o b t a i n   i ns i g h t f u l   i nf o r m a t i o i n t o   t h e   s t r e n gt h ,   we a kn e s s   a n s u i t a bil i t y   o f   m o de l s   i n   d if f e r e n t   s c e na r i o s .   T hi s   pr o p o r t i o n a l   a na l y s i s   i s   i nv a l ua bl e   f o r   un de r s t a n d i ng  t h e   pr o c e dur e s   o n   h o to   t a ke   de c i s i o ns   e f f e c t i v e ly   w i t hi t h e   pr o vi de r e s o ur c e s .   T hi s   w i ll   a l s o   h e l u n de r s t a n t h e   s t a ke h o l de r s   h o to   a l l o c a t e   r e s o ur c e s   i n   b e s t   o p t i m u m   wa y   by   r e c o gni z i ng  t h e   m o s t   a c c ur a t e   a n e f f i c i e n t   m o d e l   f o r   e l e c t r i c i t y   lo a d.   S t a ke h o l de r s   c a n   a l s o   e nh a n c e   t h e   o v e r a ll   e f f i c a c y   o f   t h e i r   f o r e c a s t i n s t r a t e gi e s   a n pr i o r i t i z e   m o de l   de p l o y m e n t .   C o n s e que n t l y ,   t hi s   de t a i l e a n a m p l e   va l ua t i o n ur t ur e s   kn o wl e dge a bl e   de c i s i o n - m a k i ng  a n p l a nni ng  o f   r e s o ur c e s   wi t hi n   t h e   e n e r g y   s e c t or ,   thi s   w i ll   e v e n t ua l ly   c o n t r i b ut e   to  t h e   pr o gr e s s i o n ,   i m pr ov e m e n t   a n a dva n c e m e n t   o f   e c o l o g i c a l   a n de pe n da ble   m a n a ge m e n t   o f   e n e r g y   pr a c t i c e s .   T h e   f l o wc ha r t   o f   t h e   pr o p o s e m e t h o do l o g y   i s   s h o wn   i n   F i gur e   1.           F i gur e   1.   P r o p o s e m e t h o d       T h e   da t a   o b t a i n e f r o m   I S S DA   c o m pr i s e s   o f   t h r e e   c a t e g o r i e s   o f   s m a r t - m e t e r s ;   t h a t   i s   r e s i de n t i a l ,   S M E   a n o t h e r s .   T hi s   pa pe r   c o m pa r e s   t h e   t h r e e   a f o r e m e n t i o n e m o de l s   o nly   o n   r e s i d e n t i a l   s m a r t   m e t e r s .   T h e   da t a   pr o vi de by   e a c h   m e t e r   c o n s i s t s   o f   t wo   c o l u m ns .   F i r s t   c o l u m s h o ws   da t e   a n t i m e   a n s e c o nd  c o l u mn  s h o ws   e l e c t r i c i t y   c o ns u m e i n   kW h   dur i n 30  mi nut e s   i n t e r v a l .   T a bl e   s h o ws   a   f i r s t   20   o f   on e   o f   t h e   r e s i de n t i a l   m e t e r   1002.   T h e   t a bl e   po r tr a y s   e l e c t r i c i t y   l o a da t a   i n   k i l o wa t t - h o u r s .   I t   di s p l a y s   c o ns u m pt i o n   o f   e l e c t r i c i t y   t h r o ugh o u t   t h e   da y   a t   s pe c i f i c   t i m e .   F o l l o w i ng  a r e   t h e   de t a i l e e x p l a n a t i o n   o f   m a t he m a t i c a r e pr e s e n t a t i o n   o f   e a c h   m o de l   a n wo r ki n o f   e a c h   m o de l   o n   t h e   r e s i de n t i a l   s m a r t   m e t e r s   l i k e   m e t e r   1 002.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   38 ,   N o .   3 ,   J un e   20 25 1 540 - 1 552   1544   T a bl e   1.   E l e c t r i c i t y   l o a da t a   m e t e r   1002   D a te   L o a ( kW h)   14/ 07/ 2009 00:30: 00   0.362   14/ 07/ 2009 01:00: 00   0.064   14/ 07/ 2009 01:30: 00   0.119   14/ 07/ 2009 02:00: 00   0.023   14/ 07/ 2009 02:30: 00   0.14   14/ 07/ 2009 03:00: 00   0.036   14/ 07/ 2009 03:30: 00   0.108   14/ 07/ 2009 04:00: 00   0.083   14/ 07/ 2009  04: 30: 00   0.056   14/ 07/ 2009 05:00: 00   0.129   14/ 07/ 2009 05:30: 00   0.015   14/ 07/ 2009 06:00: 00   0.132   14/ 07/ 2009 06:30: 00   0.054   14/ 07/ 2009 07:00: 00   0.082   14/ 07/ 2009 07:30: 00   0.103   14/ 07/ 2009 08:00: 00   0.028   14/ 07/ 2009 08:30: 00   0.136   14/ 07/ 2009 09:00: 00   0.051   14/ 07/ 2009 09:30: 00   0.333   14/ 07/ 2009 10:00: 00   0.384       2. 1 .     Aut or e gr e s s ive  in t e g r at e d   m ovin ave r age   T h e   AR I M A   m e t h o do l o g y   i s   a   pr e v a l e n t   t i m e   s e r i e s   f o r e c a s t i n a ppr o a c h   t h a t   s y n d i c a t e s   a uto   r e gr e s s i o n ,   d if f e r e n c i ng,   a n m o vi ng  a v e r a ge s   ( M A ) .   T h e   A R   m o du l e   c o m pr i s e s   o f   pr o ph e s yi n f ut ur e   v a l ue s   gr o un de o n   pa s t   v a l u e s .   T hi s   m o de l s   a n   a s s o c i a t i o n   a m o n gs t   a n   i ns t a n c e   a n s e ve r a l   l a gg e v a l ue s   [ 22] .   A R I M A   c o n s i s t s   o f   t h r e e   ke y   c o m po n e n t s   t h a i s   A R ,   i n t e gr a t e ( I ) ,   a n M A .   T h e   r e s ul t s   o f   AR I M A   i s   o b t a i n e by   c o m bi n i ng  t h e   e f f e c t s   o f   a l l   t he   t h r e e   c o m po n e n t s .   T h e   AR   m o du l e   c o m pr i s e s   o f   pr o ph e s yi ng  f ut ur e   v a l u e s   gr o un de o n   pa s v a l ue s .   T hi s   m o d e l s   a a s s o c i a t i o n   a m o n gs t   a n   i ns t a n c e   a n s e v e r a l   l a gg e v a l ue s .   M a t h e m a t i c a ll y :     = + 1 1 + 2 2 + + +   ( 1)     He r e ,     i s   t h e   c ur r e n t   o b s e r v a t i o n ,     i s   a   c o n s t a n t ,   1 , 2 , ,   a r e   t h e   AR   c o e f f i c i e n t s ,   1 , 2 , ,   a r e   pa s t   o b s e r v a t i o n s ,   a n   i s   t h e   m i s c a l c u l a t e t e r m .   T h e   c r uc i a l   f u n c t i o n   o f   t h e   I   m o de l   i s   to   a c c o m p li s h   s t a t i o n a r i t y   i n   t h e   da t a .   S t a t i o n a r i t y   i s   a   ke y   po s t ul a t i o n   f o r   s e v e r a l   t i m e   s e r i e s   m o de l s ,   a s   we l l   a s   AR I M A .   D i f f e r e n c i ng  i nv o l v e s   c o m put i n d i f f e r e nc e   b e t we e n   c o n s e c ut i v e   o b s e r v a t i o n s .   T h e   d i f f e r e nc e s e r i e s ,   de n o t e a s     i s   o b t a i ne by   s ub t r a c t i n t h e   ( t 1) - t h   o b s e r v a t i o n   f r o m   t h e   t - t h   o b s e r v a t i o n .     = 1   ( 2)     T h e   MA   m o de l   f o c us e s   o n   m o de l i ng  t h e   r e l a t i o n s hi be t we e n   a n   o b s e r v e t i m e   s e r i e s   a n a   l i ne a r   c o m bi na t i o n   o f   pa s t   e r r o r   t e r m s   ( r e s i dua l s ) .   I t   i s   de n o t e a s   M A ( q) ,   wh e r e   q   r e pr e s e n t s   t h e   o r d e r   o f   t h e   m o de l .     = + + 1 1 + 2 2 + +   ( 3)     W h e r e ,     i s   o b s e r v e v a l ue   a t   i n s t a nc e   t ,     i s   t h e   m e a n,     i s   t h e   whi t e   n o i s e   t e r m   a t   t ,   a n   1 , 2 , ,   a r e   t h e   pa r a m e t e r s   to   b e   e s t i m a t e d.   T h e   f i r s t   a n t h e   f o r e m o s t   c o n d i t i o n   f o r   a pp l i c a t i o n   o f   A R I M A   t h a t   da t a   s h o ul b e   s t a t i o n a r y .   T h e   co l l e c t e da t a   wa s   t e s t e f o r   t h e   s t a t i o na r i t y   us i n a ug m e n t e di c ke y - f u ll e r   ( A D F )   t e s t .   T o   de t e r m i ne   i f   t he   d i f f e r e n c i ng  wa s   r e qu i r e to  m a ke   t h e   da t a   s t a t i o n a r y .   W i t h   a l l   t hi s   d i s c u s s i o n   pr e pr o c e s s i n ph a s e   b e ga n .   C o n t i n u i ng  t hi s   pr o c e s s   t h e   da t a   s e wa s   r e s a m p led  to   30   m i nut e s   i n t e r v a l s   to   e n s ur e   uni f o r mi t y   a c r o s s   t h e   t i m e   s e r i e s   da t a .   T h e s e   pr e pr o c e s s i n s t e ps   a r e   c r uc i a l   f o r   un de r s t a n d i n t h e   pa t t e r n s   i n   da t a ,   a s   i t   v e r y   h e l p f u l   i f i ne   t uni n t h e   m o de l s   pa r a m e t e r .   T h e   s e l e c t i o n   o f   pa r a m e t e r   i s   do n e   w i t h   t h e   h e l o f   A C F   a n d   P A C F   p l o t s .   Af t e r   t r a i ni ng  t h e   m o de l   t h e   t e s t e d   s e i s   pa s s e t h r o ugh   t h e   tr a i ne m o de l   a n d i f f e r e n t   m e t r i c s   li ke -   M A E ,   M S E ,   a n R M S E -   wa s   us e to  e v a l u a t e   m o de l s   pe r f o r m a n c e .   L a t e r   i n   c o m pa r i s o n   s e c t i o n   t h e   r e s u l t s   a r e   s h o wn   a n c o m p a r e d.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         A   c ompar ati v e   s tudy  on  e lec tr icity  load   f or e c as ti ng  us ing  s tat is ti c al  and     ( T e hr e e F ati ma  B utt )   1545   2. 2 .     L on s h or t - t e r m   m e m o r y   T h e   m e t h o do l o g y   o f   L S T M   n e t w o r ks   i nv o l v e s   a   de e un de r s t a n d i ng  o f   t h e   a r c hi t e c t ur e   a n t r a i ni ng   pr o c e s s   o f   R NN s .   L S T M   ne t wor ks   a r e   c o m po s e o f   m e m o r y   c e l l s ,   w hi c a r e   r e s po n s i b l e   f o r   m a i n t a ini ng  a n d   upda t i n a   c e l l   s t a t e .   T h e   m e m o r y   c e ll   i s   t h e   f u n da m e n t a l   b u i l d i ng  bl o c o f   L S T M   [ 23] ,   [ 24] .   L S T M s   h a v e   t h r e e   n a t ur e s   o f   ga t e s   -   i n pu t ;   f o r ge t ,   a n o u t pu t .   T h e s e   ga t e s   r e gul a t e   t h e   m o v e m e n t   o f   da t a   i n   a n o ut   o f   t h e   m e m o r y   c e ll ,   l e t t i n n e t wor to   r e m i n i s c e   o r   o v e r l o o t h e   s e l e c t e i nf o r m a t i o n   [ 25] S i m il a r   t ot h e r   R NN ,   L S T M   i s   c o a c he to   us e   t h e   b a c k - pr o pa ga t i o n   a l go r i t hm .   Ho we v e r ,   i n   t h e   c a s e   o f   L S T M ,   t h e   B P T T   i s   e x t e n de t h r o ugh   t i m e   to   c a p t ur e   l o n g - t e r m   de pe n de n c i e s   [ 26] .   T h e   a c t i va t i o n   f u n c t i o us e i n   L S T M   i s   s i g m o i f u n c t i o n .   T h e   s i g m o i d   i n pu i n   t h e   i n te r v a l   [ 0 ,   1 ] .   I i s   f r e qu e n t l y   us e d   f o r   b i n a r y   g r ou p i n g   o f   p r o bl e m s   a s   i t   p r od uc e s   a n   ou tp u th a c a n   b e   i n ter p r e ted   a s   a   pr o b a bi l i t y   [ 2 7] .   T h e   m a t h e m a t i c a l   i l l us tr a t i o n   i s   s h o wn   i n   ( 2 ) .     ( ) = 1 1 +   ( 4)     W h e r e a s ,   t h e   t a n h   f u n c t i o n   pr e s s e s   t h e   i n put   da t a   s e t s   i n   t h e   r a n ge   ( 1,   1) .   I t   i s   w i d e ly   us e i n   ne ur a l   n e t wo r ks   b e c a us e   i t   i n t r o duc e s   n o n - l i ne a r i t y   a n i s   z e r o - c e n t e r e d,   h e l p i ng  i n   t h e   o p t i mi z a t i o n   pr o c e s s   [ 28] T h e   f o r m u l a   o f   t a n h   i s   e x pr e s s e i n   ( 3 ) .     ta nh ( ) = 2 1 2 + 1   ( 5)     T h e s e   a c t i va t i o n   f u n c t i o n s   a r e   c r uc i a l   t o   n e ur a l   n e t wo r ks '   o pe r a t i o n   s i nc e   t h e y   a l l o t h e m   t c o m pr e h e n t h e   c o m p l e x   a n c o m p li c a t e c o r r e l a t i o n s   a n c o m bi na t i o n s   f o un w i t hi n   t h e   da t a .   T h e   t a s k' s   e x a c t   r e qu i r e m e n t s   a n t h e   da t a ' s   pr o pe r t i e s   de t e r mi ne   whi c h   a c t i v a t i o n   f u n c t i o n   s h o u l b e   us e d.   L S T M s   a r e   de s i g n e t wor wi t h   s e que n c e s   o f   da t a .   T h e   tot a l i t y   o f   t h e   i nput   s e que n c e s   a n t h e   n u m be r   o f   t i m e   s t e ps   c o n s i de r e dur i n t r a i ni ng  a r e   i m po r t a n t   c o n s i de r a t i o n s   [ 29] .   T h e   pr e pr o c e s s i ng  o f   da t a   f o r   L S T M   i s   i ni t i a ll y   s a m e   a s   i t   wa s   d o n e   f o r   A R I M A   m o de l .   T h e   da t a   i s   l o a de a n i s   r e s a m p l e s   to   30   m i nut e s   i n t e r v a l   t o   m a i n t a i u ni f o r mi t y   o f   da t a .   A dd i t i o na l ly ,   f o r   L S T M   i n put   da t a   a n i t s   c o r r e s po n d i n o ut pu da t a   a r e   c o n v e r t e i n t s e que n c e s ,   whi c h   s l i c e t h e   t i m e - s e r i e s   da t a   i n t o v e r l a pp i ng  s e que nc e s .   T h e s e   o v e r l a pp i ng  s e que nc e s   a r e   t h e   ke y   t o   L S T M   f o r   c a pt u r i n pa t t e r n s .   An i t   i s   b e c a us e   o f   t h e s e   f o r m a t i o n   o f   o v e r l a pp i ng  s e que nc e s ,   i t   i s   n a m e i s   L S T M .   Af t e r   p r e pa r i n t h e s e   s e que n c e s ,   t h e   da t a   whi c h   c o m pr i s e s   o f   s e que nc e s   n o i s   s p l it t e d   i n t t r a i ni ng  a n t e s t i n s e que n c e s   w i t h   80%   o f   da t a   i s   r e s e r v e f o r   t r a i ni ng  a n t h e   r e m a i ni ng  20%   i s   f o r   t e s t i n to   e v a l ua t e   t h e   pe r f o r m a n c e   o f   m o de l .   S pe c if i c a ll y ,   f o r   t h e   da t a   un de r   s t udy   a   s i n g l e   l a y e r   L S T M   m o de l   w i t h   50  uni t s ,   whi c h   h e l pe c a pt ur e   a ny   de pe n de n c i e s   pr e s e n t   i n   t h e   g i ve n   t e m po r a l   da t a .   A   o n e   uni t   de n s e   l a y e r   i s   a dd e a n m o de l   i s   c o m p il e by   us i n A da m   o p t i mi z e r   a n t h e   M S E   a s   t h e   l o s s   f u nc t i o n .   T h e   m o de l   wa s   t h e n   t r a i n e a n t e s t e d   u s i n t h e   s a m e   t h r e e   m e t r i c s   us e i n   AR I M A .     T h e   s pe c i f i c   de t a i l s   a s s o c i a t e w i t h   t h e   n u m be r   o f   h e a d s ,   a c t i va t i o n   f u n c t i o n s ,   a n l o s s   f u n c t i o n s   m a y   d i ve r ge ,   r e l i a n t   o n   t h e   a r c hi t e c t ur e   a n o b s c ur i t y   o f   m o de l .   I n   t hi s   c a s e ,   a   s i ng l e - l a y e r   L S T M   w i t h   a   li ne a r   f u n c t i o n   a s   a n   a c t i va t i o n   f u n c t i o n   i s   us e d,   a n M S E   i s   e n ga ge a s   t h e   l o s s   f u n c t i o n .   A d j us t m e n t s   o f   t h e s e   hy pe r   pa r a m e t e r s   m i g h t   b e   m a d e   b a s e o n   t h e   pr o bl e m   a n da t a   c h a r a c t e r i s t i c s .     2. 3 .     T r an s f o r m e r   n e u r a l   n e t wo r k   T h e   a tt e n t i o n - b a s e T NN   ( t r a n s f o r m e r )   h a s   ga i ne pr o m i ne nc e   f o r   i t s   e f f e c t i v e n e s s   i n   s e i z i n g   l o n r a n g e   e n s l a v e m e n ts   a n d   p a t te r n s   i n   ti m e   d a ta .   S e l f - a tt e n ti on :   th i s   m e c h a n i s m   i s   c or e   of   th e   T N N ,   w h i c h   c a l c ul a te s   a n d   w e i gh   ou th e   c on s e q u e n c e   of   di v e r s e   ti m e   s te p s   i n   m od e l   wh e n   p r op h e s i e s   a r e   m a d e .   I t   c om p u te s   a t te n ti on   n otc h e s   f or   e a c h   ti m e   s te p   b a s e d   on   i ts   r e l a t i on s h i p   wi t h   a l l   oth e r   ti m e   s te p s .   I m a i n ly   e m p l o y s   m u l t i p l e   a t t e n t i o n   h e a d s   to   c a pt ur e   di f f e r e n t   a s pe c t s   a n pa tt e r n s   i n   t h e   t i m e   s e r i e s .   I t   i n c l ude s   f e e d - f o r wa r n e ur a l   ne t wor ks   w i t hi n   e a c h   a tt e n t i o n   h e a to   c a p t ur e   t e m po r a l   hidden   a n d   n o n - l i ne a r   a f f il i a t i o ns   w i t hi n   d a t a .   M a t h e m a t i c a l ly ,   a   t r a n s f o r m e r   m o de l   i s   r e pr e s e n t e a s ,       ( , , ) =  ( . )   ( 6)     w h e r e a s     i s   t h e   que r y   m a t r i x   t h a t   i s   t h e   i nf o r m a t i o n   t b e   c a l c u l a t e d,     r e pr e s e n t s   ke y   m a t r i x ,   a   c r i t e r i a   f o r   pr e d i c t i o n s ,   a n   i s   t h e   va l u e   o f   a c t ua l   da t a .   , ,   a r e   a l s o   kn o wn   a s   di f f e r e n t   pr o j e c t i o n s   o f   s a m e   i nput  da t a .     a c t s   a s   s c a l i ng  f a c t o r ,   i t   i s   pr e v e n t i n t h e   dot  pr o duc f r o m   b e c o m i ng  too   l a r ge .   I n   a   n ut s h e ll   t hi s   e qu a t i o n   a m p li f i e s   t h e   m o de l   a bil i t y   t de t e r m i ne   h o m uc h   we i g h t   e a c h   e l e m e n t   i t h e   s e que n c e   s h o u l be   g i v e n   a ll o w i ng  i t   to   c o n c e n t r a t e   o n   t h e   m o s t   pe r t i n e n t   da t a .   T hi s   m e t ho d o l o g y   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   38 ,   N o .   3 ,   J un e   20 25 1 540 - 1 552   1546   a da pt s   t h e   T NN   a r c hi t e c t ur e   f o r   t i m e   s e r i e s   f o r e c a s t i n g,   t h a t   e m p h a s i z e   o n   t h e   s e l f - a t t e n t i o n   m e c h a ni s m ' s   a pt i t ude   to  s e i z e   t e m po r a l   de pe n de n c i e s   [ 30] .   I t   c o m bi ne s   e s s e n t i a l   c o m po n e n t s   s uc h   a s   po s i t i o n a l   e n c o d i n g,   m u l t i - h e a a tt e n t i o n ,   a n f eed - f o r wa r n e t w o r ks   to  e n ha n c e   t h e   m o de l 's   a pt i t ude   to  l e a r n   i n t r i c a t e   p a tt e r n s   in  t i m e   de pe n de n t   da t a   s e r i e s .   A d j us t m e n t s   to   hy p e r   pa r a m e t e r s   a n m o de l   a r c hi t e c t ur e   m a y   b e   ne c e s s a r y   gr o un de o n   t h e   pr e c i s e   v a l ue s   f o r   t h e   da t a s e [ 31] .   T h e   s li d i n w i ndo m e t h o i s   us e t pr e pr o c e s s   t h e   t i m e   s e r i e s   da t a   s e f o r   T NN .   T hi s   r e s u l t s   in  i nput   a r r a y s   a n m a t c hi ng  t a r ge s e que n c e s   e a c h   o f   w hi c h   ha s   a   l e n gt h   o f   to   c a p t u r e   s h o r t e r m   r e l a t i o n s hi p s .   T h e n   a f t e r   a l l   t h e s e   t h r e e   pr o c e s s i n g   t h e   da t a   i s   p l a y e i n t o   t w o   s e c t i o ns   20%   o f   t h e   d a t a   i s   s e t   a s i de   f o r   e v a l ua t i n t h e   m o de l   pe r f o r m a nc e   a n t h e   r e m a i n i ng  80%   i s   us e f o r   tr a i ni n t h e   m o de l .   T h e   A d a m   o p t i mi z e r ,   kn o wn   f o r   i t s   a de pt n e s s   i n   m a n a g i ng  e x t e ns i ve   da t a   s e t s ,   a n t h e   m e a n s   s qua r e e r r o r   a s   l o s s   f u n c t i o n   a r e   u t i l i z e i n   t h e   de f i n i t i o n   a n c o m p il a t i o n   o f   tr a n s f o r m e r   m o de l s .   M e a n s   s qua r e e r r o r   i s   t h e   o p t i m a l   c h o i c e   f o r   c o n t i n uo us   da t a   p r e di c t i o n   t a s s uc h   a s   e l e c t r i c i t y   l o a f o r e c a s t i n g.   T h e   m o de l   i s   tr a i n e o n   t h e   80%   o f   t r a i ni ng  da t a   o v e r   200   e p o c h s   w i t h   t h e   b a t c h   s i z e   o f   32.     A   t e c hni que   kn o wn   a s   e a r l y   s t o ppi n i s   e m p l o y e to  pr e v e n t   t h e   m o de l   f r o m   o v e r   f i t t i n g.   T hi s   e ns ur e s   t h a t h e   m o de l   s t o ps   a t   o p t i m a l   we i g h t s   f o r   s ub s e que nt   p r e di c t i o ns   by   t r a c k i n v a li da t i o n   pe r f o r m a n c e   a n s t o ps   t h e   tr a i ni ng  i f   t h e r e   i s   n o   i m pr o v e m e n t   f o r   e a c h   10  c o n s e c ut i v e   e po c h s .   T hi s   pr o c e dur e   i s   i n t e n de t i m pr o v e   l o a pr e d i c t i o n s   a c c ur a c y .   T h e   a c c ur a c y   a n e r r o r   ge n e r a t e by   t h e   t r a n s f o r m e r   m o de l   i s   t h e n   c a l c u l a t e by  t h e   m e t r i c s   a r e   d i s c u s s e i n   t h e   r e s u l t s   a n d i s c u s s io n   s e c t i o n .       3.   RE S UL T S   AN DI S CU S S I ON   T hi s   r e s e a r c h   i s   m e t i c u l o us ly   d e s i g n e to   c o n duc a   c o m pa r a t i v e   d i a g n o s t i c   e v a l u a t i o n   o f   t h e   t h r e e   a f o r e m e n t i o n e m o de l s .   W hil e   A R I M A   a n L S T M   m o de l s   h a v e   b e e n   w i d e l y   a n e x t e ns i ve ly   a pp l i e in  v a r i o us   t i m e   s e r i e s   f o r e c a s t i n s t udi e s ,   t h e   a pp l i c a t i o n   o f   a t t e n t i o n   b a s e t r a n s f o r m e r   n e t wor ks   i n   f o r e c a s t i n g   e l e c t r i c i t y   i s   r e l a t i v e ly   n o v e l .   T hi s   i s   s pe c i f i c a ll y   not a bl e   a s   a t t e n t i o n   m e c h a ni s m   i s   we ll   k n o wn   f o r   i t s   a bil i t y   to   c a p t ur e   l o n g - r a n g e   de pe n de n c i e s   a n c o n t e x t ua l   r e l a t i o n s hi w i t h   i s e qu e n c e s .   Ho we v e r ,   t h e i r   us e   i f o r e c a s t i n t a s ks ,   pe c u l i a r ly   e l e c t r i c i t y   l o a f o r e c a s t i n r e m a i ns   a n   un e x p l o r e a r e a .   T h e   m o s t   i m po r t a n t   o bj e c t i v e   o f   t hi s   s t udy   i s   to   s e t up  a n   e n vi r o nm e n t   f o r   wi de s pr e a e v a l u a t i o n   o f   t h e   pe r f o r m a nc e   o f   A R I M A ,   L S T M ,   a n A tt e n t i o n - B a s e tr a n s f o r m e r s   i n   a ppr e he n d i ng  t h e   t e m po r a l   r e l i a n c e   a n s o phi s t i c a t e c o nf i gur a t i o ns   e m be dde w i t hi n   t h e   s e r i e s .   B y   c o m m i s s i o ni ng  t h e s e   c ut t i n g - e dge   m o de l s ,   we   w i s h   to   a s s e s s   t h e i r   e f f e c t i v e n e s s   i n   f o r e c a s t i ng  a c c ur a t e n e s s ,   a da pt a bl e n e s s   t c o m po s i t e   a n c om po un s e que n c e s ,   a n f l e xi b il i t y   i n   ha n d l i ng  v a r i e t e m po r a l   d i mi nue n do s .   B y   c o m bi n i ng  t h e   r e s u l t s   o f   t h e s e   m o de l s   a   c o m pa r a t i v e   a n a ly s i s   i s   c o n duc t e whi c h   a i m s   t b r o a de n   t h e   s c o pe   o f   f o r e c a s t i n a ppr o a c h e s   b e y o n t r a di t i o n a l   m e t h o ds   a n R NN   r e s u l t i ng  i n   a   m o r e   c o m pr e h e ns i ve   a n f l e xi b l e   a ppr o a c h   t t i m e   s e r i e s   f o r e c a s t i n a n po we r   l o a pr e d i c t i o n .   An c h e c k   wh e t h e r   a   T NN ,   whi c h   i s   o r i g i na ll y   e s t a bli s he f o r   n a t u r a l   l a n gu a ge   pr o c e s s i n g,   c a n   o ut pe r f o r m   t h e   we ll - kn o wn   A R I M A   a n L S T M   o r   n ot .   T hi s   s e c t i o n   u nf o l d s   w i t h   a n   o v e r vi e o f   t h e   r e s e a r c h   r e s u l t s   a n i n t e r pr e t a t i o n s   c a r r i e by   e a c h   o f   t h e   a r c hi t e c t ur e ,   e m p h a s i z i ng  t h e   d i s t i n c t   c h a r a c t e r i s t i c s   a n pa r a m e t e r s   i nv o l v e d.   S ub s e que n t l y ,   t h e   r e s ul t s   o b t a i n e f r o m   t h e   e x pe r im e n t a t i o n   w i t h   e a c h   m o d e l   a r e   pr e s e n t e d,   f o l l o w e by   a   m e t i c u l o u s   a n a ly s is   o f   t h e   o b s e r v e pa t t e r n s ,   s t r e n gt h s ,   a n l im i t a t i o n s   o f   e a c h   a ppr o a c h .   T h e   gr a ph   o f   a c t ua l   da t a   wi t h   r e s pe c to   t i m e   i s   s h o w n   i n   F i gur e   2 .   T h e   gr a ph   i s   s h o w i n e l e c t r i c i t y   l o a m e a s ur e m e n t   a t   h a l f   h o ur   i n t e r v a l s   o v e r   t h e   pe r i o o f   t i m e .           F i gur e   2.   A c t ua l   l o a ( kW h )   a ga i ns t   h a l f   h o ur   i n t e r v a l s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         A   c ompar ati v e   s tudy  on  e lec tr icity  load   f or e c as ti ng  us ing  s tat is ti c al  and     ( T e hr e e F ati ma  B utt )   1547   T a bl e   i s   s h o w i n t h e   c o m pa r i s o n   o f   a l l   t h e   t e c hni que s   u n de r   s t ud y   a l o n w i t h   t h e   a c t ua l   da t a .   I d i s p l a y s   t h e   f i r s t   50  v a l u e s   o f   a c t ua l   da t a   a n i t s   c o m pa r i s o n   w i t h   t h e   pr e d i c t e v a l ue .   T h e   gr a p h   o f   t h e   a c t ua l   l o a a l o n w i t h   pr e d i c t e l o a o f   a l l   t h e   a f o r e m e n t i o n e m o de l s   i s   s h o wn   i n   F i gur e   3.   A s   i t   c a n   b e   vis ua l i z e c l e a r ly   t h a t   t h e   b e s t   pe r f o r m i ng  m o de l   i a l l   t h e   t h r e e   o f   t h e m   i s   L S T M   a s   e x pe c t e L S T M   a s   o u t p e r f o r m e d   b o t h   A R I M A   a n a tt e n t i o n   ba s e T NN W hil e   t h e   a tt e n t i o n - b a s e m o de l   s h o ws   pr o m i s e ,   t h e   t e m po r a l   l o s s e s   o b s e r v e a ddr e s s i ng  t h e   i n t r i c a c y   o f   t h e   e l e c t r i c i t y   l o a d s   f o r e c a s t i n c h o r e   a n t h e   n e e f o r   c a r e f u l   m o de de s i g n .   L S T M ,   wi t h   i t s   a bil i t y   t o   c a p t ur e   s e q ue n t i a l   d e pe n de n c i e s ,   pr o v e s   to   b e   a   r o b us t   pe r f o r m e r   i n   t hi s   c o n t e x t .       T a bl e   2.   T a r ge t e d   v s .   pr e d i c t e v a l ue s   T im e  s ta mp   T a r ge   A R I M A     L S T M   T N N   8/ 2/ 2009 5:00   0.02   0.117437     0.10112982   0.1603786   8/ 2/ 2009 5:30   0.119   0.123631     0.11837502   0.1603786   8/ 2/ 2009 6:00   0.088   0.128043     0.08587683   0.1603786   8/ 2/ 2009 6:30   0.046   0.115114     0.11354533   0.1603786   8/ 2/ 2009 7:00   0.141   0.13659     0.10868737   0.1603786   8/ 2/ 2009 7:30   0.021   0.113346     0.09833882   0.1603786   8/ 2/ 2009 8:00   0.113   0.126277     0.11683015   0.1603786   8/ 2/ 2009 8:30   0.095   0.124652     0.08403575   0.1603786   8/ 2/ 2009 9:00   0.035   0.117337     0.11160741   0.1603786   8/ 2/ 2009 9:30   0.142   0.133411     0.10835022   0.1603786   8/ 2/ 2009 10:00   0.048   0.113069     0.09145024   0.1603786   8/ 2/ 2009 10:30   0.083   0.133713     0.12272968   0.1603786   8/ 2/ 2009 11:00   0.118   0.12087     0.09680368   0.1603786   8/ 2/ 2009 11:30   0.018   0.119873     0.10649377   0.1603786   8/ 2/ 2009 12:00   0.128   0.127397     0.1109148   0.1603786   8/ 2/ 2009 12:30   0.062   0.11404     0.07920262   0.1603786   8/ 2/ 2009 13:00   0.067   0.125852     0.11130858   0.1603786   8/ 2/ 2009 13:30   0.137   0.126907     0.09876965   0.1603786   8/ 2/ 2009 14:00   0.019   0.119677     0.10495377   0.1603786   8/ 2/ 2009 14:30   0.117   0.12904     0.1195061   0.1603786   8/ 2/ 2009 15:00   0.084   0.116495     0.08244327   0.1603786   8/ 2/ 2009 15:30   0.046   0.123674     0.11041664   0.1603786   8/ 2/ 2009 16:00   0.14   0.129078     0.1053035   0.1603786   8/ 2/ 2009 16:30   0.027   0.116168     0.09647609   0.1603786   8/ 2/ 2009 17:00   0.103   0.128269     0.11815775   0.1603786   8/ 2/ 2009 17:30   0.1   0.120225     0.0855408   0.1603786   8/ 2/ 2009  18: 00   0.027   0.120262     0.10801794   0.1603786   8/ 2/ 2009 18:30   0.141   0.128219     0.10665749   0.1603786   8/ 2/ 2009 19:00   0.052   0.115119     0.08561418   0.1603786   8/ 2/ 2009 19:30   0.08   0.131547     0.12057918   0.1603786   8/ 2/ 2009 20:00   0.122   0.123285     0.09872255   0.1603786   8/ 2/ 2009 20:30   0.019   0.119311     0.10694417   0.1603786   8/ 2/ 2009 21:00   0.131   0.128196     0.11316586   0.1603786   8/ 2/ 2009 21:30   0.07   0.116532     0.08257367   0.1603786   8/ 2/ 2009 22:00   0.062   0.127151     0.11630706   0.1603786   8/ 2/ 2009 22:30   0.137   0.127946     0.10392039   0.1603786   8/ 2/ 2009 23:00   0.018   0.118084     0.10393091   0.1603786   8/ 2/ 2009 23:30   0.113   0.128124     0.117836   0.1603786   8/ 3/ 2009 0:00   0.092   0.116552     0.0800785   0.1603786   8/ 3/ 2009 0:30   0.042   0.124182     0.10940304   0.1603786   8/ 3/ 2009 1:00   0.142   0.129943     0.10871811   0.1603786   8/ 3/ 2009 1:30   0.035   0.116457     0.09663182   0.1603786   8/ 3/ 2009 2:00   0.094   0.129709     0.12082349   0.1603786   8/ 3/ 2009 2:30   0.113   0.120496     0.08985633   0.1603786   8/ 3/ 2009 3:00   0.019   0.121745     0.1083415   0.1603786   8/ 3/ 2009 3:30   0.139   0.127202     0.11061327   0.1603786   8/ 3/ 2009 4:00   0.068   0.115609     0.08220327   0.1603786   8/ 3/ 2009 4:30   0.06   0.132634     0.1212355   0.1603786   8/ 3/ 2009 5:00   0.142   0.123022     0.10352463   0.1603786       Our   f i nd i ngs   i n d i c a t e   t h a i n c r e a s i ng  m o de l   c o m p l e xi t y   i s   n o r e l a t e w i t h   l o we r   pe r f o r m a n c e   i n   t h e   t i m e   s e r i e s   f o r e c a s t i n g.   T h e   pr o p o s e m e t h o do l o gy   m a y   b e ne f i t   f r o m   t h e   s t r e n gt h   o f   L S T M   i n   c a pt u r i n n o n - li ne a r   c o r r e l a t i o n s   w hil e   m a i n t a i n i ng  A R I M A's   a c c ur a c y   i n   ha n d l i ng  s t a t i o n e r y   d a t a .   H o we v e r ,   a tt e n t i o b a s e T NN   r e gul a r l y   o ve r   e s t i m a t e s   t a r ge t   v a l ue s   i nd i c a t i n t h a t h e   a tt e n t i o n   m e c h a ni s m   r e qu i r e s   a dd i t i o n a l   r e f i n i ng  t a v o i o v e r   f i t t i n a n i m pr o v e   pr e d i c t i ve   pe r f o r m a n c e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i ,   Vo l .   38 ,   N o .   3 ,   J un e   20 25 1 540 - 1 552   1548   T h e   a c c ur a c y   a n e r r o r   o f   e a c h   m o de l   i s   c a l c u l a t e a n c o m pa r e i n   T a bl e   3.   T hi s   t a bl e   i s   f a c il i t a t i n a   c o m pa r a t i v e   a n a ly s i s   o f   t h e   pe r f o r m a n c e   o f   e a c h   m o de l .   T hi s   e v a l ua t i o n   a n c o m p a r i s o n   o f   e r r o r   pe r c e n t a ge   a n a c c ur a c y   pe r c e n t a ge   pr o vi de s   a   c l e a r   un de r s t a n d i ng  o f   whi c h   m o de l s   de m o n s t r a t e   hi g h e r   a c c ur a c y .           F i gur e   3.   C o m pa r i s o n   o f   a l l   t e c hni que s       T a bl e   3.   M e t r i c s   c o m pa r i s o n     M e th o d   A c c u r a c y   E r r o r   A R I M A   M A E   91.69825234052496   0.08301747659475035   M S E   98.1431971264334   0.018568028735665914   R M S E   86.37354457840708   0.13626455421592923   L S T M   M A E   93.23186143188373     0.0676813856811627   M S E   98.73545225536353     0.012645477446364769   R M S E   88.75478882085145     0.11245211179148558   A tt e nt i o n - b a s e T N N   M A E   90.90309335762176   0.09096906642378239   M S E   82.37958122287310   0.17620418777126976   R M S E   86.72580745313411   0.13274192546865884       Al s o ,   f o r   c l e a r e r   un de r s t a n d i ng  b a r   p l o t s   o f   e r r o r s   a n a c c ur a c y   s h o wn   i n   F i gur e s   a n unve i l s   t h a L S T M   [ 32 ] ,   [ 33 ]   de m o n s t r a t e   hi g h e r   a c c ur a c y   a s   pa r a l l e l e t b ot h   A R I M A   a n a t t e n t i o n   m o de l s .   T h e   c o nj e c t ur e s   ge n e r a t e a n e s t i m a t e by   L S T M   a li gn e m o r e   n a r r o wl y   w i t h   t h e   ge n u i ne   e l e c t r i c i t y   lo a da t a ,   s i g nif yi ng  i t s   a pt i t ude   a n c a pa bil i t y   t o   a ppr e h e nd  c o r e   de pe n de n c i e s   a n pa t t e r n s   m e r i t o r i o us l y   [ 3 4] .   S uc h   hi g h e r   a c c ur a c y   a d v o c a t e s   t h a L S T M   o u tpac e s   bot h   A R I M A   a n T NN   i n   f o r e c a s t i n o f   l o a o n   e l e c t r i c i t y   s m a r t   m e t e r s ,   m a k i ng  i t   m o r e   tr us t w o r t h y   c h o i c e   f o r   e x t r a p o l a t i v e   m o de li ng.           F i gur e   4.   E r r o r   c o m pa r i s o n       Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         A   c ompar ati v e   s tudy  on  e lec tr icity  load   f or e c as ti ng  us ing  s tat is ti c al  and     ( T e hr e e F ati ma  B utt )   1549       F i gur e   5.   A c c ur a c y   c o m pa r i s o n       Our   s t udy   s ugge s t s   t h a t   t h e   a tt e n t i o n   m e c h a ni s m   r e qu i r e   f ur t h e r   t we a k i n o r   m o di f i c a t i o n   i n   i t s   a r c hi t e c t ur e   to  b oo s i t s   o v e r a l l   pe r f o r m a n c e   o n   ti m e   s e r i e s   da t a .   Ov e r a l l ,   a l t h o ugh   t h e   n o n - c o m p lexi t y   o f   A R I M A   i s   be n e f i c i a l ,   t hi s   s t ud y   po i n t   o u t h e   d i s t i n c t   b e n e f i t s   a n a dva n t a ge s   o f   m o r e   r e f i ne a n d   e r udi t e   m o de l s   li ke   L S T M   [ 35 ] - [ 37 ]   a n hi g hli g h t s   th e   c ur r e n t   n e e f o r   e x p l o r a t i o n   a n r e f i ne m e nt   i n   t h e   a r c hi t e c t ur e s   o f   n e ur a l   n e t wo r t a s ke e s pe c i a ll y   f o r   f o r e c a s t i n t i m e   s e r i e s F ut ur e   r e s e a r c h   i n   f o r e c a s t i n o f   l o a c o u l e x p l o r e   i n n o v a t i v e   T NN   m e c h a ni s m s   a n a l t e r a t i o n s   t a r c hi t e c t ur e s   o f   T NN ,   t r y i ng  to   im pr o v e   t h e   m o de l   f o r   c h r o n o l o g i c a l   de pe n de nc i e s   a n a ug m e n t   a n b o o s t   t h e   a c c ur a c y   o f   f o r e c a s t i n g.   C o nt i n ua l   o f   r e s e a r c h   a n e f f o r t s   i n   t h e s e   d i r e c t i o ns   h a ve   t h e   l a t e n t   to  h a r v e s t   n ot e w o r t hy   de ve l o p m e n t s   a n i m pr o v e m e n t s   i t h e   r e a lm   o f   e l e c t r i c i t y   l o a f o r e c a s t i n g,   f a c il i t a t i n m o r e   a n m o r e   pr e c i s e   a n de pe n da bl e   f o r e c a s t s   to  m a i n t a i n   we ll - o r ga ni z e e n e r g y   m a na ge m e n t .       4.   CONC L USI ON   T h e   pur po s e   o f   t hi s   wo r wa s   to   a ppl y   a tt e n t i o n   m e c h a ni s m   t o   e l e c t r i c i t y   l o a da t a ,   e v a l ua t e   a n d   c o m pa r e   i t s   pe r f o r m a nc e   a ga i ns t   t h e   t w o   s t a t e s   o f   t h e   a r t   m o de l s ,   AR I M A ,   a n L S T M .   T h e   a tt e n t i o m e c h a ni s m s   pe r f o r m a n c e   i n   n a t ur a l   l a n gua ge   p r o c e s s i n a n i t s   c a pa c i t y   t h a n d l e   v a s t   s e qu e n c e s   o f   c h r o n o l o g i c a l   d a t a   l e t t h e   i ni t i a l   hy po t h e s i s   t h a t   i t   w o ul o u t pe r f o r m   t h e   c utt i n g - e dge   m o de l s .   Ho we v e r ,   t h e   r e s ul t   s h o ws   t h a t ,   f o r   t h e   da t a s e u t i li z e d,   t h e   a tt e n t i o n   b a s e T NN   m o de l   d i n o o u t pe r f o r m   A R I M A   a n d   L S T M .   M o r e o v e r ,   de s pi t e   t h e   i n t r o duc t i o n   o f   a n   e a r l y   s to ppi n m e c h a ni s m ,   i t   i s   o b s e r v e t h a t h e   e n c o de r   de c o de r   s tr uc t u r e   o f   a tt e n t i o n   b a s e T NN   h a s   de m o n s t r a t e o v e r   f i t t i n g.   Our   f ut ur e   r e s e a r c h   w i ll   c o nc e n t r a t e   o n   d i s c o ve r i n t h e   n o v e l   a t t e n t i o n   pr o c e s s e s   a n m a k i ng  a r c hi t e c t ur a l   c h a n ge s   to   t h e   T NN   m o de l   t o   i m pr o v e   i t s   pe r f o r m a n c e   i n   t i m e   s e r i e s   f o r e c a s t i n g.       AC K NOWL E DGE M E NT S   S i n c e   t h e   I S S DA   pr o vi de t h e   e l e c t r i c i t y   l o a da t a   u t i li z e i n   t hi s   s t ud y ,   I   w o ul l i ke   to  s i n c e r e l y   t h a n t h e m .   T h e   r e s e a r c h   a n a dv a nc e m e n t   o f   t hi s   s t ud y   h a v e   b e e n   m a d e   po s s i bl e   by   t h e i r   i nv a l ua ble   do n a t i o n   o f   hi g h - qua li t y   da t a .   I   a m   r e a l ly   gr a t e f u l   a n a ppr e c i a t e   wha t   t h e y   h a ve   do n e   to   e n ha n c e   t he   s ubj e c o f   e l e c t r i c i t y   l o a f o r e c a s t   by   m a k i ng  t hi s   da t a   a v a il a bl e   f o r   a c a de m i c   a n r e s e a r c h   pur po s e s .       F UN DI NG  I N F ORM AT I ON   A ut h o r s   s t a t e   n f u n d i ng  i nv o l v e d.       AU T HO CONT RI B UT I ONS   S T AT E M E NT     Nam e   of   Aut h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   T e h r e e m   F a t i m a   B ut t                               S a n a   T a m e e r                               M uha m m a S a l e e m                               J a ww a S a m i   Ur   R a hm a n                               S a t hi s h   K u m a r   S e l v a pe r u m a l                               Evaluation Warning : The document was created with Spire.PDF for Python.