I n te r n ati o n al   Jo u r n al   o El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   11 ,   N o .   1 F e b r ua r y   2021 ,   pp .   763 ~ 7 71   IS S N :   2088 - 8708 D O I :   10. 1 1591 / i j e c e . v 11 i 1 . pp 763 - 7 71             763       Jou r n al   h o m e pa ge ht t p: / / i j e c e . i ae s c or e . c om   sh o r t - t e r m   h y b r i d   f o r e c a st i n g   m o d e l   f o r   t i m e   ser i e s     e l e c t r i c a l - l o a d   d a t a   u s i n g   r a n d o m   f o r e st   a n d   b i d i r e c t i o n a l   l o n g   sh o r t - t e r m   m e m o r y       Zan n atu l   F e r d o u s h 1 ,   B o o s h r N az i f M ah m u d 2 A m i tab h C h a k r ab a r ty 3 ,   Ji a   U d d i n 4   1 , 2 , 3 D e pa r t m e n t   o f   C o m put e r   S c i e nc e   a n E ng i n e e r i ng ,   B r a c   U n i v e r s i t y ,   B a ng l a de s h   4 T e c hno l ogy   S t udi e s   D e pa r t m e nt ,   E nd i c o t t   C o l l e g e ,   W o o s o n g   U ni v e r s i t y ,   R e pub l i c   o f   K o r e a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   A pr   17,   202 0   R e v i s e A ug  11 ,   2020   A c c e pt e A ug  28 ,   2020       I t he   pr e s e nc e   o f   t he   de r e g ul a t e e l e c t r i c   i ndu s t r y ,   l o a f o r e c a s t i n g   i s   m o r e   de m a nd e t h a e v e r   t o   e ns ur e   t he   e xe c u t i o o f   a pp l i c a t i o ns   s uc a s   e ne r gy   g e ne r a t i o n,   pr i c i ng   de c i s i o ns ,   r e s o ur c e   p r o c ur e m e nt ,   a nd  i nf r a s t r uc t u r e   de v e l o pm e nt .   T h i s   pa p e r   pr e s e nt s   a   hy br i d   m a c h i ne   l e a r n i ng   m o de l   f o r     s ho r t - t e r m   l o a f o r e c a s t i ng   ( S T L F )   by   a ppl y i ng   r a n do m   f o r e s t   a n bi d i r e c t i o na l   l o ng   s ho r t - t e r m   m e m o r y   t o   a c qu i r e   t he   be ne f i t s   o f   bo t m e t ho ds .   I t he   e xp e r i m e n t a l   e v a l u a t i o n,   w e   u s e d   a   B a ng l a de s hi   e l e c t r i c i t y   c o ns um pt i o da t a s e t   o f   3 6   m o nt hs .   T h e   pa p e r   pr o v i de s   a   c om pa r a t i v e     s t udy   be t w e e n   t h e   p r o po s e hy br i d   m o de l   a nd   s t a t e - of - a r t   m o de l s   us i ng   pe r f o r m a nc e   m e t r i c s ,   l o s s   a n a l y s i s ,   a nd   p r e d i c t i o n   pl o t t i ng .   E m pi r i c a l   r e s ul t s   de m o ns t r a t e   t ha t   t h e   hy br i d   m o de l   s ho w s   be t t e r   pe r f o r m a nc e   t ha n     t he   s t a nd a r d   l o ng   s ho r t - t e r m   m e m o r y   a nd  t he   b i d i r e c t i o na l   l o ng   s ho r t - t e r m   m e m o r y   m o de l s   by   e xh i bi t i ng   m o r e   a c c ur a t e   f o r e c a s t   r e s ul t s .   Ke y w or d s :   L o n s h o r t - t e r m   m e m o r y   b i di r e c t i o n a l   l o n g   s h o r t - t e rm   m e m o r y   S h o rt   t e rm   l o a f o r e c a s t i n g   ra n do m   f o r e s t     T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   J i a   U ddi n,   T e c hn o l o g y   S t udi e s   D e pa r t m e nt ,   E n di c o t t   Co l l e ge ,   W oo s o n U n i v e r s i t y ,   D a e j e o n ,   R e pub l i c   o f   K o r e a .   E m a i l :   j i a . uddi n@ w s u. a c . k r       1.   I N TR O D U C TI O N   S h o rt   t e rm   l o a f o r e c a s t i n g   (S T L F )   i s   a   c r uc i a l   i n s t rum e n t   fo r   e n s u r i ng  t h e   s uppl y   o f   h i g h - q ua l i t y   e l e c t r i c i t y   t o   c us t o m e r s   i a   s y s t e m a t i c   e c o n o m i c   m a nn e r .   F o r e c a s t s   o f   e l e c t r i c i t y   s e r v e   a s   t h e   b a s i s   o f   m a n y   o pe r a t i ng  de c i s i o n s   t a ke by   t h e   e l e c t ri c   u t i l i t i e s   s uc h   a s   r e s o ur c e   a c qui s i t i o n ,   d i s pa t c s c h e du l i n g   o ge n e ra t i n g   c a p a c i t y ,   pl a n t   m a i n t e n a n c e   s c h e dul e ,   r e l i a b i l i t y   a na l y s i s ,   a nd  e f f i c i e n t   po w e r   p l a nt   de s i g [1] .   T h e   n e c e s s i t y   of   r e l i a b l e   l o a f o r e c a s t i n i s   m o r e   s i g ni f i c a nt   t h a e v e r   a s   m o s t   o f   t h e   e n e rgy   m a r ke t s   a r o und  t h e   w o r l a r e   b e c o m i n g   de r e gul a t e d   [2 ].   I de r e gul a t e d   e l e c t r i c i t y   m a rke t s ,   e n e r gy   t r a n s a c t i o n s   a nd  p r i c e   o e l e c t r i c i t y   a r e   c r i t i c a l l y   c o n di t i o n a l   o n   f o r e c a s t   e l e c t r i c   l o a ds .   T h e   o pe ra t i o na l   c o s t   m a y   r i s e   r e m a r k a b l y   a s   a n   o ut c o m e   of   unde r e s t i m a t i ng  t h e   e n e r gy   de m a n d   [ 3 ].   L o a fo r e c a s t i n g   i s   a   m ul t i v a r i a t e   t i m e - s e r i e s   p r e d i c t i o p rob l e m   a n d   ge n e r a l l y   di v i de i nt o   t hr e e   c a t e go r i e s :   s h o r t - t e r m ,   m e di um ,   a nd   l o n g - t e rm   f o r e c a s t s .   T h e   S T L F   s e r v e s   a s   t h e   b a s e   f o r   t h e   s a f e   a n d   e c o n o m i c   o pe r a t i o n   o f   pow e r   s y s t e m s   by   pr o v i di n g   a   v a l ua b l e   e s t i m a t i o o f   t h e   l o a f o r   t h e   n e x t   ha l f   h o ur   up  t o   t h e   n e x t   t w o   w e e ks .   In  e a rl i e r ,   s e v e r a l   f o r e c a s t i n g   m o de l s   s uc a s   s t a t i s t i c a l   a na l y s i s ,   t i m e - s e ri e s   a na l y s i s ,   Bo J e n ki n s   [4] ,   a nd  r e g r e s s i o a na l y s i s   w e r e   us e t o   c o n s t r uc t   n o t e w o r t h y   fo r e c a s t i n g   r e s ul t s .     T h e   r e g r e s s i o n - b a s e a pp r o a c i s   o n e   o f   t h e   e a rl i e s t   a nd  w i de l y   us e s t a t i s t i c a l   t e c hni que s .   I n   t h e   s t a t i s t i c a l   m e t h o ds   s uc a s   h o l t - w i n t e r   e xpo n e nt i a l   s m o o t h i ng  (E S )   [5 a nd   a ut o - r e g r e s s i v e   i nt e gra t e d   m o v i n g   a v e ra ge   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   11 ,   N o .   1,   F e b r ua r y   2021  :     76 3   -   7 71   764   (A R IM A [6],   w e   i de n t i fy   t h e   do m i n a nt   v a ri a b l e s   b a s e o t h e   c o rr e l a t i o n   a na l y s i s   w i t h   t h e   l o a f o r   fo r e c a s t i n g .   A s   s t a t i s t i c a l   a pp r o a c h e s   s t r ug gl e d   t o   a c hi e v e   e ff i c i e n t   r e s ul t s   w i t t h e   h i g hl y   n o n - l i n e a l o a d   da t a ,   r e s e a r c h e r s   g ra dua l l y   m o ve t ow a r ds   t h e   m a c h i ne   l e a rn i n g   (M L ),   a rt i f i c i a l   i nt e l l i ge n c e   (A I),     a n a   h y b r i o f   s t a t i s t i c a l   a nd  A I - b a s e l e a rni n g   m o de l s   [7]   f o r   f o r e c a s t i n g .   I r e c e n t   y e a r s   r e s e r c h e r s   ha v e   i n t e n s i v e l y   e xpl o r e d   M L / A I - b a s e a l go ri t hm s   l i ke   ra n do m   f o r e s t   (R F [8 ],   s up po r t   v e c t o r   r e g r e s s i o   (S V R [9],   b oo s t i n a l go ri t hm s   [10] ,   f uz z y   l o gi c   [11],   a n a r t i f i c i a l   n e u ra l   n e t w o r ks   (A N N [12] .     A i nt r o duc t i o o f   a da p t i v e   pa t t e rn   r e c o gni t i o n   a n d   s e l f - o r ga n i z i ng  t e c hn i que s   f o r   S T L F   ga i n e d   s i g ni f i c a n t   a t t e n t i o [ 13]   a nd   l a t e r   de v e l o pe i nt o   a a d a p t i v e   n e ura l   n e t w o r k   f o r   s h o r t - t e rm   f o r e c a s t i n g   [14] .     M oo n   e t   a l .   [1 5]   c a t e go r i z e d   t h e   l o a d   da t a   us i n g   a   de c i s i o t r e e   a n d   l a t e f a b r i c a t e a   h y b r i d   m o de l   us i n g     t h e   R F   a n d   m u l t i l a y e r   pe r c e pt r o n.   A m o n a l l   t h e   f o re c a s t i ng  m e t h o ds ,   A N N   r e c e i v e n o t e w o r t h y   a c kn o w l e dgm e n t   a s   i t   b r o ug h t   f o r t h   a dv a n c e pr e d i c t i o s y s t e m s   t hr o ug f e e di n p a t t e rn s   o f   i n f o r m a t i o n   v i a   t h e   i n p ut   u n i t .   R e c urr e nt   n e u r a l   n e t w o r k   (R N N ),   w i de l y   i m pl e m e nt e f o r   f o r e c a s t i n g   pu r po s e s ,   s t r u ggl e s   t o   s o l ve   time - s e r i e s   i s s ue s   due   t o   v a ni s h i n g   a n d   e xp l o di n g   g ra di e n t   pr o b l e m s .   R e s e a r c h e r s   s t a rt e e xp l o r i ng   t h e   l o n g   s h o rt - t e r m   m e m o r y   (L S T M )   n e t w o r t o   o ve r c o m e   t h i s   c ha l l e n ge   a nd   s uc c e s s f ul l y   c r e a t e d   s e v e r a l   l o a fo r e c a s t i n g   m o de l s   a p pl y i n g   t h e   L S T M   n e t w o r k.   M a r i n o   e t   al .   [16]   e m p l oy e a a dv a n c e l o a d   f o r e c a s t i ng  m e t h o do l o g y   us i n g   t w o   di f f e r e n t   L S T M   a r c hi t e c t u r e s   p ro duc i n g   p r o m i s i ng   r e s ul t s .   B o ukt i f   e t   a l .   [17]   pr o po s e a n   L S T M   m o de l   us i ng  t h e   f e a t u r e   s e l e c t i o a n d   g e n e t i c   a l go r i t hm H ow e v e r ,   t h e s e   de e l e a rni n g   m e t h o ds   c a n   b e   i m p r o v e f ur t h e by   e xt e n di n g   t h e   n um b e o f   w o r ks   w i t v a r i o us   f o r e c a s t i n s e t u ps   [18 ,   19] .   A s   o f   r e c e n t ,   b o t R F   a nd   L S T M   ha v e   e x h i b i t e d   t r e m e n d o us   po t e n t i a l   i t h e   f o r e c a s t i n g   o f   t i m e   s e r i e s   d a t a .   H ow e ve r ,   R F   f a c e s   a   s i g ni f i c a n t   d ra w b a c duri n g   i t s   e xe c ut i o n   w h e t h e   i n c r e a s e   i t h e   s a m pl e   do e s   n o t   i m p r o v e   i t s   p r e di c t i o n   a c c ura c y .   A l s o ,   t h e   L S T M   t e n ds   t o   o v e r f i t   a s   w e l l   a s   e xe c ut i o n   t i m e   s l o w s   dow n   w h e n   t h e   num b e r   o f   pa r a m e t e r s   i n c r e a s e s .   T hi s   p a pe pr e s e nt s   a   h y b r i m o de l   t h a t   t a ke s   a dv a nt a ge   of  R F s   a b i l i t y   t o   s e gr e ga t e   v i t a l   f e a t u r e s   f o r   a   f o r e c a s t   by   i s o l a t i n v a ri a b l e s   o f   t h e   l e a s t   s i g ni f i c a n c e .     By   o m i t t i ng  t h e   t ri v i a l   f e a t u r e s   l a c ki ng  i n   a s s i s t i ng  f o r e c a s t ,   t h e   h y b r i m o de l   r e duc e s   t h e   pa ra m e t e r   qua nt i t y   a n e nha n c e s   t h e   b i - L S T M   m o de l   t o   b e   s i m p l e a nd  f a s t e r   t o   f i t   a n d   p r e di c t .       2.   R ES EA R C H   M ET H O D   T h i s   s e c t i o e xpl a i n s   t h e   de t a i l s   o f   t h e   p r o po s e m o de l   t ha t   i n c l ude s   d a t a   a na l y s i s   a nd   t h e   p r o po s e d   h y b r i m o de l   s i m u l a t i o n.     2 . 1 .     C as u a l   s tr u c tu r e   o p r o p o s e d   R F - bi - LS TM   h yb r i d   m o d e l   F i gu r e   1   p r e s e nt s   t h e   o v e r a l l   a r c hi t e c t u r e   o f   t h e   p r o po s e d   h y b r i d   m o de l .   I t h e   f i r s t   l a y e r   o   t h e   m o de l ,   t h e   R F   i s   us e d   t o   i de nt i fy   t h e   p r e di c t i o n   s t r e n gt o f   t h e   f e a t ur e s   i t h e   e l e c t r i c i t y   c o n s um p t i o da t a s e t .   T o   l o c a t e   t h e   do m i na nt   v a r i a b l e s ,   w e   m e a s ur e   t h e   t o t a l   de c l i n e   i n   n o de   i m p u r i t y   us i n t h e   m e a de c r e a s e   i m pu ri t y   (M D I)  m e t h o d.   T h e   M D I   c o unt s   t h e   e v e nt s   w h e t h e   m o de l   us e s   a   f e a t u r e   t o   b ra n c o ut     a   n o de ,   w e i ght e b y   t h e   n u m b e r   o f   s a m pl e s   i t   s pl i t s   a c r o s s   a l l   de c i s i o n   t r e e s   o f   t h e   e n s e m b l e .             F i gu r e   1 .   P r o po s e R F - bi - L S T M   h y b r i m o de l   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p   E n g     IS S N :   2088 - 8708       A   s hor t - t e r m   h y br i d   f o r e c as t i ng   m od e l   f or   t i m e   s e r i e s   e l e c t r i c al - l oad   d a t   ( Z annat ul   F e r dous h )   765   In  t h e   s e c o n l a y e r ,   w e   ut i l i z e t h e   bi - L S T M   a r c h i t e c t ur e A   m e m o r y   b l o c i t h e   L S T M   t h e o r e t i c a l l y   c o n s i s t s   o f   fo ur   p a rt s   a i n pu t   g a t e   ,   a   f o r ge t   ga t e   ,   a n   o ut p ut   ga t e   ,   a n d   s e l f - c o nn e c t e m e m o r y   c e l l s   .       = ( ( 1 + ) )               ( 1 )       = ( ( 1 + ) )               (2 )       = ( 1 + )               (3 )     = (  1 + )               (4 )      = ( ) + ( 1 )               (5 )     In  ( 1 - 5) ,   t h e   v a ri a b l e s   r e p r e s e n t   t h e   f o l l o w i n m e a ni n gs :     =   F o r ge t   g a t e ,     =   I n pu t   ga t e ,     =   O u t pu t   g a t e ,     =   I nt e r m e di a t e   c e l l   s t a t e ,   a n d      =   Ce l l   s t a t e .   T h e s e   a r e   t h e   e qu a t i o n s   o f   ga t e s   a n d   c e l l   s t a t e s   o f   t h e   L S T M .     = ( )                 (6 )     T h e   L S T M   h a s   i t s   u n i que   t ra i t   o f   pr e s e r v i n i n f o r m a t i o t h a t   p r e v i o us l y   pa s s e t hr o ugh  i t   b y   ut i l i z i n i t s   hi dde n   u ni t s   [ 20,   21] .   I n   ( 6 ),     r e p r e s e n t s   t h e   h i dde n   s t a t e   o f   t h e   L S T M   a r c h i t e c t ur e .     T h e   Bi - L S T M   m o de l   c o n s i s t s   o f   t w o   di s c r e t e   L S T M   n e t w o r ks   w h e r e   o n e   a c c e s s   i n f o r m a t i o i t h e   f o r w a r d   di r e c t i o a nd   a n o t h e a c c e s s   i t h e   r e v e r s e   di r e c t i o n   [ 22 ].   T hi s   p r o c e s s   h e l ps   t o   s t o r e   k n o w l e dge   f r o m   i n p ut s   of   f ut ur e   a nd  p a s t   a t   a n y   po i n t   i t i m e   us i n t w o   c o m b i n e hi dd e n   s t a t e s ,   a n d   ge n e ra t e   a c c ura t e   o ut put   f r o m   t h e   c o n t e xt   o f   bo t h   t h e   pa s t   a nd  f ut u r e   d a t a .   L a s t l y ,   t o   ge n e r a t e   f o r e c a s t   r e s ul t s ,   w e   fe e t h e   do m i na nt   f e a t u r e s   i de nt i f i e i t h e   p r e v i o us   l a y e r   a s   t h e   i nput   t o   t h e   b i - L S T M   l a y e r .       2. 2   D atas e t   g e n e r ati o n   p r o c e s s   T o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   t h e   p r o po s e m o de l ,   w e   ha v e   us e a   da t a s e t   t ha t   i s   r e l a t e d   t o   B a n gl a de s h i   e l e c t r i c i t y   c o n s um pt i o da t a   a v a i l a b l e   a t   ht t ps : / / w w w . b pd b . gov . b d .   F o r   p r e pa ri n g   t h e   d a t a s e t ,     w e   ut i l i z e a l go r i t hm   1   t h a t   c o n v e r t s   v i t a l   i n f o r m a t i o o f   h i s t o r i c a l   e l e c t r i c a l   l o a d   d a t a   f r o m   t h e   P D F   f i l e s   t o   CS V   f o r m a t .     A l go r i t h m   1 :   D a t a   E xt r a c t i o a n D a t a s e t   G e ne r a t i o n   1   Input:   Start and end date of the PDF reports   2   Output:  A   C S V   f i l e   w i t h   e x t r a c t e d   d a t a   f r o m   a l l   t h e   P D F   f i l e s   b e t w e e n   s t a r t   a n d   e n d   date   3   for  each date between the start date and end date  do   4        download the PDF of this date and store into a specific folder   5   extracted_data   ← []   6   for  each PDF report from the downloaded reports  do   7          extracted_row  ← set of  extratcted requisite data using regular expressions          append the  extratcted_row   into  extracted_data   8   9   save  extratcted_dat a as a CSV file     T h e   a u t o m a t e t o o l   t o   ge n e ra t e   hi s t o ri c a l   e l e c t r i c i t y   c o n s um pt i o da t a   c o n s i s t s   o f   t w o   s u b un i t s ;     t h e   f i r s t   pa rt   i s   a   d a t a   e xt ra c t o r   p r o gra m   t ha t   us e s   r e gul a e x pr e s s i o n s   (R E s t o   pa r s e   t h e   P D F   f o r m a t t e f i l e s   t o   e xt r a c t   s pe c i f i c   i n f o r m a t i o n .   T h e   s e c o n pa r t   i s   c a l l e a   CS V   l o a de r   p r o g r a m   t h a t   t ra n s f e r s   t h e   e xt ra c t e da t a   a ppe n d e d   i a   l i s t   i n t o   a   CS V   f i l e .   T h e   d a t a   e xt r a c t e d   f o r   t h e   pe ri o o f   J un e   1 ,   2015 ,   t o   J u n e   30 ,   20 18 ,   ha v i ng  a   t o t a l   o f   1126  r o w s   h o l ds   e s s e nt i a l   i n f o r m a t i o f r o m   da i l y   e l e c t r i c i t y   c o n s um pt i o n   r e po rt s   o m e nt i o n e d   36   m o n t h s .     2. 3   P r e l i m i n ar d ata   an a l ys i s   T o   un de r s t a n t h e   di f f e r e n t   c ha r a c t e r i s t i c s   o f   t h e   t i m e - s e r i e s ,   w e   a n a l y z e d   t h e   da t a   t o   f i n t h e   e f f e c t s   of   t h e   p r o pe r t i e s   l i ke   s e a s o n a l i t y ,   a u t o - c o r r e l a t i o n ,   a n d   s t a t i o na ri t y   on   t h e   d a t a s e t .   F i gu r e   2   s h o w s     t h e   de c o m po s i t i o n   f a c t o r s   o f   e n e r gy   c o n s um pt i o da t a   w hi c r e f l e c t s   i rr e gul a r   t r e n ds   a n d   s e a s o n a l i t y   i o ur  m ul t i v a r i a t e   t i m e - s e r i e s   d a t a .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   11 ,   N o .   1,   F e b r ua r y   2021  :     76 3   -   7 71   766       F i gu r e   2 T i m e   s e ri e s   de c o m po s i t i o n   o f   e n e r gy   c o n s um pt i o n   da t a       W e   di s c e r n ed   t ha t   t h e   e l e c t r i c i t y   c o n s um pt i o h a s   s t e a di l y   i nc r e a s e o ve r   t h e   y e a r s   due   t o   t h e   s t a b l e   e c o n o m i c   g r o w t a s   w e l l   a s   t h e   r a p i d   i n c r e a s e   i t h e   po pul a t i o [23] .   T h e   s e a s o n s   i B a n g l a de s m a i nl y   f a l l   i n t o   t hr e e   c a t e go ri e s ;   s um m e r ,   r a i n y ,   a n d   w i n t e s e a s o n s .   T h e   po w e r   c o n s um p t i o r a t e   n a t u ra l l y   t e n ds   t o   b e   l o w e r   du r i ng  t h e   w i n t e r   s e a s o t ha t   s i g ni f i e s   t h e   f i r s t   a n d   f ourt h   q ua rt e r s   o f   t h e   y e a r .   D u r i ng  t h e   s um m e a nd  t h e   r a i n y   s e a s o n s   i t h e   s e c o n a n d   t h i rd  q ua rt e r s ,   t h e   e l e c t r i c i t y   c o n s um p t i o s t e e pl y   pr o g r e s s e s   ov e r     t h e   y e a r s .   W e   o bs e r v e   t h a t   t h e   r a t e   d ra s t i c a l l y   de c l i n e s   a g a i w h e a dv a n c i ng  t hr o ug t h e   w i n t e s e a s o n .   T h e s e   ob s e r v a t i o n s   i n di c a t e   t h e   p r e s e n c e   o f   r e pe t i t i v e   s h o r t   t e r m   s e a s o n a l   c y c l e s   t hr o ug h o ut   o ur  da t a s e t .   F o r e c a s t s   us i n g   t h e   n o n - s t a t i o n a r y   t i m e - s e ri e s   da t a   m a y   ge ne r a t e   s pu ri o us   c o n c l us i o n s   by   s urm i s i n g   f a l s e   c o n n e c t i o n s   a m o n v a ri a b l e s .   W h e n   a   t i m e   s e r i e s   d a t a   fo l l ow i n t h e   t i m e   a r gu m e n t   h a s   i n v a r i a nt   f i n i t e - di m e n s i o na l   d i s t ri b ut i o n s ,   i t   i s   c a l l e s t a t i o na r y   da t a   [ 2 4].   W e   e m pl oy e t e s t s   l i ke   s um m a r y   s t a t i s t i c s   a n d   a ugm e nt e di c ke y - f ul l e r   t o   de t e c t   s t a t i o na ri t y   i n   t i m e - s e r i e s   da t a .   I n   t h e   s um m a r y   s t a t i s t i c s   t e s t ,   w e   s pl i t   o u r   da t a   i nt o   t w o   pa rt i t i o n s   a n d   de t e r m i n e d   t h e   m e a a nd   v a r i a n c e   fo b o t s e gm e nt s   t o   c o m pa r e .   A s   de p i c t e i n   T a b l e   1 ,   t h e   m e a a n d   v a r i a n c e   ge n e r a t e a r e   n o t   u ni f o r m   o v e r   t i m e ,   p r e s e nt i n g   o u r   da t a s e t   t o   b e     n o n - s t a t i o n a r y .   A ppl y i n g   t h e   A ug m e nt e D i c ke y - F ul l e r   a l g o r i t hm ,   w e   a s s e s s e t h e   r e s ul t   us i ng  t h e   p - v a l ue   f r o m   t h e   t e s t .   F r o m   T a b l e   1 ,   i t   i s   a ppa r e nt   t h a t   t h e   s e ri e s   i s   n o n - s t a t i o n a r y   a s   p - v a l ue   a n A D F   s t a t i s t i c   b o t h   a r e   g r e a t e t ha t h e   t hr e s h o l d   5%   s i g ni f i c a n c e   l e v e l ,   a n d   t he r e fo r e   w e   f a i l   t o   r e j e c t   t h e   n ul l   h y p o t h e s i s   t h a t   uni t   r o o t   do e s   e xi s t .   F r o m   t h e   p r e l i m i n a r y   da t a   a na l y s i s ,   w e   c a c o n c l ude   t h a t   t h e   p r e s e n c e   o f   a   c ha n g i n g   t r e n d ,   s e a s o na l i t y ,   a n d   n o n - s t a t i o na r i t y   of   o ur   d a t a   p r e s e nt s   c o m pl e t ra i t s   t ha t   c a c r e a t e   u n s t a b l e   a n d   de c e pt i ve   r e s ul t s   a nd  d i r e c t   t o   u nr e l i a b l e   fo r e c a s t   r e s ul t s .         T a b l e   1 .   S t a t i s t i c a l   v a l ue s   N o .   T y p e   o T e s t   G e n e ra t e d   V a l u e s   1   S u m m a r y   S t a t i s t i c s   m e a n _ 1   =   1 5 0 . 5 1 ,   m e a n _ 2   =   1 8 1 . 3 5 ,     v a ri a n c e _ 1   =   4 5 8 . 7 9 ,   v a ri a n c e _ 2   =   8 8 0 . 2 0   2   A u g m e n t e d   D i c k e y   F u l l e T e s t   A D F   S t a t i s t i c   =   - 2 . 0 7 1 ,   p - v a l u e   =   0 . 2 5 7   Cri t i c a l   V a l u e s :   1 % :   - 3 . 4 3 5 ,   5 % :   - 2 . 8 6 4 ,   1 0 % :   - 2 . 5 6 8       2. 4   P r o p o s e d   h yb r i d   m o d e l   s i m u l ati o n   T h e   p r o po s e RF - bi - L S T M   m o de l   c o n s i s t s   o f   t w o   l a y e r s .   T o   s i m u l a t e   t h e   f i r s t   l a y e r   o f   t h e   h y b r i m o de l ,   w e   c o n s t r uc t e d   a n   R F   f o r e c a s t i ng   m o de l   t ha t   f i n d s   t h e   v a r i a b l e s   w i t t h e   h i g h e s t   i m po r t a n c e   f o r   pr e di c t i n f o r e c a s t s .   T h e   i n i t i a l   i n pu t   t o   t h e   R F   m o de l   i s   a   c o m pl e t e   s e t   of   fe a t ur e s   c o m p r i s i n g   t i m e   a nd  e l e c t r i c i t y   ge n e r a t i o n   r e l a t e d   f a c t o r s   m e n t i o n e i T a b l e   2 ,   a n d   T a b l e   3   de s c ri b e s   t h e   qu a nt i t a t i v e   a na l y s i s   of  t h e   po w e r   c o n s um p t i o da t a s e t .   W e   h a d   t o   c o n v e r t   o ur  i n pu t   i nt o   a   s t a t i o na r y   da t a s e t   us i n g   t h e   d i f fe r e nt i a t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p   E n g     IS S N :   2088 - 8708       A   s hor t - t e r m   h y br i d   f o r e c as t i ng   m od e l   f or   t i m e   s e r i e s   e l e c t r i c al - l oad   d a t   ( Z annat ul   F e r dous h )   767   m e t h o a s   f r o m   s ub s e c t i o n   2. 3.   w e   l e a rn e o ur  da t a s e t   t o   b e   n o n - s t a t i o n a r y .   T a b l e   s h o w s   t h e   pa ra m e t e v a l ue s   us e t o   t ra i n   de e l e a rni n g   m o de l s .   T hr o ug m e t i c ul o us   t e s t i ng,   w e   e m pi ri c a l l y   de c i de d     t h e   h y pe r pa r a m e t e v a l ue s   t o   s e c ur e   t h e   m o s t   s t a b l e   pe r f o rm a n c e   o f   t h e   m o de l s .   A t   f i r s t ,   w e   f i t   t h e   m o de l   w i t de f a ul t   p a r a m e t e r s   t o   ge t   a   b a s e l i n e   i de a   o f   t h e   pe r f o r m a n c e ,   a n d   l a t e w e   c o n f i r m e d   t h e   b e s t   v a l ue s   f o r   t h e   h y pe r pa r a m e t e r s   by   i n c r e a s i n g   o de c r e a s i ng  t h e m .       T a b l e   2 .   T h e   f e a t u r e s   o f   e n e r gy   c o n s um p t i o n   d a t a s e t   N o .   A t t ri b u t e   D e s c ri p t i o n   1   d a y _ o f _ w e e k   A n   i n t e g e v a l u e   b e t w e e n   0   a n d   6   2   d a y _ o f _ m o n t h   A n   i n t e g e v a l u e   b e t w e e n   1   a n d   3 1   3   m o n t h   A n   i n t e g e v a l u e   b e t w e e n   1   a n d   1 2   4   s e a s o n   A n   i n t e g e v a l u e   b e t w e e n   0   a n d   2   5   i s _ w e e k e n d   A n   i n t e g e v a l u e   b e t w e e n   0   a n d   1   6   m a x _ d e m a n d _ g e n   M a x i m u m   d e m a n d   o f   p o w e r   a t   g e n e ra t i o n   e n d   (i n   M W )   7   h i g h e s t _ g e n   T h e   h i g h e s t   a m o u n t   o f   p o w e r   g e n e ra t e d   a t   a   s p e c i f i c   h o u r   i n   a   d a y   ( i n   M W )   8   m i n _ g e n   T h e   l o w e s t   a m o u n t   o p o w e r   g e n e ra t e d   a t   a   s p e c i fi c   h o u i n   a   d a y   (i n   M W )   9   d a y _ p e a k _ g e n   T o t a l   p o w e g e n e ra t e d   a t   p e a k   h o u d u ri n g   d a y t i m e   ( i n   M W )   10   e v e _ p e a k _ g e n   T o t a l   p o w e g e n e ra t e d   a t   p e a k   h o u d u ri n g   n i g h t   t i m e   (i n   M W )   11   e v e _ p e a k _ l o a d _ s h e d d i n g   T h e   a m o u n t   o l o a d - s h e d d i n g   a t   p e a k   h o u d u ri n g   n i g h t   t i m e   (i n   M W )   12   m a x _ t e m p   M a x i m u m   t e m p e ra t u re   o t h e   p a r t i c u l a d a y   ( C)   13   t o t a l _ g a s   T h e   a m o u n t   o g a s   u s e d   t o   p ro d u c e   e l e c t ri c i t y   i n   a   d a y   (i n   M M CF D )   14   t o t a l _ e n e r g y   T h e   t o t a l   a m o u n t   o f   e n e r g y   c o n s u m e d   i n   a   d a y   (g e n e ra t e d   l o c a l l y   +   i m p o rt e d   f r o m   I n d i a i n   a   p a rt i c u l a d a y   (i n   M K W h )       T a b l e   3 .   Q u a n t i t a t i v e   f o r m   o f   t h e   po w e r   c o n s um pt i o da t a s e t   A t t ri b u t e   t i m e s t a m p   m a x   _ d e m a n d _ g e n     (M W )   H i g h e s t   _ g e n   (M W )   m i n _ g e n   (M W )   d a y   _ p e a k   _ g e n   (M W )   e v e   _ p e a k   _ g e n   (M W )   e v e _ p e a k _ l o a d   _ s h e d d i n g   (M W )   m a x   _ t e m p   ( C)   t o t a l   _ g a s   (M M C F D )   t o t a l   _ e n e r g y   (M K W h)   M a x   3 0 / 0 6 / 2 0 1 8   1 0 9 5 8   1 0 9 5 8   8 5 2 1 . 7   9 1 7 8 . 2   1 0 9 5 8   904   39   1 1 5 2 . 3   2 3 3 . 9   M i n   0 1 / 0 6 / 2 0 1 5   5413   5413   1759   3634   5413   0   1 7 . 8   0   9 3 . 3   M e a n     8 0 4 5 . 6   8 0 4 6 . 8   5 4 2 6 . 7   6 4 7 6 . 3   8 0 1 7 . 6   2 2 . 7   3 1 . 3   958   1 5 9 . 2   S t d .   D e v     9 0 8 . 5   8 9 4 . 6   1 0 8 8 . 5   1 0 0 9 . 5   9 0 5 . 3   8 6 . 4   3 . 4   8 5 . 7   2 5 . 2       T o   e v a l ua t e   t h e   f e a t u r e s   w i t h   hi g i m po r t a n c e ,   w e   e s t i m a t e t h e   de c r e a s e   i n   v a r i a n c e   i m pu r i t y   a n d   c o n s i de r e d   t h e   m e a de c l i n e   i p r e c i s i o o v e r   a l l   t r e e s   o f   t h e   e n s e m b l e .   A o ut c o m e   c l a s s   a dd i t i o n a l l y   s e pa ra t e s   t h i s   s i g ni f i c a n c e   m e a s u r e ,   a n d   t h e   r e t r i e v e i m po r t a nt   f e a t u r e s   f r o m   t h e   m o de l   a r e   p l o t t e i   a   s o r t e d   m a nn e r   a c c o r di n t o   t h e i r   v a l ue s .   T h i s   s i g n i f i c a n c e   i s   a   p r o po r t i o n   w hi c h i g h l i g h t s   by   w h a t   a m o unt   e xpe l l i n a   v a r i a b l e   de c r e a s e s   i m pu ri t y ,   a n d   v i c e   ve r s a .   I f   a   v a ri a b l e   h a s   n e x t   t o   n o   pe r c e pt i v e   po w e r ,   r e a rra n g i n m a y   pr o m pt   a   s l i g ht   i n c r e m e n t   i n e xa c t n e s s   b e c a us e   of   r a n do m   n o i s e .   I t u rn,   t h i s   c a o ff e r   a s c e n t   t o   n e g a t i v e   s i g ni f i c a n c e   s c o r e s ,   w hi c c a b e   r e ga r d e d   a s   e qui v a l e nt   t o   z e r o   i m po r t a n c e .     W e   de c i de o n   t h e   c o n di t i o n s   b a s e o i m pu r i t y ,   w h i c i t h e   c a s e   of   r e g r e s s i o n   t r e e s   i s   v a ri a n c e     If   w e   e xa m i n e   t h e   de c i s i o t r e e   de pi c t e d   i F i gu r e   3   t o   u n d e r s t a nd   t h e   i nt e rn a l   m e c ha ni s m   o f   t h e   R F   m o de l ,   w e   o b s e r v e   t ha t   o n l y   a   f e w   v a r i a b l e s   a s s i s t   i t h e   f o re c a s t   p r e di c t i o n .   T h e   t r e e   i F i gu r e   3   s h o w s     t h e   u n de r l y i n g   m e c h a ni s m   of   t h e   ra n do m   f o r e s t   t o   r e v e a l   h o w   e a c h   f e a t u r e   a d ds   t o   t h e   e n v a l ue .   W e   l e a rn  t ha t   t h e   v a l ue   o f   t h e   p r e d i c t i o c h a nge s   a l o ng  t h e   pr e di c t i o n   p a t w i t hi t h e   de c i s i o t r e e ,   t o ge t h e r   w i t t h e   i n f o r m a t i o w h i c f e a t ur e s   c a us e t h e   s pl i t .   T h e   p r e s e n t e d   t r e e   a l s o   s h o w s   t h a t   a   l e a f   n o de   w i t h   hi g h e r   v a l ue   s h i f t s   t o   t h e   ri g ht   b ra n c h   o f   t h e   de c i s i o n   t re e .   A s   a   r e s ul t ,   w e   di s c ove r   t ha t   s e v e r a l   f e a t u r e s   s uc h   a s   m a x i m um   t e m pe ra t u r e ,   t h e   t o t a l   a m o u n t   o f   ga s   a r e   us e l e s s   fo r   f o r e c a s t i ng.     In  t h e   s e c o n l a y e r   o f   t h e   h y b r i m o de l ,   w e   s i m ul a t e t h e   b i di r e c t i o n a l   L S T M   m o de l   by   t a ki ng   o n l y   t h e   i de nt i f i e e s s e n t i a l   f e a t u r e s   f r o m   t h e   f i r s t   l a y e r   a s   i nput .   T h e s e   f i v e   f e a t ur e s   a r e   t h e   m i ni m u m   ge n e ra t i o n   (ge n e r a t i o e n d),   d a y - pe a ge n e ra t i o (ge n e ra t i o e nd),   h i g h e s t   ge n e r a t i o n   ( ge n e r a t i o n   e n d) ,   m a x.   de m a n d   (ge n e r a t i o n   e n d) ,   a n e v e n i n pe a ge n e ra t i o n   (ge n e r a t i o n   e n d) .   W e   pr e di c t   t h e   t o t a l _e n e r gy   (G e n e r a t i o +   In d i a   Im po r t v a r i a b l e   a m o ng  t h e   f o ur t e e p r o pe r t i e s   i n   T a b l e   f o r   pow e r   de m a n d   f o r e c a s t i ng.   T o t a l _ e n e r gy   c o r r e s po n ds   t o   t h e   i n c l us i v e   po w e r   c o n s um p t i o n   o a   p a r t i c u l a da y .   B e fo r e   t ra i ni n g   t h e   m o de l ,   w e   s c a l e t h e   d a t a   us i n g   t h e   R o bus t S c a l e t o   m a ke   i t   r o b us t   t o   o ut l i e r s   us i ng  t h e   i n t e r qu a r t i l e   r a n ge .   T a b l e   4   s h o w s   t h e   p a r a m e t e r s   us e t o   i ni t i a t e   t h e   L S T M   m o de l   f o r   f o r e c a s t i n g .     W e   c o n c l ude t h e   h y pe r pa r a m e t e r   v a l ue s   b a s e o n   t h e   t ri a l   a n d   t e s t   a pp r o a c t o   i de n t i fy   t h e   pa ra m e t e r   v a l ue s   t h a t   b e s t   s ui t   o ur  m o de l .   D u ri n g   t h e   t r a i n i ng,   t h e   da t a   p a s s e s   t hr o ug t h e   L S T M ,   D r o po ut ,   a n d   d e n s e     l a y e r s   [25] ,   a nd  f i na l l y   f i t s   t o   f o r e c a s t   e l e c t r i c i t y   l o a b a s e o n   u n s e e d a t a .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   11 ,   N o .   1,   F e b r ua r y   2021  :     76 3   -   7 71   768   T a b l e   4 .   P a ra m e t e r s   f o r   m a c hi n e   l e a rn i ng  t e c hn i que s   N o .   M o d e l   P a ra m e t e r s   1   Ra n d o m   F o re s t   R e g re s s i o n   N o   o f   e s t i m a t o r s   =   2 0 0 ,   m i n   s a m p l e s   s p l i t   =   2 ,   m a x   d e p t h =   N o n e ,   m i n   s a m p l e   l e a f   =   2   2   L S T M ,   Bi - L S T M ,   RF - bi - L S T M   A c t i v a t i o n   =   r e l u ,   w e i g h t   o p t i m i z a t i o n   =   a d a m ,   b a t c h   s i z e   =   5 1 2 ,   n u m b e o f   e p o c h s   =   7 0 0 ,   v a l i d a t i o n   s p l i t   =   0 . 1 ,   l e a rn i n g   ra t e   =   0 . 0 1           F i gu r e   3 .   A   r a ndo m   t r e e   u p t o   t hr e e   l e v e l s       3.   R ES U LTS   A N D   D I S C U S S I O N S   T h i s   s e c t i o d i s c us s e s   t h e   e xpe r i m e nt a l   r e s ul t s   w i t a   de t a i l e pe r f o r m a n c e   a na l y s i s   of   t h e   p r o po s e d   RF - bi - L S T M   h y b r i m o de l .     3. 1 .     P e r fo r m an c e   c o m p ar i s o n   an d   r e s u l an al ys i s   T o   o bs e r v e   t h e   pe r f o r m a n c e   o f   t h e   p r o po s e m o de l ,   w e   c on d uc t e a   c o m pa r a t i v e   a n a l y s i s   of   o ur   h y b r i m o de l   w i t t h e   s t a n d a r d   L S T M   a n d   b i - L S T M   m o de l s .   We  a da p t e c r o s s - v a l i da t i o ( CV )   f o r   o pt i m u m   pe r f o r m a n c e   e v a l ua t i o n   by   s pl i t t i n g   our   da t a   i nt o   t e s t   a n d   t r a i n   s e t s .   In   t h e   e xpe ri m e nt a l   e v a l ua t i o n,   we   a ppl y   a   t o t a l   o f   13  f e a t ur e s   t o   t ra i t h e   L S T M   a nd  t h e   b i - L S T M   m o de l s L a t e r   w e   t r a i   t h e   p r o po s e R F - bi - L S T M   h y b r i d   m o de l   u t i l i z i n g   o nl y   t h e   f i v e   m o s t   do m i na n t   f e a t u r e s   ha v i ng  po s i t i v e   v a l ue s   i t e r m s   o f   pr e di c t i o n   s t r e n g t h.   I n   o u r   p r o po s e m o de l ,   w e   us e   t h e   w i ndo w   of   10  da y s   a s   a n   i n pu t   t o   t h e   b i - L S T M   l a y e r   t o   p r e di c t   t h e   e l e c t r i c i t y   c o n s um pt i o o f   t h e   n e xt   da y   a s   a   r e s ul t .   A s   f o r   p e r f o r m a n c e   m e t r i c s ,   w e   ut i l i z e   m e a s qua r e   e rr o r   (M S E ),   r o o t   m e a s qu a r e   e rr o r   (R M S E ),   m e a n   a b s o l ut e   e rr o r   (M A E ) ,   a n m e a a b s o l ut e   pe r c e n t a ge   e rr o r   (M A P E ).     A ppl y i n t h e   pe r f o r m a n c e   m e t r i c s ,   w e   pr e s e n t   t h e   s um m a r y   of   t h e   e xpe r i m e n t a l   r e s ul t s   i T a b l e   5,   w h i c c o n c l ude s   t h a t   t h e   p r o po s e RF - bi - L S T M   m o de l   r e t u rn s   a   m o r e   f a v o r a b l e   o ut put   i n   t e rm s   o fo r e c a s t i n g   e l e c t r i c a l   l o a t h a t h e   s t a nda r d   L S T M ,   a nd  b i - L S T M   m o de l s   t r a i n e w i t a l l   13  f e a t u r e s .     By   o bs e r v i n g   t h e   v a l ue s   o f   t h e   e rr o r   m e t ri c s   i T a b l e   5 ,   w e   c a n   e s t a b l i s h   t ha t   t h e   p r o po s e m e t h o ha s     a   c o m pe t i t i v e   a dv a n t a ge   f o r   po w e r   c o n s um pt i o p r e di c t i o n   o v e r   o t h e r   de e l e a rn i ng  m e t h o ds .         T a b l e   5 .   P e r f o r m a n c e   c o m pa r i s o o f   pr o po s e m e t h o d   M e t h o d   M S E   RM S E   M A E   M A P E   L S T M   0 . 4 7 7 6   0 . 6 9 1 1   0 . 5 5 7 8   1 4 8 . 7 9   Bi - L S T M   0 . 2 9 4 3   0 . 5 4 2 5   0 . 4 3 1 7   1 9 4 . 8 0   P r o p o s e d   R F - bi - L S TM   0. 1673   0 . 4 0 9 0   0 . 3 0 7 0   1 9 3 . 4 9       T o   i l l us t r a t e   t h e   c o m pa r i s o b e t t e r ,   w e   v i s ua l i z e o ur   p r e di c t i o da t a .   I n   F i gu r e   4 ,   w e   di s c e r   a   di s t i n c t   d i f f e r e n c e   be t w e e n   t h e   p r e di c t e f o r e c a s t   r e s ul t s   of   t h e   s t a nda rd  b i - L S T M   a n d   t h e   p r o po s e d   h y b r i m o de l .   F r o m   F i g u r e   (b ),   i t   i s   a pp a r e n t   t h a t   i m a xi m um   da t a   po i nt s ,   o u r   r e c o m m e n de m o de l   e xh i b i t s   a   l e s s e r   e rr o r.   W e   c a n   a l s o   c o n c l ude   t h a t   w e   c a p r e di c t   t h e   pe a po i nt s   i t h e   e n e rgy   c o n s um pt i o da t a   m o r e   p r e c i s e l y   us i n g   t h e   h y b r i m o de l   t ha t h e   b i - L S T M   m o de l ,   s e e   F i gu r e   4   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p   E n g     IS S N :   2088 - 8708       A   s hor t - t e r m   h y br i d   f o r e c as t i ng   m od e l   f or   t i m e   s e r i e s   e l e c t r i c al - l oad   d a t   ( Z annat ul   F e r dous h )   769     A t t r i b ut i n t o   t h e   v a l ue s   i n   T a b l e   5,   w e   c a n   v e r i fy   t ha t   o ur   pr o po s e h y b r i m o de l   m a ni f e s t s   b e t t e r   pe r f o r m a n c e   r e s ul t i n g   i f e w e r   e rr o r   m e t r i c   v a l ue s   t h a t h e   L S T M   a nd  t h e   b i - L S T M   m o de l .   I t h e   t i m e - s e r i e s   de c o m po s i t i o n   g ra p h   i n   F i gu r e   2,   w e   c a n   s e e   t ha t   o ur   d a t a   ha s   f e a t ur e s   l i ke   c ha n g i n t r e n d,   s e a s o n a l i t y ,   a n d   n o n - s t a t i o n a ri t y   w h i c h   m a ke   i t   qu i t e   c h a l l e n gi ng  t o   f o r e c a s t   e l e c t r i c i t y   c o n s um p t i o gi v e n   i t   i s   a   m u l t i v a r i a t e   time - s e r i e s   d a t a .   F i g u r e   4   (b r e f l e c t s   t h a t   o ur  p r o po s e m o de l   ha s   e f f i c i e n t l y   m o de l l e t h e s e   c o m pl e t ra i t s   a n pe r f o r m s   s upe ri o t o   o t h e de e l e a rni n g   m o de l s .         (a )       (b )     F i gu r e   4 .   G ra p h s   o f   p r e di c t e f o r e c a s t   r e s ul t s   us i n g   a )   t h e   s t a n d a r d   bi - L S T M   m o de l ,   (b t h e   p r o po s e R F - bi - L S T M   m o de         3. 2   Le ar n i n g   l o s s   an al ys i s   o p r o p o s e d   R F - bi - LS TM   m od e l   W h e n   w e   t ra i n e d   t h e   L S T M   a n d   t h e   b i - L S T M   m o de l s   w i t a l l   f e a t u r e s   f r o m   t h e   po w e r   c o n s u m pt i o n   da t a s e t ,   w e   de t e c t e t h a t   b o t h   o f   t h e   m o de l s   p r e s e nt   a o v e r f i t t i n g   t e n de n c y   a s   t h e y   gr o w   m o r e   s pe c i a l i z e w i t t h e   t r a i n i ng  da t a .   A s   a   c o n s e que n c e   o f   ov e r f i t t i n g,   t h e   v a l i da t i o l o s s   b e gi n s   t o   r i s e   a f t e a   s pe c i f i c   po i n t   w h i l e   t h e   t ra i ni n g   l o s s   s us t a i n s   f a l l i ng  a s   t h e   m o de l s   g a i e xpe ri e n c e .   F u r t h e rm o r e ,   t h e   m o de l s   f a i l   t o   a c c ur a t e l y   pr e di c t   n e w   ob s e r v a t i o n s   t ha t   a r e   n o t   pa rt   o f   t h e   o ri gi na l   t ra i ni n da t a   s e t ,   a nd  ge n e r a l i z a t i o   e rr o r i s e s .     O t h e   c o nt r a r y ,   o ur  p r o po s e m o de l   t r a i n e w i t s i g ni f i c a nt   f e a t u r e s   b a l a n c e s   b e t w e e n   a o v e r f i t   a n d   u n de r f i t ,   r e s ul t i n g   i a   go o f i t I F i gu r e   5 ,   w e   c a s e e   t h e   l e a rni n g   l o s s   g ra p o f   o ur   p r o po s e R F - bi - L S T M   m o de l .   F r o m   t h e   l o s s   gra p h,   w e   c a n   d i s t i ngui s t ha t   o ur   m o de l   de l i v e r s   a   go o f i t   a s   t h e   t ra i ni n g   a n d   v a l i da t i o n   l o s s   dr o t o   t h e   po i nt   o f   s t a b i l i t y   a n ha s   a   m o de s t   ge n e r a l i z a t i o n   g a i n   b e t w e e n   b o t h   c ur v e s .     It   e x h i b i t s   s t a b l e   l e a rn i ng  c h a ra c t e ri s t i c s   a n s i g n i f i e s   o ur   m o de l ' s   a b i l i t y   t o   pr o duc e   a   b e t t e r   f o r e c a s t   r e s ul t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   11 ,   N o .   1,   F e b r ua r y   2021  :     76 3   -   7 71   770   o n   u n s e e n   d a t a .   F r o m   t h e   o b s e r v a t i o n   o f   l e a rni n l o s s   be t w e e n   di s t i n c t   m o de l s ,   i t   i s   a pp a r e n t   t h a t   o ur  pr o po s e m o de l   y i e l ds   t o   b e   m o r e   e f f i c i e n t   t ha n   t h e   o t h e r   s t a t e - of - a r t   m o de l s .           F i gu r e   5 .   L o s s   a n v a l i d a t i o n   l o s s   pe e po c h   f o r   p r o po s e R F - bi - L S T M   m o de l       4.   C O N C LU S I O N   T h i s   pa pe r   p r e s e n t s   a   h y b r i m o de l   f o r   s h o rt - t e r m   l o a d   f or e c a s t i ng  us i ng  t h e   r a ndo m   f o r e s t   a n d     t h e   b i di r e c t i o n a l   l o n s h o rt - t e rm   m e m o r y .   T o   v a l i da t e   t h e   m o de l ,   w e   us e   a   t hr e e   y e a r s   l o n e l e c t r i c   po w e r   c o n s um pt i o n   d a t a s e t .   F o r   p r e p a r i ng  t h e   d a t a s e t ,   w e   c o l l e c t e da i l y   P D F   r e po r t s   f r o m   t h e   o ff i c i a l   w e b s i t e   of  B P D B   a n d   t h e n   c o n v e r t e i t   i n t o   t h e   CS V   f o r m a t .   A m o n g   t h e   13  f e a t u r e s   o f   t h e   da t a s e t ,   w e   h a v e   f o un   t h e   f i v e   m o s t   pr o m i n e n t   f e a t ur e s .   I t h e   e xpe r i m e n t a l   e v a l ua t i o n,   us i n g   t h e   f i v e   do m i na n t   f e a t u r e s ,     t h e   pe r f o r m a n c e   of   t h e   p r o po s e m o d e l   i s   c o m pa r e w i t h   t h e   s t a t e - of - a r t   m o de l s   by   c o n s i de r i ng  t h e   d i f f e r e n t   s t a t i s t i c a l   pa ra m e t e r s - M S E ,   R M S E ,   M A E ,   a n d   M A P E .   E xp e r i m e nt a l   r e s ul t s   de m o n s t ra t e   t ha t   t h e   p r o po s e d   h y b r i m o de l   o ut pe r f o r m s   t h e   c o m pa r e m o de l s   by   e xh i b i t i ng  f e w e r   e rr o r   m e t r i c s .       R EF ER EN C ES   [ 1]   A .   A hm e a nd   M .   K ha l i d,   A   r e v i e w   o t h e   s e l e c t e d   a pp l i c a t i o ns   o f   f o r e c a s t i ng   m o de l s   i n   r e ne w a bl e   po w e r   s y s t e m s ,   R e ne w abl e   and  Sus t a i nab l e   E ne r g y   R e v i e w s ,   v o l .   1 00 ,   p p .   9 - 21,   F e b.   20 19.   [ 2]   K .   C he n,   K .   C h e n ,   Q .   W a ng ,   Z .   H e ,   J .   H u,   a nd  J .   H e ,   S ho r t - T e r m   L o a F o r e c a s t i ng   w i t h   D e e p   R e s i d ua l   N e t w o r ks ,   I E E E   T r an s ac t i ons   o Sm ar t   G r i d ,   v o l .   10 ,   no .   4,   p p.   39 43 - 3952 ,   J u l .   20 19.   [ 3]   P .   L i na r e s ,   P .   P i n t o s ,   a nd   K .   W ur z bur g ,   A s s e s s i ng   t he   po t e nt i a l   a nd   c o s t s   o f   r e duc i ng   e ne r gy   de m a n d,   E ne r gy   T r ans i t i o ns ,   v o l .   1 ,   no .   1 ,   J un .   201 7.   [ 4]   T .   G O N E N ,   L o a d   F o r e c a s t i ng   U s i ng   B ox - J e nk i n s   M e t ho do l o gy ,   C O M P E L     T he   i n t e r na t i ona l   j our n al   f or   c om pu t at i o a nd   m at he m at i c s   i e l e c t r i c a l   a nd   e l e c t r o ni c   e ng i ne e r i ng ,   v o l .   3 ,   no .   1,   pp .   35 - 46 ,   J a n .   198 4.   [ 5]   J .   W .   T a y l o r   a nd  R .   D .   S ny de r ,   F o r e c a s t i ng   i nt r a da y   t i m e   s e r i e s   w i t h   m u l t i p l e   s e a s o na l   c y c l e s   us i ng   p a r s i m o ni o us   s e a s o na l   e xpo ne nt i a l   s m o o t hi ng ,   O m e ga ,   v o l .   40 ,   no .   6,   pp .   748 - 75 7,   D e c .   2012 .   [ 6]   D .   A l be r g   a nd   M .   L a s t ,   S ho r t - t e r m   l o a f o r e c a s t i ng   i n   s m a r t   m e t e r s   w i t h   s l i d i ng   w i n do w - ba s e d   A R I M A   a l g o r i t hm s ,   V i e t nam   J our n al   o f   C om pu t e r   S c i e nc e ,   v o l .   5 ,   no .   3 4 ,   pp.   24 1 - 249,   J un .   2 018 .   [ 7]   J .   Z ha ng ,   Y . - M .   W e i ,   D .   L i ,   Z .   T a n ,   a nd  J .   Z ho u,   S ho r t   t e r m   e l e c t r i c i t y   l o a f o r e c a s t i ng   u s i ng   a   hy br i d   m o de l ,   E ne r gy ,   v o l .   158 ,   pp.   7 74 - 781 ,   S e p .   2018 .   [ 8]   N .   H u a ng ,   G .   L u,   a nd   D .   X u ,   A   P e r m u t a t i o I m po r t a nc e - B a s e F e a t ur e   S e l e c t i o n   M e t ho f o r   S ho r t - T e r m   E l e c t r i c i t y   L o a F o r e c a s t i ng   U s i ng   R a n do m   F o r e s t ,   E ne r gi e s ,   v o l .   9,   no .   10,   p .   767 ,   S e p .   201 6.   [ 9]   Y .   C he n   e t   a l . ,   S ho r t - t e r m   e l e c t r i c a l   l o a d   f o r e c a s t i ng   u s i ng   t h e   S uppo r t   V e c t o r   R e g r e s s i o ( S V R )   m o de l   t c a l c ul a t e   t h e   d e m a n r e s po ns e   ba s e l i n e   f o r   o f f i c e   bu i l d i ng s ,   A pp l i e E ne r g y ,   v o l .   1 95 ,   p p.   65 9 - 670 ,   J un .   2017 .   [ 10]   S .   B e n   T a i e b   a n d   R .   J .   H y ndm a n,   A   g r a d i e nt   bo o s t i ng   a p pr o a c t o   t he   K a g g l e   l o a d   f o r e c a s t i ng   c o m pe t i t i o n,   I nt e r n at i on al   J o ur n al   o f   F or e c as t i ng ,   v o l .   30 ,   no .   2 ,   pp .   382 - 394 ,   A pr .   2 014 .   [ 11]   D .   K .   C ha t u r v e di ,   A .   P .   S i nha ,   a nd  O .   P .   M a l i k,   S ho r t   t e r m   l o a d   f o r e c a s t   u s i ng   f uz z y   l og i c   a nd  w a v e l e t   t r a ns f o r m   i nt e g r a t e d   g e ne r a l i z e n e u r a l   n e t w o r k ,   I n t e r na t i ona l   J our nal   o f   E l e c t r i c a l   P ow e r   &   E ne r gy   S y s t e m s ,   v o l .   67 ,     pp.   23 0 - 237,   M a y   2015 .   [ 12]   P. - H .   K uo   a nd   C . - J .   H ua ng ,   A   H i g P r e c i s i o A r t i f i c i a l   N e u r a l   N e t w o r ks   M o de l   f o r   S ho r t - T e r m   E n e r g y   L o a d   F o r e c a s t i ng ,   E ne r g i e s ,   v o l .   1 1,   no .   1,   p .   213 ,   J a n.   20 18.   [ 13]   D .   C .   P a r k ,   M .   A .   E l - S h a r k a w i ,   R .   J .   M a r k s ,   L .   E .   A t l a s ,   a nd   M .   J .   D a m bo r g ,   E l e c t r i c   l o a f o r e c a s t i ng   us i ng   a a r t i f i c i a l   ne ur a l   ne t w o r k,   I E E E   T r ans a c t i o ns   on   P ow e r   Sy s t e m s ,   v ol .   6 ,   no .   2 ,   pp .   442 - 449 ,   M a y   1991.   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p   E n g     IS S N :   2088 - 8708       A   s hor t - t e r m   h y br i d   f o r e c as t i ng   m od e l   f or   t i m e   s e r i e s   e l e c t r i c al - l oad   d a t   ( Z annat ul   F e r dous h )   771   [ 14]   K .   Y .   L e e ,   Y .   T .   C ha ,   a nd   J .   H .   P a r k,   S ho r t - t e r m   l o a d   f o r e c a s t i ng   us i ng   a a r t i f i c i a l   n e ur a l   n e t w o r k ,   I E E E   T r ans ac t i ons   on   P ow e r   Sy s t e m s ,   v o l .   7,   no .   1 ,   pp.   1 24 1 32,   1 992 .   [ 15]   J .   M o o n,   Y .   K i m ,   M .   S o n,   a nd   E .   H w a ng ,   H y br i S ho r t - T e r m   L o a F o r e c a s t i ng   S c he m e   U s i ng   R a ndo m   F o r e s t   a nd  M u l t i l a y e r   P e r c e pt r o n,   E ne r g i e s ,   v o l .   11,   no .   12 ,   p .   3 283 ,   N o v .   201 8.   [ 16]   D .   L .   M a r i no ,   K .   A m a r a s i ng he ,   a nd  M .   M a n i c ,   B u i l d i ng   e ne r gy   l o a f o r e c a s t i ng   us i ng   D e e p   N e u r a l   N e t w o r ks ,   I E C O N   2 016   -   42 nd   A nnu al   C on f e r e nc e   o f   t he   I E E E   I nd us t r i al   E l e c t r on i c s   Soc i e t y ,   2016 .   [ 17]   S .   B o ukt i f ,   A .   F i a z ,   A .   O u ni ,   a n d   M .   S e r h a n i ,   O pt i m a l   D e e p   L e a r n i ng   L S T M   M o de l   f o r   E l e c t r i c   L o a F o r e c a s t i ng   us i ng   F e a t ur e   S e l e c t i o a nd  G e ne t i c   A l g o r i t hm :   C o m pa r i s o w i t M a c hi ne   L e a r n i ng   A ppr o a c he s ,   E ne r g i e s   v o l .   11,   no .   7 ,   p.   16 36 ,   J un .   2018 .   [ 18]   Z .   W u,   X .   Z ha o ,   Y .   M a ,   a nd  X .   Z h a o ,   A   hy br i m o de l   b a s e o m o di f i e m u l t i - o bj e c t i v e   c uc ko o   s e a r c a l g o r i t hm   f o r   s ho r t - t e r m   l o a f o r e c a s t i ng ,   A pp l i e E ne r gy ,   v o l .   23 7,   pp .   896 - 909 ,   M a r .   20 19.   [ 19]   H .   Z h e ng ,   J .   Y ua n,   a nd   L .   C h e n ,   S ho r t - T e r m   L o a F o r e c a s t i n g   U s i ng   E M D - L S T M   N e ur a l   N e t w o r k s   w i t a   X g boo s t   A l g o r i t hm   f o r   F e a t ur e   I m po r t a nc e   E v a l ua t i o n,   E ne r gi e s ,   v o l .   10,   no .   8 ,   p.   11 68 ,   A ug .   20 17.   [ 20]   S .   H o c hr e i t e r   a n J .   S c hm i dhub e r ,   L o ng   S ho r t - T e r m   M e m o r y ,   N e ur al   C om p ut at i on ,   v o l .   9 ,   no .   8,   pp.   173 5 - 1780 ,   N ov .   199 7.   [ 21]   K .   G r e f f ,   R .   K .   S r i v a s t a v a ,   J .   K o ut n i k ,   B .   R .   S t e une br i nk ,   a n J .   S c hm i dhu be r ,   L S T M :   A   S e a r c S pa c e   O dy s s e y ,   I E E E   T r an s a c t i on s   o N e ur al   N e t w or k s   an L e ar ni n Sy s t e m s ,   v o l .   28 ,   no .   1 0,   pp .   222 2 - 2232 ,   O c t .   201 7.   [ 22]   J .   P .   C .   C hi u   a nd   E .   N i c ho l s ,   N a m e E nt i t y   R e c o g ni t i o w i t h   B i di r e c t i o na l   L S T M - C N N s ,   T r ans a c t i on s   of   t he   A s s o c i a t i on   f o r   C om pu t a t i o na l   L i ng ui s t i c s ,   v o l .   4 ,   pp .   357 370 ,   D e c .   201 6.   [ 23]   M .   S ha hb a z ,   G .   S a l a h   U dd i n,   I .   U r   R e hm a n ,   a nd   K .   I m r a n,   I ndus t r i a l i z a t i o n,   e l e c t r i c i t y   c o ns um pt i o a n d   C O e m i s s i o ns   i B a ng l a d e s h ,   R e ne w abl e   and  Sus t a i nab l e   E ne r g y   R e v i e w s ,   v o l .   31,   p p.   57 5 58 6,   M a r .   201 4.   [ 24]   M .   J a w o r s k i ,   P .   D u da ,   a nd   L .   R u t ko w s ki ,   N e w   S p l i t t i ng   C r i t e r i a   f o r   D e c i s i o T r e e s   i S t a t i o na r y   D a t a   S t r e a m s ,   I E E E   T r an s a c t i on s   o N e ur al   N e t w or k s   an L e ar ni n Sy s t e m s ,   v o l .   29 ,   no .   6 ,   pp .   2516 252 9,   J un.   2 018 .   [ 25]   P .   H u ,   J .   T o ng ,   J .   W a ng ,   Y .   Y a ng ,   a nd   L .   de   O l i v e i r a   T ur c i ,   A   hy br i m o de l   ba s e d   o C N N   a nd   B i - L S T M   f o r   ur ba w a t e r   de m a nd   pr e d i c t i o n,   2 019   I E E E   C o ngr e s s   o E v o l ut i o n ar y   C om pu t a t i on  ( C E C ) ,   20 19.       B I O G R A P H I ES   O F   A U T H O R S         Z an n at u l   F e r d o u s h   g r a d ua t e d   i n   C o m put e r   S c i e nc e   a nd   E ng i ne e r i ng   f r o m   B r a c   U ni v e r s i t y   i n   2019 . S he   i s   a   S o f t w a r e   E ng i ne e r   a t   B d j o bs . c o m   L i m i t e d .   H e r   r e s e a r c i n t e r e s t s   i nc l ude   m a c h i ne   l e a r n i ng ,   da t a   e xp l o r a t i o a nd   b i o i nf o r m a t i c s .                 B o o s h r a   N az i f a   M a h m u d   i s   a   s o f t w a r e   d e v e l o pe r   a t   M o ni c o   T e c hno l og i e s   B a ng l a de s h   ( 2 020 ) .   S he   o b t a i ne d   B a c he l o r   D e g r e e   i C o m put e r   S c i e nc e   a nd   E ng i ne e r i ng   f r o m   B r a c   U n i v e r s i t y   ( B a ng l a de s h)   i n   20 19.   H e r   r e s e a r c i nt e r e s t s   a r e   i n   f i e l d s   o f   d a t a   s c i e nc e ,   m a c h i ne   l e a r n i ng ,   a n w e d e v e l o pm e n t .               A m i t ab h C h ak r ab a r t y   r e c e i v e hi s   P h . D .   d e g r e e   f r o m   F a c u l t y   of   E ng i ne e r i ng ,   D ub l i n   C i t y   U ni v e r s i t y   ( D C U ) ,   I r e l a n d,   a nd   M . S c .   d e g r e e   i n   T e l e c o m m uni c a t i o E ng i ne e r i ng   f r o m   I nde pe nde n t   U ni v e r s i t y ,   B a ng l a de s h .   H e   a l s o   r e c e i v e hi s   B . S c .   d e g r e e   i n   C o m put e r   S c i e nc e   a nd  E ng i ne e r i ng   f r o m   R a j s ha hi   U ni v e r s i t y ,   B a ng l a de s h .   D r .   C ha k r a b a r t y   i s   c ur r e n t l y   w o r ki ng   a s   a A s s oc i a t e   P r o f e s s o r   o f   C o m put e r   S c i e nc e   a nd  E ng i ne e r i ng   a t   B r a c   U n i v e r s i t y .   H e   i s   a l s o     t he   c o o r di na t o r   o f   M . S c . / M . E ng g .   i n   C o m put e r   S c i e nc e   a nd   E ng i n e e r i ng   a nd   M a s t e r   o f   C o m p ut e r   A ppl i c a t i o ns   p r o g r a m s .   H i s   r e s e a r c a r e a s   a r e -   I o T ,   M a c hi ne   L e a r n i ng ,   a n F o g   C o m put i ng .         Ji a   U d d i n   r e c e i v e a   B S c   d e g r e e   i C C E   f r o m   I nt e r na t i o na l   I s l a m i c   U ni v e r s i t y   C hi t t a g o ng ,   B a ng l a de s h   i n   200 5,   a nd   a   M S c .   de g r e e   i n   T e l e c o m m uni c a t i o ns   f r o m   t h e   B l e k i ng e   I ns t i t ut e   o f   T e c hno l o gy ,   S w e de n,   i n   20 10.   H e   di P h. D .   i C o m pu t e r   E ng i n e e r i ng   f r o m   t he   U n i v e r s i t y   of   Ul s a n,   K o r e a ,   i J a nu a r y   2015.   C ur r e nt l y   he   i s   a n   A s s i s t a n t   P r o f e s s o r   i D e p t .   o f   T e c hno l o g y   S t ud i e s ,   E nd i c o t t   C o l l e g e ,   W o o s o ng   U ni v e r s i t y ,   K o r e a   a nd  a A s s o c i a t e   P r o f e s s o r   ( O L e a v e ) ,   C S E   a t   B r a c U ,   B a ng l a d e s h .   H i s   r e s e a r c h   i n t e r e s t s   i nc l ud e   f a u l t   d i a g no s i s ,   t i m e   s e r i e s   d a t a   a na l y s i s a nd  m ul t i m e di a   s i g na l   pr o c e s s i ng .     Evaluation Warning : The document was created with Spire.PDF for Python.