T E L K O M N I K A ,   V o l . 9 ,   N o . 2 ,   A u g u s t   2 0 1 1 ,   p p .   2 5 7 ~ 2 6 6   I S S N :   1 6 9 3 - 6 9 3 0   a c c r e d i t e d   b y   D G H E   ( D I K T I ) ,   D e c r e e   N o :   5 1 / D i k t i / K e p / 2 0 1 0           2 5 7       R e c e i v e d   M a r c h   3 0 th ,   2 0 1 1 ;   R e v i s e d   J u n e   1 6 th ,   2 0 1 1 ;   A c c e p t e d   J u n e   2 1 th ,   2 0 1 1   L e v e n b e r g - M a r q u a r d t   R e c u r r e n t   N e t w o r k s   f o r   L o n g - T e r m   E l e c t r i c i t y   P e a k   L o a d   F o r e c a s t i n g       Y u s a k   T a n o t o * 1 ,   W e e r a k o r n   O n g s a k u l 2 ,   C h a r l e s   O . P .   M a r p a u n g 3   1 El e c t r i c a l   En g i n e e r i n g   D e p a r t m e n t   P e t r a   C h r i s t i a n   U n i v e r s i t y   J l .   Si w a l a n k e r t o   1 2 1 - 1 3 1   Su r a b a y a   6 0 2 3 6 ,   I n d o n e s i a ,   P h . / F a x :   + 6 2 3 1 - 2 9 8 3 4 4 5 / 8 4 1 7 6 5 8   2 , 3 En e r g y   F i e l d   o f   St u d y   As i a n   I n s t i t u t e   o f   T e c h n o l o g y   P. O . Bo x   4 ,   Kl o n g   L u a n g   P a t h u m t h a n i   1 2 1 2 0 ,   T h a i l a n d ,   P h . / F a x :   + 6 6 2 - 5 2 4 5 4 4 0 / 5 2 4 5 4 3 9   e - m a i l :   t a n y u s a k @ p e t r a . a c . i d * 1 ,   o n g s a k u l @ a i t . a c . t h 2 ,   c m a r p a u n g @ a i t . a c . t h 3       A b s t r a k   Pe n i n g k a t a n   k e b u t u h a n   l i s t r i k   d i   d a e r a h   J a w a - M a d u r a - Ba l i ,   I n d o n e s i a ,   h a r u s   d i t a n g a n i   d e n g a n   t e p a t   u n t u k   m e n g h i n d a r i   t e r j a d i n y a   p e m a d a m a n   t o t a l   d e n g a n   m e n e n t u k a n   p e r k i r a a n   b e b a n   p u n c a k   s e c a r a   t e p a t .   Pe n d e k a t a n   e k o n o m e t r i k   m u n g k i n   s a j a   t i d a k   t e p a t   u n t u k   m e n g a t a s i   p e r m a s a l a h a n   i n i   k a r e n a   a d a n y a   k e t e r b a t a s a n   d a l a m   m e m o d e l k a n   k e t i d a k - l i n i e r a n   i n t e r a k s i   f a k t o r - f a k t o r   y a n g   t e r l i b a t .   U n t u k   m e n g a t a s i   h a l   i n i ,   j a r i n g a n   s y a r a f   t i r u a n   b e r u l a n g   El m a n   d a n   J o r d a n   b e r b a s i s   a l g o r i t m a   L e v e n b e r g - M a r q u a r d t   d i k e m u k a k a n   u n t u k   m e m p e r k i r a k a n   b e b a n   p u n c a k   t a h u n a n   i n t e r k o n e k s i   J a w a - M a d u r a - Ba l i   u n t u k   2 0 0 9 - 2 0 1 1 .   D a t a   h i s t o r i s   r i i l   d i   s e k t o r   e k o n o m i ,   s t a t i s t i k   k e l i s t r i k a n ,   d a n   c u a c a   s e l a m a   1 9 9 5 - 2 0 0 8   d i a p l i k a s i k a n   s e b a g a i   i n p u t   j a r i n g a n .   J u s t i f i k a s i   s t r u k t u r   j a r i n g a n   d i d a p a t k a n   m e l a l u i   p e r c o b a a n   m e n g g u n a k a n   d a t a   h i s t o r i s   a k t u a l   1 9 9 5 - 2 0 0 5   u n t u k   m e m p e r k i r a k a n   b e b a n   p u n c a k   2 0 0 6 - 2 0 0 8 .   Se l a n j u t n y a ,   p e r k i r a a n   b e b a n   p u n c a k   2 0 0 9 - 2 0 1 1   d i s i m u l a s i k a n   m e n g g u n a k a n   s t r u k t u r   j a r i n g a n   t e r s e b u t .   Se c a r a   k e s e l u r u h a n ,   s t r u k t u r   j a r i n g a n   y a n g   d i k e m u k a k a n   m e n u n j u k k a n   k i n e r j a   y a n g   l e b i h   b a i k   d i b a n d i n g k a n   d e n g a n   p e r k i r a a n   b e b a n   p u n c a k   y a n g   d i d a p a t   d a r i   j a r i n g a n   u m p a n   m a j u - L e v e n b e r g - M a r q u a d t ,   R e g r e s i   Be r g a n d a   D o u b l e - l o g ,   d a n   p r o y e k s i   P L N   s e l a m a   2 0 0 6 - 2 0 1 0 .         K a t a   k u n c i :     J a r i n g a n   s y a r a f   t i r u a n   b e r u l a n g   El m a n   d a n   J o r d a n ,   p r e d i k s i   b e b a n   p u n c a k   j a n g k a       p a n j a n g ,   a l g o r i t m a   L e v e n b e r g - M a r q u a r d t       A b s t r a c t     I n c r e a s i n g   e l e c t r i c i t y   d e m a n d   i n   J a v a - M a d u r a - Ba l i ,   I n d o n e s i a ,   m u s t   b e   a d d r e s s e d   a p p r o p r i a t e l y   t o   a v o i d   b l a c k o u t   b y   d e t e r m i n i n g   a c c u r a t e   p e a k   l o a d   f o r e c a s t i n g .   Ec o n o m e t r i c   a p p r o a c h   m a y   n o t   b e   s u f f i c i e n t   t o   h a n d l e   t h i s   p r o b l e m   d u e   t o   l i m i t a t i o n   i n   m o d e l l i n g   n o n l i n e a r   i n t e r a c t i o n   o f   f a c t o r s   i n v o l v e d .   T o   o v e r c o m e   t h i s   p r o b l e m ,   El m a n   a n d   J o r d a n   R e c u r r e n t   N e u r a l   N e t w o r k   b a s e d   o n   L e v e n b e r g - M a r q u a r d t   l e a r n i n g   a l g o r i t h m   i s   p r o p o s e d   t o   f o r e c a s t   a n n u a l   p e a k   l o a d   o f   J a v a - M a d u r a - Ba l i   i n t e r c o n n e c t i o n   f o r   2 0 0 9 - 2 0 1 1 .   Ac t u a l   h i s t o r i c a l   r e g i o n a l   d a t a   w h i c h   c o n s i s t s   o f   e c o n o m i c ,   e l e c t r i c i t y   s t a t i s t i c   a n d   w e a t h e r   d u r i n g   1 9 9 5 - 2 0 0 8   a r e   a p p l i e d   a s   i n p u t s .   T h e   n e t w o r k s   s t r u c t u r e   i s   f i r s t l y   j u s t i f i e d   u s i n g   t r u e   h i s t o r i c a l   d a t a   o f   1 9 9 5 - 2 0 0 5   t o   f o r e c a s t   p e a k   l o a d   o f   2 0 0 6 - 2 0 0 8 .   Af t e r w a r d s ,   p e a k   l o a d   f o r e c a s t i n g   o f   2 0 0 9 - 2 0 1 1   i s   c o n d u c t e d   s u b s e q u e n t l y   u s i n g   a c t u a l   h i s t o r i c a l   d a t a   o f   1 9 9 5 - 2 0 0 8 .   O v e r a l l ,   t h e   p r o p o s e d   n e t w o r k s   s h o w n   b e t t e r   p e r f o r m a n c e   c o m p a r e d   t o   t h a t   o b t a i n e d   b y   L e v e n b e r g - M a r q u a r d t - F e e d f o r w a r d   n e t w o r k ,   D o u b l e - l o g   M u l t i p l e   R e g r e s s i o n ,   a n d   w i t h   p r o j e c t i o n   b y   PL N   f o r   2 0 0 6 - 2 0 1 0 .       K e y w o r d s :     El m a n   a n d   J o r d a n   r e c u r r e n t   n e u r a l   n e t w o r k ,   l o n g - t e r m   p e a k   l o a d   f o r e c a s t i n g ,   L e v e n b e r g - M a r q u a r d t   a l g o r i t h m         1 .     I n t r o d u c t i o n   I n c r e a s i n g   e l e c t r i c i t y   d e m a n d   i n   J a v a - M a d u r a - B a l i   ( H e r e a f t e r   J a M a L i )   r e g i o n   j u s t   a f t e r   t h e   e c o n o m i c   c r i s i s   h a d   l e d   t o   b l a c k o u t   i n   2 0 0 3 .   L e s s   a c c u r a t e   d e m a n d   p r o j e c t i o n   i n   t e r m s   o f   p e a k   l o a d   w a s   p o s s i b l y   c o n t r i b u t e d   t o   t h e   s i t u a t i o n   b e s i d e s   p o w e r   p l a n t   b r e a k d o w n   a n d   s y s t e m   e x p a n s i o n   p o s t p o n e d .   T h e r e f o r e ,   P T   P L N   ( T h e   I n d o n e s i a n   S t a t e   E l e c t r i c i t y   C o m p a n y )   h a s   b e e n   m a n d a t e d   t o   p r e p a r e   a n d   f o l l o w   N a t i o n a l   E l e c t r i c i t y   P l a n n i n g   a n d   P r o v i s i o n   ( R U P T L )   o n   t h e   1 0   y e a r s   b a s i s   b a s e d   o n   n a t i o n a l   g e n e r a l   p l a n n i n g   i n   e l e c t r i c i t y   s e c t o r .   A r t i f i c i a l   n e u r a l   n e t w o r k   ( A N N )   i n   p a r t i c u l a r   f e e d f o r w a r d   s t r u c t u r e   h a s   b e e n   w i d e l y   p r o p o s e d   p a r t i c u l a r l y   i n   e l e c t r i c i t y   l o n g - t e r m   p e a k   l o a d   f o r e c a s t i n g   ( L T P F )   a s   a   p r o m i s i n g   a l t e r n a t i v e   a p p r o a c h   c o m p a r e d   t o   t h e   t r a d i t i o n a l   e c o n o m e t r i c   m e t h o d   [ 1 ,   2 ] .   H o w e v e r ,   t o   t h e   b e s t   k n o w l e d g e   o f   t h e   a u t h o r s ,   n o t   m a n y   s t u d i e s   o f   L T P F   u s i n g   R N N   h a v e   b e e n   r e p o r t e d   a s   i t   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   2 ,     A u g u s t   2 0 1 1   :     2 5 7     2 6 6   2 5 8 f o u n d   i n   [ 3 - 7 ] .   F o r   t h e   c a s e   o f   J a M a L i   i n t e r c o n n e c t i o n ,   a   L T P F   h a s   b e e n   d o n e   u s i n g   F e e d f o r w a r d   n e t w o r k   f o r   2 0 0 7 - 2 0 2 5 ,   t a k e n   i n t o   a c c o u n t   1 0   a c t u a l   h i s t o r i c a l   d a t a   o f   2 0 0 1 - 2 0 0 6   [ 2 ] .   R e s u l t   o n   a n n u a l   g r o w t h   r a t e   i n   t h e   r a n g e   o f   6 . 4 - 7 . 1 %   i s   c o n s i d e r e d   i n   l e v e l   t o   t h a t   o b t a i n e d   b y   P L N .   H o w e v e r ,   t h e r e   i s   n o   v e r i f i c a t i o n   o f   t h e   n e t w o r k   p e r f o r m a n c e   i n   t e r m s   o f   t h e   a b s e n c e   o f   c o m p a r i s o n   b e t w e e n   n e t w o r k   f o r e c a s t i n g   r e s u l t   a n d   t h e   a c t u a l   p e a k   l o a d .     I n   t h i s   r e s e a r c h ,   i n s t e a d   o f   u s i n g   e c o n o m e t r i c   a p p r o a c h   l i k e   w h a t   P L N   d o e s ,   R N N   w i t h   L M   l e a r n i n g   a l g o r i t h m   i s   p r o p o s e d   a s   n e w   a p p r o a c h   t o   t h e   J a M a L i s   L T P F   p r o b l e m   t a k e n   i n t o   a c c o u n t   1 1   a c t u a l   h i s t o r i c a l   a n d   p r o j e c t i o n   f a c t o r s   d u r i n g   t h e   p e r i o d   o f   1 9 9 5 - 2 0 1 1 .   T h i s   p a p e r   i s   o r g a n i z e d   a s   f o l l o w s :   t h e   p r o p o s e d   m e t h o d   i s   p r e s e n t e d   i n   t h e   n e x t   s e c t i o n .   R e s e a r c h   m e t h o d   u s e d   i n   t h i s   s t u d y   i s   f o l l o w e d   s u b s e q u e n t l y .   R e s u l t   a n d   d i s c u s s i o n   a r e   p r e s e n t e d   i n   t h e   s u b s e q u e n t   s e c t i o n   a n d   f i n a l l y   c o n c l u s i o n   i s   f o l l o w e d .       2 .     P r o p o s e d   M e t h o d   I t   i s   r e v e a l e d   t h a t   n o n e   o f   t h e   p r o p o s e d   R N N   u t i l i z e d   L e v e n b e r g - M a r q u a r d t   ( R N N - L M )   l e a r n i n g   a l g o r i t h m   w h i c h   i s   c o n f i r m e d   t o   p r o v i d e   t h e   m o s t   a c c u r a t e   r e s u l t s   w i t h   t h e   f a s t e s t   a n d   e f f e c t i v e   t r a i n i n g   a l g o r i t h m   [ 8 ,   9 ] .   I n   a d d i t i o n ,   R N N - L M   i s   p o t e n t i a l   t o   o v e r c o m e   t h e   d r a w b a c k s   o f   e c o n o m e t r i c s   m e t h o d   t h a t   i s   t o   o b t a i n   r e a s o n a b l y   a c c u r a t e   r e s u l t ,   c o n s t a n t   d i f f e r e n c e   o f   t h e   f a c t o r s   a f f e c t i n g   t h e   l o a d   d e m a n d   i s   t h e   i m p o r t a n t   r e q u i s i t e .   H e n c e ,   p r o b l e m   m a y   o c c u r   w h e n   e c o n o m e t r i c   m e t h o d   i s   u s e d   s i n c e   i t   i s   n o t   w e l l   a d a p t e d   t o   m o d e l   n o n l i n e a r   i n t e r a c t i o n   a m o n g   v a r i a b l e s   a f f e c t i n g   t o   l o a d   d e m a n d   s u c h   a s   e c o n o m i c   i n d i c a t o r   a n d   s o c i a l   i n d i c e s   [ 9 ,   1 0 ] .   R N N - L M   i s   e x p e c t e d   t o   o v e r c o m e   b a r r i e r   i n   t e r m s   o f   t h e   l e n g t h   o f   a v a i l a b l e   d a t a   i n   c o n d u c t i n g   n e t w o r k   t r a i n i n g   a n d   f o r e c a s t i n g .   I n   o t h e r   w o r d s ,   R N N - L M   s h a l l   b e   b e n e f i c i a l   i f   t h e   s e t   o f   a v a i l a b l e   d a t a   i s   l i m i t e d   a n d   d i f f i c u l t   t o   b e   o b t a i n e d   u p   t o   c e r t a i n   e x t e n d .     2 . 1 .   E l m a n   a n d   J o r d a n   R e c u r r e n t   N e u r a l   N e t w o r k   T o   h a n d l e   L T P F   p r o b l e m ,   R N N   i s   l i k e l y   t o   b e   s u i t a b l e   d u e   t o   i t s   a b i l i t y   t o   h a n d l e   c e r t a i n   i n f o r m a t i o n   p a t t e r n   g i v e n   o n   t h e   l o a d   o f   t i m e   t   t o   m a k e   f o r e c a s t i n g   f o r   t   +   1   [ 3 ] .   T h e   g e n e r a l   s t r u c t u r e   o f   E l m a n   a n d   J o r d a n   N e t w o r k   a r e   i l l u s t r a t e d   i n   F i g u r e   1 .   N o t e   t h a t   t h e   d a s h e d   l i n e   c o m i n g   o u t   o f   o u t p u t   l a y e r   r e p r e s e n t s   f e e d b a c k   c o n n e c t i o n   i s   b e l o n g   t o   J o r d a n   n e t w o r k .             ( ) ( ) ( ) ( ) ( ) ( ) ( ) = - = + = = = = r i j i j i i n i m i i j i i j i j k w g k y k x k c k c w k u w f k y 1 , 1 1 , , 3 ; 1 ; 1 2     F i g u r e   1 .   E l m a n   a n d   J o r d a n   R e c u r r e n t   N e u r a l   N e t w o r k s   a r c h i t e c t u r e   [ 1 1 ]       2 . 2 .   N g u y e n - W i d r o w   i n i t i a l i z a t i o n   m e t h o d   I n   t h i s   r e s e a r c h ,   t h e   w e i g h t s   f o r   e a c h   l a y e r s   j u n c t i o n   a n d   l a y e r s   b i a s   o f   t h e   n e t w o r k s   s t r u c t u r e   a r e   i n i t i a l i z e d   u s i n g   N g u y e n - W i d r o w   i n i t i a l i z a t i o n   m e t h o d .   T h i s   m e t h o d   w a s   i n t r o d u c e d   b y   D e r r i c k   N g u y e n   a n d   B e r n a r d   W i d r o w   [ 1 2 ] .   I n i t i a l   w e i g h t s   a r e   d i s t r i b u t e d   s o   t h a t   l e a r n i n g   p r o c e e d s   m o r e   e f f e c t i v e l y .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       L e v e n b e r g - M a r q u a r d t   R e c u r r e n t   N e t w o r k s   f o r   L o n g - T e r m   E l e c t r i c i t y   P e a k   .   ( Y u s a k   T a n o t o )   2 5 9   T h e   w e i g h t s   ) 0 ( i j w   a r e   r a n d o m l y   g e n e r a t e d   i n   t h e   r a n g e   o f   - 1   t o   1 .   T h e n ,   t h e   i n i t i a l   w e i g h t   v a l u e s   a r e   e x p r e s s e d   u s i n g   f a c t o r   β   a s :     ) 0 ( ) 0 ( . j i j i j w w w b =                                         ( 1 )     w h e r e   i j w   i s   i n i t i a l   p a r a m e t e r s   o f   t r a i n i n g   a l g o r i t h m .   F o r   t h e   o u t p u t   l a y e r ,   t h e   i n i t i a l   w e i g h t s   a r e   a l s o   r a n d o m l y   g e n e r a t e d   i n   t h e   r a n g e   o f   - 0 . 5   t o   0 . 5 .   b   i s   t h e   f a c t o r   o b t a i n e d   f r o m   t h e   f o l l o w i n g   e q u a t i o n   a s   g i v e n   b y     n p 7 . 0 = b                                                                                                                                                                                                                 ( 2 )       w h e r e   n i s   n e t w o r k   i n p u t s   a n d     h i d d e n   n e u r o n s .     2 . 3 .   L e v e n b e r g - M a r q u a r d t   l e a r n i n g   a l g o r i t h m   O n e   r e a s o n   f o r   s e l e c t i n g   a   l e a r n i n g   a l g o r i t h m   i s   t o   s p e e d   u p   c o n v e r g e n c e .   T h e   L e v e n b e r g - M a r q u a r d t   ( L M )   a l g o r i t h m   i s   a n   a p p r o x i m a t i o n   t o   N e w t o n s   m e t h o d   t o   a c c e l e r a t e   t r a i n i n g   s p e e d .   B e n e f i t s   o f   a p p l y i n g   L M   a l g o r i t h m   o v e r   v a r i a b l e   l e a r n i n g   r a t e   a n d   c o n j u g a t e   g r a d i e n t   m e t h o d   w e r e   r e p o r t e d   i n   [ 8 ] .   T h e   L M   a l g o r i t h m   i s   d e v e l o p e d   t h r o u g h   N e w t o n s   m e t h o d   w h e r e   m i n i m i z a t i o n   o f   a   f u n c t i o n   ( ) x V   w i t h   r e s p e c t   t o   p a r a m e t e r   x   c a n   b e   d e f i n e d   a s   i n   [ 1 3 ] :     ( ) [ ] ( ) x V x V x Ñ Ñ - = D - . 1 2                 ( 3 )   ( ) ( ) ( ) x k x k x D + = + 1                   ( 4 )       w h e r e   ( ) ) 2 x V Ñ   i s   t h e   H e s s i a n   m a t r i x   a n d   ( ) x V Ñ   i s   g r a d i e n t   o f   ( ) x V .   A s s u m e d   ( ) x V   a s   a   s u m   o f   s q u a r e s   f u n c t i o n             ( ) ( ) = = N i i x e x V 1 2                   ( 5 )     T h e n   i t   c a n   b e   s h o w n   t h a t   g r a d i e n t   a n d   t h e   H e s s i a n   m a t r i x   c a n   b e   d e f i n e d   a s       ( ) ( ) ( ) x e x J x V T . = Ñ                   ( 6 )     ( ) ( ) ( ) ( ) x S x J x J x V T + = Ñ . 2                 ( 7 )     w h e r e   ( ) x J   i s   t h e   J a c o b i a n   m a t r i x   t h a t   c o n t a i n s   f i r s t   d e r i v a t i v e s   o f   t h e   n e t w o r k   e r r o r s   w i t h   r e s p e c t   t o   t h e   w e i g h t s   a n d   b i a s e s ,   a n d   e   i s   a   v e c t o r   o f   n e t w o r k   e r r o r s .     J a c o b i a n   m a t r i x   i s   d e f i n e d   a s     ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = n N N N n n x x e x x e x x e x x e x x e x x e x x e x x e x x e x J L M O M M L L 2 1 2 2 2 1 2 1 2 1 1 1             ( 8 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   2 ,     A u g u s t   2 0 1 1   :     2 5 7     2 6 6   2 6 0 a n d     ( ) ( ) ( ) x e x e x S i N i i 2 1 . Ñ = =                 ( 9 )     w i t h   t h e   G a u s s - N e w t o n   m e t h o d ,   E q u a t i o n   ( 8 )   b e c o m e s   z e r o ,   t h u s   E q u a t i o n   ( 3 )   b e c o m e s       ( ) ( ) ( ) [ ] ( ) ( ) x e x J x J x J x T T . . . 1 - - = D                                 ( 1 0 )     F i n a l l y ,   t h e   L M   m o d i f i c a t i o n   t o   t h e   G a u s s - N e w t o n   m e t h o d   i s   g i v e n   a s         ( ) ( ) ( ) [ ] ( ) ( ) x e x J I x J x J x T T . . . . 1 - + - = D m                               ( 1 1 )   ( ) ( ) ( ) ( ) [ ] ( ) ( ) x e x J I x J x J k x k x T T . . . . 1 1 - + - = + m                             ( 1 2 )     T h e   p a r a m e t e r   m i s   m u l t i p l i e d   b y   f a c t o r   g   w h e n e v e r   a   s t e p   w o u l d   r e s u l t   i n   a n   i n c r e a s e d ( ) x V .   W h e n   a   s t e p   r e d u c e s ( ) x V ,   m i s   d e v i d e d   b y g .   I f   m i s   t o o   s m a l l ,   i t   b e c o m e s   G a u s s - N e w t o n .       3 .   R e s e a r c h   M e t h o d   D a t a   i n v o l v e   i n   t h i s   r e s e a r c h ,   n e t w o r k   s t r u c t u r e   d e v e l o p m e n t ,   t r a i n i n g   a l g o r i t h m   a n d   t e s t i n g   m e c h a n i s m   a r e   p r e s e n t e d   i n   t h e   f o l l o w i n g s .     3 . 1 .   D a t a   a n d   s t u d y   p e r i o d   1 1   r e g i o n a l   f a c t o r s   i n c l u d i n g   e c o n o m i c ,   s o c i a l ,   e l e c t r i c i t y   s t a t i s t i c s ,   a n d   w e a t h e r   t h o u g h t   t o   i n f l u e n c e   p o w e r   d e m a n d   o f   J a M a L i   a r e   a p p l i e d   a s   i n p u t   t o   t h e   n e t w o r k ,   e n c o m p a s i n g   a n n u a l   h i s t o r i c a l   a n d   p r o j e c t i o n   d a t a   a s s e m b l e d   f r o m   7   p r o v i n c e s   i n   J a v a   a n d   B a l i   t o g e t h e r   w i t h   a n n u a l   h i s t o r i c a l   p e a k   l o a d   o f   J a M a L i   a s   t h e   n e t w o r k   o u t p u t   t a r g e t .   T h e   i n p u t   v a r i a b l e s   f o r   t h e   n e t w o r k s   a r e :   g r o s s   r e g i o n a l   d o m e s t i c   p r o d u c t   ( G R D P )   w i t h   a d j u s t e d   d e f l a t o r ;   p o p u l a t i o n ;   n u m b e r   o f   h o u s e h o l d s ;   t o t a l   e l e c t r i c i t y   e n e r g y   c o n s u m p t i o n ;   t o t a l   i n s t a l l e d   p o w e r   c o n t r a c t e d ;   e l e c t r i c i t y   e n e r g y   c o n s u m p t i o n   i n   r e s i d e n t i a l   s e c t o r ,   c o m m e r c i a l   s e c t o r ,   i n d u s t r i a l   s e c t o r ,   a n d   p u b l i c   s e c t o r ;   e l e c t r i f i c a t i o n   r a t i o ;   a n d   c o o l i n g   d e g r e e   d a y s   ( C D D ) .     D a t a   a r e   s e l e c t e d   b a s e d   o n   p r e l i m i n a r y   i n v e s t i g a t i o n   t h r o u g h   l i t e r a t u r e s   r e v i e w   a n d   o b s e r v a t i o n   o n   d a t a   p a t t e r n   a n d   t r e n d i n g   i n   r e l a t i o n   t o   p e a k   l o a d   c h a n g e s   o f   J a M a L i .   M o e r e o v e r ,   p a r t   o f   t h e   s e l e c t e d   d a t a   a r e   t y p i c a l l y   u s e d   f o r   e c o n o m e t r i c   a p p r o a c h   b y   t h e   u t i l i t y   f o r   J a M a L i   i n t e r c o n n e c t i o n .   P L N   d a t a   w a s   t a k e n   b a s e d   o n   t h e   t r u e   h i s t o r i c a l   d a t a   r e c o r d   f o r   t h e   p e r i o d   1 9 9 5 - 2 0 0 8 ,   a s   t h i s   i s   u s e d   a s   t h e   t r a i n i n g   i n p u t   d a t a   f o r   t h e   p r o p o s e d   n e t w o r k s   s o   t h a t   t h e   n e t w o r k   c a n   b e   a b l e   t o   g e n e r a t e   a p p r o p r i a t e   p a t t e r n ,   w h e r e a s   i n p u t   d a t a   f o r   2 0 0 9 - 2 0 1 1   f o r e c a s t i n g   i s   b a s e d   o n   P L N   p r e d i c t i o n   r e s u l t   a n d   b y   o t h e r   g o v e r n m e n t   i n s t i t u t i o n .   I n   t h i s   r e s e a r c h ,   s i g n i f i c a n c e   c o n t r i b u t i o n   o f   s e l e c t e d   f a c t o r s   i s   c h e c k e d   b e f o r e   t r a i n i n g   t h e   n e t w o r k s .   F i v e   m a j o r   f a c t o r s   g i v e s   s i g n i f i c a n t   i n f l u e n c e   i n   t e r m   o f   i t s   c o n t r i b u t i o n   f a c t o r   i n   s e q u e n c e :   t o t a l   e l e c t r i c i t y   e n e r g y   c o n s u m p t i o n ,   G R D P ,   e l e c t r i c i t y   c o n s u m p t i o n   i n   r e s i d e n t i a l ,   n u m b e r   o f   h o u s e h o l d ,   t o t a l   i n s t a l l e d   p o w e r   c o n t r a c t e d .   M e a n w h i l e ,   o t h e r   f a c t o r s   p r o v i d e   m o r e   o r   l e s s   e q u a l   c o n t r i b u t i o n .       T h e   c o m p l e t e   t i m e   f r a m e   i s   1 7   y e a r s   d a t a   c o n s i s t s   o f   1 4   y e a r s   ( 1 9 9 5 - 2 0 0 8 )   h i s t o r i c a l   d a t a   a n d   3   y e a r s   ( 2 0 0 9 - 2 0 1 1 )   f o r e c a s t i n g   d a t a .   T h e   p e a k   l o a d   i n   w h i c h   h a v e   b e e n   o f f i c i a l l y   p r o j e c t e d   b y   P L N   i s   s h o w n   f o r   c o m p a r i s o n   p u r p o s e .     3 . 2 .   N e t w o r k   s t r u c t u r e s   T h e   n e t w o r k s   f o r   b o t h   E l m a n   a n d   J o r d a n   t y p e   e n c o m p a s s   2   l a y e r s   w i t h   d i s t i n c t   a c t i v a t i o n   f u n c t i o n   i n   e a c h   l a y e r .   N u m b e r   o f   n e u r o n s   i n   t h e   r e c u r r e n t   l a y e r   f o r   b o t h   s t r u c t u r e s   i s   s e t   t o   1 5 .   N u m b e r   o f   n e u r o n   i n   t h e   o u t p u t   l a y e r   i s   s e t   t o   1 .   N u m b e r   o f   h i d d e n   n e u r o n s   i s   d e t e r m i n e d   t o   f o l l o w   t h e   r u l e   p r o p o s e d   b y   J a d i d   a n d   F a i r b a i r n   [ 1 4 ]   a s   g i v e n   b y     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       L e v e n b e r g - M a r q u a r d t   R e c u r r e n t   N e t w o r k s   f o r   L o n g - T e r m   E l e c t r i c i t y   P e a k   .   ( Y u s a k   T a n o t o )   2 6 1   1 0 5 ; - = + + = R N N R N N o u t i n p t r n h d n                                 ( 1 3 )     w h e r e   N h d n   i s   n u m b e r   o f   h i d d e n   n e u r o n s ,   N t r n   i s   n u m b e r   o f   t r a i n i n g   d a t a ,   N i n p   i s   n u m b e r   o f   i n p u t   n e u r o n s ,   a n d   N o u t   i s   n u m b e r o f   o u t p u t   n e u r o n s .   N e t w o r k   s t r u c t u r e   o f   w h i c h   c o n s i s t s   o f   n u m b e r   o f   n e u r a o n s ,   w e i g h t ,   b i a s   p a r a m e t e r ,   a n d   a c t i v a t i o n   f u n c t i o n   i s   p r e s e n t e d   i n   T a b l e   1 .         T a b l e   1 .   R e c u r r e n t   n e u r a l   n e t w o r k   s t r u c t u r e   P a r a m e t e r   E l m a n   R N N   J o r d a n   R N N   F i r s t   l a y e r   R e c u r r e n t   c o n n e c t i o n   O u t p u t   l a y e r   F i r s t   l a y e r   R e c u r r e n t   c o n n e c t i o n   O u t p u t   l a y e r   N u m b e r   o f   w e i g h t   1 6 5   2 2 5   1 5   1 6 5   1 5   1 5   N u m b e r   o f   n e u r o n     1 5   1   1 5   1 5   1   N u m b e r   o f   v e c t o r   i n p u t   1 1   -   -   1 1   -   -   N u m b e r   o f   u n i t   d e l a y   -   1 5   -   -   1   -   N u m b e r   o f   b i a s   1 5   1 5   1   1 5   1 5   1   W e i g h t   i n i t i a l i z a t i o n   N g u y e n - W i d r o w   N g u y e n - W i d r o w   B i a s   s t a t u s   A c t i v a t e d   A c t i v a t e d   A c t i v a t i o n   f u n c t i o n   l o g s i g   p u r e l i n   l o g s i g   p u r e l i n       A c t i v a t i o n   f u n c t i o n   l o g s i g   i s   a p p l i e d   t o   p r o d u c e   o u t p u t   o f   t h e   f i r s t   l a y e r   s i n c e   i t   i s   n e c c e s a r y   t o   u s e   l o g s i g   a s   t h e   o u t p u t   o f   t h e   n e t w o r k   s h o u l d   b e   p o s i t i v e   v a l u e .   H o w e v e r ,   i n p u t s   f o r   t h e   c o r r e s p o n d i n g   l a y e r   u s i n g   t h e   l o g s i g   r e c e i v e d   i s   w i t h i n   t h e   r a n g e   o f   - 1   t o   1   a f t e r   p r e p r o c e s s i n g   s c h e m e .   F o r   o u t p u t   l a y e r ,   p u r e l i n   i s   a p p l i e d .   M a t h e m a t i c a l   r e l a t i o n s h i p   a m o n g   e a c h   l a y e r s   c o n t e n t   c o n s i d e r i n g   t r a n s f e r   f u n c t i o n   i n   t h e   p r o p o s e d   E l m a n   a n d   J o r d a n   n e t w o r k   s t r u c t u r e   i s   i l l u s t r a t e d   i n   F i g u r e   2 .   N o t e   t h a t   t h e   f e e d b a c k   c o n n e c t i o n   w h i c h   i s   r e p r e s e n t e d   b y   d a s h e d   l i n e   i s   f o r   J o r d a n   n e t w o r k .               F i g u r e   2 .   E l m a n   a n d   J o r d a n   R N N   s t r u c t u r e   a p p l i e d   f o r   t r a i n i n g   a n d   t e s t i n g       A l l   c a l c u l a t e d   v a l u e s   o b t a i n e d   f r o m   e q u a t i o n   1 ,   2 ,   a n d   1 3   s u c h   a s   i n i t i a l   w e i g h t ,   l a y e r s   w e i g h t ,   a n d   b i a s   s t a t u s   i s   i n s e r t e d   t o   t h e   s t r u c t u r e   d e p i c t e d   i n   F i g u r e   2 .   F o r   i n s t a n c e ,   t h e   f i r s t   l a y e r   o f   E l m a n   n e t w o r k   w i l l   h a v e   t h e   r e l a t i o n s h i p   a s :   a 1 ( k )   =   l o g s i g ( I W 1 ,1 . p   +   L W 1 , 1 . a 1 ( k - 1 ) + b 1 ) ,   w h e r e a s   t h e   o u t p u t   l a y e r   w i l l   h a v e   a 2 ( k )   =   p u r e l i n ( L W 2 ,1 . a 1 ( k ) + b 2 ) .   T h i s   r e l a t i o n s h i p   i s   t h e n   a p p l i e d   u n t i l   o u t p u t   i s   f o u n d .   W h e n e v e r   e r r o r   t a r g e t   i s   n o t   y e t   r e a c h e d ,   c o m p u t a t i o n   w i l l   r e m a i n   c o n t i n u e d   i n v o l v i n g   L M   a l g o r i t h m   p r o v i d e d   i n   e q u a t i o n   3 - 1 2 .   T h e   n e t w o r k   s t r u c t u r e   i s   m a i n l y   c o n s i s t s   o f   f o u r   l a y e r s :   i n p u t   l a y e r ,   h i d d e n   l a y e r ,   c o n t e x t   l a y e r ,   a n d   o u t p u t   l a y e r .   H o w e v e r ,   t h e   o v e r a l l   f r a m e w o r k   o f   R N N   e n c o m p a s s   t w o - l a y e r   n e t w o r k   Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   2 ,     A u g u s t   2 0 1 1   :     2 5 7     2 6 6   2 6 2 s t r u c t u r e .   T h e   c o n t e x t   l a y e r   i s   a c c o m o d a t e d   w i t h   i t s   d e l a y   c o n n e c t i o n   f o r   r e s p e c t i v e   l a y e r .   I n   t h e   c a s e   o f   E l m a n   n e t w o r k ,   i t   i s   i d e n t i f i e d   a s   t h e   f i r s t   a n d   t h e   s e c o n d   l a y e r ,   w i t h   t h e   f e e d b a c k   c o n n e c t i o n   f r o m   t h e   f i r s t   l a y e r   o u t p u t   t o   t h e   f i r s t   l a y e r   i n p u t .   T h u s ,   t h i s   f r a m e w o r k   i s   u s e d   i n   t h i s   s t u d y .       3 . 3 .   T r a i n i n g   a l g o r i t h m   a n d   t e s t i n g   m e c h a n i s m   A t   e a c h   s t e p ,   i n p u t   v e c t o r s   a r e   p r e s e n t e d   t o   t h e   n e t w o r k   a n d   e r r o r   i s   g e n e r a t e d .   T h e   e r r o r   i s   t h e n   b a c k p r o p a g a t e d   t o   f i n d   g r a d i e n t s   o f   e r r o r s   f o r   e a c h   w e i g h t   a n d   b i a s .   T h i s   a p p r o x i m a t e   g r a d i e n t   i s   t h e n   u s e d   t o   u p d a t e   t h e   w e i g h t s   w i t h   t h e   c h o s e n   l e a r n i n g   f u n c t i o n .   I n   t h e   p r e s e n c e   o f   L M   l e a r n i n g   a l g o r i t h m ,   a   c o m p l e t e   t r a i n i n g   a l g o r i t h m   f o r   b o t h   p r o p o s e d   E l m a n   a n d   J o r d a n   n e t w o r k s   i s   p r o c e e d s   a s   f o l l o w s :   a .   A p p l y   p r e p r o c e s s i n g   s c h e m e   t o   s c a l e d o w n   t h e   i n p u t   a n d   t a r g e t   v e c t o r   s o   t h a t   t h e y   a l w a y s   f a l l   w i t h i n   a   s p e c i f i e d   r a n g e   o f   - 1   t o   1 .     b .   C r e a t e   a n   R N N   s t r u c t u r e ,   d e f i n e   n e t w o r k   t r a i n i n g   p a r a m e t e r   s u c h   a s   e r r o r   t a r g e t   a n d   n u m b e r   o f   e p o c h s .   c .   P r e s e n t   a l l   t r e a t e d   i n p u t s   a n d   c o r r e s p o n d i n g   t a r g e t   o u t p u t   f r o m   s t e p   1   t o   t h e   n e t w o r k .   d .   G e n e r a t e   i n i t i a l   w e i g h t s   a n d   b i a s e s   u s i n g   N g u y e n - W i d r o w   m e t h o d .     e .   C o m p u t e   o u t p u t   o f   e a c h   n e t w o r k ,   i n v o l v e   f e e d b a c k   f o r m   t h e   1 s t   l a y e r   i n   t h e   c a s e   o f   E l m a n   n e t w o r k   o r   f e e d b a c k   f r o m   o u t p u t   l a y e r   i n   t h e   c a s e   o f   J o r d a n   n e t w o r k .   f .   O b t a i n   n e t w o r k   o u t p u t s   a n d   e r r o r s   ( ) x V   w i t h   r e s p e c t   t o   a l l   i n p u t s .   g .   O b t a i n   t h e   J a c o b i a n   m a t r i x ( ) x J .   h .   S o l v e   E q u a t i o n   ( 1 1 )   t o   o b t a i n ( ) x D .   i .   R e c o m p u t e   ( ) x V   u s i n g x x D + .   I f   t h e   n e w   ( ) x V   i s   l e s s   t h a n   t h a t   c o m p u t e d   i n   s t e p   6 ,   t h e n   r e d u c e   m   b y   s o m e   f a c t o r g ,   c a l c u l a t e   x x D +   t h e n   g o   t o   s t e p   6 .   I f   ( ) x V   i s   n o t   r e d u c e d ,   i n c r e a s e   m   b y g ,   g o   t o   s t e p   8 .   j .   T h e   a l g o r i t h m   i s   c o m p l e t e d   w h e n   ( ) x V Ñ   h a s   r e d u c e d   t o   b e   e q u a l   o r   l o w e r   t h a n   t h e   p r e d e t e r m i n e d   e r r o r   v a l u e .     I n   t h i s   p a p e r ,   t w o   ( 2 )   e x p e r i m e n t s   t h r o u g h   s i m u l a t i o n s   a r e   p r e s e n t e d   t o   o b t a i n   t h e   p r o p o s e d   n e t w o r k   r e s p o n s e   i n   t e r m s   o f   t h e   r e s u l t i n g   o u t p u t   c h a n g e s   w i t h   r e s p e c t   t o   d i f f e r e n t   s e t   o f   i n p u t   a n d   t a r g e t   t r a i n i n g   o u t p u t .   T h e   o b j e c t i v e s   o f   e a c h   e x p e r i m e n t   a r e   a s   f o l l o w s :   a .   T h e   f i r s t   e x p e r i m e n t   i s   c a l l e d   b a s e   c a s e   s i m u l a t i o n .   T h e   o b j e c t i v e s   a r e   t o   j u s t i f y   t h e   n e t w o r k s   s t r u c t u r e   b y   o b t a i n i n g   f o r e c a s t e d   p e a k   l o a d   o f   2 0 0 6 - 2 0 0 8   a n d   t o   c o m p a r e   t h e   r e s u l t   w i t h   c o r r e s p o n d i n g   a c t u a l   p e a k   l o a d .   b .   T h e   s e c o n d   e x p e r i m e n t   i s   c a r r i e d   o u t   t o   t e s t   t h e   n e t w o r k   r e s p o n s e   i n   t e r m s   o f   p r o d u c i n g   f o r e c a s t i n g   p e a k   l o a d   o f   2 0 0 9 - 2 0 1 1 .     O v e r a l l ,   t h e   l e n g t h   o f   d a t a   p r e s e n t e d   t o   t h e   n e t w o r k   i s   e x t e n d e d   t o   a c h i e v e   m o r e   a c c u r a t e   r e s u l t   b y   s t r e n g t h e n i n g   n e t w o r k   o u t p u t   p a t t e r n .     N e t w o r k   p e r f o r m a n c e   i s   d e f i n e d   t h r o u g h   a   p r e d e t e r m i n e d   m e a n   s q u a r e   e r r o r   ( M S E ) .   T h e   e r r o r   i s   c a l c u l a t e d   a s   t h e   d i f f e r e n c e   b e t w e e n   t h e   t a r g e t   o u t p u t   a n d   t h e   n e t w o r k   o u t p u t   a s   g i v e n   b y     = = N i i e N M S E 1 2 1                 ( 1 4 )     N u m e r i c a l   f o r e c a s t i n g   r e s u l t   i s   m e a s u r e d   i n   t e r m s   o f   m e a n   a b s o l u t e   p e r c e n t a g e   e r r o r   ( M A P E )   a s   c o m p a r e d   w i t h   t h e   a c t u a l   p e a k   l o a d   i n   t h e   r e s p e c t i v e   y e a r .   M A P E   i s   g i v e n   b y       = - = N i i i i N y y y M A P E 1 % 1 0 0 .             ( 1 5 )             Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       L e v e n b e r g - M a r q u a r d t   R e c u r r e n t   N e t w o r k s   f o r   L o n g - T e r m   E l e c t r i c i t y   P e a k   .   ( Y u s a k   T a n o t o )   2 6 3   w h e r e   i y   i s   a c t u a l   p e a k   l o a d   f o r   y e a r   i ,   a n d   i y i s   f o r e c a s t i n g   p e a k   l o a d   f o r   y e a r   i ,   e   i s   t h e   n e t w o r k s   v e c t o r   e r r o r ,   a n d   N i s   n u m b e r   o f   i n p u t   t o   t h e   n e t w o r k .         4 .   R e s u l t   a n d   D i s c u s s i o n   I n   t h e   f i r s t   e x p e r i m e n t ,   n e t w o r k s   a r e   t r a i n e d   u s i n g   a c t u a l   h i s t o r i c a l   d a t a   o f   1 9 9 5 - 2 0 0 5   a n d   a c t u a l   h i s t o r i c a l   p e a k   l o a d   o f   1 9 9 5 - 2 0 0 5   a s   t h e   n e t w o r k s   i n p u t   a n d   t h e   t r a i n i n g   o u t p u t   t a r g e t ,   r e s p e c t i v e l y .   A f t e r w a r d s ,   n e t w o r k s   a r e   t e s t e d   t o   o b t a i n   f o r e c a s t i n g   p e a k   l o a d   f o r   2 0 0 6 - 2 0 0 8   u s i n g   p r o j e c t i o n   d a t a   o f   2 0 0 6 - 2 0 0 8   a s   t h e   i n p u t .   I n   t h e   c a s e   o f   E l m a n   n e t w o r k ,   t h e   M S E   t a r g e t   o f   1 0 - 5   i s   r e a c h e d   b e f o r e   t h e   9 0 0 t h   e p o c h s ,   s i m i l a r l y   f o r   t h e   c a s e   o f   J o r d a n   n e t w o r k .   T r a i n i n g   a n d   f o r e c a s t i n g   r e s u l t s   f o r   t h e   f i r s t   e x p e r i m e n t   i s   s h o w n   g r a p h i c a l l y   i n   F i g u r e   3 .   T h e   a c t u a l   h i s t o r i c a l   p e a k   l o a d   u p   t o   2 0 0 8   i s   d e p i c t e d   u s i n g   s t r a i g h t   l i n e   w i t h   c i r c l e   w h e r e a s   n e t w o r k   t r a i n i n g   d u r i n g   1 9 9 5 - 2 0 0 5   a n d   f o r e c a s t i n g   r e s u l t   d u r i n g   2 0 0 6 - 2 0 0 8   i s   d e p i c t e d   b y   d o t t e d   l i n e   w i t h   a s t e r i s k .           ( a )                                                                                                                                           ( b )     F i g u r e   3 .   E l m a n   ( a )   a n d   J o r d a n   ( b )   n e t w o r k s   t r a i n i n g   a n d   f o r e c a s t i n g   r e s u l t ,   f i r s t   e x p e r i m e n t         T h e   s e c o n d   e x p e r i m e n t   i s   c o n d u c t e d   t o   t r a i n   t h e   n e t w o r k   u s i n g   a c t u a l   h i s t o r i c a l   d a t a   a n d   p e a k   l o a d   o f   1 9 9 5 - 2 0 0 8   a s   i n p u t   a n d   o u t p u t   t a r g e t ,   r e s p e c t i v e l y .   T h e n   a f t e r ,   s i m u l a t i o n   i s   r u n   t o   f i n d   f o r e c a s t i n g   p e a k   l o a d   f o r   2 0 0 9 - 2 0 1 1   u s i n g   p r o j e c t e d   d a t a   s e t   o f   2 0 0 9 - 2 0 1 1   a s   t h e   n e t w o r k s   i n p u t .   T h e   M S E   t a r g e t   o f   1 0 - 5   i s   r e a c h e d   o n   t h e   1 0 3 1 t h   e p o c h s   f o r   E l m a n   n e t w o r k ,   a n d   f o r   t h e   c a s e   o f   J o r d a n   n e t w o r k   i s   o n   t h e   1 0 8 2 t h   e p o c h s .   T h e   a c t u a l   h i s t o r i c a l   p e a k   l o a d   u p   t o   2 0 0 8   a n d   f o r e c a s t i n g   p e a k   l o a d   b y   P L N   i s   d e p i c t e d   u s i n g   d o t t e d   l i n e   w i t h   a s t e r i s k   w h e r e a s   n e t w o r k   t r a i n i n g   d u r i n g   1 9 9 5 - 2 0 0 8   a n d   f o r e c a s t i n g   r e s u l t   i s   d e p i c t e d   b y   s t r a i g h t   l i n e   w i t h   c i r c l e .     F i g u r e   3   a n d   F i g u r e   4   g i v e   g r a p h i c a l   l o o k s   o n   h o w   f o r e c a s t i n g   r e s u l t   i s   a c h i e v e d   t h r o u g h   t h e   f i r s t   a n d   s e c o n d   e x p e r i m e n t   b y   t h e   p r o p o s e d   n e t w o r k s .   I t   a l s o   s h o w s   c o m p a r i s o n   t o   t h a t   a v a i l a b l e   f r o m   P L N .   I n   t h i s   r e g a r d s ,   p e a k   l o a d   f o r e c a s t i n g   b y   P L N   i s   a v a i l a b l e   f r o m   t h e   r e f e r e n c e s   [ 1 5 .   1 6 ] ,   i n   w h i c h   o b t a i n e d   u s i n g   e c o n o m e t r i c   a p p r o a c h .   T a b l e   2   p r e s e n t s   a c t u a l   h i s t o r i c a l   p e a k   l o a d   o f   2 0 0 6 - 2 0 0 9   ( A P L ) ,   p e a k   l o a d   f o r e c a s t i n g   o f   a l l   e x p e r i m e n t s   b y   E l m a n   a n d   J o r d a n   n e t w o r k s   ( L M - R e c u r r e n t   N e t w o r k ) ,   p e a k   l o a d   f o r e c a s t i n g   b y   t h e   D o u b l e - l o g   m u l t i p l e   r e g r e s s i o n   ( D L M R ) ,   p e a k   l o a d   f o r e c a s t i n g   b y   L M - f e e d f o r w a r d   n e t w o r k   ( L M F N ) ,   a n d   p e a k   l o a d   f o r e c a s t i n g   p r o v i d e d   b y   P L N .   T h e   f o r e c a s t i n g   e r r o r   i n   t e r m s   o f   M A P E ,   w r i t t e n   i n   t h e   p a r e n t h e s e s ,   i s   s h o w n   r i g h t   b e l o w   e a c h   y e a r s   f o r e c a s t i n g   r e s u l t   o b t a i n e d   f o r   a l l   m e t h o d s .           Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   2 ,     A u g u s t   2 0 1 1   :     2 5 7     2 6 6   2 6 4   ( a )                                                                                                                                                               ( b )     F i g u r e   4 .   E l m a n   ( a )   a n d   J o r d a n   ( b )   n e t w o r k s   t r a i n i n g   a n d   f o r e c a s t i n g   r e s u l t ,   s e c o n d   e x p e r i m e n t         T a b l e   2 .   C o m p a r i s o n   o f   f o r e c a s t i n g   r e s u l t s   i n   M W   a n d   M A P E   Y e a r   A P L   L M - R e c u r r e n t   N e t w o r k   L M F N   D L M R   P L N   E 1   J 1   E 2   J 2   E 3   J 3   ( P e r c e n t a g e   o f   M A P E   c o m p a r e d   t o   a c t u a l   p e a k   l o a d )   2 0 0 6   1 5 , 4 0 2     1 5 , 4 1 9   ( 0 . 1 1 )   1 5 , 4 1 9   ( 0 . 1 1 )           1 5 , 4 3 4   ( 0 . 2 1 )   1 5 , 4 5 1   ( 0 . 3 2 )   1 5 , 4 0 0   ( 0 . 0 1 )   2 0 0 7     1 6 , 2 5 9     1 6 , 2 8 2   ( 0 . 1 4 )   1 6 , 2 8 5   ( 0 . 1 6 )           1 6 , 2 9 7   ( 0 . 2 3 )   1 6 , 2 3 4   ( 0 . 1 5 )   1 6 , 4 7 8   ( 1 . 3 5 )   2 0 0 8     1 6 , 3 0 9     1 6 , 3 5 7   ( 0 . 2 9 )   1 6 , 3 4 5   ( 0 . 2 2 )           1 6 , 3 4 7   ( 0 . 2 3 )   1 6 , 4 2 3   ( 0 . 7 0 )   1 7 , 6 3 1   ( 8 . 1 1 )   2 0 0 9   1 7 , 2 1 1         1 7 , 2 2 9   ( 0 . 1 0 )   1 7 , 2 3 2   ( 0 . 1 2 )       1 7 , 2 6 9   ( 0 . 3 4 )   1 8 , 7 8 8   ( 9 . 1 6 )   1 8 , 8 5 4   ( 9 . 5 5 )   2 0 1 0     1 7 , 8 9 0       1 8 , 4 6 7   ( 3 . 2 2 )   1 8 , 4 5 3   ( 3 . 1 5 )       1 9 , 5 0 8   ( 9 . 0 4 )   2 0 , 8 7 0   ( 1 6 . 6 6 )   2 0 , 9 0 0   ( 1 6 . 8 2 )   2 0 1 1     n / a       2 1 , 4 8 3   ( - - )   2 1 , 4 2 0   ( - - )       2 1 , 5 2 7   ( - - )   2 3 , 2 1 2   ( - - )   2 3 , 0 1 2   ( - - )       A s   s h o w n   i n   T a b l e   2 ,   p e a k   l o a d   f o r e c a s t i n g   r e s u l t   e i t h e r   b y   L M F N   a n d   D L M R   i s   o b t a i n e d   f r o m   [ 1 ] ,   w h e r e a s   f o r e c a s t i n g   p r o v i d e d   b y   P L N   i s   t a k e n   f r o m   [ 1 5 ,   1 6 ]   o f   w h i c h   b a s e d   o n   e c o n o m e t r i c   a p p r o a c h .       F r o m   t h e   f i r s t   e x p e r i m e n t   s y m b o l i z e d   b y   E 1   a n d   J 1 ,   b o t h   E l m a n   a n d   J o r d a n   n e t w o r k   a r e   w e l l   t r a i n e d   u s i n g   1 9 9 5 - 2 0 0 5   i n p u t   d a t a   a n d   c o n s i d e r e d   p e r f o r m   s a t i s f a c t o r y   f o r e c a s t i n g   o u t p u t s   f o r   2 0 0 6 - 2 0 0 8   s i n c e   t h e   a v e r a g e   e r r o r   i n   t e r m s   o f   M A P E   i s   0 . 1 8 %   a n d   0 . 1 6 % ,   r e s p e c t i v e l y .   M e a n w h i l e ,   L M F N   n e t w o r k   e r r o r   i s   s l i g h t l y   h i g h e r   w i t h   0 . 2 2 % ,   a n d   f o l l o w e d   b y   D L M R   f o r   0 . 3 9 % .   I n   a d d i t i o n ,   t h e   y e a r l y   e r r o r   o b t a i n e d   b y   t h e   c u r r e n t   p r o p o s e d   n e t w o r k s   a r e   l e s s   t h a n   1 %   c o m p a r e d   t o   t h a t   s h o w n   b y   P L N   p r o j e c t i o n ,   o f   w h i c h   a c c o u n t e d   f o r   3 . 1 6 % .   F r o m   t h e   s e c o n d   e x p e r i m e n t   s y m b o l i z e d   b y   E 2   a n d   J 2 ,   b o t h   E l m a n   a n d   J o r d a n   n e t w o r k   a r e   t r a i n e d   u s i n g   e x p a n d e d   p e r i o d   u p   t o   2 0 0 8   t o   s t r e n g t h e n   t h e   n e t w o r k   p a t t e r n   i n   o r d e r   t o   g e n e r a t e   f o r e c a s t i n g   p e a k   l o a d   f o r   2 0 0 9 - 2 0 1 1 .   A s   c a n   b e   o b s e r v e d ,   f o r e c a s t i n g   p e a k   l o a d   f o r   2 0 0 9   a r e   1 7 , 2 2 9   M W ,   1 7 , 2 3 2   M W ,   1 7 , 2 6 9   M W ,   1 8 , 7 8 8   M W ,   a n d   1 8 , 8 5 4   M W ,   e x h i b i t e d   b y   t h e   p r o p o s e d   R N N - L M ,   L M F N ,   D L M R ,   a n d   P L N ,   r e s p e c t i v e l y .   T h e   l e a s t   f o r e c a s t i n g   e r r o r   i s   o b t a i n e d   b y   t h e   p r o p o s e d   r e c u r r e n t   n e t w o r k   f o r   0 . 1 0 % - 0 . 1 2 % .   O n   t h e   o t h e r   h a n d ,   t h e   w o r s t   f o r e c a s t i n g   e r r o r   i s   e x h i b i t e d   b y   P L N   f o r   9 . 5 5 % .   I n   a d d i t i o n ,   d i f f e r e n c e s   o n   f o r e c a s t i n g   b e t w e e n   t h e   p r o p o s e d   n e t w o r k s   u n d e r   t h e   s e c o n d   e x p e r i m e n t   w i t h   t h a t   a v a i l a b l e   f r o m   P L N   a r e   l e s s   t h a n   7 % ,   w h i c h   i s   s a i d   t o   b e   a c c e p t a b l e   f o r   P L N s   L T P F .   S i n c e   t h e r e   i s   n o   s a f e t y   f a c t o r   f o u n d   a n y w h e r e   i n   t h e   p u b l i s h e d   d o c u m e n t   o f   P L N s   e l e c t r i c i t y   e x p a n s i o n   p l a n n i n g ,   T h e   M A P E   d i f f e r e n c e   b e t w e e n   R N N - L M   a n d   P L N ,   w h i c h   i s   c o n s i d e r e d   l a r g e ,   c a n   b e   o c c u r r e d   m a i n l y   d u e   t o   s o m e   d i f f e r e n c e s   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L K O M N I K A     I S S N :   1 6 9 3 - 6 9 3 0       L e v e n b e r g - M a r q u a r d t   R e c u r r e n t   N e t w o r k s   f o r   L o n g - T e r m   E l e c t r i c i t y   P e a k   .   ( Y u s a k   T a n o t o )   2 6 5   s e l e c t i n g   f a c t o r   t h o u g h t   t o   a f f e c t   p e a k   l o a d   f o r e c a s t i n g .   I n   t h i s   r e g a r d s ,   e l a s t i c i t y   a n d   p o s s i b i l i t y   o f   c a p t i v e   p o w e r   d i v e r s i o n   t o   t h e   g r i d   a r e   t a k e n   i n t o   c o n s i d e r a t i o n   i n   f o r e c a s t i n g   m a d e   b y   P L N   [ 1 6 ] .     I t   s h o u l d   b e   n o t e d   t h a t   t h e   m a i n   o b j e c t i v e   i n   t h i s   r e s e a r c h   i s   t o   c o m p a r e   t h e   c a p a b i l i t y   o f   s e l e c t e d   m e t h o d s   w i t h   r e s p e c t   t o   t h e i r   f o r e c a s t i n g   a c c u r a c y   o v e r   t h e   g i v e n   p e r i o d .   I t   s h o u l d   b e   n o t e d   t h a t   t h e r e   i s   d i f f e r e n c e   i n   f o r e c a s t i n g   m e t h o d o l o g y   b e t w e e n   A N N   a n d   e c o n o m e t r i c   a p p r o a c h ,   o f   w h i c h   p r e v i o u s l y   d o n e   u s i n g   D L M R   a n d   m e t h o d   b y   P L N .   I n   c a s e   o f   a p p l y i n g   A N N ,   t h e   i m m e d i a t e   c o n c e r n   i s   t o   a c h i e v e   r e a s o n a b l y   a c c u r a t e   n e t w o r k   t r a i n i n g   o u t p u t ,   w h i c h   i s   o b t a i n e d   t h r o u g h   h a v i n g   t h e   p e a k   l o a d   p a t t e r n   o v e r   t h e   p a s s   p e r i o d   w h e n   t h e   n e t w o r k   i s   t r a i n e d   u n d e r   t h e   s p e c i f i e d   l i m i t e d   e p o c h .   I n   t h i s   r e s e a r c h ,   M S E   i s   s e t   t o   1 . 1 0 - 5   f o r   w h i c h   t h e   n e t w o r k   i s   e x p e c t e d   t o   b e   a b l e   t o   p r o v i d e   g o o d   p a t t e r n   f o r   t h e   f o r e c a s t i n g   p u r p o s e   a s   i t   i s   s u c c e e d   f o r   t h i s   s t u d y .   I n   o t h e r   w o r d s ,   w e   c a n   d e t e r m i n e   h o w   m u c h   e r r o r   w e   w a n t   t h e r e   i n   t h e   n e t w o r k   t o   a l l o w   i t   g e n e r a t e s   a   r e a s o n a b l y   g o o d   p a t t e r n .   O n   t h e   o t h e r   h a n d ,   b y   h a v i n g   t h e   r e g r e s s i o n   r e s u l t ,   e r r o r   p r o d u c e d   b y   t h e   m o d e l   o v e r   t h e   s e v e r a l   v a r i a b l e s   c o n t r i b u t e s   i n   i t   c a n   b e   c a l c u l a t e d   a f t e r w a r d s .   T h a t   i s   w h y   t h e   A N N   f i t t e d   e r r o r   f o r   1 9 9 5 - 2 0 0 8   i n   t e r m   o f   M A P E   o r   M S E   f a r   l e s s   t h a n   t h a t   g e n e r a t e d   b y   t h e   r e g r e s s i o n   m o d e l .   M A P E   o r   M S E   o f   A N N   c a n   b e   p r a c t i c a l l y   c o n s i d e r e d   a s   z e r o   d u r i n g   1 9 9 5 - 2 0 0 5   f o r   t h e   f i r s t   e x p e r i m e n t   a n d   d u r i n g   1 9 9 5 - 2 0 0 8   f o r   t h e   s e c o n d   e x p e r i m e n t .             5 .   C o n c l u s i o n   E x p e r i m e n t s   c a r r i e d   o u t   u s i n g   t h e   p r o p o s e d   E l m a n   a n d   J o r d a n   n e t w o r k s   h a s   b e e n   c o n d u c t e d   i n   t h i s   r e s e a r c h   t o   d e a l   w i t h   t h e   l o n g - t e r m   p e a k   l o a d   f o r e c a s t i n g   p r o b l e m   f o r   J a M a L i   t a k e n   i n t o   a c c o u n t   s e v e r a l   f a c t o r s   t h o u g h t   t o   i n f l u e n c e   t h e   r e g i o n s   p e a k   l o a d   p a t t e r n .   T h e   a b i l i t y   o f   t h e   n e t w o r k s   t o   g e n e r a t e   f a i r l y   g o o d   r e s u l t s   a r e   q u i t e   s a t i s f a c t o r y   i n   t e r m s   o f   l o w   M A P E   a l t h o u g h   w i t h i n   l i m i t e d   f o r e c a s t i n g   p e r i o d s ,   f o r   w h i c h   t h e   n e t w o r k   p a t t e r n   a r e   s t r e n g t h e n e d   p r o v i d e d   a   l i m i t e d   t r a i n i n g   p e r i o d .   N e x t   r e s e a r c h   m a y   d e a l   w i t h   t h e   a p p l i c a t i o n   o f   o p t i m i z a t i o n   t e c h n i q u e s   t o   f u r t h e r   s t r e n g t h e n   n e t w o r k s   p a t t e r n   a n d   i m p r o v e   r e s u l t s   p r o v i d e d   l i m i t e d   p e r i o d   o f   d a t a .             R e f e r e n c e s   [ 1 ]     T a n o t o   Y ,   O n g s a k u l   W ,   M a r p a u n g   C O P.   L o n g - t e r m   Pe a k   L o a d   F o r e c a s t i n g   U s i n g   L M - F e e d f o r w a r d   N e u r a l   N e t w o r k   f o r   J a v a - M a d u r a - Ba l i   I n t e r c o n n e c t i o n ,   I n d o n e s i a .   PEA - AI T   I n t e r n a t i o n a l   C o n f e r e n c e   o n   En e r g y   a n d   S u s t a i n a b l e   D e v e l o p m e n t :   I s s u e s   a n d   St r a t e g i e s .   B a n g k o k .   2 0 1 0 :   1 - 6 .   [ 2 ]     Ku n c o r o   AH ,   Z u h a l ,   a n d   D a l i m i   R .   L o n g t e r m   Pe a k   L o a d   F o r e c a s t i n g   o n   t h e   J a v a - M a d u r a -   Ba l i   El e c t r i c i t y   Sy s t e m   U s i n g   Ar t i f i c i a l   N e u r a l   N e t w o r k   M e t h o d .   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Ad v a n c e s   i n   N u c l e a r   Sc i e n c e   a n d   En g i n e e r i n g   i n   C o n j u n c t i o n   w i t h   L KST N .   Ba n d u n g .   2 0 0 7 :   1 7 7 - 1 8 1 .   [ 3 ]   Ke r m a n s h a h i   B.   R e c u r r e n t   N e u r a l   N e t w o r k   f o r   F o r e c a s t i n g   N e x t   1 0   Y e a r s   L o a d s   o f   N i n e   J a p a n e s e   U t i l i t i e s .   N e u r o c o m p u t i n g .   1 9 9 8 ;   2 3 :   1 2 5 - 1 3 3 .   [ 4 ]   K e r m a n s h a h i   B ,   I w a m i y a   H .   U p   t o   Y e a r   2 0 2 0   L o a d   F o r e c a s t i n g   U s i n g   N e u r a l   N e t s .   E l e c t r i c a l   P o w e r   a n d   E n e r g y   S y s t e m .   2 0 0 2 ;   2 4 :   7 8 9 - 7 9 7 .   [ 5 ]   E l - E l a   A A .   El - Z e f t a w y   AA,   Al l a m   SM ,   At t a   G M .   L o n g - t e r m   L o a d   F o r e c a s t i n g   a n d   E c o n o m i c a l   O p e r a t i o n   o f   W i n d   F a r m s   f o r   E g y p t i a n   E l e c t r i c a l   N e t w o r k .   E l e c t r i c   P o w e r   S y s t e m s   R e s e a r c h .   2 0 0 9 ;   7 9 :   1 0 3 2 - 1 0 3 7 .   [ 6 ]   P a r l o s   A G ,   P a t t o n   A D .   L o n g - t e r m   E l e c t r i c   L o a d   F o r e c a s t i n g   U s i n g   D y n a m i c   N e u r a l   N e t w o r k   A r c h i t e c t u r e .   J o i n t   I n t e r n a t i o n a l   P o w e r   C o n f e r e n c e   At h e n s   Po w e r   T e c h .   A t h e n a .   1 9 9 3 ;   V o l u m e   2 :   8 1 6 - 8 2 0 .   [ 7 ]   L i n a   R ,   Y a n x i n   L ,   Z h i y u a n   R ,   H a i y a n   L ,   R u i c h e n g   F .   A p p l i c a t i o n   o f   E l m a n   N e u r a l   N e t w o r k   a n d   M AT L AB  t o   L o a d   F o r e c a s t i n g .   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   T e c h n o l o g y   a n d   C o m p u t e r   Sc i e n c e .   W a s h i n g t o n   D C .   2 0 0 9 ;   Vo l u m e   1 :   5 5 - 5 9 .   [ 8 ]   H a g a n   M T ,   M e n h a j   M B.   T r a i n i n g   F e e d f o r w a r d   N e t w o r k s   w i t h   t h e   M a r q u a r d t   Al g o r i t h m .   I EEE   T r a n s a c t i o n s   o n   N e u r a l   N e t w o r k s .   1 9 9 4 ;   5 ( 6 ) :   9 8 9 - 9 9 3 .   [ 9 ]   G h o d s   L ,   Ka l a n t a r   M .   M e t h o d s   f o r   L o n g - t e r m   El e c t r i c   L o a d   D e m a n d   F o r e c a s t i n g :   C o m p r e h e n s i v e   I n v e s t i g a t i o n .   I EEE  I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n d u s t r i a l   T e c h n o l o g y .   C h e n g d u .   2 0 0 8 :   1 - 4 .   [ 1 0 ]   D a n e s h i ,   H .   e t   a l .   L o n g - t e r m   l o a d   f o r e c a s t i n g   i n   e l e c t r i c i t y   m a r k e t .   I EEE  I n t e r n a t i o n a l   C o n f e r e n c e   o n   El e c t r o / I n f o r m a t i o n   T e c h n o l o g y .   Am e s .   2 0 0 8   Pa g e ( s ) : 3 9 5     4 0 0 .   [ 1 1 ]   T a n o t o   Y .   L o n g - t e r m   Pe a k   L o a d   F o r e c a s t i n g   U s i n g   Ar t i f i c i a l   N e u r a l   N e t w o r k s :   T h e   C a s e   o f   J a v a - M a d u r a - Ba l i   I n t e r c o n n e c t i o n ,   I n d o n e s i a .   M a s t e r   T h e s i s .   Ba n g k o k ,   As i a n   I n s t i t u t e   o f   T e c h n o l o g y ;   2 0 1 0 .   [ 1 2 ]   N g u y e n   D ,   W i d r o w   B.   I m p r o v i n g   T h e   L e a r n i n g   S p e e d   o f   2 - L a y e r   N e u r a l   N e t w o r k s   b y   C h o o s i n g   I n i t i a l   Va l u e s   o f   T h e   Ad a p t i v e   W e i g h t s .   T h e   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   N e u r a l   N e t w o r k s .   Sa n   D i e g o . 1 9 9 0 ;   Vo l u m e   3 :   2 1 - 2 6 .   [ 1 3 ]   F e r d i n a n d o   H ,   Pa s i l a   F ,   Ku s w a n t o   H .   En h a n c e d   N e u r o   F u z z y   Ar c h i t e c t u r e   f o r   El e c t r i c a l   L o a d   F o r e c a s t i n g .   T EL KO M N I KA:   I n d o n e s i a n   J o u r n a l   o f   E l e c t r i c a l   En g i n e e r i n g .   2 0 1 0 ;   8 ( 2 ) :   8 7 - 9 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                  I S S N :   1 6 9 3 - 6 9 3 0   T E L K O M N I K A     V o l .   9 ,   N o .   2 ,     A u g u s t   2 0 1 1   :     2 5 7     2 6 6   2 6 6 [ 1 4 ]   J a d i d   M N ,   F a i r b a i r n   D R .   Pr e d i c t i n g   M o m e n t - C u r v a t u r e   Pa r a m e t e r s   f r o m   Ex p e r i m e n t a l   D a t a .   En g i n e e r i n g   Ap p l i c a t i o n   Ar t i f i c a l   I n t e l l i g e n c e . 1 9 9 6 ;   9 ( 3 ) :   3 0 3 - 3 1 9 .   [ 1 5 ]   PT .   PL N   ( Pe r s e r o ) .   N a t i o n a l   El e c t r i c i t y   Pl a n n i n g   a n d   Pr o v i s i o n   ( R U PT L   2 0 0 6 - 2 0 1 5 i n   Ba h a s a   I n d o n e s i a ) .   J a k a r t a .   2 0 0 6 .   [ 1 6 ]   PT .   PL N   ( Pe r s e r o ) .   2 0 0 9 .   N a t i o n a l   E l e c t r i c i t y   P l a n n i n g   a n d   Pr o v i s i o n   ( R U PT L   2 0 0 9 - 2 0 1 8 i n   Ba h a s a   I n d o n e s i a ) .   J a k a r t a .   2 0 0 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.