I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   22 ,   N o .   2 M a y   2021 pp .   944 ~ 952   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 22 .i 2 . pp 944 - 952             944       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   Pr e d i c t i n g   t e m p e r a t u r e   of   e r b i l   c i t y   a p p l y i n g   d e e p   l e a r n i n g   a n d   n e u r a l   n e t w o r k       S ar d ar   M.   R.   K   Al - Ju mu r 1 ,   S h ah ab   Wah h ab   K a r e e m 2 ,   R agh ad   z . yo u s i f 3   1 ,3 C o l l e g e   of   S c i e nc e   D e pa r t m e nt   of   P hy s i c ,   S a l a h a dd i n   U ni v e r s i t y ,   K ur d i s t a n   I r a q   2 E r bi l   T e c hni c a l   E ng i n e e r i ng   C o l l e g e ,   E r bi l   P o l y t e c hni c   U ni v e r s i t y ,   K ur di s t a n   I r a q   1 pa i t a xt   t e c hni c a l   i n s t i t ut e   E r b i l ,   K ur d i s t a n   I r a q   3 D e pa r t m e n t   of   I T ,   C a t ho l i c   U n i v e r s i t y   in   E r bi l ,   K u r d i s t a n   I r a q   2 C o l l e g e   of   E ng i ne e r i ng   a nd   C o m put e r   S c i e nc e ,   L e ba n e s e   F r e nc h   U ni v e r s i t y ,   K ur d i s t a n   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   S e p   20 ,   2 020   R e v i s e d   M a 21 ,   20 21   A c c e pt e d   M a r   31 ,   202 1       O ne   of   t he   m o s t   s i g ni f i c a nt   a n d   da un t i ng   a c t i v i t i e s   in   t o da y ' s   w o r l d   is   t e m pe r a t u r e   pr e d i c t i o n.   T h e   m e t e o r o l o g i s t s   t r a d i t i o na l l y   pr e di c t   t e m pe r a t u r e   v i a   s o m e   s t a t i s t i c a l   m o de l s   a i m e d   to   f o r e c a s t   t he   f l uc t ua t i o ns   t h a t   m i g ht   ha v e   ha ppe ne d   to   a t m o s phe r i c   pa r a m e t e r s   s uc h   as   t e m pe r a t u r e   a n d   hum i di t y .   T he   m a i n   o bj e c t i v e   of   t hi s   pa pe r   is   to   bui l d   an   i nt e l l i g e n t   t e m pe r a t ur e   pr e d i c t i o n   m o de l   of   E r bi l   c i t y   in   K R G / I r a q   ba s e d   on   a   hi s t o r i c a l   da t a s e t   f r o m   1992   to   2016   in   e a c h   y e a r   t he r e   a r e   t w e l v e   m o nt hs   a v e r a g e   t e m pe r a t ur e   r e a d i ng s   f r o m   ( J a nua r y   to   D e c e m be r ) .   H e nc e   to   r e s o l v e   t h i s   pr e di c t i o n   pr o bl e m   an   up - to - da t e   d e e p   l e a r n i ng   ne u r a l   ne t w o r k   ha s   be e n   u s e d ,   t he   n e t w o r k   m o de l   is   ba s e d   o l o ng   s ho r t - t e r m   m e m o r y   ( L S T M )   as   an   a r t i f i c i a l   r e c ur r e nt   ne u r a l   ne t w o r k   ( R N N )   a r c hi t e c t u r e   w h i c h   e m p l oy e d   to   e s t i m a t e   t he   f u t ur e   a v e r a g e   t e m pe r a t u r e .   T he   i m p l e m e nt i ng   m o de l   us e s   t h e   da t a s e t   f r o m   r e a l - t i m e   30   w e a t h e r   s t a t i o ns   de pl o y e d   in   t he   a r e a   of   t he   c i t y .   T he   pr e di c t i o n   pe r f o r m a nc e   of   t he   pr o po s e d   r e c ur r e nt   n e ur a l   ne t w o r k   m o de l   ha s   be e n   c o m pa r e d   w i t h   s o m e   s t a t e   of   a r t   a l g o r i t hm s   l i k e   A de l i ne   ne u r a l   n e t w o r k ,   A ut o r e g r e s s i v e   ne ur a l   n e t w o r k   ( N A R ) ,   a nd   g e ne r a l i z e r e g r e s s i o ne ur a l   n e t w o r k   ( G R N N ) .   T he   r e s u l t s   s ho w   t ha t   t he   p r o po s e d   m o de l   ba s e d   on   de e p   l e a r n i ng   g i v e s   m i ni m um   p r e d i c t i o n   e r r o r .     Ke y w or ds :   A r t i f i c i a l   n e u r a l   n e t w o r k   D e e p   l e a rni n g   P r e di c t i o n   m o de l s   W e a t h e r   T hi s   is   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   CC   BY - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   S ha h a b   W a hha b   K a r e e m   D e pa rt m e n t   of   In f o r m a t i o n   S y s t e m   E n g i n e e r i ng   E r b il   P o l y t e c hn i c   U ni v e r s i t y   E m a i l :   s ha ha b . ka r e e m @ e pu . e du. i q       1.   I N TR O D U C TI O N   T h e   p r e di c t i o n   of   f ut ur e   b e h a v i o r   is   i m po r t a n t   i s s ue s   in   t h e   s c i e n c e s   a n d   e n g i n e e r i ng,   to   n e e d   it   in   t h e   a r e a s   of   all   of   l i f e ,   s uc h   as   t h e   p r e di c t i o n   p ri c e ,   w e a t he r ,   a n d   t e m pe r a t u r e s ,   m o s t   c o un t r i e s   r e l y   on   its   pl a n s   a n d   de v e l o pm e n t   p r o gra m s   on   t h e   f o un d a t i o n s   a nd   a dv a n c e d   s c i e n t i f i c   m e t h o ds   to   de s i g n   m o r e   e ffe c t i ve   pl a n   [ 1] - [2] .   T hr o ug h   t h e   s t a t i s t i c a l   a na l y s i s   kn o w   t h e   p a s t   a n d   di s a dv a nt a ge s   a n d   p r e d i c t   t h e   f ut u r e   a n d   n e e ds   a c c o r di n g   to   t h e   po s s i b i l i t i e s   a v a i l a b l e   a n d   w h e re   it   c a nn o t   r e a c h   an   a c c u r a t e   pr e di c t i o n   for   t h e   f ut ur e   w i t h o ut   k n o w i n g   t h e   c o n s   a n d   pa s t   s h o r t c o m i n gs .   So   S t a t e s   r e gi s t e ri n g   a   s e r i e s   of   e c o n o m i c   a n d   s o c i a l   c h a nge s   [3] .   F o r e c a s t i n g   t h e   w e a t h e r   h a s   r e c e i v e d   t h e   a t t e n t i o n   of   m a n y   r e s e a r c h e r s   f r o m   di f f e r e n t   i n v e s t i ga t i o n   a r e a s   due   to   its   i n f l ue n c e   on   pub l i c   s oc i a l   l i f e   [4] - [5] .   T h e   po pul a r   a v a i l a b i l i t y   is   w i de s pr e a d   W e a t h e r   m o n i t o ri n g   d a t a   i n c l udi ng   i n f o r m a t i o n   de v e l o pm e nt   c o m put e r   t e c hn o l o gy   in   t h e   pa s t   de c a de   h a s   c a us e d   s e ve r a l   s e a r c h e s   to   i n v e s t i ga t e   t h e   pa t t e rn   h i dde n   in   t h e   h uge   da t a   s e t   of   pr e di c t i o n   w e a t h e r   [6] .   W e a t h e r   f o r e c a s t i ng   is   o n e   of   t h e   c a t a l y t i c   r e s e a r c h   p r o b l e m s   w i t h   m o s t   po t e n t i a l   a pp l i c a t i o n s   v a r y i n g   f r o m   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r e di c t i ng   t e m pe r a t ur e   of   e r b i l   c i t y   a ppl y i ng   d e e p   l e ar ni ng  a nd  n e ur al   ne t w or k   ( Sar dar   M.   R .   K   A l - J um ur )   945   a e r o na u t i c s   to   a gri c ul t u r e   a n d   t o u r i s m .   L e a rn i ng   to   pr e di c t   t h e   w e a t h e r   us i n g   a   b r o a d   da t a s e t   of   w e a t h e r   d a t a   a n d   de s i g ni n g   a   r o b us t   w e a t h e r   f o r e c a s t   f o r m   t h a t   us e s   f un d a m e nt a l   de s i g n s   c o ve r e d   in   t h e   l a r ge   w e a t h e r   d a t a   c o l l e c t i o n   a r e   a m o ng   t h e   c h a l l e n ge s   of   w e a t h e r   f o r e c a s t i n g   [ 7] .   M a n y   us e f ul   a ppl i c a t i o n s   of   s t a t i s t i c a l   m o de l i n g   t e c hni q ue s ,   e s pe c i a l l y   m a c h i n e   l e a rni n g ,   for   fo r e c a s t i n g   w e a t h e r   r e qui r e m e nt s   ha v e   b e e n   pub l i s h e d   o v e r   t h e   l a s t   de c a de   [5] ,   [6] ,   [8] .   B a s e o n   de e b e l i e n e t w o r ks   [4]   (D B N ),   p r o c e e di n g   de e n e t w o r ks   [5] ,   e n e r gy - b a s e d   f o r m s   s h o ul d   d i s pl a y   de ve l o pi n g   s uppo r t   of   de e p   l e a rn i ng   as   s t r uc t u ra l   de s i g n s   o r g a n i z e d   in - de p t h   w i t h i n   t h e   p ri o r   de c a de   [9] .   T h e   w o r d   " de e p"   in   de e p   l e a rn i ng   r e f e r s   to   t h e   f a c t   t h a t   t h i s   n e u ra l   n e t w o r k   (N N )   ha s   m o r e   l a y e r s   t ha n   t h o s e   us e d   in   m a c hi n e   l e a rn i ng   m o de l s .   M ul t i l a y e r   NN   ha s   d r a w n   a   l o t   of   r e s e a r c h   i n t e r e s t   a f t e r   a   s uc c e s s f ul   i m pl e m e n t a t i o n   of   an   un s upe r v i s e d   pr e - t ra i ni n g   t o o l   w h i c h   is   us e d   to   s o l ve   s i m pl e   t ra i ni n g   p r o b l e m s .   W h e n   it   c o m e s   to   s i m pl e   fo r m s ,   " de e p"   s t r uc t u r e   is   v e r y   i m po r t a nt ,   a n d   NN   h a s   a   d e e p   s t r uc t u r e   t ha t   can   p r o duc e   a   m o r e   e f fe c t i ve   l e a rn i ng   e xpe r i e n c e .     T h e   go a l   of   t h e   pa pe r   is   to   e xa m i n e   s o m e   f e a s i b i l i t y   of   de e p   l e a rni n g   m e t h o ds   for   w e a t h e r   p r e di c t i o n   a ppl y i n g   s t r o ng   hi e ra r c h i c a l   w e a t h e r   de s c r i p t i o n s   l e a rn e d   f r o m   t h e   w e a t h e r   d a t a   s e t .   M o de l s   h a v e   t e s t e d   us i n g   t h e   a m o unt   of   w e a t h e r   da t a   p r o v i de d   by   E r b i l   w e a t h e r   s t a t i o n   ( m i ni s t r y   of   t ra n s po rt   a nd  c o m m u ni c a t i o n s )   w a s   c o m pi l e d   f r o m   a b o ut   30   w e a t h e r   s t a t i o n s   f r o m   1992   to   2016.   In   t h e   a f o r e m e n t i o n e d   r e s e a r c h ,   T h e   l o n g   s h o rt - t e r m   m e m o r y   (L S T M ),   a d a l i n e   n e u r a l   n e t w o r k,   a u t o r e gr e s s i v e   n e u r a l   n e t w o r (N A R ),   a n d   ge n e ra l i z e r e g r e s s i o n   n e u ra l   n e t w o r k   (G R N N )   a r e   s o m e   of   t h e   a l go ri t hm s   for   c l i m a t e   m o de l i ng.       2.   R ELA TED   WO R K   T h e r e   is   m uc h   r e s e a r c h   to   ha n dl e   t h e   pr o b l e m   of   pr e di c t i n g   t h e   w e a t h e r   in   t hi s   s e c t i o n ,   s o m e   of   t h e m   w i l l   be   fo c us e d   o n .   In   [10 ]   t e m pe r a t u r e   f o r e c a s t i n g   s y s t e m   fo r   pa s t   w e a t h e r   pa ra m e t e r s   ha s   b e e n   pr o po s e d   w h i c h   is   b a s e d   on   f uz z y   time   s e r i e s .   In   [7]   a   c o n c l us i o n   ha s   b e e n   m a de ,   w h i c h   s t a t e s   t ha t   us i ng   a   c o m b i n a t i o n   of   ANN   l e a ds   to   e nh a n c e   a   l e a rni n g   p r o c e s s   in   w e a t h e r   p r e di c a t i o n s   m o de l s   fo r   di f fe r e n t   w e a t h e r   pa ra m e t e r s .   An   ANN   fo r   fo r e c a s t i n g   p r e c i pi t a t i o n   b a s e d   o   s t a t i s t i c a l   r e du c t i o n   ha s   b e e n   pr o po s e d   [11] .   W h e r e a s   in   [12]   a   n e u r a l   n e t w o r k   b a s e d   on   c h a o t i c   s h o r t - t e rm   o s c i l l a t i o n s   for   w i n d   p r e di c t i ng   ut i l i z i n g   L ID A R   da t a   ha s   b e e n   pr o po s e d.   A   l o n g   r a i n s   p r e di c t i o n   f o r m   ut i l i z i n g   c o m b i n e d   f uz z y   l o gi c   W a v e l e t   w i t h   ANN   h a s   b e e n   pr e s e n t e d   in   [13] .   In   [14]   t h e   de e p   l e a rni n g   ha s   b e e n   e m pl oy e d   in   w e a t h e r   p r e di c t i o n.   T h us   a   c o m pa ri s o n   h a s   b e e n   m a de   b e t w e e n   t h e   f o r e c a s t   a c hi e v e m e n t   of   c o n di t i o na l   r e s t ri c t e b o l t z m a nn  m a c hi n e   (CR B M )   w i t h   r e c urr e nc e   n e u ra l   n e t w o r k   (R N N )   a nd   c o n v o l u t i o na l   ne t w o rk   ( CN )   m o de l s .   In   [1 5]   N e w   m a c hi n e   l e a rni ng   t e c hni q ue s   a nd   d a t a   p r o c e s s i ng   a r e   p re s e nt e d   by   t h e   a ut ho r s   ( r a ndo m   f o r e s t   c l a s s i f i c a t i o n)   for   c l i m a t e   c o ndi t i o n s   f o r e c a s t i ng .   T he y   c o n c e nt ra t e   on   t h e   c ha l l e nge s   of   t o da y ' s   ra p i d   w e a t he r   c ha ng e ,   w hi c h   r e nde rs   t ra d i t i o na l   w e a t he r   p r e d i c t i o n   a p p r o a c he s   l e s s   a c c u ra t e   a nd   t i m e - c o n s u m i ng .   To   m e e t   t he s e   c ha l l e nge s ,   s t r o ng   c l i m a t e   f o r e c a s t i ng   t e c hni q ue s   a re   ne e de d .   In   [ 16 ]   a   n e w   d a t a - d ri v e n   l i g ht w e i g ht   w e a t he r - p re di c t i ng   m o de l   ha s   b e e n   c o n s t ruc t e d   by   i n v e s t i g a t i ng   t h e   pe r f o rm a nc e   of   t e m po ra r y   f o r m i ng   m e t h o ds   of   t e m po ra l   c o n v o l u t i o na l   ne t w o r k s   ( T C N )   a nd   (L S T M )   a nd   c o m p a ri ng   it   w i t h   t he   c u rr e nt   s t a nd a rd   m e t h o ds   of   m a c hi ne   l e a rni ng ,   l i ke   s up po rt   v e c t o r e g r e s s i o (S V R ) ,   s t a nd a rd  re g re s s i o n   (S R ) ,   ra ndo m   f o r e s t   (R F )   a l s o   v e c t o r   a u t o   r e g re s s i o (V A R ) ,   v e c t o r   e rro r   c o rre c t i o n   m o de l   ( V E C M )   a nd   a u t o r e g re s s i v e   i nt e g ra t e m o v i ng  a v e ra ge   ( A R IM A ) ,   a r e   pe r f o rm e d   as   a na l y t i c a l   p r e d i c t i ng   m e t h o ds .   M o r e o v e r,   t h e   a rb i t ra ge   o f   p r e d i c t i ng  e xpe rt   (A F E )   is   pe r f o rm e d   as   t h e   dy n a m i c   e n s e m b l e   m e t h o d .   T h e y   i n v e s t i g a t e   t h e   c o m m u ni t y   L S T M   a nd   T CN   m o de l s ,   a l t h o ug h   it   is   p a rt i c u l a r   m o de l   in   w e a t he r   p r e di c t i o n   ut i l i z i ng   A N N ,   us i ng   t i m e - s e ri e s   d a t a .   T h e   de e p   l e a rni ng   s t ruc t u r e   ha s   s e v e ra l   l a y e r s   t ha t   a d d   s u r f a c e   w e a t h e r   p a ra m e t e rs   to   w e a t he r   p re d i c t i o n   o v e r   a   pe ri o d   of   t i m e .   T h e   p r o po s e d   de e p   l e a rni ng   ne t w o rks   i n c l ud i ng   T CN   a nd   L S T M   l a y e r s   a re   t e s t e d   in   m ul t i - i npu t   m u l t i - o u t pu t   a nd   m u l t i - i np ut   s i ng l e - o u t p u t   r e g r e s s i o n s .   T he   c ha l l e nge   of   i n v e s t i g a t i ng   c u rre nt   t re nds   w i t h   w e a t he r - p r e di c t i ng   as   a   d a t a   s o u r c e   c o v e r s   r e s ul t s   o v e r   t i m e   a nd   s p a c e .   P a rt i c u l a rl y ,   t h e y   i n v e s t i g a t e   t h e   po t e nt i a l   of   t h e   f o r e c a s t   t hro u g h   a   he t e r o ge n e o us   di s c ri m i na nt   m e t h o d   P r e d i c t i v e   m o de l s   t ra i ne d   in   a   de e p   ne u ra l   n e t w o r k   as   a   s t a nd a rd   a na l y t i c a l   p ri n c i p l e   for   a   c o l l e c t i o n   of   w e a t h e r - re l a t e d   v a ri a b l e s .   T he y   e xp l a i n   h o w   t he   f u nd a m e nt a l   f o rm   c a n   de v e l o p   s p a t i a l   i nc o r po ra t i o n   t ha t   u t i l i z e s   l o ng - ra nge   s p a t i a l   de pe nde nc i e s   [1 7] .         3.   N EU R A L   N ETW O R K   N e ur a l   n e t w o r ks   c a n   be   ut i l i z e d   to   a n t i c i pa t e   a n y   pr o c e du r e   as   l o n g   as   a de qua t e   i n f o r m a t i o n   is   pr o duc e d   to   p r e c i s e l y   pr e pa r e   t h e   m o de l .   T h e y   c a n   c r e a t e   de s i g n s   a nd   r e c o gn i z e   i nt e r f a c e / i n c l i n e s   t h a t   a r e   t o o   m i n d - b o ggl i n g   to   be   in   a n y   w a y   w a t c h e d   t hr o ug h   di f f e r e nt   p r o c e dur e s ,   in   t hi s   m a nn e r   t a k i n g   i nt o   c o n s i de r a t i o n   t h e   s o l i d   m a r ke r s   of   n e w   c i r c um s t a n c e s   of   i n t ri gue .   ANNs   can   be   ut i l i z e d   to   p r e c i s e l y   f o r e s e e   m e c h a ni c a l   p r o pe r t i e s   a n d   o t h e r   s i g ni f i c a nt   w e l d   qu a l i t i e s   w i t h o ut   t h e   r e qui r e m e n t   for   r ui n o us   t e s t i n g ,   w hi l e   e xa c t   m o de l s   w i l l   gi v e   t r us t   in   t h e   w e l ds   de l i v e r e d.   T h e   n u m b e r   of   h ub s   in   ANNs   a nd   t h e   a s s o c i a t i o n   e xa m pl e s   of   t h e   h ub s   can   s h i f t .   T h e   m o s t   b r o a dl y   ut i l i z e d   a s s o c i a t i o n   de s i g n   is   t h e   t hr e e - l a y e r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     944   -   95 2   946   b a c kpr o pa ga t i o n   n e u r a l   s y s t e m   [18] - [19] .   T h e   de c e pt i v e   ne ur o n s   a r e   m a na gi ng   s e c t i o n s   t h a t   a r e   m a de   in   pow e r f ul   i nt e r c o nn e c t e d   l a y e r s   t ha t   ge t   t h e   d a t a   (i n pu t   f a c t o rs )   a nd   s p r e a d   it   t o w a r ds   t h e   y i e l d   l a y e r .   T h e   da t a   go t   is   w e i gh t e d   by   a   s y n a pt i c   w e i gh t   t ha t   p i c ks   if   t h e   go i n g   w i t h   n e u r o n   w i l l   be   be gun   by   t h e   a pp r o v a l   w o r k,   fo r   t h e   m o s t   pa r t   as   f a r   as   po s s i b l e   in   n o n - di r e c t   i s s ue s .   S y s t e m   l e a rni n g   ha ppe n s   as   t h e   pi l e s   a r e   b a l a n c e d   a l o n gs i de   t h e   l a y e r s ,   as   pe r   t h e   r e l a t i o n s hi p   b e t w e e n   t h e   w e l l s p r i n gs   of   i n f o r m a t i o n   a n d   t h e   i de a l   y i e l ds .   O n e   of   t h e   m o s t   f un d a m e n t a l   m o de l s   is   t h e   m u l t i l a y e r   pe r c e pt r o n   n e t w o r (M L P ),   w h i c h   is   ge n e ra l l y   ut i l i z e d   in   t h e   e s t i m a t i o n   of   n o n - di r e c t   c o n f i n e s   t ha t   de l i n e a t e   c o m pl e x   r e l a t i o n s hi ps   a m o n g   s e l f - c o n t r o l l i n g   a nd   s ubo r di na t e   f a c t o r s   in   d i f f e r e n t   a pp l i c a t i o n s   [20] .   F u n d a m e n t a l l y ,   t h e r e   a r e   3   d i s t i n c t   l a y e r s   in   a   n e u r a l   s y s t e m :     a)   In p ut   L a y e r   -   T h e   Input   l a y e r   s pe a ks   w i t h   t h e   o ut e r   c o n di t i o n   t ha t   p r e s e nt s   an   e xa m pl e   to   t h e   n e u r a l   s y s t e m .   It s   r e s po n s i b i l i t y   is   to   m a na ge   a l l   t h e   i n f o r m a t i o n   s o ur c e s   as   t h e y   w e r e .     b)   H i dde n   L a y e r s   -   T h e   s hr o ude d   l a y e r   is   t h e   a s s o r t m e n t   of   n e u r o n s   t ha t   ha s   a c t ua t i o n   w o r k   a ppl i e d   on   it   a n d   it   is   a   m i d dl e - of - t h e - r o a d   l a y e r   fo un d   b e t w e e n   t h e   i n f o r m a t i o n   l a y e r   a n d   t h e   y i e l d   l a y e r .   It s   r e s po n s i b i l i t y   is   to   p r o c e s s   t h e   i n f o r m a t i o n   s o ur c e s   a c qui r e d   by   its   pa s t   l a y e r .   So   it   is   t h e   l a y e r   t h a t   is   m i n df ul   e xt ri c a t i n g   t h e   n e c e s s a r y   h i g hl i g ht s   f r o m   t h e   i n f o r m a t i o n .     c)   O ut put   L a y e r   -   T h e   y i e l d   l a y e r   of   t h e   n e ura l   s y s t e m   ga t h e r s   a n d   t r a n s m i t s   t h e   da t a   in   l i ke   m a nn e r   in   t h e   w a y   it   h a s   b e e n   i n t e n de d   to   gi v e .   T h e   da t a   ge n e ra t e d   at   t hi s   o ut put   l a y e r   c a n   be   gi v e n   as   i n p ut   to   t h e   f i r s t   l a y e r   as   fe e d b a c k.   N o n l i n e a r   a u t o r e g r e s s i v e   n e ur a l   n e t w o r k   (N A R )   e m pow e r s   t h e   e xpe c t a t i o n   of   f ut ur e   e s t i m a t i o n s   of   a   pe r i o d   a rra n ge m e n t ,   b o l s t e r e d   by   its   h i s t o r y   fo un da t i o n,   by   m e t h o ds   fo r   a   re - t a ki n g   c a r e   of   c o m po n e n t ,   in   w h i c h   an   a n t i c i pa t e d   w o r t h   m a y   f i l l   in   as   a   c o n t r i b ut i o n   for   n e w   fo r e c a s t s   at   f urt h e r   de ve l o pe d   f oc us e s   in   time   [21] - [ 22] .   D e e p   l e a rni n g   t e c hni que s   h a v e   b e c o m e   ge n e r a l l y   i de n t i f i e d   s i n c e   i m po rt a nt   m a c hi n e   l e a rni n g   m e c ha ni s m s   for   r e g r e s s i o n   a n d   c l a s s i f i c a t i o n   p r o b l e m s .   T h e   m o s t   a dv a n c e d   de e p   l e a rn i ng   a r c h i t e c t ur e s   for   s ub s e que n t   l e a rni n g   r e s po n s i b i l i t i e s   is   L S T M   [23] .   L S T M   de s i g n e d   to   us e   l o n g - ra n ge   da t a   r e gi o n s   i n v o l v i n g   d a t a   f r o m   t i m e - s e ri e s ,   w h i c h   p r e s e nt s   t h e   b e s t   e n c o ur a ge m e n t   a n d   po t e n t i a l   for   t h e   e vo l ut i o n   r e g a r di ng   a   s ui t a b l e   a rra n ge m e nt   to   n o n l i n e a r   s t ruc t u ra l   c ha l l e nge s .   T h e   L S T M   m o de l   s uppl a nt s   e v e r y   RN N   s y s t e m   un de r   t h e   h i dde n   l a y e r   t h a t   c o n t a i n s   an   L S T M   b l o c k   fo r   m a k i n g   a   l o n g - t e rm   m e m o r y   [24] .   T h e   L S T M   b l o c k   c o n t a i n s   f o ur   i nt e ra c t i v e   pa rt s :   w h i c h   is   an   i n pu t   ga t e ,   an   o ut put   ga t e ,   a   f o r ge t t i n g   ga t e ,   a n d   an   i n t e rna l   u ni t .   I n put   is   c o n t r o l l e d   by   i n put   ga t e   w h i c h   p a s s e s   an   i n i t i a t e d   da t a   w hi c h   t h e   n e xt   s t a t e   to   t h e   i n t e rn a l   p a r t   s t a t e .   T h e   i n t e rna l   b l o c k   l e a rn s   t h e   u ni t   s t a t us   of   t h e   pr e v i o us   time   s t e p   us i n g   a   s e l f - r e p l i c a t i n g   c o nn e c t i o n   [2 5] .   T h e   f o r ge t   g a t e   r e t a i n s   a n d   de l e t e s   i n f o r m a t i o n   t h a t   pa s s e s   t h e   i nt e rna l   u ni t   s t a t e ,   w h i c h   a l l o w s   t h e   L S T M   uni t   to   r e s e t   t h e   u ni t ’s   m e m o r y   or   a da pt i v e l y   fo r ge t .   O ut pu t   c o n t r o l l e d   by   o ut put   ga t e   w h i c h   e n a b l e s   a   m ov e m e n t   w i t h i n   t h e   L S T M   b l oc k   o ut pu   [26] - [27] .         4.   M ET H O D O L O G Y   In   t h i s   s t udy ,   fo ur   n e u ra l   n e t w o r k   s y s t e m   de s i gn s   h a v e   be e n   s e l e c t e d   to   be   ut i l i z e d   as   pr e d i c t i o n   m o de l s   fo r   v i t a l i t y   ut i l i z a t i o n.   T h e   p ri n c i p a l   m o de l   is   n o n - s t ra i g h t   a ut o r e gr e s s i v e   n e u r a l   s y s t e m s   (N A R ),   w h i c h   a r e   to   ga uge   t e s t s   c o n f i n e d   in   a   o n e - di m e n s i o n a l   t i m e   a rr a nge m e nt .   A   n o n - di r e c t   a u t o r e g r e s s i v e   s y s t e m   w i t h   e xo ge n o us   da t a   s o ur c e s   (N A R X ),   w h i c h   g r o w   m ul t i di m e n s i o na l   t i m e   a rr a nge m e n t   ut i l i z i ng   o ut s i de   da t a   ha s   b e e n   s e l e c t e d   to   i m pr o v e   time   a rra n ge m e nt   fo r e c a s t   e xe c ut i o n ,   a n d   e v e n t ua l l y ,   a   t r a di t i o na l   G R N N   s y s t e m   is   a l s o   pr o po s e d.   E a c h   s y s t e m   m o de l   h a s   its   a dv a nt a ge s   a n d   e xpe n s e s :   NAR   t e c hn i que s   a r e   l e s s   c o m pl e x   t h a n   N A R X .   A l l   t hi n gs   c o n s i de r e d ,   t h e   l a s t   m o de l   pe r m i t s   t h e   ut i l i z a t i o n   of   e xt r a   da t a   t ha t   may   i m p r o v e   e xp e c t a t i o n   p r e c i s i o n.   In   a   ge nui n e   c i r c um s t a n c e ,   o nl y   o n e   o ut   of   e v e r y   o dd   s t r uc t u r e   h a s   a   s i m i l a r   a dm i n i s t r a t i o n   f r a m e w o r k   n o r   a   s i m i l a r   n u m b e r   of   h i g hl i g ht s :   s o m e   l o n e   r e gi s t e r   ut i l i z a t i o n   w hi l e   o t h e r s   ha n dl e   m o r e   da t a ,   for   e xa m pl e ,   o ut e r   a n d   i n s i de   t e m pe ra t u r e .   T h e   c h o s e n   ANN   m o de l s   p e r m it   us   to   w o r k   w i t h   t h e   t w o   m e t h o do l o gi e s .   T h e   a c c o m pa n y i n g   s ub s e c t i o n s   po r t ra y   t h e s e   m o de l s   to   t a ke   c a r e   of   t h e   i s s ue   of   v i t a l i t y   ut i l i z a t i o n   t i m e   a rra n ge m e nt   f o r e c a s t .     4. 1 .       NAR   m o d e l   A   n o n l i n e a r   a ut o r e gr e s s i v e   n e u r a l   s y s t e m   a ppl i e d   to   t i m e   a rra n ge m e nt   de t e r m i n i ng   po rt r a y s   a   di s c r e t e ,   n o n - d i r e c t ,   T h e   f o l l o w i n g   a r e   t h e   c ha r a c t e r i s t i c s   of   an   a ut o r e gr e s s i v e   m o de l .     y (t )= h (y (t 1),   y (t 2),   .   .   .   ,   y (t p))+ e (t )   (1)     T h i s   e qua t i o n   po r t ra y s   h ow   a   NAR   a r ra n ge m e n t   is   ut i l i z e d   to   fo r e s e e   t h e   e s t i m a t i o n   of   an   i n f o r m a t i o n   a rra n ge m e nt   y   at   t i m e   t,   y (t ),   ut i l i z i n g   t h e   p   pa s t   e s t i m a t i o n s   of   t h e   a rra n ge m e n t .   T h e   c a p a c i t y   h (• )   is   o b s c ur e   a h e a d   of   t i m e ,   a n d   t h e   p r e p a r a t i o n   of   t h e   n e u r a l   s y s t e m   pl a n s   to   e s t i m a t e   t h e   c a p a c i t y   by   m e t h o ds   fo r   t h e   e nh a n c e m e n t   of   t h e   s y s t e m   l o a ds   a n d   n e u r o n   p r e di s po s i t i o n.   At   l a s t ,   t h e   t e rm   e (t )   r e pr e s e nt s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r e di c t i ng   t e m pe r a t ur e   of   e r b i l   c i t y   a ppl y i ng   d e e p   l e ar ni ng  a nd  n e ur al   ne t w or k   ( Sar dar   M.   R .   K   A l - J um ur )   947   t h e   b l un de r   of   t h e   e s t i m a t i o n   of   t h e   a rr a nge m e n t   y   at   time   t.   T h e   t o po l o g y   of   a   N A R   a rr a nge m e nt   a p pe a r s   in   F i gu r e   1.   T h e   p   h i g hl i g h t s   y (t 1),   y (t 2),   .   .   .   ,   y (t p),   a r e   c a l l e d   i n p ut   de l a y s .       4. 2 .       A D A LI N E   al go r i th m   T h e   A de l i n e   a l go r i t hm   is   us e d   a m o n g   t a p pe de l a y   l i n e   ( T D L )   for   c o n s t r uc t i ng   t h e   l i n e a r   f i l t e r   w h i c h   is   a pp l i e d   w i t h i n   f o r e c a s t i ng   w e a t h e r .   F i gu r e   3   s h o w s   t h e   i l l us t r a t e d   f i gu r e   of   A da l i n e .   T h e   f i r s t   pa rt   of   t h e   s y s t e m   is   t h e   T D L .   T h e   da t a   e nt e r s   t h e   i n p ut   f r o m   t h e   l e f t   a nd   m o v e s   w i t hi n   N - 1   de l a y s .   An   N - di m e n s i o na l   v e c t o r   is   a   T D L   o ut put   t ha t   is   m a de   up   of   t h e   c u rr e n t   i nput   d a t a   a n d   t h e   p ri o r   i nput   s i g na l   [28] .       4. 3 .       G e n e r a l i z e d   r e gr e s s i o n   n e u r al   n e tw o r k   ( G R N N )   G R N N   is   a   r a di a l   n e u ra l   b a s e   n e t w o r k   v a r i a n t   t ha t ,   u nl i ke   B P N N ,   ha s   f o ur   l a y e r s :   i nput ,   p a t t e rn,   s um m a t i o n ,   a n d   o ut put   [2] .   T h e   a v e r a ge   t e m pe ra t u r e   is   us e d   in   t h e   f i r s t   l a y e r   as   t h e   i n pu t   v e c t o r .   T h e   p a t t e rn   uni t s   a r e   in   t h e   s e c o n d   l a y e r ,   a n d   t h e   o ut put s   of   t h i s   l a y e r   a re   f e d   i n t o   t h e   t h i r d   l a y e r ' s   s um m a t i o n   u n i t s .   T h e   f i n a l   l a y e r   p r o t e c t s   t h e   m a n uf a c t u ri n g   u ni t s .   It s   a r c hi t e c t u re   is   de pi c t e d   in   F i gu r e   4.   G R N N   r e pl a c e s   t h e   s i gm o i d   a c t i v a t i o n   f un c t i o n   t y pi c a l l y   us e d   in   ANN   w i t h   a   ra di a l   b a s e   f un c t i o n   (R B F ),   w h i c h   c a l c u l a t e s   t h e   pr o b a b i l i t y   de n s i t y   f un c t i o n   us i n g   an   e s t i m a t o r   [ 15] .   T h e   p r e di c t e d   v a l ue   is   s i m p l y   a   w e i gh t e d   a v e r a ge   of   t a r ge t   v a l ue s   f r o m   t r a i n i ng   pa t t e rn s   t ha t   a r e   s i m i l a r   to   t h e   i nput   pa t t e rn .   T h e   s m o o t hi n g   f a c t o r ,   w h i c h   r e p r e s e n t s   RBF   di s t a n c e ,   is   t h e   o n l y   a dj us t a b l e   p a r a m e t e r.   T he   fo l l ow i n g   a r e   t h e   G R N N   s pe c i f i c s :     y ( x ) = y k K ( x 1 , x k ) N k = 1 K ( x 1 , x k ) N k = 1   (2)     w h e r e ,         K ( x , x k ) = e ( x x k ) T ( x x k ) / 2 σ 2   (3)     w h e r e   y (x)   is   t h e   i nput   x   p r e d i c t i o n   v a l ue ,   yk   is   t h e   a c t i v a t i o n   w e i gh t   for   t h e   p a t t e rn   l a y e r   n e u r o n   at   k,   a n d   K (x,   xk)   is   t h e   RBF   as   fo r m u l a t e d   in   ( 3 ) .   In   t h e   s e c o n d   l a y e r,   t h e r e   a r e   t h e   s a m e   n u m b e r   of   n e ur o n s   as   t h e r e   a r e   i n put / t a r ge t   v e c t o r s ,   b ut   t h e   w e i gh t s   a r e   all   s e t   to   t a rge t   T.   A   c o l um n   v e c t o r   of   0. 8326/ S p r e a d   is   us e d   to   s e t   t h e   b i a s .   To   s i m u l a t e   G R N N ,   us e   M a t l a b ' s   b ui l t - in   f un c t i o n:     n e t   =   n e w grnn (P ,   T,   S p r e a d)   (4)     T h e   n e w grnn   f un c t i o n   t a ke s   i nput   v e c t o r   P   a nd   t a r ge t   v e c t o r   T   m a t r i c e s ,   as   w e l l   as   a   ra d i a l   b a s e   l a y e r   s pr e a d ,   a n d   r e t u rn s   a   n e t w o r k   w i t h   w e i ght s   a nd   b i a s e s   s uc h   t ha t   t h e   o ut pu t s   a r e   e x a c t l y   T   w h i l e   t h e   i n put s   a r e   P.   T h e   i n pu t   ha s   22   i n pu t s ,   w i t h   t h e   f i r s t   hi dde n   l a y e r   c o n s i s t i n g   of   12   n e ur o n s   a n d   t h e   s e c o n d   l a y e r   c o n s i s t i n g   of   o n e   n e u r o n,   a n d   t h e   o ut put   h a s   o n e   o ut pu t .       4. 4 .       LS TM   An   L S T M   is   a   m u l t i pu r po s e   de v i c e   t h a t   is   m a de   up   of   a   r e c urr e nt   n e t w o r k   w i t h   f e e d b a c k   c o n n e c t i o n s .   D e s i gna t e   r e pl i e s   as   t ra i ni n g   s e que n c e s   of   v a l ue s   s h i f t i n g   w i t h   a   s i n g l e   time   s t e p   to   pr e di c t   f ut ur e   v a l ue s   of   f ut ur e   t i m e   s t e ps   for   a   s e r i e s   [29 ] .   T ha t   i s ,   t h e   L S T M   n e t w o r k   l e a rn s   to   p r e di c t   t h e   v a l ue   of   t h e   n e xt   t i m e   s t e p   fo r   e a c h   t i m e   s t e p   in   t h e   i nput   s e ri e s .   T ra i n i n g   s e que n c e s   w i t h o ut   t h e   f i n a l   t i m e   s t a ge   a r e   kn o w n   as   p r e di c t o r s   [30] .   U s e   t h e   A n dU pda t s t a t e   p r e di c t i o n   f un c t i o n   to   p r e di c t   m u l t i pl e   t i m e   p h a s e   v a l ue s   in   t h e   f ut ur e   o n e   at   a   t i m e ,   u pda t i n g   t h e   n e t w o r k   s t a t e   in   e a c h   f o r e c a s t .   U s i n g   t h e   p r e v i o us   fo r e c a s t   as   a   s t a rt i ng   po i n t   for   e a c h   f o r e c a s t   [31 ] .       4. 5 .      P e r fo r m an c e   e v al u ati o n   T h e   c urr e n t   da t a s e t   is   c o l l e c t e d   f r o m   E r b i l   w e a t h e r   s t a t i o n s .   In   t h e   L S T M   t h e   a u t h o r s '   s t e ps   as   fo l l ow :   L a un c h   t h e   da t a ,   t h a t   f oc us e s   on   a   s i ngl e   time   s e r i e s   fo r   s t e p   s i z e   r e fe rr i n g   to   y e a r s   a nd   v a l ue s   de n o t e s   t h e   n u m b e r   of   h o t   da y s   p e r   m o nt h .   T h e   r e s ul t   is   a   c e l l   a rra y   w i t h   a   s i ngl e   t i m e   s t e p   fo r   e a c h   u n i t .   M a ke   a   r ow   v e c t o r   o ut   of   t h e   r e s ul t s .   A f t e r   t ha t ,   s pl i t   t h e   da t a   i nt o   t w o   g r o ups :   t ra i ni n g   a nd   e v a l ua t i o n .   T r a i n   for   t h e   f i r s t   85%   of   t h e   s e r i e s   a n d   t h e n   t e s t   for   t h e   l a s t   15% .   T h e r e a f t e r,   s t a nda r d i z e   t h e   t ra i ni n g   d a t a   to   p r o v i de   a   z e r o   m e a n   a nd   u n i t   v a ri a n c e   for   a   b e t t e r   f i t   a nd   to   a v o i d   t h e   t r a i n i n g   f r o m   d i v e r gi n g .   At   t h e   t i m e   of   e s t i m a t i o n ,   t h e   t e s t   da t a   m us t   be   s t a n d a r di z e d   us i n g   t h e   s a m e   pa ra m e t e r s   as   t h e   t ra i ni n g   d a t a .   S pe c i fy   t h e   r e s po n s e s   to   be   t r a i ni n g   s e que n c e s   w i t h   v a l ue s   c ha n ge d   by   a   o n e - t i m e   p h a s e   to   pr e di c t   t h e   v a l ue s   of   p o t e n t i a l   t i m e   s t e ps   of   a   s e r i e s .   T ha t   i s ,   t h e   L S T M   n e t w o r k   l e a rn s   to   p r e di c t   t h e   v a l ue   of   t h e   n e xt   t i m e   s t e p   at   e a c h   t i m e   s t e p   of   t h e   i n put   s e ri e s .   T h e   pr e di c t o r s   a r e   t h e   t r a i ni n g   s e que n c e s   t h a t   do   n o t   i n c l ude   t h e   l a s t   t i m e   pha s e .   A f t e r   t ha t ,   c r e a t e   an   L S T M   r e g r e s s i o n   n e t w o r k.   S e t   t h e   s e c r e t   u ni t s   for   t h e   L S T M   l a y e r   to   100.   A f t e r   t ha t ,   c h o o s e   y o ur   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     944   -   95 2   948   t r a i ni n g   c h o i c e s .   S e t   t h e   s o l v e r   to   ' a da m '   a n d   p r a c t i c e   fo r   500   i t e r a t i o n s .   S e t   t h e   g r a d i e nt   t hr e s h o l d   to   1   to   ke e p   t h e   gra di e nt s   f r o m   b ur s t i n g .   S e t   t h e   i n i t i a l   l e a rni n g   ra t e   to   0. 0054 ,   a n d   a f t e r   125   e po c h s ,   r e duc e   t h e   l e a rn i ng   ra t e   by   a   f a c t o r   of   0. 2.   T h e   t r a i n   n e t w o r k   is   us e d   to   t ra i n   t h e   L S T M   n e t w o r k   w i t h   t h e   de f i n e d   t ra i ni n g   o pt i o n s .   U s e   t h e   pr e di c t A n dU pda t e S t a t e   f e a t u r e   to   pr e di c t   t h e   v a l ue s   of   s e ve r a l   t i m e   s t e ps   in   t h e   f ut u r e ,   o n e   at   a   t i m e ,   a n d   upda t e   t h e   n e t w o r k   s t a t e   at   e a c h   p r e di c t i o n.   U s e   t h e   p r e v i o us   pr e di c t i o n   as   i n pu t   to   t h e   f un c t i o n   fo r   e a c h   p r e di c t i o n .   U s i n g   t h e   s a m e   pa ra m e t e r s   as   t h e   t ra i ni n g   d a t a ,   s t a n d a r di z e   t h e   t e s t   da t a .   P r e di c t   on   t h e   t r a i ni n g   da t a   X T ra i n   f i r s t   to   i n i t i a l i z e   t h e   n e t w o r k   c o n di t i o n.   T h e n,   us i n g   t h e   l a s t   t i m e   p ha s e   of   t h e   t r a i n i ng   a n s w e r   Y T r a i n ,   m a ke   y o ur   f i r s t   p r e d i c t i o n   (e n d ).   I nput   t h e   pr e v i o us   pr e di c t i o n   to   p r e di c t A n dU pda t e S t a t e   a f t e r   l o o pi n g   t hr o ug h   t h e   r e m a i n i ng   p r e di c t i o n s .   F o r   l a rg e   c o l l e c t i o n s   of   da t a ,   l o n g   s e que n c e s ,   or   l a r ge   n e t w o r ks ,   p r e di c t i o n s   on   t h e   GPU   a r e   us ua l l y   f a s t e r   to   c om put e   t ha n   p r e di c t i o n s   on   t h e   CP U .   O t h e r w i s e ,   pr e di c t i o n s   on   t h e   CP U   a r e   us ua l l y   f a s t e r   to   c o m put e .   F o r   s i n g l e - t i m e   s t e p   p r e di c t i o n s ,   us e   t h e   CP U .   To   us e   t h e   CP U   fo r   pr e d i c t i o n,   s e t   t h e   ' E xe c ut i o n E n v i r o n m e n t '   o pt i o n   of   pr e di c t A n dU pda t e S t a t e   to   ' c pu' .   T h e   a ut o r e g r e s s i v e   n o nl i n e a a d a pt i v e   f i l t e r   m o de l   i s   t h e   s e c o n d   p r o po s e d   m e t h o d.   In   t h i s   m e t h o d,   a pp l i e d   t h e   f e e d - fo r w a r d   n e u r a l   n e t w o r k   w i t h   a   t a ppe d   de l a y   l i n e .   It   us e d   an   a da pt i v e   f i l t e r   to   a pp l y   t h e   de s i r e d   r e s po n s e   in   t h e   t i m e   s e ri e s   a n d   t h e   p r e v i o us   da t a   as   i nput   to   t h e   a da p t i v e   f i l t e r.   T h e   o n e - s t e p   f o r e c a s t i n g   d a t a   is   t h e n   o ut put   by   t h e   a d a pt i v e   f i l t e r .   T h e   n o n l i n e a r   p r e di c t i o n   s c h e m e   w a s   b a s e d   on   t h e   n e u ra l   n e t w o r k   de pi c t e d   in   F i gu r e   1.   T h e   m o s t   a c c ur a t e   fo r e c a s t   xe   fo r   t h e   s e que n c e   of   25   v a l ue s   t ha t   de f i n e   t h e   h o t   de g r e e   v a l ue s   fo r   25   y e a r s   can   be   o b t a i n e d   by   s t a r t i n g   a   p r e d i c t i o n   m e t h o d   f r o m   gi v e n   s e ri e s   da t a   (X n )   at   t i m e   n   a n d   c o m pa r i ng   it   to   a   t i m e   s e ri e s .   As   a   r e s ul t ,   a   p r e d i c t o r   f i l t e r   w i t h   an   i n pu t   v e c t o r   lx   is   p r o po s e d,   w h i c h   is   a c c o m pl i s h e d   by   a ppl y i n g   t h e   de l a y   o p e r a t o r ,   Z - 1,   to   t h e   s e r i e s   xn .   F o l l o w i n g   t h a t ,   t h e   f i l t e r   o ut put   w i l l   ge n e ra t e   xe ,   w h i c h   w i l l   be   e qua l   to   t h e   c urr e nt   v a l ue   x n.   As   a   c o n s e que n c e ,   t h e   e rr o r   at   t i m e   k   in   t h i s   p r e di c t i o n   f i l t e r   can   be   e s t i m a t e d:       e   (k)= X n (k) - X e (k)   ( 5 )     T h i s   is   us e d   to   c ha n ge   t h e   NN   w e i ght s   by   t h e   l e a rni n g   n o rm .   T h e   n o nl i n e a r   f i l t e r   c o e ff i c i e n t s   a r e   m o di f i e d   on - t h e - f l y   dur i ng   t h e   l e a rn i ng   p r o c e s s   us i n g   a   c r i t e ri o n   t h a t   c h a n ge s   t h e   num b e r   of   pa t t e rn s ,   i t e ra t i o n s ,   a nd   d u r a t i o n   of   t h e   t a ppe d   de l a y   l i n e   at   e a c h   p a s s   of   t h e   t i m e   s e r i e s .   T h e   NAR   f i l t e r   m o de l   is   us e d   to   de v e l o p   t h e   p r o po s e d   pr e di c t   m e t h o d   in   t h i s   p a pe r .   T h e   n e ura l   n e t w o r k   a r c h i t e c t ur e   c o n s i s t s   of   t hr e e   s e c r e t   (w i t h   15 ,   8,   a n d   4   n e u r o n s   r e s pe c t i v e l y )   a n d   o n e   o ut put   n e u ro n   w i t h   lx   i n pu t s   t h a t   r e f l e c t   t h e   n u m b e r   of   i n pu t   de l a y s .   T h e   L e ve n b e r g - M a r qu a r d t   m e t h o d   is   t h e   b a s i s   for   t h e   l e a rn i ng   rul e   us e d   in   t h e   pr o c e dur e .   T h e   l e a rn i ng   r u l e   in   t hi s   m o de l ,   on   t h e   o t h e r   ha n d,   c h a nge s   t h e   n um b e r   of   pa t t e rn s   a n d   i t e ra t i o n s   at   e a c h   t i m e   l e v e l .   T h e   f i r s t   de l a y   is   t a ke n   f r o m   t h e   t a ppe d - l i n e   xn   a n d   us e d   as   f e e d b a c k   to   e s t i m a t e   t h e   s e r i e s   xe   o n e   s t e p   a h e a d.   As   a   r e s ul t ,   t h e   pe r f o r m a n c e   p r e di c t i o n   can   be   w r i t t e n   a s :             F i gu r e   1 .   T r a i n i ng  t i m e   s e ri e s   w i t t h e   f o r e c a s t e v a l ue s       X e (n+ 1)= F p (Z - 1I({ X n } ))   ( 5 )     xe (n + 1)   is   t h e   pe r f o r m a n c e   p r e di c t i o n   at   n+ 1 ,   a n d   Fp   is   t h e   no n l i n e a r   p r e di c t o r   f i l t e r   o pe r a t o r.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r e di c t i ng   t e m pe r a t ur e   of   e r b i l   c i t y   a ppl y i ng   d e e p   l e ar ni ng  a nd  n e ur al   ne t w or k   ( Sar dar   M.   R .   K   A l - J um ur )   949   F i gu r e   2   pr o v i de s   t h e   pe r f o r m a n c e   of   N A R   b a s e d   on   t h e   n u m b e r   of   i t e r a t i o n s .   F r o m   t h e   f i gur e ,   it   is   c l e a r   t ha t   t h e   pe r f o r m a n c e   of   t h e   NAR   is   s t a b l e   w h e n   t h e   num b e r   of   i t e r a t i o n s   is   i n c r e a s i ng.   F r o m   F i gu r e   3   pr e s e nt s   t h e   R M S E   of   t h e   N A R ,   i t ' s   c l e a r   t ha t   if   t h e   de l a y   t i m e   t i l l   5   de l a y   time   t h e   R M S E   is   s t a b l e .     F i gu r e   s h o w s   h ow   A da l i n e   w a s   us e t o   c o m pa r e   a c t ua l   a nd  p r e di c t e r e s ul t s .   W e a t h e r   v a l ue   p( t ) ,   w h i c h   e nt e r s   f r o m   t h e   l e f t   i n t o   a   t a ppe de l a y   l i n e   w i t h   t h e   l i n e a r   a c t i v a t i o n   f un c t i o n   i n   t h e   o ut put   l a y e r ,   i s   t h e   s i g n a l   t o   b e   pr e di c t e h e r e .   T h e   p r e v i o us   t w o   v a l ue s   of   (t a r e   a v a i l a b l e   a s   o ut put s   f r o m   t h e   t a ppe de l a y   l i n e .   T h e   n e t w o r us e s   t o   a da pt   t h e   c ha n ge   t h e   w e i g h t s   o e a c h   t i m e   s t e t o   m i ni m i z e   t h e   e rr o r   e   (t o n   t h e   f a r   ri g h t .   If   t h i s   e rr o r   i s   0 ,   t h e   n e t w o r o ut put   a   ( t i s   e xa c t l y   e qua l   t o   (t ),   a nd  t h e   n e t w o r ha s   do n e   i t s   pr e di c t i o p r o pe r l y .   G i v e n   t h e   a u t o c o r r e l a t i o n   f un c t i o o t h e   s t a t i o n a r y   ra n do m   p r o c e s s   (t ) ,   y o c a n   c a l c ul a t e   t h e   e rr o r   s u r f a c e ,   t h e   m a xi m u m   l e a rni n r a t e ,   a nd   t h e   o pt i m um   v a l ue s   o f   t h e   w e i gh t s .   A f t e r   i t   i s   i n i t i a l i z e a n d   o pe ra t e d,   t h e   n e t w o r a d a pt s   a t   e a c h   t i m e   s t e t o   m i n i m i z e   t h e   e rr o r   a n i n   a   r e l a t i v e l y   s h o r t   t i m e   c a p r e di c t   t h e   i n pu t   p( t ).   F i gu r e   5   p r e s e n t   t h e   R M S E   o f   A da l i n e F i na l l y ,   t h e   pe r f o r m a n c e   r e s ul t s   o G R N N   i s   pr e s e n t e i n   t h e   F i gu r e   w hi c de pi c t e t h e   v a ri a t i o n   o f   pe r f o r m a n c e   w i t h   r e s pe c t   of   s pr e a di ng  f a c t o r   f o r   di f f e r e n t   n u m b e r   o f   i n pu t s   ( n u m b e r   o f   y e a r s ).   T h e   b e s t   pe r f o r m a n c e   i s   a t t a i n e us i n g   16  y e a r s   r e c o r w i t h   a   s p r e a di ng  f a c t o r   of   0. 782.   T h e   di f fe r e n c e   b e t w e e n   pr e di c t e da t a   a n r e a l   da t a   h a s   b e e de pi c t e i F i gu r e   7.           F i gu r e   2.   P e r f o r m a n c e   o f   N A R           F i gu r e   3.   R M S E   o f   N A R       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     944   -   95 2   950       F i gu r e   4 .   Co m p a r i s o o f   t h e   r e a l   a nd  p r e d i c t i n g   d a t a   o f   a da l i n e           F i gu r e   5.   R M S E   o f   a da l i n e         F i gu r e   6 .   P e r f o r m a n c e   o f   G R N N   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r e di c t i ng   t e m pe r a t ur e   of   e r b i l   c i t y   a ppl y i ng   d e e p   l e ar ni ng  a nd  n e ur al   ne t w or k   ( Sar dar   M.   R .   K   A l - J um ur )   951       F i gu r e   7 .   T h e   c o m pa r i s o n   b e t w e e n   r e a l   a n d   p r e di c t e v a l ue       5.   C O N C LU S I O N   In   t h i s   r e s e a r c h   w o r k,   f o ur   a l go r i t hm s   a r e   p r e s e nt e d.   T h e   L S T M   m o de l ,   N A R X   m o de l ,   a n A da l i n e   n e u r a l   n e t w o r w i t h   G R N N   f o r   pr e di c t i n t h e   t e m pe ra t u r e   o f   E r b i l   c i t y .   V a r i o us   r e l a t e m e t h o ds   ga t h e r   da t a   a c c o r di n t o   s pe c i f i c   r e gi o n s ,   w h e r e a s   i t hi s   w o r da t a   h a s   b e e n   ga t h e r e f r o m   30  di f f e r e n t   w e a t h e r   s t a t i o n s .   T h e   a n a l y s i s   of   t h e   da t a   t e m pe ra t u r e   t hr o ug h   t h e   n e u r a l   n e t w o r a n a   r e c u rr e nt   n e u r a l   n e t w o r m o de l   ha s   b e e n   de v e l o pe d.   In   t hi s   pa pe r,   i m p r o v e a r c hi t e c t u r e s   o n   t h e   n e u r a l   n e t w o r a r e   p r e s e nt e w i t h   t ra d i t i o n a l   o n e s   (G R N N s u c h   a s   l i ke   A D A L IN E ,   N A R   n e ur a l   n e t w o r ks ,   a n L S T M   r e c u rr e nt   n e ura l   n e t w o r ks ,   t h e   purpo s e   of   w h i c h   w a s   t o   c o m pa r e   t h e   e f fe c t i ve n e s s   of   v a r i o us   pr e di c t i o n   m e t h o ds .   O b t a i n e r e s ul t s   i l l us t r a t e   t h a t   t h e   p r o po s e n e ur a l   n e t w o r a l go ri t hm s   o pt i m i z e   t h e   e rr o r   b e t t e r   t h a n   t h e   s t a t i s t i c a l   m e t h o ds   a nd  t h e   t r a d i t i o n a l   o n e (G R N N fo r   t h e   d a t a s e t   f o r   w e a t h e r   c o l l e c t e f r o m   (19 92 - 201 6)  f r o m   K R G   m e t e o r o l o gi c a l   o r ga ni z a t i o n   a n d   s e i s m o l o g y .       R EF ER EN C ES   [ 1]   S ha ha b   W a hha b   K a r e e m   a nd   M e hm e t   C ud i   O ku r ,   E v a l u a t i o n   of   B a y e s i a n   N e t w o r k   S t r uc t u r e   L e a r n i ng   U s i ng   E l e p ha n t   S w a r m   W a t e r   S e a r c h   A l g o r i t hm ,   em   H andb ook   of   R e s e ar c h   on   A dv anc e m e nt s   of   Sw ar m   I n t e l l i ge nc e   A l go r i t hm s   f or   So l v i ng   R e al - W or l d   P r ob l e m s ,   C ha p t e r   8,   I G I   G l o ba l ,   p p.   139 - 15 9 ,   202 0,   do i :   10. 4 018 / 978 - 1 - 799 8 - 3222 - 5. c h0 08 .     [ 2]   N a z m ul   S i dd i q ue   a n d   H o j j a t   A de l i ,   C o m put a t i o na l   I nt e l l i g e nc e :   S y ne r g i e s   of   F u z z y   L o g i c ,   N e ur a l   N e t w o r ks ,   a n d   E v o l ut i o na r y   C om put i ng , ”  F i r s t   E di t i o n,   W e s t   S u s s e x,   P O 19   8 S Q ,   U ni t e d   K i ng do m :   J o hn   W i l e y   &   S o ns ,   L t d,   2013 .     [ 3]   P e t e r   J.   B r o c kw e l l   R i c ha r d   A.   D a v i s ,   I nt r o duc t i o n   to   T i m e   S e r i e s   a n d   F o r e c a s t i ng , ”  S e c o nd   E d i t i o n,   N e w   Y o r k ,   I n c :   S pr i ng e r - V e r l a g . ,   200 2.     [ 4]   S ha ha b   W a hha b   K a r e e m   a nd   M e hm e t   C udi   O k ur ,   P i g e o n   I ns pi r e d   O pt i m i z a t i o n   of   B a y e s i a n   N e t w o r k   S t r uc t ur e   L e a r ni ng   a nd   a   C o m pa r a t i v e   E v a l u a t i o n,   J o ur n al   of   C og ni t i v e   Sc i e nc e ,   pp.   53 5 - 552,   4   20   2019 ,   do i :   10. 1 7791 / j c s . 20 19 . 20 . 4 . 535 .     [ 5]   S ha ha b   W a hha b   K a r e e m ,   M e hm e t   C u di   O ku r ,   S t r uc t ur e   L e a r n i n g   of   B a y e s i a n   N e t w o r k s   U s i ng   E l e p ha n t   S w a r m   W a t e r   S e a r c h   A l g o r i t hm ,   I n t e r na t i ona l   J our n al   of   Sw ar m   I n t e l l i ge nc e   R e s e ar c h ,   p p.   19 - 30 ,   2   11   20 20 ,   do i :   10. 4 018 / I J S I R . 202004 0102 .     [ 6]   M a n   G a l i h   S a l m a n ,   B a y u   K a ni g o r o ,   Y a y a   H e r y a di ,   W e a t he r   F o r e c a s t i ng   us i ng   D e e p   L e a r n i ng   T e c hni q ue s ,   em   I C A C SI S   2 015 ,   I ndo ne s i a ,   20 15 ,   do i 10. 110 9/ I C A C S I S . 2015. 74 15 154 .     [ 7]   M a q s o o d,   I . ,   M.   R.   K ha n ,   a nd   A.   A br a ha m ,   A n   e ns e m bl e   of   ne ur a l   ne t w o r ks   f o r   w e a t he r   f o r e c a s t i ng ,   N e ur a l   C om put i ng   &   A pp l i c at i on s ,   p p.   11 2 - 122 ,   2   13   2 004 ,   do i 10. 10 07/ s 00521 - 00 4 - 0413 - 4 .     [ 8]   S ha ha b   W a hh a b   K a r e e m ,   R a g ha d   Z uh a i r   Y o us i f ,   S ha d a n   M o ha m m e d   J i h a d   A bda l w a h i d ,   " A n   a pp r o a c h   f o r   e nha nc i ng   da t a   c o nf i de n t i a l i t y   in   H a do o p, "   I ndone s i a n   J o ur na l   of   E l e c t r i c al   E ngi ne e r i ng   an d   C om pu t e r   Sc i e nc e   ( I J E E C S) ,   pp .   1547 - 15 55 ,   3   20   2 020 ,   do i 10. 11 591 / i j e e c s . v 20. i 3 . p p1547 - 15 55 .     [ 9]   R a nz a t o ,   M . ,   Y . ,   B o ur e a u ,   C ho pr a ,   S . ,   a n L e C un ,   Y ,   "A   uni f i e d   e n e r g y - ba s e d   f r a m e w o r k   f o r   un s up e r v i s e d   l e a r n i ng , "   em   AI - S t a t s ,   2009 .     [ 10]   C he n,   S . M . ,   a nd   J. R.   H w a ng . ,   T e m pe r a t u r e   p r e d i c t i o n   us i ng   f uz z y   t i m e   s e r i e s ,   em   Sy s t e m s ,   M a n,   and   C y be r ne t i c s ,   P ar t   B:   C y be r ne t i c s   I E E E   T r an s ac t i ons   on ,   v o l .   30,   no .   2,   pp .   26 3 - 275 ,   200 0 ,   do i 10. 1 109 / 347 7. 8363 75 .     [ 11]   N.   P ,   A r t i f i c i a l   F o r e c a s t i ng   in   S t a t i s t i c a l   D o w ns c a l i ng , "   T he s i s ,   I n do ne s i a :   I ns t i t ut   P e r t a n i a n   B o g o r ,   200 4.     [ 12]   K w o ng ,   K.   M . ,   L i u,   J.   N.   K . ,   C ha n ,   P.   W . ,   a nd   L e e ,   R ,   " U s i ng   L I D A R   D o ppl e r   v e l o c i t y   da t a   a nd   c ha o t i c   o s c i l l a t o r y - ba s e d   n e u r a l   ne t w o r k   f o r   t he   f o r e c a s t   of   t he   m e s o s c a l e   w i n d   f i e l d , "   em   2008   I E E E   C ong r e s s   on   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   22 ,   N o .   2 M a y   202 1   :     944   -   95 2   952   E v ol ut i ona r y   C om pu t at i on   ( I E E E   W or l d   C o ngr e s s   on   C om put at i ona l   I nt e l l i ge nc e ) ,   H o ng   K o n g ,   2008 ,   do i 10. 1 109 / C E C . 2008 . 4 6310 64 .     [ 13]   B e l a y ne h,   " S t a nda r d   P r e c i pi t a t i o n   I nde x   D r o ug ht   F o r e c a s t i ng   U s i n g   N e ur a l   N e t w o r k s ,   W a v e l e t   N e ur a l   N e t w o r ks ,   a nd   S u ppo r t   V e c t o r   R e g r e s s i o n , "   H i nd aw i   P ubl i s hi ng   C o r po r at i o n   A pp l i e d   C om p ut a t i ona l   I nt e l l i ge nc e   and   S of t   C om put i ng   V o l um e ,   201 2 ,   do i 10. 1155 / 20 12 / 794 061 .     [ 14]   M a n   G a l i h   S a l m a n,   B a y u   K a ni g o r o ,   a nd  Y a y a   H e r y a di ,   W e a t he r   F o r e c a s t i ng   us i ng   D e e p   L e a r n i ng   T e c hni que s ,   em   I C A C SI S ,   I E E E ,   20 15 ,   do i 10. 1109 / I C A C S I S . 2015 . 741 5154 .     [ 15]   N i t i n   S i ng h,   S a u r a bh   C h a t ur v e d i ,   S ha m i m   A kht e r ,   W e a t h e r   F o r e c a s t i ng   U s i ng   M a c hi ne   L e a r n i ng   A l g o r i t hm ,   em   Si gn al   P r oc e s s i ng   and   C om m u ni c at i o n   ( I C SC ) ,   I nt e r na t i ona l   C onf e r e nc e   on,   I E E E ,   I ndi a ,   20 19 ,   do i 10. 1 109 / I C S C 45622. 2019 . 89 3821 1 .     [ 16]   P r a d e e p   H e w a g e ,   M a r c e l l o   T r o v a t i ,   E l l a   P e r e i r a ,   a nd   A r dhe nd u   B e he r a ,   D e e p   l e a r ni ng - ba s e d   e f f e c t i v e   f i ne - g r a i ne d   w e a t he r   f o r e c a s t i ng   m o de l ,   P at t e r n   A na l y s i s   and   A p pl i c at i ons ,   p.   S p r i ng e r ,   2020 ,   do i 10. 10 07 / s 10 044 - 020 - 0089 8 - 1 .     [ 17]   A di t y a   G r ov e r ,   A s hi s h   K a po o r ,   a n d   E r i c   H o r v i t z ,   “A   D e e p   H y br i d   M o de l   f o r   W e a t he r   F o r e c a s t i ng ,   em   K D D 1 5,   A ugus t   10 - 13 ,   S y dne y ,   2015 ,   do i 10. 114 5/ 2783 258 . 278 3275 .     [ 18]   S.   H a y ki n,   N e u r a l   N e t w o r ks :   A   C om pr e he n s i v e   F o un da t i o n,   2nd   e di t i o n,   C a na d a :   P e a r s o n   P r e n t i c e   H a l l :   H a m i l t o n,   199 9.     [ 19]   S a m i   H.   I s m a e l ,   S ha ha b   W a hha b   K a r e e m ,   a n F i r a s   H.   A l m uk ht a r ,   M e di c a l   I m a g e   C l a s s i f i c a t i o n   U s i ng   D i f f e r e nt   M a c hi n e   L e a r n i ng   A l go r i t hm s ,   AL - R a f i dai n   J ou r na l   of   C om put e r   Sc i e nc e s   an d   M a t he m at i c s ,   p p.   1 35 - 147 ,   1   14   2020 ,   do i 10. 338 99 / c s m j . 2020 . 16 468 2 .     [ 20]   A m i n   S a l i h   M o ha m m e d ,   S ha ha b   W a hh a b   K a r e e m ,   A hm e d   kha z a l   al   a z z a w i ,   a nd   M.   S i v a r a m ,   T i m e   S e r i e s   P r e d i c t i o n   U s i ng   S R E -   N A R   a nd   S R E -   A D A L I N E ,   J our   of   A d v   R e s e ar c h   in   D y nam i c a l   &   C ont r ol   Sy s t e m s ,   12   10   2018 .     [ 21]   M.   A.   R i z ki n a ,   D.   A d y t i a   a n d   N.   S ub a s i t a ,   M.   A.   R i z ki na ,   D.   A dy t i a ,   a nd   N.   S uba s i t a ,   " N o nl i ne a r   A ut o r e g r e s s i v e   N e ur a l   N e t w o r k   M o de l s   f o r   S e a   L e v e l   P r e di c t i o n,   S t u dy   C a s e :   in   S e m a r a ng ,   I ndo ne s i a , "   20 19 ,   em   7t h   I nt e r n at i on al   C onf e r e nc e   on   I n f o r m at i on   an d   C om m u ni c at i on   T e c hn ol o gy   ( I C oI C T ) ,   K ua l a   L um pur ,   I ndo ne s i a ,   20 19 ,   do i 10. 1 109 / I C oI C T . 2019. 8835 307 .     [ 22]   S.   N e t s a ne t ,   J.   Z h a ng ,   a nd   D.   Z h e ng ,   S ho r t   t e r m   l o a d   f o r e c a s t i ng   us i ng   w a v e l e t   a ug m e nt e d   no n - l i ne a r   a ut o r e g r e s s i v e   ne u r a l   n e t w o r k s :   A   s i ng l e   c us t o m e r   l e v e l   pe r s pe c t i v e ,   em   I E E E   3r d   I n t e r nat i o nal   C o nf e r e nc e   on   B i g   D at a   A nal y s i s   ( I C B D A ) ,   S ha ng ha i ,   2018 ,   do i 10. 1 109 / I C B D A . 2018 . 836 7717 .     [ 23]   C ho w dhur y ,   K.   N g u y e n,   C.   F o o ke s ,   a nd   S.   S r i dh a r a n,   “A   c a s c a de d   l o ng   s ho r t - t e r m   m e m o r y   ( L S T M )   dr i v e n   g e ne r i c   v i s ua l   que s t i o n   a n s w e r i ng   ( V Q A ) ,   em   20 17   I E E E   I nt e r na t i ona l   C onf e r e nc e   on   I m age   P r oc e s s i n g   ( I C I P ) ,   B e i j i ng ,   pp   1 842 - 184 6,   20 17 ,   do i 10 . 110 9/ I C I P . 2017 . 829 6600 .     [ 24]   L u,   Q.   Z ha ng ,   Z.   Y a ng ,   a n d   M.   T u,   " A   h y br i d   m o de l   ba s e d   on   c onv o l ut i o na l   ne ur a l   ne t w o r k   a n d   l o ng   s ho r t - t e r m   m e m o r y   f o r   s ho r t - t e r m   l o a d   f o r e c a s t i ng , "   em   2019   I E E E   P ow e r   &   E n e r gy   Soc i e t y   G e ne r al   M e e t i ng   ( P E SG M ) ,   A t l a nt a ,   G A ,   U S A ,   p p.   1 - 5,   2019 ,   do i 10. 11 09 / P E S G M 405 51. 2019 . 897 3549 .     [ 25]   L i ,   S.   D a i ,   a nd   Z.   C a o ,   " D e e p   L o ng   S ho r t - t e r m   M e m o r y   ( L S T M )   N e t w o r k   w i t h   S l i d i ng - w i ndo w   A ppr o a c h   in   U r ba n   T he r m a l   A na l y s i s , "   em   I E E E / C I C   I n t e r nat i o nal   C on f e r e nc e   on   C om m un i c at i on s   W or k s hops   in   C h i na   ( I C C C   W or k s hops ) ,   C h a ng c hun,   C hi na ,   2019 ,   do i 10. 1 109 / I C C C hi na W . 2 019. 8849 965 .     [ 26]   K.   V e r m a   a nd   V.   K up pi l i ,   D a t a - o r i e n t e d   N e ur a l   T i m e   S e r i e s   w i t h   L o ng   S ho r t - T e r m   M e m o r i e s   ( L S T M )   f o r   M a l a r i a   I nc i de nc e   P r e d i c t i o n   in   G o a ,   I ndi a ,   em   1 0t h   I n t e r na t i ona l   C onf e r e nc e   on   C om pu t i ng ,   C om m un i c at i on   and   N e t w or k i ng   T e c hno l og i e s   ( I C C C N T ) ,   K a npu r ,   2 019 .     [ 27]   T o ng t a   a nd   K.   C ho o r ua ng ,   L o ng   S ho r t - T e r m   M e m o r y   ( L S T M )   N e ur a l   N e t w o r ks   A ppl i e d   to   E ne r gy   D i s a g g r e g a t i o n ,   em   8t h   I nt e r n at i ona l   E l e c t r i c a l   E ng i ne e r i ng   C on gr e s s   ( i E E C O N ) ,   C hi a ng   M a i ,   T ha i l a nd ,   2020 ,   do i 10. 1109 / I C C C N T 45670. 2019 . 8 9447 49 .     [ 28]   G hl i b,   Y.   M e s s l e m ,   a nd   Z.   C h e d j a r a ,   " A D A L I N E - B a s e d   S p e e d   C o nt r o l   F o r   I nduc t i o n   M o t o r   D r i v e , "   em   i nt e r n at i on al   C o nf e r e nc e   on   A d v anc e d   E l e c t r i c al   E ngi ne e r i ng   ( I C A E E ) ,   A l g e r i a ,   2 019 ,   do i 10. 1 109 / I C A E E 47123. 2 019 . 90 1516 2 .     [ 29]   G.   N.   K o uz i o ka s ,   L o n g   S ho r t - T e r m   M e m o r y   ( L S T M )   D e e p   N e ur a l   N e t w o r k s   in   E ne r gy   A ppl i a nc e s   P r e d i c t i o n,   em   P anhe l l e ni c   C on f e r e nc e   on   E l e c t r o ni c s   &   T e l e c om m uni c at i ons   ( P A C E T ) ,   V ol os ,   G r e e c e ,   20 19 ,   do i 10. 1 109 / P A C E T 48583 . 20 19 . 895 6252 .     [ 30]   Qu   X i a o y un,   K a ng   X i a o n i ng ,   Z h a ng   C ha o ,   J i a ng   S hu a i ,   a nd   Ma   X i ud a ,   " S ho r t - t e r m   pr e di c t i o n   of   w i nd   po w e r   ba s e d   on   de e p   L o ng   S ho r t - T e r m   M e m o r y , "   em   I E E E   P E S   A s i a - P ac i f i c   P ow e r   and   E ne r gy   E ngi ne e r i ng   C onf e r e nc e   ( A P P E E C ) ,   X i ' a n,   pp .   1 148 - 115 2,   20 16 ,   do i 10 . 110 9/ A P P E E C . 2 01 6. 77 7967 2 .     [ 31]   L i ,   H.   C h e n,   T.   Z ho u,   a nd   X.   L i ,   " T a i l i ng s   P o nd   R i s k   P r e d i c t i o n   U s i ng   L o ng   S h o r t - T e r m   M e m o r y   N e t w o r ks , "   I E E E   A c c e s s ,   pp .   1825 27 - 1825 37 ,   7   2 019 ,   do i 10. 11 09/ A C C E S S . 2 019. 2959 820 .     Evaluation Warning : The document was created with Spire.PDF for Python.