I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   42 ,   N o .   1 A p r i l   20 26 ,   p p.   1 83 ~ 1 93   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 42. i 1 . pp 1 83 - 1 93             183     Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   E v a l u a t i n g   h y b r i d   a n d   st a n d a r d   d e e p   l e a r n i n g   m o d e l f o r   m a x i m u m   t e m p e r a t u r e   f o r e c a st i n g   i n   a   sem i - a r i d   r e g i o n       O u s s a m Ze m n az i 1 ,   S an aa   El   F i l a l i 1 ,   S ar O u ah ab i 1 ,   A b d e r r ah i m   M o u h tad i 2   1 L a b o ra t o ry   o A rt i f i c i a l   I n t e l l i g e n c e   a n d   S y s t e m s ,   F a c u l t y   o S c i e n c e s   B e n   M S i c k ,   U n i v e r s i t y   H a s s a n   II     Ca s a b l a n c a ,     Ca s a b l a n c a ,   M o ro c c o   2 G e n e ra l   D i re c t o ra t e   o M e t e o ro l o g y ,   Ca s a b l a n c a ,   M o r o c c o       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J ul   28 20 25   R e v i s e F e b   27 202 6   A c c e pt e M a r   4 2026       T e m pe r a t ur e   f o r e c a s t i ng   i s   i m po r t a n t   f o r   i nd us t r i e s   a f f e c t e by   c l i m a t e ,   e s pe c i a l l y   i n   s e m i - a r i d   r e g i o ns   w he r e   t h e   w e a t he r   c a n   c ha ng e   qu i c kl y   a nd   i s   ha r d   t o   pr e di c t   o v e r   t i m e .   M a ny   s t ud i e s   h a v e   e xa m i ne d   v a r i o us   d e e l e a r n i ng   m o de l s ,   i nc l udi ng   l o ng   s ho r t - t e r m   m e m o r y   ( L S T M ) ,   g a t e r e c u r r e nt   un i t   ( G R U ) ,   c o nv o l ut i o na l   ne u r a l   ne t w o r ks   ( C N N s ) ,   a nd   t r a ns f o r m e r - ba s e d   hy br i ds .   H o w e v e r ,   t he i r   pe r f o r m a nc e   i da t a - l i m i t e s e m i - a r i e nv i r o nm e nt s   i s   o f t e u nc l e a r   a nd   i nc o n s i s t e n t .   T h i s   s t udy   c o m pa r e s   s i x   d e e p   l e a r ni ng   m e t ho ds   f o r   p r e d i c t i ng   da i l y   m a xi m um   t e m pe r a t u r e s   i n   S e t t a t ,   M o r o c c o .     I t   us e s   11   y e a r s   o f   g r o und - o bs e r v e m e t e o r o l o g i c a l   da t a .   T h e   m o de l s   e xa m i ne d   i nc l ud e   a   ba s e l i n e   a r t i f i c i a l   ne u r a l   ne t w o r ( A N N )   a n f i v e   h y br i s t r uc t ur e s :   A N N - L S T M ,   A N N - G R U ,   A N N - C N N ,   A N N r a ndom   f o r e s t   ( R F ) ,   a nd  A N N - t r a n s f o r m e r .   T he   r e s u l t s   i nd i c a t e   t ha t   t he   A N N   pe r f o r m s   t he   be s t   o v e r a l l ,   w i t h   M A E   =   0 . 04 32,   r o o t   m e a s qua r e   e r r o r   ( R M S E )   =   0. 0 543 ,   a nd   R ²   =   0. 8 820 .   I t   s ur p a s s e s   a l l   hy br i d   m o de l s .   W he n   us i ng   a   r e l a t i v e   i m pr o v e m e nt   m e t r i c ,   t h e   A N N   s ho w s   a c c ur a c y   g a i ns   o f   3 2%   t o   42 %   c om pa r e d   t o   t he   r e c ur r e n t ,   c o nv o l ut i o na l ,   a n d   a t t e nt i o n - ba s e hy br i ds .   T he s e   r e s ul t s   s ug g e s t   t ha t   i s e m i - a r i c l i m a t e s ,   w he r e   m a x i m um   t e m pe r a t u r e   m a i n l y   de pe nds   o t h e   s a m e - da y   a t m o s phe r i c   c o ndi t i o ns ,   s i m p l e r   f e e df o r w a r m o de l s   w o r b e t t e r   t ha n   m o r e   c o m pl e t e m po r a l   m o de l s .     T he   s t udy   unde r s c o r e s   t he   ne e d   t o   m a t c h   m o de l   c o m pl e xi t y   w i t h   c l i m a t i c   f a c t o r s   a nd   da t a s e t   s i z e ,   o f f e r i ng   a   us e f ul   be nc hm a r f o r   t e m pe r a t u r e   f o r e c a s t i ng   i n   r e g i o ns   w i t h   l i m i t e d a t a .   Ke y w or d s :   D e e l e a rni n g   H y b r i m o de l s   S e m i - a ri c l i m a t e s   T e m pe ra t u r e   f o r e c a s t i n g   T i m e   s e ri e s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   O us s a m a   Z e m n a z i   L a bo r a t o r y   of   A r t i f i c i a l   I nt e l l i ge n c e   a n d   S y s t e m s ,   F a c ul t y   of   S c i e n c e s   B e n   M S i c k   U n i v e r s i t y   H a s s a n   II     Ca s a b l a n c a   Ca s a b l a n c a ,   M o r o c c o   E m a i l :   o us s a m a . z e m na z i - e t u @ e t u. u n i v h 2c . m a       1.   I N TR O D U C TI O N   T e m pe ra t u r e   f o r e c a s t i n pl a y s   a   c r i t i c a l   r o l e   i a g r i c ul t u re ,   w a t e r e s o ur c e   m a na ge m e n t ,   e n e r gy   pl a nni n g ,   a nd  c l i m a t e - r e l a t e d   de c i s i o n - m a k i n g.   I t s   i m po rt a n c e   i s   p a r t i c ul a rl y   pr o n o un c e i s e m i - a r i d   r e gi o n s ,   w h e r e   m e t e o r o l o gi c a l   c o n di t i o n s   a r e   c ha r a c t e r i z e d   by   s t r o n g   da y - to - da y   v a r i a b i l i t y ,   l a r ge   t h e rm a l   a m p l i t ude s ,   a nd  i rr e gu l a a t m o s ph e r i c   b e h a v i o r.   T h e s e   c h a ra c t e ri s t i c s   r e duc e   l o n g - t e rm   p r e di c t a b i l i t y   a nd  m a ke   t e m pe r a t u r e   e v o l ut i o n   l a r ge l y   de pe n de n t   o n   s a m e - da y   a t m o s ph e r i c   c o n di t i o n s ,   a s   do c um e nt e i s t udi e s   o da i l y   t e m pe ra t u r e   v a r i a b i l i t y   a n d   c l i m a t e   e xt r e m e s   [1] .   T r a d i t i o n a l   n u m e ri c a l   w e a t h e p r e di c t i o (N W P m o de l s   r e l y   o n   c o m pl e x   p h y s i c a l   e qua t i o n s   a n d   l a r ge - s c a l e   s i m ul a t i o n s ;   h o w e ve r ,   t h e i pe r f o r m a n c e   i s   o f t e l i m i t e d   i d a t a - s pa r s e   r e gi o n s   a n d   r e m a i n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   42 ,   N o .   1 A p r i l   20 26 1 83 - 1 93   184   hi g h l y   s e n s i t i v e   t o   i ni t i a l   c o n di t i o n s   [2] .   A s   a   r e s ul t ,   da t a - d ri v e n   a pp r o a c h e s   b a s e o m a c h i n e   l e a rni n g   a n de e l e a rni n g   ha v e   e m e r ge d   a s   p r o m i s i ng   a l t e rn a t i v e s   c a pa b l e   of   c a pt u ri n g   n o n - l i n e a r e l a t i o n s h i ps   di r e c t l y   f r o m   h i s t o r i c a l   m e t e o r o l o gi c a l   o b s e r v a t i o n s   [3] [6] .   In  r e c e n t   y e a r s ,   s e v e r a l   de e l e a rni n a pp l i c a t i o n s   t o   t e m pe ra t u r e   a n d   w e a t h e r   p r e di c t i o ha v e   b e e n   pr o po s e d.   R e c urr e nt   n e u ra l   n e t w o r ks   (R N N s ),   i n   p a r t i c ul a r   l o n g   s h o r t - t e r m   m e m o r y   (L S T M )   a n d   ga t e r e c urr e nt   un i t   (G R U n e t w o r ks ,   a r e   c o m m o n l y   us e f o r   t he i c a pa c i t y   t o   m o de l   t i m e   de pe n de n c y   a m o ng  s e que n t i a l   da t a   [7] ,   [8] .   T h e i p r e di c t a b i l i t y   s t udi e s   a n d   l i m i t a t i o n s   i n   p r e di c t i o n   a ppl i c a t i o n s   ha v e   be e n   w e l l   e xa m i n e i n   p r e v i o us   w o r ks   [9] .   Co n v o l ut i o na l   n e u ra l   ne t w o r ks   (CN N s ha v e   a l s o   b e e n   c o n s i de r e i m e t e o r o l o gi c a l   a pp l i c a t i o n s ,   e s pe c i a l l y   i n   w e a t h e r a da r   a n d   n o w c a s t i n t a s ks ,   w h e r e   l o c a l i z e s pa t i a l   o r   f e a t ur e - l e v e l   pa t t e rn s   pl a y   a n   i m po rt a nt   r o l e   [10] ,   [11] .   M o re   r e c e n t l y ,   a t t e n t i o n - b a s e a r c h i t e c t ur e s   s uc h   a s   t r a n s f o r m e r s   ha v e   de m o n s t r a t e s t r o n g   pe r f o r m a n c e   i l o n g - s e que n c e   f o r e c a s t i n g   p r o b l e m s   a nd   h a v e   a t t ra c t e g r o w i n g   i nt e r e s t   i w e a t h e r   a n d   c l i m a t e   p r e di c t i o r e s e a r c [12] [ 14] .   N e v e r t h e l e s s ,   t h e   e ffe c t i ve n e s s   of   t h e s e   m o de l s   r e m a i n s   s t r o n gl y   de pe n de nt   o da t a s e t   s i z e ,   c l i m a t i c   s t a b i l i t y ,   a n d   t h e   t e m po ra l   s t ruc t u r e   o f   t h e   t a rge t   v a r i a b l e .   D e s pi t e   t h e i g r o w i n g   po pul a ri t y ,   de e p   l e a rni n g - b a s e a ppr o a c h e s   e x h i b i t   s e v e r a l   l i m i t a t i o n s   r e po rt e i t h e   l i t e ra t u r e .   T h e   m a j o r i t y   of   pr e v i o us   w o r k   h a s   f o c us e o n   t e m pe r a t e ,   u r b a n ,   o d a t a - r i c h   r e gi o n s ,   w h e r e   m e t e o r o l o gi c a l   v a r i a b l e s   s h o w   r e l a t i v e l y   s t a b l e   pe ri o di c   b e h a v i o r.   S uc c o n di t i o n s   d i f f e r   s ub s t a n t i a l l y   f r o m   s e m i - a r i d   c l i m a t e s ,   w h e r e   t e m pe r a t u r e   f l uc t ua t i o n s   a r e   m o r e   e rra t i c   a nd  l e s s   g o v e r n e by   l o n g - t e rm   t e m po ra l   c o rr e l a t i o n s .   F u rt h e rm o r e ,   m a n y   s t udi e s   r e l y   o n   r e a na l y s i s   pr o duc t s   o g ri dde d a t a s e t s   t h a t   do   n o t   a de qua t e l y   r e p r e s e nt   s t a t i o n - b a s e o b s e r v a t i o n s   i d a t a - s pa r s e   r e gi o n s .   Co n s e que nt l y ,   t h e   e ffe c t i ve n e s s   of   c o m pl e h y b r i a r c h i t e c t u r e s   s uc a s   A N N L S T M ,   A N N G R U ,   A N N CN N ,   o t r a n s f o r m e r - b a s e m o de l s   r e m a i n s   u n c l e a r   i n   s e m i - a ri e n v i r o nm e nt s .   I n   a ddi t i o n ,   h e t e r o ge n e o us   pr e p r o c e s s i n s t r a t e gi e s ,   f e a t u r e   s e t s ,   a n d   e v a l ua t i o p r o t o c o l s   a r e   c o m m o n l y   e m pl oy e d,   m a k i n g   f a i a n d   c o n s i s t e n t   c o m pa r i s o n s   b e t w e e n   m o de l s   di f f i c ul t   a n d   o f t e n   l e a di ng  t o   i n c o n c l us i v e   f i n d i n gs   r e ga r d i n t h e   s upe r i o ri t y   o f   c o m pl e m o de l s   o v e r   s i m pl e o n e s   [3 ],   [ 15],   [16 ] .   T h i s   l a c o f   u n i f i e d   b e n c hm a rki n g   r e p r e s e n t s   a   c l e a r   r e s e a r c h   g a p .   T o   p r o v i de   b a c kgr o und   f o r   t h e   p r e s e nt   w o r k,   e x i s t i ng   de e l e a rn i ng - b a s e t e m pe ra t u r e   f o r e c a s t i ng  s t udi e s   a r e   s u m m a r i z e a n d   c o m pa r e d.   T a b l e   p r e s e n t s   a   no n - e xha us t i v e   s e l e c t i o n   o f   r e p r e s e n t a t i v e   s t udi e s ,   c h o s e n   t o   i l l us t r a t e   m a j o r   m e t h o do l o gi c a l   t r e nds   a n c o m m o n l y   r e po r t e l i m i t a t i o n s   i n   de e l e a rn i ng - b a s e t e m pe ra t u r e   a nd  w e a t h e r   f o r e c a s t i n g ,   r a t h e t h a t o   p r o vi de   a   c o m p r e h e n s i v e   s u r v e y .   T h i s   c o m pa r i s o hi g h l i g ht s   t h e   a b s e n c e   of   s y s t e m a t i c   a s s e s s m e nt s   c o n du c t e un de r   i de nt i c a l   e xpe ri m e n t a l   c o n di t i o n s ,   pa r t i c ul a rl y   fo r   s t a t i o n - b a s e da t a   i s e m i - a r i d   r e gi o n s .       T a b l e   1 .   R e pr e s e nt a t i v e   de e l e a rn i ng - b a s e t e m pe r a t u r e   a n d   w e a t h e r   f o r e c a s t i n g   s t ud i e s       T h e   o bj e c t i v e   of   t hi s   s t udy   i s   t o   c o n duc t   a   u n i f i e a nd  c o m pr e h e n s i v e   c o m pa r i s o o f   s i de e p   l e a rn i ng  m o de l s   f o r   da i l y   m a x i m um   t e m pe ra t u r e   f o r e c a s t i n g   i a   s e m i - a r i d   c l i m a t e .   U s i n g   11   y e a r s   o gr o u n d - o b s e r v e m e t e o r o l o gi c a l   d a t a   f r o m   S e t t a t ,   M o r o c c o,   t h e   pe r f o r m a n c e   o f   a   b a s e l i n e   a rt i f i c i a l   n e u ra l   n e t w o r (A N N )   i s   e v a l u a t e d   a g a i n s t   f i v e   h y b r i d   a r c h i t e c t u r e s :   A N N L S T M ,   A N N G R U ,   A N N CN N ,   ANN ra n do m   f o r e s t   (R F ) ,   a n A N N t ra n s f o r m e r.   A l l   m o de l s   a r e   a s s e s s e un de r   i de n t i c a l   p r e p r o c e s s i n pr o c e dur e s ,   f e a t u r e   s e t s ,   a nd  e v a l ua t i o m e t ri c s   t o   de t e r m i ne   w h e t h e r   i n c r e a s e m o de l   c o m pl e xi t y   l e a ds   t i m p r o v e fo r e c a s t i n a c c ura c y   i n   a   d a t a - l i m i t e d   s e m i - a r i d   c o nt e xt .   T h e   m a i c o n t ri b ut i o n s   o f   t hi s   s t u dy   a r e   s u m m a r i z e a s   f o l l ow s :   -   A   u n i f i e a n d   s y s t e m a t i c   b e n c h m a r ki ng  f ra m e w o r f o r   c om pa ri n m u l t i pl e   de e l e a rni n a r c h i t e c t ur e s   unde i de n t i c a l   p r e p r o c e s s i n p r o c e dur e s ,   f e a t ur e   s e t s ,   a n d   e v a l ua t i o m e t ri c s .   Y e a r   M e t h o d   D a t a   t y p e   S t r e n g t h s   L i m i t a t i o n s   2019   L S T M ,   G R U   [1 5 ]   M u l t i v a ri a t e   t i m e   s e r i e s   E ffe c t i v e   t e m p o ra l   m o d e l i n g   Re q u i r e s   l a r g e   d a t a s e t s ;   s e n s i t i v e   t o   c l i m a t i c   i rre g u l a ri t y   2020   CN N - b a s e d   n o w c a s t i n g   [1 0 ],   [1 1 ]   Ra d a m e t e o ro l o g i c a l   d a t a   Ca p t u r e s   l o c a l i z e d   s p a t i a l   p a t t e r n s   L i m i t e d   s u i t a b i l i t y   fo r   s t a t i o n - l e v e l   t a b u l a r   d a t a   2021   T ra n s fo r m e r/ I n f o r m e r   [1 3 ],   [1 4 ]   L o n g - s e q u e n c e   t i m e   s e r i e s   S t r o n g   l o n g - ra n g e   d e p e n d e n c y   m o d e l i n g   H i g h   d a t a   r e q u i r e m e n t s ;   s e n s i t i v i t y   t o   n o i s e   2020   W e a t h e rB e n c h   [1 7 ]   G l o b a l   g ri d d e d   re a n a l y s i s   U n i f i e d   b e n c h m a rk i n g   f ra m e w o rk   N o t   d e s i g n e d   fo s t a t i o n - b a s e d   s e m i - a r i d   re g i o n s   2018   M a c h i n e   l e a r n i n g   fo r   c l i m a t e   a n d   w e a t h e r   [3 ]   G l o b a l   c l i m a t e   d a t a s e t s   H i g h l i g h t s   m a c h i n e   l e a r n i n g   p o t e n t i a l   L i m i t e d   e v a l u a t i o n   i n   d a t a - s c a rc e   e n v i r o n m e n t s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       E v a l uat i ng   hy br i d   and   s t and ar d e e p   l e ar n i ng  m ode l s   f or   m a x i m um   t e m pe r at ur e     ( O us s am Z e m naz i )   185   -   A e m p i r i c a l   e v a l ua t i o de m o n s t ra t i n g   t h a t   a   s i m p l e   f e e dfo r w a r d   A N N   c a o ut pe r f o r m   m o r e   c o m pl e h y b r i a r c hi t e c t u r e s   i da i l y   m a x i m um   t e m pe ra t u r e   f o r e c a s t i n g   f o r   a   s e m i - a ri c l i m a t e .   -   A   qu a n t i t a t i v e   a na l y s i s   of   r e l a t i v e   pe r f o r m a n c e   d i f fe r e n c e s ,   hi g h l i g ht i n g   t h e   l i m i t e d   b e n e f i t s   o f   t e m po ra l   a n a t t e n t i o n - b a s e m o de l s   i e n v i r o n m e n t s   c ha ra c t e ri z e b y   w e a m ul t i - da y   de pe n de n c i e s .   -   A   c l i m a t e - a w a r e   i n t e r p r e t a t i o n   o f   t h e   r e s ul t s ,   e xpl a i ni n g   w hy   s a m e - da y   a t m o s p h e ri c   c o n di t i o n s   do m i na t e   t e m pe ra t u r e   v a ri a b i l i t y   i n   s e m i - a ri r e g i o n s .   -   A   p ra c t i c a l   r e f e r e n c e   b e n c h m a rk   f o r   f ut u r e   t e m pe r a t u r e   f o r e c a s t i n g   s t ud i e s   c o n duc t e d   i da t a - s c a r c e ,   s t a t i o n - b a s e s e m i - a r i d   e n v i r o n m e n t s .   T h e   r e m a i n de o f   t h i s   pa pe i s   s t r uc t u r e d   a s   f o l l o w s .   In  s e c t i o n   2   r e v i e w s   r e l a t e w o r o n   t e m pe ra t u r e   p r e d i c t i o n   us i n m a c hi n e   l e a rni n a nd  de e l e a rni n a pp r o a c h e s .   In   s e c t i o n   de s c ri b e s   t h e   s t udy   a r e a ,   da t a s e t ,   p r e p r o c e s s i n s t e ps ,   a n m o de l   a r c hi t e c t u r e s .   In   s e c t i o p r e s e n t s   t h e   e xpe r i m e nt a l   r e s ul t s ,   w h i l e   s e c t i o 5   d i s c us s e s   t h e   f i ndi n gs   i r e l a t i o t o   s e m i - a r i d   c l i m a t e   c ha r a c t e r i s t i c s .   F i n a l l y ,   s e c t i o c o n c l ude s   t h e   pa pe a nd  o ut l i n e s   di r e c t i o n s   f o r   f ut u r e   r e s e a r c h.       2.   R ELA TED   WO R K S   2. 1 .     Tr ad i ti o n al   an d   m ac h i n e   l e a r n i n g   ap p r o ac h e s   fo r   t e m p e r atu r e   fo r e c as t i n g   M o s t   of   t h e   e a rl y   w o r ks   o t e m pe r a t u r e   f o r e c a s t s   w e r e   s t i l l   do m i n a t e by   c l a s s i c a l   s t a t i s t i c a l   m e t h o ds   a n d   t h e   N W P   m o de l .   N W P   m e t h o ds   a r e   t h o s e   pe r f o r m i n g   e xpl i c i t   num e r i c a l   i n t e g ra t i o n   o e qua t i o n s   t ha t   r e p r e s e nt   a t m o s ph e r i c   t h e rm o dy n a m i c   a n d   d y n a m i c   p h y s i c s   a nd  de m a n d   hi g c o m put a t i o na l   r e s o ur c e s   a l o n g   w i t p r e c i s e   i ni t i a l   d a t a .   T h e s e   m o de l s   ha v e   ge n e ra l l y   pe r f o r m e w e l l   a t   g l o b a l   a nd  r e g i o na l   s c a l e s ;   h o w e ve r ,   t h e i pe r f o r m a n c e   i s   s t i l l   l i m i t e w h e a pp l i e t o   s i t e - l e v e l   s t a t i o n s ,   p a r t i c ul a rl y   i s e m i - a r i c l i m a t e s   c ha ra c t e ri z e b y   s t r o n g   m e t e o r o l o gi c a l   v a ri a b i l i t y   [2].   T o   o ve r c o m e   t h e s e   l i m i t a t i o n s ,   da t a - d r i v e m e t h o ds   s uc a s   m a c h i n e   l e a rni n g   a pp r o a c h e s   h a v e   b e c o m e   m o r e   e xt e n s i v e l y   s t udi e d.   m a c hi n e   l e a rn i ng  m o de l s   c a i m i t a t e   n o n - l i n e a r e l a t i o n s hi ps   b e t w e e n   i n put   a nd  o ut pu t   f r o m   t h e   h i s t o r i c a l   m e t e o r o l o gi c a l   da t a   w i t h o ut   p h y s i c s - b a s e m o de l i n g.   H ow e v e r ,   c l a s s i c a l   m a c h i n e   l e a rni n g   a pp r o a c h e s   a r e   s t i l l   i n   n e e o f   h e a vy   f e a t u r e   e n g i n e e r i ng  a n d   h a v e   l o w   ge n e ra l i z a t i o n   pe r f o r m a n c e   u nde n o n - s t a t i o na r y   o r   h i g hl y   v a r y i n c l i m a t i c   c o n di t i o n s   [3] .     2. 2 .     D e e p   l e a r n i n m o d e l s   fo r   te m p e r a tu r e   an d   w e ath e r   f o r e c as ti n g   O w i n t o   t h e   r e c e n t   de v e l o pm e n t s   o f   de e l e a rni n g ,   m o de l s   us i n g   n e u r a l   n e t w o r ks   ha v e   be e n   w i de l y   us e i t e m pe r a t u r e   a n d   w e a t h e p r e di c t i o p r o b l e m s   [18] .   R N N s   [9],   a n d   i p a r t i c ul a L S T M   n e t w o r ks   [7]   a n G R U   [8],   a r e   w i de l y   us e s i n c e   t h e y   c a n   c a p t u r e   t h e   t e m po ra l   de pe n de n c i e s   p r e s e n t   i n   t i m e - se r i e s   da t a .   T h e s e   m o de l s   ha v e   a c hi e v e pr o m i s i n g   pe r f o r m a n c e   o t h e   t a s ks   w h e r e   m e t e o r o l o gi c a l   f e a t u r e s   c a b e   ob s e r ve w i t r e l a t i v e l y   s t a b l e   t e m po ra l   p a t t e rn s   a n d   l o n g - t e rm   de pe n de n c e .   CN N s   ha v e   a l s o   b e e n   a ppl i e i m e t e o r o l o gi c a l   a pp l i c a t i o n s ,   e s pe c i a l l y   i n   w e a t h e r   ra da a nd  n o w c a s t i n t a s ks ,   w h e r e   l o c a l i z e s p a t i a l   o r   f e a t u r e - l e v e l   pa t t e rn s   pl a y   a   c r uc i a l   r o l e   [10],   [11] .   M o r e   r e c e n t l y ,   a t t e nt i o n - b a s e m o de l s   s uc a s   t r a n s f o r m e r s   ha v e   p r o v e n   s uc c e s s f ul   f o r   l o n g - s e que n c e   p r e di c t i o n   pr o b l e m s   by   e xpl i c i t l y   c a pt u r i n g   l o ng - r a nge   de pe n de n c i e s   i n   s e l f - a t t e nt i o m e c ha n i s m s   [12] ,   [ 14].   M o r e   e ff i c i e n t   v a r i a n t s   l i ke   I n f o r m e ha v e   a l s o   m a de   t ra n s f o r m e r - b a s e m o de l s   a pp l i c a b l e   t o   l o n g   t i m e - s e r i e s   fo r e c a s t i n g   p r o b l e m s   [13].   D e s pi t e   t hi s   p r o g r e s s ,   h o w e ve r ,   s uc h   a r c h i t e c t u r e s   a r e   o f t e n   da t a   g r e e d y   a nd  n o i s e   s e n s i t i v e ,   a n d   h e n c e   t h e i us e   i s   n o t   w i de s pr e a d   i s t a t i o n - b a s e a n d   da t a - s p a r s e   s c e n a ri o s .     2. 3 .     H yb r i d   ar c h i t e c tu r e s   an d   c o m p ar ati v e   s tu d i e s   T o   e nha n c e   t h e   a c c ura c y   o f   fo r e c a s t i ng,   v a r i o us   a p p r o a c h e s   s uc a s   c o m b i ni n g   m ul t i p l e   de e p   l e a rn i ng   c o m po n e n t s   (A N N L S T M ,   CN N L S T M a n a t t e nt i o n - b a s e d   R N N   m o de l s   h a v e   b e e n   p r o po s e d.   T h e s e   m e t h o ds   a t t e m p t   t o   e xpl o i t   t h e   c o m pl e m e n t a r y   n a t ur e   o f   s t r e ngt h s ,   s uc h   a s   t h e   f us i o n   o f   f e a t ur e   e xt ra c t i o a n d   t e m po r a l   m o de l i n g .   H ow e v e r ,   t h e r e   h a v e   b e e c o n f l i c t i n g   r e s ul t s   i n   t h e   l i t e ra t u r e   o w h e t h e r   h y b r i m o de l s   a r e   i n de e s upe ri o t o   s i m p l e m o de l s .   T h o ro ugh   r e v i e w s   r e v e a l   t ha t   m o de l   pe r f o r m a n c e   i s   l a r ge l y   i n f l ue n c e by   da t a   s i z e ,   p r e p r o c e s s i n g   m e t h o ds ,   f e a t u r e   s e l e c t i o n,   a n d   e v a l ua t i o p r o t o c o l s   [15],   [1 9] .   L a r ge - s c a l e   c o m pa ra t i v e   s t udi e s   f ur t h e s ugge s t   t ha t   i n c r e a s e m o de l   c o m pl e xi t y   do e s   n o t   s y s t e m a t i c a l l y   l e a t o   i m p r o v e fo r e c a s t i ng  pe r f o r m a n c e   [1 6].   F u r t h e r m o r e ,   m o s t   o f   t h e   c o m pa r a t i v e   s t udi e s   a r e   n o t   c a rri e d   o ut   u n de r   h o m o ge n e o us   e xpe r i m e n t a l   c o nt e xt s ;   t h e r e fo r e ,   t h e y   a r e   u n a b l e   t o   di r e c t l y   c o m pa r e   m o de l s   a n ge n e r a l i z e   t h e   r e s ul t s .   Co m po undi n g   a l l   o f   t h i s   i s   t h e   f a c t   t h a t   a   u ni f i e b e n c h m a r ki ng  i n f r a s t r uc t u r e   do e s n o t   e xi s t ,   s o   w e   l a c k   s o l i d   n u m b e r s   a b o ut   w h e t h e r   t h e s e   v e r y   c o m pl e a r c hi t e c t u r e s   r e a l l y   a r e   c o n s i s t e n t l y   b e t t e r   t ha s i m pl e a pp r o a c h e s .     2. 4 .     Li m i tat i o n s   o e x i s ti n s tu d i e s   i n   s e m i - a r i d   an d   s tat i o n - b as e d   c o n te x ts   A   m a j o r   l i m i t a t i o n   o f   e xi s t i n de e l e a rn i n g - b a s e f o r e c a s t i n g   s t ud i e s   i s   t h e i r   p r e do m i na nt   f o c us   o n   t e m pe ra t e ,   u r b a n,   o da t a - ri c h   r e g i o n s ,   o f t e n   r e l y i n g   o l a r ge - s c a l e   g r i dde o r e a na l y s i s   da t a s e t s .   B e n c hm a rk  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   42 ,   N o .   1 A p r i l   20 26 1 83 - 1 93   186   da t a s e t s   s uc h   a s   W e a t h e r B e n c h   ha v e   c o n t r i b ut e s i g ni f i c a nt l y   t o   s t a n da rdi z e e v a l ua t i o n   i gl o b a l   w e a t h e r   fo r e c a s t i n g;   h o w e ve r ,   t h e y   a r e   p r i m a r i l y   de s i gn e f o r   l a r ge - s c a l e   g ri dde d a t a   a n d   do   n o t   a de qu a t e l y   r e p r e s e n t   s t a t i o n - l e v e l   o b s e r v a t i o n s   i s e m i - a r i d   r e gi o n s   [1 7] .   In  s e m i - a r i d   c l i m a t e s ,   t e m pe ra t u r e   dy n a m i c s   a r e   f r e que n t l y   do m i n a t e d   by   t h e   s a m e - da y   a t m o s p h e ri c   c o n di t i o n s   ra t h e r   t h a s t r o n m ul t i - da y   t e m po r a l   de pe n de n c i e s .   Co n s e que nt l y ,   t h e   s ui t a b i l i t y   of   c o m pl e t e m po ra l   a n d   a t t e n t i o n - b a s e a r c hi t e c t u r e s   i s u c e n v i ro n m e n t s   r e m a i n s   u n c e rt a i n.   F u rt h e rm o r e ,   de e l e a rn i ng  m o de l s   a r e   pa rt i c ul a r l y   s e n s i t i v e   t o   da t a   s c a r c i t y ,   w h i c i s   a   c o m m o c o n s t r a i n t   i s t a t i o n - b a s e d   m e t e o r o l o gi c a l   o b s e r v a t i o n s   [2 0],   [21 ] .   F e w   s t udi e s   p r o v i de   c l i m a t e - a w a r e   i nt e r p r e t a t i o n s   t ha t   e xp l i c i t l y   l i n m o de l   pe r f o rm a n c e   t o   r e g i o na l   a t m o s p h e ri c   c h a ra c t e ri s t i c s .   M o t i v a t e by   t h e s e   l i m i t a t i o n s ,   t h e   p r e s e nt   s t udy   c o n duc t s   a   u n i f i e a n d   s y s t e m a t i c   c o m pa ri s o o f   m ul t i pl e   de e l e a rn i n g   a r c hi t e c t u r e s   f o r   d a i l y   m a x i m um   t e m pe ra t u r e   f o r e c a s t i ng  i a   s e m i - a r i d   c o n t e xt .   By   e v a l ua t i n g   a   b a s e l i n e   A N N   a l o n gs i de   s e v e r a l   h y b r i m o de l s   u n de i de n t i c a l   p r e p r o c e s s i n g   p r o c e dur e s ,   f e a t u r e   s e t s ,   a n d   e v a l ua t i o m e t r i c s ,   t hi s   w o r a i m s   t c l a ri f y   w h e t h e i nc re a s e d   m o de l   c o m pl e x i t y   p r o v i de s   t a ng i b l e   b e n e f i t s   i d a t a - l i m i t e d   s e m i - a ri d   e n v i r o nm e nt s .       3.   D A TA   A N D   M ET H O D S   3. 1 .     S tu d ar e a   an d   d a ta  d e s c r i p ti o n   T h e   s t udy   a r e a   i s   S e t t a t ,   w hi c h   i s   a   c i t y   s i t ua t e i n   t h e   c e n t ra l   p a r t   o f   M o r o c c o   a n ha s   a   s e m i - a r i d   c l i m a t e w i t h   m a r ke s e a s o n s ,   hi g h   i n t e r - a nnua l   v a r i a b i l i t y ,   a nd  a n   u np r e di c t a b l e   a t m o s ph e r e .   T h e s e   pr o pe rt i e s   r e duc e   t h e   p r e di c t a b i l i t y   r a n ge   i t h e   l o n g   t e r m   a n d   i nduc e   t h e   t e m pe r a t u r e   v a ri a t i o t o   b e   m o s t l y   a ff e c t e b y   t h e   c u rr e nt - d a y   a t m o s ph e r i c   c o n d i t i o n,   w hi c i s   p r o b l e m a t i c   f o r   d a t a - d ri v e n   f o r e c a s t i n g   m o de l s .     T h e   m e t e o r o l o gi c a l   da t a   w e r e   p r o v i de by   t h e   M o r o c c a n   G e n e r a l   D i r e c t o r a t e   o f   M e t e o r o l o g y   (D G M )   t hr o ugh  o ff i c i a l   s t a t i o o b s e r v a t i o n s .   T h i s   w o r us e s   t h e   11 - y e a r   d a i l y   m e t e o r o l o gi c a l   r e c o r m e a s u r e d   a t   a   l o c a l   w e a t h e s t a t i o n .     T h e   s t udy   e xa m i n e s   da i l y   m a xi m um   t e m pe r a t u r e ,   a   ke y   v a r i a b l e   f o r   c l i m a t e - s e n s i t i v e   s e c t o r s   s uc a s   a g r i c ul t u r e ,   w a t e r e s o ur c e   m a n a ge m e nt ,   a n d   e n e r gy   pl a nni n g.   S t a t i o n - b a s e d   o b s e r v a t i o n s   a r e   r e t a i n e d   i o r de t o   m a i nt a i l o c a l   c l i m a t i c   v a ri a b i l i t y   t ha t   i s   m a n y   t i m e s   s m o o t h e o r   e v e n   l o s t   i l a rge r - s c a l e   g r i dde da t a   s e t s   o r   r e a na l y s e s .     3. 2 .     D ata   p r e p r o c e s s i n g   M e t e o r o l o gi c a l   da t a   u nde r w e n t   a   n u m b e o f   p r e pr o c e s s i n g   s t e ps   b e f o r e   de v e l o pm e n t   o f   t h e   m o de l   t o   a c hi e v e   uni f o r m i t y   a nd   r e l i a b i l i t y .   S t a n d a r d i z e d   qu a l i t y - c o n t r o l   p r o c e dur e s   w e r e   us e t o   h a ndl e   m i s s i n g   o i m p l a us i b l e   v a l ue s .   F o n u m e ri c a l   s t a b i l i t y   pu r po s e s   a n d   t o   e n a b l e   f a i c o m pa ri s o a m o n g   t h e   v a r i o us   m o de l   a r c hi t e c t u r e s ,   a l l   i n pu t   v a r i a b l e s   w e r e   t h e n o rm a l i z e t o   a   c o m m o n   s c a l e.   T o   pr e s e r v e   t h e   t e m po r a l   i n t e g r i t y   of   t h e   da t a s e t   a n p r e v e n t   i n f o r m a t i o l e a k a ge ,   t h e   d a t a   w e r e   s pl i t   c hr o n o l o gi c a l l y   i nt o   t r a i n i ng,   v a l i d a t i o n ,   a n d   t e s t i n g   s ub s e t s   t o   e n s u r e   r o b us t   m o de l   t u n i n a n d   u n b i a s e pe r f o r m a n c e   e v a l ua t i o n   [9].   A l l   p r e p r o c e s s i n w a s   a ppl i e e qua l l y   i n   a l l   m o de l s ,   e n s u r i n g   t ha t   a n y   pe r f o r m a n c e   d i f fe r e n c e s   a r e   due   t o   t h e   m o de l   p r o pe r t i e s   ra t he r   t h a di f f e r e n c e s   i n   p r e p r o c e s s i n g .   T h e   o v e r a l l   f l ow c h a r t   o f   t h e   p r o po s e w o r kf l ow ,   w h i c c o n s i s t s   o f   da t a   c o l l e c t i o n ,   p r e p r o c e s s i n g ,   m o de l   de v e l o pm e n t ,   a n pe r f o r m a n c e   a s s e s s m e n t ,   i s   p r e s e n t e i F i gu r e   1.     3. 3 .     M o d e l   a r c h i t e c tu r e s   A   t o t a l   o f   s i de e l e a rni n m o de l s   w e r e   e v a l ua t e d.   A   b a s i c   A N N   w a s   us e t o   de s i g n   a   b a s e l i n e   m o de l .   T hi s   A N N   de n o t e s   a   f o r w a r n e u ra l   n e t w o r a n d o e s n r e qu i r e   a n y   di r e c t   m o de l i ng  o f   t e m po r a l   de pe n de n c y .   F u r t h e rm o r e ,   f i v e   o t h e h y b r i d   m o de l s   w e r e   de v e l o pe t o   c o m b i n e   m ul t i p l e   c a p a b i l i t i e s .   T h e s e   i n c l ude A N N - L S T M   a nd   A N N - G R U   m o de l s   t o   us e   t h e i a b i l i t y   t o   l e a rn  f r o m   t e m po r a l   de pe n de n c y ,   A N N - CN N   t o   l e v e r a g e   l o c a l i z e e xt ra c t i o n   c a pa b i l i t i e s ,   A N N - R F   t o   us e   i t s   po t e n t i a l   o f   a n   e n s e m b l e - b a s e d   a pp r o a c h,   a n d   l a s t l y   A N N - t r a n s f o r m e r   t o   us e   i t s   po t e nt i a l   o f   a n   a t t e nt i o n - b a s e l e a rni n s t r a t e gy .   A l l   m o de l s   w e r e   de s i g n e d   t o   p r e di c t   d a i l y   m a xi m u m   t e m p e r a t u r e   us i n g   a i de n t i c a l   s e t   o f   i n put   f e a t ur e s .   T hi s   de s i g e n s u r e s   a   c o n s i s t e n t   e xpe r i m e nt a l   f ra m e w o r a nd  e na b l e s   a   di r e c t   a s s e s s m e n t   o w h e t h e i n c r e a s i n g   a r c hi t e c t u ra l   c o m pl e xi t y   l e a ds   t o   i m p r o v e pr e di c t i v e   pe r f o r m a n c e   u nde s e m i - a ri c l i m a t i c   c o n d i t i o n s .     3. 4 .     M o d e l   t r ai n i n g   an d   e v al u ati o n   T h e   e xpe r i m e n t s   w e r e   c a rr i e o ut   us i n P y t h o 3. 13  w i t hi n   a   J upy t e r   N o t e boo e n v i r o nm e n t .     T h e   i m pl e m e nt a t i o us e t h e   T e n s o r F l o w   de e l e a rn i ng  f ra m e w o r k,   i n c l u di n g   o t h e s c i e nt i f i c   l i b r a ri e s   l i ke   N um P y ,   P a n d a s ,   a n d   S c i ki t - l e a rn  f o r   num e r i c a l   c o m put a t i o n ,   d a t a   p r e p r o c e s s i n g,   a nd  m o de l   e v a l ua t i o n.   E xpe r i m e nt s   w e r e   c o n duc t e o n   a   L e n o v o   Y o ga   l a pt o e q ui ppe w i t h   a I n t e l ®  Co r e   i 7 - 10 510U   10t h   ge n e ra t i o CP U   (1. 8 G H z   up   t o   2 . 30   G H z a nd  1 G B   R A M   i a   64 - b i t   O S .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       E v a l uat i ng   hy br i d   and   s t and ar d e e p   l e ar n i ng  m ode l s   f or   m a x i m um   t e m pe r at ur e     ( O us s am Z e m naz i )   187   T o   p r e s e r v e   t e m po ra l   de pe n de n c i e s   i nt a c t   a n d   t o   a v o i d a t a   l e a k a ge ,   t h e   m e t e o r o l o gi c a l   da t a s e t   (2014 - 202 4)   w a s   c hr o n o l o gi c a l l y   s pl i t   i n t o   70%   t r a i n i ng ,   15%   v a l i da t i o n,   a n d   15%   t e s t   s ub s e t s .   T h e   M i n M a xS c a l e p a r a m e t e r s   w e r e   f i t t e o n l y   o n   t h e   t ra i da t a   a n d   us e t o   t ra n s f o r m   v a l i da t i o n   a n d   t e s t   s e t s .   G a us s i a n   n o i s e b a s e da t a   a u gm e n t a t i o n   w a s   pe r f o r m e e xc l us i v e l y   o n   t h e   t r a i n i ng  s ub s e t   i n   o r de r   t o   i n c r e a s e   r o b us t n e s s   a nd  l i m i t   o v e r f i t t i n g   r i s k .           F i gu r e   1 .   T h e   p r o po s e a pp r o a c h       T h e   A da m   o pt i m i z e w a s   us e f o r   o pt i m i z a t i o o f   a l l   n e u ra l   n e t w o r a r c hi t e c t u r e s .   T h e   l e a rn i ng  ra t e s   w e r e   de f i n e a s   0. 001   f o r   t h e   A N N ,   A N N - L S T M ,   A N N - G RU ,   A N N - CN N ,   a nd   A N N - t ra n s f o r m e m o de l s ,   w h i l e   a   l e a rni n ra t e   o f   0. 004  w a s   us e i n   t h e   c a s e   of   t h e   h y b r i m o de l   (A N N - R F ).   M e a s qua r e d   e rr o r   (M S E )   w a s   a p pl i e a s   a   t ra i ni n g   l o s s   f un c t i o n,   w hi l e   m e a n   a b s o l ut e   e rr o r   (M A E )   w a s   t ra c ke du r i ng  t h e   t r a i ni n g .   F o a l l   n e u ra l   a r c hi t e c t u r e s ,   t h e   b a t c s i z e   w a s   e q ua l   t o   32.   T h e   s t a n d a l o n e   A N N   m o de l   c o nt a i n s   t hr e e   f ul l y   c o n n e c t e l a y e r s   w i t R e L U   a c t i v a t i o a n 64 ,   32 ,   a n d   16   n e u r o n s   a n d   a   l i n e a r   o ut p ut   l a y e r .     B a t c n o rm a l i z a t i o a nd  d r o po ut   r e gul a ri z a t i o w e r e   us e t o   e nh a n c e   ge n e r a l i z a t i o n.   A N N - L S T M   a n d   A N N - G R U   h y b r i a r c h i t e c t ur e s   us e   a A N N   b a c kb o n e   w h e r e   t h e   r e c urr e nt   l a y e r s   h a v e   10 a n d   t h e 50   uni t s   w i t h   t a nh  a c t i v a t i o t o   c a p t u r e   t e m po ra l   de pe n de n c i e s   b e fo r e   f e a t ur e   c o n c a t e na t i o a nd  de n s e   pr e di c t i o l a y e r s   a t   t h e   e n d .   A N N - CN N   h a s   a   s e que n t i a l   s t a c ki n g   o f   t w o   Co n v 1D   l a y e r s   w i t h   64   a nd  3 f i l t e r s   o f   ke rn e l   s i z e   e qua l   t o   3,   r e s pe c t i v e l y ,   fo l l ow e by  f e a t u r e   f l a t t e n i n g   a n d   de n s e   p r e di c t i o l a y e r s .     T h e   A N N - R F   h y b r i d   e xt ra c t s   i n t e rm e di a t e   A N N   f e a t ur e s   f r o m   a   de n s e   l a y e r   o f   32   n e u r o n s   a nd  us e s   t h e m   a s   i n put   t o   a   RF   c o n f i gur e d   w i t h   2 00  t r e e s ,   a   m a xi m um   de pt o f   15,   a n d   a   m i ni m u m   s a m pl e   s p l i t   e qu a l   t o   5 .     T h e   A NN - t r a n s f o r m e a r c hi t e c t u r e   c o n s i s t s   o f   a   m ul t i - h e a d   a t t e n t i o ( 2   h e a ds ,   ke y   di m e n s i o 16)   f o l l ow e d   by   G l o b a l A ve r a ge P o o l i n a n d   de n s e   p r e di c t i o n   l a y e r s .   T h e   t ra i n i n g   pe r i o d   di f f e r e f o r   e a c h   a r c h i t e c t u r e ;   t h e   A N N - b a s e h y b r i w a s   r u f o 150   e po c h s ,   t h e   L S TM - ,   G R U - ,   a n CN N - b a s e h y b r i ds   w e r e   r u n   f o r   up   t o   100  e po c h s   e a c h,   a nd  t h e   t r a n s f o r m e r   m o de l   w a s   l i m i t e t o   a   m a x i m u m   o f   50  e poc h s .   E a rl y   s t o ppi n g   a nd  R e duc e L R   O n P l a t e a c a l l b a c ks   w e r e   s y s t e m a t i c a l l y   a ppl i e d   w i t pa t i e n c e   v a l ue s   b e t w e e n   10   a n d   20  e po c h s   a n d   a   m i n i m u m   l e a rni n g   ra t e   o f   1e - 6.   T h e   pe r f o r m a n c e   of   m o de l s   i s   qua n t i f i e i n   t e r m s   o f   M A E ,   r o o t   m e a n   s qu a r e   e rr o r   (R M S E ),   M S E ,   a n t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   42 ,   N o .   1 A p r i l   20 26 1 83 - 1 93   188   c oe ff i c i e n t   o f   de t e r m i na t i o (R ² ),   w h i c a r e   t h e   m o s t   w i de l y   a do pt e m e t ri c s   i t e m pe r a t u r e   f o r e c a s t i n g   s t udi e s   [22] [24] .   T o   f ur t h e r   q ua nt i fy   t h e   pe r f o r m a n c e   di f f e r e n c e s ,   w e   c o m put e a   r e l a t i v e   i m p r o v e m e n t   m e t r i c   by   c o m pa r i ng   e a c h y b r i a r c h i t e c t ur e   t o   t h e   b a s e l i ne   A N N .   T hi s   e v a l ua t i o f ra m e w o r a l l o w s   f o r   a   s y s t e m a t i c   c o n s i de r a t i o o f   t h e   ut i l i t y   of   m o de l   c o m pl e xi t y   i da t a - l i m i t e s e m i - a ri e n v i r o nm e nt s .       4.   R ES U LTS     4. 1 .     O v e r al l   m o d e l   p e r fo r m an c e   T h e   pe r f o r m a n c e   o f   t h e   m o de l s   w a s   e v a l u a t e d   by   M A E ,   M S E ,   R M S E ,   a n d   t h e   R ²   o t h e   t e s t i n g   da t a s e t .   T h e   q ua nt i t a t i v e   r e s ul t s   f o r   t h e   b a s e l i n e   A N N   a n d   t h e   f i v e   h y b r i m o de l s ,   i n c l udi ng  A N N L S T M ,   ANN G RU ,   A N N CN N ,   A N N R F ,   a n d   A N N t ra n s f o r m e r,   a r e   s h o w i T a b l e   2 .   W e   t ra i n e d   a l l   m o de l s   us i n t h e   s a m e   p r e p r o c e s s i n g   s t e ps ,   f e a t u r e   s e t ,   a nd  da t a   s pl i t t i n g   m e t h o t o   b e   a b l e   t o   c o m pa r e   t h e m   f a i r l y .     4. 2 .     C o m p ar ati v e   an al ys i s   o m o d e l   p e r fo r m an c e   T h e   r e s ul t s   s h o w n   by   T a b l e   r e ve a l   t ha t   o v e r a l l ,   t h e   h y b r i m o de l s   a r e   i n f e ri o r   t o   t h e   b a s e l i n e   A N N   i n   t e r m s   o f   a l l   e v a l u a t i o m e a s u r e s .   I pa rt i c ul a r ,   A N N   p r e s e n t s   t h e   l o w e s t   M A E ,   M S E ,   a nd  R M S E   v a l ue s ,   a s   w e l l   a s   t h e   h i g h e s t   R ² ,   b a s e o n   o t h e r   m o de l s   c o n s i de r e d.   T h e   h y b r i m o de l s   i n c o r po r a t i ng  t e m po r a l   c o m po n e n t s   (A N N L S T M   a n d   A N N G R U o r   a t t e n t i o m e c h a ni s m s   (A N N t ra n s f o r m e r )   do   n o t   y i e l d   s i g n i f i c a n t   i m p r o v e m e n t s   o v e r   t h e   s i m pl e   f e e d fo r w a r d   A N N .   I s o m e   c a s e s ,   t h e s e   m o de l s   e x hi b i t   s l i g ht l y   de gr a de pe r f o rm a n c e ,   s ugge s t i n l i m i t e b e n e f i t s   f r o m   e xpl i c i t l y   m o de l i n l o n g - t e rm   t e m po ra l   de pe n de n c i e s   i n   t h e   s t ud i e s e m i - a ri c o n t e x t .   S i m i l a r l y ,   t he   A N N CN N   a nd  t h e   A N N R F   m o de l s   do   n o t   e xc e e d   t h e   b a s e l i n e   A N N ,   i n di c a t i ng   t ha t   i n c r e a s e d   a r c hi t e c t u r a l   c o m pl e xi t y   i s   n o t   n e c e s s a r i l y   b e n e f i c i a l   t o   i m p r o v e   fo r e c a s t i n w h e a pp l i e d   t o   s t a t i o n - b a s e t e m pe r a t u r e   w i t w e a m u l t i - da y   de pe n de n c i e s .       T a b l e   2 .   P e r f o r m a n c e   c o m pa r i s o o f   t h e   e v a l ua t e d   m o de l s   M e t ri c s   M e t h o d   A N N   A N N - L S T M   A N N - G R U   A N N - CN N   A N N - RF   A N N - t ra n s fo r m e r   M A E   0 . 0 4 3 2   0 . 0 6 4 4   0 . 0 6 4 5   0 . 0 7 2 4   0 . 0 7 4 2   0 . 0 6 7 8   M S E   0 . 0 0 3 0   0 . 0 0 6 8   0 . 0 0 6 9   0 . 0 0 8 4   0 . 0 0 8 9   0 . 0 0 7 7   RM S E   0 . 0 5 4 3   0 . 0 8 2 7   0 . 0 8 3 0   0 . 0 9 1 8   0 . 0 9 4 1   0 . 0 8 7 6     0 . 8 8 2 0   0 . 7 2 7 0   0 . 7 2 5 1   0 . 6 6 3 8   0 . 6 4 6 7   0 . 6 9 3 3       4. 3 .     O b s e r v e d   v e r s u s   p r e d i c te d   te m p e r atu r e   an al ys i s   T o   m o r e   de e pl y   i n v e s t i ga t e   t h e   a b i l i t y   of   e a c h   m o de l ,   F i gu r e s   t o   s h o w   a   c o m pa r i s o n   b e t w e e n   ob s e r ve a n d   f o r e c a s t e da i l y   m a xi m u m   t e m pe r a t u r e s   f o r   a l l   e v a l ua t e d   m o de l s   i t h e   t e s t i n g   pe ri o d.   T h e s e   pl o t s   p r o v i de   a   v i s ua l   a s s e s s m e nt   o f   e a c h   m o de l s   a b i l i t y   t o   r e p r o duc e   t e m po r a l   v a r i a t i o n s   a n e xt r e m e   t e m pe ra t u r e   v a l ue s .   V i s u a l   o b s e r v a t i o i n d i c a t e s   t ha t   t h e   A N N   m o de l   gi v e s   pr e di c t i o n s   c l o s e l y   t r a c k i n t h e   ob s e r ve t e m pe r a t u r e   v a ri a t i o n s   w i t a   s m o o t h e di s pe r s i o a nd   b e t t e a l i g nm e n t   u nde n o r m a l   a n d   e xt r e m e   c o n di t i o n s .   T h e   di s c r e pa n c i e s   w i t h   t h e   o b s e r v e da t a   a r e   l a r ge r   f o r   t h e   h y b r i m o de l s ,   e s pe c i a l l y   un de ra pi d l y   c h a n g i n t e m pe r a t u r e   c o n di t i o n s .   T e m po r a l   o a t t e nt i o na l - b a s e a r c hi t e c t u r e s   t e n d   t o   s m o o t s h o r t - t e rm   o s c i l l a t i o n s ,   w h i c h   c a l e a t o   de l a y e o r   a t t e n ua t e r e s po n s e s   t o   a b r u pt   a t m o s ph e r i c   v a ri a t i o n s .               F i gu r e   2 .   A N N - L S T M   t e m pe r a t u r e :   r e a l   v s .   p r e d   F i gu r e   3 .   A N N - G R U   t e m pe r a t u r e :   r e a l   v s .   p r e d   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       E v a l uat i ng   hy br i d   and   s t and ar d e e p   l e ar n i ng  m ode l s   f or   m a x i m um   t e m pe r at ur e     ( O us s am Z e m naz i )   189             F i gu r e   4 .   A N N - CN N   t e m pe r a t u r e :   r e a l   v s .   p r e d   F i gu r e   5 .   A N N - R F   t e m pe ra t u r e :   r e a l   v s .   p r e d               F i gu r e   6 .   A N N - t r a ns f o rm e t e m p e ra t u re :   re a l   v s .   p re d   F i gu r e   7 .   A N N   t e m pe r a t u r e :   r e a l   v s .   p r e d       4. 4 .     S u mm ar o r e s u l ts   In  ge n e ra l ,   t h e   r e s ul t s   i n d i c a t e   t h a t   t h e   s i m pl e   f e e dfo r w a r d   A N N   i s   t h e   m o s t   a c c ura t e   a n d   s t a b l e   m o de l   t o   p r e di c t   d a i l y   m a xi m um   t e m pe ra t u r e   w h e n   c o m pa r e w i t a l l   m o de l s   c o n s i de r e d.   H y b r i a r c hi t e c t u r e s   t ha t   i n v o l v e   t e m po r a l ,   c o n v o l ut i o na l ,   o r   a t t e nt i o n - b a s e c o m po n e n t s   do   n o t   p r o v i de   n o t i c e a b l e   pe r f o r m a n c e   i m p r o v e m e n t s   i n   t h e   s e m i - a ri r e gi o n ,   de s pi t e   t h e i r   hi g h e r   c o m pl e xi t y .   T h e s e   f i n di ngs   s ugge s t   t h a t ,   f o r   s t a t i o n - b a s e t e m pe ra t u r e   f o r e c a s t i n g   i d a t a - s c a r c e   s e m i - a ri d   r e gi o n s ,   s a m e - da y   a t m o s p h e ri c   i n f o r m a t i o pl a y s   a   do m i na n t   r o l e ,   a n d   i n c r e a s i n g   m o de l   c om pl e xi t y   m a y   n o t   b e   j us t i f i e d.       5.   DISCUSSIO N   5. 1 .     O v e r al l   m o d e l   p e r fo r m an c e   c o m p ar i s o n   T h e   e xpe ri m e n t a l   r e s ul t s   r e v e a l   t ha t   t h e   b a s e l i n e   A N N   c o n s i s t e nt l y   o ut pe r f o r m s   m o r e   c o m pl e h y b r i a r c h i t e c t ur e s   i da i l y   m a xi m u m   t e m pe ra t u r e   f o r e c a s t i n g .   T h o ug h   h y b r i m o de l s ,   i n c l u di n t h e   A N N L S T M ,   A N N G R U ,   A N N CN N ,   a n d   A N N t ra n s f o r m e r ,   a r e   s i m pl i f i e t o   l e a rn  t e m po ra l   o hi e ra r c h i c a l   d y n a m i c s ,   t h e i r   i m p r o v e m e n t   e f fe c t s   a r e   a l s o   w e a fo r   t h e   p r e s e n t   s e m i - a ri d,   s t a t i o n - b a s e c o n t e xt .   T h e s e   f i n di ngs   a r e   c o n s i s t e nt   w i t e a rl i e l i t e r a t u r e   t h a t   s ugge s t s   m o r e   c o m pl e x   m o de l s   i ge n e ra l   do   n o t   a l w a y s   l e a t o   b e t t e r   f o r e c a s t i n g   a c c ura c y   i f   da t a   s i z e   a n d   v a r i a b i l i t y   a r e   l i m i t e d   [3] ,   [5],   [1 5],   [16] .   T h e s e   r e s ul t s   a r e   a l s o   i n   l i n e   w i t h   t h e   ge n e ra l   f o r e c a s t i n g   l i t e r a t u r e ,   w h e r e   s i m p l e r   m o de l s   o f t e n   c o m pa r e   f a v o r a b l y   o r   e v e o ut pe r f o r m   s t a t e - of - t h e - a rt   m e t h o ds   w h e f i t t e d   u n de l i m i t e d   d a t a   s c e n a ri o s   [16] .   It   a ppe a r s   t ha t   i s e m i - a r i d   r e gi o n s   t h i s   r e l a t i o n s hi b e t w e e n   a t m o s ph e r i c   p r e di c t o r s   a nd   m a x i m u m   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   42 ,   N o .   1 A p r i l   20 26 1 83 - 1 93   190   t e m pe ra t u r e   c a b e   a pp r o xi m a t e w e l l   by   s a m e - da y   n o n l i n e a t ra n s f o r m a t i o n s ,   r a t h e t h a m o r e   c o m pl i c a t e t e m po ra l   de pe n de n c i e s .     5. 2 .     Wh y   s i m p l e r   m o d e l s   o u tp e r fo r m   c om p l e x   ar c h i t e c tu r e s   A   ke y   e xpl a na t i o n   f o r   t h e   s upe ri o pe r f o r m a n c e   o f   A N N   i s   due   t o   t h e   c l i m a t i c   c o n di t i o n s   o f   s e m i - a r i d   a r e a s .   T e m pe r a t u r e   v a ri a b i l i t y   i s uc e n v i r o nm e nt s   i s   f r e que n t l y   do m i na t e d   by   s h o rt - t e rm   a t m o s ph e r i c   c o n di t i o n s   ra t h e t ha s t r o n g   m ul t i - d a y   t e m po r a l   pe r s i s t e n c e .   O b s e r v a t i o na l   s t ud i e s   h a v e   s h o w n   t ha t   d a i l y   t e m pe ra t u r e   e x t r e m e s   e xhi b i t   hi g h   v a r i a b i l i t y   a n w e a a u t o c o rr e l a t i o n   i n   d r y   a n s e m i - a ri c l i m a t e s   [1] .   U n de r   t h e s e   c o n di t i o n s ,   r e c urr e n t   a nd  a t t e nt i o n - b a s e a r c hi t e c t ur e s ,   w hi c a r e   e xp l i c i t l y   de s i gn e t o   e xpl o i t   l o n g - t e rm   t e m po ra l   de pe nde n c i e s ,   m a y   pr o v i de   l i m i t e a dde v a l ue .   M o r e ov e r ,   r e c e nt   c l i m a t e   a n d   E a rt s y s t e m   s c i e n c e   s t ud i e s   e m p ha s i z e   t h a t   de e l e a rn i ng   m o de l s   s h o ul d   b e   i nt e rp r e t e i t h e   c o n t e xt   o f   un de r l y i n g   p h y s i c a l   p r o c e s s e s   r a t h e r   t h a b e i ng  t r e a t e d   a s   u n i v e r s a l l y   s upe r i o b l a c k - b o s o l ut i o n s   [5].   F r o m   t h i s   pe r s pe c t i v e ,   t he   s t r o n g   pe r f o r m a n c e   o f   a   s i m pl e   f e e d fo r w a r d   A N N   de m o n s t ra t e s   t ha t   s a m e - da y   pr e di c t o r s   p r e v a i l   i c ont r o l l i ng  t e m pe ra t u r e   e vo l ut i o u n de r   s e m i - a ri d   c l i m a t e s .   T hi s   a l s o   a g r e e s   w i t h   f i n d i n gs   i o t h e c o m pa ra t i v e   s t udi e s   b e t w e e n   de e l e a rni n g   f ra m e w o r ks   a nd  t r a d i t i o n a l   N W P   s y s t e m s ,   w h i c i n d i c a t e   t h a t   de e l e a rni ng  do e s   n o t   o ut pe r f o r m   s i m pl e r   o r   p h y s i c s - b a s e d   m o de l s   u n e qui v o c a l l y   a c r o s s   a l l   c a s e s   [4] .     5. 3 .     I m p ac o d ata   s c a r c i ty   an d   t e m p o r a l   d e p e n d e n c y   D a t a   a v a i l a b i l i t y   i s   a l s o   a n o t h e r   ke y   f a c t o r   t ha t   i m pa c t s   t h e   p e r f o r m a n c e   o f   t h e   m o de l .   R e c ur r e n t   a nd  t r a n s f o r m e r - b a s e a r c hi t e c t u r e s   h a v e   b e e n   s h o w n   t o   r e qui re   a   l a rge   a m o u n t   o f   da t a   t o   l e a rn   t h e   t e m po ra l   s t ruc t u r e s   e f fe c t i ve l y   a n d   a v o i o v e r f i t t i n g   [9 ],   [1 4].   I t he   c urr e nt   w o r k,   t h e   a pp l i c a t i o o f   11   y e a r s   o s t a t i o n - l e v e l   o b s e r v a t i o n s   m a y   a l s o   n o t   f ul l y   e xpl o i t   t he   r e p r e s e n t a t i o n a l   c a p a c i t y   of   m o r e   c o m pl e x   a r c hi t e c t u r e s ,   de s pi t e   b e i n g   e n o ugh  t o   t r a i n   s i m p l e o n e s .   T h i s   l i m i t a t i o n   i s   f urt h e r   s uppo r t e b y   be n c h m a r k i n g   e ffo r t s   s uc a s   W e a t h e r B e n c h,   w hi c de m o n s t r a t e   s t r o n de e l e a rn i ng  pe r f o r m a n c e   p r i m a ri l y   i n   da t a - r i c h,   g ri dde r e a n a l y s i s   s e t t i n gs   r a t h e r   t ha s t a t i o n - b a s e e n v i r o nm e n t s   [9 ].   Co n s e que nt l y ,   t h e   i n f e ri o r   pe r f o r m a n c e   o f   h y b r i d - b a s e m o de l s   a n a t t e n t i o n - b a s e m o de l s   o b s e r v e i n   t hi s   w o r s h o ul n o t   b e   c o n s i de r e a s   a n   i n d i c a t i o n   o r   s h o r t c o m i n o f   t h e   a pp r o a c t a ke n   b ut   r a t h e r   a s   e v i de n c e   f o r   i n s uf f i c i e n t   da t a   t o   m a t c m o de l   c o m pl e xi t y .     5. 4 .     P r ac ti c al   i m p l i c ati o n s   an d   s tu d l i m i ta t i o n s   S o m e   pr a c t i c a l   i m pl i c a t i o n s   c o ul b e   dra w n   f r o m   t h e   f i n di n gs   o f   t h i s   s t udy .   F i r s t ,   t h e y   i m pl y   t h a t   i n   da t a - l i m i t e d   s e m i - a r i d   r e g i o n s   f o r   w h i c o pe ra t i o n a l   t e m pe ra t u r e   p r e di c t i o i s   c r uc i a l ,   s i m p l e m o de l s   A N N   c a o ffe r   r e l i a b l e   a n r o b us t   f o r e c a s t s   w i t h   l o w e r   c o m put a t i o n a l   c o s t   a nd  r e duc e r i s o f   ov e r f i t t i n g .   T h i s   i s   c o n s i s t e n t   w i t t h e   ge n e ra l   o pi ni o n   i n   b o t h   N W P   a nd  m a c hi n e   l e a rni n g ,   w h i c h   a dv o c a t e   f o r   c o n t e xt - a w a r e   m o de l   s e l e c t i o n   ra t h e r   t ha n   de f a ul t   r e l i a n c e   o h i g h l y   c o m pl e a r c h i t e c t u r e s   [2] ,   [ 3 ].   H ow e ve r ,   t h e r e   a r e   s o m e   l i m i t a t i o n s   i n   t h i s   s t udy .   T h e   s t udy   i s   l i m i t e t o   o n e   m e t e o r o l o gi c a l   s t a t i o n   a n o n l y   de a l s   w i t h   t h e   da i l y   m a xi m u m   t e m pe ra t u r e .   T h e   g e n e ra l i z a t i o n   o f   t h e s e   ob s e r v a t i o n s   a c r o s s   s i t e s ,   l o n ge r   pe r i o ds ,   a nd  m o r e   c l i m a t e   v a r i a b l e s   s h o ul b e   a   f oc us   of   f ut ur e   r e s e a r c h.   I n   a ddi t i o n ,   i n t e g ra t i n ph y s i c a l   c o n s t ra i nt s   o h y b r i d   p h y s i c s da t a - d ri v e n   a pp r o a c h e s   m a y   h e l p   b r i dge   t h e   ga p   b e t w e e n   m o de l   i n t e r p r e t a b i l i t y   a n p r e di c t i v e   pe r f o r m a n c e ,   a s   s ugge s t e b y   r e c e n t   a dv a n c e s   i E a r t s y s t e m   s c i e n c e   [5].       6.   C O N C LU S I O N   T h i s   s t udy   pr e s e n t e d   a   u n i f i e a n d   s y s t e m a t i c   c o m pa ri s o n   o f   s i de e l e a rni n g   a r c hi t e c t u r e s   f o r   da i l y   m a x i m u m   t e m pe ra t u r e   f o r e c a s t i n g   i a   s e m i - a ri d ,   s t a t i o n - b a s e c o n t e xt .   U s i n g   11   y e a r s   o f   gr o und - o b s e r v e d   m e t e o r o l o gi c a l   da t a   f r o m   S e t t a t ,   M o r o c c o ,   t h e   pe r f o r m a n c e   o f   a   b a s e l i n e   A N N   w a s   e v a l ua t e a g a i n s t   f i v e   h y b r i m o de l s ,   na m e l y   A N N L S T M ,   A N N G R U ,   A N N CN N ,   A N N R F ,   a n d   A N N t ra n s f o r m e r ,   u nde i de nt i c a l   p r e p r o c e s s i n p r o c e dur e s ,   f e a t u r e   s e t s ,   a n d   e v a l ua t i o n   m e t r i c s .   T h e   e xpe ri m e n t a l   r e s ul t s   de m o n s t ra t e   t h a t   t h e   s i m pl e   f e e dfo r w a r d   A N N   c o n s i s t e n t l y   o ut pe r f o r m s   t h e   m o r e   c o m pl e h y b r i d   a r c h i t e c t ur e s   a c r o s s   a l l   e v a l ua t i o m e t r i c s .   T h e s e   f i n d i n gs   i n d i c a t e   t h a t ,   i s e m i - a ri c l i m a t e s ,   d a i l y   m a xi m u m   t e m pe ra t u r e   v a r i a b i l i t y   i s   l a r ge l y   g ov e r n e d   by   t h e   s a m e - d a y   a t m o s p h e ri c   c o n d i t i o n s   ra t h e t ha s t r o n g   m ul t i - d a y   t e m po r a l   de pe n de n c i e s .   A s   a   c o n s e que n c e ,   m o de l s   s pe c i f i c a l l y   de s i gn e d   t o   c a pt u r e   l o n g - t e rm   t e m po r a l   pa t t e rn s   o a t t e nt i o n - b a s e r e l a t i o n s hi ps   do   n o t   n e c e s s a r i l y   p r o v i de   pe r f o r m a n c e   ga i n s   w h e a ppl i e t o   d a t a - l i m i t e s t a t i o o b s e r v a t i o n s .   B e y o n m o de l   a c c ur a c y ,   t hi s   s t udy   de m o n s t r a t e s   a   n e e t o   m a t c h   m o de l   c o m pl e xi t y   w i t c l i m a t o l o gi c a l   a t t r i b ut e s   a nd  da t a   a v a i l a b i l i t y .   T h e   r e s ul t s   c o n f i r m   t ha t   a ddi t i o na l   a r c hi t e c t u r a l   c o m pl e xi t y   m a y   n o t   o f f e r   a n y   e nha n c e p r e d i c t i v e   pe r f o rm a n c e   a nd  m a y   b r i n g   i u n de s i ra b l e   c o m pl e xi t i e s   a nd  ov e r f i t t i n g   c o n c e rn s   w h e o nl y   l i m i t e hi s t o ri c a l   d a t a   a r e   a v a i l a b l e .   I n   t e rm s   o f   t h e   o pe r a t i o n a l   s i de ,   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       E v a l uat i ng   hy br i d   and   s t and ar d e e p   l e ar n i ng  m ode l s   f or   m a x i m um   t e m pe r at ur e     ( O us s am Z e m naz i )   191   A N N ,   w i t i t s   h i g h - pe r f o r m a n c e   c a p a b i l i t y ,   c o m put a t i o na l   s pe e d ,   a n d   e f f i c i e n c y ,   i s   a   s ui t a b l e   a n d   p ra c t i c a l   o pt i o n   f o r   t e m pe ra t u r e   p r e di c t i o n   i s e m i - a r i d   a r e a s .   D e s pi t e   t h e s e   a dv a n c e s   a nd  c o n t ri b ut i o n s ,   t h e r e   a r e   s e v e r a l   l i m i t a t i o n s   t ha t   n e e d   t o   be   a ddr e s s e d.   T h e   a na l y s i s   i s   l i m i t e t o   a   s i n g l e   m e t e o r o l o gi c a l   s t a t i o n   a nd  j us t   c o n s i de r s   t h e   da i l y   m a x i m u m   t e m pe ra t u r e .   F ut u r e   w o r s h o ul d   e xt e n d   t h i s   f ra m e w o r t o   m u l t i pl e   s t a t i o n s ,   l o n ge t e m po r a l   r e c o r ds ,   a n d   a ddi t i o n a l   c l i m a t i c   v a r i a b l e s .   F urt h e r m o r e ,   i n c l udi n g   p h y s i c a l   c o n s t ra i nt s   o r   h y b r i p h y s i c s - i n f o r m e l e a rn i ng   a pp r o a c h e s   c o ul po t e n t i a l l y   e nh a n c e   t h e   i nt e r p r e t a b i l i t y   a nd  ge n e r a l i z a t i o o f   m o de l s   w hi l e   m a i nt a i n i ng   t h e   e ff i c i e n c y   i n   c o m put a t i o n.   O v e ra l l ,   t hi s   s t udy   e s t a b l i s h e s   a   w e l l - de f i n e b e n c h m a r k   f o r   de e l e a rni n g - b a s e t e m pe ra t u r e   p r e di c t i o n   i n   d a t a - l i m i t e d   s e m i - a ri d   r e gi o n s   a n d   c o n t a i n s   us e f ul   i n s i g h t s   t o   s e l e c t   a a p p r o pri a t e   m o de l   c o m pl e xi t y   w h e n   w o r ki n g   o c l i m a t e - s e n s i t i v e   t a s ks .       A C K N O WL ED G M EN TS   T h e   a ut h o r s   de c l a r e   t ha t   t h e y   ha v e   n o   k n o w n   c o m pe t i n g   f i na n c i a l   i n t e r e s t s   o pe r s o na l   r e l a t i o n s h i ps   t h a t   c o ul ha v e   a ppe a r e t o   i n f l ue n c e   t h e   w o r r e po r t e d   i t hi s   pa pe r.       F U N D I N G   I N F O R M A TI O N   T h i s   r e s e a r c h   r e c e i v e n o   e xt e rn a l   f u n di ng.       A U TH O R   C O N TR I B U TI O N S   S TA T EM EN T   T h i s   j o urna l   us e s   t h e   Co n t ri b ut o R o l e s   T a xo n o m y   (CR e di T t o   r e c o gn i z e   i n d i v i dua l   a ut h o c o n t ri b ut i o n s ,   r e duc e   a ut h o r s hi p   di s pu t e s ,   a n d   f a c i l i t a t e   c o l l a bo r a t i o n.     N am e   o A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   O us s a m a   Z e m n a z i                               S a n a a   E l   F i l a l i                               S a ra   O ua ha b i                               A b de r ra h i m   M o u h t a di                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r m a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u rc e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra ft   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         C O N F LI C O F   I N T ER ES S TA T EM EN T   T h e   a ut h o r s   de c l a r e   t ha t   t h e y   ha v e   n o   k n o w n   c o m pe t i n g   f i na n c i a l   i n t e r e s t s   o pe r s o na l   r e l a t i o n s h i ps   t h a t   c o ul ha v e   a ppe a r e t o   i n f l ue n c e   t h e   w o r r e po r t e d   i t hi s   pa pe r.       D A TA   A V A I LA B I LI T Y   T h e   d a t a   t ha t   s uppo r t   t h e   f i n di ngs   o f   t h i s   s t udy   a r e   a v a i l a b l e   f r o m   t h e   G e n e ra l   D i r e c t o ra t e   o f   M e t e o r o l o g y   (M o r o c c o ).   Re s t r i c t i o n s   a pp l y   t o   t h e   a v a i l a b i l i t y   of   t h e s e   da t a ,   w h i c h   w e r e   us e unde r   l i c e n s e   fo r   t h i s   s t udy .   D a t a   a r e   a v a i l a b l e   f r o m   t h e   c o rr e s po n d i n g   a ut h o upo r e a s o na b l e   r e que s t   a n d   w i t pe rm i s s i o of   t h e   G e n e r a l   D i r e c t o r a t e   o f   M e t e o r o l o g y .       R EF ER EN C ES   [1 ]   L .   V .   A l e x a n d e e t   a l . ,   G l o b a l   o b s e r v e d   c h a n g e s   i n   d a i l y   c l i m a t e   e x t re m e s   o f   t e m p e ra t u r e   a n d   p r e c i p i t a t i o n ,     J o u r n a l   o f   G e o p h y s i c a l   R e s e a r c h A t m o s p h e r e s ,   v o l .   1 1 1 ,   n o .   D 5 ,   M a r .   2 0 0 6 ,   d o i :   1 0 . 1 0 2 9 / 2 0 0 5 J D 0 0 6 2 9 0 .   [2 ]   P .   Ba u e r ,   A .   T h o r p e ,   a n d   G .   Bru n e t ,   T h e   q u i e t   r e v o l u t i o n   o f   n u m e ri c a l   w e a t h e p r e d i c t i o n ,   Na t u r e ,   v o l .   5 2 5 ,   n o .   7 5 6 7 ,     p p .   4 7 5 5 ,   S e p .   2 0 1 5 ,   d o i :   1 0 . 1 0 3 8 / n a t u re 1 4 9 5 6 .   [3 ]   P .   D .   D u e b e n   a n d   P .   Ba u e r ,   C h a l l e n g e s   a n d   d e s i g n   c h o i c e s   f o r   g l o b a l   w e a t h e a n d   c l i m a t e   m o d e l s   b a s e d   o n   m a c h i n e   l e a rn i n g ,   G e o s c i e n t i f i c   M o d e l   D e v e l o p m e n t ,   v o l .   1 1 ,   n o .   1 0 ,   p p .   3 9 9 9 4 0 0 9 ,   O c t .   2 0 1 8 ,   d o i :   1 0 . 5 1 9 4 / g m d - 11 - 3999 - 2018.   [4 ]   M .   G .   S c h u l t z   e t   a l . ,   Ca n   d e e p   l e a rn i n g   b e a t   n u m e ri c a l   w e a t h e p r e d i c t i o n ? ,   P h i l o s o p h i c a l   T r a n s a c t i o n s   o f   t h e   R o y a l   S o c i e t y   A M a t h e m a t i c a l ,   P h y s i c a l   a n d   E n g i n e e r i n g   S c i e n c e s ,   v o l .   3 7 9 ,   n o .   2 1 9 4 ,   p .   2 0 2 0 0 0 9 7 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 0 9 8 / rs t a . 2 0 2 0 . 0 0 9 7 .   [5 ]   M .   R e i c h s t e i n   e t   a l . ,   D e e p   l e a r n i n g   a n d   p r o c e s s   u n d e r s t a n d i n g   fo d a t a - d ri v e n   E a r t h   s y s t e m   s c i e n c e ,   Na t u r e ,   v o l .   5 6 6 ,   n o .   7 7 4 3 ,   p p .   1 9 5 2 0 4 ,   F e b .   2 0 1 9 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 8 6 - 019 - 0912 - 1.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   42 ,   N o .   1 A p r i l   20 26 1 83 - 1 93   192   [6 ]   D .   R o l n i c k   e t   a l . ,   T a c k l i n g   c l i m a t e   c h a n g e   w i t h   m a c h i n e   l e a rn i n g ,   A C M   C o m p u t i n g   S u r v e y s ,   v o l .   5 5 ,   n o .   2 ,   p p .   1 9 6 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 4 8 5 1 2 8 .   [7 ]   S .   H o c h r e i t e r   a n d   J .   S c h m i d h u b e r,   L o n g   s h o rt - t e r m   m e m o ry ,   Ne u r a l   Co m p u t a t i o n ,   v o l .   9 ,   n o .   8 ,   p p .   1 7 3 5 1 7 8 0 ,   N o v .   1 9 9 7 ,   d o i :   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [8 ]   K .   C h o   e t   a l . ,   L e a rn i n g   p h ra s e   r e p r e s e n t a t i o n s   u s i n g   RN N   e n c o d e r d e c o d e f o r   s t a t i s t i c a l   m a c h i n e   t ra n s l a t i o n ,   i n   P r o c e e d i n g s   o f   t h e   2 0 1 4   Co n f e r e n c e   o n   E m p i r i c a l   M e t h o d s   i n   N a t u r a l   L a n g u a g e   P r o c e s s i n g   ( E M N L P ) ,   S t ro u d s b u r g ,   P A ,   U S A :   A s s o c i a t i o n   fo r   Co m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 1 4 ,   p p .   1 7 2 4 1 7 3 4 .   d o i :   1 0 . 3 1 1 5 / v 1 / D 1 4 - 1179.   [9 ]   H .   H e w a m a l a g e ,   C .   Be r g m e i r,   a n d   K .   Ba n d a ra ,   R e c u rre n t   n e u ra l   n e t w o rk s   f o t i m e   s e ri e s   f o re c a s t i n g :   c u rr e n t   s t a t u s   a n d   f u t u r e   d i r e c t i o n s ,   In t e r n a t i o n a l   J o u r n a l   o f   F o r e c a s t i n g ,   v o l .   3 7 ,   n o .   1 ,   p p .   3 8 8 4 2 7 ,   J a n .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i j f o r e c a s t . 2 0 2 0 . 0 6 . 0 0 8 .   [1 0 ]   J .   Cu o m o   a n d   V .   C h a n d ra s e k a r,   U s e   o f   d e e p   l e a r n i n g   f o w e a t h e ra d a n o w c a s t i n g ,   J o u r n a l   o f   A t m o s p h e r i c   a n d   O c e a n i c   T e c h n o l o g y ,   p p .   1 6 4 1 1 6 5 6 ,   J u l .   2 0 2 1 ,   d o i :   1 0 . 1 1 7 5 / J T E CH - D - 21 - 0 0 1 2 . 1 .   [1 1 ]   X .   S h i ,   Z .   Ch e n ,   H .   W a n g ,   D . - Y .   Y e u n g ,   W .   W o n g ,   a n d   W .   W o o ,   C o n v o l u t i o n a l   L S T M   n e t w o rk :   a   m a c h i n e   l e a rn i n g   a p p r o a c h   fo p r e c i p i t a t i o n   n o w c a s t i n g ,   A d v a n c e s   i n   Ne u r a l   In f o r m a t i o n   P r o c e s s i n g   S y s t e m s ,   v o l .   2 0 1 5 - J a n u a ,   p p .   8 0 2 8 1 0 ,   S e p .   2 0 1 5 .   [1 2 ]   A .   V a s w a n i   e t   a l . ,   A t t e n t i o n   I s   A l l   Y o u   N e e d ,   a r X i v   p r e p r i n t ,   A u g .   2 0 1 7 .   [1 3 ]   H .   Z h o u   e t   a l . ,   In fo r m e r:   b e y o n d   e ffi c i e n t   t ra n s f o rm e r   fo l o n g   s e q u e n c e   t i m e - s e ri e s   fo r e c a s t i n g ,   i n   P r o c e e d i n g s   o f   t h e   A A A I   Co n f e r e n c e   o n   A r t i f i c i a l   In t e l l i g e n c e ,   M a y   2 0 2 1 ,   p p .   1 1 1 0 6 1 1 1 1 5 .   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 5 i 1 2 . 1 7 3 2 5 .   [1 4 ]   B.   L i m ,   S .   Ö .   A k ,   N .   L o e ff ,   a n d   T .   P fi s t e r,   T e m p o ra l   f u s i o n   t ra n s fo r m e r s   fo i n t e r p r e t a b l e   m u l t i - h o ri z o n   t i m e   s e r i e s   fo r e c a s t i n g ,   In t e r n a t i o n a l   J o u r n a l   o f   F o r e c a s t i n g ,   v o l .   3 7 ,   n o .   4 ,   p p .   1 7 4 8 1 7 6 4 ,   O c t .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i j f o re c a s t . 2 0 2 1 . 0 3 . 0 1 2 .   [1 5 ]   H .   Is m a i l   F a w a z ,   G .   F o re s t i e r,   J .   W e b e r,   L .   I d o u m g h a r ,   a n d   P . - A .   M u l l e r,   D e e p   l e a r n i n g   fo t i m e   s e r i e s   c l a s s i fi c a t i o n :   a   r e v i e w ,   D a t a   M i n i n g   a n d   K n o w l e d g e   D i s c o v e r y ,   v o l .   3 3 ,   n o .   4 ,   p p .   9 1 7 9 6 3 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 1 8 - 019 - 00619 - 1.   [1 6 ]   S .   M a k ri d a k i s ,   E .   S p i l i o t i s ,   a n d   V .   A s s i m a k o p o u l o s ,   T h e   M 4   c o m p e t i t i o n :   re s u l t s ,   f i n d i n g s ,   c o n c l u s i o n   a n d   w a y   fo r w a r d ,   In t e r n a t i o n a l   J o u r n a l   o f   F o r e c a s t i n g ,   v o l .   3 4 ,   n o .   4 ,   p p .   8 0 2 8 0 8 ,   O c t .   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . i j f o r e c a s t . 2 0 1 8 . 0 6 . 0 0 1 .   [1 7 ]   S .   Ra s p ,   P .   D .   D u e b e n ,   S .   S c h e r ,   J .   A .   W e y n ,   S .   M o u a t a d i d ,   a n d   N .   T h u e re y ,   W e a t h e rB e n c h :   a   b e n c h m a rk   d a t a   s e t   fo d a t a d ri v e n   w e a t h e r   fo r e c a s t i n g ,   J o u r n a l   o f   A d v a n c e s   i n   M o d e l i n g   E a r t h   S y s t e m s ,   v o l .   1 2 ,   n o .   1 1 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 0 2 9 / 2 0 2 0 M S 0 0 2 2 0 3 .   [1 8 ]   S .   H a y k i n ,   Ne u r a l   n e t w o r k s   a n d   l e a r n i n g   m a c h i n e s ,   3 rd   e d . ,   v o l .   3 .   U p p e r   S a d d l e   Ri v e r ,   N e w   J e r s e y ,   U S A :   P e a rs o n   E d u c a t i o n ,   In c . ,   2 0 0 8 .   d o i :   9 7 8 - 0 1 3 1 4 7 1 3 9 9 .   [1 9 ]   S .   B.   T a i e b   a n d   R.   J .   H y n d m a n ,   A   g ra d i e n t   b o o s t i n g   a p p r o a c h   t o   t h e   K a g g l e   l o a d   fo r e c a s t i n g   c o m p e t i t i o n ,   In t e r n a t i o n a l   J o u r n a l   o f   F o r e c a s t i n g ,   v o l .   3 0 ,   n o .   2 ,   p p .   3 8 2 3 9 4 ,   A p r.   2 0 1 4 ,   d o i :   1 0 . 1 0 1 6 / j . i j f o r e c a s t . 2 0 1 3 . 0 7 . 0 0 5 .   [2 0 ]   H .   H e r s b a c h   e t   a l . ,   T h e   E R A 5   g l o b a l   r e a n a l y s i s ,   Q u a r t e r l y   J o u r n a l   o f   t h e   R o y a l   M e t e o r o l o g i c a l   S o c i e t y ,   v o l .   1 4 6 ,   n o .   7 3 0 ,     p p .   1 9 9 9 2 0 4 9 ,   J u l .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 2 / q j . 3 8 0 3 .   [2 1 ]   G .   Z h a n g ,   B .   E d d y   P a t u w o ,   a n d   M .   Y .   H u ,   F o r e c a s t i n g   w i t h   a rt i fi c i a l   n e u ra l   n e t w o rk s :   t h e   s t a t e   o t h e   a rt ,   In t e r n a t i o n a l   J o u r n a l   o f   F o r e c a s t i n g ,   v o l .   1 4 ,   n o .   1 ,   p p .   3 5 6 2 ,   M a r.   1 9 9 8 ,   d o i :   1 0 . 1 0 1 6 / S 0 1 6 9 - 2 0 7 0 (9 7 )0 0 0 4 4 - 7.   [2 2 ]   C.   W i l l m o t t   a n d   K .   M a t s u u ra ,   A d v a n t a g e s   o t h e   m e a n   a b s o l u t e   e rr o (M A E )   o v e t h e   ro o t   m e a n   s q u a re   e rr o (R M S E i n   a s s e s s i n g   a v e ra g e   m o d e l   p e r f o r m a n c e ,   Cl i m a t e   R e s e a r c h ,   v o l .   3 0 ,   p p .   7 9 8 2 ,   2 0 0 5 ,   d o i :   1 0 . 3 3 5 4 / c r0 3 0 0 7 9 .   [2 3 ]   R.   J .   H y n d m a n   a n d   G .   A t h a n a s o p o u l o s ,   F o r e c a s t i n g p r i n c i p l e s   a n d   p r a c t i c e ,   3 rd   e d .   O T e x t s ,   2 0 2 1 .   [2 4 ]   I.   T .   J o l l i ffe   a n d   D .   B.   S t e p h e n s o n ,   F o r e c a s t   v e r i f i c a t i o n a   p r a c t i t i o n e r s   g u i d e   i n   a t m o s p h e r i c   s c i e n c e ,   2 n d   e d .   J o h n   W i l e y   &   S o n s ,   2 0 1 2 .   d o i :   1 0 . 1 0 0 2 / 9 7 8 1 1 1 9 9 6 0 0 0 3 .       B I O G R A P H I ES   O F   A U T H O R S       O u s s am a   Z e m n az i           ho l d s   a   b a c he l o r s   d e g r e e   i n   M a t he m a t i c a l   a nd   C o m put e r   S c i e nc e s   a nd   a   M a s t e r s   d e g r e e   i D a t a   S c i e nc e   a nd  B i g   D a t a   f r o m   H a s s a n   I I   U ni v e r s i t y   of   C a s a b l a nc a ,   M o r o c c o .   H e   i s   c ur r e nt l y   pur s u i ng   a   do c t o r a l   de g r e e   i A r t i f i c i a l   I nt e l l i g e nc e   a n D a t a   S c i e nc e   a t   t he   F a c ul t y   of   S c i e nc e s   B e M S i k ,   H a s s a n   I I   U ni ve r s i t y ,   a n i s   a f f i l i a t e d   w i t h   t he   L a bo r a t o r y   o f   A r t i f i c i a l   I nt e l l i g e nc e   a nd  S y s t e m s .   H i s   r e s e a r c i n t e r e s t s   i nc l ude   a r t i f i c i a l   i nt e l l i g e nc e ,   de e l e a r n i ng ,   t i m e   s e r i e s   f o r e c a s t i ng ,   a nd   de c i s i o s uppo r t   s y s t e m s ,   w i t h   a ppl i c a t i o ns   i n   e nv i r o nm e nt a l   a nd   a g r i c ul t ur a l   c o nt e x t s .   H e   c a b e   c o nt a c t e d   a t   e m a i l :   o us s a m a . z e m na z i - e t u @e t u . un i v h2c . m a .         S an aa   E l   F i l a l i           i s   a   p r o f e s s o r   o f   C o m put e r   S c i e nc e   a t   t he   F a c ul t y   o f   S c i e nc e s   B e M S i k ,   H a s s a n   I I   U ni v e r s i t y   o f   C a s a bl a nc a ,   M o r o c c o .   S he   r e c e i v e d   a   P h . D .   i n   I nf o r m a t i o P r o c e s s i ng   i n   200 6.   H e r   c ur r e n t   r e s e a r c i n t e r e s t s   i nc l ude   t h e   i n t e r n e t   o f   t hi ng s   ( I o T ) ,   a r t i f i c i a l   i nt e l l i g e nc e ,   m a c hi n e   l e a r n i ng ,   de e p   l e a r n i ng ,   c o m put e r   v i s i o n ,   n a t u r a l   l a ng ua g e   p r o c e s s i ng   ( N L P ) ,   a n d   c y be r s e c ur i t y .   S he   i s   a c t i v e l y   i nv o l v e i n   pr o m o t i ng   r e s e a r c h - i ndus t r y   c o l l a bo r a t i o a nd   t e c hno l o gy   t r a ns f e r .   S he   ha s   r e c e i v e s e v e r a l   r e g i o na l   a n i nt e r n a t i o na l   di s t i nc t i o ns ,   i nc l u di ng   t he   D a t a - D r i v e R e s e a r c h   A w a r ( M E N A ,   2021 )   a nd   t h e   t h i r p r i z e   a t   t he   I nt e r na t i o na l   C o nf e r e nc e   o n   M i c r o e l e c t r o ni c s   ( 2022 ) .   S he   i s   a l s o   t he   f o unde r   o f   m ul t i pl e   s c i e n t i f i c   a n e duc a t i o na l   i n i t i a t i v e s ,   s uc a s   t he   A I   C l ub  &   D e v   C o m m uni t y   a nd  A B C   M a t h   I n f o .   S he   c u r r e nt l y   s upe r v i s e s   s e v e r a l   P h . D .   s t ude nt s   a nd   c o nt r i b ut e s   a c t i v e l y   t o   t h e   de v e l o pm e nt   o f   r e s e a r c i n   i n t e l l i g e n t   s y s t e m s   a nd   e m e r g i ng   t e c hno l o g i e s .   S he   c a b e   c o nt a c t e a t   e m a i l :   e l f i l a l i s @g m a i l . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.