I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   3 6 ,   N o .   3 ,  De c e m b e r   20 24 ,   pp.   1 6 94 ~ 1 700   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 3 6 . i 3 . pp 1 6 94 - 1 700             1694     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   L e ve r agi n g t r an sf or m e r  m od e ls  f or  e n h an c e d  t e m p e r at u r e   f or e c ast in g:  a c om p ar at iv e  an al y si s i n  t h e   B e n i  M e ll al   r e gi on       Ham z a  Jd i,   Nour e d d in e   F al ih   L I M A T I   L a b o r a t or y , P o l y di s c ip li na r y   F a c ul t y , S ul ta n M o ul a y   S li ma ne  U ni ve r s it y ,  B e n i  M e ll a l,  M or oc c o       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  J ul   12 ,   202 4   R e vi s e d  A ug   8 ,  202 4   A c c e pt e d  A ug   26 ,   202 4       T h e   r em ar k ab l e   i m p a c t   o f   t ran s fo r m e rs   i n   art i fi ci al   i n t e l l i g en ce ,   e x em p l i f i e d   b y   ap p l i c at i o n s   l i k e   G PT - 3   i n   l an g u ag e   p ro ce s s i n g ,   h a s   s p ark e d   i n t e r e s t   i n   t h e i r   p o t en t i al   fo r   t i me   s e ri e s   a n al y s i s .   T h i s   s t u d y   a i ms   t o   e x p l o r e  w h e t h e r   t ran s fo rme rs ,   s p ec i f i c al l y   t em p o ra l   f u s i o n   t ran s fo rm e rs   (T FT ),   c a n   o u t p e rfo r m  co n v e n t i o n a l   me t h o d s   i n   t h i s   d o m ai n .   T h e   re s e ar ch   q u e s t i o n   i s   w h e t h e r  T FT   e x h i b i t s   s u p e ri o r  p e rf o r m an ce   c o m p ar e d   t o   co n v e n t i o n a l   rec u rr en t   n e u ra l   n e t w o r k   (R N N )   me t h o d s ,   s p eci fi c a l l y   g at e d   r ec u rr en t   u n i t   (G RU ),   an d   t rad i t i o n al   m a c h i n e  l e ar n i n g   ap p ro ach e s ,   n o t ab l y   a u t o r e g r e s s i v e  i n t eg rat ed   mo v i n g   a v e rag e   ( A R I MA ) ,   i n   t h e  c o n t e x t   o f   t i me  s e r i e s   an a l y s i s   an d   t em p e rat u r e  p red i c t i o n .   A   co m p arat i v e   a n al y s i s   i s   c o n d u c t ed   a mo n g   t h ree   mo d el s :   A R I M A ,   G RU ,   an d   T FT .   T h e   s t u d y   u t i l i ze s   t i me   s e ri e s   d at a  s p an n i n g   fr o m   1 9 8 4   t o   t h e   e n d   o f  2 0 2 2 .   T h e   mo d el s ’   p e rfo rm a n ce s   are  e v a l u at e d   u s i n g   m u l t i p l e   me t ri c s :   me a n   ab s o l u t e   e rro r   (MA E ),   ro o t   me a n   s q u are   e rr o r  (RMSE ),   me an   ab s o l u t e   p e rcen t ag e   e rro r  (MA PE ),   an d   t h e  c o e ff i c i en t   o f   d e t e r m i n at i o n   (R2 ).   T h e   T FT   m o d e l   a c h i ev e s   t h e  l o w e s t   M A E ,   i n d i c at i n g   h i g h   a ccu ra cy   i n   i t s   p re d i c t i o n s .   I t   o u t p e rf o r m s   b o t h   t h e   R N N   an d   t rad i t i o n a l   m a c h i n e   l e arn i n g   i n   t em p e rat u r e   p r e d i c t i o n   t as k s .   I n t e g rat i n g   t h e  T FT   m o d el   w i t h   t h e   F A O   p e n m a n - m o n t ei t h   me t h o d   c o u l d   i m p ro v e  i rr i g at i o n  s c h e d u l i n g   d u e  t o   mo r e   a ccu rat e   t em p e rat u r e  p red i c t i o n s ,   p o t e n t i a l l y   e n h an ci n g   w at e r  e ff i c i en cy   a n d   c ro p   y i e l d s .   K e y w o r d s :   M a c hi ne   l e a r ni ng   R e c ur r e n t   n e ur a l   n e t wo r ks   T e m pe r a t ur e   f o r e c a s t   T e m po r a l   f us i o n   t r a n s f o r m e r s   T i m e   s e r i e s   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   Ha m z a   J d i     L I M A T I   L a b o r a to r y ,   P o l y d i s c i p l i na r y   F a c u l t y ,   S u lt a n   M o ul a y   S l im a n e   U ni ve r s i t y     M ghil a   B P :  592 ,   B e ni   M e ll a l ,   M o r o c c o   E m a i l :  h a m z a j d i @g m a il . c o m       1.   I NT RODU C T I ON   T h e   a r r i v a l   o f   t r a n s f o r m e r s   h a s   b r o ugh t   a b o u t  a   pa r a d i g m   s hi f t   i n   a r t i f i c i a l   i n t e ll i g e n c e ,   e x e m p li f i e d   by   t h e   r e m a r ka bl e   s uc c e s s   o f   t h e   ge ne r a t i v e   pr e - t r a i ne d  t r a n s f o r m e r   3  ( GPT - 3)   i n   na t ur a l   l a n gua g e   pr o c e s s i n g   [ 1] ,   [ 2 ] .   GP T - 3   h a s   de m o ns t r a t e d  un pa r a l l e l e d  pr o f i c i e n c y   i n   ge ne r a t i n g  c o h e r e n t   a n d  c o n t e x t ua l ly  r e l e v a n t   t e x t,   f i nd i n g  a pp li c a t i o n s   i n   c h a t b o t s ,   c o n t e n t   c r e a ti o n ,   l a n gua ge   t r a n s l a t i o n ,   a n d  t e x t   s um m a r i z a t i o n .   B e y o n d  GPT - 3,   a n o t h e r   i nf l u e n t i a l   t r a n s f o r m e r   m o de l   i n   t h e   r e a lm   o f   n a t ur a l   l a n gua g e   pr o c e s s i n g  i s   bi d i r e c t i o n a l   e n c o de r   r e pr e s e n t a t i o n s   f r o m   tr a n s f o r m e r s   ( B E R T )   [ 3 ] .   B E R T ’ s   bi d i r e c t i o n a l   a pp r o a c h   to  un de r s t a n d i ng  wo r d   c o n t e x t ,   c o n s i de r i n g  b o t h   l e f t   a n d  r i g h t   c o n t e x t s ,   h a s   s i g ni f i c a n t l y   i m pr o v e d  i t s   pe r f o r m a n c e   i n   t a s ks   s uc h   a s   que s t i o n   a ns we r i ng  [ 4]   a n d  s e n t i m e n t   a n a ly s i s   [ 5] .   W hil e   t r a n s f o r m e r s   ha v e   e s t a bli s h e d  t h e m s e l ve s   a s   p o we r f u l   t oo l s   i n   NL P   a n d  l a n gua g e - r e l a t e d  t a s ks ,   t h e   e x p l o r a t i o n   o f   t h e i r   p ot e n t i a l   i n   t i me  s e r i e s   a n a ly s i s   i s   o n go i n g.   T r a di t i o n a l   m e t ho ds   l i k e   a uto r e gr e s s i v e   i n t e gr a t e d   m o vi ng  a v e r a ge   ( A R I M A )   a n d  l o n g  s h o r t - t e r m   m e m o r y   ( L S T M )   h a v e   b e e n  pr e do m i na n t   i n   t hi s   do m a i n ,   b ut   t r a n s f o r m e r s ,   w i t h   t h e i r   s e lf - a tt e n t i o n   m e c h a ni s m   [ 6] ,   s h o w  pr o m i s e   i n  Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       L e v e r aging  tr ans f or me r   mode ls   f or   e nhanc e d  tem pe r atur e   …   ( Ha mz a  J di )   1695   c a pt ur i n g  l o n g - r a n g e   de pe n de nc i e s   i n   s e que n c e s .   T hi s   s ugge s t s   t h e   p ot e n t i a l   f o r   t r a n s f o r m e r s   to   e n ha n c e   t i m e   s e r i e s   f o r e c a s t i n g  a n d  a n o m a ly   d e t e c t i o n .   I n   t h e   r e a l m   o f   c o m put e r   vi s i o n ,   t r a n s f o r m e r s   a r e   n ot   c o nf i ne d  to  l a n gu a ge - r e l a t e d  t a s ks .   Vi s i o n  t r a n s f o r m e r s   ( V i T )   h a v e   e m e r ge d  a s   s uc c e s s f u l   m o de l s   f o r   i m a ge   c l a s s i f i c a t i o n   [ 7] ,  [ 8 ] .   Vi T ’ s   a p pr o a c h   o f   d i vi d i ng  i m a ge s   i n t o  pa t c h e s ,   l i ne a r l y   e m be dd i n g  t h e m ,   a n d  pr o c e s s i n g  t h e m   t h r o ugh   t r a n s f o r m e r   l a y e r s   hi g hli g h t s   t h e   a da pt a bi li t y   o f   t r a n s f o r m e r s   a c r o s s   di ve r s e   da t a   t y pe s .   W hil e   t h e i r   e f f i c a c y   i s   we ll - e s t a bli s he d  i n   d i v e r s e   d o m a i ns ,   t h e i r   pot e n t i a l   i n  t i m e   s e r i e s   a n a ly s is   r e m a i ns   a   s ubj e c t   o f   e x p l o r a t i o n .   T hi s   s t ud y   a im s   to   a dd r e s s   t hi s   by   e x a mi n i ng  t h e   pe r f o r m a n c e   o f   t r a n s f o r m e r s ,   s pe c i f i c a ll y   f o c u s i n g  o n   t e m po r a l   f us i o n   t r a n s f o r m e r s   ( T F T )   m o de l s ,   i n   c o m pa r i s o n   to  c o n v e n t i o n a l   m e t h o ds   s uc h   a s   r e c ur r e n t  n e ur a l   n e t wo r k   ( R NN ) ,   wi t h   a   f o c us   o n   ga t e d   r e c ur r e n t  uni t   ( GR U ) ,  a n d  t r a di t i o n a l   m a c hi ne   l e a r ni ng  a ppr o a c h e s ,   pa r t i c u l a r ly   A R I M A .   F o r   t h i s   pur po s e ,   we   s h a l l   u s e   a   t i m e   s e r i e s   s pa nni ng  f r o m   1984  to  t h e   e n d  o f   2022.   Our   pr i m a r y   o bj e c t i v e   i s   to  c o n duc t   a   c o m pr e h e ns i ve   c o m pa r a t i v e   a n a ly s i s   a m o n g  t h e   t h r e e   m o de l s   A R I M A ,   GR U,   a n d  T F T   us i ng  e s t a bli s he d  e v a l ua t i o n  m e t r i c s ,   i nc l ud i ng  m e a n   a b s o l ut e   e r r o r   ( M A E )   [ 9] ,  r oot   m e a n   s qua r e   e r r or   ( R M S E )   [ 10] ,  m e a n   a b s o l ut e   pe r c e n t a ge   e r r o r   ( M A P E )   [ 11 ] ,   a n d  t h e   c o e f f i c i e n t   o f   de t e r mi na t i o n   ( R2 )   [ 12 ] .   T h r o ugh   t hi s   i nve s t i ga t i o n ,   we   a i m   t o  s he d  l i g h t   o n   t h e   p ot e n t i a l   s up e r i o r i t y   o f   t r a n s f o r m e r s   i n   h a n d li ng  t i m e   s e r i e s   da t a   f o r   t e m pe r a t ur e   pr e d i c t i o n .   W e   pr e s e n t   a   s um m a r y   o f   r e s e a r c h   c a r r i e d  o ut   us i n g  T F T .   Kn o wn   f o r   t h e i r   t r a n s f o r m a t i v e   c a pa bi li t i e s ,   t h e y   h a v e   b e c o m e   i ns t r um e n t a l   i n   r e s h a p i ng  t h e   pr o c e s s i ng  a n d  m o de l i ng  o f   d i ve r s e   da t a   t y pe s .   Th i s   i n c l ude s   t i m e - s e r i e s   da t a   [ 13]   s uc h   a s   f i na n c i a l   m a r ke t   f l u c t ua t i o ns ,   we a t h e r   pa tt e r n   c h a n g e s ,   a n d   bi o l o g i c a l   s i g n a l s ,   a s   we ll   a s   s pa t i a l   da t a   l i ke   ge o gr a phi c a l   i nf o r m a t i o n ,   t e x t ua l   da t a   f r o m   do c u m e n t s   a n d   s o c i a l   m e d i a ,   a n d  m u l t i m e d i a   da t a   s uc h   a s   i m a ge s   a n d  vi de o s ,   a c r o s s   v a r i o us   f i e l ds .   Z h u  a n d  T a n g   [ 14]   tr y   e x p l o r i ng  t h e   us e   o f   T F T ,   L S T M ,   a n d  l i ne a r   r e gr e s s i o n   t i m e   s e r i e s   m o de l s   f o r   t h e   pur po s e   o f   s t r e n gt h e ni ng  t h e   pr e d i c t i o n   s t r a t e gy   o f   m e t e or o l o g i c a l   f a c t o r s   we a t h e r   m o ni t o r i n g  by  c o m pa r i ng  t h e   a dv a n t a ge s   a n d  d i s a d v a n t a ge s .   He e r de n   e t  al.   [ 15]   a ppl i e s   t h e   T F T   di r e c t l y   to  r a w   wi n d  po we r   o u t pu t  da t a ,   r e v e a l i ng  i t s   pe r f o r m a n c e   c o m pa r a bl e   to   wi de ly   us e d  R NN - b a s e d  a ppr o a c h e s   t o  p r e d i c t   wi n d  po we r .   N ot a bl y ,   t h e   m o de l ’ s  e f f e c t i v e n e s s   d i mi n i s he s   t e n   to   t we l v e   h o ur s   a f t e r   th e   l a s t   i n put .   As   f o r   t hi s   s t ud y   [ 16]   t h e   a u t h o r s   i n t r o duc e   a n   i nn o v a t i v e   f o r e c a s t i n g  a ppr o a c h   i n t e gr a t i n g   pr o m i ne n t   m e t h o ds   o f   b r e a k i ng   do wn ,   i n t e r pr e t a bl e   m u l t i f a c t o r   pr e di c t i n g  m o de l s ,   a n d  o p t i mi z a t i o n  a l go r i t hm s .   T h e   s ugge s t e d  m o de l   ut i li z e s   v a r i a t i o n a l   m o de   de c o m po s i t i o n   t o  di s s e c t   t h e   r a w  w i n d  s pe e d  s e que n c e   i n t o  i n t r i ns i c   m o de   f u n c t i o n s .   A da pt i ve   di f f e r e n t i a l   e v o l ut i o n   i s   e m p l o y e d  t o  o p t i m i z e   v a r i o us   pa r a m e t e r s   o f   T F T   m o de l ,   r e s u l t i n g  i n   a   f o r e c a s t i ng  m o de l   w i t h   s a t i s f a c t o r y   pe r f o r m a n c e .   A   n o v e l   t e c hni qu e   ut i li z i ng  t h e   T F T   f o r   c o n c ur r e n t   pr e di c t i o n   o f   de pa r t ur e   a n d  a r r i va l   de l a y s   a t   m u l t i p l e   a i r po r t s   i s   i n t r o duc e d  by   W a n g  e t  al.   [ 1 7] .   T hi s   m e t h o d  e f f e c t i v e ly   c a pt ur e s   i n t r i c a t e   t i me - b a s e d   pa tt e r n s   o f   a v a il a bl e   i n put   v a r i a bl e s   a t   t h e   m o m e nt  o f   pr e d i c t i o n ,   e n a bli ng  f o r e c a s t s   o f   s pe c i f i c   de l a y   m e t r i c s   up  to   f o ur   h o ur s   a h e a d.   T o  e n h a nc e   we a t h e r   da t a   pr o c e s s i n g ,   t h e   t e a m   de v e l o pe d  a   s e l f - s upe r vi s e d  l e a r ni ng   m o de l   t h a t   c o n de n s e s   c o m p l e x   we a t h e r   i nf o r m a t i o n   i n t o  a   m o r e   c o m pa c t   f o r m a t   s u i t a bl e   f o r   T F T   t r a i ni ng.   P r e l i mi na r y   r e s u l t s   s ugge s t   t h a t   t h e   T F T - b a s e d  de la y   pr e d i c t i o n   m o de l   pe r f o r m s   we ll ,   de m o ns t r a t i n g  r e duc e d  f o r e c a s t i n g  e r r o r s   wh e n   t e s t e d  o n   t h e   v a li da t i o n   da tas e t .   S a n t o s   e t   al.   [ 18 ]   s e e ks   to  f o r e c a s t   h o ur l y   da y - a he a d  P V  p o we r   ge n e r a t i o n   by   e m p l o yi ng  t h e   T F T ,     a n   a t t e n t i o n - ba s e d  a r c hi t e c t ur e   o f f e r i ng  i n t e r pr e t a bi li t y   i n  t e m po r a l   d y na m i c s   a n d  hi g h - pe r f o r m a n c e   f o r e c a s t i n g  a c r o s s   v a r i o us   h o r i z o n s .   T h e   pr o p o s e d  m o de l   u n de r we n t   tr a i ni ng  a n d  t e s t i n g  w i t h   da t a   f r o m   s i x  f a c il i t i e s   i n   G e r m a ny   a n d  A us t r a l i a .   C o m pa r a t i v e   a n a ly s i s   a ga i ns t   a l go r i t hm s   s uc h   a s   A R I M A ,   L S T M ,   m u l t i - l a y e r   pe r c e pt r o n   ( M L P ) ,   a n d   e x t r e m e   gr a d i e n t   b oo s t i n g  ( XG B o o s t )   wa s   c o n duc t e d   us i n g  s t a t i s t i c a l   e r r o r   m e a s ur e s .   T h e   r e s u l t s   de m o ns t r a t e   t h a t   T F T   o v e r t a ke s   t h e   ot h e r   a l go r i t hm s   i n  a c c ur a t e l y   f o r e c a s t i n g  P V  ge n e r a t i o n   a c r o s s   t h e   s pe c i f i e d  f a c i li t i e s .   I n   t h e   c o n t e x t   o f   t r a f f i c   f l o w  f o r e c a s t i n g,   t h e   t r a n s f o r m e r   m o de l   pr e s e n t e d  i n   a r t i c l e   [ 19]   ut i l i z e s   m u l t i - h e a d  a tt e n t i o n   a n d  u n de r go e s   a   c o m pa r a t i v e   a s s e s s m e n t   a ga i ns t   a   GR U  a n d  a   L S T M   m o de l   us i n g  t h e   pe r f o r m a n c e   m e a s ur e m e n t   s y s t e m   da t a s e t .   W i t h   f iv e   h e a ds   a n d  f i ve   i d e n t i c a l   l a y e r s   f o r   b ot h   t h e   e n c o de r   a n d  de c o de r ,   t h e   m o de l   i nc o r por a t e s   s qua r e   s ub s e q ue n t   m a s k i ng  t e c h ni qu e s .   T h e   f i n d i ng s   un de r s c o r e   t h e   t r a n s f o r m e r - b a s e d  m o de l ’ s   pr o f i c i e n c y   i n  a c c ur a t e l y   pr e d i c t i n g  e x t e n de d - t e r m   t r a f f i c   f l o w  pa tt e r n s   w he n  s upp l i e d  w i t h   a   s i g nif i c a n t   v o l u m e   o f   da t a .   L i m e   e t  al.   [ 20 ]   i n t r o duc e s   T F T ,   a n   a tt e n t i o n - ba s e d  a r c hi t e c t ur e   w i t h   i n t e r pr e t a bl e   i ns i g h t s   i n t o  t e m po r a l   d y na mi c s .   T F T   e m p l o y s   r e c ur r e n t   l a y e r s   f o r   l o c a l   pr o c e s s i n g  t o   c a p t ur e   t e m po r a l   r e l a t i o n s hi p s   a t   v a r i o us   s c a l e s   a n d  i n t e r pr e t a bl e   s e lf - a t t e n t i o n   l a y e r s   f o r   l o n g - t e r m   de pe n de n c i e s .   De d i c a t e d  c o m po ne n t s   a r e   ut i li z e d  f o r   f e a t ur e   s e l e c t i o n ,   a n d  a   s e r i e s   o f   ga t i n g   l a y e r s   e f f e c t i ve l y   s uppr e s s   n e e d l e s s   c o m po ne n t s ,   e ns ur i n g   s upe r i o r   pe r f o r m a n c e   a c r o s s   a   di ve r s e   r a n g e   o f   s i t ua t i o n s .   W u  a n d  W a n g   [ 21]   pr o p o s e   a   w i n d  s p e e d  pr e d i c t i o n   m o de l   w i t h   go a l s   i nc l ud i ng  e nh a n c e d   de c o m po s i t i o n   t e c hni que s ,   i n t e l li ge n t   o p t i mi z a t i o n   us i n g  t h e   J A DE   a l go r i t hm ,   a n d  i n t e r pr e t a bi li t y .   T h e   m o de l ,   i nc o r por a t i n g  t h e   T F T   f r a m e wo r k,   i s   e m p i r i c a ll y   v a li da t e d  f o r   r e al - wo r l d  e f f e c t i v e n e s s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 6 ,   N o .   3 ,  De c em b e r   20 24 :   1 6 94 - 1 700   1696   J d i   a n d  F a li h  [ 22]   c o m pa r e d  f o ur   m o de l s ,   n a m e ly   s im p l e   R N N,   L S T M ,   GR U,   a n d  A R I M A.     T h e   s t udy   wa s   c o n duc t e d  o n   t h e   r e gi o n   o f   B e ni  M e l l a l ,   M o r o c c o   us i n g  a   22 - y e a r   da i ly   c o l l e c t e d  r e c o r d.     T h e   r e s u l t s   s h o we d  t h a t  t h e   de e p  l e a r ni ng  m o de l s ,   n a m e ly   G R U  a n d  L S T M ,   o u t pe r f o r m e d  t h e   m a c hi ne - l e a r ni ng  m o de l ,   AR I M A ,   w i t h   t h e   GR U  m o de l   a c hi e vi ng  t h e   l o we s t   M A E   As   e vi de n t   f r o m   t h e   c i t e d  l i t e r a t ur e ,   T F T   h a v e   de m o n s t r a t e d   s uc c e s s   a n d  o u t pe r f o r m e d  b ot h   R NN   a n d  t r a d i t i o na l   m a c hi ne   l e a r ni ng  m o de l s .   I t s   a tt e n t i o n - b a s e d  a ppr o a c h   a n d  i n t e r pr e t a bl e   i ns i g h t s   i n t o   te m po r a l   d y n a mi c s   pr o v e   v a l ua bl e   i n   pr e d i c t i n g  v a r i o us   f i e l ds   s u c h   a s   t r a f f i c   f l o w,   a i r   qua li t y ,   P V  po we r   f o r e c a s t i n g,   w i n d  s pe e d,   w i n d  po we r   f o r e c a s t i n g,   a n d  m u l t i - a i r po r t  de l a y s .   Ho we v e r ,   t h e   l i t e r a t ur e   h i g hli g h t s   a   g a p  i n   t h e   im p l e m e n t a t i o n   o f   T F T   i n   we a t h e r   f o r e c a s t i n g,   pa r t i c u l a r l y   i n   pr e d i c t i n g  t e m pe r a t ur e .   T hi s   wor k  b ui l ds   upo n  o ur   pr e vi o us   wor k  [ 22] - [ 24] ,   wh e r e   we   f o c us   o n   pr e di c t i n g  t e m p e r a t ur e   by   c o m pa r i ng  R NN   a n d  A R I M A   m o de l s   f r o m   v a r i o us   pe r s p e c t i v e s ,   we   c o n c l u de d  t h a t   R NN   h a d  t h e   uppe r   h a n d  b a s e d  o n   M A E .     T h e   que s t i o n   a r i s e s :  c a n   t r a n s f o r m e r s ,   t h r o ugh   T F T ,   o f f e r   gr e a t e r   a c c ur a c y   w h e n   i t   c o m e s   t o   t e m pe r a t ur e   f o r e c a s t i n g ?       2.   M E T HO D   I n   t hi s   s t ud y ,   o ur   o bj e c t i ve   i s   to   pr e di c t   t e m pe r a t u r e s   us i n g  t h e   T F T   m o de l   a n d  s u bs e que n t l y  c o m pa r e   i t s   pe r f o r m a nc e   a ga i ns t   t h e   r e s u l t s   o b t a i ne d  f r o m   R NN   a n d  A R I M A   m o d e l s   f r o m   o ur   pr e vi e us   s t ud i e s   [ 22] ,   [ 23] .  T h e   da t a   u t i l i z e d  i n   t hi s   a n a ly s is   i s   s o ur c e d  f r o m   t h e   m o de r n - e r a   r e t r o s pe c t i v e   a na l y s i s   f o r   r e s e a r c h   a n d  a pp l i c a t i o n s ,   v e r s i o n   2  ( M E R R A - 2) ,   a   s t a t e - of - t h e - a r t  NA S A   a t m o s ph e r i c   r e a n a ly s i s   pr o duc t.   M E R R A - 2  i n t e gr a t e s   v a r i o us   s a t e l li t e   o b s e r v a t i o ns   a n d  n u m e r i c a l   m o de l s   t o  pr o v i d e   a   c o m pr e h e ns i v e ,   gl o b a l   da t a s e t   o f   a t m o s p h e r i c   c o n d i t i o ns .   T hi s   r e a n a ly s i s   pr o duc t  i s   pa r t i c u l a r ly   v a l ua bl e   f o r   c l im a t e   s t udi e s   due   to   i t s   c o n s i s t e n t   m e t h o do l o g y   a n d  e x t e n s i ve   t e m po r a l   c o v e r a ge .   F o r   o ur   s t udy ,   we   e x t r a c t   da i ly   t e m pe r a t ur e   da t a   f r o m   M E R R A - 2  f o r   a   s pe c i f i c   ge o gr a phi c a l   l o c a t i o n   ( l a t i t u de :  32 . 33 ,   l o n gi tude :   - 6 . 37 ) .   T h i s   l oc a t i o n   c or r e s p o n ds   to  t h e   B e ni   M e l l a l   r e gi o n   i n   M or oc c o  [ 25 ] ,    a s   s h o wn   i n   F i gur e   1 .           F i gur e   1 .   G oo gl e   M a p s   s c r e e n s h o t   o f   t h e   B e ni   M e ll a l   r e g i o n ,   M o r o c c o       T h e   T F T   m o de l   i s   f e d  a   C S V  f il e   c o n t a i ni ng  t w o   p r i m a r y   c o l u m ns :  DA T E   a n d  t e m pe r a t ur e .     T h e   DA T E   c o l u m n   f o l l o ws   t h e   I S O  8601   f o r m a t   ( YY YY - MM - DD )   to  e n s ur e   pr e c i s e   t e m po r a l   r e f e r e n c i ng.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       L e v e r aging  tr ans f or me r   mode ls   f or   e nhanc e d  tem pe r atur e   …   ( Ha mz a  J di )   1697   T h e   t e m pe r a t ur e   v a l ue s   r e pr e s e n t   da i ly   a v e r a ge s   i n   C e l s i u s ,   c o m put e d  f r o m   h o ur l y   d a t a   to   c a p t ur e   di ur n a l  v a r i a t i o n s   w hil e   m a i n t a i n i ng  a   m a na ge a bl e   da t a s e t   s i z e .   Our   t i m e   s e r i e s   s pa n s   m o r e   t h a n   38  y e a r s ,   e nc o m pa s s i ng  t h e   pe r i o d  f r o m   J a n ua r y   1,   1984,     to  De c e m b e r   31,   2022 .   T hi s   e x t e n s i ve   t e m po r a l   r a n ge   a l l o ws   f o r   a   c o m pr e h e ns i ve   a na ly s i s   o f   l o n g - t e r m   t e m pe r a t ur e   tr e n ds   a n d  pa t t e r n s ,   i n c l ud i ng  t h e   pot e n t i a l   e f f e c t s   o f   c li m a t e   c h a n ge   a n d  va r i o us   c l im a t i c   o s c i l l a t i o ns   ( e . g. ,   E l   N i ñ o   S o u t h e r n   Os c il l a t i o n ,   Nor t h   A t l a n t i c   Os c il l a t i o n ) .   F i gur e   2   i ll u s t r a t e s   t h e   c o m p l e t e   da t a s e t   t h r o ug h   a   t i m e   s e r i e s   p l o tt e d  gr a ph ,   s h o wc a s i n g  t h e   t e m po r a l   va r i a t i o ns   i n   t e m pe r a t ur e   o v e r   t h e   s t udy   pe r i o d.   T hi s   vi s ua li z a t i o n   n o t  o nl y   pr o vi de s   a n   in t u i t i v e   un de r s t a n d i ng  o f   t h e   da t a ’ s   s t r uc t ur e   b ut  a l s o   r e v e a l s   ke y   f e a t ur e s   s uc h   a s :   -   S e a s o n a l   c y c l e s :  c l e a r ly   vi s i b l e   a nn ua l   t e m pe r a t ur e   pa tt e r n s .   -   L o n g - t e r m   t r e n ds :  a ny   gr a dua l   i nc r e a s e   o r   de c r e a s e   i n   t e m pe r a t ur e s   o v e r   t h e   de c a de s .   -   E x t r e m e   e v e n t s :  n o t a bl e   t e m pe r a t ur e   a n o m a li e s   o r   h e a t   wa v e s .   -   I n t e r - a n n ua l   v a r i a bil i t y :  y ear - to - y e a r   d i f f e r e n c e s   i n  t e m p e r a t ur e   pa tt e r n s .           F i gur e   2 .   E v o l ut i o n   o f   da il y   a v e r a ge   t e m pe r a t ur e s   i n   B e ni   M e ll a l ,   M o r o c c o   ( 1984 - 2022)       T h e   r i c hne s s   o f   t hi s   da t a s e t ,   c o m bi ne d  w i t h   i t s   e x t e ns i ve   t e m po r a l   c o v e r a ge ,   pr o vi de s   a   r o b u s t  f o u n da t i o n   f o r   t r a i ni ng  a n d  e v a l ua t i n g  o ur   T F T   m o de l .   I t  a l l o w s   us   to  c a pt u r e   b ot h   s h o r t - t e r m   we a t h e r   f l uc t ua t i o n s   a n d  l o n g - t e r m   c l im a t e   t r e n ds ,   s e tt i n g  t h e   s t a ge   f o r   p ot e n t i a ll y   a c c ur a t e   a n d  i n s i g h t f u l   t e m pe r a t ur e   pr e d i c t i o n s .   T o  e n s ur e   r o b us t n e s s   i n   o ur   m o de l   e v a l ua t i o n ,   t h e   da t a s e t  i s   pa r t i t i o n e d  i n t o  a   tr a i ni ng  s e t   ( 80 % )   a n d  a   t e s t i n g  s e t   ( 20% ) .   T hi s   s p li t   a ll o ws   f o r   e f f e c t i ve   m o de l   t r a i ni ng  whil e   r e s e r vi ng  a   s i g nif i c a n t   por t i o n   f o r   pe r f o r m a n c e   a s s e s s m e n t .   Af t e r   e x t e n s i ve   e x pe r i men t a t i o n   w i t h   v a r i o us   hy pe r pa r a m e t e r s ,   we   f o un d   t h a t   t h e   r e s u l t s   a r e   m o s t   s a t i s f a c t o r y   whe n   e m p l o yi ng  10  e po c h s   f o r   t h e   T F T   m o de l .   T hi s   o pt i m a l   e po c h  n u m be r   b a l a n c e s   m o de l   c o nv e r ge n c e   a n d  c o m put a t i o na l   e f f i c i e nc y .   T o  c o m pr e he n s i ve ly   e v a l ua t e   t h e   T F T   m o de l ’ s  pe r f o r m a n c e   a n d  c o m pa r e   i t   w i t h   t h e   o b s e r v e d  da t a ,   we   u t i li z e   a   s u i t e   o f   s t a t i s t i c a l   m e t r i c s .   T h e s e   i nc l ude :   -   M AE :  m e a s ur e s   t h e   a v e r a ge   m a g ni t ude   o f   e r r or s   i n  t h e   pr e d i c t i o n s .   -   R M S E :  p r o vi de s   a   qua dr a t i c   s c o r i n g  r u l e   t h a t   a l s o   m e a s ur e s   t h e   a ve r a ge   m a g ni t ude   o f   t h e   e r r or .     -   M A P E :  e x pr e s s e s   a c c ur a c y   a s   a   pe r c e n t a ge ,   a l l o w in g  f o r   r e l a t i v e   c o m pa r i s o n s .     -   C o e f f i c i e n t   o f   de t e r m i na t i o n :  i n d i c a t e s   t h e   pr o p or t i o n   o f   t h e   v a r i a n c e   i n   t h e   de pe n de n t   v a r i a bl e   t h a t   i s   pr e d i c t a bl e   f r o m   t h e   i n de pe n de n t   v a r i a bl e ( s ) .   I n   o u r   e x pe r i m e n t s ,   we   e m p l o y   Go o gl e   C o l l a b   c o n n e c t e d  to  a   G oo gl e   C o m put e   E n g i n e   b a c k e n d   w i t h   a   P y t h o n   3  e n vi r o nm e n t .   T hi s   c l o ud - b a s e d  s e t up   e n s ur e s   r e pr o duc i bi li t y   a n d  s c a l a bil i t y   o f   o ur   a n a ly s i s .     T h e   s y s t e m   f e a t ur e s   a   GPU,   whi c h   s i g nif i c a n t l y   a c c e l e r a t e s   t h e   tr a i ni ng  pr o c e s s   o f   t h e   T F T   m o de l ,   e s pe c i a ll y  Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 6 ,   N o .   3 ,  De c em b e r   20 24 :   1 6 94 - 1 700   1698   b e n e f i c i a l   f o r   pr o c e s s i n g  t h e   e x t e n s i ve   38 - y e a r   da t a s e t.   T h e   a v a il a bl e   12. 67  GB   o f   R AM   f a c il i t a t e s   e f f i c i e n t   da t a   h a n d l i ng  a n d  m o de l   o pe r a t i o n s ,   whil e   t h e   7 8. 19  GB   o f   d i s k  s pa c e   a ll o ws   f o r   s to r a ge   o f   i n t e r m e d i a t e   r e s u l t s   a n d  m o de l   c he c kpo i n t s .       3.   RE S UL T S   AN D  DI S CU S S I ON   Our   s t udy   r e v e a l s   t h a t   t h e   T F T   m o de l   a c hi e v e s   t h e   l o we s t   M A E ,   i n d i c a t i n g  hi g h   a c c ur a c y   i n   i t s   pr e d i c t i o n s .   I t   o u tper f o r m s   b o t h   t h e   GR U  a n d  A R I M A   m o de l s   f r o m   o ur   pr e vi o us   s t udi e s   [ 22] ,   [ 23]   r e pr e s e n t i n g   a n   i m pr o v e m e n t   upo n   o ur   e a r l i e r   wor k,   s ugge s t i n g  t h a t   t h e   T F T   m o de l   c a pt ur e s   t h e   un de r l yi ng   pa tt e r n s   i n   t e m p e r a t ur e   f l u c t ua t i o n s   m o r e   e f f e c t i ve l y .   T o  r e a c h   t h e s e   c o n c l us i o ns ,   we   us e d  a   t i m e   s e r i e s   o f   da i ly   a v e r a g e   t e m pe r a t ur e s   i n   B e ni   M e ll a l ,   m e a s ur e d  i n   C e l s i u s .   T h e   da t a s e t  c o m pr i s e s   14, 244   r e c o r ds ,   d i vi de d  i n t o  a   t r a i ni ng  s e t   ( 80% ,   11 , 395   r e c o r ds )   a n d  a   t e s t i n g  s e t   ( 20% ,   2 , 848   r e c o r ds ) .   T o  a s s e s s   pr e d i c t i o n  a c c ur a c y ,   we   pr i m a r i ly   u s e   t h e   M A E ,   s upp l e m e n t e d  by   R M S E ,   M A P E ,   a n d  R 2.   W e   e m p l o y   a   T F T   m o de l   f o r   o ur   a n a l y s i s .   T a bl e   1  o u t l i ne s   t h e   pa r a m e t e r s   us e d  f o r   t h e   T F T   m o de l .   T h e s e   pa r a m e t e r s   pr o vi d e   a   g oo d   s t a r t i n g  po i n t   f o r   r e s e a r c h e r s   a i mi ng  to  pr e di c t   t e m pe r a t ur e s   i n   t h e   B e ni   M e ll a l   r e g i o n .   F o l l o w i ng  t h e   t r a i ni ng   o f   o ur   T F T   m o de l   w i t h   t h e s e   pa r a m e t e r s ,   we   e v a l ua t e   i t s   pe r f o r m a n c e   o n   t h e   t e s t i n g  s e t   to   a s s e s s   i t s   pr e d i c t i v e   c a pa bil i t i e s   o n   uns e e n   da t a .       T a bl e   1.   De t a i l e d  b r e a kdo wn   o f   pa r a m e t e r s   i n   T F T   m o de l   C la s s   P a r a me t e r   D e s c r ip ti o n   V a lu e   P o s it i o na l  e n c o di ng   d_mo d e l   T h e  di m e ns i o n  of  t h e  m o d e l   64   dr o p o ut   T h e  d r o p o ut   v a lu e   0.1   ma x _l e n   T h e  ma x im um  le ngt h   5000   T r a ns f or m e r   m o d e l   in put _di m   T h e  di m e ns i o n  of  t h e  i nput   1   d_mo d e l   T h e  di m e ns i o n  of  t h e  m o d e l   64   nhe a d   T h e  numb e r   of  he a ds  i n t h e  mul ti   h e a d   a tt e n ti o n m o d e ls   4   num_l a y e r s   T h e  numb e r   of   s ub - e n c o d e r - la y e r s  i n t h e  t r a ns f o r m e r  e n c o d e r   2   dr o p o ut   T h e  d r o p o ut   v a lu e   0.2       W e   pr e s e n t ,   i n   T a bl e   2 ,   t h e   pe r f o r m a n c e   m e t r i c s   of   t h r e e   d i f f e r e n t   m o de l s :  T F T ,   R NN ,   a n d  A R I M A .   T h e s e   m e t r i c s   i nc l ude   t h e   M A E ,   R M S E ,   R 2  a n d  M A P E .  T h e   T F T   m o de l   h a s   a   M A E   o f   1. 5143,   i n d i c a t i n g   t h a t   o n   a v e r a ge ,   t h e   m o de l ’ s   pr e d i c t i o n s   a r e   a ppr o xi m a t e l y   1. 5143  C e l s i us   a w a y   f r o m   t h e   a c t ua l   v a l ue s .     T h e   R M S E   f o r   t h e   T F T   m o de l   i s   1. 9527,   s ugge s t i n g  t h a t   t h e   s t a n da r d  de vi a t i o n   o f   t h e   pr e d i c t i o n   e r r o r s   i s   a r o un d  1. 9527.   T h e   M A P E   i s   1 1. 6156,   whi c h   mea ns   t h a t   o n   a v e r a ge ,   t h e   pe r c e n t a ge   e r r o r   o f   t h e   m o de l ’ s  pr e d i c t i o n s   i s   a ppr o xi m a t e l y   11. 6156% .   L a s t l y ,   t h e   R 2  s c o r e   f o r   t h e   T F T   m o de l   i s   0. 9359,   whi c h   i s   q u i t e   hi g h  a n d  s ugge s t s   t h a t  t hi s   m o de l   e x p l a i ns   93. 59%   o f   t h e   v a r i a n c e   i n   t h e   t a r ge t   v a r i a bl e .       T a bl e   2.   C o m pa r a t i ve   pe r f o r m a n c e   m e t r i c s   o f   T F T ,   s i m p l e   R NN ,   GR U,   L S T M ,   a n d  A R I M A   m o de l s   M o de l   M A E   R M S E   M A P E   R2   P r e di c t e d  p e r i o d   T F T   1.5143   1.9527   11.6156   0.9359   15 - 03 - 2015  T o  12 - 31 - 2022   T F T   1.5743   2.0131   10.5374   0.9314   01 - 01 - 2020  T o   12 - 31 - 2022   G R U   [ 23]   3.0446   -   4.5547   -   01 - 01 - 2020  T o  12 - 31 - 2022   A R I M A   [ 23]   3.0906   -   -   -   01 - 01 - 2020  T o  12 - 31 - 2022   G R U   [ 22]   2.961   -   4.439    -   01 - 01 - 2020  T o  12 - 31 - 2022   L S T M   [ 22]   2.973   -   4.456    -   01 - 01 - 2020  T o  12 - 31 - 2022   S im pl e  R N N   [ 22]   2.986   -   4.471    -   01 - 01 - 2020  T o  12 - 31 - 2022   A R I M A   [ 22]   3.112   -   -   -   01 - 01 - 2020  T o  12 - 31 - 2022       T h e   T F T   m o de l   e xhi b i t s   s upe r i o r   pe r f o r m a nc e   w i t h   a n   M A E   o f   1. 5143.   T hi s   s ugge s t s   t h a t   t h e   pr e d i c t i o n s   m a de   by   t h e   T F T   m o de l   a r e ,   o n   a n   a v e r a ge ,   t h e   c l o s e s t   to   t h e   a c t ua l   v a l ue s .   I n   c o n t r a s t ,   to   t h e   pe r vi o us   pr e d i c t i o n   m a de   by   GR U,   L S T M ,   S i m p l e   R NN   a n d  A R I M A   m o de l s   s h a r e d  i n   T a bl e   2  t h e s e   m o de l s   de m o ns t r a t e   hi g h e r   M A E s ,   t h e   l o we s t   M A E   i s   o b ta i n e d  by   G R U  [ 19]   i n d i c a t i n g  a   l a r ge r   a ve r a ge   de vi a t i o n   in  t h e i r   pr e d i c t i o n s .   W h e n   we   c o n s i de r   t h e   M A P E   f o r   t h e   T F T   a n d  GR U  m o de l s ,   t h e   GR U  m o de l   s ur pa s s e s   t h e   T F T   m o de l   w i t h   a   l o we r   M A P E   o f   4. 5547.   T hi s   i m p li e s   t h a t   t h e   pr e di c t i o n s   o f   t h e   GR U  m o de l   a r e ,   o n   a v e r a ge ,   m o r e   a c c ur a t e   i n   t e r m s   o f   pe r c e n t a ge   e r r o r .   T h e   T F T   m o de l ,   w i t h   a   hi g h e r   M A P E   o f   11. 6156,   s h o ws   a   l a r ge r   a v e r a ge   pe r c e n t a ge   e r r o r   i n   i t s   pr e d i c t i o ns .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       L e v e r aging  tr ans f or me r   mode ls   f or   e nhanc e d  tem pe r atur e   …   ( Ha mz a  J di )   1699   Ov e r a ll ,   t h e   T F T   m o de l   a ppe a r s   t o  pe r f o r m   we ll   b a s e d  o n   t h e s e   m e t r i c s ,   w i t h   l o w  e r r o r   r a t e s   a n d  a   h i g h   R 2  s c o r e .   L e t ’ s   pr e s e n t   i n   t h e   F i gur e   3   t h e   r e s u l t s   o f   t h e   T F T   m o de l ’ s   t e m pe r a t ur e   pr e d i c t i o ns   f o r   t h e   t i m e   f r a m e   s t a r t i n g  J a n ua r y   1,   2020,   a n d  e n d i ng  o n   De c e m b e r   31,   2022.           F i gur e   3.   B e ni   M e l l a l ’ s   a c t ua l   a n d  f o r e c a s t e d  da i ly  t e m p e r a t ur e   us i n g  T F T       4.   CONC L USI ON   T hi s   pa pe r   f o c us e s   o n   e m p l o y i ng  t h e   T F T   m o de l   to  pr e di c t   t e m pe r a t ur e s   t h r e e   y e a r s   i n t o   t h e   f ut ur e .   A dd i t i o n a ll y ,   i t   c o m pa r e s   t h e   T F T   m o de l   w i t h   R NN s   a n d  A R I M A   t o   de t e r m i ne   w h e t he r   t r a n s f o r m e r s   c a n  o u t pe r f o r m   t r a di t i o n a l   R NN s   a n d  ot h e r   m a c hi ne   lea r ni ng  a l go r i t hm s .   T h e   f i nd i ngs   de m o ns t r a t e   t h e   s upe r i o r   pe r f o r m a n c e   o f   t h e   T F T   m o de l   o v e r   R NN s   a n d  ot h e r   m a c hi ne   l e a r ni ng  m e t h o ds   i n   f o r e c a s t i n g  l o n g - t e r m   a v e r a ge   t e m pe r a t ur e s   i n   B e ni   M e ll a l ,   M o r o c c o .   T h e   a c c ur a t e   t e m pe r a t ur e   pr e d i c t i o n s   a c hi e v e d  by   t h e   T F T   m o de l   s h o w  gr e a t   p ot e n t i a l   f o r   o p t i mi z i ng  i r r i ga t i o n   i n  t h e   r e g i o n .   I n   f ut ur e   r e s e a r c h ,   we   w il l   ut i li z e   t h e s e   e nh a nc e d  f o r e c a s t s   to   c a l c u l a t e   r e f e r e n c e   e va pot r a n s p i r a t i o n   ( E T o)   us i n g  t h e   F A O  P e nm a n - M o n t e i t h  m e t h o d,   wh e r e   t e m pe r a t ur e   i s   o n e   o f   t h e   ke y   we a t h e r   pa r a m e t e r s .   T hi s   i n t e gr a t i o n   o f   T F T   pr e d i c t i o n s   o f   we a t h e r   pa r a m e t e r s   wi t h   E T o   c a l c u l a t i o n s   c a n   pot e n t i a l ly   l e a d  to  m o r e   e f f i c i e n t   E T o  f o r e c a s t ,   t h e r e by   im pr o vi n g  wa t e r   m a n a ge m e n t   i n   t h e   r e g i o n   a n d  c o n t r i b ut i n g  to   s us t a i na bl e   a gr i c u l t ur a l   pr a c t i c e s   i n   B e ni   M e ll a l .       RE F E R E NC E S   [ 1]   C .  G r é v is s e ,  “ C o mpa r a ti v e   qua li t y   a na l y s is   of   G P T - ba s e d  mul t ip le   c h o i c e   que s ti o n  g e ne r a ti o n,”   in   C om m uni c at io ns   in   C om p ut e r   and I nf or m at io n Sc ie n c e , v o l.  1874 C C I S , 2024, pp.  435 – 447.   [ 2]   J .  B e hr ma nn,  E .  M .  H o ng,  S .  M e l e da th u,  A .  L e it e r ,  M .  P ove la it is ,  a nd  M .  M it r e ,  “ C ha t  ge ne r a ti ve   pr e - tr a in e d  tr a ns f o r m e r ’ s   pe r f or ma nc e   o n  d e r ma t o l o g y - s p e c i f i c   qu e s ti o ns   a nd  it s   im pl ic a ti o ns   in   me d ic a l   e du c a ti o n,”   J our nal   of   M e di c al   A r ti f ic ia l   I nt e ll ig e nc e , vo l.  6, pp. 16 – 16, S e p. 2023, d o i:  10.21037/j ma i - 23 - 47.   [ 3]   J .  X io ng   e t  al . ,  “ E f f i c i e nt   r e in f o r c e m e nt   le a r ni ng - ba s e d  m e th o d   f o r   pl a gi a r is m  d e t e c t i o n  b oo s te d   b y   a   p o pul a ti o n - ba s e d   a lg or it hm  f or  pr e tr a in in g w e ig ht s ,”   E x pe r t  Sy s te m s  w it h A ppl ic at io ns , vo l.  238, p. 122088, M a r . 2024, do i:  10.1016/j . e s w a .2023.122088.   [ 4]   J .  Y a ng  e t  al . ,  “ B E R T   a nd  hi e r a r c hi c a l  c r o s s   a tt e nt i o n - ba s e d  que s ti o n  a ns w e r in g   ov e r   br id g e   in s p e c ti o n  kn o w l e dge   gr a ph,”     E x pe r t  Sy s te m s  w it h A ppl ic at io ns , vo l.  233, p. 120896, D e c .   20 23, do i:  10.1016/j . e s w a .2023.120896.   [ 5]   I .  A me ll a l,   A .  A m e ll a l,   H .  S e ghi o u e r ,  a nd  M .  R .  E c h - C ha r r a t ,  “ A n  in te g r a te d   a ppr o a c h  f or   m o d e r n  s uppl y   c ha in   ma na ge m e nt :   U ti li z in g  a d v a nc e d  ma c hi ne   l e a r ni ng  m o d e ls   f o r   s e n ti m e nt   a na l y s is ,  de ma nd  f o r e c a s ti ng,  a nd  pr o ba bi li s ti c   pr i c e   p r e di c ti on,”   D e c is io n Sc ie nc e  L e tt e r s , v ol . 13, n o . 1, pp. 237 – 248, 2024, d o i :  10.5267/j .ds l. 2023.9.003.   [ 6]   N . F is hma n a nd  L .   H a nc ox - L i,  “ S h o u ld  a tt e nt i o n b e  a ll  w e  n e e d?   T he   e pi s te mi c  a nd  e th i c a l  im pl i c a ti o ns   of  uni f i c a ti o n  i n ma c hi ne   le a r ni ng,”  i n  A C M   I nt e r nat io nal  C onf e r e nc e  P r oc e e di ng Se r i e s ,  J un. 2022, pp. 1516 – 1527, do i:  10.1145/3531146.3 533206.   [ 7]   M .  X u,   W .  Z h o u,  X .  S he n,   J .  Q iu ,  a nd  D .   L i,   “ T e mp o r a l - s pa ti a l  c r o s s   a tt e nt i o n  n e tw o r k   f o r   r e c o gni z in g  im a gi n e d  c ha r a c te r s ,”   Sc ie nt if ic  R e por t s , v o l.  14, n o . 1, p. 15432, J ul . 2024, d o i:  10.10 38/ s 41598 - 024 - 59263 - 5.   [ 8]   H .  Y a o ,  T .  L iu ,  G .   L i,   a nd  C .  Q in ,  “ S c r e e n - s h o t  a nd  D e mo i r é d  im a ge   id e nt i f i c a ti o n   ba s e d  o n   D e ns e N e t   a nd  D e e p V iT ,”     E x pe r t  Sy s te m s  w it h A ppl ic at io ns , vo l.  240, p. 122580, Ap r . 20 24, do i:  10.1016/j . e s w a .2023.122580.   [ 9]   D .  S .  K .  K a r una s in gha ,  “ R oo t  m e a n  s qua r e   e r r or   o r   m e a n  a bs ol ut e   e r r o r ?   U s e   th e ir   r a ti o   a s   w e ll ,”   I nf or m at io n  Sc ie nc e s ,  v o l.   585,  pp. 609 – 629, M a r . 2022, do i:  10.1016/j .i ns .2021.11.036.   [ 10]   Q .  L i  e t  al . ,  “ L a nd B e n c h  1.0:   A   be nc h ma r k  da ta s e t  a nd  e v a l ua ti o n  me tr i c s   f or   da ta - dr i v e n  la nd  s ur f a c e   v a r ia bl e s   pr e di c ti o n,”   E x pe r t  Sy s te m s  w it h  A ppl ic at io ns , vo l.  243, p. 122917, J un. 202 4, do i:  10.1016/j . e s w a .2023.122917.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 6 ,   N o .   3 ,  De c em b e r   20 24 :   1 6 94 - 1 700   1700   [ 11]   M .  A .  R ubi ,  S .  C ho w dhur y ,  A .  A .  A .  R a hma n,  A .   M e e r o ,  N .  M .  Z a y e d,  a nd  K .  M .  A nw a r ul   I s la m,   “ F it ti ng  mul ti - la y e r   f e e d  f or w a r d  ne ur a l  n e tw o r k  a nd  a ut o r e gr e s s iv e   in te g r a te d  m o v in g  a v e r a g e   f o r   dha ka   s to c k  e x c ha ng e   pr i c e   pr e d i c ti ng,”   E m e r gi ng  Sc ie nc e  J ou r nal , vo l.  6, n o . 5, pp. 1046 – 1061, Aug. 2022, d o i:   10.28991/E S J - 2022 - 06 - 05 - 09.   [ 12]   X . Z ha ng a nd D . H e d e k e r , “ D e f in in g R - s qua r e d me a s ur e s   f o r   mi xe d - e f f e c ts  l oc a ti o n s c a l e  m o d e ls , ”  St at is ti c s  i n M e di c in e , v ol . 41,  no . 22, pp. 4467 – 4483, S e p. 2022, d o i:  10.1002/s im .9521.   [ 13]   H .  J .  J in ,  Y .  P .  Z ha o ,  a nd  M .  N .  P a n,  “ A   nove l  m e th o d  f o r   a e r o - e ngi n e   ti m e - s e r i e s   f o r e c a s ti ng  ba s e d  o n  mu lt i - r e s o lu ti o n   tr a ns f o r me r ,”   E x pe r t  Sy s te m s  w it h A ppl i c at io ns , vo l.  255, p. 12 4597, De c . 2024, d oi :  10.1016/j . e s w a .2024.124597.   [ 14]   C .  Z hu  a nd  Y .  T a ng,  “ A n  e mpi r i c a l  a na l y s is   of   th e   l o ng  s h o r t  te r m  m e m or y   a nd  te mp or a l  f us i o n  tr a ns f o r m e r   m o de ls   o n  r e gi o na l   a ir   qua li t y   f o r e c a s t, ”   in   I C C SI   2023  -   2023   I nt e r nat i onal   C on f e r e nc e   on  C y be r - P hy s ic al   Soc ia l  I nt e ll ig e nc e ,   O c t.   2 023,    pp. 497 – 502, do i:  10.1109/ I C C S I 58851.2023.10303941.   [ 15]   L .  V a n  H e e r d e n,  C .  V a n  S ta de n,  a nd  H .  J .  V e r me ul e n,  “ T e mp or a l  f us i o n  tr a ns f o r m e r   f or   da y - a h e a d  w in d  po w e r   f o r e c a s ti ng  in   t he   S o ut h   A f r i c a n  c o nt e x t, ”   in   P r oc e e di ngs   -   2023  I E E E   I nt e r nat io nal   C onf e r e nc e   on  E nv ir onm e nt   and  E le c tr ic al   E ngi ne e r in g  and  2023  I E E E   I ndus tr ia l  and  C om m e r c ia l  P o w e r   Sy s te m s   E u r ope ,  E E E I C   /  I   and  C P S  E ur ope   2023 ,  J un.  2023,  pp.  1 – 5,    do i:  10.1109/ E E E I C /I C P S E ur o p e 57 605.2023.10194737.   [ 16]   B .  W u,  L .  W a ng,  a nd  Y .  R .   Z e ng,  “ I nt e r pr e ta bl e   w in d  s pe e d  pr e di c ti o n  w it h  mul ti v a r ia t e   ti m e   s e r i e s   a nd  te mp o r a l  f u s io n  tr a ns f o r me r s ,”   E ne r gy , v ol . 252, p. 123990, Au g. 2022, doi:  10. 1016/j .e n e r g y .2022.123990.   [ 17]   L .  W a ng,  A .  T i e n,  J .  C ho u,  a nd  W .  H ubba r d,  “ M ul ti - a ir p o r t  d e la y   pr e di c ti o n  w it h  tr a ns f o r m e r s , ”   J un.  2 022,    do i:  10.2514/6.2022 - 3707.   [ 18]   M .  L .   S a nt o s ,  X .  G a r c ía - S a nt ia g o ,  F .  E .   C a ma r e r o ,  G .  B .   G il ,  a nd  P .  C .  O r te ga ,  “ A ppl ic a ti o n  of   t e mp or a l  f us io n  tr a ns f o r m e r   f o r   da y - a h e a d   PV   po w e r   f or e c a s ti ng,”   E ne r gi e s , v o l.  15, n o . 14, p.  5232, J ul . 2022, do i:  10.3390/ e n15145232.   [ 19]   S .  R e z a ,  M .  C .  F e r r e i r a ,  J .  J .   M .   M a c ha do ,  a nd  J .   M .  R .  S .  T a v a r e s ,  “ A   mul ti - he a d  a tt e nt i o n - ba s e d  tr a ns f o r me r   mo d e l  f o r   tr a f f i c   f l o w   f or e c a s ti ng  w it h  a   c o m pa r a ti ve   a na l y s is   t o   r e c ur r e nt   ne ur a l  n e tw o r ks ,”   E x pe r t  Sy s te m s   w it h  A ppl ic at io ns ,  vo l.   2 02,    p. 117275, S e p. 2022, d o i:  10.1016/j . e s w a .2022.117275.   [ 20]   B .  L im ,   S .  A r ık ,  N .  L oe f f ,  a nd  T .   P f is t e r ,  “ T e mp o r a l  f us io n  tr a n s f o r m e r s   f or   in t e r pr e ta bl e   mul ti - h o r i z o n  ti m e   s e r i e s   f o r e c a s ti ng,”   I nt e r nat io nal  J our nal  of  F or e c as ti ng , v o l.  37, n o . 4, pp. 1748 – 1 764, Oc t.  2021, d o i:  10.1016/j .i j f or e c a s t. 2021.03.012.   [ 21]   B .  W u  a nd  L .  W a ng,  “ T w o - s ta g e   de c o mp o s it i o n  a nd  te mp o r a l  f us io n  tr a ns f o r me r s   f o r   in t e r p r e ta bl e   w in d  s pe e d  f or e c a s ti ng,”   E ne r gy , vo l.  288, p. 129728, F e b. 2024, d o i:  10.1016/j . e n e r g y .2 023.129728.   [ 22]   H .  J di   a nd  N .  F a li h,  “ C o mpa r is o n   of   ti m e   s e r i e s   te mpe r a tu r e   pr e di c ti o n  w it h  a ut o - r e gr e s s iv e   in t e gr a t e d  m ov in g  a ve r a g e   a nd   r e c ur r e nt   n e ur a l  ne twor k,”   I nt e r nat io nal   J our nal   o f   E le c tr i c al   a nd  C om put e r   E ngi ne e r in g   ( I J E C E ) ,  vo l.   14,  no .  2,  pp.  1770 – 1778,  A pr . 2024, do i:  10.11591 /i j e c e . v 14i 2.pp1770 - 1778.   [ 23]   H .  J di   a nd  N .   F a li h,  “ L o ng - t e r m  a ve r a g e   te mpe r a tu r e   f or e c a s t   us in g  ma c hi ne   le a r ni ng  a nd   de e p  l e a r ni n g  in   th e   r e gi o n  of   B e ni   M e ll a l, ”  i n  L e c tu r e  N ot e s  i n  N e tw or k s  and Sy s te m s , v ol . 656  L N N S , 2023, pp. 26 – 34.   [ 24]   H .  J di   a nd  N .  F a li h,   “ W e a th e r   f or e c a s t  us in g  s li di ng  w in d o w   a lg o r it h m  ba s e d  o n  ha d oo p  a nd  ma pr e d u c e ,”   in   L e c tu r e   N ot e s   in   N e tw or k s  and Sy s te m s ,  v o l.  357  L N N S , 2022, pp. 122 – 132.   [ 25]   H .  J di   a nd  N .  F a li h,  “ P r e c ip it a ti o n  f or e c a s ti ng  us in g  ma c hi ne   l e a r ni ng  in   th e   r e gi o n  of   B e ni   M e ll a l - K h e ni f r a ,”   I ndone s ia n  J our nal   of   E le c tr ic al   E ngi ne e r in g  and  C om put e r   Sc ie nc e   ( I J E E C S) ,  vol .  31,  n o .  1,  pp.   451 – 458,  J ul .  2 023,     do i:  10.11591/i je e c s .v 31. i1 .pp451 - 458.       B I OG RA P HI E S   OF   AU T HO RS       Ha m z a   J di           h as   a  M. Sc .   i n   Bu s i n e s s   I n t e l l i g e n ce ,   rece i v e d   i n   2 0 1 9   fro m   t h e  Fac u l t y   o f  S ci e n ce   a n d   T ec h n o l o g i e s ,   U n i v e rs i t y   S u l t an   Mo u l a y   Sl i m an e,   B e n i   Mel l al ,   Mo ro cc o .   C u rr e n t l y ,   h e  i s   a   Ph . D .   s t u d e n t   i n   t h e  Po l y d i s c i p l i n ar y   Fa c u l t y   o f  B en i   M e l l al .    H i s   re s e ar c h   i n t e r e s t   i s   ab o u t   b i g   d at a  an al y t i c s ,   b u s i n e s s   i n t e l l i g en ce ,   co m p u t e r  s c i en ce ,   d i g i t al   a g ri cu l t u r e ,   an d   d ee p   l e arn i n g .  H e  c an   b e   co n t a c t e d   at   em a i l :   h a m zaj d i @ g m a i l . co m .       N o u redd i n e  F a l i h           h as   a  Ph . D .   o n   Co m p u t e r  S c i en ce ,   r ecei v ed   fro m   t h e   Fa cu l t y   o f  Sci e n ce s   an d   T ec h n o l o g i e s   o f  Mo h a mme d i a,   Mo r o cco   i n   2 0 1 3 .   H e   i s   an   as s o ci at e   p ro f e s s o r  s i n ce  2 0 1 4   in  t h e   Po l y d i s c i p l i n ar y   Fa c u l t y ,   S u l t an   M o u l a y   Sl i m an e   U n i v e rs i t y ,   B en i   Mel l al ,   Mo ro cc o .   H e   h as   1 8   y e ars   o f  p ro f e s s i o n a l   e x p e ri e n ce   i n   s ev e ral   r en o w n ed   c o m p an i e s .     H i s   r e s e arch   t o p i c s   are  ab o u t   i n fo r m at i o n   s y s t em   g o v ern an ce ,   b u s i n e s s   i n t el l i g en ce ,   b i g   d at a  an al y t i c s ,   a n d   d i g i t al   ag r i c u l t u r e .   H e   c an   b e   co n t a c t ed   at   em ai l :   n o u rfa l d @ y a h o o . fr.     Evaluation Warning : The document was created with Spire.PDF for Python.