Co m pu t er   Science  a nd   I nfo r m a t io n T ec hn o lo g ies   Vo l.  7 ,   No .   3 No v em b er   20 26 ,   p p .   291 ~ 303   I SS N:  2722 - 3 2 2 1 DOI 1 0 . 1 1 5 9 1 /csi t . v 7 i 3 . p 2 9 1 - 3 0 3           291       J o ur na l ho m ep a g e h ttp : //ia e s p r ime. co m/in d ex . p h p /csi t   Tim e series  forec a sting a  com pa ra tive a na ly sis  of A RIM A,  LST M a nd TFT   mo dels with  miss i ng  data  hand ling       M a ry a m   H o s s eini M o ha m a d F o ro uza nfa r   D e p a r t me n t   o f   S y s t e ms  En g i n e e r i n g ,   Éc o l e   d e   T e c h n o l o g i e   S u p é r i e u r e   ( ÉT S ) ,   U n i v e r s i t é   d u   Q u é b e c ,   M o n t r e a l ,   C a n a d a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   13 2 0 2 6   R ev is ed   May   17 2 0 2 6   Acc ep ted   J u n   8 2 0 2 6       Ti m e   se ries   fo re c a stin g   p lay a   c rit ica ro le   in   fin a n c e ,   h e a lt h c a re ,   a n d   e n e rg y   a p p li c a ti o n s,  w h e re   a c c u ra te p re d ictio n s su p p o rt  d e c isi o n - m a k in g   a n d   o p e ra ti o n a e fficie n c y .   Trad it io n a a p p ro a c h e su c h   a a u t o r e g re ss iv e   in teg ra ted   m o v i n g   a v e ra g e   (ARI M A)  p e rfo rm   we ll   fo li n e a p a tt e rn b u t   o ften   stru g g le  with   n o n li n e a a n d   c o m p lex   tem p o ra d e p e n d e n c ie fo u n d   in   re a l - wo rld   d a ta.  Alth o u g h   d e e p   lea rn in g   m e th o d su c h   a lo n g   sh o rt - term   m e m o ry   (LS TM n e two rk a n d   Tran sfo rm e r - b a se d   m o d e ls  h a v e   sh o wn   p ro m ise ,   c o m p re h e n siv e   e v a lu a t io n s   a c ro ss   m u lt i p le  d o m a in s   a n d   u n d e r   m issin g - d a ta  c o n d it i o n re m a in   li m it e d .   Th is  st u d y   c o m p a re ARIMA,   LS TM ,   a n d   tem p o ra f u sio n   tran sfo rm e (TF T)  m o d e ls  a c ro ss   th re e   a p p li c a ti o n s:  st o c k   p rice   fo re c a stin g   u sin g   S & P   5 0 0   d a ta,   h e a rt - ra te   p re d ictio n   fro m   e lec tro c a rd i o g ra m   ( ECG ) - d e riv e d   si g n a ls,   a n d   e lec tri c it y   d e m a n d   fo re c a stin g   u si n g   P e n n s y lv a n ia Ne w Je rse y M a ry lan d   ( P J M )   p o we g rid   d a ta.  T o   e v a l u a te  ro b u st n e ss   u n d e r   re a li stic  c o n d it i o n s,   v a ry i n g   lev e ls o f   m issin g n e ss   we re   in tr o d u c e d   u si n g   m issi n g   c o m p lete ly   a ra n d o m   (M CAR)  a n d   m issin g   a t   ra n d o m   ( M AR)  m e c h a n ism s.  M issin g   v a l u e we re   h a n d led   u sin g   f o rwa rd   fil l,   li n e a i n te rp o latio n ,   a n d   k - n e a re st  n e i g h b o r (k - NN )   imp u tati o n .   Re su lt sh o th a TF c o n siste n t ly   a c h iev e d   su p e rio r   fo re c a stin g   p e rfo rm a n c e   a n d   d e m o n stra ted   g re a ter  ro b u stn e ss   to   in c re a sin g   m issin g n e ss ,   w h il e   k - NN   g e n e ra ll y   p ro v i d e d   t h e   m o st   e ffe c ti v e   i m p u tatio n   pe rfo rm a n c e   a c ro ss   d a tas e ts.   K ey w o r d s :   AR I MA   L o n g   s h o r t - ter m   m e m o r y   Miss in g   d ata  im p u tatio n   T em p o r al  f u s io n   tr an s f o r m er   T im s er ies f o r ec asti n g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ma r y am   Ho s s ein i   Dep ar tm en t o f   Sy s tem s   E n g in ee r in g ,   É c o le  d T ec h n o lo g ie  Su p ér ieu r ( É T S) ,   Un iv er s ité  d u   Qu éb ec   Mo n tr ea l,  C an ad a   E m ail:  m ar y am y 2 k 8 7 6 @ g m ai l.c o m       1.   I NT RO D UCT I O N   T im e - s er ies  f o r ec asti n g   h as  b ec o m in c r ea s in g ly   im p o r tan t   in   d ata - d r i v en   a p p licatio n s h o wev er ,   ac h iev in g   r eliab le  p r ed ictio n s   in   r ea l - wo r ld   s ettin g s   r em ai n s   ch allen g in g   b ec a u s tem p o r al  d ata   f r eq u en tly   ex h ib it  n o n lin ea r ity ,   lo n g - r an g d ep e n d en cies,  n o is e,   an d   i n co m p lete  o b s er v atio n s .   I n   f i n an ce ,   th e   ab ilit y   to   p r ed ict  s to ck   p r ices,  m ar k et  tr en d s ,   an d   ec o n o m ic  in d icat o r s   is   cr u cial  f o r   r is k   m an ag em en t,  in v estme n t   s tr ateg ies,  an d   f in an cial  p lan n in g   [1 ] [ 2] .   Similar ly ,   in   h ea lth ca r e,   f o r ec asti n g   v ital  s ig n s   lik h ea r r ate  d u r in g   s leep   ca n   e n ab le  ea r ly   d etec tio n   o f   ab n o r m alities   s u ch   as  s leep   d is o r d er s ,   im p r o v in g   p atien o u tco m es   [ 3 ] . P r ed ictin g   tu m o r   g r o wth   u s in g   im ag in g   b io m ar k er s   ca n   g u id o n c o lo g is ts   in   ass e s s in g   ca n ce r   p r o g r es s io n   an d   ad ju s tin g   tr ea tm en p lan s   p r o ac tiv ely   [ 4 ] .   Ad d itio n ally ,   f o r ec asti n g   p atien r esp o n s es  to   ch em o th er ap y   b ased   o n   p r io r   t r ea tm en ts   an d   g en o m ic  d ata  ca n   h elp   p e r s o n alize   th er ap y   r eg im en s ,   o p ti m izin g   ef f ec tiv e n ess   an d   r ed u cin g   s id ef f ec ts .   I n   th en er g y   s ec to r ,   ac c u r ate  p r ed ictio n s   o f   elec tr icity   d e m an d   ar cr itical  f o r   o p tim izin g   p o wer   g r id   o p er atio n s   an d   in te g r atin g   r en ewa b le  en er g y   s o u r ce s   in to   th e   g r id   [5 ] [ 7] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 3 2 2 1   C o m p u t Sci  I n f   T ec h n o l Vo l.  7 ,   No .   3 No v em b er   20 26 2 9 1 - 303   292   T h c h alle n g e   o f   f o r ec a s ti n g   ti m s er ies  d a ta  ar is es  f r o m   its   o f te n   v o la tile   a n d   c o m p le x   n a t u r e,   w h e r e   n o n - li n ea r   p a tte r n s ,   n o is e ,   an d   lo n g - te r m   d e p e n d e n c ies   m ak ac c u r a te   p r e d i cti o n s   d i f f i cu l t.   F u r th er m o r e,     r e al - wo r l d   ti m e   s er ies   d at a   o f ten   s u f f er   f r o m   m is s i n g   v a lu e s ,   wh ic h   ca n   a r is e   f r o m   v a r i o u s   s o u r c es  s u ch   as   s en s o r   f ail u r es ,   d at en tr y   er r o r s ,   o r   i r r e g u la r   s am p li n g .   Miss in g   d at ca n   s i g n i f ic an tl y   i m p a ct  t h e   ac c u r ac y   an d   r el ia b il it y   o f   ti m e   s e r i es  f o r e c asti n g   m o d e ls ,   le ad in g   t o   b i as ed   o r   in c o m p l ete   p r ed ict io n s .   T h er ef o r e ,   ef f e cti v h a n d li n g   o f   m is s i n g   d ata   is   c r u cial   t o   e n s u r t h r o b u s t n ess   a n d   r el ia b il it y   o f   f o r ec asti n g   m o d els .   His to r ically ,   th a u to r eg r ess iv in teg r ated   m o v in g   a v er ag e   ( AR I MA )   m o d el  h as  b ee n   a   d o m i n an t   ap p r o ac h   in   tim s er ies  f o r ec a s tin g   [ 8 ] .   AR I MA   is   v alu ed   f o r   its   s im p licity ,   in ter p r etab ilit y ,   an d   ef f icien cy   in   h an d lin g   lin ea r   r elatio n s h ip s .   I is   p ar ticu la r ly   a d ep at  f o r ec asti n g   f in an cial   tim s er ie s   th at  ca n   b m a d s tatio n ar y   th r o u g h   d i f f er en ci n g ,   an d   it  h as  also   b ee n   ap p lied   in   en er g y   d em a n d   f o r ec asti n g .   Ho wev er ,   AR I MA   m o d els  h av n o tab le  lim itatio n s ,   p ar ticu la r ly   in   th ei r   in ab ilit y   to   ca p tu r n o n - lin ea r   r elatio n s h ip s   an d   co m p lex   tem p o r al   d e p en d e n cies.  T h ese  lim itatio n s   h av e   p r o m p ted   th d ev elo p m en t   o f   m o r e   ad v an ce d   m o d els s u ch   as  lo n g   s h o r t - ter m   m em o r y   ( L STM )   n etwo r k s   an d   T r a n s f o r m er   m o d els  [ 9 ] .   Dee p   lear n in g   h as  r ev o lu tio n ized   th f ield   o f   s eq u e n tial  d ata  p r o ce s s in g ,   o f f er i n g   p o wer f u l   ar ch itectu r es  ca p ab le  o f   ca p t u r in g   c o m p lex   p atter n s   in   d iv er s ap p licatio n s   [ 1 0 ] [ 1 4 ] .   On o f   th k ey   ad v an ce m e n ts   in   d ee p   lear n in g   f o r   tim s er ies  f o r ec asti n g   is   th u s o f   r ec u r r en n eu r al  n etwo r k s   ( R NNs),   p ar ticu lar ly   L STM   n etwo r k s .   L STM s   h av em e r g ed   as  a   p o wer f u to o f o r   m o d elin g   l o n g - ter m   d e p en d e n cies   an d   ca p tu r in g   n o n - lin ea r   p att er n s   in   s eq u en tial  d ata  [ 1 5 ] [ 16] .   T h e y   ar esp ec ially   ef f ec tiv in   ap p licatio n s   s u ch   as  f in a n cial  f o r ec asti n g ,   wh er e   p ast  ev e n ts   ca n   h av d elay ed   ef f ec ts   o n   f u t u r m ar k et  b eh av io r s ,   h ea lth ca r f o r   p r ed ictin g   v ital sig n s ,   an d   en er g y   f o r ec asti n g   f o r   m o d elin g   co n s u m p tio n   p at ter n s   in f lu en ce d   b y   f ac to r s   lik wea t h e r   a n d   h u m a n   ac tiv ity .   Ho wev er ,   d esp ite  t h ese  ad v an ta g es,  L STM s   s tr u g g le  with   ca p tu r in g   v er y   lo n g - r a n g d ep en d en cie s   d u to   th eir   s eq u en tial  n atu r e,   wh ich   ca n   lead   to   v an is h i n g   g r a d ien is s u es.     T o   ad d r ess   th ese  s h o r tco m i n g s ,   T r an s f o r m er   m o d els  h av em er g e d   as  s tate - of - th e - ar alter n ativ e,   p ar ticu lar ly   ex ce llin g   in   n atu r al  lan g u ag p r o ce s s in g   an d   in cr ea s in g ly   b ein g   ap p lied   to   tim s er ies  f o r ec asti n g   [ 1 7 ] .   Un lik L STM s ,   T r an s f o r m er s   u s s elf - atten tio n   m ec h an is m s   to   p r o ce s s   en tire   s e q u en ce s   in   p ar allel,   s ig n if ican tly   im p r o v in g   c o m p u tatio n al  ef f icien cy   an d   e n ab lin g   th e   m o d elin g   o f   m u ch   lo n g er - r an g e   d ep en d e n cies  [ 1 8 ] [ 19] .   T h is   ab ilit y   to   ca p tu r co m p le x   te m p o r al  p atter n s   wh ile  s ca lin g   ef f ec tiv ely   m ak es  T r an s f o r m e r s   h ig h ly   p r o m is in g   f o r   a p p licatio n s   in   f in an cial,   h ea lth ca r e,   an d   en er g y   f o r ec as tin g .   Desp ite  s ig n if ican ad v an ce s   in   tim e - s er ies  f o r ec asti n g ,   s ev er al  lim itatio n s   r em ain   in   th ex is tin g   liter atu r e.   Pre v io u s   s tu d ies  h a v o f ten   f o cu s ed   o n   ev al u atin g   f o r ec asti n g   m o d els  with in   a   s in g le  a p p licatio n   d o m ain ,   s u ch   as  s to ck   m ar k ets,  h ea lth ca r m o n it o r in g ,   o r   e n er g y   s y s tem s   s ep ar atel y .   Mo r eo v e r ,   m o s co m p ar ativ s tu d ies  em p h asiz p r ed ictio n   ac cu r ac y   u n d er   c o m p lete  d atasets   an d   p ay   lim ited   atten tio n   to   th e   im p ac o f   m is s in g   d ata,   d esp ite  m is s in g n ess   b ein g   co m m o n   is s u in   r ea l - wo r ld   en v ir o n m en ts   d u t o   s en s o r   f ailu r es,  co m m u n icatio n   er r o r s ,   ir r eg u lar   s am p lin g ,   an d   in co m p lete  r ec o r d s .   E x is tin g   r esea r ch   r ar ely   p r o v id es   u n if ie d   ev al u atio n   o f   tr ad iti o n al  s tatis tical  m o d els  an d   r e ce n d ee p   lear n i n g   ar ch itectu r es  ac r o s s   m u ltip le   d o m ain s   u n d e r   co n tr o lled   m i s s in g - d ata  s ce n ar io s .   I n   p ar ticu lar ,   co m p ar ativ in v esti g atio n s   o f   AR I MA ,   L STM ,   an d   tem p o r al  f u s io n   tr an s f o r m er   ( T FT)   u n d er   d if f er en m is s in g - d ata  m ec h a n is m s   an d   im p u tatio n   s tr ateg ies  r em ain   lim ited .   T h i s   g ap   r estricts  u n d er s tan d in g   o f   m o d el  r o b u s tn ess   an d   p r ac t ical  ap p licab ilit y   in   r ea l - wo r ld   f o r ec asti n g   s ettin g s .   T o   ad d r ess   th ese  lim itatio n s ,   th is   s tu d y   p r esen ts   co m p r eh e n s iv co m p a r ativ an al y s is   o f   AR I MA ,   L STM ,   an d   T FT  m o d els  ac r o s s   th r ee   r ep r esen tativ d o m ain s f in an ce ,   h ea lth ca r e ,   an d   en e r g y .   T h n o v elty   o f   th is   wo r k   lies   in :   i )   e v alu atin g   m o d el  p e r f o r m an ce   ac r o s s   m u ltip le  ap p licatio n   d o m ain s   r ath er   th a n   a   s in g le   d ataset;  ii )   s y s tem atica lly   in v esti g atin g   m o d el  r o b u s tn ess   u n d er   r ea lis tic  m is s in g - d ata  co n d itio n s   u s in g   b o t h   m is s in g   co m p letely   at  r an d o m   ( MCAR )   an d   m is s in g   at  r an d o m   ( MA R )   m ec h an is m s iii )   co m p ar in g   m u ltip le   im p u tatio n   tech n iq u es,  in clu d in g   f o r war d   f ill,  lin ea r   in te r p o latio n ,   an d   k - n ea r est  n eig h b o r s   ( k - NN ) an d     iv )   an aly zin g   th ca p a b ilit y   o f   ad v an ce d   tr an s f o r m er - b ased   ar ch itectu r es  to   m ain tain   f o r ec asti n g   p er f o r m an ce   u n d er   in cr ea s in g   m is s in g n ess .   T h ese  co n tr i b u tio n s   p r o v id p r ac tical  i n s ig h ts   in to   m o d el  s elec tio n   a n d   m is s in g - d ata  h an d lin g   s tr ateg ies f o r   r ea l - wo r l d   tim e - s er ies f o r ec asti n g   ap p licatio n s .       2.   M E T H O D   2 . 1 .     Da t a s et s   W u s ed   th r ee   d atasets   ac r o s s   d if f er en d o m ain s : f in a n ce ,   h e alth ca r e,   an d   e n er g y .     2 . 1 . 1 .   F ina nce  da t a s et   T h f in an cial  d ataset  u s ed   in   th is   s tu d y   co n s is t s   o f   d aily   s to ck   p r ices  f r o m   th S& 5 0 0   in d ex .     T h is   d ataset  co v er s   1 0 - y ea r   p er io d ,   p r o v id i n g   a   r ich   h is to r ical  co n te x f o r   f o r ec asti n g   s to ck   p r ice   tr en d s .   T h d ataset  in clu d es th f o llo win g   v ar iab les:     Op en   p r ice:  th p r ice  at  wh ich   th s to ck   m ar k et  o p e n ed   f o r   e ac h   tr ad in g   d ay .   Evaluation Warning : The document was created with Spire.PDF for Python.
C o m p u t Sci  I n f   T ec h n o l     I SS N:   2722 - 3 2 2 1       Time  s er ies fo r ec a s tin g :   a   co mp a r a tive  a n a lysi s   o f A R I MA,   LS TM ,   a n d   TFT m o d els  …  ( Ma r ya Ho s s ein i )   293     C lo s p r ice:  th f in al  p r ice  at  wh ich   th s to ck   m a r k et  clo s ed   f o r   ea c h   tr ad in g   d ay .     Hig h   p r ice:  th h ig h est p r ice  r ea ch ed   d u r in g   t h tr ad in g   d a y .     L o p r ice:  th lo west p r ice  r e ac h ed   d u r in g   t h tr ad in g   d a y .     Vo lu m e : th e   to tal  n u m b er   o f   s h ar es tr ad ed   d u r in g   th tr a d in g   d ay .   Ou r   g o al   o n   t h is   d ataset  was  to   p r e d ict  th clo s in g   p r ice  o f   t h S& P   5 0 0   in d e x   f o r   th n ex d ay ,   b ased   o n   th e   h is to r ical  v alu es o f   th a f o r em en tio n ed   v ar iab les.     2 . 1 . 2 .   H ea lt hca re   da t a s et   T h h ea lth ca r d ataset,   d er iv e d   f r o m   th Ph y s io n et  Ap n ea - E C Data b ase,   co m p r is es  h ea r r ate  d ata   d er iv ed   f r o m   elec tr o ca r d io g r am   ( E C G )   s ig n als  f o r   3 5   in d iv id u als  d u r in g   s leep ,   w h ich   co n tain s   an n o tated   E C r ec o r d in g s   u s ed   in   clin ical  r esear ch   f o r   s leep   s tu d i es,  s p ec if ically   f o r   d etec tin g   s leep   ap n ea   an d   o t h er   ca r d io v ascu lar   c o n d itio n s   [ 2 0 ] .   T h h ea r t r ate  d ata  in   th is   d ataset  in clu d es:     I n s tan tan eo u s   h ea r r ate  ( b p m ) ex tr ac ted   f r o m   th R - R   in ter v al s   in   E C s ig n als  u s in g   th Pan - T o m p k in s   alg o r ith m .     T im s tam p th tim co r r esp o n d in g   to   ea ch   h ea r r ate  m e asu r em en t,  with   r ec o r d in g s   tak en   at  in ter v als  d u r in g   s leep .   T h d ataset  s p an s   s ev er al  h o u r s   f o r   ea c h   in d i v id u al,   p r o v id i n g   d etailed   in f o r m atio n   o n   h e ar r ate  v ar ia b ilit y   th r o u g h o u th s leep   cy cle.   T h e   p r im ar y   g o al  f o r   th is   d ataset  is   to   f o r ec ast  th h ea r r ate  f o r   th n ex t     2   m in u tes,  b ased   o n   th e   p ast 3 0   m in u tes o f   o b s er v e d   h ea r r a te  d ata.     2 . 1 . 3 .     E nerg y   da t a s et   T h en er g y   d ataset  co n s is ts   o f   h o u r ly   elec tr icity   co n s u m p tio n   d ata   f r o m   th e   Pen n s y l v an ia New  J er s ey Ma r y lan d   ( PJ M )   in ter c o n n ec tio n   p o wer   g r id ,   wh ich   s er v es  th ea s ter n   Un ited   States .   T h is   d ataset  was  s o u r ce d   f r o m   th e   p u b licly   a v ailab le  PJ Ho u r ly   L o ad   Da ta  r ep o s ito r y   an d   c o v er s   s ev er al  y ea r s   o f   d ata,   m ak in g   it  well - s u ited   f o r   m o d elin g   lo n g - ter m   tr en d s   an d   s ea s o n al  p atter n s   in   elec tr icity   d e m an d .   T h e   d ataset  in clu d es th f o llo win g   v ar ia b les:     T o tal  h o u r ly   lo ad   ( MWh ) th to tal  elec tr icity   d em an d   i n   m e g awa tt - h o u r s   f o r   ea ch   h o u r .     Ho u r   o f   d ay : th e   s p ec if ic  h o u r   o f   th d a y   th m ea s u r em en t w as tak en .     Day   o f   wee k a   ca teg o r ical  v a r iab le  in d icatin g   t h d a y   o f   th wee k ,   as  d em an d   p atter n s   v ar y   s ig n if ican tly   b etwe en   wee k d ay s   an d   wee k e n d s .   T h g o al  f o r   t h is   d ataset  is   to   p r ed ict  elec tr icity   d em a n d   f o r   th n ex h o u r   b ased   o n   th p r ev io u s   2 4   h o u r s   o f   o b s er v ed   d ata .   T h is   ty p o f   f o r ec asti n g   is   cr itical  f o r   g r id   o p er ato r s   to   o p tim ize  elec tr icity   g en er atio n   a n d   b alan ce   s u p p ly   with   d em an d ,   esp ec ially   as r en ewa b le  en er g y   s o u r ce s   ar in te g r ated   in to   th p o wer   g r id .     2 . 2 .     P re pro ce s s ing   E ac h   d ataset  u n d er we n s p ec if ic  p r ep r o ce s s in g   s tep s   to   en s u r th ey   wer s u itab le  f o r   tim s er ies  f o r ec asti n g .     Fin an ce   d ata  p r ep r o ce s s in g s to ck   p r ices  wer s m o o th ed   u s in g   Sav itzk y - Go la y   f ilter ,   wh i ch   ap p lies     m o v in g   p o ly n o m ial  r eg r es s io n   to   th d ata.   T h f ilter   u s ed   win d o s ize  o f   5   d ata  p o in ts   an d     p o ly n o m ial  o r d e r   o f   2 ,   wh i ch   en s u r e d   m i n im al  d is to r tio n   in   th e   s to ck   p r ice   tr en d s .   T h d ata  was  th e n   n o r m alize d   u s in g   m in - m a x   n o r m aliza tio n   to   en s u r e   u n i f o r m   s ca lin g   ac r o s s   all  v ar iab les.  Miss in g   v alu es   wer h an d led   th r o u g h   f o r war d   f ill  tech n iq u es,  wh er e   th e   m o s r ec en v alid   o b s er v ati o n   is   ca r r ied   f o r war d   to   m ain tain   th tem p o r al  s eq u en ce   an d   e n s u r n o   g a p s   in   th e   tim s er ies.     Hea lth ca r d ata   p r ep r o ce s s in g th e   Pan - T o m p k in s   al g o r it h m   was  ap p lied   t o   th e   r aw   E C s ig n als  to   ex tr ac in s tan tan eo u s   h ea r r at b y   d etec tin g   R - p ea k s   in   th e   QR co m p lex   [ 21] .   On ce   th R - p ea k s   wer e   id en tifie d ,   t h R - R   in ter v als  wer u s ed   t o   ca lcu late   th i n s tan tan eo u s   h ea r r ate   ( b p m ) .   T o   en s u r e   ev e n ly   s p ac ed   tim in te r v als,  th e   h ea r r ate  d ata  was  in ter p o lat ed   u s in g   cu b ic  s p lin i n ter p o latio n ,   wh ic h   m ain tain s   s m o o th   tr an s itio n s   b etwe en   d ata  p o in ts .   Ou tlier s d ef in ed   as  h ea r t r ate  v alu es b elo 3 0   b p m   o r   ab o v 2 0 0   b p m wer id e n tifie d   an d   r em o v ed   to   av o id   p h y s io lo g ical  an o m alies.  Fin ally ,   th h e ar r ate   d ata  was n o r m alize d   u s in g   m i n - m ax   n o r m aliza tio n .     E n er g y   d ata  p r ep r o ce s s in g th en er g y   d ataset  was  d etr en d e d   u s in g   a   Sav itzk y - Go la y   f ilte r   with   win d o w   s ize  o f   2 4   h o u r s   an d   p o ly n o m ial  o r d er   o f   2 .   T h is   f ilter   h elp ed   s m o o th   o u d aily   s ea s o n ality   p atter n s   wh ile  p r eser v in g   im p o r tan t   co n s u m p tio n   tr en d s .   T h d ata  was  th en   n o r m alize d   u s in g   m in - m ax   n o r m aliza tio n   to   en s u r u n if o r m   s ca lin g   o f   elec tr icity   c o n s u m p tio n   v alu es.  Miss in g   v alu es  wer im p u ted   u s in g   lin ea r   in ter p o latio n ,   wh er m is s in g   d ata   p o in ts   wer e   esti m ated   b ased   o n   th v alu es  im m ed iately   b ef o r an d   af ter   th g ap .   r o llin g   win d o tech n iq u was  ap p lied   to   ca p tu r s ea s o n ality   an d   v ar iatio n s   in   d em an d   p atter n s   o v er   tim e,   allo win g   th m o d els  to   ad ju s to   r ec u r r in g   cy cles  in   th d ata.   E ac h   d ataset  was  s p lit  in to   tr ain in g   ( 7 0 %),   v alid atio n   ( 1 5 %),   an d   test   s ets  ( 1 5 %).   T h v alid atio n   s et  was  u s ed   f o r   h y p er p ar am eter   tu n in g ,   wh ile  th test   s et  was r eser v ed   f o r   ev alu atin g   m o d el  p er f o r m an ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 3 2 2 1   C o m p u t Sci  I n f   T ec h n o l Vo l.  7 ,   No .   3 No v em b er   20 26 2 9 1 - 303   294   2 . 3 .     M o del  im plem ent a t io n   T h r ee   f o r ec asti n g   m o d els  wer im p lem en ted :   AR I MA ,   L STM ,   an d   T FT.   E ac h   m o d el  was f in e - tu n e d   f o r   o p tim al  p e r f o r m an ce   b ased   o n   th e   s p ec if ic  ch ar ac te r is tics   o f   th d atasets   ( f in an c e,   h ea lth ca r e,   an d   en er g y ) .   T h h y p e r p ar am ete r s   f o r   all  m o d els we r s elec ted   b ased   o n   g r i d   s ea r ch   u s in g   th v alid atio n   s et.     2 . 3 . 1 .   Aut o re g re s s iv inte g ra t ed  m o v ing   a v er a g mo del   T h AR I MA   m o d el,   tr ad itio n al  s tatis tica m eth o d   f o r   tim s er ies  f o r ec asti n g ,   h as  b ee n   wi d ely   u s ed   in   v ar i o u s   d o m ain s   d u e   to   its   s im p licity   an d   ef f icien c y   in   h an d lin g   lin ea r   r elatio n s h ip s .   T h AR I MA   m o d el   co m p r is es  th r ee   c o m p o n en ts au to r eg r ess io n   ( AR ) ,   d if f er e n cin g   ( I ) ,   a n d   m o v in g   av e r a g ( MA ) .   T h AR   co m p o n en t c ap tu r es th lin ea r   r elatio n s h ip   b etwe en   p ast an d   cu r r en t v alu es,  wh ile  th MA   co m p o n en t m o d els   th d ep en d en cy   b etwe en   th c u r r en t v al u an d   p ast f o r ec ast  er r o r s .   T h I   co m p o n e n t in v o l v es d if f er en cin g   th e   ti m s er ies to   ac h iev s tatio n ar ity .   I n   th is   s tu d y ,   th AR I MA   m o d el  was  co n f ig u r e d   b y   s elec tin g   th o p tim al  p ar am eter s   ( p ,   d ,   an d   q )   u s in g   th B o x - J en k in s   m eth o d o lo g y .   T h B o x - J en k in s   m eth o d o l o g y   is   s y s tem atic   ap p r o ac h   u s ed   to   id en tify ,   esti m ate,   an d   d iag n o s A R I MA   m o d els.  T h p r o ce s s   in v o lv es  an aly zin g   au to co r r elatio n   an d   p ar tial   au to co r r elatio n   f u n ctio n s   ( AC an d   PA C F)  to   d eter m in th ap p r o p r iate  o r d er   o f   th AR   an d   MA   co m p o n en ts ,   co n d u ctin g   s tatio n ar ity   test s   to   d eter m in th d if f er en cin g   ( I )   o r d er ,   an d   ev alu atin g   m o d el   d iag n o s tics   to   e n s u r t h m o d el's  ad eq u ac y .   AC an d   PAC F   p lo ts   wer e   an aly ze d   to   d eter m in th e   ap p r o p r iate   v alu es  f o r   p   an d   q ,   wh ile  th d if f e r en cin g   ( I )   p ar am et er   d   was  s elec ted   b ased   o n   s tatio n ar ity   test s .     T h h y p er p ar a m eter s   wer o p tim ized   b y   m in im izin g   th A k aik in f o r m atio n   c r iter io n   ( AI C ) ,   an d   th f i n al   v alu es we r s elec ted   b ased   o n   th v alid atio n   s et as d etailed   i n   T ab le  1 .     2 . 3 . 2 .   L o ng   s ho rt - t er m m e mo ry   net wo r k   L STM   n etwo r k s ,   ty p o f   R N Ns,  h av em er g ed   as a   p o wer f u l to o l f o r   tim s er ies f o r ec asti n g   d u to   th eir   ab ilit y   to   ca p t u r lo n g - t er m   d ep e n d en cies  an d   n o n - li n ea r   p atter n s   in   s eq u en tial  d a ta.   L STM s   p ar tially   ad d r ess   th v an is h in g   g r a d ien t   p r o b lem ,   co m m o n   i s s u in   t r ad itio n al  R NNs,  b y   in co r p o r a tin g   m em o r y   ce lls   an d   g atin g   m ec h an is m s   th at  co n tr o th e   f lo o f   i n f o r m atio n   th r o u g h   th e   n etwo r k .   T h e   L STM   ar ch itectu r e   ty p ically   co n s is ts   o f   m u ltip le  L STM   lay er s ,   ea ch   co n tain in g   s et  o f   L STM   u n its .   E ac h   L STM   u n it  co m p r is es   m em o r y   ce ll,  an   in p u t g ate,   an   o u tp u t g ate,   an d   f o r g et  g a te.   T h m em o r y   ce ll st o r es in f o r m atio n   o v er   tim e ,   wh ile  th g ates  r eg u late  th f lo o f   in f o r m atio n   in to   a n d   o u o f   th ce ll.  T h in p u g ate  d e ter m in es  h o m u c h   n ew  in f o r m atio n   is   s to r ed   i n   th ce ll,  th e   o u t p u g ate  co n tr o ls   h o m u ch   in f o r m atio n   is   p ass ed   to   th e   n ex t   lay er ,   an d   th f o r g et  g ate  d ec i d es wh at  in f o r m atio n   is   d is ca r d ed   f r o m   th ce ll.   I n   th is   s tu d y ,   th L STM   ar c h itectu r co n s is ted   o f   two   L STM   lay er s   f o llo wed   b y   d en s o u tp u t   lay er .   Dr o p o u r e g u lar izatio n   was  ap p lied   to   p r e v en o v e r f itti n g ,   a n d   th A d am   o p ti m izer   was  u s ed   to   m in im ize  th e   lo s s   f u n ctio n .   H y p er p a r am eter s   s u ch   as  th e   n u m b er   o f   L STM   u n its ,   lea r n in g   r ate,   d r o p o u t   r ate ,   an d   b atch   s ize  wer f in e - tu n e d   u s in g   g r id   s ea r ch ,   w ith   th f in al  v alu es  s elec ted   b ased   o n   th v alid atio n   s et r ef er   to   T a b le  1   f o r   d etails.     2 . 3 . 3 .   T em po ra l f us io n t ra ns f o rm er   W im p lem en ted   th T FT  f o r   tim e   s er ies  f o r ec asti n g   ac r o s s   f in an ce ,   h ea lth ca r e,   an d   e n er g y   d atasets .   T h m o d el  f o llo ws  an   e n co d er - d ec o d er   s tr u ctu r e ,   in co r p o r atin g   s p ec ialized   co m p o n e n t s   s u ch   as  v ar iab le   s elec tio n   n etwo r k s   ( VSNs ) ,   g ated   r esid u al   n etwo r k s   ( GR Ns),   an d   tem p o r al   s elf - atten t io [ 2 2 ] .   T h e   VSN  d y n am ically   s elec ts   r elev an f ea tu r es  at  ea c h   tim e   s tep .   I t   p r o ce s s es  in p u ts   u s in g   f u ll y   co n n ec ted   la y er s ,   ap p lies   s p ar s em ax   ac tiv atio n   f u n ctio n   to   en f o r ce   s p ar s ity ,   an d   ass ig n s   lear n ed   im p o r tan ce   weig h ts   to   ea ch   v ar iab le.   T h is   en s u r es th at  o n l y   th m o s t r elev a n t in p u ts   co n tr ib u te  to   f o r ec asti n g .   T h en co d e r   p r o ce s s es  h is to r ical  in p u ts   u s i n g   L STM   n etwo r k s ,   wh ich   ca p tu r e   tem p o r al   d ep en d e n cies.  T h GR Ns  r ef in th ese  en co d ed   r ep r esen tatio n s   b ef o r p ass in g   th em   to   s u b s eq u en lay er s .   E ac h   GR co n s is ts   o f   f u lly   co n n ec ted   la y er s ,   ex p o n e n tial  lin ea r   u n it   ( ELU )   ac tiv atio n   f u n ctio n s ,   g atin g   m ec h an is m s   ( s ig m o id   ac tiv ati o n s ) ,   an d   r esid u al  c o n n ec tio n s   to   r eg u late  in f o r m atio n   f lo w.   GR Ns  ar also   u s ed   in   th d ec o d er   to   p r o ce s s   k n o wn   f u tu r c o v ar iates.   T o   ca p tu r e   lo n g - r an g d ep en d en cies,  th m o d el  ap p lies   m ask ed   in ter p r etab le  m u lti - h ea d     s elf - atten tio n   to   t h en co d ed   r ep r esen tatio n s .   T h is   m ec h an i s m   co m p u tes  q u er y   ( Q) ,   k e y   ( K) ,   an d   v al u ( V)   m atr ices  f r o m   th L STM   o u tp u ts   an d   lear n s   tem p o r al  r elati o n s h ip s   with o u lo o k in g   i n to   t h f u tu r ( en f o r ce d   v ia  ca u s al  m ask in g ) .   T h n u m b er   o f   atten tio n   h ea d s   an d   d r o p o u r ates  f o r   th is   m ec h an is m   ar lis ted   in     T ab le  1 .   Af ter   s elf - atten tio n ,   ad d itio n al  GR N s   r ef in th lear n ed   r ep r esen tatio n s   b ef o r g en er atin g   f in al   f o r ec asts .   T h e   o u tp u lay e r   p r o d u ce s   q u a n tile  esti m ates  ( 1 0 th ,   5 0 t h ,   a n d   9 0 th   p e r ce n tiles )   to   q u an tify   u n ce r ta in ty .   Sin ce   T FT  o u tp u ts   q u an tile  f o r ec asts ,   th e   f in al   p o in t   esti m ate  was  tak en   as  th 5 0 t h   p er ce n tile   ( m ed ian   p r e d ictio n ) ,   wh ic h   r e p r esen ts   th m o s lik ely   o u tco m e.   Fo r   d ec is io n - m a k in g   a p p licatio n s   r eq u ir in g   Evaluation Warning : The document was created with Spire.PDF for Python.
C o m p u t Sci  I n f   T ec h n o l     I SS N:   2722 - 3 2 2 1       Time  s er ies fo r ec a s tin g :   a   co mp a r a tive  a n a lysi s   o f A R I MA,   LS TM ,   a n d   TFT m o d els  …  ( Ma r ya Ho s s ein i )   295   r is k   ass ess m en t,  th 1 0 th   an d   9 0 th   p er ce n tiles   c an   b e   u s ed   to   p r o v id e   lo wer   an d   u p p er   co n f id en ce   b o u n d s .   T h m o d el  was  tr ain ed   u s in g   th Ad am   o p tim izer ,   with   q u an tile  lo s s   f u n ctio n   to   o p tim i ze   f o r ec asts   ac r o s s   d if f er en t   q u a n tile  lev els.  Hy p er p ar am eter s   s u ch   as   th le ar n in g   r ate,   b atch   s ize,   n u m b er   o f   GR lay er s ,   h id d en   u n its ,   an d   d r o p o u r ate  wer o p tim ized   v ia  g r id   s ea r c h   as sh o wn   in   T a b le  1 .   Fo r   ea ch   d ataset,   f ea tu r en g in ee r in g   was  p er f o r m e d   to   p r e p ar th d ata  f o r   th T FT  m o d el.   I n   th e   f in an ce   d ataset,   r aw  s to ck   p r i ce s   ( o p en ,   clo s e,   h ig h ,   a n d   lo w)   an d   v o lu m wer d ir ec tly   u s ed   as  o b s er v ed   h is to r ical  in p u ts ,   with   n o   s tatic  o r   k n o wn   f u tu r in p u ts   i n   th is   b asic  s etu p .   Fo r   th h ea lth ca r d ataset,     th in s tan tan eo u s   h ea r t   r ate   w as  th p r im ar y   o b s er v ed   h is to r ical  in p u t,   wh ile  t h tim e   s tam p   was  tr an s f o r m ed   in to   m in u te - of - d ay   f ea tu r es  f o r   b o th   o b s er v ed   h is to r ical   an d   k n o wn   f u tu r in p u ts .   T h en e r g y   d ataset  lev er ag ed   t o tal  h o u r ly   lo a d   a s   th co r o b s er v ed   h is to r ical  in p u t,  alo n g s id h o u r - of - d a y   an d   d ay - of - wee k   f ea tu r es  f o r   b o t h   h is to r ical  a n d   f u tu r c o n tex ts .   I n   all  d atasets ,   tim s tam p s   wer co n v er ted   in to   r elev a n t   tem p o r al  f ea tu r es  to   ca p tu r s ea s o n ality   an d   cy clica p atter n s .   Fu r th er m o r e,   ca teg o r ical  v a r iab les,  lik d ay - of - wee k ,   wer o n e - h o t e n co d e d   t o   f ac ilit ate  m o d el  p r o ce s s in g .     2 . 4 .     M o del  t ra ini n a nd   v a li da t io n   All  f o r ec asti n g   m o d els  wer tr ain ed   u s in g   th t r ain in g   s u b s et,   wh ile  h y p er p ar a m eter   o p tim izatio n   was  p er f o r m ed   o n   th v alid at io n   s u b s et.   T o   en s u r r ea lis tic  tim e - s er ies  f o r ec asti n g   an d   p r ev en in f o r m atio n   leak ag e,   r o llin g   win d o cr o s s - v ali d atio n   was  em p lo y e d   ac r o s s   all  d ataset s ,   in clu d in g   f in a n ce ,   h ea lth ca r e,   a n d   en er g y   [ 2 3 ] .   Un lik c o n v e n tio n al  r an d o m   s am p lin g   s tr ateg ies,  r o llin g   win d o v alid atio n   p r eser v es  tem p o r al   o r d er in g   b y   en s u r in g   th at  f u t u r o b s er v atio n s   ar n ev e r   u s ed   d u r in g   m o d el  tr ain in g .   T h is   p r o ce d u r m o r e   clo s ely   r ef lects  r ea l - wo r ld   f o r ec asti n g   co n d itio n s ,   wh er p r ed ictio n s   m u s r ely   s o lely   o n   h is to r ical   in f o r m atio n .   Fo r   ea ch   d ataset,   th o b s er v at io n s   wer f ir s ch r o n o lo g ically   d iv id e d   in to   tr ai n in g   ( 7 0 %),   v alid atio n   ( 1 5 %),   an d   test in g   ( 1 5 %)  s u b s ets.  T h tr ain in g   s et  was  u s ed   to   f it  th e   m o d els,  wh il th v alid atio n   s et  s u p p o r ted   h y p er p ar am eter   o p tim izatio n   an d   m o d el  s elec tio n .   T h test in g   s et  r em ain ed   co m p letely   u n s ee n   d u r in g   m o d el  d e v elo p m e n a n d   was  r eser v e d   ex cl u s iv ely   f o r   f in al  p er f o r m an ce   ass es s m en t.  Ma in tain in g   ch r o n o lo g ical  s ep ar atio n   en s u r ed   p r eser v atio n   o f   tem p o r al  d ep en d e n cies  an d   p r ev e n ted   f u tu r o b s er v atio n s   f r o m   in f lu en cin g   m o d el  co n s tr u ctio n .   T o   f u r th er   im p r o v r o b u s tn e s s   an d   r ed u ce   d ep en d e n ce   o n   s in g le  tem p o r al  s p lit,  an   ex p an d in g   r o llin g   win d o c r o s s - v alid at io n   s tr ateg y   was  ap p lied   d u r in g   tr ai n in g   an d   v alid atio n .   I n   th is   ap p r o ac h ,     th tr ain in g   win d o p r o g r ess iv ely   in cr ea s ed   in   s ize  at  ea ch   iter atio n   wh ile  v alid atio n   was  co n d u cted   o n   th e   im m ed iately   f o llo win g   u n s ee n   o b s er v atio n s .   Fo r   ex am p le,   f o r   th en er g y   d ataset,   th f ir s iter atio n   u s ed   s am p les  T 1 T 1 0 0 0   f o r   tr ain i n g   an d   T 1 0 0 1 T 1 1 0 0   f o r   v alid atio n .   I n   th n e x t   iter atio n ,   th tr ain in g   win d o ex p an d e d   to   T 1 T 1 1 0 0   wh ile   th v alid atio n   p er io d   s h if ted   to   T 1 1 0 1 T 1 2 0 0 .   T h is   p r o ce d u r was  r e p ea ted   ac r o s s   s u cc ess iv win d o ws u n til th en d   o f   th tr ain in g - v alid atio n   p er io d   was r ea ch ed .   T h e   s am s tr ateg y   wa s   ap p lied   to   th e   f in a n cial  an d   h ea lth ca r d atasets .   T h ex p an d in g - win d o d esig n   en ab led   r ep ea ted   ev al u atio n   o n   f u tu r u n s ee n   o b s er v atio n s   an d   p r o v i d ed   m o r r eliab le  esti m ate  o f   m o d el  g en er ali za tio n   p er f o r m an ce   u n d er   p r ac tical  f o r ec asti n g   co n d itio n s .   Hy p er p ar a m eter   o p tim izatio n   was  co n d u cted   u s in g   g r id   s ea r ch   ac r o s s   p r ed e f in ed   p ar am e ter   r an g es   s h o wn   in   T ab le  1 .   Fo r   AR I MA ,   co m b in atio n s   o f   au to r eg r es s iv ( p ) ,   d if f e r en cin g   ( d ) ,   a n d   m o v in g   av er a g ( q )   p ar am eter s   wer s y s tem atica lly   ex p lo r ed   an d   ev alu ate d   u s in g   th AI C .   Fo r   L S T an d   T FT,   h y p e r p ar am ete r s   in clu d in g   lear n in g   r ate,   h id d e n   lay er   s ize,   b atch   s ize,   d r o p o u r ate,   an d   n etwo r k   a r ch itect u r p ar am ete r s   wer e   ev alu ated   ac r o s s   ca n d id ate  v a lu es.  T h o p tim al  co n f ig u r atio n   was  s elec ted   b ased   o n   v alid atio n   p er f o r m an ce ,   p r im ar ily   m in im izin g   MA E   an d   MA PE  wh ile  m ax im izin g   R ² .   T o   im p r o v e   s tatis tical  r o b u s tn ess   an d   r e d u ce   v ar iab ilit y   ar i s in g   f r o m   s to ch asti tr ai n in g   p r o ce s s es,   ea ch   d ee p   lear n i n g   e x p er im en ( L STM   an d   T FT)   was  r ep ea ted   m u ltip le  tim es  u s in g   d if f er en r an d o m   in itializatio n   s ee d s ,   an d   av er ag p er f o r m an ce   m etr ics  wer r ep o r ted .   T h is   ap p r o a ch   r e d u ce d   s en s itiv ity   to   r an d o m   weig h t   in itializatio n   an d   tr ain in g   f l u ctu atio n s .   F u r th er m o r e,   ea r ly   s to p p in g   was  im p lem en ted   t o   p r ev en o v er f itti n g ,   ter m in ati n g   tr ain in g   if   v alid atio n   l o s s   f ailed   to   im p r o v o v er   ten   co n s ec u tiv ep o c h s .   Af ter   o p tim al   h y p er p a r am eter s   h ad   b ee n   id en tifie d ,   m o d els  wer r etr ain ed   u s in g   th e   co m b in ed   tr ain in g   an d   v alid atio n   d atasets   to   m ax im i ze   d ata  u tili za tio n .   Fin ally ,   m o d el  p er f o r m a n ce   was  ev alu at ed   o n   th h eld - o u test   d ataset,   wh ich   co n s titu ted   th f in al  1 5 o f   o b s er v atio n s   an d   was  n o i n v o lv ed   in   eit h e r   m o d el  tr ain in g   o r   h y p er p ar am eter   s elec tio n .   T h i s   s tr ict  s ep ar atio n   en s u r ed   u n b iased   ass ess m en o f   p r ed ictiv p er f o r m an ce   an d   en h an ce d   th r ep r o d u cib ilit y   a n d   r e liab ilit y   o f   th r e p o r ted   r esu lts .     2 . 5 .     Sens it iv it y   a na l y s is   o f   mis s i ng   da t a   T o   ass es s   th s en s itiv ity   o f   o u r   m o d els  to   m is s in g   d ata,   w co n d u cted   co m p r eh en s iv e   an aly s is   ac r o s s   all  th r ee   d ataset s f in an cial,   h ea lth ca r e,   an d   en er g y .   W r ec o g n ized   th at  th im p ac o f   m is s in g   d ata  ca n   v ar y   s ig n if ican tly   d ep en d in g   o n   th s p ec if ic  ch ar ac ter is tics   o f   ea ch   d ataset  an d   th m ec h a n i s m s   b y   wh ich   d ata  b ec o m es m is s in g .   T h er e f o r e,   we  tailo r ed   o u r   ap p r o ac h   t o   r e f lect  th ese  n u an ce s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 3 2 2 1   C o m p u t Sci  I n f   T ec h n o l Vo l.  7 ,   No .   3 No v em b er   20 26 2 9 1 - 303   296   I n   th f in a n cial  d at aset,  wh er e   m is s in g   d ata  m ig h ar is f r o m   in f r eq u en ev e n ts   lik tr ad i n g   h alts   o r   d ata  er r o r s ,   we  i n tr o d u ce d   lo w er   lev els  o f   m is s in g n ess ,   r a n g i n g   f r o m   1 to   5 %.   C o n v er s el y ,   in   th h ea lth ca r d ataset,   wh er m is s in g   d ata  c o u ld   b m o r p r ev alen d u t o   f ac to r s   s u ch   as  s en s o r   m alf u n ctio n s   o r   p atien t   m o v em en ts ,   we  ex p lo r ed   a   b r o ad er   r an g e   o f   m is s in g n ess ,   f r o m   5 to   2 0 %.   Fo r   t h en e r g y   d ataset,   wh er e   m is s in g   d ata  m ig h s tem   f r o m   is s u es  lik co m m u n icatio n   d is r u p tio n s   o r   m eter   f ail u r es,  we  ex am in ed     m o d e r ate  r an g o f   0 . 5 to   2 m is s in g n ess .   Fo r   ea ch   d ataset,   we  s im u lated   b o th   r a n d o m   m is s in g n ess ,   wh er d ata  is   MCAR ,   an d   m is s in g n ess   b ased   o n   s p ec if ic  cr it er ia  ( MA R ) .     Fo r   MA R ,   in   th e   f in an ce   d atas et,   m is s in g   v alu es  wer e   in tr o d u ce d   o n   lo w - v o lu m e   tr ad in g   d ay s   b ased   o n   th ass u m p tio n   th at  d u r in g   lo w - v o lu m d ay s ,   s to ck   p r ice  d ata  m ig h b in c o m p lete  d u to   less   m ar k et   ac tiv ity .   Fo r   th h ea lth ca r d ataset,   th m is s in g   h ea r r ate  v alu es  wer in tr o d u ce d   d u r in g   p e r io d s   o f   h ig h   h ea r t   r ate.   Fo r   th en er g y   d ataset,   m is s in g   v alu es   wer in tr o d u c ed   m o r f r e q u en tly   d u r in g   p e ak   d em an d   h o u r s   as  r ea l - wo r ld   en er g y   s y s tem s   d ata  co llectio n   er r o r s   m ay   b co r r elate d   with   h ig h   en e r g y   u s ag p er i o d s .     T h is   allo wed   u s   to   in v esti g at h o d if f er en m is s in g n ess   m ec h an is m s   m ig h af f ec t   th p er f o r m an ce   o f   o u r   f o r ec asti n g   m o d els.  T o   f u r th e r   en h an ce   th co m p r eh en s iv e n ess   o f   o u r   an aly s is ,   we  em p lo y ed   th r ee   d is tin ct  im p u tatio n   tech n iq u es:  f o r wa r d   f ill,  lin e ar   in te r p o latio n ,   a n d   k - NN  im p u tatio n .   T h ese  tech n iq u es  r e p r esen t     r an g o f   co m p le x ity   in   h a n d lin g   m is s in g   d ata,   f r o m   s im p le  r ep lace m en with   p r ev i o u s   v alu es  to   m o r s o p h is ticated   esti m atio n s   b ase d   o n   n eig h b o r in g   d ata  p o in ts .       2 . 6 .     E v a lua t i o m et rics   T h m o d els we r e v alu ated   o n   th eir   f o r ec asti n g   ac cu r ac y   u s in g   th f o llo win g   m et r ics:     Me an   ab s o lu te  er r o r   ( MA E ) t h is   m ea s u r es th av er ag m ag n itu d o f   er r o r s   in   th p r ed icti o n s .     Me an   ab s o lu te  p er ce n ta g er r o r   ( MA PE) th is   m ea s u r es  th er r o r   as  p er ce n tag o f   t h ac tu al  v alu e,   p r o v id i n g   n o r m alize d   m ea s u r o f   ac c u r ac y .     R - s q u ar ed   ( R ²) th is   q u an tifie s   h o well  th m o d el  ex p lain s   t h v ar ian ce   i n   th d ataset.       T ab le  1 Hy p er p ar a m eter   s elec tio n   M o d e l   H y p e r p a r a me t e r   R a n g e / v a l u e   S e l e c t e d   v a l u e   ( v a l i d a t i o n   se t )   A R I M A   p   ( a u t o r e g r e ss i v e   t e r m)   [ 0 ,   1 ,   2 ,   3 ,   4 ,   5 ]   2     d   ( d i f f e r e n c i n g   t e r m)   [ 0 ,   1 ,   2 ]   1     q   ( m o v i n g   a v e r a g e   t e r m)   [ 0 ,   1 ,   2 ,   3 ,   4 ,   5 ]   2     A I C   O p t i mi z e d   -   LSTM   N u mb e r   o f   LST M   u n i t s   [ 5 0 ,   1 0 0 ,   1 5 0 ,   2 0 0 ]   1 0 0     D r o p o u t   r a t e   [ 0 . 1 ,   0 . 2 ,   0 . 3 ,   0 . 4 ]   0 . 2     Le a r n i n g   r a t e   [ 0 . 0 0 1 ,   0 . 0 0 5 ,   0 . 0 1 ]   0 . 0 0 1     B a t c h   si z e   [ 1 6 ,   3 2 ,   6 4 ]   32     N u mb e r   o f   e p o c h s   [ 5 0 ,   1 0 0 ,   1 5 0 ,   2 0 0 ]   1 0 0     O p t i mi z e r   A d a m   A d a m   TFT   N u mb e r   o f   a t t e n t i o n   h e a d s   [ 2 ,   4 ,   8 ]   4     H i d d e n   l a y e r   s i z e   [ 1 6 ,   3 2 ,   6 4 ,   1 2 8 ]   32     N u mb e r   o f   G R N   l a y e r s   [ 1 ,   2 ,   3 ]   2     D r o p o u t   r a t e   [ 0 . 1 ,   0 . 2 ,   0 . 3 ,   0 . 4 ,   0 . 5 ]   0 . 2     Le a r n i n g   r a t e   [ 0 . 0 0 0 5 ,   0 . 0 0 1 ,   0 . 0 0 5 ,   0 . 0 1 ]   0 . 0 0 1     B a t c h   si z e   [ 1 6 ,   3 2 ,   6 4 ]   32     N u mb e r   o f   e p o c h s   [ 5 0 ,   1 0 0 ,   1 5 0 ,   2 0 0 ]   1 0 0     O p t i mi z e r   A d a m   A d a m       3.   RE SU L T S   3 . 1 .     F ina ncia l da t a s et   re s ults   I n   th e   f in an cial   d o m ai n ,   th e   o b jectiv was  to   f o r ec ast  th e   clo s in g   p r ice   o f   th S& 5 0 0   in d ex   u s in g   h is to r ical  s to ck   p r ice   d ata.   T h ev alu atio n   m etr ics  f o r   AR I MA ,   L STM ,   an d   T FT  m o d els   o n   th test   s et  ar e   s u m m ar ized   in   T ab le  2 .   T h e   AR I MA   m o d el  s h o wed   r ea s o n ab le  p e r f o r m an ce   in   p r ed i ctin g   th S& 5 0 0   in d ex ,   b u its   ab ilit y   to   ca p tu r n o n - lin ea r   p atter n s   was  lim ited .   T h m o d el  ac h iev ed   MA E   o f   1 5 . 2   USD  an d   MA PE  o f   1 . 9 %,  in d icatin g   th at  th p r ed ictio n s   wer with in   ap p r o x im ately   2 %   o f   th ac tu al  v alu es.  Ho wev er ,   th R ²  v alu e   o f   0 . 7 2   s h o wed   th at  th m o d el  ex p lain ed   7 2 o f   th v ar ian ce   in   th e   d ata.   T h L STM   m o d el,   d u to   its   ab ilit y   to   ca p t u r lo n g - ter m   d ep en d en cies  a n d   n o n - lin e ar   r e latio n s h ip s ,   s ig n if ican tly   o u tp er f o r m ed   A R I MA .   I ac h iev ed   MA E   o f   1 0 . 1   USD  an d   MA PE  o f   1 . 3 %.  T h R ²  v alu was  0 . 8 7 ,   in d icatin g   t h at  th L STM   m o d el  ex p lain ed   8 7 o f   th v ar ian ce   in   th s to ck   p r ic es.   T h T FT  m o d el  d em o n s tr ated   th b est  p er f o r m an ce ,   lev e r ag in g   atten tio n   m ec h an is m s   to   ca p tu r b o th   s h o r t -   an d   lo n g - ter m   d ep en d e n cies.  I ac h iev ed   th e   lo west  MA E   o f   8 . 6   USD  a n d   MA PE  o f   1 . 1 %,   with   an   R ²  o f   0 . 9 1 ,   s h o win g   th at  th m o d el  was  ab le   to   e x p lain   9 1 o f   th v ar ian ce   in   s to ck   p r ices,  o u tp er f o r m in g   b o th   AR I MA   an d   L STM .   Evaluation Warning : The document was created with Spire.PDF for Python.
C o m p u t Sci  I n f   T ec h n o l     I SS N:   2722 - 3 2 2 1       Time  s er ies fo r ec a s tin g :   a   co mp a r a tive  a n a lysi s   o f A R I MA,   LS TM ,   a n d   TFT m o d els  …  ( Ma r ya Ho s s ein i )   297   3 . 2 .     H ea lt hca re   da t a s et   re s ults   Fo r   th h ea lth ca r d ataset,   th task   was  to   p r ed ict  f u tu r h ea r r ate  v alu es  f r o m   E C d ata  d u r in g   s leep .   T ab le  2   p r esen ts   th p er f o r m an ce   o f   th AR I MA ,   L STM ,   an d   T FT  m o d els  o n   th test   s et.   T h AR I MA   m o d el  was  lim ited   in   ca p tu r i n g   th n o n - lin ea r   v ar iatio n s   in   h ea r r ate  p atter n s .   T h m o d el   r esu lted   in   MA E   o f   6 . 3   b p m   an d   MA PE  o f   4 . 7 %,  with   an   R ²  v alu o f   0 . 6 8 .   T h is   in d icate d   th at  th m o d el  ex p lain ed   6 8 o f   th v ar ian ce   in   h ea r r ate  d ata.   T h L STM   m o d el,   d u to   its   ab ilit y   to   h an d le  s eq u en tial  an d   n o n - li n e ar   d ata,   p er f o r m ed   b etter   th an   AR I MA .   I ac h iev ed   MA E   o f   4 . 4   b p m   a n d   a   MA PE  o f   3 . 1 %,   with   an   R ²  o f   0 . 8 1 .   T h e   T FT  m o d el   o u tp er f o r m ed   th o t h er   m o d e ls   in   f o r ec asti n g   h ea r r ate,   with   a   MA E   o f   3 . 8   b p m   an d   MA PE  o f   2 . 9 %.     T h m o d el  ac h iev ed   an   R ²  v al u o f   0 . 8 5 ,   d em o n s tr atin g   th at   it  ca p tu r ed   m o r e   v ar ia n ce   in   th h ea r t   r ate  tim e   s er ies co m p ar ed   to   AR I MA   an d   L STM .     3 . 3 .     E nerg y   da t a s et   re s ults   Fo r   th en er g y   d ataset,   th g o al  was  to   p r ed ict  h o u r ly   elec tr icity   d em an d .   T h p er f o r m a n ce   m etr ics   f o r   ea ch   m o d el  o n   th test   s et  ar p r o v id e d   in   T ab le  2 .   T h AR I MA   m o d el  s h o wed   d ec en p er f o r m a n ce ,   with   MA E   o f   1 5 0   MWh   an d   M APE  o f   2 . 7 %.  T h R ²  v alu o f   0 . 7 6   in d icate d   th at  th m o d e ex p lain ed   7 6 o f   th v ar ian ce   in   elec tr icity   d em an d .   T h L STM   m o d el  d em o n s tr at ed   b ette r   p er f o r m a n ce ,   ac h iev i n g   MA E   o f   1 1 0   MWh   an d   a   MA PE  o f   1 . 9 %.  T h R ²  v alu was  0 . 8 5 ,   s h o win g   h ig h er   ab ilit y   to   c ap tu r p atter n s   in   elec tr icity   d em an d   co m p ar ed   t o   AR I MA .   T h T FT  m o d el  p r o v id ed   th e   b est  r esu lts ,   with   MA E   o f   9 5   MWh   an d   a   MA PE  o f   1 . 5 %.     Th m o d el  ac h iev e d   an   R ²  v a lu o f   0 . 8 9 ,   in d icatin g   th at   it  ca p tu r ed   al m o s 9 0 o f   th e   v ar ian ce   in   t h d ata,   o u tp er f o r m in g   b o t h   AR I MA   an d   L STM .       T ab le  2 Mo d el  p er f o r m a n ce   o n   f in an cial,   h ea lth ca r e,   a n d   en er g y   d atasets   ( test   s et  r esu lts )   M o d e l   D a t a s e t   M A E   M A P ( %)     A R I M A   F i n a n c i a l   ( U S D )   1 5 . 2   1 . 9   0 . 7 2   LSTM   F i n a n c i a l   ( U S D )   1 0 . 1   1 . 3   0 . 8 7   TFT   F i n a n c i a l   ( U S D )   8 . 6   1 . 1   0 . 9 1   A R I M A   H e a l t h c a r e   ( b p m)   6 . 3   4 . 7   0 . 6 8   LSTM   H e a l t h c a r e   ( b p m)   4 . 4   3 . 1   0 . 8 1   TFT   H e a l t h c a r e   ( b p m)   3 . 8   2 . 9   0 . 8 5   A R I M A   En e r g y   ( M W h )   1 5 0   2 . 7   0 . 7 6   LSTM   En e r g y   ( M W h )   1 1 0   1 . 9   0 . 8 5   TFT   En e r g y   ( M W h )   95   1 . 5   0 . 8 9       3 . 4 .     O v er a ll  re s ults   Acr o s s   all  d atasets ,   th T FT  c o n s is ten tly   o u tp er f o r m ed   t h AR I MA   an d   L STM   m o d els.  T h is   ca n   b e   attr ib u ted   to   T FT' s   ab ilit y   to   ca p tu r b o th   s h o r t -   an d   lo n g - ter m   d ep e n d en cies  in   th d ata,   as  well  as   it s   ef f icien u s o f   atten tio n   m ec h an is m s .   T h L STM   m o d el  s h o wed   b etter   p e r f o r m an ce   th a n   AR I MA   in   m o s t   ca s es,  p ar ticu lar ly   wh en   d ea lin g   with   n o n - lin ea r   an d   c o m p lex   tim s er ies  d ata,   s u c h   as  h ea r r ate   an d   elec tr icity   d em an d .   T h ese  r esu lts   s u g g est  th at  wh ile  AR I MA   r em ain s   r elia b le  m o d el  f o r   s im p ler ,   lin ea r   tim e   s er ies,  d ee p   lear n in g   m o d els  s u ch   as  L STM   an d   T FT  a r b etter   s u ited   f o r   m o r e   co m p lex   p atter n s .   I n   p ar ticu lar ,   T FT' s   s u p er io r   p er f o r m an ce   h ig h lig h ts   its   p o ten tial  as  s tate - of - th e - a r s o lu ti o n   f o r   tim e   s er ies  f o r ec asti n g   in   v ar io u s   d o m ain s .     3 . 5 .     Sens it iv it y   a na l y s is   t o   mis s i ng   da t a   R esu lts   o f   th s en s itiv ity   an a ly s is   ac r o s s   all  th r ee   d ataset s   ( f in an cial,   h ea lth ca r e,   an d   en er g y )   ar e   p r esen ted   in   Fig u r 1 .   T h ese  f ig u r es  d etail  th MA PE  p er f o r m an ce   m etr ics  f o r   th AR I M A,   L STM ,   an d   T FT  m o d els u n d e r   d if f e r en t m is s in g   d ata  s ce n ar io s   an d   im p u tatio n   tech n iq u es.  As ex p ec te d ,   th e   p er f o r m an ce   o f   all   m o d els  d eg r ad es  as  th p er c en tag o f   m is s in g   d ata  in cr e ases .   Ho we v er ,   th ex ten o f   d eg r ad atio n   v ar ies  ac r o s s   m o d els an d   d atasets .     T h T FT  m o d el  co n s is ten tly   d em o n s tr ates  g r ea ter   r o b u s tn e s s   to   m is s in g   d ata  co m p ar e d   t o   AR I MA   an d   L STM   ac r o s s   all  d ata s ets,   p ar ticu lar ly   in   s ce n ar io s   with   h ig h er   lev els  o f   m is s in g n ess .   T h is   s u g g ests   th at   T FT's  ab ilit y   to   ca p tu r co m p lex   tem p o r al  d ep en d en cies  an d   u tili ze   atten tio n   m ec h an i s m s   m ak es  it  le s s   s u s ce p tib le  to   th n eg ativ i m p ac o f   m is s in g   d ata.   T h ch o ice  o f   im p u tatio n   tech n iq u in f lu en ce s   m o d el  p er f o r m an ce .   I n   g e n er al,   k - NN  im p u ta tio n   y ield s   b etter   r e s u lts   th an   f o r war d   f ill  an d   li n ea r   in ter p o latio n ,   esp ec ially   f o r   L STM   an d   T FT .   T h is   in d icate s   th at  m o r s o p h is ticated   im p u tatio n   tech n iq u es c an   h elp   m itig ate  th ad v er s ef f ec ts   o f   m is s in g   d ata  o n   f o r ec asti n g   ac cu r ac y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 3 2 2 1   C o m p u t Sci  I n f   T ec h n o l Vo l.  7 ,   No .   3 No v em b er   20 26 2 9 1 - 303   298   Fo r   th f in an cia d ataset  as  s h o wn   in   Fig u r 1 ( a) ,   th m o d els  ar g en er ally   r o b u s to   lo lev els  o f   m is s in g   d ata  ( u p   to   1 %).   As  m is s in g n ess   in cr ea s es,  AR I M A's  p er f o r m a n ce   d e g r ad es  m o r s ig n if ican tly   t h an   L STM   an d   T FT.   Fo r   th h ea l th ca r d ataset ,   in   Fig u r 1 ( b ) ,   T FT  ex h ib i ts   th g r ea test   r o b u s tn ess   to   m is s in g   d ata,   m ain tain in g   r elativ ely   g o o d   p e r f o r m an ce   e v en   w ith   2 0 m is s in g n ess .   L STM   s h o ws  m o d er at e   s en s itiv ity ,   wh ile  AR I MA   is   t h m o s af f ec te d .   Fo r   th e n er g y   d ataset ,   as  s h o wn   in   Fig u r e   1 ( c) ,   s im ilar   to   th e   f in an cial  d ata s et,   th e   m o d els  ar r o b u s to   lo lev els  o f   m is s in g n ess .   As  m is s in g n ess   in cr ea s es,  AR I MA ' s   p er f o r m an ce   d ec lin es m o r r a p id ly   co m p ar ed   t o   L STM   an d   T FT.         ( a)       ( b )       ( c)     Fig u r 1 .   Per f o r m an c co m p ar is o n   o f   AR I MA ,   L STM ,   an d   T FT  m o d els u n d e r   v ar y in g   m is s in g - d ata  co n d itio n s   an d   im p u tatio n   tec h n iq u es a cr o s s   th r ee   ap p licatio n   d o m ain s   in   ( a)   f in an cial  d ataset,   ( b )   h ea lth ca r e   d ataset,   an d   ( c)   e n er g y   d ataset Fo r ec asti n g   p er f o r m a n ce   is   ev a lu ated   u s in g   MA PE  u n d er   b o th   MCAR   an d   MA R   s ce n ar io s   with   f o r war d   f ill,  lin ea r   in ter p o latio n ,   an d   k - NN  im p u tatio n .   Acr o s s   all  d at asets ,   f o r ec asti n g   ac cu r ac y   g e n er ally   d ec r ea s es a s   m is s in g n ess   in cr ea s es ; h o wev er ,   T FT  d em o n s tr ates g r ea te r   r o b u s tn ess   u n d er   in c r ea s in g   m is s in g - d ata  lev els ,   p ar ticu lar ly   u n d e r   MA R   co n d itio n s   an d   h i g h er   m is s in g n ess   r ates     Evaluation Warning : The document was created with Spire.PDF for Python.
C o m p u t Sci  I n f   T ec h n o l     I SS N:   2722 - 3 2 2 1       Time  s er ies fo r ec a s tin g :   a   co mp a r a tive  a n a lysi s   o f A R I MA,   LS TM ,   a n d   TFT m o d els  …  ( Ma r ya Ho s s ein i )   299   W h en   co m p ar in g   th im p ac o f   MCAR   v er s u s   MA R   m is s in g n ess   m ec h an is m s ,   we  o b s er v g en er al   tr en d   wh er MA R   s ce n ar io s   l ea d   to   s lig h tly   wo r s m o d el  p er f o r m a n ce   ac r o s s   all  d atasets .   T h is   s u g g ests   th at   wh en   m is s in g   v al u es  ar d ep en d en t   o n   o b s er v e d   d ata,   th e   im p u tatio n   p r o ce s s   b ec o m es   m o r e   ch allen g i n g ,   p o ten tially   lead in g   to   less   r eli ab le  esti m ates.  T h T FT  m o d el  r em ain s   th m o s t r o b u s t u n d er   MA R   co n d itio n s ,   r ein f o r cin g   its   ab ilit y   to   a d ap to   m o r e   co m p le x   m is s in g n e s s   s tr u ctu r es.  C o n v er s ely ,   AR I MA   is   th m o s s en s itiv to   MA R ,   with   p er f o r m an ce   d eter io r atin g   s ig n if ican tly   as th m is s in g   r ate  in cr ea s es.       4.   DIS CU SS I O N   T im s er ies  f o r ec asti n g   is   a   cr u cial  task   in   m u ltip le  d o m ain s ,   in clu d in g   f in a n ce ,   h ea lth ca r e,   a n d   en er g y .   Acc u r ate  p r ed ictio n s   o f   f u t u r tr en d s   in   th ese   ar ea s   en ab le  b etter   d ec is io n - m ak in g ,   r is k   m an ag e m en t,   an d   o p e r atio n al  ef f icien c y .   F o r   in s tan ce ,   p r e d ictin g   s to ck   p r ices  h elp s   in v esto r s   m ak e   in f o r m e d   tr ad in g   d ec is io n s ,   f o r ec asti n g   h ea r r a te  ca n   ass is in   d etec tin g   an o m alies  r elate d   to   s leep   d is o r d er s ,   a n d   p r ed ictin g   en er g y   d em a n d   is   v ital  f o r   o p tim izin g   p o wer   g r id s .   Ho w ev er ,   th e   in h e r en co m p lex it y   o f   th ese  d atasets ,   ch ar ac ter ized   b y   n o n - lin ea r it y ,   s ea s o n ality ,   a n d   lo n g - ter m   d ep e n d en cies m ak es  f o r ec a s tin g   ch allen g in g   task .   T r ad itio n al   lin ea r   m o d els   li k AR I MA   o f ten   f all  s h o r i n   ca p tu r in g   th ese  in tr icate   p atter n s ,   n ec ess itatin g   th u s o f   m o r ad v an ce d   d ee p   lear n in g   m eth o d s .     4 . 1 .     Su mm a ry   o f   f ind ing s   I n   th is   s tu d y ,   we  co m p ar ed   t h p er f o r m an ce   o f   th r ee   f o r ec a s tin g   m o d els:   AR I MA ,   L STM ,   an d   T FT,   ac r o s s   th r ee   d iv er s d atasets   ( f in an cial,   h ea lth ca r e,   a n d   e n er g y ) .   Ou r   f in d in g s   s h o t h at  wh ile  AR I MA   p er f o r m ed   a d eq u ately   in   s im p ler   ca s es,  it  was  s ig n if ican t ly   o u tp e r f o r m ed   b y   th d ee p   lear n in g   m o d els  ( L STM   an d   T FT) ,   p ar ticu lar l y   in   d atasets   w ith   n o n - lin ea r   d ep en d en cies.   T h AR I MA   m o d el  y ield ed   th h ig h est  er r o r s   an d   l o west  ex p lain ed   v ar ian ce ,   with   MA E   v alu es  o f   1 5 . 2   USD  f o r   th f in an cial   d ataset,     6 . 3   b p m   f o r   h ea lth ca r e,   an d   1 5 0   MWh   f o r   e n er g y ,   alo n g s id r elativ ely   lo R ²  v alu es.  L STM ,   as  ex p ec ted ,   o u tp e r f o r m ed   AR I MA   with   s ig n if ican tly   lo wer   er r o r s   ac r o s s   all  d ataset s ,   d em o n s tr atin g   its   s tr en g th   in   h an d lin g   s eq u e n tial  an d   n o n - l in ea r   d ata.   Fo r   ex am p le ,   L STM   r ed u ce d   th MA E   to   1 0 . 1   USD  f o r   f in an cial  d ata  an d   4 . 4   b p m   f o r   h ea lth ca r e.   Fin ally ,   th T FT   m o d el  d e liv er e d   th e   b est  p er f o r m a n ce ,   d e m o n s tr atin g   s u p er io r   ac c u r ac y   an d   th e   ab il ity   to   ca p tu r b o th   s h o r t -   an d   l o n g - ter m   d e p en d e n cies.  T FT  ac h iev ed   t h lo west  MA E   o f   8 . 6   USD  f o r   f in an c ial  d ata,   3 . 8   b p m   f o r   h ea lth ca r e,   an d   9 5   MWh   f o r   e n er g y ,   with   R ²  v alu es   ex ce ed in g   0 . 8 5   ac r o s s   all  d o m ain s .     4 . 2 .     Co m pa riso n wit lite ra t ure   Ou r   f in d in g s   alig n   with   p r e v io u s   r esear ch ,   wh ich   co n s i s ten tly   d em o n s tr ates  th e   lim itatio n s   o f   AR I MA   in   d ea lin g   with   n o n - lin ea r   an d   co m p lex   tim s er ies .   Stu d ies  co m p a r in g   AR I MA   with   d ee p   lear n in m o d els  in   s to ck   m ar k et  p r e d ictio n s ,   s u ch   as  th o s b y   Siam i - Nam in et  a l [ 2 4 ] [ 25] r ep o r s im ilar   p er f o r m an ce   g a p s ,   with   d ee p   lear n in g   m o d els  lik L STM   an d   B iLST r ed u cin g   e r r o r   r a tes  b y   8 0 to   9 0 %   co m p ar ed   t o   AR I MA .   I n   an o th er   s tu d y ,   Siam i - Nam in et  a l [ 2 6 ]   d em o n s tr ated   th at  L STM   s ig n if ican tly   o u tp er f o r m ed   AR I MA   in   f in an cial  tim s er ies   f o r ec asti n g ,   r ed u cin g   er r o r s   b y   ab o u 8 0 ac r o s s   v ar io u s   f in an cial  d atasets ,   in clu d in g   s to ck   in d ices  a n d   ec o n o m ic  i n d icato r s .   I n   t h h ea lth ca r d o m ain ,   L STM   h as  b ee n   s h o wn   to   o u t p er f o r m   tr a d itio n al  m o d els  in   class if y in g   p h y s io lo g ical  s ig n als  lik E C G,   as  d em o n s tr ated   in   th wo r k   b y   Yild ir im   [ 3 ] ,   wh er an   L STM - b ased   m o d el   ac h i ev ed   o v er   9 9 ac cu r ac y   in   class if y in g   E C G   s ig n als,  s ig n if ican tly   o u tp er f o r m in g   tr ad itio n al  m eth o d s   s u ch   as  s u p p o r t v ec t o r   m ac h in es ( SVM) .   T h T FT,   r elativ ely   r ec e n ad d itio n   to   tim s er ies  f o r ec asti n g ,   h as  d em o n s tr ate d   s u p er io r   p er f o r m an ce   ac r o s s   m u ltip l d o m ain s .   L im   et  a l [ 2 2 ]   s h o wed   th at  T FT  o u tp e r f o r m s   tr a d itio n al  m o d els  an d   ad v an ce d   r ec u r r e n ar ch itectu r es  lik L STM ,   p ar ticu lar ly   in   en er g y   d em an d   f o r ec asti n g   an d   m u lti - h o r izo n   s ales  p r ed ictio n ,   d u to   its   ab ilit y   to   ca p tu r e   b o th   s h o r t -   a n d   l o n g - ter m   d ep en d en cies.  Similar ly ,     N iu   et  a l.   [ 2 7 ]   co n f ir m ed   T F T ' s   ex ce p tio n al  p er f o r m a n ce   i n   win d   p o we r   f o r ec asti n g ,   w h er it  s ig n if ican tly   out p er f o r m ed   L STM   an d   tr ad i tio n al  m o d els,  f u r th er   p r o v in g   its   ef f ec tiv en ess   in   h an d lin g   co m p lex ,   n o n - lin ea r   r elatio n s h ip s   in   en er g y   d atasets .   Ou r   r esu lts ,   p ar ticu lar ly   th im p r o v e d   ac cu r ac y   an d   lo wer   MA E   v alu es  in   all  d atasets ,   r ein f o r ce   th e   ad v a n ta g es  o f   T FT   in   d ea lin g   with   ti m s er ies  co n tain i n g   lo n g - ter m   d ep e n d en cies  an d   co m p lex   p atter n s .     4 . 3 .     Str eng t hs ,   lim it a t io ns ,   a nd   f uture   direct io ns   T h is   s tu d y   p r esen ts   s ev er al  s tr en g th s ,   m o s n o tab ly   it s   co m p r eh en s iv c o m p ar is o n   o f   th r ee   f o r ec asti n g   m o d els   ( AR I MA ,   L STM ,   an d   T FT ac r o s s   d i s tin ct  d o m ain s   s u ch   as  f in a n ce ,   h ea lth ca r e,   an d   en er g y .   B y   test in g   th ese  m o d els  o n   d iv er s r ea l - wo r l d   d atasets ,   we  p r o v id v alu ab le   in s ig h ts   in to   h o tr ad itio n al  an d   a d v an ce d   d ee p   lear n in g   ap p r o ac h es  p er f o r m   in   d if f e r en c o n tex ts .   I n   p ar tic u lar ,   th e   in clu s io n   o f   th T FT  m o d el,   wh ich   is   r e lativ ely   n ew  an d   h as  b ee n   less   f r eq u en tly   ap p lied   in   s o m a r ea s ,   d em o n s tr ates  its   ab ilit y   to   o u tp er f o r m   b o th   AR I MA   an d   L STM   in   ca p tu r in g   co m p lex   tim s er ies  p atter n s .   T h r ig o r o u s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 3 2 2 1   C o m p u t Sci  I n f   T ec h n o l Vo l.  7 ,   No .   3 No v em b er   20 26 2 9 1 - 303   300   m eth o d o l o g y ,   in clu d i n g   t h u s o f   r o llin g   win d o w   cr o s s - v ali d atio n ,   e n s u r es  th at  f u tu r e   d at is   n o leak e d   in t o   th tr ain in g   p r o ce s s ,   th u s   o f f er in g   r ea lis tic  ass ess m en o f   m o d el  p e r f o r m an ce   th at  is   h ig h ly   r ele v an f o r   p r ac tical  ap p licatio n s   wh er e   f o r ec asti n g   ac cu r ac y   is   cr it ic al.   I n   ad d itio n ,   th e   im p ac o f   m is s in g   d ata  an d   im p u tatio n   tech n iq u es wa s   s tu d ied .   B ey o n d   f o r ec asti n g   ac c u r ac y ,   th o b s er v ed   r o b u s tn ess   o f   T FT  u n d er   in c o m p lete  d ata  co n d itio n s   m ay   h av im p o r tan t   im p licatio n s   f o r   lar g e - s ca le  in f o r m atio n   a n d   co m m u n icatio n   tech n o lo g y   ( I C T )   s y s tem s   an d   en ter p r is ap p licatio n s .   I n   p r ac tical  en v ir o n m e n ts ,   tim e - s er ies  d ata  ar in cr ea s in g ly   g en er ated   th r o u g h   d is tr ib u ted   s en s o r s ,   in ter n et - of - th in g s   ( I o T )   in f r astru ctu r es,  clo u d   s er v ices,  an d   b ig - d ata   p latf o r m s ,   w h er e   m is s in g   v alu es   f r e q u en tly   ar i s b ec au s o f   c o m m u n icatio n   f ailu r es,   laten cy ,   s y n ch r o n i za tio n   is s u es,  an d   s en s o r   in ter r u p tio n s .   T h ab il ity   o f   T FT  to   m ain tain   p er f o r m an ce   u n d er   m is s in g - d ata  c o n d itio n s   s u g g ests   s tr o n g   p o ten tial  f o r   d e p lo y m e n with in   clo u d - b ased   an aly ti cs  p ip elin es  an d   lar g e - s ca le  f o r ec asti n g   s y s tem s .   I n teg r atio n   with   d is tr ib u ted   c o m p u tin g   f r am ewo r k s   an d   b ig - d ata  p latf o r m s   c o u ld   e n ab le  r e al - tim f o r ec asti n g   ap p licatio n s   in   s m ar t   h ea lth ca r s y s tem s ,   f in an cial  m o n ito r i n g   en v ir o n m en ts ,   in tellig en t   e n er g y   m an a g e m en t   p latf o r m s ,   an d   e n ter p r is d ec i s io n - s u p p o r s y s tem s .   T h is   ca p ab ilit y   in cr ea s es  th p r ac tical  r elev an ce   o f   T FT   b ey o n d   ex p er im en tal  s ettin g s   an d   h ig h lig h ts   its   p o ten tial r o l in   s ca lab le  in d u s tr ial  f o r ec asti n g   s o lu tio n s .   Desp ite   th ese  s tr en g th s ,   th s t u d y   h as  ce r tain   lim itatio n s .   AR I MA ,   wh ile  in clu d ed   f o r   co m p ar is o n ,     is   s o m ewh at  o u td ated   co m p a r ed   to   m o d e r n   d ee p   lear n in g   m o d els  an d   its   lo wer   p er f o r m an ce   was  ex p ec ted .   L STM ,   th o u g h   ef f ec tiv e,   lac k s   th f lex ib ilit y   an d   ca p ac ity   o f   T FT,   esp ec ially   in   ca p tu r in g   lo n g - r a n g e   d ep en d e n cies  ef f icien tly .   Fu r t h er m o r e ,   th co m p u tatio n al  co s o f   d ee p   lear n in g   m o d els,  p ar ticu lar ly   L STM   an d   T FT,   is   n o tab le  d r a wb ac k ,   as  th e y   r e q u ir e   s ig n if ican r eso u r ce s ,   esp ec ially   wh en   f in e - t u n in g   h y p er p ar am eter s   th r o u g h   m eth o d s   lik g r id   s ea r ch .   L o o k in g   ah ea d ,   th er ar s ev er al  av en u es  f o r   f u tu r r esea r ch .   Alth o u g h   th d atasets   u s ed   in   th is   s tu d y   s p an   m u ltip le  d o m ain s   an d   p r o v id b r o ad   e v alu atio n   f r am ewo r k ,   th ey   p r im ar ily   co n s is o f   b en ch m ar k   d atasets   co m m o n ly   u s ed   f o r   a lg o r ith m ic  ev a l u atio n .   W h ile  b en ch m ar k   d atasets   f ac ilit ate  r ep r o d u cib ilit y   an d   s tan d ar d ized   co m p ar is o n ,   t h ey   m ay   n o f u lly   r e p r esen t   th co m p lex ity   a n d   v ar iab i lity   en co u n ter e d   in   o p er atio n al   en v ir o n m en ts .   R e al - wo r ld   tim e - s er ies  s y s tem s   f r eq u en tly   ex h i b it  d o m ai n - s p e cif ic   ch ar ac ter is tics   s u ch   as ir r eg u lar   s am p lin g   f r e q u en cies,  ev o lv in g   d ata  d is tr ib u tio n s ,   h eter o g e n eo u s   s en s o r   s o u r ce s ,   o p er atio n al  d is r u p tio n s ,   a n d   v ar y in g   m is s in g - d ata  p atter n s .   T h er ef o r e ,   th e   g en e r aliza b ilit y   o f   th e   p r o p o s ed   f in d in g s   s h o u ld   b in ter p r eted   w ith   ca u tio n .   Fu tu r s tu d ies  s h o u ld   v alid ate  th ese  f o r ec asti n g   ap p r o ac h es  u s in g     s ec to r - s p ec if ic  r ea l - wo r ld   d atasets   f r o m   in d u s tr ial  en v ir o n m en ts ,   h ea lth ca r e   m o n ito r in g   s y s tem s ,   s m ar g r id s ,   f in an cial  in s titu tio n s ,   an d   l ar g e - s ca le  en ter p r is p latf o r m s   to   b e tter   ass ess   r o b u s tn ess   an d   p r ac tical  d ep lo y m e n p o ten tial  u n d e r   r ea o p er atio n al  co n d itio n s .   Mo r eo v er ,   f u t u r wo r k   co u ld   ex p lo r th g en er aliza tio n   o f   th ese  m o d el s   to   m o r ch allen g in g   s ce n ar i o s ,   s u ch   as  h ig h ly   im b alan c e d   o r   n o is y   d atasets ,   wh ich   r em ain   d if f icu lt f o r   d ee p   lear n in g   ap p r o ac h es  [ 2 8 ] .   W h ile  th is   s tu d y   f o cu s ed   o n   AR I MA ,   L STM ,   an d   T FT  m o d els,  f u tu r r esear ch   c o u l d   ex p lo r e     wid er   r an g o f   tim s er ies  f o r ec asti n g   m o d els.  Fo r   AR I MA ,   th is   co u ld   in v o lv in v esti g atin g   v ar iatio n s   lik e   SAR I MA   f o r   s ea s o n ality   an d   AR I MA f o r   in co r p o r atin g   e x ter n al  f ac to r s .   Ad d itio n ally ,   co m p ar in g   AR I MA   to   o th er   tr ad itio n al  m o d els  li k E x p o n en tial  Sm o o th in g   an d   Ho lt - W in ter s   co u ld   p r o v id e   v alu ab le  in s ig h ts .     I n   th co n tex o f   d ee p   lear n in g ,   ex p lo r in g   d if f e r en L ST v ar iatio n s ,   s u ch   as  B i - L STM   an d   GR U,   co u ld   f u r th er   e n h an ce   p er f o r m an ce .   C o m p ar in g   L STM   to   o th e r   d e ep   lear n in g   m o d els  lik C NNs  an d   T C Ns  co u ld   also   r ev ea th eir   r elativ s tr e n g th s   an d   wea k n ess es  f o r   tim s er ies  f o r ec asti n g .   Fo r   tr an s f o r m er   m o d els,  in v esti g atin g   v ar iatio n s   lik t r an s f o r m er - XL   an d   lo n g f o r m er   co u ld   im p r o v e f f icien cy   a n d   ad d r ess   s p ec if ic  ch allen g es.  C o m p ar in g   tr an s f o r m er s   to   o th er   atten tio n - b ased   m o d els  lik I n f o r m er   co u ld   also   b b en ef icial.     I is   im p o r tan to   n o te  th at  o u r   im p lem en tatio n   o f   T FT  was  s o m ewh at  lim ited   in   its   u s o f   s tatic  an d   k n o wn   f u tu r in p u ts .   W h ile  th f in an ce   d ataset  r elied   s o lely   o n   o b s er v ed   h is to r ical  in p u ts ,   th h e alth ca r an d   e n er g y   d atas ets  in co r p o r ate d   lim ited   k n o wn   f u tu r e   co v ar iates,  s u ch   as  tim e - b ased   f ea tu r es.  H o wev er ,   we   d id   n o f u lly   lev er ag th p o ten tial  o f   s tatic  v ar iab les  o r   b r o ad er   k n o wn   f u tu r in p u ts ,   wh ich   co u ld   en h an ce   T FT’ s   in ter p r etab ilit y   an d   p e r f o r m a n ce .   Fu tu r e   wo r k   co u l d   in v es tig ate  th im p ac o f   in c o r p o r atin g   r ich er   s et  o f   th ese  in p u ts   o n   f o r ec asti n g   ac c u r ac y .   An o th er   im p o r tan d ir ec tio n   is   ad d r ess in g   th lack   o f   in ter p r etab ilit y   in   m o d els  lik L STM   an d   T FT.   W h ile  th ese   m o d els  p er f o r m   ex ce p tio n ally   well,   th eir   b lack - b o x   n atu r m ak es  it  d if f icu lt  f o r   p r ac titi o n er s   to   u n d e r s tan d   th e   u n d er ly in g   m ec h an is m s   d r iv in g   th p r ed i ctio n s   [ 2 2 ] .   Fu tu r e   wo r k   co u ld   f o cu s   o n   en h an cin g   m o d el  in ter p r etab ilit y ,   p o ten ti ally   b y   in co r p o r atin g   ex p lain ab ilit y   tech n iq u es  th at  wo u ld   m ak th ese  m o d els   m o r tr an s p a r en t a n d   ac ce s s ib le,   esp ec ially   in   s en s itiv f ield s   lik h ea lth ca r [ 2 9 ] .   Fin ally ,   ex p lo r i n g   en s em b l m eth o d s   th at  co m b in t h s tr en g th s   o f   AR I MA ,   L STM ,   a n d   T FT  co u ld   o f f er   a   p r o m is in g   p ath   f o r wa r d   [ 3 0 ] .   Hy b r id   m o d els  th at  u t ilize  AR I MA s   lin ea r ity   f o r   s im p ler   p atter n s   a n d   lev er ag d ee p   lear n in g   m o d el s '   ab ilit y   to   ca p tu r c o m p lex   n o n - lin ea r   tr en d s   co u l d   y ield   ev en   b etter   r esu lts .   T r an s f er   lear n in g   an d   d o m ai n   ad ap tatio n   ar also   ar ea s   wo r th   ex p l o r in g ,   esp ec ial ly   f o r   ap p licatio n s   wh er e   lab eled   d ata  is   s ca r ce   o r   e x p en s iv to   co llect  [ 3 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.