I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI)   Vo l.  8 ,   No .   4 Dec em b er   201 9 ,   p p .   317 ~ 327   I SS N:  2 2 5 2 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 8 .i 4 . p p 317 - 3 2 7          317       J o ur na l ho m ep a g e :   h ttp : //ij a i . ia es co r e . co m   Foreca sting   finan cia l budg et  ti m e s eries:   ARIM ra ndo m       w a lk   v s LST M   ne ura l net w o rk       M a ry em   R ha no ui 1 ,   Si ha m   Y o us f i 2 ,   M o un ia   M ik ra m 3 H a j a M er iza k 4   1 IM S   T e a m ,   A DMIR  L a b o ra to ry ,   Ra b a IT   Ce n ter,  ENS IA S ,   M o h a m m e d   V   Un iv e rsity   in   Ra b a t,   M o ro c c o   2 M e rid ian   T e a m ,   L YRIC A   L a b o ra to ry ,   S c h o o o f   In f o rm a ti o n   S c ie n c e s,  Ra b a t,   M o ro c c o   3 S I P   Re se a rc h   T e a m ,   Ra b a I T   Ce n ter,  EM I ,   M o h a m m e d   V   Un iv e rsity   in   Ra b a t,   M o r o c c o   4 L RI T ,   F a c u lt y   o f   S c ien c e ,   M o h a m m e d   V   Un iv e rsity   in   Ra b a t,   M o ro c c o       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A ug   8 ,   2 0 1 9   R ev i s ed   O ct  22 ,   2 0 1 9   A cc ep ted   N o v   1 ,   2 0 1 9       F in a n c ial  ti m e   se ries   a re   v o latil e ,   n o n - sta ti o n a ry   a n d   n o n - li n e a d a ta  th a a r e   a ffe c ted   b y   e x tern a e c o n o m ic  f a c to rs.  T h e re   is  se v e ra p e r f o rm a n p re d ictiv e   a p p ro a c h e su c h   a u n iv a riate   ARIMA   m o d e a n d   m o re   re c e n tl y   Re c u rre n t   Ne u ra Ne t w o rk .   T h e   a c c u ra te   fo re c a stin g   o f   b u d g e d a ta  is  a   st ra teg ic  a n d   c h a ll e n g in g   tas k   f o a n   o p ti m a m a n a g e m e n o f   re so u rc e s,  it   re q u ires   th e   u se   o f   th e   m o st  a c c u ra te  m o d e l.   W e   p ro p o se   a   p re d ictiv e   a p p r o a c h   th a u se a n d   c o m p a re th e   M a c h in e   L e a rn in g   A RIM A   m o d e a n d   De e p   L e a rn i n g   Re c u rre n L S T M   m o d e l.   T h e   a p p li c a ti o n   a n d   t h e   c o m p a ra ti v e   a n a l y sis  sh o th a th e   L S T M   m o d e o u tp e rf o r m th e   A RIM A   m o d e l,   m a in l y   th a n k to   t h e   L S T M s a b il it y   to   lea rn   n o n - li n e a r   re latio n sh ip   f ro m   d a ta.   K ey w o r d s :   AR I M A ,     Dee p   lear n in g ,   Fin a n cial  ti m s er i es   L ST M,   Ma ch i n lear n i n g ,   R an d o m   w a lk ,   R NN   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Ma r y e m   R h a n o u i ,   I MS  T ea m ,   A DM I R   L ab o r ato r y ,     R ab at  I T   C en ter ,   E NSI A S,   Mo h a m m ed   Un iv er s it y   i n   R ab at,   Mo r o cc o .   E m ail:  m r h a n o u i @ g m ail. co m s ih a m y o u s f i @ r esear c h . e m i.a c . m a m i k r a m . m o u n ia @ g m ail. c o m       1.   I NT RO D UCT I O N   B u d g et  d ec is io n - m ak in g   f o r   an   o r g an izatio n   s u f f er s   f r o m   a   lac k   o f   co n ce p tu al  f o u n d atio n ,   g iv e n   th e   a m o u n o f   in f o r m a -   tio n   t h at  i s   d i f f icu l to   co n t r o l.  T o   r em ed y   t h is   p r o b lem   an d   to   co n tr o a n d   m o n ito r   t h co n s u m p tio n   o f   th allo ca ted   b u d g et,   an y   o r g an i za tio n   s e es  its el f   i n   t h n ee d   t o   r eth in k   its   b u d g e t   b y   co m p letin g   it s   in f o r m a tio n   s y s te m   b y   es tab lis h i n g   d ec is io n -   m a k i n g   p latf o r m   t h a allo w s   u n i n itiated   u s er s   to   ex p lo it  a n d   p r o ce s s   s to r ed   d ata   to   id en tify   o p p o r tu n ities   th a cr ea te  r ea co m p eti tiv ad v a n ta g e   an d   eli m i n ate  o r   m iti g ate  r is k s .   F o r ec asti n g   f i n a n cial  d ata  is   d if f er en f r o m   t y p ical  d ee p   lear n in g   ap p licatio n s ,   s u c h   as  i m ag r ec o g n itio n ,   as  it  d o es  n o co n s is o n   r ep licatin g   tas k s   t h at  h u m an s   ca n   ea s il y   d o   [ 1 ] .   Fin a n cial  ti m s er ie s   ar u s u al l y   n o n - s tatio n n ar y   an d   n o n -   l i n ea r   [ 2 ] .   Ma ch i n lear n i n g   an d   d ee p   lear n in g   ar th m ar r iag o f   m a s s i v d ata,   an al y t ical  m e th o d s   an d   s tatis t ics  t h at  ap p l y   a n d   as s i s d ec is io n   m a k i n g ,   b y   s y n t h esizi n g   k n o w led g e   an d   r ec o r d ed   d ata  h is to r y .   A p p l y in g   d e ep   lear n in g   m e th o d s   to   th ese  p r o b le m s   ca n   p r o d u ce   m o r u s ef u r es u lts   t h a n   s ta n d ar d   m et h o d s   in   f in a n ce .   T h au to r eg r ess i v i n te g r ated   m o v i n g   av er ag ( A R I M A )   m o d el,   a n d   its   s u b class   m o d el,   th R an d o m   W alk ,   is   a   s a f b et  an d   is   co m m o n l y   u s ed   in   th i s   co n tex t.   Ho w e v er ,   t h AR I M A   m o d el  ca n   h ar d l y   id e n ti f y   th e   n o n li n ea r   p atter n s ,   L ST Ne u r al   Net w o r k s   ar o f   th e   m o s ad v a n ce d   d ee p   lear n i n g   ar ch itect u r es th at  lear n s   f r o m   s eq u en tial a n d   ti m e - s er ie s   d ata.   I n   th i s   p ap er ,   w p r o p o s a n   ap p r o ac h   th at  u s es  a n d   co m p ar e s   t w o   p r ed ictiv m o d el s lin ea r   m ac h in lear n in g   m o d el  an d   n o n li n ea r   d ee p   lear n in g   m o d el,   in   o r d er   to   d ev elo p   an   u n d er s tan d i n g   o f   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 Dec em b er   201 9   3 1 7     327   318   in f o r m atio n   av ai lab le  o n   t h e   o r g an izatio n s   o w n   b u d g et  an d   p r ed ict  its   e v o lu t io n .   T h ad d ed   v al u o f   p r ed ictiv m o d els  is   th eir   q u alitati v an al y s is   th a th o r g an izat io n   ca n   u s to   ass is t   d ec is io n   m ak i n g .     T h r e m ain d er   o f   t h i s   p ap er   is   o r g a n ized   a s   f o llo w i n   Se ctio n   I I   w e   p r esen t   t h b ac k g r o u n d   k n o w led g e,   s ec tio n   I I I   p r esen t s   s o m r el ated   w o r k s ,   s ec tio n s   I V   an d   p r esen ts   t h f o r ca s t in g   m o d els  u s in g   AR I M ( 0 , 1 , 0 )   R an d o m   W al k   an d   L S T Neu r al  Net w o r k ,   f in al l y ,   s ec tio n   VI   s y n t h esize s   an d   co m p ar es b o th   m o d els.       2.   B ACK G RO UND   AN CO N T E X T     2 . 1 .     ARI M t im s er ies   T im Ser ies  ar u s ed   to   ex a m in o b s er v atio n s   o v er   ti m e,   with   th g o al  o f   p r ed ictin g   f u t u r v alu es.   Fo r   ex a m p le,   p r ed ict  th b u d g et  b ased   o n   d ata  f r o m   p r ev io u s   y ea r s .   T im s er ies  ar th f a ct  o f   o b s er v in g   in   r eg u lar   i n ter v al  o f   ti m [ t2 −t1 =t3 t2 ]   v ar iab le  in d ex ed   b y   ti m {Xt ,   ti    T },   s u ch   t h at  T ={ t1 ,   . . . ,   tn is   th e   s p ac o f   ti m e.   T im Ser ie s   f o cu s e s   o n   s in g le  v ar iab le  th at   is   o b s er v ed   in   d if f er e n p er io d s .   A   ti m s er ies  is   th r esu ltan t o f   d if f er en t c o m p o n en t s   n a m el y :     T r en d :   ev o lu ti o n   o f   th s e r ies   i n   th lo n g   te r m .     r eg u la r   tim in te r v al .     R esid u a ( n o is e ) :   i r r eg u lar   v a r i ati o n   in   a   tim in te r v a l.     2 . 1 . 1.   ARIM A   A R I MA   s tan d s   f o r   A u to r eg r e s s iv ( A R )   I n t eg r ate d   ( I )   M o v in g   Av er ag ( MA ) ,   als o   k n o w n   as  th B o x -   J en k in s   a p p r o ac h .   A n   A R I MA   m o d el   is   s p ec if ie d   b y   th 3   p ar am eter s   ( p ,   d ,   q ) ,   s u ch   a s :     p   is   th n u m b er   o f   a u to r eg r es s iv ter m s   [ A R   ( p ) ]     d   is   th n u m b er   o f   d i f f er en tiat i o n   [ I   ( d ) ]     q   is   th n u m b er   o f   m o v in g   av e r ag es [ M A   ( q ) ]   A   s eq u en ce   { Xt ,   ti    T is   ca lled   AR I M A   p r o ce s s   o f   o r d er   ( p ,   d ,   q )   A R I MA   ( p ,   d ,   q )   if   it  ca n   b w r it ten   i n   th f o llo w i n g   f o r m u la :     2 . 1 . 2 .   B ox - j enk ins   Fig u r 1   s h o w s   t h B o x - J e n k i n s   m et h o d   [ 3 ]   s u m m ar izes th e   AR I M A   p r o ce s s   in   t h r ee   m ai n   s tep s :     I d en tif icat io n T h is   f ir s s tep   is   to   b r ea k   d o w n   t h ti m s er ies  ac co r d in g   to   t h t h r ee   p r o ce s s es:  A R   ( au to r eg r ess i v e) ,   I   ( in te g r ated )   an d   M A   ( m o v i n g   a v er a g e) .   T h is   s tep   o b v io u s l y   m ak e s   i p o s s ib le  to   s p ec if y   t h p ar a m eter s   p ,   d   an d   q ,   w h ile  f ir s ch ec k i n g   t h s t atio n ar it y   o f   t h s er ies.  Sp ec if icatio n   o f   th e   p ar am eter s   p ,   q   is   d o n th an k s   to   th au to co r r elatio n   f u n cti o n s   an d   t h p ar tial  au to co r r elatio n   w h ich   w e   w il l d is cu s s   i n   d etail  i n   th r ea lizatio n   p ar t.  T h p ar am eter   d   is   th o r d er   o f   d if f er e n tiatio n .     E s ti m a tio n T h s ec o n d   s tep   o f   t h B o x - J en k in s   p r o ce d u r is   to   esti m ate  th p ar a m eter s   o f   t h ap p r o p r iate  m o d els b y   p r o v id i n g   t h o r d er s   p ,   d   an d   q .   th esti m atio n   is   d o n u s i n g   n o n - li n ea r   m e th o d s .     Diag n o s is T h last   s tep   o f   t h B o x - J e n k i n s   m e th o d   co n c er n s   t h v er if ica t io n   o f   th e   r elev an ce   o f   t h e   m o d el.   T h at  is ,   to   v er if y   t h at  th esti m ated   m o d el  is   ad ap ted   to   th d ata  av ailab le.   T o   d o   t h is   w r ef er   to   s tatis t ical  test s .           Fig u r e   1 .   B o x   j en k in s       2 . 1 . 3 .   Ra nd o m   w a lk   R an d o m   w a lk   ar s to c h ast ic  p r o ce s s es  f o r m ed   b y   s u cc e s s iv s u m m atio n   o f   i n d ep en d en t,   id en ticall y   d is tr ib u ted   r an d o m   v ar iab les  [ 4 ] .   I n   t h ar i m m o d els,  r an d o m   w al k   co r r esp o n d s   to   t h AR I M m o d e l ( 0 , 1 , 0 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       F o r ec a s tin g   fin a n cia b u d g et  time  s erie s :   A R I MA  r a n d o w a lk  vs LS TM   n eu r a l ... ( Ma r ye R h a n o u i )   319   2 . 2 .     Dee lea rning   Dee p   L ea r n in g   [ 5 ]   i s   s u b f ield   o f   m ac h in e   lear n i n g   i n s p ir e d   b y   th e   s tr u ct u r an d   f u n ctio n   o f   t h b r ain .   Dee p   L ea r n in g   is   s p ec if ic   ap p r o ac h ,   less   t h an   5   y ea r s   o ld ,   u s ed   to   b u il d   an d   f o r m   n e u r al   n et w o r k s ,   w h ich   ar co n s id er ed   v er y   p r o m is i n g   d ec is io n   n o d es.  A n   alg o r it h m   i s   co n s i d er ed   d ee p   if   t h in p u t   d ata  is   p ass ed   th r o u g h   s er ie s   o f   n o n - li n ea r   tr an s f o r m a tio n s   b ef o r th e y   ar o u tp u t.      2 . 2 . 1 .   Neura net wo rk   An   ar ti f icia n eu r al   n e t w o r k   i s   in s p ir ed   b y   t h e   f u n ctio n i n g   o f   b io lo g ical  n e u r o n s .   W r itte n   i n   t h f o r m   o f   an   alg o r it h m ,   t h n e u r al  n et w o r k   ca n   m o d if y   it s elf   ac co r d in g   to   t h r esu lt s   o f   its   ac tio n s ,   w h ich   allo w s   i to   lear n   an d   s o l v p r o b lem s   w it h o u h u m a n   i n ter v e n tio n .   A   n eu r al  n et w o r k   co n s i s ts   o f   th r ee   p ar ts ,   an   in p u t   la y er ,   h id d en   la y er s ,   a n d   an   o u tp u la y er .   T h in p u la y er s   a r s er ies  o f   n eu r o n s   co n tai n i n g   t h in p u s i g n al   th at  w i ll  b tr an s m i tted   to   th h id d en   la y er s ,   t h ese  la y er s   r ep r esen t h h ea r t   o f   t h n eu r al  n et w o r k   it   is   at  th i s   lev el  w h er t h r elatio n s   b etw ee n   t h d if f er e n v ar iab le s   a r h ig h li g h ted .   T h en d   r esu l t ,   o f ten   p r ed ictio n   r esu lt,  is   at  t h o u tp u t la y er .       2 . 2 . 2 .   Rec urre nt  neura l net wo rk   ( RNN)   r ec u r r en t   n eu r al   n et w o r k   o p er ates  f r o m   s eq u e n tial   d at a,   an d   lear n s   f r o m   t h s u cc ess io n   o f   p r ev io u s   s ta tes.  E ac h   o u tp u d ep en d s   o n   th ca lc u latio n   d o n d o w n s tr ea m .   I n   p r in cip le,   R NNs  ca n   lear n   to   m ap   o n e   v ar iab le  s eq u e n ce   to   an o t h er .   R NN s   ar eq u i v alen to   v er y   d ee p   n eu r al   n et w o r k s   t h at  s h ar m o d el   p ar am eter s   an d   r ec eiv in p u t   at  ea ch   tim s tep .   A n   R NN   is   ess en tia ll y   c h ar ac ter ized   b y   t h f ac th a it   co n tain s   at  least  o n r etu r n   co n n ec t io n   s o   th a t h ac ti v atio n s   cir cu la te  i n   lo o p s .   R ec u r s io n   at  th e   h id d en   la y er   o f   R N Ns  ca n   ac a s   m e m o r y   m e c h a n is m   f o r   n e t w o r k s   ( b ec au s t h o u tp u at   ti m is   f u n ctio n   o f   all   p r ev io u s   i n p u t s ) .   A ea ch   ti m e   s tep ,   th lear n ed   r ec u r s io n   w e ig h ts   ca n   d ec id w h ic h   i n f o r m atio n   to   f o r g e an d   w h ic h   o n e s   to   k ee p   in   o r d er   to   r ela y   t h e m   o v er   ti m e.   Am o n g   t h m ai n   p r o b le m s   o f   a n   R NN,   u n j u s ti f ied   a m p li f icatio n   o f   w eig h t s   an d   th m o d el  b ein g   u n ab le  to   le ar n   tr ain i n g   d ata .   T h is   p r o b lem   is   k n o w n   b y   t h E x p lo d in g s   Gr ad ien ts ”.   T h s ec o n d   p r o b lem   w it h   s i m p le  R NNs  i s   th at  t h e y   d o   n o p r eser v th in f o r m at io n   f o r   lo n g   ti m e,   s o   at  s o m p o in th n eu r al  n e t w o r k   ca n   n o   lo n g er   co n n ec th r elatio n s h i p s   b et w ee n   t h d ata  an d   as  r esu l it  w o u ld   h a v d if f ic u ltie s   to   lear n   lo n g - ter m   ad d ictio n s   T h is   p r o b lem   is   k n o w n   as  t h e   Va n is h i n g   g r ad ie n p r o b lem .   T o   o v er co m e x p lo d in g / v a n i s h i n g   g r ad ie n p r o b lem s ,   n e w   co n ce p h a s   b ee n   in tr o d u ce d : “ L ST M”   ab b r ev ia tio n   o f   L o n g   S h o r t - T er m   Me m o r y .       2 . 2 . 3 .   L ST M   T h is   co n ce p w as  f ir s i n tr o d u ce d   [ 6 ] it  is   an   e x te n s io n   o f   r ec u r r en t   n e u r al  n e t w o r k s   to   ex ten d   t h eir   m e m o r y .   L ST Ms  allo w   R NNs  to   r e m e m b er   t h ei r   en tr ies  o v er   lo n g   p er io d   o f   ti m e,   as  an   L ST ca n   w r ite   an d   d elete   i n f o r m at io n   f r o m   i ts   m e m o r y   [ 7 ] .   Fig u r 2   s h o w s   t h is   m e m o r y   b eh av es  lik e   b lo ck ed   ce ll  ie   t h e   ce ll  d ec id es   to   s t o r o r   d elete   in f o r m atio n ,   d ep en d in g   o n   t h i m p o r tan ce   it  attr ib u tes   to   it.   T h attr ib u tio n   o f   i m p o r tan ce   is   d o n th r o u g h   w ei g h t s ,   w h ic h   ar also   lear n ed   b y   t h al g o r ith m .   I s i m p l y   m ea n s   t h at  it  lear n s   o v er   ti m e   w h a in f o r m a ti o n   is   i m p o r tan a n d   w h ich   i s   n o t.   I is   g ate   m ec h a n i s m   a n d   m e m o r y   ce ll.     Fo r g et  Gate T h is   b lo ck   is   r es p o n s ib le  f o r   r esetti n g   t h m e m o r y   ce ll  ( s tate  ce ll).   T h at  is ,   th p r ev io u s l y   g iv e n   i n f o r m atio n   i s   n o   lo n g er   u s e f u l f o r   th L ST to   lear n   m o r e.     I n p u t G ate:  T h i s   b lo ck   ta k es t h r esp o n s ib ili t y   to   ad d   th in f o r m at io n   to   th m e m o r y   ce ll.     Ou tp u t G ate:  T h is   b lo ck   is   r es p o n s ib le  f o r   s elec ti n g   u s e f u l i n f o r m atio n   f r o m   t h cu r r en m e m o r y   ce ll.           Fig u r 2 .   L ST b lo ck   [ 8 ]     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 Dec em b er   201 9   3 1 7     327   320   3.   RE L AT E WO RK   AR I M A   ti m s er ies  ar w i d ely   u s ed   tech n iq u e   in   ec o n o -   m e tr ics  f o r   f i n a n cial  ti m e   s er ies   [ 9 ] s ev er al  AR I M m o d el  w er p r o p o s ed   to   an al y ze   a n d   f o r ec ast  s t o ck   m ar k ets   [ 1 0 - 12] Fu r th er m o r e,   AR I M A   is   u s ed   f o r   w ater   b u d g et / co n s u m p tio n s   p r ed ictio n   [ 1 3 - 14]   a n d   elec tr ic it y   d e m a n d   [ 1 5 ] .   Mo r r ec en tl y ,   t h er h as  b ee n   g r o w in g   in ter e s i n   t h u s e   o f   d ee p   lear n in g   m o d els   [ 1 6 - 17] ,   esp ec iall y   r e c u r r en m o d els  s u c h   a s   L ST Neu r al   Net w o r k   f o r   t h p r ed ictio n   o f   f i n an cia ti m s er ies,  i n   p ar ticu lar   in   th e   s to ck   m ar k et   [ 1 8 - 20] .   I [ 1 8 ]   p r o p o s ed   a   m o d elin g   an d   p r ed ictio n   o f   C h i n s to ck   r etu r n s   u s i n g   L ST ar ch itect u r w i th   a n   ap p r o v ed   ac cu r ar y   o f   2 7 . 2 %,  i n   [ 1 9 ]   an al y ze d   t h ap p licab ili t y   o f   r ec u r r e n n eu r al   n et w o r k s   f o r   s to ck s   m ar k et   p r ices  m o v e m en t s   p r ed ictio n .   Fin all y   [ 2 0 ]   p r o p o s ed   an   ac cu r ate  p r ed ictio n   o f   Sh an g h ai  C o m p o s i te  I n d ex   an d   Do w   J o n es  I n d ex .   C o n ce r n in g   th b u d g et  an al y s i s   an d   f o r ec asti n g ,   v er y   lit tle  w o r k   w er f o u n d   co m p ar i n g   o r   ev en   ap p l y in g   t h t w o   tech n iq u e s ,   m o s o f   t h e m   h as   b ee n   ap p lied   to   th s to ck   p r ice  as  p r ev io u s l y   m en tio n n ed .   T h is   is   m ai n l y   d u to   th d if f ic u lt y   o f   o b tai n in g   r elev an t d ata s ets,  a n d   th v o l atile  n at u r o f   t h ese   d ata No n o f   its   au t h o r s   co m p ar ed   th p er f o r m a n ce   o f   L ST an d   AR I M A   m o d els.        4.   F O RE CAS T I N G   U SI N G   A RIM RAND O M   WAL K     4 . 1 .     Da t a   s et s     W u s Data s et  th at  tr ea ts   th ac tu al  b u d g et  co n s u m ed   b y   g o v er n m e n tal  o r g an izat io n .   T h d ata  co n tain ed   i n   t h is   Data s et  d at es  f r o m   1 9 7 6   to   2 0 1 6   w it h   an   an n u al  p er io d icit y   Fi g u r 3   T h v alu es  i n   t h e   D ataset  ar ex p r ess ed   in   b illi o n   d o llar s .   T h r ich n ess   an d   th h i s to r y   o f   th d ata  allo w   u s   to   o p tim ize  th r elev an ce   o f   o u r   an a l y s is .   T h p u r p o s o f   th is   an al y s i s   is   to   p r ed ict  th b u d g et  f o r   th u p c o m in g   y ea r s .   Gi v e n   th at  ti m s er ies  tr ea s i n g le   ti m e - d ep en d en v ar iab le  t h at   w ill  p r ed ict  f u tu r v a lu e s   b ased   o n   p r ev io u s l y   o b s er v ed   v alu es.  T h Data s et  r ec o r d s   an d   p r o ce s s es  th an n u al  b u d g et.   T h at  s aid ,   th T im es  s er ie s ”  m o d el  is   w ell  ad ap ted   to   th is   ca s e.   I n   o r d er   to   ap p ly   t h A R I M A   m o d el,   w f o llo w   t h B o x -   J en k i n s   m eth o d .           Fig u r 3 .   Data   d escr ip tio n       4 . 2 .     P re pro ce s s ing   T h is   p h ase  is   n ec es s ar y   a s   it  allo w s   t h p r ep ar atio n   o f   d ata  an d   m a k t h e m   in   ac co r d an ce   w it h   o u r   n ee d s .   W w a n to   tr ac k   an d   p r ed ict  th ev o lu tio n   o f   t h o v er all  b u d g et  o f   th o r g a n izatio n .   T h is   Data s et  b r ea k s   d o w n   t h b u d g et  b y   o f f ice s   an d   s er v ice s   f o r   ea ch   y ea r ,   s o   w w i ll  co n s o lid ate  th b u d g et   co n s u m ed   f o r   ea ch   y ea r   o n l y .   T o   b u ild   an   A R I M A   ( T i m e   s er ies)  m o d el,   it   is   d e s ir ab le  to   s to r th ti m e   ( f o r   o u r   ca s y ea r s )   in   o n co l u m n   a n d   th v ar iab le  o n   w h ic h   w w ill ap p l y   t h m o d el  i n   an o th er   co lu m n .     4 . 3 .     Ana ly s is     I n   th is   t h ir d   p h a s o f   th p r o ce s s ,   w a n al y ze   t h b eh a v io r   o f   th e   ti m s er ie s ,   i n   o r d er   to   ex tr ac t h e   u s e f u in f o r m atio n   u s ed   to   b u ild   th m o d el  Fig u r 4 .   W n o t ice  th r o u g h   t h is   g r ap h   th at  t h e   s er ies  is   g r o w in g ,   s o   th b u d g et  is   g r o w in g   o v er   ti m e.   T h er w a s   d ec lin b et w ee n   t h y ea r s   2 0 1 0 - 2 0 1 5   th at  in ter s ec ts   w it h   t h p er io d   o f   th ec o n o m ic  cr is i s .   T h av er ag o f   th s er ie s   te n d s   to   ch a n g e.   T h g r ap h   s h o w s   th at  t h s er ies  is   n o s tatio n ar y ,   to   e n s u r th s tatio n ar it y   o f   t h s er ies,  Fig u r 5   we  r ef er   to   th test   Au g m e n ted   Dic k e y - F u ller   te s t”.   T h is   test   is   b ased   o n   t w o   a s s u m p tio n s     T h n u ll  h y p o th e s is : th s er ie s   ca n   b r ep r esen ted   b y   u n it r o o t,  s o   it is   n o t statio n ar y .       T h alter n ativ h y p o t h esi s r ej ec th n u ll  h y p o t h esi s ,   s u g g es ts   th a th s er ies  h a s   n o   u n i r o o t,     w h ic h   m ea n s   t h at  it i s   s tat io n a r y .   W in ter p r et  th test   r es u lt u s i n g   t h p   v al u g e n er ated   b y   th test :   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       F o r ec a s tin g   fin a n cia b u d g et  time  s erie s :   A R I MA  r a n d o w a lk  vs LS TM   n eu r a l ... ( Ma r ye R h a n o u i )   321     p - v al u >   0 . 0 5 : Failed   to   r e j ec t th n u ll  h y p o t h esi s ,   th d ata  h as a   u n it r o o t a n d   is   n o n - s tat i o n ar y .     p - v al u 0 . 0 5 : Rej ec t th n u ll   h y p o th e s is ,   t h d ata  h a v n o   u n i t r o o t a n d   ar s tatio n ar y .   A p p l y in g   t h is   test   f o r   o u r   t i m s er ies,  w o b tai n   t h f o llo w i n g   r esu lt.  T h v al u p   i s   g r ea ter   th an   0 . 0 5   s o   th i s   ti m s er ie s   is   n o n s tatio n ar y .           Fig u r 4 .   P lo t o f   th s er ies       Fig u r 5 .   A DF te s t       T h au to co r r elatio n   Fi g u r 6   s h o w s   th a t h p ea k s   at  ea c h   o f f s et  b r ea k   t h co n f id en ce   i n ter v al  ± 1 . 9 6 ,   s o   th e   s er ies  i s   n o a   w h ite  n o is e,   t h at  i s ,   t h er i s   n o   te m p o r al  d ep en d en c y .   T h u s ,   th e   p ea k s   o f   ea ch   AC o f f s et   d ec r ea s v er y   s lo w l y ,   w h ic h   m ea n s   th a th ter m s   o f   t h s e r ies  ar co r r elate d   o v er   s ev er al  p er io d s   in   th p ast.   Af ter   h a v in g   an al y ze d   t h e   s e r ies  w e   w ill   b eg i n   t h e   cr u cia p h ase   w h ic h   allo w s   to   e lab o r ate  th ad eq u a te   AR I M A   m o d el.           Fig u r 6 .   Au to co r r elatio n   g r ap h   o f   t h ti m s er ies       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 Dec em b er   201 9   3 1 7     327   322   4 . 4 .     M o del Sele ct io n a nd   Co ns t ruct io n   T h f ir s s tep   o f   th B o x - J en k in s   m e th o d   th at  w f o llo w   t o   b u ild   o u r   A R I M A   m o d el  c o n ce r n s   t h e   id en ti f icatio n   o f   p ar a m eter s .   T h A R I M p r o ce s s   is   ap p li ed   o n   s tatio n ar y   s er ies,  b u o u r   s er ies  i s   n o t.  T o   m ak th s er ies  s tatio n ar y ,   w d i f f er en tiate  it  f i r s ti m an d   t h e n   ap p l y   t h “A D F”  test   to   c h ec k   t h e   s tatio n ar it y   o f   t h r es u lti n g   s er ies.   A f ter   th a t h s er ie s   i s   s tatio n ar y ,   t h n e x s tep   is   to   d eter -   m in e   th e   p ar am eter s   p   a n d   q   o f   t h p r o ce s s .   T o   d o   th is ,   w w ill   p lo th e   au to co r r elatio n   g r a p h   an d   th e   p ar tial   au to co r r elatio n   o f   th d if f er e n tiated   s er ies.   T h p lo o f   th A C an d   P AC Fi g u r 7   s h o w s   t h at  th s er ie s   d ef in e s   r an d o m   w a lk   b ec au s o n l y   th f ir s p ea k   b r ea k s   t h co n f id en ce   i n ter v al.   T h at  s ai d ,   th p ar am eter s   p   an d   q   ar eq u al  to   ze r o .           Fig u r 7 .   P lo t o f   th AC F a n d   P A C F       Af ter   id e n ti f y in g   th e   p ar a m et er s   o f   th e   A R I M m o d el   ( 0 , 1 , 0 )   w ap p l y   th is   m o d el  to   o u r   d ata.   T h f ir s t step   in   ap p l y in g   m a ch in lear n i n g   m o d el  is   to   d iv i d th d ata  in to   t w o   s u b s et s :     T r ain in g     T est   W th e n   ap p l y   th e   AR I M A   m o d el  ( 0 , 1 , 0 )   to   o u r   tr ain i n g   d at an d   p r ed ict  t h te s t d ata   to   e v alu a te  t h e   ac cu r ac y   o f   t h m o d el.   T h f o llo w i n g   Fig u r 8   co m p ar es  t h test   d ata  s et  ( e x p ec ted   v al u es)  w it h   t h v al u es   g en er ated   b y   t h AR I M A   m o d el  ( 0 , 1 , 0 ) .   W n o te  th at  th p r ed icted   v alu es  f o llo w   th e   e v o lu tio n   o f   t h te s v alu e s   w it h   s m all  m ar g in   o f   er r o r .   W n ee d   to   ev alu ate  t h p er f o r m a n ce   o f   t h is   m o d el .   T h B o x - J en k in s   m et h o d   g i v es   r ec o m m en d atio n s   f o r   d eter -   m i n in g   th e   p ar am eter s   p ,   d   an d   q ,   b u t h i s   i s   n o n ec es s ar il y   t h e   b est  m o d el  f o r   th ti m s er ie s   s tu d ied .   T o   j u d g th r elev an c o f   o u r   m o d el,   w w i ll  test   AR I M A   ( 0 , 1 , 1 )   an d   AR I M A   ( 1 , 1 , 0 ) ,   th en   w w il co m p ar t h A I C   to   d eter m i n th b est  m o d el.   T h b est  m o d el  is   th e   o n w i th   th lo w est  A I C ,   s o   AR I M A   ( 0 , 1 , 0 )   is   th m o s t s u itab le  f o r   o u r   ca s e.       T ab le   1.   C o m p ar is o n   o f   th ai o f   th d if f er en m o d els   A R I M A   M o d e l   A I C   A R I M A   ( 0 , 1 , 0 )   - 2 2 . 1 0 0   A R I M A   ( 1 , 1 , 0 )   - 2 0 . 4 9 3   A R I M A   ( 0 , 1 , 1 )   - 2 0 . 6 8 2       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       F o r ec a s tin g   fin a n cia b u d g et  time  s erie s :   A R I MA  r a n d o w a lk  vs LS TM   n eu r a l ... ( Ma r ye R h a n o u i )   323       Fig u r 8 .   R ea l a n d   esti m ated   v alu es       4 . 5 .     Dia g no s is   T h 3 r d   s tep   o f   th B o x - J en k in s   p r o ce s s   i s   t h d iag n o s is   o f   t h m o d el.   T o   j u d g th p r ec is io n   o f     th m o d el  w w ill  s t u d y   t h d is tr ib u tio n   o f   r esid u al.   F ig u r 9   s u g g e s t a   Gau s s ia n   t y p d is tr i b u tio n .   T h p lo t o f   d en s it y   s h o w s   s li g h s h i f to w ar d   ze r o .   T h e   au to co r r elo g r am   o f   th e   r esid u al s   s h o w s   th a n o   au to co r r elatio n   co ef f icie n t   is   s i g n i f ican tl y   d if f er en f r o m   ze r o .   Gi v e n   t h e   ab o v r es u lts ,   w ca n   v alid ate   th A R I M r an d o m   w al k   m o d el  ( 0 , 1 , 0 )   th at  w p r o p o s ed .             Fig u r 9 .   Diag n o s is   o f   t h AR I MA   m o d el       4 . 6 .     M o del a pp lica t io n a nd   predict io   T h p u r p o s e   o f   th w o r k   is   t h p r ed ictio n   o f   th b u d g et  f o r   th co m i n g   y ea r s   in   o r d er   to   h av clea r   an d   co n ci s id ea .   Fo r   th i s ,   w e   ap p l y   t h co n s tr u cted   m o d el   t o   p r ed ict  th e v o lu t io n   o f   t h b u d g et  f o r   t h n ex t   s ev e n   y ea r s .   F i g u r 10  s h o ws  t h p r ed icted   v a lu e s   f o r   t h n e x s e v en   y ea r s .   I n   t h F ig u r e   1 1 ,   w w i ll   g r ap h icall y   s h o w   th e v o lu t io n   o f   t h b u d g et  i n   t h n e x y ea r s   b ased   o n   th h i s to r y   p r o v id ed .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 Dec em b er   201 9   3 1 7     327   324       Fig u r 10 .   P r e d ictio n   o f   th b u d g et   f o r   th e   n ex s ev e n   y ea r s       Fig u r 11 .   P r e d ictio n   o f   th b u d g et  f o r   th n ex y ea r s       Fo r ec asts   a n d   t h as s o ciate d   c o n f id e n ce   i n ter v al   t h at  w g e n er ated   ar u s ed   to   b etter   u n d er s tan d   t i m e   s er ies  an d   p r ed ict  w h at  to   ex p ec t.  Fo r ec asts   s h o w   t h at  t h b u d g et  s h o u ld   co n tin u to   g r o w   at  s tead y   p ac e.   As  lo n g   as  w ar p lan n i n g   th b u d g et  f o r   y ea r s   to   co m e,   it   is   n at u r al  f o r   u s   to   b ec o m le s s   co n f id en in   o u r   v alu e s .   T h is   is   r e f lecte d   i n   t h e   co n f id en ce   i n ter v als  g e n er ate d   b y   o u r   m o d el,   w h ic h   g r o w   a s   w m o v e   f u r t h er   in to   th f u tu r e.       5.   F O RE CAS T I N G   U SI N G   L S T M   I n   t h is   s ec tio n   w w a n t   to   p r ed ict  th b u d g et  f o r   y ea r s   to   co m u s i n g   Dee p   L ea r n in g   v ia  t h L ST M   ar ch itect u r e.   No te  th at  w p r ev io u s l y   p r ed icted   th b u d g e u s in g   t h A R I M A   m o d el.   W u s T en s er f lo w   a n d   Ker as   lib r ar ies  to   im p le m en t h is   ar ch i tectu r e.   B u d g et  d ata  is   s av ed   as  s eq u e n ce s .   T o   m an ag th d ep en d en c e   o f   th s eq u e n ce s   w u s th r ec u r r en n e u r al  n et w o r k s ,   p r ec is el y   a n   L ST s in ce   it  p r eser v es  t h in f o r m atio n   f o r   lo n g   d u r atio n   an d   allo w s   to   m o d el  th m o s s o p h is tic ated   d ep en d en cies  in   o u r   ti m e   s er ies.  T h is   m o d el   s u p p o r ts   v er y   lar g v o lu m o f   d ata.   An   L ST h as  t h r ee   p ar a m eter s o n p ar a m eter   to   w r ite  th i n f o r m atio n   in   th m e m o r y ,   t h o th er   to   r ea d   it a n d   th last   o n to   d elete   it.   I n   th i s   p h ase  w d is c u s s   t h ar ch itect u r o f   th p r o p o s ed   L S T m o d el:     T h s ec o n d   s tep   is   to   s tan d a r d ize  th d ata,   ie  th d ata  m u s b elo n g   to   th s co p o f   th ac ti v atio n   f u n ctio n .     C h o ice   o f   th e   ac ti v atio n   f u n c tio n .   Fo r   t h i s   s tu d y   w e   o p ted   f o r   s i g m o id   f u n ctio n   t h at  o u tp u ts   v a lu e s   b et w ee n   0   an d   1 .   W u s th h y p er b o lic  tan g e n t f u n ctio n .     B atch   s ize”   is   t h n u m b er   o f   s a m p les t h at  w i ll b p r o p ag ated   in   th n e u r al  n et w o r k .     T h n eu r al  n et w o r k   r eq u ir es o n l y   o n o u tp u t to   es ti m ate  th b u d g et  f o r   th n e x y ea r .     Af ter   b u i ld in g   t h m o d e l,  it   is   i m p o r tan t to   t h o r o u g h l y   e v al u ate  th m o d el.   T o   d o   th is ,   w u s t h R MSE   co s t f u n ctio n .   T h is   f u n ctio n   ca lcu late s   th er r o r   b et w ee n   t h p r ed icted   d ata  an d   th test   d ata.     5 . 1 .     M o del  co ns t ruct io n   I n   t h is   s tep   w e   b u ild   a n   ap p r o p r iate  L ST m o d el  f o r   o u r   ca s s t u d y .   A n   L ST m o d el  as s u m e s   t h a t   o u r   d ata  is   d i v id ed   in to   i n p u t   an d   o u tp u co m p o n e n ts .   Fo r   o u r   ca s e,   w u s t h p r ev i o u s   o b s er v atio n s   f o r   ea ch   ti m s tep   as  o u r   in p u t s   an d   th o u tp u w i ll  b th o b s er v atio n   o f   th cu r r e n ti m s tep .   T h f o llo w in g   F ig u r 12   r ep r esen ts   th o v er a ll c o n f i g u r atio n   o f   o u r   L ST M.           Fig u r 12 .   Glo b al  d iag r am   o f   t h L ST M       Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       F o r ec a s tin g   fin a n cia b u d g et  time  s erie s :   A R I MA  r a n d o w a lk  vs LS TM   n eu r a l ... ( Ma r ye R h a n o u i )   325   T o   b u ild   an   L ST m o d el  w m u s f ir s tr an s f o r m   th e   tr ain in g   an d   tes Data s et  i n to   th r ee - d i m en s io n al   ar r a y   o f   s a m p le s ,   f ea t u r es   an d   t i m e s tep s ”.   W u s e   an   i n p u la y er ,   h id d en   la y er   co n tai n i n g   L ST b lo ck s   a n d   s i n g le   o u tp u t   la y er .   W m ad u s o f   th e   d e f a u lt  ac t iv at io n   f u n ctio n   o f   an   L ST M:  s ig m o id .   T h m o d el  is   tr ain ed   1 0 0 0   tim es  w i th   b at ch   s ize  eq u al s   to   1 0 .   W u s A DM   o p ti m izatio n   alg o r ith m   f o r   u p d atin g   w e ig h ts .   W u s ed   t h e   f o llo w i n g   r u les  to   d eter m i n t h n u m b er   o f   la y er s   a n d   th e   n u m b er   o f   n e u r o n s   in   ea c h   la y er :     I n p u la y er lo g icall y   w h av e   o n e n tr y ,   th e   n u m b er   o f   n e u r o n s   co n tain ed   in   t h is   la y er   is   d eter m i n ed   b y   th e   n u m b er   o f   q u an ti f iab le  co l u m n s .   Fo r   o u r   ca s w w an t   t o   f o llo w   th e v o l u tio n   o f   t h b u d g et,   s o   t h n u m b er   o f   n e u r o n s   in   t h in p u t la y er   is   1 .     Ou tp u la y er ea ch   n e u r al  n et w o r k   h a s   s in g le  o u tp u t.   Si n ce   w e   w a n to   co n tr o th b u d g et,   o u r   o u tp u t   la y er   co n tai n s   o n l y   o n n eu r o n .     Hid d e n   la y er : t h s ize  o f   t h is   l a y er ,   th at  is   to   s a y   t h n u m b er   o f   n e u r o n s ,   is   to   d eter m i n e.   W test ed   v ar io u s   L ST co n f ig u r at io n s   u s in g   d if f er e n n u m b er s   o f   b lo ck s .   T ab le  2   s h o w s   co m p ar e s   th d if f er e n co n f i g u r atio n s   b ased   o n   th R MSE .   I r ev ea l s   th at  i n   t h b est  co n f i g u r atio n   is   t h o n w it h   2   L ST b lo ck s .   Fig u r 1 3   d escr ib es  th ad o p ted   L ST ar ch itectu r e,   it  illu s tr ates  th f lo w   o f   an   ti m s er ies   th r o u g h   an   L ST la y er .   No te   th at  r ep r esen t s   t h o u tp u t   a n d   r ep r esen ts   th e   m e m o r y .   T h f ir s t   L ST u n it   tak es  t h in itia s tate  o f   th n et w o r k   a n d   th f ir s t - t i m s tep   o f   th s eq u en ce   X1   an d   th e n   ca lcu lates  th f ir s t   o u tp u Y1   an d   th m e m o r y   c1 .   A ti m t,  th u n i tak e s   th cu r r en s tate  o f   th n et w o r k   ( ct− 1 , Yt−1 )   an d   th n ex ti m s tep   o f   t h s eq u en ce   Xt,   th e n   ca lcu lates  t h o u tp u Xt  an d   th m e m o r y   ct.   E ac h   L ST u n it  b eh a v e s   lik m i n i - m e m o r y   w h er th e   f o r g et  g ate,   in p u g ate  an d   o u tp u g ate  h a v w eig h t s   th at  ar lear n ed   d u r in g   th e   tr ain i n g   p r o ce d u r e.       T ab le  2 .   L ST co n f ig u r atio n s   M o d e l   R M S E   M S E   M A E   1   B l o c k   L S T M   0 . 2 2 6   0 . 0 5 1   0 . 1 2 0   2   B l o c k   L S T M   0 . 2 2 2   0 . 0 4 9   0 . 1 1 9   3   B l o c k   L S T M   0 . 2 8 1   0 . 0 7 9   0 . 1 7 8   4   B l o c k   L S T M   0 . 2 2 9   0 . 0 5 2   0 . 1 2 2   5   B l o c k   L S T M   0 . 2 8 4   0 . 0 8 1   0 . 1 5 3   1 0   B l o c k   L S T M   0 . 2 9 6   0 . 0 8 7   0 . 1 5 7   2 0   B l o c k   L S T M   0 . 2 9 8   0 . 0 8 9   0 . 1 5 8   5 0   B l o c k   L S T M   0 . 2 6 4   0 . 0 7 0   0 . 1 4 9   1 0 0   B l o c k   L S T M   0 . 2 6 1   0 . 0 6 8   0 . 1 4 7   3 0 0   B l o c k   L S T M   0 . 2 5 7   0 . 0 6 6   0 . 1 4 4   5 0 0   B l o c k   L S T M   0 . 2 5 7   0 . 0 6 6   0 . 1 4 4         Fig u r 13 .   L ST A r ch itec tu r e       6.   M O DE L S S YNTH E S I S AN CO M P ARAISON   I n   o r d er   to   p r ed ict  th e v o lu tio n   o f   t h b u d g et  w e   f o llo w ed   t w o   m e th o d s AR I M an d   L ST M.   I n   t h is   s ec tio n   w e v al u at th t w o   m o d els   d ev elo p ed   to   p r ed ict  th e v o lu tio n   o f   t h b u d g e t.   T h is   s t u d y   co m p ar e s   t h e   p er f o r m an ce   o f   t w o   tec h n iq u es  f o r   p r ed ictin g   f i n an cial  ti m e   s er ies.   T h g o al  b ein g   t h p r ed ictio n   o f   t h b u d g et  f o r   t h y ea r s   to   co m e.   B elo w ,   w v is u a lize  F ig u r e   1 4   th p r ed ictio n s   o f   th e   t w o   m o d e ls .   Af ter   m a k in g   th e   s ta tio n a r y   s er ie s   w e   ap p lied   th e   AR I MA   m o d el  u s in g   d if f er e n s etti n g s ,   t h b est  m o d el  r etain ed   w a s   t h r a n d o m   w al k   AR I M A   ( 0 , 1 , 0 ) .   T h en   w d e v elo p ed   an   L ST ar ch itect u r b ased   o n   d if f er en t   p ar a m eter   s e tti n g s ,   th b e s co n f i g u r atio n   w as  t w o   L ST b lo ck s   co n tain ed   i n   t h h id d en   la y er .   T o   ev alu ate  th e   m o d els,   w u s ed   th R MSE   ca lc u latio n ,   t h is   m ea s u r allo w s   to   ca lcu late  th d i f f er e n ce   o f   th e   r esid u es  b et w ee n   th p r ed icted   v alu es  an d   t h v alu e s   r ec o r d ed   in   th d ata  s et.   T h T ab le  3   sh o ws   co m p ar e s   th t w o   m o d el s   th at  w estab l is h ed   b ased   o n   t h R M SE.   I is   r ec alled   th a t   t h e   s tatis t ical  q u an tit y   R MSE   ( th r o o t   o f   th s q u ar ed   m ea n   er r o r )   is   m ea s u r w id el y   u s ed   to   ev alu ate  th e   ac cu r ac y   o f   th e   m o d el  a n d   ca lcu late  t h d i f f er e n ce   b et w ee n   t h ac tu a v a lu e s   o f   t h Dat aset,  an d   t h v a lu e   p r ed icted   b y   m o d el.   W n o tice  s lig h d if f er en ce   b et w ee n   t h t w o   R M SE s ,   s u c h   as  th R MSE   o f   t h L ST M   m o d el  is   s m a ller .   So   it i s   o b v i o u s   t h at  t h L T SM  ar ch itect u r o u tp er f o r m s   A R I M A’ s   p er f o r m an ce .   I n   o r d er   to   v alid ate  t h c h o ice  o f   t h p r ed ictiv m o d el,   a n d   to   esti m ate  to   w h at  e x te n t h c h o ice   is   p r ec is e   w w i ll   co m p ar t h M A E   a n d   MSE   o f   t h t w o   m o d els M A E   as   it s   n a m e   s u g g e s ts   is   th e   av er a g o f   ab s o l u te  er r o r s .   T h ab s o lu te  er r o r   is   th ab s o lu te  v a lu o f   t h d if f er e n ce   b et w ee n   t h ex p ec ted   v al u an d   th ac tu al  v alu e .   T h T ab le  4   s h o w s   co m p ar e s   th M A E   o f   b o th   m o d els.   W n o te  th at  th M A E   o f   t h L ST m o d el  is   s m al ler ,   w h ich   co n f ir m s   its   g o o d   p er f o r m a n ce   i n   p r ed ictin g   m o r ac c u r ate  v al u es  f o r   t h s tu d ied   ti m e   s er ies .   MSE   is   th a v er ag o f   t h s q u ar es  o f   th d if f er en ce   b et w ee n   th ac tu al  o b s er v atio n s   a n d   th o s p r ed icted .   T h is   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - A I   Vo l.  8 ,   No .   4 Dec em b er   201 9   3 1 7     327   326   ca lcu latio n   allo w s   u s   to   ev al u ate  th ac cu r ac y   o f   m o d el.   T h T ab le  5   s h o w s   t h L ST m o d e i s   o n ce   ag a i n   b etter   th an   t h A R I M A   m o d el.           Fig u r 14 .   Vis u aliza tio n   o f   t h e   p r ed ictio n s   o f   th t w o   m o d els   T ab le   3.   R MSE   co m p ar aiso n   M o d e l   R M S E   M a c h i n e   L e a r n i n g :   A R I M A   0 . 2 3 9   D e e p   L e a r n i n g :   L S T M   0 . 2 2 2       T ab le  4 .   MA E   co m p ar aiso n   M o d e l   M A E   M a c h i n e   L e a r n i n g :   A R I M A   0 . 1 3 9   D e e p   L e a r n i n g :   L S T M   0 . 1 1 9       T ab le  5 .   MSE   co m p ar aiso n   M o d e l   M S E   M a c h i n e   L e a r n i n g :   A R I M A   0 . 0 5 7   D e e p   L e a r n i n g :   L S T M   0 . 0 4 9         6 . 1 .     M a j o diff er ence s   bet wee n AR I M a nd   L ST M   A lt h o u g h   t h r esear c h   i s   r ec en t,  it is   clea r   t h at  L ST ar ch ite ctu r es  h a v g r ea t p o ten tial   as  ca n d id ate s   f o r   ti m e   s er ies   m o d eli n g   a n d   f o r ec asti n g .   W s t u d y   i n   t h f o llo w i n g   T ab le  6   th m aj o r   d if f er en ce s   b et w ee n   a n   L ST an d   AR I M A .   T h u s o f   R N Ns  i n cl u d in g   t h L ST ar ch itectu r e,   allo w s   th s etti n g   o f   s ev er al   p ar am eter s   th at  w m u s ad j u s to   o b tain   o p ti m al  p er f o r m a n ce   o n   t h f o r ec ast in g   tas k s .   I ts   d if f icu lt y   lies   i n   ch o o s in g   t h r i g h p ar a m e ter s   to   f i n d   t h r i g h m o d el  ar ch it ec tu r e.   An   AR I M A   m o d el  is   s i m p le   to   co n f i g u r e   as  it  g i v es  g o o d   p er f o r m a n c e,   th is   m o d e al s o   r eq u ir es  th e   id en tific atio n   o f   th p ar a m et er s   p ,   d   an d   q   s u ch   th at  p   i s   t h o r d er   o f   th a u t o r eg r ess i v p ar ( AR ) ,   o f   th e   o r d er   o f   d if f er e n tiatio n   an d   q   th o r d er   o f   th e   m o v i n g   av er a g p ar t ( MA ) .       T ab le   6 Mo d els co m p ar aiso n   A R I M A   L S T M   L i n e a r   mo d e l   N o n l i n e a r   mo d e l   S mal l   a mo u n t   o f   d a t a   L a r g e   a mo u n t   o f   d a t a   P a r a me t r i c   mo d e l ,   t h a t   i s   t o   s a y   f o r   e a c h   se r i e s w e   h a v e   t o   d e f i n e   t h e   p a r a me t e r s p ,   d   a n d   q   N o n - p a r a me t r i c   mo d e l ,   r e q u i r e s a d j u s t me n t   o f   so me   h y p e r me t e r s   D e d i c a t e d   s p e c i f i c a l l y   f o r   t i me   se r i e s   P r o c e ss se q u e n t i a l   d a t a       7.   CO NCLU SI O N   Def i n i n g   a n   o p ti m al  m o d el  to   f o r ec ast  f i n a n cial  ti m s er ie s   d ata  is   ch alle n g i n g   tas k   b ec au s o f   t h e   n o n - li n ea r it y ,   n o n -   s tatio n ar it y   an d   v o latili t y   c h ar ac ter is t ic s   o f   t h i s   t y p o f   d ata.   I n   t h i s   p ap er   w e   co m p ar ed   t w o   f o r ec asti n g   m o d els  f o r   f i n an cia ti m s er ies.  T h is   p r ed ictiv an al y s is   s h o w ed   th a t,  alth o u g h   t h AR I M m o d el  p r o v id es  s ati s f ac to r y   r esu lt s ,   t h L ST m o d el  o u tp er f o r m s   t h p er f o r m a n ce   o f   t h A R I M m o d el.   Evaluation Warning : The document was created with Spire.PDF for Python.