I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   11 ,   No .   4 A u g u s t   2021 ,   p p .   3 3 1 9 ~ 3 3 2 8   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 1 i 4 . pp 3 3 1 9 - 3 3 2 8          3319       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Co m pa ra tive a na ly sis  of sho rt - t er m   de m a nd p redic ting  m o dels  using  ARIM A an d deep  learning       H a li m a   B o us qa o ui 1 I l ha m   S li m a ni 2 Sa id Ac hcha b 3   1, 3 Na ti o n a Hig h e S c h o o f o C o m p u ter  S c ien c e   a n d   S y ste m   A n a l y sis M o h a m m e d   V   Un iv e rsity M o ro c c o   2 S m a r c tICT   L a b o ra to ry ,   ENS A O,   M o h a m m e d   F irst  Un iv e rsity ,   Ou jd a ,   M o ro c c o       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Sep   9 ,   2 0 20   R ev i s ed   Dec   11 ,   2 0 2 0   A cc ep ted   J an   13,   20 2 1       T h e   f o re c a stin g   c o n sists   o f   t a k in g   h isto rica d a ta  a in p u ts  th e n   us i n g   th e m   to   p re d ict  f u tu re   o b se rv a ti o n s,  t h u d e term in in g   f u tu re   tren d s .   De m a n d   p re d ictio n   is  a   c ru c ial  c o m p o n e n in   t h e   su p p ly   c h a in ’s  p ro c e ss   th a a ll o w e a c h   m e m b e to   e n h a n c e   it p e rf o r m a n c a n d   it s   p ro f it .   Ne v e rth e les s,  b e c a u se   o f   d e m a n d   u n c e rtain ty   su p p ly   c h a in u su a ll y   su ff e fro m   m a n y   p ro b lem s   su c h   a s   th e   b u ll w h ip   e ff e c t .   A s   a   so lu ti o n   to   th o se   lo g isti c issu e s,   th is  p a p e p re se n ts  a   c o m p a ra t iv e   a n a l y sis  o f   f o u ti m e   se rie d e m a n d   f o re c a stin g   m o d e ls;  n a m e l y ,   th e   a u to re g re ss iv e   in teg ra ted   m o v in g   Av e ra g e   (A RIM A a   sta ti stica m o d e l,   th e   m u lt i - lay e p e rc e p tro n   (M L P a   f e e d f o r w a rd   n e u ra n e tw o rk ,   th e   lo n g   sh o rt - term   m e m o r y   m o d e l   (L S TM a   re c u rre n n e u ra n e tw o rk   a n d   th e   c o n v o lu ti o n a n e u ra n e tw o rk   (CNN   o r   Co n v Ne t)  a   d e e p   lea rn i n g   m o d e l.   T h e   e x p e ri m e n tatio n a re   c a rried   o u t   u si n g   a   re a l - li fe   d a tas e p ro v id e d   b y   a   s u p e rm a rk e in   M o ro c c o .   T h e   re su lt c lea rl y   sh o w   th a th e   c o n v o lu ti o n a n e u r a n e tw o rk   g iv e slig h tl y   b e tt e fo re c a stin g   re su lt s   th a n   th e   L o n g   sh o rt - term   m e m o r y   n e t w o rk .   K ey w o r d s :   AR I M A   A r ti f icial  n e u r al  n et w o r k   C o n v o lu tio n al  n e u r al  n e t w o r k   L ST M   Ma ch i n l ea r n i n g     Su p p l y   c h ain   m a n ag e m e n t     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Hali m B o u s q ao u i   Natio n al  Hi g h er   Sc h o o l f o r   C o m p u ter   Scie n ce   an d   S y s te m   An al y s i s   Mo h a m m ed   Un iv er s it y   B en   A b d alla h   R e g r ag u i,  Ma d in at  A l I r f a n e,   B P   7 1 3 ,   A g d al  R ab at,   Mo r o cc o   E m ail:  h ali m a. b o u s q ao u i @ g m ail. co m       1.   I NT RO D UCT I O N     A   s u p p l y   c h ai n   is   an   en tire   n e t w o r k   co m p o s ed   o f   d is tr ib u te d   o r g an izatio n s   i n   i n ter ac tio n   ( s u p p lier s ,   r etailer s ,   d is tr ib u to r s ,   an d   clien t s )   in v o l v ed   in   th p r o ce s s   o f   p u r ch as in g ,   in v e n to r y   m a n a g e m e n t,  p r o d u ctio n ,   d is tr ib u tio n   an d   d eliv er y   o f   p r o d u ct  o r   s er v ice   f r o m   r a m at er ial s   to   f i n al  co s t u m er   [ 1 ] .   Su p p l y   c h ai n   m an a g e m e n co v er s   i n f o r m ati o n   f lo w s ,   p h y s ical  d is tr ib u tio n   as  w ell  as  f i n a n cial  tr an s ac tio n s .   I n   o t h er   w o r d s ,   all  th e   s u p p l y   c h ain   m e m b er s   s h ar co m m o n   o b j ec tiv t h a is   i m p r o v i n g   th e ir   b u s i n e s s e s   an d   p r o f it s   w h ile   cr ea tin g   v al u r ep r esen ted   b y   th p r o d u ct  o r   s er v ice  d eliv e r ed   to   th co s tu m er   [ 2 ]   T h p r o b lem   co n s i s ts   o f   th e   d em a n d   f o r ec asti n g   w h ic h   i s   cr u c ial  co m p o n en t   i n   s u p p ly   c h ain s   p r o ce s s .   I n d ee d ,   p r ed ictio n   co n s is ts   o f   ta k i n g   m o d els   f r o m   h is to r ical   d ata  i n   o r d er   to   u s th e m   to   p r ed ict  f u tu r o b s er v atio n s .   Ne v er th e less ,   t h u n ce r tain   ch ar ac ter   o f   t h co s t u m er s   d e m a n d   ca u s e s   d if f ic u ltie s   f o r   d ec is io n   m ak er s   w h o   m u s r ea ct  in   an   e f f icie n an d   f a s m a n n er .   B esid es,  w ith   th ad v an ce m en o f   tech n o lo g y ,   s u p p l y   c h ai n s   b ec o m e   m o r co m p le x .   S o ,   in   o r d er   to   k ee p   u p   w it h   th is   v ital  e v o lu tio n   a n d   f o r   an   ef f ec tiv e   s u p p l y   c h ain ,   co m p an ies  m u s t   b ab le  to   p lan   n o o n l y   t h p r ese n b u also   th f u tu r s ales  o r   d em a n d .   C er ta in l y ,   s ales  f o r e ca s tin g   i s   e f f icie n f o r   s u p p l y   ch ai n s   p la n n i n g   ac ti v itie s   i n clu d in g   p u r ch as in g ,   in v e n to r y ,   p r o d u ctio n   a n d   d is t r ib u tio n .   I t h elp s   m a n ag er s   to   m ak o p ti m al  d ec is io n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 1 9   -   3328   3320   As b ac k g r o u n d   i n   th e   liter at u r e,   au to r eg r es s i v i n te g r ated   m o v in g   a v er ag e   ( A R I M A ) ,   is   lin ea r   t i m e   s er ies  f o r ec ast i n g   m eth o d   th a t   h as  b ee n   w id el y   u s ed   in   m a n y   ar ea s   to   m o d el  d if f er en p r o b le m s .   So m o f   t h ap p licatio n s   o f   AR I M A   ar a s Fa n o o d et  a l.   [ 3 ]   u s es  AR I M A   to   r ed u ce   d e m a n d   u n c er tain t y   in   b lo o d   p latelet  s u p p l y   ch a in .   J et  a l.   [ 4 ]   u s es  h y b r id   AR I M A   a n d   d ee p   n eu r al  n et w o r k   m o d el  to   f o r ec ast  f u tu r p r ices  o f   ca r b o n .   Ma t y j a s ze k   et  a l.   [ 5 ]   i m p le m en ts   a n   AR I MA   m o d el  i n   o r d er   to   f o r ec as co k i n g   co al  p r ices  in   t h m in in g   i n d u s tr y .   O h y v e r   an d   P u d j ih astu ti   [ 6 ]   u s es  th e   AR I M A   m o d el  to   f o r ec ast  r i ce   p r ice.   T h ese  ar e   on l y   f e w   ex a m p les  o f   t h ap p licatio n   o f   AR I M A   t h at  r e m ai n s   w id el y   e m p lo y ed   i n   m u ltip le  d o m ai n s   to   m ak e   ac cu r ate   f o r ec ast s .   AR I MA   i s   al s o   u s ed   f o r   d e m an d   f o r ec asti n g .   Fo r   in s tan ce ,   Oliv eir et   a l.   [ 7 ]   p r o p o s es  d o u b le  s ea s o n al  AR I M A   m o d el  to   m ak ac c u r ate  s h o r t - ter m   w ater   d e m an d   f o r ec asts .   A l - Mu s a y l h   et  a l.   [ 8 ]   ap p lies   AR I M A ,   M AR S,  a n d   SV R   i n   s h o r ter m   ele ctr icit y   d e m an d   f o r ec asti n g .   An g g r ae n et  a l.   [ 9 ]   co m p ar es  b et w ee n   A R I M A   a n d   AR I M A r es u lts   f o r   k id s   clo th es  d e m a n d   f o r ec asti n g .   Am i n et  a l.   [ 1 0 ]   ap p lie s   A R I M f o r   a n   elec t r ic  v e h icle  c h ar g i n g   d e m an d   ti m e   s er ie s   f o r ec asti n g .   An d   W an g   et   a l.   [ 1 1 ]   i m p le m en t s   m o d i f icatio n   ap p r o ac h   in   s ea s o n a A R I M A   f o r   elec tr icit y   d e m a n d   f o r ec asti n g .   Neu r al  n et w o r k s   o n   t h o t h er   h an d ,   ar u s ed   f o r   n o n li n ea r   t i m s er ie s   m o d eli n g .   So m ap p licatio n s   in   d e m an d   f o r ec asti n g   i n cl u d e:  I n   th e   p ap er   [ 1 2 ] ,   n eu r al  n et w o r k s   ar ap p lied   f o r   d e m a n d   f o r ec asti n g   o f   a n   en g i n o il.  Sh ar m et  a l.   [ 1 3 ]   ap p lies   n eu r al  n et w o r k s   to   p r ed ict  en er g y   d e m a n d ,   ca r b o n   d io x id em i s s io n s   an d   w in d   g en er at io n .   Ma ti n o   et  a l.   [ 1 4 ]   im p le m en t s   n eu r al  n et w o r k - b ased   m o d el s   f o r   b last   f u r n ac g a s   p r o d u ctio n   an d   d em a n d   p r ed i ctio n   p r o b lem .   A n d   Sil v et  a l.   [ 1 5 ]   u s es  d en o is ed   n eu r al  n et w o r k s   to   f o r ec ast   to u r is m   d e m a n d .   I n   [ 1 6 ] ,   C o n v o lu tio n al  n eu r al  n et w o r k   i s   a p p lied   to   tack le  th p r o b lem   o f   p r ed ictin g   s h o r t - ter m   s u p p l y - d e m a n d   g ap   o f   r i d e - s o u r ci n g   s er v ice s ,   w h er t h r ee   h ex a g o n - b ased   co n v o l u tio n al  n e u r al  n et w o r k s   (H - C N N)   ar p r o p o s ed .   Ke  et  a l.   [ 1 7 ] ,   p r o p o s h y b r id   ap p r o ac h   o r   th f u s io n   co n v o lu tio n al  lo n g   s h o r t - ter m   m e m o r y   n et w o r k ,   w h er m u l tip le  co n v o l u tio n a lo n g   s h o r t - ter m   m e m o r y   ( L ST M)   lay e r s ,   s tan d ar d   L ST M   la y er s ,   an d   co n v o l u tio n al  la y er s   ar f u s ed   ai m i n g   to   f o r ec ast  p ass en g er   d e m a n d   u n d er   an   o n - d e m a n d   r id s er v ice  p lat f o r m .   Am ar a s in g h et  a l.   [ 1 8 ]   co m p ar es   co n v o lu tio n al   n e u r al  n et w o r k s   to   p e r f o r m   e n er g y   lo ad   f o r ec asti n g   b ased   o n   h is to r ica lo ad s   o f   s in g le  r es id en tial   cu s to m er   to   lo n g   s h o r t - ter m   m e m o r ie s   ( L ST M)   s eq u en ce - to - s eq u e n ce   ( L ST S2 S),   f ac to r ed   r estricte d   B o ltz m an n   m ac h i n es  ( F C R B M) ,   ar tif icial  n e u r al   n et w o r k s   ( A NN)   an d   s u p p o r v ec to r   m ac h i n es  ( SVM) .   T h o b tain ed   r esu lts   d e m o n s tr ate  th a t h C NN   o u tp er f o r m ed   SV R   w h i le  p r o d u cin g   co m p ar ab le  r esu lts   to   th n eu r al  n et w o r k   an d   d ee p   lear n in g   m o d els.   Th p r esen t   p ap er   tack les   th e   p r o p o s ed   s o lu tio n   w h ich   is   u s in g   ti m s er ies  f o r ec asti n g   m o d el s   a n d   d ee p   lear n in g   m o d els   f o r   d em an d   p r ed ictio n .   I n   ad d itio n ,   th co n v o lu tio n al  n e u r al  n e t wo r k   h as  b ee n   r ar el y   u s ed   in   t h liter at u r e.   Usi n g   it  in   co m p ar is o n   w it h   o th er   m o d els co n s i s ts   o f   th m ai n   co n tr i b u tio n   o f   t h p ap er .   Th n o v elt y   p r ese n ted   in   t h is   p ap er   is   th e   p er f o r m a n ce   ev al u atio n   a n d   co m p ar ativ s t u d y   u s i n g   r ea d ataset   p r o v id ed   b y   s u p er m ar k et  in   Mo r o cc o .   T h p r ed ictiv p er f o r m an ce s   o f   f o u r   p r ed ictio n   m eth o d s   ar e   p r esen ted .   Na m el y ,   t h au to r eg r ess i v in teg r ated   m o v in g   av er ag ( A R I M A )   as  s tati s tic al  m o d el,   th m u l ti - la y er   p er ce p tr o n   ( ML P )   f ee d f o r w ar d   n e u r al  n et w o r k   [ 1 9 ,   2 0 ] ,   th co n v o l u tio n a n e u r al   n et w o r k   ( C NN  o r   C o n v Net)   a   d ee p   lean i n g   m o d el  an d   th e   lo n g   s h o r ter m   m e m o r y   m o d el  ( L S T M)   r ec u r r en n e u r al  n et w o r k .   T h ese  m o d els  w er ch o s e n   o n   o r d er   to   c o m p ar b et w ee n   t h d if f er en t y p es  o f   n e u r al  n et w o r k s .   Ma in l y   t h e   f ee d f o r w ar d ,   th co n v o l u tio n a l a n d   th r ec u r r en t n et w o r k s .   T h r em ai n d er   o f   th is   p ap er   is   o r g an ized   as  f o llo w s T h s ec o n d   p ar p r esen ts   an   o v er v i e w   o f   t h p r o p o s ed   p r e d ictio n   m et h o d s   b ased   o n   ti m s er ies  m et h o d s .   T h en ,   th th ir d   s ec tio n   is   d ed icate d   to   ex p lain   th e   ad o p ted   m et h o d o lo g y   an d   ill u s tr ate  t h o b tain ed   f o r ec asti n g   r es u lt s   in   co m p ar ativ an al y s is   b ased   o n   n u m er ical  e x p er i m e n tatio n s   u s in g   r ea d ataset  o f   lo ca s u p er m ar k et.   Fin al l y ,   t h co n cl u d in g   r e m ar k s   a n d   th f u t u r w o r k   ar p r esen ted .       2.   P RO P O SE P RE D I C T I O N   M E T H O DS   T im s er ies  ca n   b d ef in ed   as   s er ies  o f   d ata  p o in ts   r ec o r d ed   an d   an al y ze d   in   ti m o r d er ,   it  is   a   s eq u en ce   ta k e n   at  eq u all y   s p a ce d   ti m p er io d s   [ 2 1 ] .   T h o n l y   in d ep en d e n v ar iab le  i n   ti m s er ies  m et h o d s   is   ti m e.   T h an a l y s is   o f   ti m s er ies  is   th p r o ce s s   o f   ex tr ac tin g   m ea n i n g f u in f o r m at io n   a n d   s tatis tics   f r o m   t h e   d ata.   T h f o r ec asti n g   o f   ti m s er ies   is   t h p r o ce s s   o f   e s t i m ati n g   t h f u t u r v a lu e s   o f   th e   d ata  b ased   o n   p r ev io u s l y   o b s er v ed   d ata  p lu s   s o m o t h er   f ea t u r es   [ 2 2 ] .   C o n tr ar y   to   s u p er v i s ed   m o d e ls   f o r ec asti n g   w h er d ata  is   p r ed icted   u s in g   m u lt ip le  f ea t u r es,  i n   ti m e   s er ie s   f o r ec asti n g ,   v ar iab le  is   p r ed icted   u s i n g   p a s t   o b s er v atio n s   o f   th s a m v ar iab le.   T h Fig u r 1   s h o w s   d if f er en m et h o d s   u s ed   i n   ti m e   s er ies  f o r ec asti n g :   Fo r ec asti n g   tech n iq u es a r ca t eg o r ized   in to   t w o   f a m ilie s :     P ar am etr ic  m et h o d s   b ased   o n   m at h e m atica l   to o ls   a n d   s tati s tical  a n al y s i s   u s in g   h i s to r ical  d ata  s u c h   a s   lin ea r   an d   n o n lin ea r   r eg r es s io n ,   au to r eg r es s i v in te g r ated   m o v i n g   av er ag e.   Ne v er th ele s s ,   th o s m e th o d s   ar co m p licated   to   u s e.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r a tive  a n a lysi s   o f sh o r t - term d ema n d   p r ed ictin g   mo d e ls   u s in g   A R I MA  a n d ...   ( Ha lima   B o u s q a o u i)   3321     No n - p ar a m e tr ic  m et h o d s   b as ed   o n   m ac h i n e   lear n i n g   w it h   th e   ab ilit y   o f   lear n in g   a n d   a p p r o ac h in g   a n y   n o n li n ea r   f u n ctio n .   T h o s te ch n iq u es   ar m o s tl y   b ased   o n   t h u s o f   ar ti f icial   i n tel lig e n ce   s u c h   a s   ar tif icial  n eu r al  n et w o r k s   th at  o f f er   f lex ib le  p ar a m eter s   d u r in g   th lear n i n g   a n d   i m p le m en ta tio n   p h ase s .             Fig u r 1 T im s er ies  f o r ec asti n g   m et h o d s   [ 2 2 ]       2 . 1 .     Aut o re g re s s iv inte g ra t ed  m o v ing   a v er a g ( ARI M A)   T h A R I M A   m eth o d o lo g y   was  o r ig in all y   d ev elo p ed   b y   B o x   an d   J en k i n s   i n   th 1 9 7 0 s .   A   m o d el  i s   d en o ted   b y   AR I M A   ( p , d , q )   an d   is   co m p o s ed   o f :     An   Au to r eg r ess iv m o d el  o f   o r d er   p   ( n u m b er   o f   la g s ) .     I n teg r ated   r e f er s   to   t h s tep   o f   r e m o v i n g   n o n   s ta tio n ar it y   b y   d i f f er e n ci n g   th e   d ata.   d   i s   t h d eg r ee   o f   d if f er e n ci n g .     A   Mo v in g   av er a g m o d el  o f   o r d er   q .     2 . 1 . 1 .   Aut o re g re s s iv m o del   T h au to r eg r es s iv e   m o d el   A R ( p )   o f   o r d er   p   s tates   t h at  t h o u tp u v ar iab le  d ep en d s   o n   it s   p r ev io u s   v alu e s w it h   s o m lag   p l u s   r a n d o m   ter m . T h au to r e g r ess i v e   m o d el  AR ( p )   is   d ef in ed   as:     = + 1 1 + 2 2 + +       2 . 1 . 2 .   Dif f er encing   A   t i m s er ies  i s   ca lled   n o n   s t atio n ar y   w h e n   th e   v al u es  o f   t h d ata  ar d ep en d en o n   t i m e.   A   n o n - s tatio n ar y   ti m s er ies  ca n   b ch an g ed   in to   s tatio n ar y   b y   d i f f er en ci n g   t h ti m s er ies.  Di f f er en ci n g   r e f er s   to   s u b tr ac ti n g   s o m p a s v a lu e s   o f   t h d ata  n u m b er   o f   ti m e s .   d   th d eg r ee   o f   d i f f er en ci n g   r ef er s   to   t h at  n u m b e r   o f   ti m e s .   Gen er all y ,   s er ies   m ig h n ee d   f ir s t - d i f f er en ci n g   m u ltip le  d   ti m es  to   attain   s tatio n ar it y   [ 2 3 ] .     d i f f er e n ci n g   o f   d e g r ee   1   is   as :       = 1       2 . 1 . 3 .   M o v ing   a v er a g m o del   T o   d ea w it h   n o n - s tat io n ar it y ,   w c h ar ac ter ize  t h ti m s er ies  as  t h s u m   o f   n o n - co n s tan m ea n   v alu p l u s   r an d o m   er r o r   v ar i ab le  [ 2 3 ] :     = +       I n   s m o o t h i n g   m e th o d s ,   v ar iab le  is   f u n ctio n   o f   s o m p ast  o b s er v atio n s ,   w h ic h   m ea n s   th a th e   f u tu r v a lu o f   t h ti m s er i es  is   th w ei g h ted   av er ag o f   s o m p ast  o b s er v at io n s .   A s   s u ch ,   t h m o v i n g   av er ag M A ( q )   o f   o r d er   q   ca n   b e   w r itte n   as th w e ig h ted   av e r ag o f   th p ast q   er r o r s .       = + + 1 1 + 2 2 + +     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 1 9   -   3328   3322   2 . 1 . 4 .   Aut o re g re s s iv inte g ra t ed  m o v ing   a v er a g e   AR I M A   is   m i x ed   m o d el  th at  co m b i n es  b o th   t h d if f er en ce d   au to r eg r ess i v an d   m o v in g   av er ag e   m o d el s .   T h e   f i n al  f o r m   o f   t i m s er ie s   m o d el,   w h ic h   d ep en d s   o n   it s   o w n   p   p ast  v al u e s   an d   o n   t h q   p ast   v alu e s   o f   w h ite  n o is er r o r   ter m s   [ 2 1 ] ,   is   as:      = + 1 1 + 2 2 + +   + + 1 1 + 2 2 + +       w it h     d if f er e n ce d   to   d eg r ee   d .   T h is   r ep r esen ts   th AR I M A ( p , d , q )   m o d el.       2 . 2 .     M a chine le a rning   ba s ed  m et ho ds   Th a r tif icial  n e u r al  n et w o r k s   ar p o p u lar   m ac h i n lear n i n g   alg o r ith m s   t h at  s i m u late  h o w   t h h u m a n   b r ain   b eh av e s   an d   lear n s .   Neu r al  r ef er s   to   n eu r o n s ,   th e y   ar ce lls   co n tai n ed   in   t h h u m a n   n er v o u s   s y s te m .   T h e   n eu r o n s   ar co n n ec ted   to   o n an o th er   w ith   t h u s o f   d en d r ites   an d   ax o n s ,   w h ile  s y n ap s es  ar th r eg io n s   co n n ec ti n g   b et w ee n   t h ese  a x o n s   [ 2 4 ] .   A r ti f icial   n e u r al  n e t w o r k s   ( ANN)   ar an   ar ti f ic ial  i n telli g e n ce   m et h o d   in s p ir ed   f r o m   t h f u n ct io n i n g   o f   th e   b io lo g ical  n eu r al   n et w o r k s   c h ar ac ter ized   b y   cir c u it  o f   in ter co n n ec ted   n e u r o n s   o r g an ized   as  m u ltip l e   in ter co n n ec ted   la y er s : a n   i n p u t la y er ,   o n e   o r   m o r h id d en   la y er s   a n d   an   o u tp u t la y er .   A N N s   ar v er y   p o w er f u l   in   t h w a y   th a th e y   ca n   id en t if y   co m p le x   li n ea r /n o n - l in ea r   r elatio n s h ip s   b et w ee n   in p u ts   a n d   o u tp u t s .   Neu r a l   n et w o r k s   ar u s ed   in   v ar io u s   f ield s   f r o m   c lass if ica tio n ,   to   f o r ec asti n g ,   to   ap p r o x i m atio n ,   to   d iag n o s is ,   to   i m a g e   p r o ce s s in g   o r   ev e n   r ec o g n i tio n .   T h er ar tw o   t y p es o f   n e u r al  n et w o r k s     Feed f o r w ar d   n e u r al  n et w o r k ,   o r   also   ca lled   n o n - r ec u r r en n e u r al  n et w o r k   w h er in f o r m a tio n   f lo w s   o n l y   i n   o n d ir ec tio n   g o in g   f r o m   t h e   in p u to   th o u tp u la y er   all   th w a y   t h r o u g h   th h id d en   lay er   o r   l a y er s .   Ho w e v er ,   th e y   h a v n o   ab ilit y   to   m ai n tai n   h is to r ical  i n p u t s   as th e y   o n l y   co n s id er   th cu r r e n t in p u ts .       R ec u r r en n e u r al  n et w o r k ,   w h er in f o r m at io n   c y c le s   i n   lo o p   in   b o th   d ir ec tio n s ,   f r o m   t h in p u la y er   to   th o u tp u la y er   a n d   th o t h er   w a y   ar o u n d .   So m n et w o r k s   a llo w   t h p er s i s te n ce   o f   i n f o r m atio n   b y   ta k i n g   in to   ac co u n t th c u r r en t i n p u as  w e ll a s   i n p u t s   r ec eiv ed   p r ev io u s l y .         2 . 2 . 1 .   M ulti - la y er   perc ept ro n ( M L P )   T h is   s p ec if ic  ar ch itect u r o f   m u lti - la y er   n eu r al  n e t w o r k s   i s   ca lled   f ee d - f o r w ar d   n eu r a n et w o r k ,   b ec au s m u ltip le  s u cc es s i v l a y er s   f ee d   in to   o n a n o th er   i n   th f o r w ar d   d ir ec tio n   f r o m   in p u to   o u tp u t”   [ 2 4 ] T h er ef o r e,   th m u lti - la y er   p er ce p tr o n   n et w o r k   g en er ate s   an   o u tp u f r o m   s o m g iv e n   in p u ts .   T h ey   co n s is o f   m u ltip le  la y er s   o f   n o d es  o r   n eu r o n s   ( at  leas th r ee ) .   On i n p u la y er ,   s o m h id d en   la y e r s ,   an d   o n o u tp u t   la y er .   E v er y   n o d ex ce p t h i n p u o n es  ar ca lled   n eu r o n s .   No n li n ea r   ac tiv at io n   f u n ctio n s   ar u s ed   to   m o d el   th n o n - lin ea r it y   o f   g i v en   p r o b lem .   T h co m p u ta tio n   h ap p en s   i n   th h id d en   la y er s .     Firstl y ,   th e   f ir s la y er   s e n d s   i n p u d ata  to   th h id d en   n o d es  i n   t h h id d en   la y er .   T h ese  n o d es  co m b i n e   th d ata  w it h   s et  o f   co ef f ic ien ts   o r   w ei g h ts   t h at  eith er   am p li f y   o r   m in i m ize  th in p u t ,   th en   th r es u lti n g   p r o d u cts  ar a d d ed .   Fin all y ,   a n   ac tiv atio n   f u n c tio n   is   ap p lied   to   th s u m .   T h ac tiv atio n   f u n ct io n   d eter m i n es   h o w   m u c h   an d   w h e th er   t h s i g n al  p r o g r ess es t h r o u g h   th n et w o r k   to   a f f ec t t h f in a l r es u l t.     2 . 2 . 2 .   L o ng   s ho r t - t er m   m e mo ry   ( L ST M )   T h L ST n et w o r k   w a s   i n tr o d u ce d   b y   Ho c h r eiter   a n d   Sc h m id h u b er   i n   1 9 9 7   [ 2 5 ] .   I is   a   r ec u r r en n eu r al  n et w o r k ,   s p ec if icall y   a   g ated   ne t w o r k   u s ed   i n   d ee p   lear n i n g .   Me a n i n g   it  h as  f ee d b ac k   co n n ec tio n s   u n l ik e   th e   f ee d f o r w ar d   n eu r al  n et w o r k s .   I ca n   b u s ed   in   class i f icatio n   an d   f o r ec asti n g   o f   ti m s er ies  an d   it  is   esp ec iall y   e f f ec ti v i n   s o lv i n g   s eq u e n tial p r o b le m s   li k s p ee ch   an d   h a n d w r itte n   r ec o g n i t io n .     L ST Ms  ar ab le  to   lear n   lo n g - ter m   d ep en d en c ies;   in   o th er   w o r d s ,   th e y   e x ce l   at  r e m e m b er i n g   in f o r m atio n   f o r   lo n g   p er io d s   o f   ti m e A   L ST u n it  is   co m p o s ed   o f   ce ll  ( th at  h as  s elf - l o o p ) ,   an   in p u g ate,   an   o u tp u g ate  an d   f o r g et  g ate.   T h ce ll  r em e m b er s   v al u es  o v er   in ter v als  o f   ti m wh ile  th t h r ee   g ates   co n tr o l th f lo w   o f   in f o r m at io n   in to   a n d   o u t o f   it.  An   ex a m p le  o f   ce ll u n it is   s h o w n   in   t h e   Fig u r 2 .     =  ( + 1 +   )   .   ( 1 )     = ( + 1 +   )   .   ( 2 )     = ( + 1 +   )   .   ( 3 )     =   1 +   ( 4 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r a tive  a n a lysi s   o f sh o r t - term d ema n d   p r ed ictin g   mo d e ls   u s in g   A R I MA  a n d ...   ( Ha lima   B o u s q a o u i)   3323   = ( + 1 +   )   .   ( 5 )     =   ta n h   ( )   ( 6 )     T h ce ll r ec eiv es a s   in p u t t h cu r r en t i n p u   an d   th p r ev io u s   ce ll o u tp u 1 . I t o u tp u ts   .           Fig u r 2 .   T h s tr u ctu r o f   t y p ical  m e m o r y   ce l l o f   L ST M   [ 2 6 ]       2 . 2 . 3 .   Co nv o lutio na l   neura net w o rk s   ( CNN  o Co nv Net )   A   co n v o lu tio n al  n eu r al  n et wo r k   is   s p ec if ic  t y p o f   ar ti f icial  n eu r al  n et w o r k   u s u all y   u s ed   f o r   co g n iti v tas k s   s u c h   as  i m ag r ec o g n itio n ,   i m a g p r o ce s s in g   an d   n atu r al  la n g u a g p r o ce s s in g   a n d   ti m s er ie s   d ata  an d   m o r e.   C NN  i s   t h m o s p o p u lar   d ee p   lear n i n g   a lg o r ith m   m o d el  u s ed   f o r   i m a g p r o ce s s i n g ,   it  i s   s i m p ler   to   tr ai n   a n d   m o r e f f e ctiv t h a n   t h tr ad itio n a n e u r al  n et w o r k s   s in ce   it  h as   th e   a b ilit y   to   ca p t u r t h te m p o r al  an d   s p atial  d ep en d e n cies   in   an   i m ag e   b y   ap p l y in g   t h ap p r o p r iate  f ilter s   w it h   a n   i n d ep en d en ce   f r o m   h u m a n   ef f o r t.  I n d ee d ,   th la y e r s   in   C NN  ar ch itec tu r ar ar r an g ed   i n   o r d er   to   co v er   th en tire   v is u al  f ield   th a h elp s   to   av er t t h p iece m ea l i m ag e - p r o ce s s i n g   p r o b lem   i n   tr ad itio n al  n e u r al  n et w o r k s .     Si m i lar   to   th m u ltil a y er   p er ce p tr o n   ( ML P )   s tr u ctu r o f   n eu r al  n et w o r k s ,   th la y er s   in   C NN  a r ca teg o r ized   in to   t h r ee   t y p e s a n   i n p u la y er ,   a n   o u tp u la y er   an d   h id d en   la y er .   T h er ar t w o   t y p es  o f   h id d en   la y er s   [ 2 7 ]     Featu r lear n in g   la y er s ,   p er f o r m in g   t h r ee   t y p e s   o f   o p er atio n s co n v o l u tio n ,   p o o lin g ,   a n d   r ec tif ied   li n ea r   u n i t ( R e L U)   o n   th i n p u t d ata;     C las s i f icatio n   la y er s ,   co m p o s e d   o f   f u ll y   co n n ec ted   la y er s   an d   n o r m a lizatio n   la y er s .       3.   E XP RIM E NT AT I O RE S UL T S AN D I SCU SS I O N   3 . 1 .     Aut o re g re s s iv inte g ra t ed  m o v ing   a v er a g ( ARI M A)   3 . 1 . 1 .   T he  pro po s ed  a pp ro a ch   T h AR I M A   ( p , d , q )   m o d el  is   d eter m i n ed   b y   ch o o s i n g   t h t h r ee   p ar a m eter s   p , d ,   an d   q .   T h p lo o f   th d ata  w ill  d eter m in t h o r d er   o f   d if f er en c in g   d ,   th AC p lo w il d eter m i n th lag   q ,   an d   th P AC p lo t   th la g   p .   B esid es,  th m o d el  is   i m p r o v ed   b y   u s in g   t h e   g r id   s ea r ch   i n   o r d er   to   ch o o s th e   b est  p , d , q   p ar am eter s .   T h m o d els  ar e   ev al u ated   w it h   t h R MSE ,   th R o o Me an   Sq u ar E r r o r ,   th at  i s   t h m o s t   f r eq u en tl y   u s ed   m etr ic s   o f   p r ed ictio n   p er f o r m an ce   an d   ca l cu lated   as  th s q u ar r o o o f   th Me an   Sq u ar e   E r r o r ,   w h er th M SE  is   t h ar ith m etic  m ea n   o f   t h s q u ar es  o f   t h d i f f er e n ce s   b et w ee n   f o r ec asts   a n d   o b s er v atio n s .     3 . 1 . 2 .   T he  ACF   a nd   P ACF   p lo t s   I n   th Fi g u r e   3 ,   d e m a n d   is   p r esen ted   as  t i m s er ies  d at h av in g   t h d a y   i n   t h x - a x is   an d   t h e   d em a n d   q u an tit y   o n   th y - a x i s .   W n o tice  th at  th ti m s er i es  m i g h b s tatio n ar y   a n d   s o   m i g h n o r eq u ir d if f er e n ci n g ,   b u to   b s u r e,   at  least   d i f f er e n ce   o r d er   o f   1   w ill   b ap p lied .   Nex let  u s   lo o k   a t h e   au to co r r elatio n   f u n ctio n   ( AC F)  an d   p ar tial  au to co r r elatio n   f u n ctio n   ( P A C F)  p lo ts   o f   th ti m s er ies   i n     Fig u r 4 .   T h A C p lo is   d esig n ed   to   s h o w   w h et h er   t h el e m en ts   o f   t i m e   s er ies   ar p o s iti v el y   co r r elate d ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 1 9   -   3328   3324   n eg at iv el y   co r r elate d ,   o r   ze r o   co r r elate d   ( in d ep en d en o f   ea ch   o th er ) .   I n   o th er   w o r d s ,   it  d escr ib es  h o w   w ell   th p r esen v a lu e s   i n   t h s er ies   is   r el ated   to   its   p ast  v alu e s .   P A C is   a   s u m m ar y   o f   th r e latio n s h ip   b et w ee n   o b s er v atio n s   i n   a   ti m s er ies  w it h   o b s er v atio n s   a p r io r   ti m s tep s   af ter   ex c lu d i n g   t h co n tr ib u tio n s   f r o m   t h e   in ter m ed iate  lag s .             Fig u r 3 .   De m an d   p er   d a y   p lo t     Fig u r 4 .   AC an d   P AC F p lo t s   f o r   d e m an d   q u a n tit y   s er ies       W in itiall y   ta k th o r d er   o f   AR   ter m   to   b eq u al   to   a s   m a n y   la g s   th a cr o s s e s   t h e   s i g n if i ca n ce   li m i in   t h P A C p lo t.  T h is   s u g g e s ts   t h at  g o o d   s tar f o r   t h a u t o r eg r ess i v p o r tio n   o f   t h m o d el  is   AR ( 2 )   th at  i s   an   au to - r eg r es s io n   m o d el  w it h   t w o   lag   o b s er v atio n   u s ed   as  in p u t.  In   th s a m w a y   t h a t   w lo o k ed   at  th e   P A C F   p lo f o r   t h q u a n tit y   o f   th e   AR   p ar o f   t h m o d el,   w e   ca n   lo o k   at   t h AC F   p lo f o r   th n u m b er   o f   M ter m s .   O n l y   o n lag   i s   ab o v t h s i g n if ica n ce   li n e.   So   let  u s   f i x   th o r d er   as M A ( 1 ) .     3 . 1 . 3 .   F it t ing   t he  ARI M A( 2 , 1 , 1 )   m o del   No w   th at   w h a v d eter m in e d   th v al u es   o f   p ,   d   a n d   q ,   we  ca n   f i t h AR I M A   m o d el.   Usi n g   th e   AR I M A ( 2 , 1 , 1 )   im p le m e n tatio n   in   s ta ts m o d el s   p ac k ag i n   P y th o n   w f it  t h m o d el  an d   we  g et  th f o llo w i n g   r esu lt s .   T h Fig u r e s   5   an d   6   s h o w   t h at  t h r esid u al  er r o r s   ar n ea r   ze r o   m ea n   w it h   u n if o r m   v ar ia n ce .   Nex t,   let  u s   ca lc u late  t h r o o m ea n   s q u ar ed   er r o r   ( R MSE )   an d   p lo th ac t u al  v s   p r ed icted   v al u es.   U s i n g   s k lear n   an d   s tats m o d els p ac k a g es o f   p y th o n   w f it a n   AR I M A ( 2 , 1 , 1 )   m o d el.   T h is   r esu lts   i n   a n   R M SE  o f   8 2 3 . 9 4 5 .           Fig u r 5 .   AR I M A   f it r es id u al  er r o r   lin p lo t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r a tive  a n a lysi s   o f sh o r t - term d ema n d   p r ed ictin g   mo d e ls   u s in g   A R I MA  a n d ...   ( Ha lima   B o u s q a o u i)   3325       Fig u r 6 .   AR I M A   f it r es id u al  er r o r   d en s it y   p lo t       A   li n p lo t   i n   Fi g u r 7   is   cr ea ted   s h o w i n g   t h e x p ec ted   v alu e s   ( b lu e)   co m p ar ed   to   th f o r ec ast   p r ed ictio n s   ( r ed ) .   W e   ca n   co n clu d th at  th m o d el  is   i n   n ee d   o f   f u r th er   tu n i n g   o f   t h p ,   d ,   an d   q   p ar am eter s .   Fo r   b etter   f it  o f   th m o d el  to   th d ata,   o th er   p ar am eter s   p ,   d ,   an d   q   ar test ed   u s in g   th g r id   s ea r ch i n g   p ar am eter s   ap p r o ac h .           Fig u r 7 .   P r ed icte d   v s   ac tu al  d e m an d   q u a n tit ies       2 . 1 . 4 .   G rid sea rc hin g   pa ra met er s   T h p r o ce s s   o f   tr ain in g   an d   ev alu ati n g   AR I M A   m o d els   o n   d if f er en co m b i n atio n s   o f   m o d el  h y p er p ar a m eter s   ca n   b au to m ated .   T h is   is   ca lled   g r id   s ea r ch   o r   m o d el  tu n in g   in   m ac h in lear n in g .   W s p lit  th d ata  s et   in   t w o 6 6 f o r   t h tr ain i n g   s et  a n d   3 4 f o r   t h test   s et . W c h o s t h p   v al u e s   to   r an g f r o m   1   to   1 0 ,   th d   v alu e s   f r o m   0   to   3   an d   t h q   f r o m   0   to   3 .   T h b est  AR I M A   m o d el  t h at  y ield ed   th e   b est  R MSE   is   AR I M A ( 6 ,   0 ,   0 )   w it h   an   R M SE  o f   4 8 5 . 6 9 0 .   T h is   is   s h o w n   in   th F ig u r 8 .   W n o tice  t h at  th lo w er   th p   v alu t h h ig h er   t h R MSE .     3 . 2 .     M ulti - la y er   perc ept ro n ( M L P )   T h m u lti - la y er   p er ce p tr o n   n eu r al  n et w o r k   is   u s ed   to   f o r ec ast  th d e m an d   q u a n tit y   i n   s i m p l e   s u p p l y   c h ai n   co m p o s ed   o f   o n e   r etailer   an d   o n s u p p lier .   T h d ata  b elo n g s   to   Mo r o cc an   s u p er m ar k et  d ataset.   P r ed ictin g   t h d e m a n d   o f   g i v en   d a y   d   i n v o lv e s   t h d e m a n d   q u an tit ies o f   t h t h r ee   p r ev io u s   w ee k s   ( d - 7 ,   d - 14  an d   d - 2 1 ) .     T h n eu r al  n et w o r k   i s   co m p o s ed   o f   t h r ee   h id d en   la y er s   ea ch   co n ta in i n g   1 0   n e u r o n s . T h n eu r a l   n et w o r k   is   tr ain ed   u s i n g   t h ad am   v er s io n   o f   t h g r ad ien d escen t,  th m s lo s s   f u n ctio n   an d   th r elu   f u n c tio n   as  a n   ac ti v atio n   f u n ctio n .   T h i s   r es u lts   i n   a n   R MSE   o f   0 . 1 4 0   in   th e   test   s et   a f ter   n o r m ali za tio n   a n d   4 6 4 . 2 6 1   b ef o r n o r m aliza tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 1 9   -   3328   3326       Fig u r 8 G r id   s ea r ch in g   p ar am eter s   r es u lt s       3 . 3 .     L o ng   s ho rt - t er m   m e m o ry   ( L ST M )   I n   p r ev io u s   s tu d y   [ 2 6 ] L o n g - Sh o r T er m   Me m o r y   i s   u s e d   to   f o r ec ast  d em a n d .   I n   ad d itio n   to   th e   in p u t s   p r o p o s ed   in   th M L P   m o d el,   th L ST h as  ti m d i m e n s io n .   I h a s   th r e e - d i m e n s io n al  s h ap e   co m p o s ed   o f   t h n u m b er   o f   e x a m p les,  t h n u m b er   o f   i n p u t s ,   an d   th n u m b er   o f   ti m s tep s   [ 28] .   I n   th e   p r o p o s ed   n eu r al  n et w o r k ,   t h d e m a n d   o f   a   g iv e n   d a y   d ”  is   p r ed icted   u s i n g   d e m a n d   q u an t ities   o f   th d a y s d - 6 ,   d - 1 2 ,   an d   d - 1 8 .   T h er ef o r e,   w m o d el  th p r o b lem   as  th r ee   ti m e - s tep s   p r ed ictio n   o n   o n e   in p u co r r esp o n d in g   to   t h q u an tit y   o f   t h d a y ,   a n d   th is   f o r   ea ch   o u tp u t.  T h is   in s tead   o f   c o n s id er in g   t h at  t h e   d ata  is   co m p o s ed   o f   th r ee   in p u ts   as  w d id   in   t h ML P   s t u d y .   T h L ST n et w o r k   is   co m p o s ed   o f   5 0   n eu r o n s   in   th h id d en   la y er   an d   1   n eu r o n   in   t h o u tp u la y er .   T h r o o m ea n   s q u ar ed   er r o r   an d   t h ef f icie n A d a m   v er s io n   o f   th s to c h asti g r ad ien is   u s ed .   T h is   y ie ld ed   an   R M SE  af ter   n o r m aliza tio n   o f   0 . 1 3 8   an d   an   R MSE   b ef o r n o r m aliza t io n   o f   4 5 7 . 9 5 8 .       3 . 4 .     Co nv o lutio na l neura l net w o rk   ( CNN  o Co nv Net )   T h co n v o lu t io n al  n e u r al  n et w o r k   ( C NN  o r   C o n v Net)   is   s p ec ial  t y p o f   n eu r al  n et wo r k   m o d el   u s ed   f o r   w o r k i n g   w it h   t w o - d im en s io n a an d   th r ee - d i m e n s io n al  d ata  lik i m ag e s ,   it  ca n   b ap p lied   w it h   o n e - d i m en s io n al   d ata  li k ti m e   s er ies.   T h p r o p o s ed   co n v o lu tio n al  n eu r al   n e t w o r k   i s   co m p o s ed   o f   t h f o llo w in la y er s :     o n e - d i m e n s io n al   co n v o lu tio n al  la y er   w it h   6 4   f ilter s ,   k er n el  s ize  o f   2   a n d   a n   in p u s h a p o f   ( 3 , 1 ) ,   th e   ac tiv atio n   f u n ctio n   co n s is ts   o f   th r elu   f u n ctio n ;     A   o n e - d i m en s io n al  m a x   p o o lin g   la y er   w it h   f il ter   o f   s ize  2 ;     A   f latte n   la y er ;     A   f u ll y   co n n ec ted   la y er   co m p o s ed   o f   5 0   n eu r o n s   w it h   r elu   b ein g   t h ac ti v atio n   f u n c tio n .   W tr ain   th m o d el  u s in g   t h e   ad am   v er s io n   o f   s to ch a s tic  d escen a n d   th MSE   lo s s   f u n ctio n .   T h tr ain i n g   a f ter   2 0 0   ep o ch s   r esu l ts   in   R MSE   o f   0 . 1 3 8   af ter   n o r m aliza tio n ,   an d   4 5 7 . 0 7 9   b ef o r n o r m a lizatio n .     3 . 5 .     Dis cu s s io n   I n   m ac h i n lear n i n g   t h p r ed ictio n   ac cu r ac y   is   u s ed   f o r   d is cr ete  p r o b lem s ,   m ea n i n g   cla s s i f icatio n   o n es.  Si n ce   w ar d ea lin g   w i th   r eg r ess io n   p r o b lem ,   w c h o s to   ev al u ate  th m o d els  u s in g   t h r o o m ea n   s q u ar ed   er r o r   R MSE ,   in   ad d iti o n   to   s o m e   o th er   cr iter ia .   T h R MSE   m ea s u r es  h o w   clo s th r ea v al u es  ar to   th p r ed icted   o n es.  Hen ce   its   u s e.   A s   s h o w n   i n   T ab le  1 th w o r s p r ed ictio n   r es u lt s   ar o b tain ed   w it h   AR I M A   m o d e w h ic h   i s   u n d er s ta n d ab le  s i n ce   it  i s   l in ea r   m o d el.   T h n e u r al  n e t w o r k s   p r o p o s ed   m o d els,  o n   t h o th er   h an d ,   ar e   n o n li n ea r   m o d els  t h at  ca n   a p p r o x im a te  an y   f u n c tio n ,   h e n ce   th b etter   r esu lt s .   C NN  h as  s h o w n   t h b est   R MSE ,   s li g h t l y   b etter   t h an   th L ST m o d el.   T h is   m i g h b th a n k s   to   its   ab ilit y   to   d o   f e atu r s e lectio n   o n   i ts   o w n .       T ab le   1 R esu lts   o f   th f o u r   ap p r o ac h es   ac co r d in g   to   d if f er e n t c r iter ias     A R I M A   M L P   L S T M   C N N   R M S E   b e f o r e   n o r mal i z a t i o n   4 8 5 . 6 9 0   4 6 4 . 2 6 1   4 5 7 . 9 5 8   4 5 7 . 0 7 9   R M S E   a f t e r   n o r mal i z a t i o n   -   0 . 1 4 0   0 . 1 3 8   0 . 1 3 8   M o d e l   t r a i n i n g   t i me   ( s)   1 . 1 2 9 2 0 1   2 . 3 4 1 3 6 1   2 . 5 4 1 2 9 2   2 . 7 2 0 2 3 6   C o n s u me d   e n e r g y   ( Jo u l e )   1 6 . 9 3 8 0 1 0   3 5 . 1 2 0 4 1 2   3 8 . 1 1 9 3 7 6   4 0 . 8 0 3 5 3 4   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       C o mp a r a tive  a n a lysi s   o f sh o r t - term d ema n d   p r ed ictin g   mo d e ls   u s in g   A R I MA  a n d ...   ( Ha lima   B o u s q a o u i)   3327   Kn o w i n g   th a th c o n s u m ed   en er g y   ( J o u le) = m o d el  tr ain i n g   ti m ( s ec o n d s )   GP U/C P P o w er   ( W att) .   W e   ar u s in g   an   i n tel( R )   C o r ( T M)   i7 - 8 5 6 5 C P U .   I ts   t h er m al  d esi g n   p o w er   is   1 5   W .   Mo r eo v er ,   th e   o p er atin g   s y s te m   is   w i n d o w s   1 0   6 4   b its   an d   th R a m   is   8 1 9 2   M B .   W e   n o tice  th at  co n t r ar y   to   R MSE ,   t h m o d el  tr ai n i n g   t i m a n d   co n s u m ed   en er g y   ar b est f o r   A R I MA   a n d   w o r s f o r   th C NN  n e t w o r k s .       4.   CO NCLU SI O N     T h m ai n   co n tr ib u tio n   o f   t h is   s tu d y   is   co m p ar in g   t h p er f o r m an ce   o f   f o u r   p r ed ictio n   m o d els,  n a m el y   AR I M A   s tati s tical  m o d el,   ML P   f ee d f o r w ar d   n e u r al  n e t w o r k   an d   L ST r ec u r r en n eu r al   n et w o r k   a n d   C NN   co n v o lu tio n al  n eu r al  n et w o r k .   T h an al y s i s   o f   t h ex p er i m e n r es u lts   s h o w s   t h at   th co n v o lu t io n al   n et w o r k   g iv e s   b etter   f o r ec asti n g   r es u lt s   th a n   th L ST M,   ML P   n et w o r k s   a n d   AR I M A   m o d el.   Ho w e v er ,   th e   m o d el  tr ai n i n g   ti m a n d   co n s u m ed   e n er g y   ar i n   th o p p o s ite  o r d er .   Me an in g ,   th e y   ar b est  f o r   A r i m a.   T h is   m ea n s   t h at  to   g et  th b etter   p r ed ictio n   r esu lt s   th C NN  o r   L ST n et w o r k s   s h o u ld   b u s ed .   Ho w e v er ,   if   t h e   m o d el  i s   b ig ,   A r i m m i g h t b b etter   s o lu tio n   s i n ce   it  h as le s s   tr ain in g   ti m an d   les s   co n s u m ed   en er g y .   T h r esu lts   o f   t h is   p ap er   ca n   b f u r t h er   ex te n d ed   in   s e v er al  d ir ec tio n s .   A s   f u t u r r esear ch   d ir ec tio n ,   it see m s   i n ter esti n g   to   ex p lo r th h y p er - p ar a m eter   tu n i n g   m eth o d   k n o w in g   t h at  t h L ST is   m o s tl y   ef f ec ti v e   in   s eq u en ce   p r o b le m s   a n d   ti m s er ies  a llo w in g   i n f o r m ati o n   to   p er s is th at  m a y   lead   t o   b etter   f o r ec asti n g   r esu lt s .   I is   al s o   p o s s ib le  to   u s s ta n d ar d   b en ch m ar k   d atase t s   to   v alid ate  t h p r o p o s ed   p r e d ictio n   m o d els.  I i s   also   p o s s ib le  to   u s o th er   m o d els  in   th co m p ar ativ a n al y s is   s u ch   as  t h B o ltz m an n   m ac h in a n d   r an d o m   f o r ests   a m o n g   o th er s .       RE F E R E NC E S     [1 ]   F .   P e rss o n   a n d   J.  Ol h a g e r,   P e rf o rm a n c e   si m u latio n   o f   su p p ly   c h a in   d e sig n s,”   In t.   J .   Pro d .   Eco n . ,   v o l.   7 7 ,   n o .   3 ,     p p .   2 3 1 2 4 5 ,   2 0 0 2 ,   d o i:   1 0 . 1 0 1 6 / S 0 9 2 5 - 5 2 7 3 ( 0 0 ) 0 0 0 8 8 - 8.   [2 ]   P .   Ha u g u e a n d   E.   Via rd o t,   De   la  su p p ly   c h a in   a u   se a u   in d u str iel,   L ’Exp a n si o n   M a n a g .   Rev . ,   v o l.   1 0 1 ,   n o .   1 ,     p p .   9 4 1 0 0 ,   2 0 0 1 .   [3 ]   B.   F a n o o d i,   B .   M a lm ir,   a n d   F .   F .   Ja h a n ti g h ,   Re d u c i n g   d e m a n d   u n c e rtain ty   in   t h e   p late let  su p p ly   c h a in   th r o u g h   a rti f icia n e u ra n e tw o rk a n d   A RIM A   m o d e ls,”  Co mp u t .   Bi o l .   M e d . ,   v o l.   1 1 3 Ja n .   2 0 1 9 ,   A rt n o .   1 0 3 4 1 5   d o i:   1 0 . 1 0 1 6 /j . c o m p b io m e d . 2 0 1 9 . 1 0 3 4 1 5 .   [4 ]   L .   Ji,  Y.  Zo u ,   K.  He ,   a n d   B.   Z h u ,   Ca rb o n   f u tu re p r ice   f o re c a stin g   b a se d   w it h   A RIM A - CNN - L S T M   m o d e l,   Pro c e d ia   C o mp u t.   S c i . ,   v o l.   1 6 2 ,   p p .   3 3 3 8 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 1 6 /j . p ro c s.2 0 1 9 . 1 1 . 2 5 4 .   [5 ]   M .   M a ty jas z e k ,   P .   R.   F e rn á n d e z ,   A .   Krz e m ień ,   K.  W o d a rsk i,   a n d   G .   F .   V a lv e rd e ,   F o re c a stin g   c o k in g   c o a p rice b y   m e a n o f   A RIM A   m o d e ls  a n d   n e u ra n e tw o rk s,  c o n sid e rin g   th e   tran sg e n ic  ti m e   se ri e th e o ry ,   Res o u r.  Po li c y v o l.   6 1 ,   p p .   2 8 3 2 9 2 ,   F e b .   2 0 1 9 ,   d o i:   1 0 . 1 0 1 6 /j . re so u rp o l. 2 0 1 9 . 0 2 . 0 1 7 .   [6 ]   M .   Oh y v e a n d   H.  P u d ji h a stu ti ,   A ri m a   M o d e f o F o re c a stin g   th e   P rice   o f   M e d iu m   Qu a li ty   Ric e   to   A n ti c ip a te  P rice   F lu c tu a ti o n s ,   Pro c e d i a   Co mp u t.   S c i . ,   v o l.   1 3 5 ,   p p .   7 0 7 7 1 1 ,   2 0 1 8 ,   d o i:   1 0 . 1 0 1 6 /j . p ro c s.2 0 1 8 . 0 8 . 2 1 5 .   [7 ]   P .   J.  Oliv e ira,  J.  L .   S te ff e n ,   a n d   P .   Ch e u n g ,   P a ra m e ter  Esti m a ti o n   o f   S e a so n a A ri m a   M o d e ls  f o W a ter  De m a n d   F o re c a stin g   Us in g   th e   Ha rm o n y   S e a rc h   A l g o rit h m ,   Pro c e d ia   En g . ,   v o l.   1 8 6 ,   p p .   1 7 7 1 8 5 ,   2 0 1 7 ,     d o i:   1 0 . 1 0 1 6 /j . p ro e n g . 2 0 1 7 . 0 3 . 2 2 5 .   [8 ]   M .   S .   A l - M u sa y lh ,   R.   C.   De o ,   J.  F .   A d a m o w sk i,   a n d   Y.  L i,   S h o rt - term   e lec tri c it y   d e m a n d   f o re c a sti n g   w it h   M A RS ,   S V a n d   A RIM A   m o d e ls  u sin g   a g g re g a ted   d e m a n d   d a ta  in   Qu e e n sla n d ,   A u stra li a ,   Ad v .   En g .   I n fo r ma ti c s ,   v o l.   3 5 ,   p p .   1 1 6 ,   2 0 1 8 ,   d o i:   1 0 . 1 0 1 6 / j. a e i. 2 0 1 7 . 1 1 . 0 0 2 .   [9 ]   W .   A n g g ra e n i,   R.   A .   V in a rti ,   a n d   Y .   D.  Ku r n iaw a ti ,   P e rf o rm a n c e   Co m p a riso n b e tw e e n   A ri m a   a n d   A ri m a x   M e th o d   in   M o sle m   Kid Clo th e De m a n d   F o re c a stin g Ca se   S tu d y ,   Pro c e d ia   Co mp u t.   S c i . ,   v o l.   7 2 ,   p p .   6 3 0 6 3 7 ,   2 0 1 5 ,   d o i:   1 0 . 1 0 1 6 / j. p r o c s.2 0 1 5 . 1 2 . 1 7 2 .   [1 0 ]   M .   H.  Am in i,   A .   Ka r g a rian ,   a n d   O.  Ka ra b a s o g lu ,   A RIM A - b a s e d   d e c o u p led   ti m e   s e ries   f o re c a stin g   o f   e le c tri c   v e h icle   c h a rg in g   d e m a n d   f o sto c h a stic  p o w e s y ste m   o p e ra ti o n ,   El e c tr.  Po we S y st.  Res . ,   v o l.   1 4 0 ,   p p .   3 7 8 3 9 0 ,   2 0 1 6 ,   d o i:   1 0 . 1 0 1 6 / j. e p sr. 2 0 1 6 . 0 6 . 0 0 3 .   [1 1 ]   Y.  W a n g ,   J.  W a n g ,   G .   Zh a o ,   a n d   Y.  Do n g ,   A p p li c a ti o n   o f   re sid u a m o d if ic a ti o n   a p p r o a c h   in   se a so n a A RIM f o e lec tri c it y   d e m a n d   f o re c a stin g A   c a se   stu d y   o f   Ch in a ,   En e rg y   Po li c y ,   v o l.   4 8 ,   p p .   2 8 4 2 9 4 ,   2 0 1 2 ,     d o i:   1 0 . 1 0 1 6 /j . e n p o l. 2 0 1 2 . 0 5 . 0 2 6 .   [1 2 ]   R.   S h a rm a   a n d   P .   S i n g h a l,   De m a n d   f o re c a stin g   o f   e n g in e   o il   f o a u to m o ti v e   a n d   in d u str ial  lu b r ica n m a n u f a c tu rin g   c o m p a n y   u sin g   n e u ra n e tw o rk ,   M a ter .   T o d a y   Pro c . ,   v o l.   1 8 ,   p p .   2 3 0 8 2 3 1 4 ,   2 0 1 9 ,     d o i:   1 0 . 1 0 1 6 /j . m a tp r. 2 0 1 9 . 0 7 . 0 1 3 .   [1 3 ]   K.  M a so n ,   J .   Du g g a n ,   a n d   E .   Ho w le y ,   F o re c a stin g   e n e rg y   d e m a n d ,   w in d   g e n e ra ti o n   a n d   c a rb o n   d i o x id e   e m issio n in   Ire lan d   u sin g   e v o lu ti o n a ry   n e u ra n e tw o rk s,”   E n e rg y ,   v o l.   1 5 5 ,   p p .   7 0 5 7 2 0 ,   2 0 1 8 ,     d o i:   1 0 . 1 0 1 6 /j . e n e rg y . 2 0 1 8 . 0 4 . 1 9 2 .   [1 4 ]   I.   M a ti n o ,   S .   De tt o ri ,   V .   Co ll a ,   V .   W e b e r,   a n d   S .   S a lam e ,   F o re c a stin g   b las f u rn a c e   g a p ro d u c t io n   a n d   d e m a n d   th ro u g h   e c h o   sta te  n e u ra n e tw o r k - b a se d   m o d e ls:  P a v e   th e   w a y   to   o ff - g a o p ti m iz e d   m a n a g e m e n t,   Ap p l.   En e rg y v o l.   2 5 3 ,   p .   1 1 3 5 7 8 ,   Ju n .   2 0 1 9 ,   d o i:   1 0 . 1 0 1 6 / j. a p e n e rg y . 2 0 1 9 . 1 1 3 5 7 8 .   [1 5 ]   E.   S .   S il v a ,   H.   Ha s sa n i,   S .   He ra v i,   a n d   X .   Hu a n g ,   F o re c a stin g   t o u rism   d e m a n d   w it h   d e n o ise d   n e u ra n e tw o rk s,”   An n .   T o u r.  Res . ,   v o l.   7 4 ,   p p .   1 3 4 1 5 4 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 1 6 / j. a n n a ls.2 0 1 8 . 1 1 . 0 0 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  11 ,   No .   4 A u g u s t 2 0 2 1   :   3 3 1 9   -   3328   3328   [1 6 ]   J.  Ke   e a l . ,   He x a g o n - Ba se d   C o n v o l u ti o n a Ne u ra Ne tw o rk   f o S u p p ly - De m a n d   F o re c a sti n g   o Rid e - S o u rc i n g   S e rv ice s,”   IEE T ra n s.  In tell.   T ra n sp .   S y st. ,   v o l.   2 0 ,   n o .   1 1 ,   p p .   4 1 6 0 4 1 7 3 ,   2 0 1 9 ,     d o i:   1 0 . 1 1 0 9 /T IT S . 2 0 1 8 . 2 8 8 2 8 6 1 .   [1 7 ]   J.  Ke ,   H.  Zh e n g ,   H.  Ya n g ,   a n d   X.   (M ich a e l)  Ch e n ,   S h o rt - term   f o re c a stin g   o f   p a ss e n g e d e m a n d   u n d e o n - d e m a n d   rid e   se rv i c e s:  sp a ti o - tem p o ra d e e p   lea rn in g   a p p ro a c h ,   T ra n sp .   Res .   Pa rt  Eme rg .   T e c h n o l . ,   v o l.   8 5 ,     p p .   5 9 1 6 0 8 ,   J u n .   2 0 1 7 ,   d o i 1 0 . 1 0 1 6 /j . trc. 2 0 1 7 . 1 0 . 0 1 6 .   [1 8 ]   K.  Am a ra sin g h e ,   D.  L .   M a rin o ,   a n d   M .   M a n ic,  De e p   n e u ra n e tw o rk s   f o e n e rg y   lo a d   f o re c a sti n g ,   IEE In t.   S y mp .   I n d .   El e c tro n . ,   p p .   1 4 8 3 1 4 8 8 ,   2 0 1 7 ,   d o i:   1 0 . 1 1 0 9 /I S IE. 2 0 1 7 . 8 0 0 1 4 6 5 .   [1 9 ]   I.   S li m a n i,   I.   El   F a rissi,   a n d   S .   A c h c h a b ,   Co n f ig u ra ti o n   a n d   imp lem e n tatio n   o f   a   d a il y   a rti f icia n e u ra n e tw o rk - b a se d   f o re c a stin g   s y ste m   u sin g   r e a su p e r m a rk e d a ta,”  In t.   J .   L o g ist.   S y st.  M a n a g . ,   v o l.   2 8 ,   n o .   2 ,   p p .   1 4 4 1 6 3 ,   2 0 1 7 ,   d o i:   1 0 . 1 5 0 4 /IJL S M . 2 0 1 7 . 0 8 6 3 4 5 .   [2 0 ]   A .   S a id ,   I.   S li m a n i,   a n d   I.   El   F a rissi,   A rti f icia Ne u ra Ne t w o rk s/o De m a n d   F o re c a stin g A p p li c a ti o n   Us in g   M o ro c c a n   S u p e rm a rk e Da ta,”  IE EE   In t .   Co n f.   C o n s u m.  El e c tro n   ( ICCE) ,   Be rli n ,   2 0 1 5 ,   p p .   2 6 6 2 7 1 .   [2 1 ]   V .   A .   P ro f il li d is an d   G .   N.  Bo tzo ris,   T re n d   P ro jec ti o n   a n d   T im e   S e ries   M e th o d s ,”   M o d e li n g   o f   T ra n sp o rt  De m a n d ,   p p .   2 2 5 2 7 0 ,   2 0 1 9 .   [2 2 ]   V .   K o tu   a n d   B.   De sh p a n d e ,   Da ta S c ien c e   Co n c e p ts a n d   P ra c ti c e ,   M o rg a n   Ka u fma n n v o l.   2 ,   n o .   C.   2 0 1 9 .   [2 3 ]   T .   C.   M il ls,   A RIM A   M o d e ls  f o No n sta ti o n a ry   T i m e   S e rie s,”   Ap p l.   T ime   S e r.   An a l. ,   p p .   5 7 6 9 ,   2 0 1 9 ,     d o i:   1 0 . 1 0 1 6 /b 9 7 8 - 0 - 12 - 8 1 3 1 1 7 - 6 . 0 0 0 0 4 - 1.   [2 4 ]   C.   C.   A g g a r w a l,   Ne u ra Ne t w o rk s a n d   De e p   L e a rn in g ,   S p rin g e r ,   2 0 1 8 .   [2 5 ]   S .   Ho c h re it e a n d   J.  Urg e n   S c h m id h u b e r,   L o n g   S h o rt - T e rm   M e m o r y ,   N e u ra Co mp u t. ,   v o l.   9 ,   n o .   8 ,     p p .   1 7 3 5 1 7 8 0 ,   1 9 9 7 ,   d o i:   1 0 . 1 1 6 2 /n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [2 6 ]   H.  Bo u s q a o u i,   S .   A c h c h a b ,   a n d   K.  T ik it o ,   M a c h i n e   lea rn i n g   a p p li c a ti o n i n   su p p ly   c h a in s:  L o n g   sh o rt - ter m e m o r y   f o d e m a n d   f o re c a stin g ,   in   L e c t u re   No tes   in   Ne two rk s a n d   S y ste ms ,   v o l.   4 9 ,   p p .   3 0 1 3 1 7 2 0 1 9 .   [2 7 ]   R.   T h a n k a n d   S .   Bo rra ,   A p p li c a ti o n   o f   M a c h in e   L e a rn in g   A l g o rit h m f o Clas sif ic a ti o n   a n d   S e c u r it y   o Dia g n o stic Im a g e s ,”   El se v ier In c . ,   2 0 1 9 .   [2 8 ]   H.  Bo u sq a o u i,   I.   S li m a n i,   a n d   S .   A c h c h a b ,   I m p ro v in g   Co o rd i n a ti o n   in   S u p p ly   Ch a in   Us in g   A rti f icia Ne u ra l   Ne tw o rk a n d   M u l ti - a g e n A p p ro a c h ,   in   En g Op 2 0 1 8   Pro c e e d in g o t h e   6 th   I n ter n a ti o n a l   Co n fer e n c e   o n   En g i n e e rin g   O p ti miza ti o n ,   S p ri n g e In tern a ti o n a P u b l ish i n g ,   2 0 1 9 ,   p p .   1 3 5 3 1 3 5 9 .       B I O G RAP H I E S   O F   AUTH O RS       H a li m a   B o u s q a o u i   o b tain e d   h e d e g re e   f ro m   Na ti o n a Hig h e S c h o o f o Co m p u ter  S c ien c e   a n d   S y st e m   A n a l y sis  (ENS I A S ).   A n d   is  c u rre n tl y   p u rsu i n g   a   P h D   d e g r e e   th e re .   He w o rk   f o c u se o n   m a c h in e   lea rn in g   a lg o rit h m s   su c h   a f e e d   f o r w a rd   a n d   re c u rre n n e u ra n e tw o rk in   th e   su p p ly   c h a in .         Ilh a m   S li m a n i   In g .   &   P h f ro m   th e   Na ti o n a S c h o o o f   Co m p u ter  S c ien c e   a n d   S y s te m   A n a l y sis   (ENS IA S ).   S h e   is  c u rre n tl y   P ro f e ss o a th e   De p a rt m e n o f   Co m p u ter  S c ien c e   a M o h a m m e d   F irst  Un iv e rsity ,   F a c u lt y   o f   S c i e n c e   Ou jd a .   He re se a rc h   a n d   p u b li c a ti o n   i n tere sts  in c lu d e   m a c h in e   lea rn in g ,   su p p ly   c h a in   m a n a g e m e n t,   d e m a n d   f o re c a stin g ,   ro a d   traf f i c   f o re c a stin g ,   in tru si o n   d e tec ti o n   o f   c o m p u ter n e tw o rk s.         S a id   Ac h c h a b ,   h o ld e o f   a   P h in   A p p li e d   M a th e m a ti c f ro m   th e   M o h a m m e d ia  S c h o o o f   En g in e e rin g   in   Ra b a a w e ll   a a   u n iv e rsity   h a b il it a ti o n   i n   Bu si n e ss   In telli g e n c e   f ro m   th e   sa m e   in stit u ti o n ,   h e   a lso   a tt e n d e d   t h e   h ig h e c y c le  o m a n a g e m e n a th e   ENCG   o f   S e tt a t .   He   is   c u rre n tl y   P ro f e ss o o f   Qu a n ti tat iv e   F in a n c e ,   A rti f icia In telli g e n c e   a n d   Risk   M a n a g e m e n a ENS IA S ,   Dire c to o f   th e   Co n ti n u in g   Ed u c a ti o n   Ce n ter  o f   th e   sa m e   sc h o o l   b e tw e e n   Ja n u a ry   2 0 1 3   a n d   M a y   2 0 1 7   a n d   He a d   o f   th e   De p a rtme n " Co m p u ter  S c ien c e   a n d   De c isio n   S u p p o r t"   sin c e   Ja n u a ry   2 0 1 8 .   He   is  c o o rd i n a to o f   th e   S p e c ialize d   M a ste " En g in e e rin g   f o S u sta in a b le  F in a n c e   a n d   Risk   M a n a g e m e n t"   a n d   o f   th e   e n g in e e rin g   p ro g ra m   " Di g it a E n g in e e rin g   f o F in a n c e " .   H e   is   th e   f o u n d in g   P re si d e n o f   th e   A f r ica n   In stit u t e   o f   F i n tec h s.  F o m o re   th a n   1 5   y e a rs,  h e   h a b e e n   c a rr y in g   o u c o n s u lt i n g   m issio n s fo p u b l ic an d   p riv a te o rg a n iza ti o n s.     Evaluation Warning : The document was created with Spire.PDF for Python.