T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   4 A u g u s t   2 0 2 1 ,   p p .   1 0 7 8 ~ 1 0 8 9   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 9 i4 . 1 7 0 2 4     1078       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Ana ly sis  of hybri d non - linea r  auto regres siv e neural  network  a nd loca l smo o thing techniq ue  for  ba ndwidth  slice  f o recas t       M o ha m ed  K ha la f a lla   H a s s a n 1 ,   Sh a rif a h H .   S.  Arif f in 2 ,   Sh a rif a h K a m ila h Sy ed - Yus o f 3   N.   E f f iy a na   G ha za li 4 , M o ha m m ed  E K a no na 5   1 , 2, 3, 4 S c h o o o El e c tri c a E n g i n e e rin g ,   Un i v e rsity   Tec h n o lo g y   M a lay sia ,   M a lay sia     1, 5 F a c u lt y   o f   Tele c o m m u n ica ti o n   En g i n e e rin g ,   F u tu re   U n iv e rsit y ,   Kh a rto u m ,   S u d a n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   2 0 ,   2 0 2 0   R ev is ed   Ap r   7 ,   2 0 2 1   Acc ep ted   Ap r   2 1 ,   2 0 2 1       T h e   d e m a n d   fo r   h i g h   st e a d y   st a t e   n e t wo r k   t r a f fi c   u t i l i z a t i o n   i s   g r o wi n g   e x p o n e n t i a l l y .   T h e r e fo r e ,   t r a f fi c   fo r e c a st i n g   h a b e c o m e   e s s e n t i a l   fo p o w e ri n g   g r e e d y   a p p l i c a t i o n   a n d   s e r v i c e s   su c h   a s   t h e   i n t e rn e t   o f   t h i n g s   (I o T a n d   B i g   d a t a   fo r   5 n e t wo r k f o b e t t e r   r e sou r c e   p l a n n i n g ,   a l l o c a t i o n ,   a n d   o p t i m i z a t i o n .   T h e   a c c u r a c y   o fo r e c a st i n g   m o d e l i n g   h a b e c o m e   c r u c i a l   fo r   fu n d a m e n t a l   n e t wo r k   o p e r a t i o n su c h   a s   ro u t i n g   m a n a g e m e n t ,   c o n g e st i o n   m a n a g e m e n t ,   a n d   t o   g u a r a n t e e   q u a l i t y   o s e rv i c e   o v e r a l l .   In   t h i s   p a p e r ,   a   h y b ri d   n e t wo rk   fo r e c a st   m o d e l   w a a n a l y z e d ;   t h e   m o d e l   c o m b i n e s   a   n o n - l i n e a a u t o   r e g re s si v e   n e u r a l   n e t wo rk   ( N A R NN a n d   v a ri o u s   s m o o t h i n g   t e c h n i q u e s ,   n a m e l y ,   l o c a l   r e g r e s si o n   ( L O E S S ) ,   m o v i n g   a v e r a g e ,   l o c a l l y   w e i g h t e d   sc a t t e r p l o t   s m o o t h i n g   ( L O W E S S ) t h e   Sg o l a y   fi l t e r ,   R o b y n   l o e s s   ( R L O E S S ) ,   a n d   ro b u st   l o c a l l y   w e i g h t e d   s c a t t e r p l o t   s m o o t h i n g   ( R L O W E S S ) .   T h e   e f f e c t s   o a p p l y i n g   s m o o t h i n g   t e c h n i q u e s   wi t h   v a ri e d   s m o o t h i n g   wi n d o w s   we r e   s h o wn   a n d   t h e   p e rf o r m a n c e   o f   t h e   h y b ri d   N AR N a n d   s m o o t h i n g   t e c h n i q u e d i s c u s s e d .   T h e   r e sul t s   s h o w   t h a t   t h e   h y b ri d   m o d e l   c a n   e f f e c t i v e l y   b e   u s e d   t o   e n h a n c e   f o r e c a st i n g   p e rf o r m a n c e   i n   t e r m s   o f   fo r e c a st i n g   a c c u r a c y ,   wi t h   t h e   a s si st a n c e   o f   t h e   s m o o t h i n g   t e c h n i q u e s ,   wh i c h   m i n i m i z e d   d a t a   l o ss e s .   In   t h i s   wo r k ,   ro o t   m e a n   s q u a r e   e rr o r   ( R M S E i u s e d   a p e rf o r m a n c e   m e a s u r e s   a n d   t h e   r e s u l t s   w e r e   v e ri fi e d   v i a   st a t i st i c a l   si g n i fi c a n c e   t e st s .   K ey w o r d s :   Au to r eg r ess iv n eu r al  n etwo r k   B an d wid th   s lice    Fo r ec ast   L o ca l sm o o th in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mo h am ed   Kh ala f alla  Hass an   Sch o o l o f   E lectr ical  e n g in ee r i n g   Un iv er s ity   T ec h n o l o g y   Ma la y s ia   J o h o r   B ah r u ,   Ma lay s ia   E m ail:  m em o 1 0 2 3 @ h o tm ail. c o m       1.   I NT RO D UCT I O N   No wad ay s ,   th er e   ar v ast  n et wo r k   d e p lo y m e n ts   o f   v ar io u s   d o m ain s   an d   em er g in g   n ew  te ch n o lo g ies   an d   a p p licatio n - ce n tr ic  s er v ic es.  T h ca p ab ilit y   o f   n etwo r k   tr af f ic  f o r ec ast  h as  b ec o m e   o n o f   to d a y s   cr u cial  n etwo r k   d esig n   an d   th m ai n   r eq u ir em e n ts   o f   v a r io u s   o p er a tio n s   d u to   its   b en ef its   in   v a r io u s   s u b - d o m ain s ,   s u ch   as  n etwo r k   s ec u r ity ,   d y n am ic  s lice  r e - allo ca tio n ,   a n d   r eso u r ce   p la n n in g .   I n   n etwo r k   tr af f ic  f o r ec ast,  a   p r o ac tiv e   ap p r o ac h   is   u s ed   i n s te ad   o f   r ea ctiv o n e,   wh er e   n etwo r k   r eso u r ce s   a r m o n ito r ed   to   en s u r e   th at  all   s er v ice  r eq u i r em en ts   ar e   m et,   i n   ad d itio n   to   q u ality   o s er v ice   ( QOS)   an d   s ec u r ity .   Als o ,   tr af f ic  an aly s is   ca n   b e   cr u cial  s tag f o r   b u ild in g   s u cc ess f u l p r ev en tiv c o n g esti o n   c o n tr o ls .     Gen er ally ,   f o r ec ast  an d   p r e d ic tio n   ar e   u s ed   in ter c h an g ea b ly .   Nev er th eless ,   f o r ec ast  ca n   b e   ex p licitly   d ef in ed   as  th esti m atio n   o f   f u tu r v alu es  b ased   o n   an   an al y tical  m o d el  b u ilt  f r o m   p ast  o b s er v atio n s .   I n   th is   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A n a lysi s   o f h yb r id   n o n - lin ea r   a u to r eg r ess ive  n eu r a l n etw o r a n d … ( Mo h a med   K h a l a fa lla   Ha s s a n )   1079   p ap er ,   a   f o r ec ast  ap p r o ac h   b a s ed   o n   p ast  v alu es  was  ad o p t ed .   Gen er ally ,   th er a r two   b r o ad   a p p r o ac h es  to   f o r ec ast  n etwo r k   tr a f f ic:  lo n g - p er io d   f o r ec ast  an d   s h o r t - p er i o d   f o r ec ast.   L o n g - p er io d   tr af f ic  f o r ec asts   ca n   b e   u s ed   to   ass ess   f u tu r r eso u r ce   d em an d s ,   a n d   ac co r d in g ly   allo ws  f o r   a d d iti o n al   p lan n i n g   tim an d   h en c b etter   d ec is io n s .   On   th o t h er   h a n d ,   s h o r t - p er i o d   f o r ec asts   ca n   b e   ass o ciate d   with   d y n am ic  r eso u r ce   r e - allo ca tio n .   Mo r eo v er ,   th is   ty p o f   f o r ec a s is   n o r m ally   u s ed   to   en h an c q u ality   o f   s er v ice  ( Qo S),   im p r o v c o n g esti o n   co n tr o l   m ec h an is m s ,   an d   o p ti m ize  n etwo r k   r eso u r ce   m a n ag em en t a n d   r o u tin g   d ec is io n   m an ag em en t.    Var io u s   ap p r o ac h es  h av e   b ee n   u s ed   f o r   n etwo r k   tr af f ic   an a ly s is   an d   f o r ec asti n g ,   s u c h   as  tim s er ies  m o d els,  m o d e r n   d ata  m in in g   tech n iq u es,  m ac h in l ea r n i n g   ( ML ) ,   an d   h y b r id   tech n iq u es.    T h m ain   f o c u s   o f   th is   p ap e r   is   o n   h y b r id   m ac h in lea r n in g - b ased   f r am ewo r k s .   Gen er ally ,   ML   tech n iq u es  ar e   u s ed   in   v a r io u s   d o m ain s   to   s o lv v ar i o u s   co m p lex   p r o b le m s   in clu d in g   o p tim izatio n   r eso u r ce   m a n ag em e n t,   allo ca tio n ,   an d   a u to m atio n .   M L   ap p licatio n s   ar also   u s ed   i n   co m m u n icatio n   n etwo r k s .     T h ap p licatio n   o f   ML   h as  r ec o r d ed   an   u n p r ec ed en ted   s u r g in   co m m u n icatio n   n etwo r k s .   ML   en ab les  s y s tem   to   s u m m ar ize  an d   ab s tr ac d ata  to   d ed u ce   k n o wle d g e   [ 1 ] .   I also   p r o v id es  th r esea r ch er   with   th ab ilit y   to   im p r o v k n o wled g o v er   tim an d   with   ex p er ien ce ,   with   t h o b jectiv o f   d is co v e r in g   h id d e n   p atter n s   an d   ex p lo r in g   u n k n o wn   d ata.   T h er ef o r e,   ML   is   g ain in g   m o r atten tio n   in   ar ea s   in v o lv in g   d ata  an aly s is ,   f itti n g ,   d ec is io n - m ak in g ,   an d   au to m at io n .     Ma ch in lear n in g   is   ex p ec ted   h av m o r d o m in an r o le  in   f u tu r e m er g in g   telec o m m u n icatio n   tech n o lo g ies an d   ar ch itectu r es   s u ch   as   in   in ter n et  o f   th in g s   ( I o T ) ,   b lo c k   ch ain ,   an d   5 n etw o r k   o p er atio n s   an d   m an ag em en t   [ 1 ] .   I n   t o d ay s   co m p lex   n etw o r k   ar ch itectu r e   an d   em er g in g   d em a n d s   f o r   v ar io u s   s er v ices,  n etwo r k   tr af f ic  f o r ec ast  h as  b ec o m e   in c r ea s in g ly   v ital  to   e n s u r s m o o t h   n etwo r k   o p e r atio n s   an d   m an ag em en t.  Gen e r ally ,   f o r ec asti n g   is   s ee n   as  tim s er ies  d ata  an d   is   ac co r d in g ly   m o d eled   v ia  tim s er ies  f o r e ca s tech n iq u es  to   estab lis h   co r r elatio n   b etwe e n   p r ev i o u s ly   o b s er v ed   tr af f ic  a n d   f u t u r d e m an d s .     T im s er ies  an aly s is   is   s till   c o n s id er ed   c h allen g e   b ec au s e   it  in v o lv es  co m p licated   co m b in atio n s   o f   n o n lin ea r   a n d   n o n - s tatio n ar y   d y n am ic  b e h av io r s .   Statis tically ,   d y n am ic  s y s tem s   p r o d u c n o n - lin ea r   tim e   s er ies  if   th o u tp u is   c h ar ac te r ized   b y   n o n - lin ea r   f ea tu r es  s u ch   as  n o n - n o r m ality ,   ap e r io d icity ,   an d   n o n lin ea r   ca u s al  r elatio n s h ip s   b etwe en   l ag g ed   v ar iab les.   Gen er ally ,   two   b r o ad   ap p r o a ch es  h av e   b ee n   u s ed   f o r   d ev elo p in g   s tatis tical  an aly s is   m o d els  an d   s u p er v is ed   ML   m o d els.  Statis tical  an aly s is   m o d els  ar b ased   o n   th g en er alize d   a u to r eg r ess iv in teg r ated   m o v in g   av e r ag e   ( AR I M A )   m o d el,   wh ile  t h m ajo r ity   o f   tr af f i f o r ec asti n g   m o d els  ar e   b ased   o n   s u p er v is ed   ML   an d   m o r s p ec if ically   o n   a r tifi cial  n eu r al  n etwo r k s   ( ANNs) .   Ho wev er ,   AR I MA - b ased   m o d els  f all  s h o r wh en   d ea lin g   with   n o n lin ea r   a n d   n o n - s tatio n ar y   d ata  [ 1 ] ,   [ 2 ] .   T h m ain   d if f e r en ce   b etwe en   n eu r al  n etwo r k   a u to - r eg r ess iv ( NNAR )   an d   au to r eg r ess iv in teg r ated   m o v i n g   av er ag ( AR I MA )   is   th at  th e   f o r m e r   r e q u ir es  a   s tatio n ar y   p r o p er ty   t o   b im p o s ed .   His to r ically ,   d if f er en t y p es  o f   ANNs  an d   o th er   ML   tec h n iq u es  h a v b ee n   u s ed   f o r   f o r ec asti n g   t h tim s er ies o f   n etwo r k   tr af f ic.     Pre p r o ce s s in g   h as  b ec o m cr u cial  in   d ata  s cien ce ,   s ig n al  p r o ce s s in g ,   an d   m ac h i n lear n in   d u to   in co m p lete,   in c o n s is ten ( co n tain in g   er r o r s ,   o u tlier   v al u es),   an d   v a r y in g   n o is p atter n s   th at  ex is an d   ar e   em b ed d e d   in   co llected   d ata.   H en ce ,   p r ep r o ce s s in g   m eth o d s   m u s t b e   em p lo y ed   b ef o r n et wo r k   f o r ec asti n g   ca n   b d o n t o   e n h an ce   d ata   q u alit y .   I n   tu r n ,   th is   s tep   will  en h an ce   th ac c u r ac y   an d   ef f icien cy   o f   n o n - lin ea r   au to   r eg r ess iv n eu r al  n etwo r k   ( NARNN ) .   Pre p r o ce s s in g   tech n iq u es a r co n s id er ed   cr u cial.   T h s co p e   o f   th is   p a p er   is   lim itted   to   n etwo r k   b a n d wid th   f o r ec ast  an d   n o t h g e n er al  p r o b l em   o f   tim e   s er ies  f o r ec ast.  T h er ef o r e,   t h d is tin ctiv f ea tu r es  an d   lim itatio n s   o f   n o ta b le  p r e v i o u s   r esear ch   wer e   s u m m ar ized .   T h d ata  u s ed   w as  co llected   f r o m   p r e m ier   in ter n et  s er v ic p r o v id er   r e p r esen tin g   an   lo n g   ter m   ev o lu tio n   ( LTE )   4 co r ag g r eg ated   b an d wid th   s lice.   T wo   f o r ec ast  tim s ca les   wer u s e d o n d ay   an d   o n e   wee k .   T h e   co llected   d ata   was  u s ed   to   d ev elo p   a   f o r ec ast  m o d e l,  n am ely   a   u n iv a r iate  tim s er i es  m o d el.   h y b r id   nonl in ea r   a u to r e g r ess iv n eu r al  n etwo r k   was  u s ed   f o r   f o r ec asti n g   co m b in ed   with   v ar io u s   d y n am ic  s m o o th in g   tech n iq u es.  Sm o o t h in g   tech n i q u es we r u s ed   to   e n h an ce   f o r ec ast ac cu r ac y .         2.   RE L AT E WO RK   C o r tez  et  a l.   [ 3 ]   u s ed   m u lti   lay er   p er ce p tr o n   n e u r al  n et wo r k   ( MLP - NN )   an d   s im p le   n etwo r k   m an ag em en p r o to c o ( SNMP )   tr af f ic  g ath er e d   f r o m   two   d i f f er en in ter n et  s er v ice  p r o v id e r   ( I SP )   n etwo r k s   as  d ataset.   T wo   s u b s ets  wer i n v esti g ated - o n e   s u b s et  r e p r esen tin g   tr a f f ic  o n   a   tr an s - Atlan tic  lin k ,   an d   a n o th er   r ep r esen tin g   ag g r e g ated   t r af f i in   th e   b ac k b o n e   o f   th I SP .   Miss in g   SNMP  was  co m p leted   u s in g   lin ea r   in ter p o latio n .   T h e   p er f o r m a n c o f   th p r o p o s ed   m o d el  was  co m p ar ed   to   tr ad itio n al   Ho lt - W in ter s   m o d els,  an d   d o u b le   Ho lt - W in ter s   AR I MA   m o d els.  T h e   r esu lts   s h o wed   th at  th NN  m o d el   o u tp e r f o r m ed   tr ad itio n al   AR MA   m o d els.  Ho wev er ,   t h p r o p o s e d   m o d el  was static a n d   d i d   n o t   r ea ct  to   th d y n am ic  n atu r o f   tr af f ic  lo ad s .   C h ab aa   et  a l.   [ 4 ]   ev alu ate d   v ar i o u s   b ac k   p r o p ag atio n   ( BP )   tr ain in g   alg o r ith m s   ML P - NN  f o r   a n   I n ter n et   tr af f ic  tim s er ies.  T h p r o p o s ed   wo r k   s h o wed   th at  L e v en b e r g - Ma r q u a r d ( L M)   an d   r esil ien p r o p ag atio n   ( R p )   alg o r ith m s   o u t p er f o r m ed   o th e r   B alg o r ith m s .   Z h u   et  a l.   [ 5 ] ,   h y b r id   t r ain in g   alg o r ith m   was  p r o p o s ed   b ased   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   4 Au g u s t 2 0 2 1 :    1 7 0 8   -   1 0 8 9   1080   o n   an   a r tific ial  b ee  c o l o n y   ( AB C )   alg o r ith m   th at  e m p lo y e d   p a r ticle  s war m   o p tim izatio n   ( PS O) ,   an   ev o lu tio n a r y   s ea r ch   alg o r ith m .   Mo r eo v e r ,   a   ( 5 ;1 1 ;1 )   ML P - NN  was  u s ed   a s   th t r ain in g   alg o r ith m .   T h r esu lts   s h o wed   th at   th p r o p o s ed   m o d el   h a d   h ig h er   p r e d ictio n   ac cu r ac y   th a n   B P.     Li   et  a l.   [ 6 ]   u s ed   f ee d   f o r wa r d   n eu r al  n etwo r k   to   p r ed ict  i n co m in g   a n d   o u tg o in g   tr af f ic  f lo ws. T h s tu d y   ar g u ed   th at  i n ter - d ata  ce n ter   lin k   is   d o m in ated   b y   elep h an f lo ws.  T h e   s tu d y   u s ed   g r ad ien d ec en an d   wav elet  tr an s f o r m   to   tr ain   h y b r id   m o d el.   SNMP  co u n ter s   an d   to tal  in co m in g   an d   o u tg o i n g   d ata  tr af f ic  wer e   g ath er ed   in   3 0 - s ec o n d   in te r v al s .   T h ese  d ata  wer u s ed   as th d ataset.   T h d ata  we r c o llected   f r o m   d ata  ce n ter   ( DC )   r o u ter s   f o r   p e r io d   o f   s ix   wee k s .   T h tim s er ies  was  d ec o m p o s ed   u s in g   lev el - 1 0   wav elet  tr an s f o r m .   Ho wev er ,   it  m u s b n o ted   th at  th wav elet  tr an s f o r m   ca n   ag g r ess iv ely   elim in ate  p ar ts   o f   th o r ig in al  d ata  if   n o t im p le m en te d   ca r ef u lly .   Dy ll o n   et  a l.   [ 7 ]   d e v elo p ed   n o n lin ea r   au to r e g r ess iv ex o g e n o u s   n eu r al  ( NARX)  n etwo r k   m o d el  f o r   tim s er ies  n etwo r k   tr af f ic  an a ly s is .   T h s tu d y   im p lem en te d   n eu r al  n etwo r k   m o d el  to   p r e d ict  th f u tu r tr en d s   o f   th L o n d o n   So u th   B an k   Un iv er s ity   ( L SB U)   b an d wid th   d a ta  tr af f ic.   Data s et  was  co llected   u s in g   t h p ae s s ler   r o u ter   tr af f ic   g r ap h er   ( PR T G)   to o l.   T h e   r esu lts   s h o wed   th at  NARX  n eu r al  n etwo r k   is   g o o d   m eth o d   f o r   p r ed ictin g   tim s er ies d ata.     Yo o   an d   Sim   [ 8 ]   p r o p o s ed   f o r ec ast  m o d el   an d   claim e d   it  co u ld   im p r o v r eso u r ce   u tili za tio n   ef f icien cy   in   h ig h - b an d wid t h   n etwo r k s   to   ac co m m o d ate  t h e   r is in   d ata  v o l u m d em a n d s   f o r   s cien tific   d ata  ap p licatio n s .   s ea s o n al   d ec o m p o s itio n   o f   tim e   s er ies  b y   L OE SS   ( STL )   a n d   AR I MA   ar e   u s ed   o n   SNMP.  T h e   r esu lts   s h o wed   th at  th p r o p o s ed   f o r ec ast  m o d el  was  r esil ie n ag ain s ab r u p ch a n g es  in   n etwo r k   u s ag e.   T h e   m u ltis tep   f o r ec ast wa s   test ed   as we ll.     Af o lab i   et  a l.   [ 9 ]   d is cu s s ed   th s ig n if ican ce   o f   th i n ter f er e n ce - less   m ac h in e   lea r n in g   ap p r o ac h   i n   a   tim s er ies  f o r ec ast  as  a   cr u cia co m p o n en t   o f   p r e d ictio n   p er f o r m an ce ,   esp ec ially   wh e n   f o r e ca s tin g   m an y   s tep s   ah ea d   o f   th cu r r e n tly   av ailab le  d ata.   T h au th o r s   u s ed   Hilb er Hu an g   tr an s f o r m atio n   ( HHT )   as  th n o is e   elim in atio n   tech n i q u e.   T h e   s im u latio n   r esu lts   wer c o m p ar ed   with   co n v en tio n al  an d   s tate - of - th e - ar t   ap p r o ac h es.     J o o   et  a l.   [ 1 0 ]   p r o p o s ed   p r ed ictio n   m eth o d   b ased   o n   wav elet  f ilter in g .   T h p r o p o s ed   f r am ewo r k   an aly ze d   t h tim s er ies  in   b o t h   th tim e   an d   f r e q u en c y   d o m a in s .   T h p r o p o s ed   a p p r o a ch   wa s   ap p lied   to   v ar i o u s   s ce n ar io s .   T h r esu lts   s h o wed   th at  th e   p r o p o s ed   m eth o d   o u tp er f o r m ed   o th e r   ap p r o ac h es  th at  d id   n o u s wav elet - f ilter in g   tech n iq u es.   B .   Do u co u r e   et  a l.   [ 1 1 ]   in tr o d u ce d   p r e d ictio n   m eth o d   f o r   r en ewa b le  en er g y   s o u r ce s   to   in tellig en tly   m an a g r en ewa b le  en er g y .   T h au th o r s   u s ed   w av elet  d ec o m p o s itio n   an d   a r tific ial   n eu r al  n etwo r k s   an d   d is cu s s ed   th s ig n if ican ce   o f   th eir   r esu lts .   Alawe   et  a l.   [ 1 2 ]   p r o p o s ed   n o v el  m ec h a n is m   to   s ca le  5 co r n etwo r k   r eso u r ce s   b y   f o r ec ast in g   tr af f ic  v ia   ML   tech n iq u es.  T h e   p r ed ictio n   tech n iq u e   u s ed   was   b ased   o n   r ec u r r e n n eu r al  n et wo r k s   ( R NN ) l o n g   s h o r t - ter m   m em o r y   ( L STM ) ,   ar tific ial  n eu r al  n etwo r k s   ( ANN ) ,   an d   th d ee p   n eu r al   n etwo r k   ( DNN) .   C o m p ar is o n s   wer m ad b et wee n   th d if f er e n tech n iq u e s .   T h s im u latio n   r esu lts   co n f ir m ed   th h ig h er   ef f icien cy   o f   th R NN - b ased   s o lu tio n   co m p ar e d   to   th e   o th er   a p p r o ac h es.  No   p r ep r o ce s s in g   o r   f ea tu r e x tr ac tio n   was m ad e .   W an g   et  a l.   [ 1 3 ]   p r o p o s ed   a   wav elet - b ased   n e u r al  n etwo r k   m o d el ,   ca lled   th e   m u ltil ev el  wav elet  d ec o m p o s itio n   n etwo r k   ( m W DN) .   T h p r o p o s ed   m o d el  u s e d   th wav elet  d ec o m p o s itio n   i n   f r eq u en cy   lear n in g   wh ile  en ab lin g   th f in e - tu n in g   o f   all  p ar am eter s   u n d er   d ee p   n eu r al  n etwo r k   f r a m ewo r k .   T h r esu lts   s h o wed   th ef f ec tiv en ess   o f   th p r o p o s ed   h y b r id   ap p r o ac h .   T h wav el et  d ec o m p o s itio n   r e q u ir ed   s ev er al  p ar am eter s   th at   co u ld   a f f ec t h f o r ec ast  p e r f o r m an ce   s u ch   as  th e   n u m b er   o f   d ec o m p o s itio n   lev els  a n d   th s elec ted   m o th er   wav elet.     Salih   [ 1 4 ]   i n tr o d u ce d   L AN  o f f ice  n etwo r k   b an d wid th   p r ed i ctio n   m o d els  as  tim s er ie s   m o d els.  T h e   p r o p o s ed   f o r ec ast  m o d els  wer test ed   u s in g   m ea n   s q u ar er r o r   ( MSE )   an d   p er f o r m an c ev alu atio n   p lo ts Ho wev er ,   th s tu d y   d id   n o u s an y   p r e p r o ce s s in g   tech n i q u es J .   Fen g   et   a l.   [ 1 5 ]   p r o p o s ed   d ee p   tr a f f ic   p r ed icto r   ( Dee p T P)  m o d el  to   f o r ec ast  lo n g - p er io d   ce llu lar   n etwo r k   tr af f ic .   T h e   s tu d y   s h o wed   th at  th m o d el  o u tp er f o r m ed   o th er   t r af f ic  f o r ec ast  m o d els  b y   m o r th a n   1 2 . 3 %.  Ho wev er ,   L STM   is   n o s u itab le  f o r     lo n g - p e r io d   f o r ec asti n g   ( m u lti - s tep s   ah ea d ) .     Le   et  a l.   [ 1 6 ]   p r o p o s ed   tr af f ic  f o r ec asti n g   m o d el  u s in g   au t o r eg r ess iv m o d els  an d   n eu r al  n etwo r k ,   m o d els  to   p r ed ict  k ey   p er f o r m a n ce   in d icato r s   ( KPI s )   in   n etwo r k   KPI   f o r   lo n g   ter m   an d     s h o r t - ter m   f o r ec asti n g   r ea d ata.   Ho wev er ,   n o   p r ep r o ce s s in g   was  ap p lied   an d   th s tu d y   o n ly   f o cu s ed   o n   in v esti g atin g   r elatio n s h ip s   b et wee n   n etwo r k   KPI s .   Yo u   et  a l .   [ 17 ]   p r o p o s ed   h y b r id   L OE SS - AR I MA - b ased   f o r ec ast  m o d el.   Au th o r s   claim e d   th at  s u c h   m o d el  h as  th p o ten tial  o f   en h an cin g   th e f f icien cy   o f   r eso u r ce   u tili za tio n ,   esp ec ially   i n   h i g h - s p ee d   n etwo r k s ,   to   ac co m m o d ate  th r ap id   in cr ea s in   r is in g   d em an d s   f o r   s cie n tific   d ata  ap p licatio n s .   s ea s o n al  d ec o m p o s itio n   o f   tim s er ies  b y   L OE SS   ( STL )   an d   ( AR I MA )   was  ap p lied   o n   s im p le  n etwo r k   m a n ag em e n p r o to co l   ( SNMP) .   T h r esu lts   r ev ea led   th at  th p r o p o s ed   f o r ec ast  m o d el  was  r esil ien ag ain s ab r u p t   ch an g es  in   n etwo r k   u s ag e   p r o v id e d   th at  th m u ltis tep   f o r ec ast wa s   u s ed   as th p r im ar y   s ce n ar io .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A n a lysi s   o f h yb r id   n o n - lin ea r   a u to r eg r ess ive  n eu r a l n etw o r a n d … ( Mo h a med   K h a l a fa lla   Ha s s a n )   1081   3.   RE S E ARCH   M E T H O D     T h ML   ap p r o ac h es  wer m o d eled   as  tim s er ies  b atch   lea r n in g .   T h g en e r al  p r o ce s s   o f   n etwo r k   b an d wid th   f o r ec ast  is   b ased   o n   m ac h in lea r n in g .   T h is   alg o r ith m   was  ex ten d ed   in   th is   s tu d y   b y   p r e p r o ce s s in g   th p r o v id ed   d ataset,   n am ely   b y   elim in atin g   u n n ec ess ar y   n o is an d   r ap id   tr af f i c   f lu ctu at io n s .   Mo r e o v er ,   to   av o id   th er o s io n   o f   p e r io d ic  tr en d s   an d   p atter n s   with in   th s er ies,  th s y s tem   lear n s   lo ca an d   g lo b al  tr en d s   s ep ar ately   to   d etec a n d   elim in ate  s h o r t - ter m   o r   lo n g - ter m   n o is e.   Similar   ap p r o ac h es  h av a ls o   b ee n   u s ed   in   t h e   p ast   [7 ] - [ 1 1 ] ,   with   th v a r io u s   tech n iq u es  u s ed   in clu d i n g   Hi lb er Hu an g   tr a n s f o r m atio n   ( HHT ) ,   STL ,   an d   th wav elet - b ased   ap p r o ac h .   Ho w ev er ,   it  is   o f ten   u s ed   t o   d etec t   h ig h   n o is lev els  in   th l o n g   te r m   an d   m a y   n o t b s u itab le  f o r   o n lin e   o r   s em i - o n lin p r o ce s s e s ,   wh ile  th c u r r en s tu d y   p r o p o s es  h y b r i d   ap p r o ac h   u s in g   a   n o n lin ea r   au to   ag g r ess iv n eu r al  n etwo r k   th at  f o cu s es  m ain ly   o n   lo ca v a r iatio n s   u s in g   v ar io u s   lo ca r eg r ess io n   tech n iq u es  to   r em o v u n n ec ess ar y   n o is an d   f lu ct u atio n s ,   w h ich   m ay   h as  n e g ativ ef f ec ts   o n   th p r e d ictio n   ac cu r ac y ,   esp ec ially   i n   n o n lin e ar   an d   n o n - s tatio n ar y   tim s er i es.  L o ca r eg r ess io n   a p p r o ac h e s   allo th r em o v al   o f   n o is an d   f lu ctu atio n s   in   s h o r s ca les  an d   r ea ct  m o r d y n a m ically   to   n o is e - lev el  s h o r t - te r m   v ar iatio n s   m o r e   th an   o t h e r   wav elet -   a n d   HHT - b ased   tech n i q u es.  Similar   ap p r o ac h es  wer e   also   u tili ze d   in   o n s tu d y   [ 8 ] ,   wh ich   u s ed   AR I MA   in s tead   o f   NAR.  T h ef f ec ti v en ess   o f   th p r o p o s ed   m eth o d   was  v e r if ied   u s in g   av ailab le   r ea l   n etwo r k   tr af f ic  d atasets .     3 . 1   Neura l net wo r k   a ut o - re g re s s iv ( NNAR )   Neu r al  n etwo r k   tr ain in g   atte m p ts   to   ap p r o x im ate   f u n cti o n   b y   o p tim izin g   n etwo r k   weig h ts   an d   n eu r o n   b ias.     ( ) = ( ( 1 ) , . , ( ) ) +                         ( 1 )     I n   ( 1 ) ,   th ter m   ε   s tan d s   f o r   er r o r .   T h e   y   in p u f ea tu r es  ( B an d wid th   s lice  in   th i s   ca s e)   ( 1 ) ,   ( 2 ) , ( 3 )   ar th f ee d b ac k   d elay s .   T r ial - an d - er r o r   was  d o n t o   o p tim iz th h id d en   la y er s   an d   n e u r o n s   to   ac h iev e   th b est  p er f o r m an ce .   Ho wev er ,   as  th e   n u m b er   o f   n eu r o n s   i n cr ea s es  as  th s y s te m   b ec o m es  m o r e   co m p lex ,   th e   lo n u m b er   o f   n eu r o n s   m ay   r ed u ce   n etwo r k   ef f icien cy .   L ev e n b er g - Ma r q u ar d is   th m o s wid ely   u s ed   lear n in g   r u le  d u e   to   its   f ast  r esp o n s e   [ 9 ] .   T h r o o t   m ea n   s q u ar ed   er r o r   ( R MSE ) ,   m ea n   s q u ar ed   er r o r   ( MSE ) ,   an d   th er r o r   s u m   o f   s q u a r es  ( SS E ) I n   ( 2 ) ,   ( 3 ) ,   an d   ( 4 ) ,   ar o f ten   u s ed   as  th p er f o r m an ce   m atr ix ,   wh er e   y i ̂   is   th p r e d icted   d ata,     is   th e   cu r r e n t d ata,   an d     is   th e   n u m b er   o f   d ata  s am p les [ 9 ] .   I n   th is   r esear ch ,   th e   g r ad ien d escen was  u s ed   as  th lear n in g   r u le.   NARNN  was  c h o s en   b ec au s L STM   an d   d ee p   l ea r n in g   ap p r o ac h es   r eq u ir c o m p licated   an d   ca r ef u d esig n   to   p r o d u ce   ac cu r a te  f o r ec asts .   I n   ad d itio n   to   th a t,  th ese  tech n iq u es  wo r k   b etter   with   h ig h   d im en s i o n al  an d   lar g d atasets .   T h er e f o r e,   NARNN  was  s elec ted   in   th is   r esear ch   as  th f o r ec asti n g   tech n i q u e.      = ( ̂ ) 2 = 1                 ( 2 )      =                      ( 3 )     R MSE   = 1 ( 0 ) 2 = 1                 ( 4 )     MA E   | 0 | = 1                    ( 5 )     0 o b s er v ed         Pre d icted         The   co llected   d ata  was  d iv id ed   in to   tr ain in g   d ata  an d   test in g   d ata.   T h tr ain in g   s tag was  u s ed   to   test   th m o d el   f it.  T h en ,   th tim s er ies  f o r e ca s tin g   m o d el  was  estab lis h ed   u s in g   th tr ain e d   m o d el.   T h p er f o r m an ce   was  m ea s u r ed   ac co r d in g ly   an d   t h e n   co m p a r ed   with   ac tu al  v alu es.     3 . 2 .     L o ca l s m o o t hin g   t ec hn i qu es   As d is cu s s ed   in   s ec t io n   1   t h p er s is ten ce   o f   n o is in   tim s er ies f o r ec ast ca n   h av co n tin u o u s ly   an d   cu m u lativ ely   im p air   f o r ec asti n g   p er f o r m an ce   in   n - s tep s   ah ea d   f o r ec asts ,   s o   th is   is s u h as  to   b tac k led   ca r ef u lly   wh en   wo r k in g   with   f o r ec asti n g   alg o r ith m s   wh ile  m in im izin g   th ef f ec ts   o f   h ig h   o r   lo f r e q u en cy   n o is with in   th d ata,   wh ich   ca n   b u s ef u f o r   f o r ec asti n g   in   th s h o r t -   o r   l o n g - te r m   s ca le.   T h e   s ig n if ican ce   o f   n o is e   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   4 Au g u s t 2 0 2 1 :    1 7 0 8   -   1 0 8 9   1082   p r o ce s s in g   o r   r em o v al  was  a d d r ess ed   in   p ast  wo r k   [ 7 ] - [ 1 1 ] .   Nex t   Sectio n   d is cu s s es  v ar io u s   lo ca s m o o th in g   tech n iq u es u s ed   in   th is   p ap er .       3 . 2 . 1 .     L o ca l r eg re s s io n t ec hn iqu e s     T h lo ca r eg r ess io n   m eth o d   is   b ased   o n   t h L OE SS   m eth o d   [ 1 8 ] .   I is   b ased   o n   f itti n g   s im p le  m o d els  to   lo ca lized   d ata  s u b s ets  to   f o r m   cu r v th at  ap p r o x im ates  th o r ig in al  d ata.   T h o b s er v atio n s   ( , )   ar ass ig n ed   n eig h b o r h o o d   weig h ts   u s in g   th tr icu b weig h f u n ctio n   s h o wn   i n   ( 6 ) .   L et    ( ) = | |   b t h d is tan ce   f r o m     to   ,   an d   let    ( )   be   th ese  d is tan ce s   in   th s m alles t o   lar g est  o r d er .   T h en ,   th n eig h b o r h o o d   weig h t f o r   t h o b s er v atio n   ,   is   d ef in ed   b y   th f u n ctio n   ( ) :     ( ) = (   ( )   ( ) )                   ( 6 )     f o r     s u ch   th at    ( ) <     ( ) ,   wh er q   is   th b an d wid th   th at  d ef in es  th n u m b er   o f   o b s er v atio n s   in   th s u b s et   o f   d ata  lo ca lized   ar o u n d   x .   I n   th p r o p o s ed   alg o r ith m ,   th is   ap p r o ac h   was  ap p lied   to   f it  a   tr en d   to   th last   k   o b s er v atio n s   o f   r eso u r ce   u tili za tio n .   Acc o r d in g ly ,   n ew  tr en d   li n ̂ ( ) = ̂ + ̂ ( )   is   f o u n d   f o r   ea ch   n e o b s er v atio n .   T h is   tr en d   lin is   u s ed   to   esti m ate  th n ex t o b s e r v atio n   ̂ ( + 1 ) . T h n ew  o b s er v atio n   ca n   b in   th f o r m   o f   h o s r eso u r ce   u tili za tio n   s u ch   as  b an d wid t h   s lice  u tili za tio n   [ 1 8 ] .   I n   ( 7 )   s h o w s   th f in al  f o r ec ast   f o r m u la  u s in g   h y b r id   L OE SS   an d   NARNN:     =   0 +   = 1 + (  ( = 1 ̂ ( + 1 ) ) 1 + 0 ) +         ( 7 )     wh er e     is   th n u m b er   o f   en tr ie s ,     is   th n u m b er   o f   h id d en   la y er s   with   ac tiv atio n   f u n ctio n   ,   an d      is   th p ar am eter   co r r esp o n d in g   to   th weig h o f   t h co n n ec tio n   b etwe en   th in p u u n it     an d   th e   h i d d en   u n it     ,     is   th weig h o f   th e   co n n ec tio n   b etwe en   th h i d d en   u n it   a n d   th e   o u tp u u n it,  an d   0   an d   0   ar th co n s tan ts   th at   co r r esp o n d ,   r esp ec tiv ely ,   to   t h h id d e n   u n it     an d   th o u tp u u n it.T wo   f o r m s   u s L OW E SS ,   wh ich   u s es  a     f ir s t - d eg r ee   p o ly n o m ial  m o d e with   weig h ted   lin ea r   least  s q u ar es  an d   L OE SS ,   wh ic h   u s es  s ec o n d - d eg r ee   p o ly n o m ial  m o d el   [ 1 8 ] .     3 . 2 . 2 .     Ro bu s t   lo ca l r eg re s s io n   T h is   s tu d y   ad o p ted   t h L R   m eth o d   b u t h e   f ir s f it  was  ca r r ied   o u t   with   weig h ts   d ef i n ed   u s in g   th e   tr icu b weig h f u n ctio n .   T h e   f it  was  e v alu ated   at  th e     to   g et  t h f itted   v al u es  ( ̂   ) ,   an d   t h r esid u als     ̂ =   ̂     ,   at  ea ch   o b s er v atio n   ( ) ,   th ad d itio n al  r o b u s tn ess   weig h was  ca lcu lated ,   s u b jecte d   to   m ag n itu d o f   ̂ .   Acc o r d i n g ly ,   a   n ew  weig h ( )   was  ass ig n ed   to   ea ch   o b s er v atio n ,   wh e r   is   d ef in ed   as   in   ( 8 )   [ 1 8 ] .     = { ( 1 ( ε ̂ i 6 MA D ) 2 ) 2 , | ε ̂ i | < 6 MAD 0                               , | ε ̂ i | 6 MAD }                   ( 8 )     wh er MA D   is   d ef in ed   p e r   ( 9 ) :     =    ( | ̂ | )                 ( 9 )     Similar ly ,   two   v er s io n s   wer e x am in ed ,   i.e . ,   ' R L O W E SS '   an d   ' R L OE SS ' .   I n   b o th   f o r m s ,   th l o wer   weig h ts   wer ass ig n ed   to   th o u tlier s   in   th e   r eg r es s io n .   M o r eo v e r ,   o u ts id th s ix   m ea n   ab s o lu te  d ev ia tio n s ,   ze r o   weig h ts   wer ass ig n ed   to   n ew  v al u es.     3 . 2 . 3 .     M o v ing   a v er a g   I n   s ev er al  d o m ain s ,   tim s er ie s   d ata  is   u s u ally   s m o o t h ed   u s in g   m o v in g   av er a g es ( MA s ) .   T h is   m eth o d   is   u s ed   esp ec ially   in   tr en d   f o r e ca s tin g .   T h e   m o v i n g   av er ag e   i s   co n s id er ed   ty p o f   r ea l - tim f ilter   th at   r em o v es  h ig h   f r eq u e n cies  f r o m   d ata.   I n   s ig n al  p r o ce s s in g ,   MA s   ar e   th er ef o r e   also   ca lled   “lo w - p ass   f ilter s ”  [ 1 9 ]   wh e r e   th ca lcu lated   co ef f icie n ts   ar eq u al  to   th r ec ip r o ca o f   th s p an   o r   b a n d wid th .   Mo v in g   av er ag es  ar also   k n o wn   as  “e x p o n en tial  s m o o t h in g ”.   L et’ s   d ef in   as  th r o u g h p u at  th tim e   i.  L et  = { } , = 1 . .   b th e   tim s er ies  wh er p   is   th tim s er ies  len g th .   T h e r ef o r e,   th e   m o v in g   av e r ag o f   th e   p er io d   q   at  tim e     ca n   b e   ca lcu lated   as  p er   ( 1 0 )   [ 1 9 ] .   In   (1 0 )   a n d   ( 1 1 )   s h o th f in al  f o r ec ast  f o r m u la  u s in g   h y b r i d   m o v in g   av er ag e   an d   NARNN:     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A n a lysi s   o f h yb r id   n o n - lin ea r   a u to r eg r ess ive  n eu r a l n etw o r a n d … ( Mo h a med   K h a l a fa lla   Ha s s a n )   1083   =   1 + 1 = 1                   ( 1 0 )     =   0 +   = 1 + (  ( = 1 ( ) 1 ) 1 + 0 ) +           ( 1 1 )     3 . 2 . 4   Sa v it z k y - G o la y   s m o o t hin g   f ilte   T h Sav itzk y - Go lay   ( SG)   s m o o th in g   f ilter   is   co n s id er ed   ty p o f   lo w - p ass   f ilter   ch ar ac ter ized   b y   two   p ar am eter s   d en o ted   as  a n d   M.   T h e   SG  f ilter   ca n   b d e f in ed   as  weig h te d   m o v in g   a v er ag e,   i.e . ,   f in ite  im p u ls r esp o n s ( FIR)  f ilter .   Fil ter   co ef f icien t s   ar ca lcu lated   u s in g   an   u n - weig h ted   lin ea r   least - s q u ar es  r eg r ess io n   an d   p o l y n o m ial  m o d el  o f   s p ec if ied   d eg r ee   ( th d ef au lt  is   2 ) .   T h e   tim s er ies  to   b esti m ated   is   d o n ated   b y   x( n ) ,   s o   t h f in al  o u tp u t is o b tain ed   u s in g   ( 1 2 ) ,   ( 1 3 ):     ̂ ( ) = ( ) ( ) =               ( 1 2 )     =   0 +   = 1 + (  ( = 1 ( ̂ ( ) ) 1 ) 1 + 0 ) +                ( 1 3 )     No te  th at  h ig h er   d e g r ee   p o ly n o m ial  m ak es  it  p o s s ib le  to   ac h iev h ig h   lev el  o f   s m o o t h in g   with o u t   atten u atin g   th d ata  f ea t u r es  [ 2 0 ] .   I t   is   wo r th   m en tio n in g   th at   L OE SS  is   u s ed   f o r   s eas o n al  d e co m p o s itio n ,   b u i n   th is   wo r k ,   th e   f o cu s   was   to   u s L OE SS  an d   o t h er   lo cal  r eg r ess io n   tech n i q u es  as   s m o o t h en i n g   tech n iq u es,   s i n ce   d eco m p o s itio n   m ay   ag g r ess iv el y   r em o v s o m o f   th im p o r tan d ataset  f eatu r es.   No w,  th q u est io n   b eco m es  h o t o   s elect  th b an d wid t h   q .   T h b an d wid th   p la y s   cr itical  r o le  in   th o v er all  lo cal  r eg r ess io n   f it;  if   th b an d wid t h   s elected   is   v er y   s m all,   lar g e v ar ian ces  wi ll  r esu lt,   as  i n s u f f icien d ata will   f all  with in   th e   s m o o th i n g   wi n d o w,  an d ,   as  a resu lt ,   n o is y   f it  will  b p r o d u ced .   O n   th o t h er   h an d ,   if   it  is   v er y   l ar g e,  n o all  d ata  will  b f itted   with in   th s p ecif ied   win d o w.  I d eally ,   s ep ar ate  b an d wid th   f o r   each   f ittin g   p o in is   u s e d ,   b ear in g   i n   m in d   f eatu r es  s u ch   as  th lo c al  d en s it y .   Pra ctically ,   it  is   d if f icu lt  to   s elect  an   o p tim u m   v al u e,  as  th r esear ch er   d o es  n o wan t o   u n in ten tio n ally   elim in ate   d ata.  T h s im p lest   ap p r o ach   is   to   s elect  q   as   co n s tan t   f o r   all  .   T h is   case   co u l d   b s atis f acto r y   f o r   s o m s im p le  co n s t an t   v ar ian ce  d ata,  b u w h en   th e   in d e p en d e n v ar iab les    h av n o n - u n if o r m   d is tr ib u tio n   s u ch   as   in   th b an d wid t h   s lice,  p r o b lem s   s u ch   as  em p ty   n eig h b o r h o o d s   an d   t h accid en tal  r em o v al  o f   m o r u n n ecess ar y   d ata  co u ld   r esu lt.   T h er ef o r e,  th e fo llo win g   ap p r o ach   s h o wn   in   Alg o r ith m   1   was  p r o p o s ed :     Alg o r ith m   1     Input y as time series bandwidth utilization    Output MSE   y ̂   as a locally fitted (predicted) value using local smoothing techniques   1 Initialize, set q as 0     2 perform local smoothing using selected q    3 set q = q + 0.001   4 calculate the average MSE for all q - values   5 if MSE is = 0, then go to 2, else stop   6 set q    q   7 return  y ̂     Fig u r e   1   s h o ws  t h ef f ects  o f   d if f er en q - v alu es  an d   t h eir   co r r esp o n d in g   d if f er en c es  f r o m   th o r ig in al   B an d wid t h   u tilizati o n .   I is   o b v i o u s   t h at  as   th q - v alu i n cr eases ,   th s m o o th er   t h cu r v e,   b u t h d if f er en ce  ( er r o r will  in cr ease,   in   tu r n ,   i n cr easin g   th o v er all  ab s o lu te  m ean   s q u ar ed   er r o r   ( MS E ) .   I n   th is   p ap er ,   N NAR   ( p , k )   was  u s ed   to   in d icate  p   lag g ed   i n p u t s   an d   k   n o d es  i n   th h i d d en   la y er .   T h g en er al  ap p r o ach   to   s ear ch in g   f o r   th o p tim al  s tr u ctu r f o r   th NNAR  m o d el  is   th r o u g h   tr ial - an d - er r o r ,   p er f o r m ed   b y   test in g   n u m er o u s   n etwo r k s   wit h   v ar y in g   n u m b er s   o f   in p u ts   a n d   h i d d en   u n its   an d   th e n   calcu latin g   th g e n er alizatio n   er r o r   o f   e ach   to   ach iev s tr u ctu r with   th lo west  g en er alizatio n   er r o r   [ 2 1 ] ,   [ 2 2 ] .   T h cr u cial  p ar o f   NNAR   m o d elin g   is   t o   f in d   t h ap p r o p r iat v alu es   f o r   p   an d   k   lag g ed   i n p u ts .   I n   th is   wo r k ,   Ak aik e’ s   in f o r m atio n   cr iter io n   ( AI C )   [ 2 1 ] - [ 2 3 ]   was  u s e d   to   au to m ate  th e     p ar am eter   s electio n   p r o cess   u s i n g   R   p r o g r am m in g   lan g u ag e.  I n   f act,  th i s   m eth o d   is   asy m p to t ically   eq u i v alen t o     cr o s s - v alid atio n   [ 2 3 ] .   T h e   b est   m o d el  with   an d   was  t h en   ch o s en   with   th e   least   v alu e   o f   AI C   u s in g   th e   R   la n g u ag e.     T wo   s cen ar io s   wer ex am in e d   in   t h is   p ap er - th s h o r t - ter m   f o r ecast,   wh ich   s h o ws   h o each   h y b r id   tech n iq u will  p er f o r m   o n   th s h o r t - ter m   s cale,  an d   th s eco n d   s cen ar io ,   wh ich   s h o ws  th f o r ecast  p er f o r m an ce  o n   a   lo n g - ter m   s cale  f o r ecast.   E ach   tim s tep   r ep r esen ts   2 8 . 8   m in u t es  an d   e v er y   5 0   tim s tep s   r ep r esen o n e   d ay .   T h is   case  is   d u t o   t h lim itatio n s   i n   th d ata   co llectio n   to o l.   T h v alu es  wer th e n   i n ter p o lated ,   r esu ltin g   i n   a   tim s er ies   m o d el.  T h m u lti - s cale  f o r ecast   was  u s ed   to   in v esti g ate  t h e x t en to   wh ich   t h h y b r id   tech n i q u es  wo u ld   p er f o r m   b etter   th an   v ar io u s   f o r ecast  win d o ws.   T h f in d i n g   will  p r o v b en ef icial  f o r   r eal - wo r ld   co r an d   b ack b o n n etw o r k s   to   ach iev e   ef f icien n etwo r k   r eso u r ce  p la n n in g I n   th is   p ap er ,   t o   en h an ce  tim s er ies  f o r ecast  m o d els,   th e   B o x   a n d   C o x   [ 2 4 ]   p o wer   tr an s f o r m atio n   was  u s ed   to   n o r m alize  s er ies  v ar ian ces.   Mo r eo v er ,   th au g m en ted   Dick y - Fu ller   ( ADF)   test   [ 2 4 ]   was   u s ed   t o   co n f ir m   th s tatio n ar ity   o f   th tim s er ies  alt h o u g h   NARNN  can   b e   u s ed   to   m o d el  a   n o n - s tatio n ar y   tim s er ies.   Pre v io u s   wo r k   h ad   ad v is ed   ex am in i n g   t h s tatio n ar ity   o f   r eg r ess io n   m o d els,   as  s tati o n ar ity   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   4 Au g u s t 2 0 2 1 :    1 7 0 8   -   1 0 8 9   1084   co u ld   lea d   to   m is lead in g   r esu lts   [ 2 5 ] .   T o   m easu r e th s tatio n ar it y   o f   c o llected   d atasets ,   ta u   s tati s ti cs  was  u s e d .   F o r   a   T y p I   test ,   th ta u   cr itical  v alu is   2 . 9 8 5   wh e n   n   =   7 0 0   ( th d atasets   ar co m p o s ed   o f   7 0 0   d ata  p o in t s ) .   Sin ce    τ crit   =   2 . 2 2 3   <   1 0 . 1 4 1 4 7   =   τ ,   th e n u ll  h y p o t h esis   t h at t h e ti m e s er ies  is   n o s tatio n ar y   i s   r ejected       4.   RE SU L T S AN D I SCU S S I O N   Fig u r 1   ( a)   s h o ws  th L T E   b an d wid th   u tilizatio n   with o u s m o o th i n g   wh ile  Fig u r es  1   ( b )   s h o th ef f ects  o f   ap p ly i n g   m o v i n g   av er ag s m o o th in g   tec h n iq u es  u s in g   q = 0 . 0 0 2   wh ile  Fig u r 1   ( c)   s h o ws  t h ef f ects  o f   ap p ly in g   m o v in g   av er ag s m o o t h in g   tech n iq u es   u s i n g   q = 0 . 0 0 3   As  s h o w n   in   Fig u r 1   ( a) ,   it  is   o b v io u s   th at  th b an d wid t h   s lic e   ex h ib ited   s i g n if ican s easo n al  p atter n s   with   d aily   p eak s .   Nev er th eless ,   th d ata  also   s h o ws  s to ch asti p atter n   b etween   s u ccess iv p o in t s   with   co n tin u o u s   ir r eg u lar   f lu ctu atio n s .   On   th o t h er   h an d ,   n o   l o n g - ter m   t r en d   ap p ear ed   to   ex is t.   Min im u m   s m o o th in g   b an d wid th   ( q )   was  s elected   as   in to r d u ced   i n   s ectio n   2   in   alg o r ith m   1 .   Fro m     Fig u r 1   ( b ) ,   it  is   n o tica b le  th at  th ef f ects  o f   ap p ly in g   s m o o t h i n g   tech n iq u es   can   b d if f icu lt  to   b o b s er v ed   b y   t h e   n ak ed   ey e.   T h er ef o r e,  MSE   was  acco r d in g ly   calcu lated   f o r   each   tech n i q u e   as  d ep icted   in   T ab le  1 ,   w h ich   s h o ws  t h e   ef f ect  o f   ap p ly in g   v ar io u s   s m o o t h in g   tech n iq u es  o n   th s elected   d ataset.   Fig u r 1   ( b )   s h o ws  t h L T E   s lice  b an d wid th   u tilizatio n   s m o o th ed   with   t h m o v in g   av er ag ( M A)   an d   s m o o t h in g   win d o q = 0 . 0 0 3 ,   wh ic h   r em o v es  m o r o f   th s m all  f lactu atio n s   at  t h to p   p ea k s ,   t h u s   p r o d u cin g   th e   h i g h est  MSE   o u o f   all   th o th er   tech n i q u es.   I n   th i s   case,   ( q)   h as  d ir ect  in f lu en ce  o n   th s m o o th in g   p er f o r m an ce  s in ce  it   is   in v er s ly   p r o p o tio n al  to   t h MSE .   T h er ef o r e,  a   s ig n if ican p o r ti o n   o f   th d ata  c o u ld   b r em o v ed   if   h ig h er   ( q)   v alu es  wer u s ed .   I n   f act,  th h ig h er   th ( q)   v alu es,   th b etter   th s m o o th i n g   an d   th la r g er   am o u n o f   d ata  th at  will  b lo s as  d e p icted   in   Fi g u r 1   ( c) .   C o n ce q u e n tly ,   i n   to d ay s   d ata - cen tr ic  wo r ld ,   lo s i n g   ev en   s m all  am o u n ts   o f   d ata  co u ld   lead   to   t h v i o latio n   o f   s er v i ce  lev el  ag r eem en ts   in   ad d iti o n   to   in ef f icien r eso u r ce  u tilizatio n   an d   p lan n in g .   T h e r ef o r e,  ( q )   h as  to   b s elected   acco r d in g   t o   alg o r ith m   ( 1 ) .   LO W E SS  p r o d u ced   th s e co n d   lar g est  MSE ,   as   s h o wn   i n   T ab le  1 ,   d u to   t h lik eli h o o d   th at   th e   n o n li n ear   b an d wid t h   s lice  wo u l d   less   lik el y   f it  if   th f ir s t - d eg r ee  p o ly n o m ial  lin ear   m o d el  was  u s ed .   Ho wev er ,   f ittin g   u s i n g   th e   q u ad r atic p o ly n o m ial  b a s ed   o n   L OE SS  p r o d u ced   a s m aller   MSE ,   as  s h o wn   in   T ab le  1 ,   d u e   to   t h e n o n li n ear ity   o f   th e   s eco n d - o r d er   lo cal  f ittin g   m o d e ls ,   as  s h o wn   i n   Fig u r 1   ( a ) .   On   th o th er   h an d ,   th s g o lay   f ilter   p r o d u ce d   s m aller   MSE   u s in g   s eco n d - d eg r ee  p o ly n o m ial,   in   c o n tr ast  to   L OE SS,   wh ic h   u s ed   s eco n d - d e g r ee  p o ly n o m ial  in   wh ich   th weig h t s   wer s tr o n g l y   i n f lu e n ced   b y   th e   b an d wid th ,   as   s h o wn   in   ( 6 )   Fi n ally ,   R L OE SS  an d   R L OW E SS  s h ar ed   a s im ilar   p er f o r m an ce,  y ield in g   th e lo west  MSE   v alu es,   as  s h o w n   in   T ab le  1 .       T ab le   1 .   T h ef f ec ts   o f   ap p ly i n g   alg o r ith m   1   S mo o t h i n g   Te c h n i q u e     q   S mo o t h i n g   M S E   M o v i n g   a v e r a g e   0 . 0 0 3   2 . 4 1 5 5 e + 0 7   LO W ESS   0 . 0 0 5   2 . 0 7 8 5 e + 0 7   LO ESS   0 . 0 0 5   6 . 4 0 9 6 e + 0 4   S g o l a y   0 . 0 0 3   1 . 0 1 3 3 e - 8   R LO W ESS   0 . 0 0 2   1 . 7 0 3 0 e - 10   R LO ESS   0 . 0 0 2   1 . 7 0 3 0 e - 10       No w,  b ase d   o n   AI C   calcu lated   au to m atically   f r o m   ( au to ar im a)   f u n ctio n   i n   R ,   it   was  f o u n d   th a NARNN   ( 2 8 , 1 4 )   p r o d u ced   t h b est  f it.   T ab le  2   s h o ws  t h co m p ar is o n s   a n d   th f in al  r esu lts   o f   ap p l y in g   th h y b r id   NARNN   an d   s m o o th i n g   tech n i q u es   f o r   t h L T E   b an d wi d th   s lice  f o r ecas f o r   s h o r 5 0   tim s tep s   h ead   a n d   f o r   lo n g   3 5 0   tim s tep s   ah ea d .   T ab le   2   al s o   s h o ws  th R MSE   f o r   NARNN  o f   each   s m o o t h in g   tech n iq u f o r   5 0 - tim s tep s   an d     350 - tim s tep s .   O v er all,   th e   h y b r id   NARNN  te n d ed   to   p er f o r m   b etter ,   with   b etter   R MSE   an d   a   h ig h er   s m o o t h in g   MSE .   It   is   wo r th   t o   n o te  t h at,  th e   R MSE   v alu es  wh e n   ap p ly in g   NAR NN  o n ly   with o u an y   co m b i n ed   tech n iq u e   wer 3 0 8   f o r   th e   5 0 - tim s tep   f o r ecast  an d   3 2 3   f o r   t h 3 5 0 - tim s tep .   Fro m   T ab le  2 ,   it  is   o b v io u s   th at  th co m b i n atio n   o f   L OE SS  an d   NARNN   y ield ed   b etter   p er f o r m an ce  f o llo wed   b y   th m o v in g   av er ag an d   NARNN.   T h   Dieb o ld - Ma r ian o   test   [ 2 1 ] - [ 2 3 ]   was  th en   ap p lie d   t o   ch ec k   f o r   s t atis tical  s ig n if ican ce.   NARNN  with   L OE SS  R MSE   was  f o u n d   t o   b s tatis tically   d if f er en f r o m   o th er   h y b r id   tech n i q u es.   T h s am f in d in g   was  f o u n d   f o r   th 3 5 0   tim e   s tep   f o r ecast.   T h er ef o r e,  NARNN  with   L OE SS  y ield ed   b ette r   p er f o r m an ce  an d   was  v er if ie d   s tatis tically   v ia  th e   Dieb o ld - Ma r ian o   test   as  well.  T h is   r esu lt  co n f ir m s   th ef f ecti v en ess   an d   th r eliab ility   o f   th e   h y b r id   NARNN  an d   th s m o o th i n g   t ec h n iq u es  f o r   f o r ecastin g   s h o r t -   an d   lo n g - ter m   s cales.   T h au to co r r elatio n   f u n ct io n   ( AC F)  o b tai n ed   u s in g   t h L ju n g B o x   test   was  u s ed   f o r   f u r th er   an aly s is .   T h an aly s is   o f   AC was  u s ed   to   calc u late  th n u m b er   o f   in p u ts   o f   au to - co r r elated   v ecto r s   to   cr eate  a n   ap p r o p r iate  m o d el.   Mo r eo v er ,   it  was  also   u s ed   t o   in v esti g ate  wh ite  n o is ( zer o   m ean ,   co n s tan v ar ian ce,  u n co r r elated   p r o cess es,   a n d   n o r m ally   d is tr ib u ted )   in   th r esid u als.   Fig u r 2   ( a)   s h o ws   th AC F   an d   t h p lo ts   o f   t h r e s id u als   o f   t h h y b r id   NARNN  s m o o th in g   f o r ecast  m o d els   f o r   t h 5 0 - tim s tep .   An d   Fig u r e 2   ( b )   f o r   3 5 0 - tim e s tep   a h ead .         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A n a lysi s   o f h yb r id   n o n - lin ea r   a u to r eg r ess ive  n eu r a l n etw o r a n d … ( Mo h a med   K h a l a fa lla   Ha s s a n )   1085     ( a)     ( b )     ( c)     Fig u r 1 .   B an d wid th   u tili za tio n   u s in g   m o v in g   av ar a g e:  ( a)   o r ig in al  L T E   s lice ,     ( b )   L T E   s lice  s m o o th e d   with   q =0 . 0 0 3 ,   an d   ( c)   L T E   s lice  s m o o th ed   with   q = 0 . 0 5       T ab le  2 .   R MSE   r esu lts   o f   ap p l y in g   th h y b r id   tech n i q u es   S mo o t h i n g   Te c h n i q u e   q   R M S E   o f   5 0 - t i me   st e p s   a h e a d   f o r e c a s t   u si n g   N A R N N   +   sm o o t h i n g   R M S E   o f   3 5 0 - t i m e   s t e p a h e a d   f o r e c a st   u si n g   N A R N N   +   sm o o t h i n g   M o v i n g   A v e r a g e   0 . 0 0 3   2 7 2   2 9 5   LO W ESS   0 . 0 0 5   2 8 9   3 3 0   LO ESS   0 . 0 0 5   2 7 0   2 9 3   S g o l a y   0 . 0 0 3   3 0 9   3 5 1   R LO W ESS   0 . 0 0 2   2 9 2   3 4 0   R LO ESS   0 . 0 0 2   2 8 9   2 9 8   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   4 Au g u s t 2 0 2 1 :    1 7 0 8   -   1 0 8 9   1086       ( a)   ( b )     Fig u r 2 .   T h AC F   a n d   th e   p lo t s   o f   th e resid u als  o f   t h e h y b r id   NARNN  s m o o th in g   f o r ecast  m o d els  f o r :     ( a)   th e 5 0 - tim e s tep   an d   ( b )   3 5 0 - tim e s tep       I n   th ca s o f   th 5 0 - tim s tep   f o r ec ast  u s in g   th h y b r id   NARNN  with   L OE S ,   th r esid u als  f ell   r an d o m l y   with in   th h o r izo n tal  b an d   ( b etwe en   4 e7   an d   - 4 e7 )   an d   as  a   r esu lt  th e   v ar ian ce   o f   t h r esid u als  lo o k ed   to   b e   in d ep e n d en t   o f   th e   s ize  o f   th e   f itted   v alu es.  Me a n wh ile,   th s am e   r esu lts   wer f o u n d   f o r   3 5 0 - tim e   s tep s   f o r ec ast in   h y b r id   NARNN T h is   p atter n   s u g g ests   th at  th v a r ian ce s   in   th er r o r   ter m s   ar e q u al.   Mo r eo v er ,   n o   o n r esid u al  s to o d   o u f r o m   t h r an d o m   p atter n th u s ,   s u g g esti n g   th at  th er wer n o   o u tli er s .   T h lag s   in   t h AC p lo ts   f ell  b elo th 0 . 0 8   th r esh o ld .   Mo r e o v er ,   n o   p atte r n   was  ev id e n in   t h r esid u al s .   Ad d itio n ally ,   t h e   r esid u als  f o llo wed   r an d o m   d is tr ib u tio n   ar o u n d   ze r o .   T h is   r esu lt  co n f ir m s   an d   v alid ates  th at  th NARNN  with   L OE SS   r elat iv ely   p r o v id ed   t h b est  f o r ec asti n g   m o d els.   Fi g u r 3   ( a)   s h o ws   th p er f o r m an ce   co m p ar is o n   o f   h y b r id   NARNN  v er s u s   h y b r i d   Seaso n al  Au to r eg r ess iv Mo v i n g   Av er ag ( SAR I MA )   f o r   5 0 - tim s tep   f o r ec ast,  th h y b d r id   SAR I MA   was  u s ed   as  b en ch m a r k   t o   v alid ate   th o b tain ed   r esu lts .   R esu lts   h av s h o wn   th at  i n   o v er all  NARNN  h y b r id   tech n iq u o u tp er f o r m   o th e r   n o n - h y b r id   tec h n iq u es.   NARNN - L OE SS   h ad   th e   least  R MSE   v alu es  ac r o s s   o th er   SAR I MA   h y b r id   tech n i q u es,  a lth o u g h   SAR I MA - o r ig in al  s li g h tely   o u t p er f o r m   NARNN  wh en   u s ed   wit h o u lo ca s m o o th in g   tech n iq u es.  T h er ef o r e ,   NARNN - L OE SS   wi ll  b o u r   b est  ch o ice   s in ce   o u r   o b jectiv e   is   to   p r o v i d b est f o r ec ast p e r f o r m an ce   with   m in im u m   d ata   lo s as d is cu s s ed   ea r lier .   Sam f in d in g s   wer f o u n d   f o r   th 3 5 0 - tim s tep   f o r ec ast as d ep icte d   in   Fig u r 3   ( b ) .           ( a)       ( b )     Fig u r 3 .    Per f o r m a n ce   co m p a r is o n   o f   h y b r i d   NARNN v er s u s   SAR I MA :   ( a)   f o r   5 0 - tim s tep   f o r ec ast  a n d   ( b )   f o r   3 5 0 - tim s tep   f o r ec ast   -8 e +0 7 -4 e +0 7 0 e +0 0 4 e +0 7 0 200 400 600 R e s i d u a l s   f r o m   N N A R ( 2 8 , 1 4 ) -0 . 0 8 -0 . 0 4 0 . 0 0 0 . 0 4 0 . 0 8 0 5 10 15 20 25 Lag AC F 0 25 50 75 -8 e +0 7 -4 e +0 7 0 e +0 0 4 e +0 7 re s i d u a l s c o u n t -4 e +0 7 0 e +0 0 4 e +0 7 0 200 400 600 R e s i d u a l s   f r o m   N N A R ( 2 8 , 1 4 ) -0 . 0 8 -0 . 0 4 0 . 0 0 0 . 0 4 0 . 0 8 0 5 10 15 20 25 Lag AC F 0 20 40 60 80 -8 e +0 7 -4 e +0 7 0 e +0 0 4 e +0 7 re s i d u a l s c o u n t Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         A n a lysi s   o f h yb r id   n o n - lin ea r   a u to r eg r ess ive  n eu r a l n etw o r a n d … ( Mo h a med   K h a l a fa lla   Ha s s a n )   1087   I n   th is   ca s e,   NA R NN - L OE S h ad   th least  R M SE  v alu co m ar ed   to   SAR I MA   w ith   h y b r id   tech n iq u es.   Alth o u g h   SAR I MA   h y b r id   s h o n o ticea b le  p er f o r m a n ce   i m p r o v e m en co m p ar e d   to   h y b r id   NARNN  ex ce p t   f o r   th e   ca s o f   h y b r id   NARNN - L OE SS   th at  b ar ely   o u tp e r f o r m   SAR I MA - L OE SS .   T h Dieb o ld - Ma r ian o   test   was  th en   ap p lied   to   ch ec k   th s tatis tical  s ig n if ican ce   o f   th o b tain ed   r esu lts .   I was  f o u n d   th at  R MSE   o f   NARNN - L OE S h y b r id   tech n iq u es  to   b b etter   an d   s tatis tically   d if f er en f r o m   f o r ec asti n g   SAR I MA   an d   th is   co n f ir m s   t h s u p e r io r ity   o f   th e   NARNN  h y b r id   tech n iq u es .   Fig u r e   4 .   ( a)   d ep icts   th e   5 0 - tim s tep   ah ea d   f o r ec ast   f o r   th NARNN  with   L OE SS   an d   Fig u r 4   ( b )   f o r   3 5 0 - tim s tep   f o r ec ast ,   b o th   f i g u r es  s h o th at  th b o t h   f o r ec ast ca n   ef f ec tiv ely   lie  b et wee n   th p r e d ictio n   in ter v als.         ( a)       ( b )     F i g u r e   4 .   ( a )     T i m e   s e r i es   f o r e ca s t   f o r   t h e   NAR N N   w i t h   L OE S S :   ( a )   F o r   5 0   T i m e   s t e p s   a n d   ( b )   f o r   3 5 0 - t i m e       5.   CO NCLU SI O   I n   th is   p ap er ,   h y b r i d   lo ca s m o o th in g   an d   n eu r al  n etwo r k   au to - r eg r ess iv ( NNAR)  m o d elin g   ap p r o ac h es  wer u s ed   to   f o r e ca s L T E   co r b an d wid th   s lic u tili za tio n .   Sev er al  lo ca s m o o th in g   tec h n iq u es   wer an aly ze d ,   a n d   a   lo ca l   s m o o th in g   m ec h a n is m   was  in tr o d u ce d   to   m in im ize   th e   ef f ec ts   o f   d ata   lo s s es,  wh ich   m ay   ca r r y   n ec ess ar y   in f o r m ati o n   r esu ltin g   f r o m   ag g r ess iv a n d   u n c o n tr o lled   s m o o th in g   f u n ctio n s .   T h m o d els  s h o wed   b etter   f o r ec ast  p er f o r m an ce   in   ter m s   o f   R MSE ,   p r o v id ed   m in im u m   d ata  lo s s es  wer m ain tain ed .     Lo ng - ter m   a n d   s h o r t - ter m   s tep   f o r ec asts   wer ex a m in ed   an d   th e   r esu lts   wer e   v er if ied   u s i n g   r esid u al  an al y s is ,   5 . 0 0 e +0 8 7 . 5 0 e +0 8 1 . 0 0 e +0 9 1 . 2 5 e +0 9 1 . 5 0 e +0 9 0 200 400 600 T i m e Ba n d w i d t h   u t i l i z a t i o n   (Bp s ) s e ri e s L T F o re ca s t 5 . 0 0 e +0 8 7 . 5 0 e +0 8 1 . 0 0 e +0 9 1 . 2 5 e +0 9 1 . 5 0 e +0 9 0 250 500 750 1000 T i m e Ba n d w i d t h   u t i l i z a t i o n   (Bp s ) s e ri e s L T F o re ca s t Evaluation Warning : The document was created with Spire.PDF for Python.