I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   8 ,   No .   4 A u g u s 201 8 ,   p p .   2 3 2 7 ~ 2 3 3 7   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v8 i 4 . p p 2 3 2 7 - 2337     2327       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Sy ste m  f o Predi c tion   o No Statio na ry  Ti m e  Series   b a sed o the  Wa v ele Ra di a l Ba ses  F unction  Neural  Netw o rk   M o del        H eni K us da rw a t i Sa m ing u n   H a nd o y o   De p a rte m e n o f   S tatisti c s ,   F a c u lt y   o f   M a th e m a ti c s an d   Na tu ra S c ien c e s,  Un iv e rsitas   Bra w ij a y a ,   In d o n e si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  1 2 ,   2 0 1 7   R ev i s ed   Feb   6 ,   2 0 1 8   A cc ep ted   Feb   1 3 ,   2 0 1 8     T h is  p a p e r   p ro p o se a n d   e x a m in e th e   p e rf o r m a n c e   o f   a   h y b rid   m o d e c a ll e d   th e   w a v e let  ra d ial  b a se f u n c ti o n   n e u ra l   n e tw o rk s   (W RBF NN ).   T h e   m o d e wi ll   b e   c o m p a re d   it p e rf o rm a n c e   w it h   th e   w a v e let  fe e d   f o r w a rd   n e u ra n e tw o rk ( W F F N   m o d e b y   d e v e lo p i n g   a   p re d icti o n   o f o re c a stin g   s y ste m   th a c o n sid e rs  tw o   t y p e o in p u f o rm a ts:  in p u t9   a n d   in p u t 1 7 ,   a n d   a lso   c o n sid e rs  4   ty p e o f   n o n - sta ti o n a r y   ti m e   se rie d a ta.  T h e   M OD WT   tran sf o r m   is  u se d   t o   g e n e ra te  w a v e let  a n d   sm o o th   c o e f f ici e n ts,   in   w h i c h   se v e ra l   e le m e n ts  o f   b o th   c o e ff icie n ts  a r e   c h o se n   in   a   p a rti c u lar wa y   to   se rv e   a s   in p u ts  to   th e   NN   m o d e in   b o th   RBF N a n d   F F NN   m o d e ls.   T h e   p e r f o rm a n c e   o b o t h   W RBF NN   a n d   W F F NN   m o d e ls  is  e v a lu a ted   by   u sin g   M A P E   a n d   M S E   v a lu e   in d ica to rs,  w h il e   th e   c o m p u tatio n   p r o c e ss   o th e   t w o   m o d e ls  is   c o m p a re d   u sin g   tw o   in d ica to rs,   m a n y   e p o c h ,   a n d   len g th   o f   train in g .   In   sta ti o n a ry   b e n c h m a rk   d a ta,  a ll   m o d e ls  h a v e   a   p e rf o r m a n c e   w it h   v e r y   h ig h   a c c u ra c y .   T h e   W RBF NN 9   m o d e is  th e   m o st  su p e rio m o d e i n   n o n sta ti o n a ry   d a ta  c o n tain i n g   li n e a tren d   e lem e n ts,   w h il e   th e   W F F NN 1 7   m o d e p e rf o r m s   b e st  o n   n o n - sta ti o n a ry   d a ta  w it h   th e   n o n - li n e a tren d   a n d   se a so n a l   e le m e n ts.   In   term o f   sp e e d   in   c o m p u ti n g ,   th e   W RBF NN   m o d e is  su p e rio w it h   a   m u c h   s m a ll e n u m b e o f   e p o c h s an d   m u c h   sh o rter t ra in in g   ti m e .   K ey w o r d :   A r ti f icial  n e u r al  n et w o r k   No n   s tatio n ar y   S y s te m   f o r   p r ed ictio n   T im s er ies   W av elet  tr an s f o r m   Co p y rig h ©   2 0 1 8   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Hen i K u s d ar w ati   Dep ar te m en t o f   Stati s tics ,   Facu lt y   o f   m at h e m atics a n d   Natu r al  Scie n ce s ,     Un i v er s ita s   B r a w ij a y a ,   Gd g   Gr ah Sai n ta  lt.2 ,   FMI P UB ,   J ln .   Vete r an   Ma lan g   6 5 1 4 5 ,   I n d o n esia .   E m ail:   k u s d ar w a ti_ h   l@ y a h o o . co m       1.   I NT RO D UCT I O N     I n   th r ea w o r ld ,   th er ar m an y   o b s er v atio n s   co llected   at  ce r tain   ti m in ter v als  s u c h   as  y ea r ,   m o n t h ,   w ee k ,   d a y ,   h o u r ,   e v en   u p   to   t h s m alle s i n ter v al  u n it.  T h s et   o f   o b s er v a tio n s   is   r ef er r ed   to   as  ti m e   s er ies  d ata.   T h m o s p o p u lar   m et h o d   o f   ti m s er ie s   m o d el in g   is   t h AR M A   m o d el.   I n   t h A R M A   m o d el   id en ti f icatio n   p r o ce s s ,   ti m s e r ies  d ata  m u s b i n   s ta tio n ar y   co n d itio n .   T h s tatio n ar y   d ata  is   an   a s s u m p tio n   th at  m u s b s atis f ied   in   clas s ical  ti m s er ie s   m o d el in g   [ 1 ] .   P r io r   to   m o d el  id en tif ica tio n ,   if   th ti m s er ies   d ata  m o d eled   is   n o n - s tatio n a r y ,   t h d ata  m u s b B o x - C o x   tr an s f o r m ed   s o   t h at  t h d ata  h as  co n s ta n t   v ar ian ce   [ 2 ] .   T h s elec tio n   o f   th s u i tab le  tr an s f o r m a tio n   i s   co m p lex   p r o b le m   a n d   is   u s u all y   d o n b y   tr ial  an d   er r o r   [ 3 ] .     On o f   th i m p o r tan s tep s   in   AR M A   m o d elin g   i s   p ar a m et er   esti m a tio n   to   g et  t h b est  m o d el.   T h e   p ar am eter   e s ti m atio n   m et h o d   o f   t h AR M m o d el  t y p ical l y   u s e s   t h m a x i m u m   li k eli h o o d   ( ML E )   m et h o d   [ 1 ] ,   b u s o m r esear c h er s   to d a y   p r o p o s th esti m a tio n   o f   AR M A   m o d el  p ar a m eter s   u s i n g   s e m ip ar a m etr ic   an d   n o n p ar a m etr ic   [ 4 ] ,   [ 5 ] ,   o r   u s i n g   co m b i n ed   m et h o d   o f   ML E   an d   ar tific ial  in telli g en c e   [ 6 ] .   W h en   th b est   m o d el  h a s   b ee n   o b tain ed   a n d   th e n   t h m o d el  i s   u s ed   f o r   p r ed ictio n   o r   f o r ec asti n g   p u r p o s es,  s o m eti m es  th e   m o d el  m u s b tr an s f o r m ed   b ac k   to   p r o d u ce   p r e d ictio n   v alu e   [ 7 ] ,   [ 8 ] .   T h u s ,   th f o r ec asti n g   w it h   th e   class ical  ti m s er ies  m o d el  f o r   n o n - s tatio n ar y   d ata  is   n o t a   s i m p le  tas k .   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 3 2 7     2 3 3 7   2328   W av elet  t h eo r y   i s   v er y   p o t en tial  t h eo r y   to   b u s ed   in   s o lv in g   v ar io u s   p r o b le m s   s u c h   as   s i g n a l   p r o ce s s in g ,   m ed ici n e,   d ata  co m p r e s s io n ,   g eo p h y s ic s ,   astro n o m y   a n d   n o n p ar a m etr ic  s ta tis tics   [ 9 ] ,   [ 1 0 ] .   Fo r   ex a m p le,   th ap p licatio n   o f   wav elet  tr an s f o r m s   to   to m a to - f r u it  r ec o g n i tio n   b y   Sab r o an d   Ku m ar   [ 1 1 ] ,   w h il e   Ku m ar ,   et  a l .   [ 1 2 ]   ap p lies   h y b r id   m eth o d   b et w ee n   w av ele t   an d   L SB   to   th d ig ital  w ater m ar k i n g   ap p r o ac h .   A p p lied   w av e let  tr an s f o r m ati o n   m et h o d s   i n   t h f ield   o f   Sta tis tics   ar th m o s t   co m m o n l y   u s ed   f o r   p r ed ictio n   o r   f o r ec asti n g   t i m s er ies d ata  as p er f o r m ed   b y   So ltan i   [ 1 3 ]   an d   R en a u d   [ 1 4 ] .   Neu r al  n et w o r k s   ( NN)   m o d e is   an o t h er   e x a m p le   o f   n o n p ar a m etr ic  m o d el  t h at  h as   f le x ib le   f u n ctio n al  f o r m ,   y et  co n ta in s   s ev er al  p ar a m eter s   t h at  ca n   n o b in ter p r eted   as  in   th p ar a m etr ic  m o d el   [ 1 5 ] .   T h ap p licatio n   o f   th NN   m o d el  f o r   ti m s er ie s   p r ed ictio n s   co n tai n i n g   s ea s o n al  ele m en ts   an d   tr en d i n g   ele m e n ts   i s   d o n b y   Z h an g   a n d   Qi   [ 1 6 ] .   Mu lti - la y er   p er ce p tr o n   ( ML P )   ar ch itectu r i s   w id el y   u s ed   f o r   n o n - lin ea r   an d   n o n - s tat io n ar y   t i m s er ies  d ata  p r ed ictio n ,   w h il th co m m o n l y   u s ed   lear n in g   m e th o d   is   f ee d - f o r w ar d   N ( F FNN)   a s   d id   b y   Kaj itan i   et  a l .   [ 1 7 ] .   T h r ad ial  b ases   f u n ctio n   NN  ( R B FNN)   ar ch i tectu r e   r ese m b les   M L P   b u t it   ap p lies   t h cl u s ter i n g   m et h o d   o n   t h h i d d en   la y er   u n it.  T h R B FNN  ca n   al s o   b u s ed   to   f o r ec ast n o n - s tatio n a r y   ti m s er ies  w i th   s h o r ter   tr ain i n g   p r o ce s s es   [ 1 8 ] .   Sev er al  s t u d ies  w i th   w av ele t   an d   NN  co m b i n atio n s   w er in itiated   b y   t h r esear c h   co m m u n it y   o f   w a v elet  a n d   NN.   O n o f   t h m aj o r   p r o b lem s   in   NN  m o d el in g   in   t i m s er ies  d ata  i s   th n ee d   f o r   s elec ti n g   a   p r o p e r   in itial  d ata  p r o ce s s in g .   T h co m b in atio n   o f   w a v elet s ,   as  an   i n itial  p r o ce s s i n g   m e th o d   an d   NN  as  a   m et h o d   th at  p r o ce s s e s   i n p u ts   in to   an   o u tp u t,  p r o d u ce s   h y b r id   m o d el  k n o w n   as  W a v ele Neu r al  n et w o r k s   ( W NN)   [ 1 9 ] - [ 2 5 ] .   T h ap p li ca tio n   o f   t h W NN  m o d el  f o r   ti m s er ies  f o r ec asti n g   i s   o n o f   t h m o s t   in ter esti n g   r esear ch   to p ics  i n   th f ield s   o f   m at h e m atic s ,   s tati s tics ,   an d   co m p u ter   s cie n ce .   I n   g e n er al,   W NN  is   n eu r al   n et w o r k s   w i th   w a v elet   f u n c tio n s   u s ed   i n   p r o ce s s i n g   in   tr an s f er   f u n ct io n s .   I n   t h ca s o f   ti m s er ie s   f o r ec asti n g ,   t h in p u ts   u s ed   i n   W NN  ar w a v elet  co ef f ic ie n ts   at  g iv e n   r eso l u tio n .   T o   d ate,   s o m e   ar ticle s   h av b ee n   d is c u s s ed   in   d etail  w it h   r eg ar d   to   W NN  m o d eli n g   f o r   n o n - s tatio n ar y   t i m s er ie s   f o r ec asti n g ,   s o m e   o f   w h ich   ar C h e n   et   a l .   [ 1 9 ] ,   Su b a n ar   an d   Su h ar to n o   [ 2 0 ] ,   an d   El - So u s y   [ 2 1 ] .   T h ar ticles  u s th e   FF N N   tr ain i n g   al g o r ith m   s o   t h at  th r esu lt in g   m o d el  is   s p ec if ica ll y   ca lled   W FF NN.   I n   an o t h er   h a n d ,   s o m r esear c h er s   w h o   h a v i m p le m e n ted   t h h y b r id   m et h o d   b et w ee n   wav elet  a n d   NN,   o r   h y b r id   a m o n g   m ac h i n lear n in g   m et h o d s   f o r   ti m s er ies  f o r ec asti n g   ie  B u n n o o n   [ 2 2 ]   h as  f o r ec asted   th elec tr icit y   p ea k   lo ad   d e m an d ,   P o o r an an d   Mu r u g an   [ 2 3 ]   h av f o r ec asted   th r is i n g   d em a n d   f o r   elec tr ic  v eh ic les  ap p licab le  to   I n d ian   r o ad   co n d itio n s ,   Ka m le y ,   et   a l .   [2 4 ]   h av m ea s u r ed   t h p er f o r m an ce   f o r ec ast in g   o f   t h s h ar m ar k et,   a n d   th e   e n ab lin g   e x ter n al  f ac to r s   f o r   i n f latio n   r ate  f o r ec asti n g   w er c o n d u cted   b y   Sar i,  et   al .   [ 2 5 ] .   I n   th p r ev io u s   h y b r id   m et h o d s   t h at  w er n o a   h y b r id   b et w ee n   w a v elet  a n d   R B FNN.   B o th   i n   B u r n o o n   [ 2 2 ] ,   an d   in   P o o r an i& M u r u g a n   [ 2 3 ]   co m b i n ed   b et w ee n   w a v elet   an d   FF NN,   m ea n w h i le  b o th   in   Ka m le y ,   et  a l .   [ 2 4 ]   an d   in   Sar i,  et  a l .   [ 2 5 ]   c o m b i n ed   b et w ee n   NN,   an d   f u zz y   i n f er en ce s   s y s te m .   F u r th er m o r e,   m o d eli n g   th h y b r id   b et w ee n   w a v elet  a n d   R B FNN  is   f o c u s   o n   th i s   r esear ch .   B ased   o n   th ab o v d escr ip tio n   th at  ti m s er ie s   d ata  in   th r ea w o r ld   is   g en er all y   n o n - li n ea r   an d   n o n s tatio n ar y ,   cu r r e n tl y ,   t h er is   n o t h h y b r id   m o d el  co m b i n ed   b et w ee n   w a v elet  an d   R B FN   f o r   n o n s tatio n ar y   ti m s er ies  f o r e ca s tin g ,   s o   t h is   s t u d y   p r o p o s es  an d   in v e s ti g ates  t h p er f o r m an ce   o f   h y b r id   m o d el  ca l led   w a v elet  r ad ial  b ases   f u n ctio n   NN  ( W R B FNN ) .   T h m o d el  w ill  b co m p ar ed   its   p er f o r m an ce   w it h   th e   W FF N m o d el  b y   d ev elo p ed   f o r ec ast in g   s y s te m   th at   co n s id er s   t w o   t y p es   o f   i n p u f o r m at s i n p u t9   an d   in p u t1 7   in   o r d er   to   in v es tig ate  t h e f f ec o f   t h n u m b er   o f   in p u t s   o n   t h m o d el  p er f o r m a n ce ,   an d   also     4   ty p es  o f   n o n - s tatio n ar y   d at asets   w it h   d if f er e n ce   p atter n   an d   ch ar ac ter is tic  t h at  p o p u la r l y   d is cu s s ed   in   t h n o n li n ea r   ti m s er ies li ter atu r e   as c ase  s t u d ies.       2.   M A X I M A L   O V E R L A P   D I S C R E T   W A V E L E T   T R A N S F R O M   ( M O D W T )   Su p p o s th er i s   ti m s er ie s   d ata  x ,   s ize  N,   t h e n   th M ODW T   tr an s f o r m   w ill  p r o d u c co lu m n   v ec to r   w 1 ,   w 2 ,   . . . ,   w Jo   an d   v Jo   ea ch   o f   t h e m   is   N.   T h v ec to r   co n tain s   th M ODW T   w av el et  co ef f ic ien t,  w h ile   w Jo   co n tai n s   t h s ca le   co ef f ici en t.  T h MO DW T   w a v elet   f il ter   {   ̃   }   is   o b tai n ed   t h r o u g h     ̃               an d   t h e   MO DW T   s ca le   *   ̃   +   o b tain ed   th r o u g h   ̃             .   T h u s   t h co n d itio n   o f   MO DW T   w av e let  f il ter   m u s t   s atis f y   th f o llo w in g   eq u at io n   [ 9 ] :       ̃                       ̃                         ̃     ̃                                           ( 1 )     Si m i lar l y ,   t h e   s ca le   f ilter   m u s t   s atis f y   t h f o llo w in g   eq u atio n :       ̃                       ̃                         ̃     ̃                                           ( 2 )     W h er                 (     )       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r Time  S eries   b a s ed   o n   th W a ve let  R a d ia   ( Hen i Ku s d a r w a ti )   2329   T h m a in   o b j ec tiv i n   t h M ODW T   f o r m u latio n   is   to   d ef i n DW T - lik tr a n s f o r m at io n s ,   b u d o   n o ex p er ien ce   d if f ic u ltie s   f r o m   DW T   s en s iti v it y   i n   ter m s   o f   s elec tin g   s tar ti n g   p o in ts   f o r   tim s er ies.  T h is   s en s iti v it y   is   ab o u t h d o w n s a m p lin g   o f   t h w a v elet   f ilter   o u tp u a n d   th e   s ca le  f ilter s   at   ea ch   s ta g o f   t h e   p y r a m id   al g o r ith m .   B y   d ef i n i n g   A   w h ic h   i s   t h m atr i x   co n t ain i n g   th e   f ilter     ̃   an d   B   is   th e   m atr i x   co n tai n i n g   th f ilter s   [ 2 0 ] .   P y r a m id   al g o r ith m   i s   an   e f f icie n ca lc u lat io n   al g o r ith m   to   ca lc u late  t h s ca le  co ef f icien an d   MO DW T   w a v elet  co ef f icie n t s   at  j - lev el.   C o n s ec u ti v s m o o th in g   co ef f icie n ts   a n d   d etailed   co ef f icie n t s   i n   d if f er e n le v els  w er o b tain ed   u s i n g   p y r a m id   alg o r it h m s   [ 1 0 ] .   Fig u r 1   ill u s tr ates  i f   d a ta  x   i s   d ec o m p o s ed   w it h   w a v elet  f il ter   an d   s c ale  f ilter   w ill  p r o d u ce   w av ele co ef f icie n t s   an d   s ca le  co ef f i cien ts .   O n   t h f ir s t   lev el,   s ec o n d   a n d   s o   o n .           Fig u r 1 .   P y r a m id   alg o r ith m   f o r   MO DW T       T he   tr an s f o r m a tio n   o f             f o r m       an d       u s o f   m a tr ices   A j   an d   B j   th at  ar s ize        is                           an d                       T h u s th r ec o n s tr u ctio n   o f   x   at  ea ch   lev el   ar as   f o llo w s :   L e v el  1 :                      an d                       L e v el  2 :                             an d                           L e v el  3 :                                 an d                                   L e v el  j :   :                                               an d                                           .   u s i n g   t h i n f o r m at io n   o f   t h   r ec o n s tr u ctio n   x   o n   ea c h   le v el  ab o v an d   g iv e n               th en ,     it b o b tain ed :     0 0 0 0 0 0 1 1 1 1 2 2 1 1 1 J T J T J T J T J T J T T T T v A A A w B A A w B A w B x     ( 3 )       3.   T I M E   S E R I E S   P R E D I C T I O N   U S I N G   W A V E L E T   N E U R A L   N E T W O R K S   Su p p o s s tat io n ar y   s i g n a       (                     )   an d   it  i s   as s u m ed   to   b f o r ec ast   th v al u         .   T h b asic  id ea   o f   t h w av e let  n eu r al  n et w o r k   m o d el  is   to   u s th co ef f ic ien t s   o b tain ed   f r o m   d ec o m p o s i tio n   s u c h   as  MO DW T   to   o b tain   f o r ec ast  v al u w it h   p ar ticu lar   n e u r al  n et w o r k   ar ch i tectu r e.   Kaj itan i,   et  a l .   [ 1 7 ]   in tr o d u ce d   th Mu l ti - L a y er   P er ce p tr o n   ( ML P )   n eu r al  n et wo r k   o r   k n o w n   as  f eed - f o r w ar d   n eu r al  n et w o r k   ( FF NN)   to   p r o ce s s   t h w a v el et  co ef f icie n ts .   T h F FNN  ar ch itect u r u s ed   t h at  it   co n s is t s   o f   a   h id d e n   la y er   wi t h   P   n e u r o n ,   w h ic h   is   m at h e m atica ll y   w r itte n   as  f o llo w :     P p J j A k k N J A k p k J k N j p k j p N j J J j v a w a g b X 1 1 1 ) 1 ( 2 , 1 , , 1 ) 1 ( 2 , , , 1     ( 4 )     w h er g   is   a n   ac ti v atio n   f u n cti o n   o n   t h h id d en   la y er ,   w h ich   is   u s u all y   s i g m o id   lo g i s tics ,   w h ile  t h ac t iv at io n   f u n ctio n   at  th o u tp u t la y er   is   l in ea r   f u n c tio n .   R en a u d ,   e a l .   [ 1 4 ]   in tr o d u ce   an   in p u p r o ce s s in g   o f   w av elet  tr an s f o r m   m o d el  s u c h   as  MO DW T .   T h ti m s er ies  f o r ec asti n g   p r o ce d u r in   th 1   p er io d   w i th   w a v elet  tr an s f o r m   at  le v el  J =4 ,   th o r d er   A j =2   an d   N= 1 7   ar illu s tr ated   in   F ig u r 3 .   B ased   o n   Fi g u r 3,   i i s   o b tain ed   th at  th v al u in   th 1 8 th   p er io d   is   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 3 2 7     2 3 3 7   2330   p r ed icted   u s in g   t h i n p u p r o ce s s i n g   r esu lt  MO DW T   b y   s e l ec tin g   s o m s ca le  a n d   s m o o t h   co ef f icien ts .   I n   t h w a v elet  co ef f icie n o f   lev el  1   ch o s en   as  i n p u at  t=1 7   an d   t= 1 5 ,   w a v elet  co ef f icien le v el  2   at  t=1 7   a n d   t= 1 3 ,   w a v elet  co e f f icie n le v el  3   a t= 1 7   an d   t = 9 ,   w a v elet  co e f f i cien le v el  4   o n   t = 1 7   an d   t = 1 ,   an d   s m o o th     lev el  4   co e f f icien ts   at   t = 1 7   an d   t = 1 .   So   it c a n   b f o r m u lated   th at  t h s ec o n d   i n p u t a t e ac h   l ev el  i s   i n   t h p er io d   of   . 2 j t           Fig u r 2 .   Selectio n   o f   n eu r al  n et w o r k   i n p u ts   f r o m   w a v elet  tr an s f o r m s   to   J =4   an d   A j =2   [ 1 4 ]       R en a u d   et  a l .   [ 1 4 ]   d ev elo p ed   lin ea r   w a v elet  m o d el  k n o w n   as  th Mu ltis ca le Au to r e g r ess i o n   Mo d el  ( MA R ) .   I n   ad d itio n ,   t h er is   a ls o   th p o s s ib ilit y   o f   u s i n g   n o n - lin ea r   m o d els  i n   t h i n p u t - o u tp u p r o ce s s   o f   t h w a v elet  m o d el,   p ar ticu lar l y   t h Feed - f o r w ar d   Ne u r al  Net w o r k   ( FF NN)   ap p r o ac h .   T h s ec o n d   m o d el  is   t h e n   k n o w n   as   W av elet  Neu r al  Net w o r k   o r   W NN  m o d el.   B o th   ap p r o ac h es  ab o v ar m o d els  th at  u s e   in p u la g - lag   o f   w a v elet  co e f f icien t,  t h at  i s   s ca le  an d   s m o o t h   co ef f icien t a s   in   Fi g u r 2 .   T h b asic  id ea   o f   m u lti s ca le  d ec o m p o s i tio n   is   t h tr en d   o f   a f f ec tin g   lo w - f r eq u en c y   co m p o n en t s   ( L ) ,   w h ic h   ten d   to   b d eter m in is t ic.   W h ile  th h i g h - f r eq u e n c y   co m p o n e n ( H)   r e m ai n s   s to c h asti c.   T h s ec o n d   p o in th at  m u s al s o   b u n d e r s to o d   in   w a v elet  m o d elin g   f o r   f o r ec asti n g   is   to   k n o w   t h f u n ctio n   u s ed   to   p r o ce s s   th i n p u t,  ie  t h w a v elet  co ef f icien ts   w h ic h   b ec o m o u tp u i n   t h f o r m   o f   t h f o r ec ast  v al u i n   th e   p er io d   1 .   I n   g e n er al,   th er ar t w o   k in d s   o f   f u n ct io n s   th at   ca n   b u s ed   in   th i s   i n p u t - o u tp u p r o ce s s ,   n a m el y   lin ea r   f u n ctio n s   an d   n o n - lin ea r   f u n ctio n s   [ 2 0 ] .   T o   f ac ilit ate  a n   u n d er s ta n d i n g   o f   t h e   W NN  m o d el  i n   E q u at i o n   ( 4 ) ,   co n s id er   t h g e n er al  ar ch itect u r o f   th M L P   t h at   h a s   h id d en   la y er   w it h   f o u r   n e u r o n s ,   th r e in p u t s ,   an d   li n ea r   ac ti v ati o n   f u n c tio n   o n   th e   o u tp u la y er ,   as  s h o w n   i n   Fi g u r 2 .   T h n et w o r k   o u tp u o r     (   )   in   th is   f ig u r is   an alo g o u s   to   th p r ed icted   v alu f o r   th p er io d   to   1 ,   o r     ̂         in   eq u a tio n   ( 1 )   ab o v e.   T h in p u ts   X 1 ,   X 2 ,   a n d   X 3   co r r esp o n d   to   th e   w a v elet  co e f f ic ien t s   a n d   th s m o o t h   co ef f icie n t s   ar               (       )   an d                 (       ) T h w ei g h t s   b et w ee n   in p u n o d es  an d   h id d en   n o d es  ar               w h er ea s   t h w ei g h ts   b et w ee n   h id d en   n o d es  an d   o u tp u n o d es  ar e       .   T o   o b tain   o p ti m al  w ei g h t s   t h en   t h n et w o r k   m u s t b tr ain ed   b y   u s i n g   p ar ticu lar   lear n i n g   al g o r ith m .     1         1 X 3 x 2 X 1   (.) (.) (.) (.) / p k j a , , p k j a , , p b p b ) ( x Y i np ut l aye r h i d den laye r out put l ayer   Fig u r 3 .   ML P   ar ch itectu r w i th   3   in p u n o d es,  1   h id d en   la y er   w it h   4   n eu r o n s   [ 2 0 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r Time  S eries   b a s ed   o n   th W a ve let  R a d ia   ( Hen i Ku s d a r w a ti )   2331   On   t h R B FNN  th e   ac ti v atio n   f u n ctio n   i n   t h h id d en   la y er   is   Ga u s s ian   f u n ctio n ,   th e   ac tiv atio n   f u n ctio n   at   t h o u tp u la y er   is   lin ea r   f u n ct io n ,   a n d   t h w e ig h t   b et w ee n   th e   i n p u t   n o d a n d   t h h id d en   n o d is   1   or                     ,    - .   T h u s   th w ei g h ad j u s t m e n o n l y   o cc u r s   o n   th w eig h t s   b etw ee n   th h id d en   n o d an d   th o u tp u t n o d ie      .   B ased   o n   th es p r o p e r ties   f in a ll y   o b tai n ed   th eq u atio n :     P p J j A k A k k N J k N j p N j J J j v w g b X 1 1 1 1 ) 1 ( 2 , ) 1 ( 2 , 1       ( 5 )     w h ic h   g   is   Ga u s s ia n   f u n cti o n   w it h   p ar a m eter   ce n ter   ( μ )   an d   v ar i an ce   (     ).   Fu r t h er m o r e,   th Mo d el  i n   E q u atio n   ( 5 )   is   ca lled   th W av elet  R ad ial  B asis   F u n ctio n   Neu r al  N et w o r k   ( W R B F NN ) .   I n   th W R B F NN   m o d el ,   w n ee d   m eth o d   to   esti m ate  t h p ar a m eter s   o f   Gau s s ia n   f u n ctio n   d is tr ib u tio n .   Us u all y   th b o t h   p ar am eter s   o f   th Ga u s s ia n   d is tr ib u tio n   i n   g i v e n   s et  o f   d ata  ar esti m ated   b y   t h least  s q u a r es  m et h o d .   T h p er f o r m a n ce   o f   t h s y s te m   s h o u ld   b ev al u ated   u s i n g   m ea s u r o f   ac c u r ac y   r e f er r in g   to   t h e   g o o d n ess   o f   p r ed ictio n   o r   f o r ec asti n g   s y s te m .   T h ac cu r ac y   o f   m o d el  i n d icate s   t h m e r it  o r   s u itab ili t y   o f   th m o d el  to   p r ed ict  th v alu in   f u t u r p er io d s .   T h er a r v ar io u s   m ea s u r es  o f   ac cu r ac y   in   f o r ec asti n g ,   a m o n g   w h ic h   ar e   Me an   A b s o u lu te  P er ce n ta g E r r o r   ( M A P E )   an d   Me a n   Sq u ar E r r o r   ( MSE )   ex p r es s ed   b y   th f o llo w i n g   f o r m u la   [ 2 6 ] .                   |         ̂       |                              ( 6 )                (         ̂   )                         ( 7 )     B o th   m ea s u r es  o f   t h is   ac c u r ac y ,   if   t h e y   h av t h v al u e   n ea r   ze r o   th en   it   in d icate s   b etter   p r ed ictio n   m o d el.   T o   s elec t th b est p r ed ictio n   m o d el,   th ese  b o th   i n d icato r s   ar ca lcu late on   t h d ata  s et  test i n g   ( o u t sa m p le) .       4.     RE S E ARCH   M E T H O DS   I n   th i s   s t u d y   b u i lt  f o r ec asti n g   s y s te m   w it h   in p u p r o ce s s in g   u s in g   MO DW T   b y   co n s i d er in g   t h n u m b er   o f   lag   as  i n p u is   N = 9   an d   N = 1 7 .   MO DW T   p r o ce s s i n g   r es u lt s   ar s elec ted   as  n eu r al  n et w o r k   i n p u t   u s i n g   R e n au ld   m et h o d   [ 1 4 ] .   T o   p r o ce s s   th in p u i n to   th o u tp u o f   t h s y s te m   is   d o n p r o ce s s i n g   w ith   FF N an d   R B FN N.   T h er ar f o u r   t y p e s   o f   ti m e   s er ies   d ata  t h at  h av p atter n s   t h at   ca n   b s ee n   i n   F ig u r 4   a n d   h av e   ch ar a cter is tic s   th at  ca n   b s ee n   in   T ab le  1 .           (a )       (b )         (c )       (d )     Fig u r 4 .   Fo u r   p attr en   o f   t i m s er ies  d ata:  ( a )   C h ao tic  m cg la s s ,   ( b )   Mo n th l y   e lectr ici t y   u s a g e,   ( c T r af f ic  f atalit ies,  an d   ( d C an ad ian   l y n x   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 3 2 7     2 3 3 7   2332   T ab le  1 .   A ttrib u te  o D ata s et   u s ed   i n   T h e s tu d y   N a me   D a t a se t   T o t a l   r e c o r d   T o t a l   t r a i n   T o t a l . t e st   C h a r a c t e r i st i c s   C h o a t i c M c G l a ss   5 0 0   3 5 0   1 5 0   S t a t i o n a r y   a t h e   b e n c h mar k   El e c t r i c i t y   U sag e   1 0 6   80   26   N o n   st a t i o n a r y   o n   v a r i a n ce   T r a f f i c   F a t a l i t i e s   1 8 0   1 4 0   40   N o n   st a t i o n a r y   o n   b o t h   me a n   a n d   v a r i a n c e   w i t h   l i n i e r   t r e n d   C a n a d i a n   L y n x   1 1 4   90   24   N o n   st a t i o n a r y   o n   b o t h   me a n   a n d   v a r i a n c e   w i t h   n o n   l i n i e r   t r e n d       T h f o u r   d ata  ar ta k e n   f r o m   T o n g   [ 1 ]   w h ich   is   t h m o s p o p u lar   n o n - li n e ar   ti m e   s er ies   l iter atu r to   d ate.   T h f o u r   d ata  th at  h a v ch ar ac ter is tics   as  i n   T ab le  1   b y   th r esear c h er s   ar co n s id er ed   ca p ab le  o f   r ep r esen tin g   n o n - li n ea r   an d   n o n - s tatio n ar y   ti m s er ies  d ata  p atter n s   t h at  o f te n   ap p ea r   in   t h r ea w o r ld .   E ac h   d ata  is   d iv id ed   in to   tr a i n i n g   d ataset  ( 7 0 %)  an d   te s ti n g   d ataset   ( 3 0 %).   T r ain in g   d ataset   is   u s e d   to   b u ild   m o d els ,   w h ile  te s ti n g   d ataset  i s   u s ed   to   s elec t th b est  m o d el  o r   m o d e l v alid atio n .   T h p r ed ictio n   s y s te m   b u ilt  h a s   t w o   m a in   p r o ce s s in g   m en u s :   MO DW T   w a v elet   tr an s f o r m   an d   n e u r al  n et w o r k   co m p u tatio n .   T h MO DW T   m en u   ch a n g e s   th in p u ti m s er ies  w it h   m a n y   la g s   9   an d   m a n y   la g s   1 7   ar tr an s f o r m ed   i n to   s ca le  co ef f icien ts   a n d   s m o o t h   co e f f ic i en ts   at  a   n u m b er   o f   lev e ls = 4   an d   au to r eg r ess i v e   o r d er   ( A R ) = 2 .   T h n eu r al  n etw o r k   m en u   h a s   t w o   m o d els R B FNN  an d   FF NN  w h ic h   b o th   th is   n eu r al  n e t w o r k   m o d el   w ill  p r o ce s s   th e   in p u o f   th e   r es u lt  o f   t h s elec ted   MO DW T   tr an s f o r m at io n   a s   p er f o r m ed   b y   R en a u d   ( 2 0 0 3 )   to   p r o d u ce   th n et w o r k   o u tp u t.  F u r t h er m o r e,   t h is   n et w o r k   o u tp u m ea s u r ed   it s   p er f o r m a n ce   w it h   MA P E   an d   MSE .   Fi g u r e   5   an d   Fig u r 6   ill u s tr ate  t h p r o ce s s es  p er f o r m ed   o n   p r ed icted   s y s te m s   th a h a v e   b ee n   b u ilt.       T i m e   S e r i e s D a t a D a t a   P r e p a r a t i o n M O D W T   p r o c e s s F o r     I n p u t   m a t r i x W R B F   a n d   W F N N p r e d i c t i o n P e r f o r m a n c e   a n d   p a r a m e t e r   y e i l d e d     Fig u r 5 .   T h s tep s   of   s y s te m   d ev elo p m en t       C o e f .   M O D W T   m a t r i x   a n d   T a r g e t   v e c t o r K - M e a n   c l u s t e r i n g   t o   C o e f .   M O D W T   m a t r i x   o f   t r a i n i n g E s t i m a t e   o f   G a u s s i a n   p a r a m e t e r   f o r   e a c h   c l u s t e r W R B F   t r a i n i n g   t o   s a t i s f y   s p c e s i f i c   S S E T e s t i n g   u s e s   c o e f . M O D W T   m a t r i k   a n d   t a r g e t   v e c t o r   o f   t e s t i n g P e r f o r m a n c e   a n d   p a r a m e t e r   o f   W R B F C o e f .   M O D W T   m a t r i x     a n d   T a r g e t   v e c t o r   o f   t r a i n i n g C o e f .   M O D W T   m a t r i x   a n d   T a r g e t   v e c t o r   o f   t e s t i n g     Fig u r 6 .   T h s tep s   of   c o m p u t atio n   p r o ce s s   of   W R B F NN  m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r Time  S eries   b a s ed   o n   th W a ve let  R a d ia   ( Hen i Ku s d a r w a ti )   2333   5.   RE SU L T A ND  AN AL Y SI S   5 . 1 .   P re   pro ce s s ing   da t a   inp ut  a n d se t t ing s   neura l net w o rk   pa ra m et er s   T h ti m s er ies  d ata  h as  d at s tr u ct u r in   t h f o r m   o f   r o w   v ec to r   in   w h ic h   t h s eq u e n ce   n u m b er   o f   th o b s er v ed   v al u s h o ws  th p o s itio n   o f   t h v al u o f   th r ec o r d   in   th p er io d   o f   ti m t.  I n   t h i s   s t u d y   co n s id er   in p u ts   w i th   m a n y   la g s   9   ( i n p u t9 )   an d   m an y   la g s   1 7   ( in p u t1 7 ) .   I n   in p u t9   i m p l ies  th a t h f ir s 9   o b s er v atio n s   ar u s ed   to   p r ed ict  th 1 0 t h   o b s er v atio n al  v al u e,   t h s ec o n d   o b s er v atio n   to   t h 10 th   o b s er v atio n   is   u s ed   to   p r ed ict  t h 1 1 th ,   a n d   s o   o n .   I n   in p u t1 7   also   i m p li es  t h at  t h f ir s t   1 7   o b s er v atio n s   ar u s ed   to   p r ed ict  th 1 8 th   o b s er v ed   v al u e.   T h er ef o r e,   th f ir s s tep   i n   p r ep ar in g   t h d ata  is   to   tr an s f o r m   th e   v ec to r   d ata  s tr u ctu r e   in to   m atr ices  d ata  s tr u ct u r e   ca lled   th e   p air s   o f   in p u t - o u t p u m atr i x .   T h m atr i x   at  in p u t9   h as  d i m e n s io n s     (n - 9) x 1 0   an d   t h i n p u t   m atr i x 1 7   h as  d i m en s io n s   ( n - 17) x 1 8   w h er n   is   th n u m b er   o f   p er io d s   o f   th ti m e   s er ies.  I n   t h i n p u t - o u tp u m a tr ix ,   th last   co l u m n   i s   t h tar g et  v ec to r   w h er ea s   t h p r ev io u s   co l u m n s   ar th e   in p u t o f   th s y s te m .   T h MO DW T   p r o ce s s in g   is   p er f o r m ed   o n   th s y s te m   in p u t   m atr ix   ( all  co l u m n s   o th er   th a n   th la s t   co lu m n   o f   t h in p u t - o u tp u m atr ix ) .   E ac h   r o w   o f   t h in p u m atr i x   is   tr an s f o r m ed   MO DW T   to   p r o d u ce   s ca le  co ef f icie n t   an d   s m o o th   co ef f icie n t.  I n   i n p u t9 ,   ea c h   r o w   w i th   9   o b s er v ed   v a lu e s   ar tr a n s f o r m ed   i n to   3   r o ws   o f   s ca le  co ef f icie n ts   ( w 1 ,   w 2 ,   w 3 )   an d   o n r o w   o f   t h s m o o th   co ef f icien ( s ) .   Fro m   th i s   tr an s f o r m atio n ,   w e   s elec ted   th 9 t h   a n d   7 th   v alu e s   o f   w 1 ,   t h 9 th   a n d   5 th   v al u e s   o f   w 2 ,   t h 9 th   a n d   1 s v alu e s   o f   w 3 ,   an d   t h 9 t h   an d   1 s v al u es  o f   s .   T h ese   v alu es  ar u s ed   as  i n p u t s   f r o m   n eu r al   n et w o r k s .   F in al l y ,   at  in p u t9   af ter   th e   MO DW T   tr an s f o r m   h as  a n   in p u n u m b er   o f   8   v a lu e s ,   w h er ea s   at  in p u t1 7   af ter   MO DW T   tr an s f o r m   h a s   1 0   in p u v al u es.   I n   th r ad ial  b ase  n et w o r k ,   th e   s p r ea d   an d   SS E   p a r am eter s   h av v ital  r o le  to   g ain   o p ti m a n et w o r k   w ei g h t.  I n i tiall y   r u n n in g   t h s y s te m   i s   d o n b y   tr ial  a n d   er r o r   ag ain s ce r tai n   s p r e ad   v al u o n   v ar io u s   SS E   v alu e s .   I t   ai m s   to   g e t h o p ti m u m   s p r ea d   an d   SS E   p air   th at  h a s   t h s m alles S SE  te s ti n g   v al u e.   Fro m   t h e   v ar io u s   p o s s ib le  s p r ea d s ,   tr y   t o   g et  th b est p er f o r m i n g   s p r ea d   th at  is   0 . 8 .           T ab le  2 .   P air s   o f   SS E   an d   MS E   I n t r ain i n g   a n d   T esti n g d ata f o r   Mc g lass d ata  w it h   Sp r ea d   0 . 8   Ex p e r i me n t   S S T r a i n i n g   M S T r a i n i n g   S S T e st i n g   M S T e st i n g   1   0 , 8 9 6 00   0 , 0 0 2 6 2 8   0 , 3 5 2 00   0 , 0 0 2 4 9 6   2   0 , 4 6 0 0 0   0 , 0 0 1 3 4 9   0 , 1 5 9 00   0 , 0 0 1 1 2 8   3   0 , 0 9 8 00   0 , 0 0 0 2 8 7   0 , 0 6 9 00   0 , 0 0 0 4 8 9   4   0 , 0 4 3 00   0 , 0 0 0 1 2 6   0 , 0 5 2 00   0 , 0 0 0 3 6 9   5   0 , 0 1 0 0 0   2 , 9 3 E - 05   0 , 0 2 7 00   0 , 0 0 0 1 9 1   6   0 , 0 0 5 00   1 , 4 7 E - 05   0 , 0 2 7 00   0 , 0 0 0 1 9 1   7   0 , 0 0 1 00   2 , 9 3 E - 06   0 , 0 1 3 00   9 , 2 2 E - 05   8   0 , 0 0 0 5 0   1 , 4 7 E - 06   0 , 0 1 2 00   8 , 5 1 E - 05   9   0 , 0 0 0 1 0   2 , 9 3 E - 07   0 , 0 1 4 00   9 , 9 3 E - 05   10   0 , 0 0 0 0 5   1 , 4 7 E - 07   0 , 0 1 5 00   0 , 0 0 0 1 0 6       T ab le   2   ex p r ess es  th p air s   o f   SS E   tr ain in g   an d   SS E   te s ti n g   at  s p r ea d   0 . 8 .   T h v alu o f   MSE   tr ain i n g   o r   MSE   test in g   is   d er iv ed   f r o m   d iv id i n g   S SE  v al u e s   ag ain s th n u m b er   o f   tr ain i n g   i n p u t s   o r   test in g .   I n   th is   ca s e,   MSE   tr ai n i n g   SS E   tr ain in g   d i v id ed   b y   3 4 1 ,   w h ile  M SE  tes tin g   SS E   te s t in g   d iv id ed   b y   1 4 1 .   B ased   o n   T ab le  2 ,   th lo w es MSE   test i n g   o cc u r r ed   in   t h 8 t h   e x p er i m e n h av i n g   S SE  tr ai n in g   =   0 . 0 0 0 5 .   Nex t   SS E   v al u 0 . 0 0 0 5   an d   s p r ea d   0 . 8   is   u s ed   as in p u t p ar a m eter   o n   W R B F9   an d   W R B F1 7   s y s te m s .     5 . 2 .   O utput   o f   WRB F NN   a nd   WF F NN  m o de ls   o a ll f o ur  t y pes   o f   da t a s et s   On ce   n et w o r k   p ar a m eter s ,   in p u tr ai n in g ,   a n d   i n p u te s ti n g   ar av ai lab le,   th e n   th e   lear n i n g   p r o ce s s   o n   n e u r al  n et w o r k s   ca n   b r u n .   S u p p o s th tr ain in g   p r o ce s s   o n   t h m o d el  W R B F9 ,   th tr ain i n g   p r o ce s s   o n   th is   n et w o r k   i s   o n   ea c h   ep o ch   f o r m ed   n e u r o n .   Neu r o n s   t h at   h av t h s m alle s t to tal  er r o r s   w il l b ac ce p ted   as  n e w   n eu r o n s ,   t h en   n et w o r k   er r o r s   ar r e - ch ec k ed .   T h iter a tio n   w ill   b s to p p ed   w h en   th e   er r o r   h as  r ea ch ed   th s p ec i f ied   t h r es h o ld   v al u e,   b u i f   t h er r o r   is   s til f ar   f r o m   t h p r o v is io n s ,   t h e n   t h n ex n eu r o n   w ill   b ad d ed   u n til th n u m b er   o f   n e u r o n s   is   eq u al  to   t h a m o u n t o f   tr ain i n g   i n p u t d ata.   B ased   o n   th o p ti m ized   W R B F9   m o d el,   th er ar 1 6 6   h id d en   n o d es.  T h is   m ea n s   th at   in   th h id d en   la y er   t h er ar 1 6 6   in p u t   d ata   in to   t h ce n ter   o f   t h cl u s ter   o f   Gau s s ia n   d is tr ib u tio n   an d   e ac h   cl u s ter   h as  t h e   s a m r an g o f   s p r ea d s   0 . 8 .   T h tr ain in g   to   o b tain   th o p tim a w e ig h is   d o n o n   t h m o d el  W R B F9 ,   W FF NN9 ,   an d   W FF NN1 7 .   Ou tp u te s ti n g   is   o b tain ed   b y   s i m u lati n g   t h i n p u t   te s ti n g   d ata  t h at  h as   b ee n   s elec ted   f r o m   t h tr an s f o r m a t io n   o f   MO DW T   to   th o p ti m al  n e t w o r k   f o r m ed   b y   t h t r ain in g   p r o ce s s   th at   o cc u r s   o n   ea ch   d ata s et.   T h s y s te m   a u to m atica ll y   ca lc u late s   t h M A P E   an d   SS E   v al u es   u s ed   to   a s s e s s   m o d el   p er f o r m a n ce .       Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 3 2 7     2 3 3 7   2334     ( a )   W R B F9     ( b )   W R B F1 7       ( c )   W R B F9       ( d )   W R B F9     Fig u r 7 .   P lo t ta r g et  v er s u s   o u tp u t o f   t h s y s te m   b ases   o n     W R B F   m o d el   ( p r o p o s ed   m eth o d )           ( a )   W FF NN9       ( b )   W FF NN9       ( c )   W FF NN1 7     ( d )   W FF NN1 7     Fig u r 8 .   P lo t ta r g et  v er s u s   o u tp u t o f   s y s te m   b ase s   o n   W FN m o d el       Af ter   all  o p ti m al  m o d els  h av e   b ee n   o b tain ed   b o th   f o r   b o th   i n p u t y p es  ( i n p u t9   a n d   in p u t1 7 )   an d   o n   all  f o u r   d ataset s .   T o   k n o w   t h e   g o o d n ess   o f   ea c h   m o d el  i n   p r ed ictin g   t h d ata  test i n g   m ad g r ap h   b et w ee n   th ac t u al  v a lu v er s u s   p r ed icted   r esu lts .   B etter   m o d els  b et w ee n   t h t w o   in p u t y p e s   ar ex p o s ed   in   Fi g u r 7   f o r   th W R B m o d el  an d   Fig u r 8   f o r   th W FF NN  m o d el.   I n   b o th   Fig u r es,  it  ca n   b s ee n   th at  b o th   W R B F   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r Time  S eries   b a s ed   o n   th W a ve let  R a d ia   ( Hen i Ku s d a r w a ti )   2335   an d   W FF NN  m o d els  ca n   p r ed ict  al m o s p er f ec test in g   d ata  ie  Fig u r 7( a )   an d   Fig u r 8( a ) .   C h ar ac ter is tic s   o f   th d ata  in   Fi g u r 7 ( a )   ( Mc Glass   d ata)   ar s tatio n ar y   d ata  i n   m ea n   a n d   v ar ia n ce .       B ased   o n   Fig u r 7   it  ca n   b s ee n   th at  t h in p u t9   d ata  ty p is   b etter   th an   th i n p u t1 7   d ata  t y p w h ic h   in   t h in p u t1 7   d ata  p r o d u ce s   b etter   m o d el  o n l y   o n   t h m o n t h l y   a v er ag elec tr icit y   u s a g d ata.   A s   i n   F ig u r ex p o s ed   th at   th m o r co m p l icate d   th d ata  p atter n   th at  is   n o s tatio n ar y   d ata  o n   t h m ea n   a n d   v ar ian c e   ( tr af f ic   f a talitie s   a n d   C a n ad ia n   L y n x   d ata) ,   t h W F FNN1 7   m o d el  i s   a   b etter   th a n   W F F NN9   m o d el.   B u t   f o r   s tatio n ar y   d ata  in   m ea n   a n d   v ar ian ce   o r   d ata  th a is   j u s n o n s tatio n ar y   v ar ia n ce ,   t h W FF NN9   m o d el  is   a   b etter   m o d el .       5 . 3 .   P er f o r m a nc c o m pa riso n o f   WRB F   a nd   WF F NN  m et ho d s   o f o ur  t y pes   o f   d a t a s et s   I n   th i s   s ec tio n   w ill  b d is cu s s ed   th p er f o r m a n ce   o f   all  s y s te m s   b u ilt  n a m el y   W R B F9 ,   W R B F1 7 ,   W FF NN9   an d   W FF NN1 7   ag a in s t   all  d ata  s e ts   u s ed .   So m i m p o r ta n i n d icato r s   u s ed   as  b asis   f o r   co m p a r in g   it  ar MSE   test i n g ,   M A P E   test in g ,   E p o ch   co u n t,  a n d   len g th   o f   t h tr ai n in g   p r o ce s s .   MSE   is   s tan d ar d   m ea s u r o f   t h ac c u r ac y   o f   a   f o r ec asti n g   m e th o d ,   w h ile  th e   n u m b er   o f   t h ep o ch   is   p r o p o r tio n al  to   t h ti m e   r eq u ir ed   d u r in g   th lear n i n g   p r o ce s s .   T h u s   t h n u m b er   o f   a n   ep o ch   ca n   b ex p r es s ed   as  t h ef f ec ti v en e s s   o f   f o r ec asti n g   m et h o d .   T ab le  3   s tates  th M A P E   test i n g   a n d   th M SE  test i n g   v al u e   o f   ea ch   m o d el  i n   all  f o u r   t y p es  o f   d ata   s ets .       T ab le  3 .   MA P E   T esti n g   a n d   MSE   T esti n g   V al u es  o F o u r   M o d els   M O D E L   M A P E   M S E   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   W R B F 9   0 . 6 7 1   2 . 3 6 6   3 6 0 . 8 8 2   7 . 4 2 7   0 . 0 0 0 0 0 8 4   0 . 0 3 2 5 0 3   0 . 0 4 2 9 1 1   0 . 4 6 8 9 7 0   W R B F 1 7   0 . 8 2 6   1 . 8 6 3   2 0 8 . 0 3 4   1 5 . 4 2 4   0 . 0 0 0 1 0 6 8   0 . 0 2 3 8 7 3   0 . 0 4 6 8 5 9   1 . 2 6 3 8 0 0   W F F N N 9   0 . 8 5 5   2 . 9 3 6   8 6 9 . 8 7 5   6 . 1 4 7   0 . 0 0 0 0 7 8 7   0 . 0 5 5 1 4 6   0 . 0 6 8 7 2 7   0 . 2 4 9 2 2 0   W F F N N 1 7   1 . 2 7 5   3 . 5 9 6   7 7 0 . 9 5 8   1 2 . 5 1 2   0 . 0 0 0 2 9 9 3   0 . 0 6 6 9 3 7   0 . 0 3 2 2 2 0   0 . 9 5 6 3 7 0       B ased   o n   T ab le  3,   it  is   ex p o s ed   th at  f o r   Mc Gla s s   d ata  t h W R B F9   m et h o d   p er f o r m s   b e s t,  an d   th e   W R B m e th o d   i s   g en er all y   s u p er io r   to   W FF NN.   T h s e lec tio n   o f   i n p u t   n u m b er s   al s o   g r ea tl y   in f l u en ce s   t h e   p er f o r m a n ce   o f   a   m e th o d ,   t h in p u t   9 ,   i n   t h i s   ca s e,   p er f o r m s   b etter .   T h u s   f o r   s tatio n e r   d ata,   th W R B F   m et h o d   p er f o r m s   b etter ,   b u t   b asicall y ,   b o th   W R B a n d   W FF NN  m et h o d s   ca n   b u s e d   to   p r ed ict  s tatio n er   d ata  w it h   h i g h   ac cu r ac y .   I n   E lectr icit y   d ata,   th e   d ata  h a v n o co n s ta n v ar ian ce .   T h W R B F1 7   m et h o d   p er f o r m s   b est  a n d   i n   g en er al   W R B m et h o d   is   s u p er io r   to   W FF NN  m eth o d .   I n   t h ca s e   o f   th i s   t y p o f   d ata,   i n p u f o r m a t1 7   h as   b etter   p er f o r m an ce ,   alt h o u g h   ex p o s ed   to   d if f er en ce s   t h at  ar n o to o   lar g e.   T h is   co n d itio n   d u to   th lack   o f   lo o f   o b s er v atio n   th at  is   1 7   o b s er v atio n s   o n   in p u t9 ,   an d   o n l y   9   o b s er v atio n s   o n   in p u t1 7 ,   w h ic h   q u an t itati v el y   in p u t1 7   h as  t h a m o u n o f   te s tin g   d ata  ab o u 5 0 o f   in p u t9 .   R esea r ch er s   b eliev th d if f er e n ce   in   MSE   test i n g   w i ll b m o r ev id en t i f   th p r o p o r tio n   o f   d ata  test in g   f o r   b o th   in p u t f o r m a ts   is   al m o s t b alan ce d .   I n   T r af f ic   f a talitie s   d ata  t h at   is   n o s tatio n ar y   w h ich   v ar ian ce   n o co n s ta n a n d   co n t ain s   tr en d   ele m e n ts ,   W FF NN1 7   m et h o d   h as  t h b est  p er f o r m an ce   w h e r th er is   b i g   d if f er en ce   o f   MSE   test i n g   v a lu e   b et w ee n   W FF NN1 7   an d   W FF NN9   b u M SE  test i n g   o n   W R B F9   an d   W R B F1 7   is   th r elati v el y   s m all   d if f er e n ce .   T h ese  r esu l ts   i n d ic ate  th at  i n   t h is   t y p o f   d ata  lar g n u m b er s   o f   i n p u w i ll  co n t r ib u te  s i g n i f ica n tl y   to   th i m p r o v ed   p er f o r m a n ce   o f   th W FF N m et h o d ,   b u t it  is   n o f o r   th W R B m et h o d .   I n   C a n ad ia n   L y n x   d ata   t h at  i s   n o n - s tat io n ar y   an d   co n tai n s   n o n - li n ea r   tr en d ,   W F FNN 9   m et h o d   p er f o r m s   b est.  Ho w e v er ,   th i s   co n d itio n   i s   n o n e ce s s ar il y   ap p licab le  w h e n   t h p r o p o r t io n   o f   d ata  te s ti n g   b et w ee n   i n p u t   9   an d   i n p u t   1 7   is   al m o s b alan ce d .   T h o b v io u s   th i n g   is   th at   th W F FNN  m e th o d   is   s u p er io r   to   W R B F .   T ab le  4   s h o w s   t h n u m b er   o f   ep o ch s   an d   t h le n g t h   o f   ti m e   in   t h tr ai n in g   p r o ce s s   o f   e ac h   m eth o d   o n   f o u r   t y p e s   o f   d ata  s et s .       T ab le  4 Nu m b er   o E p o ch   a n d   L en g t h   o f   T i m ( S ec o n d s i t h T r ain in g   P r o ce s s   M O D EL   N u mb e r s o f   E p o c h   L e n g t h   o f   T r a i n i n g   T i me   ( se c o n d s)   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   W R B F 9   1 6 6   4 1   25   33   7 . 3 1   1 . 1 1   1 . 0 3   0 . 9 5   W R B F 1 7   1 5 5   31   27   44   7 . 0 6   0 . 6 4   0 . 7 4   0 . 8 3   W F F N N 9   9 3 1   4 2 0   2 5 1   8 0 4   1 0 8 . 3 4   5 . 5 1   3 . 8 5   1 0 . 5 2   W F F N N 1 7   1 2 3 8   1 0 0   69   1 5 2   1 0 1 . 6 0   1 . 7 1   1 . 6 2   1 . 8 5     Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 3 2 7     2 3 3 7   2336   B ased   o n   T ab le  4   o v er all  W R B m et h o d   h as   m u c h   s m a ll er   ep o ch   n u m b er   th a n   W F FN m et h o d .   T h is   m ea n s   t h at  t h W R B m eth o d   h as  m u ch   f aster   co m p u tatio n   p r o ce s s   t h a n   t h W FF NN  m et h o d .   I n   th e   W FF NN  m e th o d   th s elec tio n   o f   in p u n u m b er s   also   g r ea tl y   in f l u e n ce s   t h le n g t h   o f   th e   tr ain in g   p r o ce s s   i n   w h ic h   in p u t1 7   ten d s   to   h a v m an y   s m al ler   ep o ch s   o r   s h o r ter   tr ain in g   ti m d u r atio n s       6.   CO NCLU SI O N   B ased   o n   th r es u lt s   an d   d is c u s s io n   th at   h a v b ee n   d o n in   t h p r ev io u s   s ec t io n ,   it  ca n   b co n clu d ed   th at  W R B a n d   W FF NN  Me t h o d   ca n   b u s ed   f o r   p r ed ictio n   o f   Mc Gla s s   c h ao tic  ti m s e r ies  w h ic h   is   n o n - lin ea r   b u h as  m ea n   a n d   v ar i an ce   co n s tan w it h   h ig h   ac c u r ac y   ie  MSE   v al u les s   th a n   0 . 0 0 0 5 .   Ho w e v er ,   W R B m eth o d   is   s u p er io r   to   W FF NN  m et h o d .   T h W R B F 9   m et h o d   h as  th b est  p er f o r m an ce   to   p r ed ict  th is   d ata  w ith   MSE   tes tin g   0 . 0 0 0 0 8 4 .   W R B m et h o d   w il b s u p er io r   to   W FF NN   m eth o d   w h e n   ap p lied   to   s tatio n ar y   d ata  t y p o r   n o n - s t atio n ar y   d ata   t y p e   w it h   s i m p le  p atter n .   W FF N m et h o d   w il b s u p er io r   to   W R B m et h o d   w h en   ap p lied   to   n o n - s tatio n ar y   d ata  w it h   co m p le x   p atter n ,   eg   s tatio n ar y   d ata  i n   m ea n   a n d   n o n - co n s tan t   v ar ia n ce ,   o r   n o n - s tatio n ar y   d ata  a n d   n o n li n e ar   in   tr en d   ele m e n t.  Selectio n   o f   t h n u m b er   o f   in p u t   ele m en t s   i s   v er y   in f l u e n tial  o n   t h p er f o r m an ce   o f   t h m o d el,   e s p ec iall y   i n   t h l i ttle  d ata  tes tin g   w ill   lead   to   th v alu o f   s en s iti v e   MSE   test in g .   I n   th W FF N m eth o d ,   th s elec tio n   o f   in p u n u m b er s   s h o u ld   r ec eiv m o r ca r ef u atte n tio n .   I n   g en er al,   t h W R B m et h o d   h as  m u c h   s m aller   ep o ch   n u m b er   th a n   th e   W FF NN  m et h o d ,   s o   th ti m e   r eq u ir ed   f o r   th co m p u tat io n   p r o ce s s   is   m u c h   s h o r ter I n   f u tu r r esear ch ,   it  i s   n ec es s ar y   to   ex p er i m en o n   t h d ata  s et   w it h   a   lar g e   n u m b er   o f   o b s er v atio n s .   I n   ad d itio n ,   i is   also   n ec es s ar y   to   tr y   v ar io u s   tr a n s f o r m at io n s   to   s tatio n ar y   d ata  o n   v ar io u s   c h ar ac ter is tic s   o f   ti m s er ies d a ta  n o n s tatio n ar y .       ACK NO WL E D G E M E NT S   T h au th o r s   e x p r ess   t h ei r   d ee p est  g r atit u d an d   ap p r ec iatio n   to   th R ec to r   o f   U n i v er s ita s   B r a w ij a y a   Ma lan g   f o r   p r o v id in g   f i n a n cia s u p p o r f o r   p u b licatio n   i n   in t er n atio n al  j o u r n al s   an d   a w ar d s   ar also   p r esen ted   to   th Hea d   o f   Stati s tic s   L a b o r ato r y   o f   B r a w ij a y U n iv e r s it y   f o r   th e   f ac ilit ie s   g iv e n   in   co m p let in g   t h e   r esear ch .       RE F E R E NC E S   [1 ]   H.   T o n g No n - li n e a T ime   S e rie s: A   D y n a m i c a S y ste m A p p ro a c h ,   Ox f o rd   Un iv e rsity   P re ss .   Ox fo rd .   1 9 9 0 .   [2 ]   P . J.   Bro c k w e ll ,   a n d   R. A .   Da v is " No n sta ti o n a ry   a n d   se a so n a ti m e   se ries   m o d e ls " ,   In tro d u c ti o n   t o   T ime   S e rie a n d   Fo re c a stin g S p rin g e In tern a ti o n a P u b li sh i n g 2 0 1 6 ,   p p .   1 5 7 - 1 9 3 .   [3 ]   N.E .   Hu a n g ,   e t   a l . ,   " T h e   e m p iri c a m o d e   d e c o m p o siti o n   a n d   th e   Hilb e rt  sp e c tru m   f o n o n li n e a a n d   n o n - sta ti o n a ry   ti m e   se ries   a n a l y sis " Pro c e e d in g o th e   Ro y a S o c iety   o L o n d o n   A:  ma th e ma ti c a l,   p h y sic a a n d   e n g i n e e rin g   sc ien c e s ,   T h e   Ro y a S o c iet y v o l.   4 5 4 no .   1 9 7 1 ,   1 9 9 8 .   [4 ]   C.   V e las c o ,   " G a u ss i a n   S e m ip a ra m e tri c   Esti m a ti o n   o f   No n - sta ti o n a r y   T i m e   S e rie s" J o u rn a o T im e   S e rie s A n a lys is v o l.   20 ,   n o .   1 ,   1 9 9 9 ,   p p .   87 - 1 2 7 .   [5 ]   J.   F a n   a n d   Q.   Ya o No n li n e a T i m e   S e ries :   n o n p a ra m e tri c   a n d   p a ra m e tri c   m e th o d s S p rin g e r - V e rl a g ,   Ne Yo rk ,   2 0 0 3 .   [6 ]   S .   Ha n d o y o ,   e a l . I m p le m e n tatio n   Of   P a rti c le S w a r m   Op ti m iz a ti o n   ( P so A lg o rit h m   F o Esti m a ti n g   P a ra m e ter  O A r m a   M o d e V ia  M a x i m u m   L ik e li h o o d   M e th o d F a Ea st  J o u r n a o M a t h e ma ti c a S c ien c e s vol .   1 0 2 ,   n o .   7 2 0 1 7 ,   p p .   1 3 3 7 - 1 3 6 3 .   [7 ]   C. K.  P e n g ,   e a l . ,   " Qu a n ti f ica ti o n   o f   sc a li n g   e x p o n e n ts  a n d   c ro ss o v e p h e n o m e n a   in   n o n sta ti o n a r y   h e a rtb e a ti m e   se ries " ,   Ch a o s: A n   In ter d isc i p li n a ry   J o u rn a l   o f   No n li n e a r S c ien c e v o l.   5 ,   no .   1 1 9 9 5 ,   p p .   82 - 87.   [8 ]   S .   P o o ra n i ,   a n d   R.   M u r u g a n ,   " No n - L in e a Co n tro ll e f o F o re c a stin g   th e   Risin g   De m a n d   f o El e c tri c   V e h icle s   A p p li c a b le  to   I n d ian   Ro a d   Co n d it io n s" In ter n a ti o n a J o u rn a o El e c trica a n d   Co mp u ter   E n g i n e e rin g,   v ol 6   n o .   5 2 0 1 6 ,   p p .   2 2 7 4 - 2 2 8 1 .   [9 ]   A .   Bru c e   a n d   H.Y.  G a o ,   A p p li e d   W a v e let  A n a l y sis  w it h   S - P L US S p ri n g e r - V e rlag Ne w   Yo rk ,   US A 1 9 9 6 .   [1 0 ]   L .   De b n a th ,   W a v e let  T ra n s f o rm   a n d   T h e ir  A p p li c a ti o n ,   Birk h h a u se r,   Bo sto n ,   2 0 0 2 .   [1 1 ]   H.   S a b ro l,   a n d   S .   K u m a r ,   " Re c o g n it io n   o f   T o m a to   L a te  Bli g h b y   u sin g   DWT   a n d   Co m p o n e n A n a ly sis " In ter n a t io n a J o u rn a o E lec trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   7 ,   n o .   1 2 0 1 7 ,   p p .   1 9 4 - 1 9 9 .   [1 2 ]   V . A .   Ku m a r,   C.   Dh a rm a ra j,   a n d   C. S .   Ra o ,   " A   H y b rid   Dig it a W a ter m a rk in g   A p p ro a c h   Us in g   W a v e lets   a n d   L S B" ,   In ter n a t io n a J o u rn a o E lec trica a n d   C o mp u ter   En g in e e rin g ,   V o l .   7 ,   N o .   5 ,   2 0 1 7 ,   p p .   2 4 8 3 - 2 4 9 5 .   [1 3 ]   S.   S o lt a n i ,   " On   th e   u se   o th e   w a v e let  d e c o m p o siti o n   f o ti m e   se ri e p re d ictio n " Ne u ro c o mp u ti n g ,   V o l .   48 ,   No .1 2 0 0 2 ,   p p .     2 6 7 - 2 7 7 .   [1 4 ]   O.   Re n a u d ,   J.L .   S tark ,   a n d   F .   M u rtag h ,   P re d icti o n   Ba se d   o n   M u lt isc a le  De c o m p o siti o n ”,   In t.   J o u rn a o W a v e lets,  M u lt ire so lu ti o n   a n d   I n fo rm a ti o n   Pro c e ss i n g ,   v o l .   1 , n o .   2 2 0 0 3 ,   p p .   2 1 7 - 2 3 2 .   [1 5 ]   L .   F a u se tt ,   Fo u n d a me n ta ls  o Ne u ra Ne two rk s:  Arc h it e c tu re ,   Al g o rit h m,  a n d   Ap p li c a t io n ,   F l o rid a   In stit u te  o T e c h n o lo g y ,   P re n ti c e   Ha ll   In c .   E n g lew o o d s Cli f fs,  Ne w   Je rse y ,   1 9 9 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.