I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   8 ,   No .   4 ,  A u g u s t  201 8 ,   p p .   2 3 2 7 ~ 2 3 3 7   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v8 i 4 . p p 2 3 2 7 - 2337     2327       J o ur na l ho m ep a g e :  h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Sy ste m  f o r  Predi c tion   o f  No n  Statio na ry  Ti m e  Series   b a sed o n  the  Wa v ele t  Ra di a l Ba ses  F unction  Neural  Netw o rk   M o del        H eni K us da rw a t i ,  Sa m ing u n   H a nd o y o   De p a rte m e n t  o f   S tatisti c s ,   F a c u lt y   o f   M a th e m a ti c s an d   Na tu ra l  S c ien c e s,  Un iv e rsitas   Bra w ij a y a ,   In d o n e si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  1 2 ,   2 0 1 7   R ev i s ed   Feb   6 ,   2 0 1 8   A cc ep ted   Feb   1 3 ,   2 0 1 8     T h is  p a p e r   p ro p o se s  a n d   e x a m in e s  th e   p e rf o r m a n c e   o f   a   h y b rid   m o d e l  c a ll e d   th e   w a v e let  ra d ial  b a se s  f u n c ti o n   n e u ra l   n e tw o rk s   (W RBF NN ).   T h e   m o d e l  wi ll   b e   c o m p a re d   it s  p e rf o rm a n c e   w it h   th e   w a v e let  fe e d   f o r w a rd   n e u ra l  n e tw o rk s  ( W F F N   m o d e l  b y   d e v e lo p i n g   a   p re d icti o n   o r  f o re c a stin g   s y ste m   th a t  c o n sid e rs  tw o   t y p e s  o f  in p u t  f o rm a ts:  in p u t9   a n d   in p u t 1 7 ,   a n d   a lso   c o n sid e rs  4   ty p e s  o f   n o n - sta ti o n a r y   ti m e   se rie s  d a ta.  T h e   M OD WT   tran sf o r m   is  u se d   t o   g e n e ra te  w a v e let  a n d   sm o o th   c o e f f ici e n ts,   in   w h i c h   se v e ra l   e le m e n ts  o f   b o th   c o e ff icie n ts  a r e   c h o se n   in   a   p a rti c u lar wa y   to   se rv e   a s   in p u ts  to   th e   NN   m o d e l  in   b o th   RBF N N  a n d   F F NN   m o d e ls.   T h e   p e r f o rm a n c e   o f  b o t h   W RBF NN   a n d   W F F NN   m o d e ls  is  e v a lu a ted   by   u sin g   M A P E   a n d   M S E   v a lu e   in d ica to rs,  w h il e   th e   c o m p u tatio n   p r o c e ss   o f  th e   t w o   m o d e ls  is   c o m p a re d   u sin g   tw o   in d ica to rs,   m a n y   e p o c h ,   a n d   len g th   o f   train in g .   In   sta ti o n a ry   b e n c h m a rk   d a ta,  a ll   m o d e ls  h a v e   a   p e rf o r m a n c e   w it h   v e r y   h ig h   a c c u ra c y .   T h e   W RBF NN 9   m o d e l  is  th e   m o st  su p e rio r  m o d e l  i n   n o n sta ti o n a ry   d a ta  c o n tain i n g   li n e a r  tren d   e lem e n ts,   w h il e   th e   W F F NN 1 7   m o d e l  p e rf o r m s   b e st  o n   n o n - sta ti o n a ry   d a ta  w it h   th e   n o n - li n e a r  tren d   a n d   se a so n a l   e le m e n ts.   In   term s  o f   sp e e d   in   c o m p u ti n g ,   th e   W RBF NN   m o d e l  is  su p e rio r  w it h   a   m u c h   s m a ll e r  n u m b e r  o f   e p o c h s an d   m u c h   sh o rter t ra in in g   ti m e .   K ey w o r d :   A r ti f icial  n e u r al  n et w o r k   No n   s tatio n ar y   S y s te m   f o r   p r ed ictio n   T im e  s er ies   W av elet  tr an s f o r m   Co p y rig h t  ©   2 0 1 8   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Hen i K u s d ar w ati ,    Dep ar te m en t o f   Stati s tics ,   Facu lt y   o f   m at h e m atics a n d   Natu r al  Scie n ce s ,     Un i v er s ita s   B r a w ij a y a ,   Gd g   Gr ah a  Sai n ta  lt.2 ,   FMI P A  UB ,   J ln .   Vete r an   Ma lan g   6 5 1 4 5 ,   I n d o n esia .   E m ail:   k u s d ar w a ti_ h   l@ y a h o o . co m       1.   I NT RO D UCT I O N     I n   th e  r ea l  w o r ld ,   th er e  ar e  m an y   o b s er v atio n s   co llected   at  ce r tain   ti m e  in ter v als  s u c h   as  y ea r ,   m o n t h ,   w ee k ,   d a y ,   h o u r ,   e v en   u p   to   t h e  s m alle s t  i n ter v al  u n it.  T h e  s et   o f   o b s er v a tio n s   is   r ef er r ed   to   as  ti m e   s er ies  d ata.   T h e  m o s t  p o p u lar   m et h o d   o f   ti m e  s er ie s   m o d el in g   is   t h e  AR M A   m o d el.   I n   t h e  A R M A   m o d el   id en ti f icatio n   p r o ce s s ,   ti m e  s e r ies  d ata  m u s t  b e  i n   a  s ta tio n ar y   co n d itio n .   T h e  s tatio n ar y   d ata  is   an   a s s u m p tio n   th at  m u s t  b e  s atis f ied   in   clas s ical  ti m e  s er ie s   m o d el in g   [ 1 ] .   P r io r   to   m o d el  id en tif ica tio n ,   if   th e  ti m e  s er ies   d ata  m o d eled   is   n o n - s tatio n a r y ,   t h e  d ata  m u s t  b e  B o x - C o x   tr an s f o r m ed   s o   t h at  t h e  d ata  h as  a  co n s ta n t   v ar ian ce   [ 2 ] .   T h e  s elec tio n   o f   th e  s u i tab le  tr an s f o r m a tio n   i s   a  co m p lex   p r o b le m   a n d   is   u s u all y   d o n e  b y   tr ial  an d   er r o r   [ 3 ] .     On e  o f   th e  i m p o r tan t  s tep s   in   AR M A   m o d elin g   i s   p ar a m et er   esti m a tio n   to   g et  t h e  b est  m o d el.   T h e   p ar am eter   e s ti m atio n   m et h o d   o f   t h e  AR M A  m o d el  t y p ical l y   u s e s   t h e  m a x i m u m   li k eli h o o d   ( ML E )   m et h o d   [ 1 ] ,   b u t  s o m e  r esear c h er s   to d a y   p r o p o s e  th e  esti m a tio n   o f   AR M A   m o d el  p ar a m eter s   u s i n g   s e m ip ar a m etr ic   an d   n o n p ar a m etr ic   [ 4 ] ,   [ 5 ] ,   o r   u s i n g   a  co m b i n ed   m et h o d   o f   ML E   an d   ar tific ial  in telli g en c e   [ 6 ] .   W h en   th e  b est   m o d el  h a s   b ee n   o b tain ed   a n d   th e n   t h e  m o d el  i s   u s ed   f o r   p r ed ictio n   o r   f o r ec asti n g   p u r p o s es,  s o m eti m es  th e   m o d el  m u s t  b e  tr an s f o r m ed   b ac k   to   p r o d u ce   a  p r e d ictio n   v alu e   [ 7 ] ,   [ 8 ] .   T h u s ,   th e  f o r ec asti n g   w it h   th e   class ical  ti m e  s er ies  m o d el  f o r   n o n - s tatio n ar y   d ata  is   n o t a   s i m p le  tas k .   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 2 7   –   2 3 3 7   2328   W av elet  t h eo r y   i s   a  v er y   p o t en tial  t h eo r y   to   b e  u s ed   in   s o lv in g   v ar io u s   p r o b le m s   s u c h   as   s i g n a l   p r o ce s s in g ,   m ed ici n e,   d ata  co m p r e s s io n ,   g eo p h y s ic s ,   astro n o m y   a n d   n o n p ar a m etr ic  s ta tis tics   [ 9 ] ,   [ 1 0 ] .   Fo r   ex a m p le,   th e  ap p licatio n   o f   wav elet  tr an s f o r m s   to   to m a to - f r u it  r ec o g n i tio n   b y   Sab r o l  an d   Ku m ar   [ 1 1 ] ,   w h il e   Ku m ar ,   et  a l .   [ 1 2 ]   ap p lies   h y b r id   m eth o d   b et w ee n   w av ele t   an d   L SB   to   th e  d ig ital  w ater m ar k i n g   ap p r o ac h .   A p p lied   w av e let  tr an s f o r m ati o n   m et h o d s   i n   t h e  f ield   o f   Sta tis tics   ar e  th e  m o s t   co m m o n l y   u s ed   f o r   p r ed ictio n   o r   f o r ec asti n g   t i m e  s er ies d ata  as p er f o r m ed   b y   So ltan i   [ 1 3 ]   an d   R en a u d   [ 1 4 ] .   Neu r al  n et w o r k s   ( NN)   m o d e l  is   an o t h er   e x a m p le   o f   a  n o n p ar a m etr ic  m o d el  t h at  h as   a  f le x ib le   f u n ctio n al  f o r m ,   y et  co n ta in s   s ev er al  p ar a m eter s   t h at  ca n   n o t  b e  in ter p r eted   as  in   th e  p ar a m etr ic  m o d el   [ 1 5 ] .   T h e  ap p licatio n   o f   th e  NN   m o d el  f o r   ti m e  s er ie s   p r ed ictio n s   co n tai n i n g   s ea s o n al  ele m en ts   an d   tr en d i n g   ele m e n ts   i s   d o n e  b y   Z h an g   a n d   Qi   [ 1 6 ] .   Mu lti - la y er   p er ce p tr o n   ( ML P )   ar ch itectu r e  i s   w id el y   u s ed   f o r   n o n - lin ea r   an d   n o n - s tat io n ar y   t i m e  s er ies  d ata  p r ed ictio n ,   w h il e  th e  co m m o n l y   u s ed   lear n in g   m e th o d   is   f ee d - f o r w ar d   N N  ( F FNN)   a s   d id   b y   Kaj itan i   et  a l .   [ 1 7 ] .   T h e  r ad ial  b ases   f u n ctio n   NN  ( R B FNN)   ar ch i tectu r e   r ese m b les   M L P   b u t it   ap p lies   t h e  cl u s ter i n g   m et h o d   o n   t h e  h i d d en   la y er   u n it.  T h e  R B FNN  ca n   al s o   b e  u s ed   to   f o r ec ast n o n - s tatio n a r y   ti m e  s er ies  w i th   s h o r ter   tr ain i n g   p r o ce s s es   [ 1 8 ] .   Sev er al  s t u d ies  w i th   w av ele t   an d   NN  co m b i n atio n s   w er e  in itiated   b y   t h e  r esear c h   co m m u n it y   o f   w a v elet  a n d   NN.   O n e  o f   t h e  m aj o r   p r o b lem s   in   NN  m o d el in g   in   t i m e  s er ies  d ata  i s   th e  n ee d   f o r   s elec ti n g   a   p r o p e r   in itial  d ata  p r o ce s s in g .   T h e  co m b in atio n   o f   w a v elet s ,   as  an   i n itial  p r o ce s s i n g   m e th o d   an d   NN  as  a   m et h o d   th at  p r o ce s s e s   i n p u ts   in to   an   o u tp u t,  p r o d u ce s   a  h y b r id   m o d el  k n o w n   as  W a v ele t  Neu r al  n et w o r k s   ( W NN)   [ 1 9 ] - [ 2 5 ] .   T h e  ap p li ca tio n   o f   t h e  W NN  m o d el  f o r   ti m e  s er ies  f o r ec asti n g   i s   o n e  o f   t h e  m o s t   in ter esti n g   r esear ch   to p ics  i n   th e  f ield s   o f   m at h e m atic s ,   s tati s tics ,   an d   co m p u ter   s cie n ce .   I n   g e n er al,   W NN  is   n eu r al   n et w o r k s   w i th   w a v elet   f u n c tio n s   u s ed   i n   p r o ce s s i n g   in   tr an s f er   f u n ct io n s .   I n   t h e  ca s e  o f   ti m e  s er ie s   f o r ec asti n g ,   t h e  in p u ts   u s ed   i n   W NN  ar e  w a v elet  co ef f ic ie n ts   at  a  g iv e n   r eso l u tio n .   T o   d ate,   s o m e   ar ticle s   h av e  b ee n   d is c u s s ed   in   d etail  w it h   r eg ar d   to   W NN  m o d eli n g   f o r   n o n - s tatio n ar y   t i m e  s er ie s   f o r ec asti n g ,   s o m e   o f   w h ich   ar e  C h e n   et   a l .   [ 1 9 ] ,   Su b a n ar   an d   Su h ar to n o   [ 2 0 ] ,   an d   El - So u s y   [ 2 1 ] .   T h e  ar ticles  u s e  th e   FF N N   tr ain i n g   al g o r ith m   s o   t h at  th e  r esu lt in g   m o d el  is   s p ec if ica ll y   ca lled   W FF NN.   I n   an o t h er   h a n d ,   s o m e  r esear c h er s   w h o   h a v e  i m p le m e n ted   t h e  h y b r id   m et h o d   b et w ee n   wav elet  a n d   NN,   o r   h y b r id   a m o n g   m ac h i n e  lear n in g   m et h o d s   f o r   ti m e  s er ies  f o r ec asti n g   ie  B u n n o o n   [ 2 2 ]   h as  f o r ec asted   th e  elec tr icit y   p ea k   lo ad   d e m an d ,   P o o r an i  an d   Mu r u g an   [ 2 3 ]   h av e  f o r ec asted   th e  r is i n g   d em a n d   f o r   elec tr ic  v eh ic les  ap p licab le  to   I n d ian   r o ad   co n d itio n s ,   Ka m le y ,   et   a l .   [2 4 ]   h av e  m ea s u r ed   t h e  p er f o r m an ce   f o r ec ast in g   o f   t h e  s h ar e  m ar k et,   a n d   th e   e n ab lin g   e x ter n al  f ac to r s   f o r   i n f latio n   r ate  f o r ec asti n g   w er e  c o n d u cted   b y   Sar i,  et   al .   [ 2 5 ] .   I n   th e  p r ev io u s   h y b r id   m et h o d s   t h at  w er e  n o t  a   h y b r id   b et w ee n   w a v elet  a n d   R B FNN.   B o th   i n   B u r n o o n   [ 2 2 ] ,   an d   in   P o o r an i& M u r u g a n   [ 2 3 ]   co m b i n ed   b et w ee n   w a v elet   an d   FF NN,   m ea n w h i le  b o th   in   Ka m le y ,   et  a l .   [ 2 4 ]   an d   in   Sar i,  et  a l .   [ 2 5 ]   c o m b i n ed   b et w ee n   NN,   an d   f u zz y   i n f er en ce s   s y s te m .   F u r th er m o r e,   m o d eli n g   th e  h y b r id   b et w ee n   w a v elet  a n d   R B FNN  is   f o c u s   o n   th i s   r esear ch .   B ased   o n   th e  ab o v e  d escr ip tio n   th at  ti m e  s er ie s   d ata  in   th e  r ea l  w o r ld   is   g en er all y   n o n - li n ea r   an d   n o n s tatio n ar y ,   cu r r e n tl y ,   t h er e  is   n o t  t h e  h y b r id   m o d el  co m b i n ed   b et w ee n   w a v elet  an d   R B FN N    f o r   n o n s tatio n ar y   ti m e  s er ies  f o r e ca s tin g ,   s o   t h is   s t u d y   p r o p o s es  an d   in v e s ti g ates  t h e  p er f o r m an ce   o f   a  h y b r id   m o d el  ca l led   w a v elet  r ad ial  b ases   f u n ctio n   NN  ( W R B FNN ) .   T h e  m o d el  w ill  b e  co m p ar ed   its   p er f o r m an ce   w it h   th e   W FF N N  m o d el  b y   d ev elo p ed   a  f o r ec ast in g   s y s te m   th at   co n s id er s   t w o   t y p es   o f   i n p u t  f o r m at s :  i n p u t9   an d   in p u t1 7   in   o r d er   to   in v es tig ate  t h e  e f f ec t  o f   t h e  n u m b er   o f   in p u t s   o n   t h e  m o d el  p er f o r m a n ce ,   an d   also     4   ty p es  o f   n o n - s tatio n ar y   d at asets   w it h   d if f er e n ce   p atter n   an d   ch ar ac ter is tic  t h at  p o p u la r l y   d is cu s s ed   in   t h e  n o n li n ea r   ti m e  s er ies li ter atu r e   as c ase  s t u d ies.       2.   M A X I M A L   O V E R L A P   D I S C R E T   W A V E L E T   T R A N S F R O M   ( M O D W T )   Su p p o s e  th er e  i s   a  ti m e  s er ie s   d ata  x ,   s ize  N,   t h e n   th e  M ODW T   tr an s f o r m   w ill  p r o d u c e  a  co lu m n   v ec to r   w 1 ,   w 2 ,   . . . ,   w Jo   an d   v Jo   ea ch   o f   t h e m   is   N.   T h e  v ec to r   co n tain s   th e  M ODW T   w av el et  co ef f ic ien t,  w h ile   w Jo   co n tai n s   t h e  s ca le   co ef f ici en t.  T h e  MO DW T   w a v elet   f il ter   {   ̃   }   is   o b tai n ed   t h r o u g h     ̃             ⁄   an d   t h e   MO DW T   s ca le   *   ̃   +   o b tain ed   th r o u g h   ̃             ⁄ .   T h u s   t h e  co n d itio n   o f   a  MO DW T   w av e let  f il ter   m u s t   s atis f y   th e  f o llo w in g   eq u at io n   [ 9 ] :     ∑   ̃                     ∑   ̃             ⁄           ∑   ̃     ̃                                           ( 1 )     Si m i lar l y ,   t h e   s ca le   f ilter   m u s t   s atis f y   t h e  f o llo w in g   eq u atio n :     ∑   ̃                     ∑   ̃             ⁄           ∑   ̃     ̃                                           ( 2 )     W h er e                  (     ⁄ )       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r y  Time  S eries   b a s ed   o n   th e  W a ve let  R a d ia l  …   ( Hen i Ku s d a r w a ti )   2329   T h e  m a in   o b j ec tiv e  i n   t h e  M ODW T   f o r m u latio n   is   to   d ef i n e  DW T - lik e  tr a n s f o r m at io n s ,   b u t  d o   n o t  ex p er ien ce   d if f ic u ltie s   f r o m   DW T   s en s iti v it y   i n   ter m s   o f   s elec tin g   s tar ti n g   p o in ts   f o r   a  tim e  s er ies.  T h is   s en s iti v it y   is   ab o u t  t h e  d o w n s a m p lin g   o f   t h e  w a v elet   f ilter   o u tp u t  a n d   th e   s ca le  f ilter s   at   ea ch   s ta g e  o f   t h e   p y r a m id   al g o r ith m .   B y   d ef i n i n g   A   w h ic h   i s   t h e  m atr i x   co n t ain i n g   th e   f ilter     ̃   an d   B   is   th e   m atr i x   co n tai n i n g   th e  f ilter s   [ 2 0 ] .   P y r a m id   al g o r ith m   i s   an   e f f icie n t  ca lc u lat io n   al g o r ith m   to   ca lc u late  t h e  s ca le  co ef f icien t  an d   MO DW T   w a v elet  co ef f icie n t s   at  j - lev el.   C o n s ec u ti v e  s m o o th in g   co ef f icie n ts   a n d   d etailed   co ef f icie n t s   i n   d if f er e n t  le v els  w er e  o b tain ed   u s i n g   p y r a m id   alg o r it h m s   [ 1 0 ] .   Fig u r e  1   ill u s tr ates  i f   a  d a ta  x   i s   d ec o m p o s ed   w it h   a  w a v elet  f il ter   an d   a  s c ale  f ilter   w ill  p r o d u ce   w av ele t  co ef f icie n t s   an d   s ca le  co ef f i cien ts .   O n   t h e  f ir s t   lev el,   s ec o n d   a n d   s o   o n .           Fig u r e  1 .   P y r a m id   alg o r ith m   f o r   MO DW T       T he   tr an s f o r m a tio n   o f             f o r m       an d       u s e  o f   m a tr ices   A j   an d   B j   th at  ar e  s ize        is                           an d                       .  T h u s ,  th e  r ec o n s tr u ctio n   o f   x   at  ea ch   lev el   ar e  as   f o llo w s :   L e v el  1 :                      an d                       L e v el  2 :                             an d                           L e v el  3 :                                 an d                                   L e v el  j :   :                                               an d                                           .   u s i n g   t h e  i n f o r m at io n   o f   t h e    r ec o n s tr u ctio n   x   o n   ea c h   le v el  ab o v e  an d   g iv e n               th en ,     it b e  o b tain ed :     0 0 0 0 0 0 1 1 1 1 2 2 1 1 1 J T J T J T J T J T J T T T T v A A A w B A A w B A w B x     ( 3 )       3.   T I M E   S E R I E S   P R E D I C T I O N   U S I N G   W A V E L E T   N E U R A L   N E T W O R K S   Su p p o s e  a  s tat io n ar y   s i g n a l        (                     )   an d   it  i s   as s u m ed   to   b e  f o r ec ast   th e  v al u e          .   T h e  b asic  id ea   o f   t h e  w av e let  n eu r al  n et w o r k   m o d el  is   to   u s e  th e  co ef f ic ien t s   o b tain ed   f r o m   d ec o m p o s i tio n   s u c h   as  MO DW T   to   o b tain   a  f o r ec ast  v al u e  w it h   a  p ar ticu lar   n e u r al  n et w o r k   ar ch i tectu r e.   Kaj itan i,   et  a l .   [ 1 7 ]   in tr o d u ce d   th e  Mu l ti - L a y er   P er ce p tr o n   ( ML P )   n eu r al  n et wo r k   o r   k n o w n   as  f eed - f o r w ar d   n eu r al  n et w o r k   ( FF NN)   to   p r o ce s s   t h e  w a v el et  co ef f icie n ts .   T h e  F FNN  ar ch itect u r e  u s ed   t h at  it   co n s is t s   o f   a   h id d e n   la y er   wi t h   P   n e u r o n ,   w h ic h   is   m at h e m atica ll y   w r itte n   as  f o llo w :     P p J j A k k N J A k p k J k N j p k j p N j J J j v a w a g b X 1 1 1 ) 1 ( 2 , 1 , , 1 ) 1 ( 2 , , , 1     ( 4 )     w h er e  g   is   a n   ac ti v atio n   f u n cti o n   o n   t h e  h id d en   la y er ,   w h ich   is   u s u all y   s i g m o id   lo g i s tics ,   w h ile  t h e  ac t iv at io n   f u n ctio n   at  th e  o u tp u t la y er   is   l in ea r   f u n c tio n .   R en a u d ,   e t  a l .   [ 1 4 ]   in tr o d u ce   an   in p u t  p r o ce s s in g   o f   a  w av elet  tr an s f o r m   m o d el  s u c h   as  MO DW T .   T h e  ti m e  s er ies  f o r ec asti n g   p r o ce d u r e  in   th e  t  +  1   p er io d   w i th   w a v elet  tr an s f o r m   at  le v el  J =4 ,   th e  o r d er   A j =2   an d   N= 1 7   ar e  illu s tr ated   in   F ig u r e  3 .   B ased   o n   Fi g u r e  3,   i t  i s   o b tain ed   th at  th e  v al u e  in   th e  1 8 th   p er io d   is   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 2 7   –   2 3 3 7   2330   p r ed icted   u s in g   t h e  i n p u t  p r o ce s s i n g   r esu lt  MO DW T   b y   s e l ec tin g   s o m e  s ca le  a n d   s m o o t h   co ef f icien ts .   I n   t h e  w a v elet  co ef f icie n t  o f   lev el  1   ch o s en   as  i n p u t  at  t=1 7   an d   t= 1 5 ,   w a v elet  co ef f icien t  le v el  2   at  t=1 7   a n d   t= 1 3 ,   w a v elet  co e f f icie n t  le v el  3   a t  t= 1 7   an d   t = 9 ,   w a v elet  co e f f i cien t  le v el  4   o n   t = 1 7   an d   t = 1 ,   an d   s m o o th     lev el  4   co e f f icien ts   at   t = 1 7   an d   t = 1 .   So   it c a n   b e  f o r m u lated   th at  t h e  s ec o n d   i n p u t a t e ac h   l ev el  i s   i n   t h e  p er io d   of   . 2 j t           Fig u r e  2 .   Selectio n   o f   n eu r al  n et w o r k   i n p u ts   f r o m   w a v elet  tr an s f o r m s   to   J =4   an d   A j =2   [ 1 4 ]       R en a u d   et  a l .   [ 1 4 ]   d ev elo p ed   a  lin ea r   w a v elet  m o d el  k n o w n   as  th e  Mu ltis ca le Au to r e g r ess i o n   Mo d el  ( MA R ) .   I n   ad d itio n ,   t h er e  is   a ls o   th e  p o s s ib ilit y   o f   u s i n g   n o n - lin ea r   m o d els  i n   t h e  i n p u t - o u tp u t  p r o ce s s   o f   t h e  w a v elet  m o d el,   p ar ticu lar l y   t h e  Feed - f o r w ar d   Ne u r al  Net w o r k   ( FF NN)   ap p r o ac h .   T h e  s ec o n d   m o d el  is   t h e n   k n o w n   as   W av elet  Neu r al  Net w o r k   o r   W NN  m o d el.   B o th   ap p r o ac h es  ab o v e  ar e  m o d els  th at  u s e   in p u t  la g - lag   o f   w a v elet  co e f f icien t,  t h at  i s   s ca le  an d   s m o o t h   co ef f icien t a s   in   Fi g u r e  2 .   T h e  b asic  id ea   o f   m u lti s ca le  d ec o m p o s i tio n   is   t h e  tr en d   o f   a f f ec tin g   lo w - f r eq u en c y   co m p o n en t s   ( L ) ,   w h ic h   ten d   to   b e  d eter m in is t ic.   W h ile  th e  h i g h - f r eq u e n c y   co m p o n e n t  ( H)   r e m ai n s   s to c h asti c.   T h e  s ec o n d   p o in t  th at  m u s t  al s o   b e  u n d e r s to o d   in   w a v elet  m o d elin g   f o r   f o r ec asti n g   is   to   k n o w   t h e  f u n ctio n   u s ed   to   p r o ce s s   th e  i n p u t,  ie  t h e  w a v elet  co ef f icien ts   w h ic h   b ec o m e  o u tp u t  i n   t h e  f o r m   o f   t h e  f o r ec ast  v al u e  i n   th e   p er io d   t  +  1 .   I n   g e n er al,   th er e  ar e  t w o   k in d s   o f   f u n ct io n s   th at   ca n   b e  u s ed   in   th i s   i n p u t - o u tp u t  p r o ce s s ,   n a m el y   lin ea r   f u n ctio n s   an d   n o n - lin ea r   f u n ctio n s   [ 2 0 ] .   T o   f ac ilit ate  a n   u n d er s ta n d i n g   o f   t h e   W NN  m o d el  i n   E q u at i o n   ( 4 ) ,   co n s id er   t h e  g e n er al  ar ch itect u r e  o f   th e  M L P   t h at   h a s   a  h id d en   la y er   w it h   f o u r   n e u r o n s ,   th r e e  in p u t s ,   an d   a  li n ea r   ac ti v ati o n   f u n c tio n   o n   th e   o u tp u t  la y er ,   as  s h o w n   i n   Fi g u r e  2 .   T h e  n et w o r k   o u tp u t  o r     (   )   in   th is   f ig u r e  is   an alo g o u s   to   th e  p r ed icted   v alu e  f o r   th e  p er io d   to   N  +  1 ,   o r     ̂         in   eq u a tio n   ( 1 )   ab o v e.   T h e  in p u ts   X 1 ,   X 2 ,   a n d   X 3   co r r esp o n d   to   th e   w a v elet  co e f f ic ien t s   a n d   th e  s m o o t h   co ef f icie n t s   ar e                (       )   an d                 (       ) .  T h e  w ei g h t s   b et w ee n   in p u t  n o d es  an d   h id d en   n o d es  ar e                w h er ea s   t h e  w ei g h ts   b et w ee n   h id d en   n o d es  an d   o u tp u t  n o d es  ar e       .   T o   o b tain   o p ti m al  w ei g h t s   t h en   t h e  n et w o r k   m u s t b e  tr ain ed   b y   u s i n g   a  p ar ticu lar   lear n i n g   al g o r ith m .     1         1 X 3 x 2 X 1   (.) (.) (.) (.) / p k j a , , p k j a , , p b p b ) ( x Y i np ut l aye r h i d den laye r out put l ayer   Fig u r e  3 .   ML P   ar ch itectu r e  w i th   3   in p u t  n o d es,  1   h id d en   la y er   w it h   4   n eu r o n s   [ 2 0 ]       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r y  Time  S eries   b a s ed   o n   th e  W a ve let  R a d ia l  …   ( Hen i Ku s d a r w a ti )   2331   On   t h e  R B FNN  th e   ac ti v atio n   f u n ctio n   i n   t h e  h id d en   la y er   is   Ga u s s ian   f u n ctio n ,   th e   ac tiv atio n   f u n ctio n   at   t h e  o u tp u t  la y er   is   lin ea r   f u n ct io n ,   a n d   t h e  w e ig h t   b et w ee n   th e   i n p u t   n o d e  a n d   t h e  h id d en   n o d e  is   1   or                     ,    - .   T h u s   th e  w ei g h t  ad j u s t m e n t  o n l y   o cc u r s   o n   th e  w eig h t s   b etw ee n   th e  h id d en   n o d e  an d   th e  o u tp u t n o d e  ie      .   B ased   o n   th es e  p r o p e r ties   f in a ll y   o b tai n ed   th e  eq u atio n :     P p J j A k A k k N J k N j p N j J J j v w g b X 1 1 1 1 ) 1 ( 2 , ) 1 ( 2 , 1       ( 5 )     w h ic h   g   is   a  Ga u s s ia n   f u n cti o n   w it h   p ar a m eter   ce n ter   ( μ )   an d   v ar i an ce   (     ).   Fu r t h er m o r e,   th e  Mo d el  i n   E q u atio n   ( 5 )   is   ca lled   th e  W av elet  R ad ial  B asis   F u n ctio n   Neu r al  N et w o r k   ( W R B F NN ) .   I n   th e  W R B F NN   m o d el ,   w e  n ee d   a  m eth o d   to   esti m ate  t h e  p ar a m eter s   o f   Gau s s ia n   f u n ctio n   d is tr ib u tio n .   Us u all y   th e  b o t h   p ar am eter s   o f   th e  Ga u s s ia n   d is tr ib u tio n   i n   a  g i v e n   s et  o f   d ata  ar e  esti m ated   b y   t h e  least  s q u a r es  m et h o d .   T h e  p er f o r m a n ce   o f   t h e  s y s te m   s h o u ld   b e  ev al u ated   u s i n g   a  m ea s u r e  o f   ac c u r ac y   r e f er r in g   to   t h e   g o o d n ess   o f   a  p r ed ictio n   o r   f o r ec asti n g   s y s te m .   T h e  ac cu r ac y   o f   a  m o d el  i n d icate s   t h e  m e r it  o r   s u itab ili t y   o f   th e  m o d el  to   p r ed ict  th e  v alu e  in   f u t u r e  p er io d s .   T h er e  a r e  v ar io u s   m ea s u r es  o f   ac cu r ac y   in   f o r ec asti n g ,   a m o n g   w h ic h   ar e   Me an   A b s o u lu te  P er ce n ta g e  E r r o r   ( M A P E )   an d   Me a n   Sq u ar e  E r r o r   ( MSE )   ex p r es s ed   b y   th e  f o llo w i n g   f o r m u la   [ 2 6 ] .                   ⁄ ∑ |         ̂       |                              ( 6 )                ⁄ ∑ (         ̂   )                         ( 7 )     B o th   m ea s u r es  o f   t h is   ac c u r ac y ,   if   t h e y   h av e  t h e  v al u e   n ea r   ze r o   th en   it   in d icate s   b etter   p r ed ictio n   m o d el.   T o   s elec t th e  b est p r ed ictio n   m o d el,   th ese  b o th   i n d icato r s   ar e  ca lcu late d  on   t h e  d ata  s et  test i n g   ( o u t sa m p le) .       4.     RE S E ARCH   M E T H O DS   I n   th i s   s t u d y   b u i lt  a  f o r ec asti n g   s y s te m   w it h   in p u t  p r o ce s s in g   u s in g   MO DW T   b y   co n s i d er in g   t h e  n u m b er   o f   lag   as  i n p u t  is   N = 9   an d   N = 1 7 .   MO DW T   p r o ce s s i n g   r es u lt s   ar e  s elec ted   as  n eu r al  n et w o r k   i n p u t   u s i n g   R e n au ld   m et h o d   [ 1 4 ] .   T o   p r o ce s s   th e  in p u t  i n to   th e  o u tp u t  o f   t h e  s y s te m   is   d o n e  p r o ce s s i n g   w ith   FF N N  an d   R B FN N.   T h er e  ar e  f o u r   t y p e s   o f   ti m e   s er ies   d ata  t h at  h av e  p atter n s   t h at   ca n   b e  s ee n   i n   F ig u r e  4   a n d   h av e   ch ar a cter is tic s   th at  ca n   b e  s ee n   in   T ab le  1 .           (a )       (b )         (c )       (d )     Fig u r e  4 .   Fo u r   p attr en   o f   t i m e  s er ies  d ata:  ( a )   C h ao tic  m cg la s s ,   ( b )   Mo n th l y   e lectr ici t y   u s a g e,   ( c )  T r af f ic  f atalit ies,  an d   ( d )  C an ad ian   l y n x   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 2 7   –   2 3 3 7   2332   T ab le  1 .   A ttrib u te  o f  D ata s et   u s ed   i n   T h e s tu d y   N a me   D a t a se t   T o t a l   r e c o r d   T o t a l   t r a i n   T o t a l . t e st   C h a r a c t e r i st i c s   C h o a t i c M c G l a ss   5 0 0   3 5 0   1 5 0   S t a t i o n a r y   a s  t h e   b e n c h mar k   El e c t r i c i t y   U sag e   1 0 6   80   26   N o n   st a t i o n a r y   o n   v a r i a n ce   T r a f f i c   F a t a l i t i e s   1 8 0   1 4 0   40   N o n   st a t i o n a r y   o n   b o t h   me a n   a n d   v a r i a n c e   w i t h   l i n i e r   t r e n d   C a n a d i a n   L y n x   1 1 4   90   24   N o n   st a t i o n a r y   o n   b o t h   me a n   a n d   v a r i a n c e   w i t h   n o n   l i n i e r   t r e n d       T h e  f o u r   d ata  ar e  ta k e n   f r o m   T o n g   [ 1 ]   w h ich   is   t h e  m o s t  p o p u lar   n o n - li n e ar   ti m e   s er ies   l iter atu r e  to   d ate.   T h e  f o u r   d ata  th at  h a v e  ch ar ac ter is tics   as  i n   T ab le  1   b y   th e  r esear c h er s   ar e  co n s id er ed   ca p ab le  o f   r ep r esen tin g   n o n - li n ea r   an d   n o n - s tatio n ar y   ti m e  s er ies  d ata  p atter n s   t h at  o f te n   ap p ea r   in   t h e  r ea l  w o r ld .   E ac h   d ata  is   d iv id ed   in to   tr a i n i n g   d ataset  ( 7 0 %)  an d   te s ti n g   d ataset   ( 3 0 %).   T r ain in g   d ataset   is   u s e d   to   b u ild   m o d els ,   w h ile  te s ti n g   d ataset  i s   u s ed   to   s elec t th e  b est  m o d el  o r   m o d e l v alid atio n .   T h e  p r ed ictio n   s y s te m   b u ilt  h a s   t w o   m a in   p r o ce s s in g   m en u s :   MO DW T   w a v elet   tr an s f o r m   an d   n e u r al  n et w o r k   co m p u tatio n .   T h e  MO DW T   m en u   ch a n g e s   th e  in p u t  ti m e  s er ies  w it h   m a n y   la g s   9   an d   m a n y   la g s   1 7   ar e  tr an s f o r m ed   i n to   s ca le  co ef f icien ts   a n d   s m o o t h   co e f f ic i en ts   at  a   n u m b er   o f   lev e ls = 4   an d   au to r eg r ess i v e   o r d er   ( A R ) = 2 .   T h e  n eu r al  n etw o r k   m en u   h a s   t w o   m o d els :  R B FNN  an d   FF NN  w h ic h   b o th   th is   n eu r al  n e t w o r k   m o d el   w ill  p r o ce s s   th e   in p u t  o f   th e   r es u lt  o f   t h e  s elec ted   MO DW T   tr an s f o r m at io n   a s   p er f o r m ed   b y   R en a u d   ( 2 0 0 3 )   to   p r o d u ce   th e  n et w o r k   o u tp u t.  F u r t h er m o r e,   t h is   n et w o r k   o u tp u t  m ea s u r ed   it s   p er f o r m a n ce   w it h   MA P E   an d   MSE .   Fi g u r e   5   an d   Fig u r e  6   ill u s tr ate  t h e  p r o ce s s es  p er f o r m ed   o n   p r ed icted   s y s te m s   th a t  h a v e   b ee n   b u ilt.       T i m e   S e r i e s D a t a D a t a   P r e p a r a t i o n M O D W T   p r o c e s s F o r     I n p u t   m a t r i x W R B F   a n d   W F N N p r e d i c t i o n P e r f o r m a n c e   a n d   p a r a m e t e r   y e i l d e d     Fig u r e  5 .   T h e  s tep s   of   s y s te m   d ev elo p m en t       C o e f .   M O D W T   m a t r i x   a n d   T a r g e t   v e c t o r K - M e a n   c l u s t e r i n g   t o   C o e f .   M O D W T   m a t r i x   o f   t r a i n i n g E s t i m a t e   o f   G a u s s i a n   p a r a m e t e r   f o r   e a c h   c l u s t e r W R B F   t r a i n i n g   t o   s a t i s f y   s p c e s i f i c   S S E T e s t i n g   u s e s   c o e f . M O D W T   m a t r i k   a n d   t a r g e t   v e c t o r   o f   t e s t i n g P e r f o r m a n c e   a n d   p a r a m e t e r   o f   W R B F C o e f .   M O D W T   m a t r i x     a n d   T a r g e t   v e c t o r   o f   t r a i n i n g C o e f .   M O D W T   m a t r i x   a n d   T a r g e t   v e c t o r   o f   t e s t i n g     Fig u r e  6 .   T h e  s tep s   of   c o m p u t atio n   p r o ce s s   of   W R B F NN  m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r y  Time  S eries   b a s ed   o n   th e  W a ve let  R a d ia l  …   ( Hen i Ku s d a r w a ti )   2333   5.   RE SU L T S  A ND  AN AL Y SI S   5 . 1 .   P re   pro ce s s ing   da t a   inp ut  a n d se t t ing s   neura l net w o rk   pa ra m et er s   T h e  ti m e  s er ies  d ata  h as  a  d at a  s tr u ct u r e  in   t h e  f o r m   o f   a  r o w   v ec to r   in   w h ic h   t h e  s eq u e n ce   n u m b er   o f   th e  o b s er v ed   v al u e  t  s h o ws  th e  p o s itio n   o f   t h e  v al u e  o f   th e  r ec o r d   in   th e  p er io d   o f   ti m e  t.  I n   t h i s   s t u d y   co n s id er   in p u ts   w i th   m a n y   la g s   9   ( i n p u t9 )   an d   m an y   la g s   1 7   ( in p u t1 7 ) .   I n   in p u t9   i m p l ies  th a t  t h e  f ir s t  9   o b s er v atio n s   ar e  u s ed   to   p r ed ict  th e  1 0 t h   o b s er v atio n al  v al u e,   t h e  s ec o n d   o b s er v atio n   to   t h e  10 th   o b s er v atio n   is   u s ed   to   p r ed ict  t h e  1 1 th ,   a n d   s o   o n .   I n   in p u t1 7   also   i m p li es  t h at  t h e  f ir s t   1 7   o b s er v atio n s   ar e  u s ed   to   p r ed ict  th e  1 8 th   o b s er v ed   v al u e.   T h er ef o r e,   th e  f ir s t  s tep   i n   p r ep ar in g   t h e  d ata  is   to   tr an s f o r m   th e   v ec to r   d ata  s tr u ctu r e   in to   a  m atr ices  d ata  s tr u ct u r e   ca lled   th e   p air s   o f   in p u t - o u t p u t  m atr i x .   T h e  m atr i x   at  in p u t9   h as  d i m e n s io n s     (n - 9) x 1 0   an d   t h e  i n p u t   m atr i x 1 7   h as  d i m en s io n s   ( n - 17) x 1 8   w h er e  n   is   th e  n u m b er   o f   p er io d s   o f   th e  ti m e   s er ies.  I n   t h e  i n p u t - o u tp u t  m a tr ix ,   th e  last   co l u m n   i s   t h e  tar g et  v ec to r   w h er ea s   t h e  p r ev io u s   co l u m n s   ar e  th e   in p u t o f   th e  s y s te m .   T h e  MO DW T   p r o ce s s in g   is   p er f o r m ed   o n   th e  s y s te m   in p u t   m atr ix   ( all  co l u m n s   o th er   th a n   th e  la s t   co lu m n   o f   t h e  in p u t - o u tp u t  m atr ix ) .   E ac h   r o w   o f   t h e  in p u t  m atr i x   is   tr an s f o r m ed   MO DW T   to   p r o d u ce   a  s ca le  co ef f icie n t   an d   a  s m o o th   co ef f icie n t.  I n   i n p u t9 ,   ea c h   r o w   w i th   9   o b s er v ed   v a lu e s   ar e  tr a n s f o r m ed   i n to   3   r o ws   o f   s ca le  co ef f icie n ts   ( w 1 ,   w 2 ,   w 3 )   an d   o n e  r o w   o f   t h e  s m o o th   co ef f icien t  ( s ) .   Fro m   th i s   tr an s f o r m atio n ,   w e   s elec ted   th e  9 t h   a n d   7 th   v alu e s   o f   w 1 ,   t h e  9 th   a n d   5 th   v al u e s   o f   w 2 ,   t h e  9 th   a n d   1 s t  v alu e s   o f   w 3 ,   an d   t h e  9 t h   an d   1 s t  v al u es  o f   s .   T h ese   v alu es  ar e  u s ed   as  i n p u t s   f r o m   n eu r al   n et w o r k s .   F in al l y ,   at  in p u t9   af ter   th e   MO DW T   tr an s f o r m   h as  a n   in p u t  n u m b er   o f   8   v a lu e s ,   w h er ea s   at  in p u t1 7   af ter   MO DW T   tr an s f o r m   h a s   1 0   in p u t  v al u es.   I n   th e  r ad ial  b ase  n et w o r k ,   th e   s p r ea d   an d   SS E   p a r am eter s   h av e  a  v ital  r o le  to   g ain   o p ti m a l  n et w o r k   w ei g h t.  I n i tiall y   r u n n in g   t h e  s y s te m   i s   d o n e  b y   tr ial  a n d   er r o r   ag ain s t  a  ce r tai n   s p r e ad   v al u e  o n   v ar io u s   SS E   v alu e s .   I t   ai m s   to   g e t  t h e  o p ti m u m   s p r ea d   an d   SS E   p air   th at  h a s   t h e  s m alles t  S SE  te s ti n g   v al u e.   Fro m   t h e   v ar io u s   p o s s ib le  s p r ea d s ,   tr y   t o   g et  th e  b est p er f o r m i n g   s p r ea d   th at  is   =  0 . 8 .           T ab le  2 .   P air s   o f   SS E   an d   MS E   I n t r ain i n g   a n d   T esti n g d ata f o r   Mc g lass d ata  w it h   Sp r ea d   =  0 . 8   Ex p e r i me n t   S S E  T r a i n i n g   M S E  T r a i n i n g   S S E  T e st i n g   M S E  T e st i n g   1   0 , 8 9 6 00   0 , 0 0 2 6 2 8   0 , 3 5 2 00   0 , 0 0 2 4 9 6   2   0 , 4 6 0 0 0   0 , 0 0 1 3 4 9   0 , 1 5 9 00   0 , 0 0 1 1 2 8   3   0 , 0 9 8 00   0 , 0 0 0 2 8 7   0 , 0 6 9 00   0 , 0 0 0 4 8 9   4   0 , 0 4 3 00   0 , 0 0 0 1 2 6   0 , 0 5 2 00   0 , 0 0 0 3 6 9   5   0 , 0 1 0 0 0   2 , 9 3 E - 05   0 , 0 2 7 00   0 , 0 0 0 1 9 1   6   0 , 0 0 5 00   1 , 4 7 E - 05   0 , 0 2 7 00   0 , 0 0 0 1 9 1   7   0 , 0 0 1 00   2 , 9 3 E - 06   0 , 0 1 3 00   9 , 2 2 E - 05   8   0 , 0 0 0 5 0   1 , 4 7 E - 06   0 , 0 1 2 00   8 , 5 1 E - 05   9   0 , 0 0 0 1 0   2 , 9 3 E - 07   0 , 0 1 4 00   9 , 9 3 E - 05   10   0 , 0 0 0 0 5   1 , 4 7 E - 07   0 , 0 1 5 00   0 , 0 0 0 1 0 6       T ab le   2   ex p r ess es  th e  p air s   o f   SS E   tr ain in g   an d   SS E   te s ti n g   at  s p r ea d   =  0 . 8 .   T h e  v alu e  o f   MSE   tr ain i n g   o r   MSE   test in g   is   d er iv ed   f r o m   d iv id i n g   S SE  v al u e s   ag ain s t  th e  n u m b er   o f   tr ain i n g   i n p u t s   o r   test in g .   I n   th is   ca s e,   MSE   tr ai n i n g   =  SS E   tr ain in g   d i v id ed   b y   3 4 1 ,   w h ile  M SE  tes tin g   =  SS E   te s t in g   d iv id ed   b y   1 4 1 .   B ased   o n   T ab le  2 ,   th e  lo w es t  MSE   test i n g   o cc u r r ed   in   t h e  8 t h   e x p er i m e n t  h av i n g   S SE  tr ai n in g   =   0 . 0 0 0 5 .   Nex t   SS E   v al u e  =  0 . 0 0 0 5   an d   s p r ea d   =  0 . 8   is   u s ed   as in p u t p ar a m eter   o n   W R B F9   an d   W R B F1 7   s y s te m s .     5 . 2 .   O utput   o f   WRB F NN   a nd   WF F NN  m o de ls   o n  a ll f o ur  t y pes   o f   da t a s et s   On ce   n et w o r k   p ar a m eter s ,   in p u t  tr ai n in g ,   a n d   i n p u t  te s ti n g   ar e  av ai lab le,   th e n   th e   lear n i n g   p r o ce s s   o n   n e u r al  n et w o r k s   ca n   b e  r u n .   S u p p o s e  th e  tr ain in g   p r o ce s s   o n   t h e  m o d el  W R B F9 ,   th e  tr ain i n g   p r o ce s s   o n   th is   n et w o r k   i s   o n   ea c h   ep o ch   f o r m ed   a  n e u r o n .   Neu r o n s   t h at   h av e  t h e  s m alle s t to tal  er r o r s   w il l b e  ac ce p ted   as  n e w   n eu r o n s ,   t h en   n et w o r k   er r o r s   ar e  r e - ch ec k ed .   T h e  iter a tio n   w ill   b e  s to p p ed   w h en   th e   er r o r   h as  r ea ch ed   th e  s p ec i f ied   t h r es h o ld   v al u e,   b u t  i f   t h e  er r o r   is   s til l  f ar   f r o m   t h e  p r o v is io n s ,   t h e n   t h e  n ex t  n eu r o n   w ill   b e  ad d ed   u n til th e  n u m b er   o f   n e u r o n s   is   eq u al  to   t h e  a m o u n t o f   tr ain i n g   i n p u t d ata.   B ased   o n   th e  o p ti m ized   W R B F9   m o d el,   th er e  ar e  1 6 6   h id d en   n o d es.  T h is   m ea n s   th at   in   th e  h id d en   la y er   t h er e  ar e  1 6 6   in p u t   d ata   in to   t h e  ce n ter   o f   t h e  cl u s ter   o f   Gau s s ia n   d is tr ib u tio n   an d   e ac h   cl u s ter   h as  t h e   s a m e  r an g e  o f   s p r ea d s   =  0 . 8 .   T h e  tr ain in g   to   o b tain   th e  o p tim a l  w e ig h t  is   d o n e  o n   t h e  m o d el  W R B F9 ,   W FF NN9 ,   an d   W FF NN1 7 .   Ou tp u t  te s ti n g   is   o b tain ed   b y   s i m u lati n g   t h e  i n p u t   te s ti n g   d ata  t h at  h as   b ee n   s elec ted   f r o m   t h e  tr an s f o r m a t io n   o f   MO DW T   to   th e  o p ti m al  n e t w o r k   f o r m ed   b y   t h e  t r ain in g   p r o ce s s   th at   o cc u r s   o n   ea ch   d ata s et.   T h e  s y s te m   a u to m atica ll y   ca lc u late s   t h e  M A P E   an d   SS E   v al u es   u s ed   to   a s s e s s   m o d el   p er f o r m a n ce .       Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 2 7   –   2 3 3 7   2334     ( a )   W R B F9     ( b )   W R B F1 7       ( c )   W R B F9       ( d )   W R B F9     Fig u r e  7 .   P lo t ta r g et  v er s u s   o u tp u t o f   t h e  s y s te m   b ases   o n     W R B F   m o d el   ( p r o p o s ed   m eth o d )           ( a )   W FF NN9       ( b )   W FF NN9       ( c )   W FF NN1 7     ( d )   W FF NN1 7     Fig u r e  8 .   P lo t ta r g et  v er s u s   o u tp u t o f   s y s te m   b ase s   o n   W FN N  m o d el       Af ter   all  o p ti m al  m o d els  h av e   b ee n   o b tain ed   b o th   f o r   b o th   i n p u t  t y p es  ( i n p u t9   a n d   in p u t1 7 )   an d   o n   all  f o u r   d ataset s .   T o   k n o w   t h e   g o o d n ess   o f   ea c h   m o d el  i n   p r ed ictin g   t h e  d ata  test i n g   m ad e  a  g r ap h   b et w ee n   th e  ac t u al  v a lu e  v er s u s   p r ed icted   r esu lts .   B etter   m o d els  b et w ee n   t h e  t w o   in p u t  t y p e s   ar e  ex p o s ed   in   Fi g u r e  7   f o r   th e  W R B F  m o d el  an d   Fig u r e  8   f o r   th e  W FF NN  m o d el.   I n   b o th   Fig u r es,  it  ca n   b e  s ee n   th at  b o th   W R B F   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     S ystem  fo r   P r ed ictio n   o f No n   S ta tio n a r y  Time  S eries   b a s ed   o n   th e  W a ve let  R a d ia l  …   ( Hen i Ku s d a r w a ti )   2335   an d   W FF NN  m o d els  ca n   p r ed ict  al m o s t  p er f ec t  test in g   d ata  ie  Fig u r e  7( a )   an d   Fig u r e  8( a ) .   C h ar ac ter is tic s   o f   th e  d ata  in   Fi g u r e  7 ( a )   ( Mc Glass   d ata)   ar e  s tatio n ar y   d ata  i n   m ea n   a n d   v ar ia n ce .       B ased   o n   Fig u r e  7   it  ca n   b e  s ee n   th at  t h e  in p u t9   d ata  ty p e  is   b etter   th an   th e  i n p u t1 7   d ata  t y p e  w h ic h   in   t h e  in p u t1 7   d ata  p r o d u ce s   a  b etter   m o d el  o n l y   o n   t h e  m o n t h l y   a v er ag e  elec tr icit y   u s a g e  d ata.   A s   i n   F ig u r e  8  ex p o s ed   th at   th e  m o r e  co m p l icate d   th e  d ata  p atter n   th at  is   n o t  s tatio n ar y   d ata  o n   t h e  m ea n   a n d   v ar ian c e   ( tr af f ic   f a talitie s   a n d   C a n ad ia n   L y n x   d ata) ,   t h e  W F FNN1 7   m o d el  i s   a   b etter   th a n   W F F NN9   m o d el.   B u t   f o r   s tatio n ar y   d ata  in   m ea n   a n d   v ar ian ce   o r   d ata  th a t  is   j u s t  n o n s tatio n ar y   v ar ia n ce ,   t h e  W FF NN9   m o d el  is   a   b etter   m o d el .       5 . 3 .   P er f o r m a nc e  c o m pa riso n o f   WRB F   a nd   WF F NN  m et ho d s   o n  f o ur  t y pes   o f   d a t a s et s   I n   th i s   s ec tio n   w ill  b e  d is cu s s ed   th e  p er f o r m a n ce   o f   all  s y s te m s   b u ilt  n a m el y   W R B F9 ,   W R B F1 7 ,   W FF NN9   an d   W FF NN1 7   ag a in s t   all  d ata  s e ts   u s ed .   So m e  i m p o r ta n t  i n d icato r s   u s ed   as  a  b asis   f o r   co m p a r in g   it  ar e  MSE   test i n g ,   M A P E   test in g ,   E p o ch   co u n t,  a n d   len g th   o f   t h e  tr ai n in g   p r o ce s s .   MSE   is   a  s tan d ar d   m ea s u r e  o f   t h e  ac c u r ac y   o f   a   f o r ec asti n g   m e th o d ,   w h ile  th e   n u m b er   o f   t h e  ep o ch   is   p r o p o r tio n al  to   t h e  ti m e   r eq u ir ed   d u r in g   th e  lear n i n g   p r o ce s s .   T h u s   t h e  n u m b er   o f   a n   ep o ch   ca n   b e  ex p r es s ed   as  t h e  ef f ec ti v en e s s   o f   a  f o r ec asti n g   m et h o d .   T ab le  3   s tates  th e  M A P E   test i n g   a n d   th e  M SE  test i n g   v al u e   o f   ea ch   m o d el  i n   all  f o u r   t y p es  o f   d ata   s ets .       T ab le  3 .   MA P E   T esti n g   a n d   MSE   T esti n g   V al u es  o f  F o u r   M o d els   M O D E L   M A P E   M S E   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   W R B F 9   0 . 6 7 1   2 . 3 6 6   3 6 0 . 8 8 2   7 . 4 2 7   0 . 0 0 0 0 0 8 4   0 . 0 3 2 5 0 3   0 . 0 4 2 9 1 1   0 . 4 6 8 9 7 0   W R B F 1 7   0 . 8 2 6   1 . 8 6 3   2 0 8 . 0 3 4   1 5 . 4 2 4   0 . 0 0 0 1 0 6 8   0 . 0 2 3 8 7 3   0 . 0 4 6 8 5 9   1 . 2 6 3 8 0 0   W F F N N 9   0 . 8 5 5   2 . 9 3 6   8 6 9 . 8 7 5   6 . 1 4 7   0 . 0 0 0 0 7 8 7   0 . 0 5 5 1 4 6   0 . 0 6 8 7 2 7   0 . 2 4 9 2 2 0   W F F N N 1 7   1 . 2 7 5   3 . 5 9 6   7 7 0 . 9 5 8   1 2 . 5 1 2   0 . 0 0 0 2 9 9 3   0 . 0 6 6 9 3 7   0 . 0 3 2 2 2 0   0 . 9 5 6 3 7 0       B ased   o n   T ab le  3,   it  is   ex p o s ed   th at  f o r   Mc Gla s s   d ata  t h e  W R B F9   m et h o d   p er f o r m s   b e s t,  an d   th e   W R B F  m e th o d   i s   g en er all y   s u p er io r   to   W FF NN.   T h e  s e lec tio n   o f   i n p u t   n u m b er s   al s o   g r ea tl y   in f l u en ce s   t h e   p er f o r m a n ce   o f   a   m e th o d ,   t h e  in p u t   9 ,   i n   t h i s   ca s e,   p er f o r m s   b etter .   T h u s   f o r   s tatio n e r   d ata,   th e  W R B F   m et h o d   p er f o r m s   b etter ,   b u t   b asicall y ,   b o th   W R B F  a n d   W FF NN  m et h o d s   ca n   b e  u s e d   to   p r ed ict  s tatio n er   d ata  w it h   h i g h   ac cu r ac y .   I n   E lectr icit y   d ata,   th e   d ata  h a v e  n o t  co n s ta n t  v ar ian ce .   T h e  W R B F1 7   m et h o d   p er f o r m s   b est  a n d   i n   g en er al   W R B F  m et h o d   is   s u p er io r   to   W FF NN  m eth o d .   I n   t h e  ca s e   o f   th i s   t y p e  o f   d ata,   i n p u t  f o r m a t1 7   h as   b etter   p er f o r m an ce ,   alt h o u g h   ex p o s ed   to   d if f er en ce s   t h at  ar e  n o t  to o   lar g e.   T h is   co n d itio n   d u e  to   th e  lack   o f   a  lo t  o f   o b s er v atio n   th at  is   1 7   o b s er v atio n s   o n   in p u t9 ,   an d   o n l y   9   o b s er v atio n s   o n   in p u t1 7 ,   w h ic h   q u an t itati v el y   in p u t1 7   h as  t h e  a m o u n t  o f   te s tin g   d ata  ab o u t  5 0 %  o f   in p u t9 .   R esea r ch er s   b eliev e  th e  d if f er e n ce   in   MSE   test i n g   w i ll b e  m o r e  ev id en t i f   th e  p r o p o r tio n   o f   d ata  test in g   f o r   b o th   in p u t f o r m a ts   is   al m o s t b alan ce d .   I n   T r af f ic   f a talitie s   d ata  t h at   is   n o t  s tatio n ar y   w h ich   v ar ian ce   n o t  co n s ta n t  a n d   co n t ain s   tr en d   ele m e n ts ,   W FF NN1 7   m et h o d   h as  t h e  b est  p er f o r m an ce   w h e r e  th er e  is   a  b i g   d if f er en ce   o f   MSE   test i n g   v a lu e   b et w ee n   W FF NN1 7   an d   W FF NN9   b u t  M SE  test i n g   o n   W R B F9   an d   W R B F1 7   is   th e  r elati v el y   s m all   d if f er e n ce .   T h ese  r esu l ts   i n d ic ate  th at  i n   t h is   t y p e  o f   d ata  lar g e  n u m b er s   o f   i n p u t  w i ll  co n t r ib u te  s i g n i f ica n tl y   to   th e  i m p r o v ed   p er f o r m a n ce   o f   th e  W FF N N  m et h o d ,   b u t it  is   n o t  f o r   th e  W R B F  m et h o d .   I n   C a n ad ia n   L y n x   d ata   t h at  i s   n o n - s tat io n ar y   an d   co n tai n s   a  n o n - li n ea r   tr en d ,   W F FNN 9   m et h o d   p er f o r m s   b est.  Ho w e v er ,   th i s   co n d itio n   i s   n o t  n e ce s s ar il y   ap p licab le  w h e n   t h e  p r o p o r t io n   o f   d ata  te s ti n g   b et w ee n   i n p u t   9   an d   i n p u t   1 7   is   al m o s t  b alan ce d .   T h e  o b v io u s   th i n g   is   th at   th e  W F FNN  m e th o d   is   s u p er io r   to   W R B F .   T ab le  4   s h o w s   t h e  n u m b er   o f   ep o ch s   an d   t h e  le n g t h   o f   ti m e   in   t h e  tr ai n in g   p r o ce s s   o f   e ac h   m eth o d   o n   f o u r   t y p e s   o f   d ata  s et s .       T ab le  4 .  Nu m b er   o f  E p o ch   a n d   L en g t h   o f   T i m e  ( S ec o n d s )  i n  t h e  T r ain in g   P r o ce s s   M O D EL   N u mb e r s o f   E p o c h   L e n g t h   o f   T r a i n i n g   T i me   ( se c o n d s)   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   M c G l a ss   El e c t r i c i t y   T r a f f i c   L y n x   W R B F 9   1 6 6   4 1   25   33   7 . 3 1   1 . 1 1   1 . 0 3   0 . 9 5   W R B F 1 7   1 5 5   31   27   44   7 . 0 6   0 . 6 4   0 . 7 4   0 . 8 3   W F F N N 9   9 3 1   4 2 0   2 5 1   8 0 4   1 0 8 . 3 4   5 . 5 1   3 . 8 5   1 0 . 5 2   W F F N N 1 7   1 2 3 8   1 0 0   69   1 5 2   1 0 1 . 6 0   1 . 7 1   1 . 6 2   1 . 8 5     Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 ,  A u g u s t 2 0 1 8   :   2 3 2 7   –   2 3 3 7   2336   B ased   o n   T ab le  4   o v er all  W R B F  m et h o d   h as   m u c h   s m a ll er   ep o ch   n u m b er   th a n   W F FN N  m et h o d .   T h is   m ea n s   t h at  t h e  W R B F  m eth o d   h as  a  m u ch   f aster   co m p u tatio n   p r o ce s s   t h a n   t h e  W FF NN  m et h o d .   I n   th e   W FF NN  m e th o d   th e  s elec tio n   o f   in p u t  n u m b er s   also   g r ea tl y   in f l u e n ce s   t h e  le n g t h   o f   th e   tr ain in g   p r o ce s s   i n   w h ic h   in p u t1 7   ten d s   to   h a v e  m an y   s m al ler   ep o ch s   o r   s h o r ter   tr ain in g   ti m e  d u r atio n s       6.   CO NCLU SI O N   B ased   o n   th e  r es u lt s   an d   d is c u s s io n   th at   h a v e  b ee n   d o n e  in   t h e  p r ev io u s   s ec t io n ,   it  ca n   b e  co n clu d ed   th at  W R B F  a n d   W FF NN  Me t h o d   ca n   b e  u s ed   f o r   p r ed ictio n   o f   Mc Gla s s   c h ao tic  ti m e  s e r ies  w h ic h   is   n o n - lin ea r   b u t  h as  m ea n   a n d   v ar i an ce   co n s tan t  w it h   h ig h   ac c u r ac y   ie  MSE   v al u e  les s   th a n   0 . 0 0 0 5 .   Ho w e v er ,   W R B F  m eth o d   is   s u p er io r   to   W FF NN  m et h o d .   T h e  W R B F 9   m et h o d   h as  th e  b est  p er f o r m an ce   to   p r ed ict  th is   d ata  w ith   MSE   tes tin g   =  0 . 0 0 0 0 8 4 .   W R B F  m et h o d   w il l  b e  s u p er io r   to   W FF NN   m eth o d   w h e n   ap p lied   to   s tatio n ar y   d ata  t y p e  o r   n o n - s t atio n ar y   d ata   t y p e   w it h   a  s i m p le  p atter n .   W FF N N  m et h o d   w il l  b e  s u p er io r   to   W R B F  m et h o d   w h en   ap p lied   to   n o n - s tatio n ar y   d ata  w it h   a  co m p le x   p atter n ,   eg   s tatio n ar y   d ata  i n   m ea n   a n d   n o n - co n s tan t   v ar ia n ce ,   o r   n o n - s tatio n ar y   d ata  a n d   n o n li n e ar   in   tr en d   ele m e n t.  Selectio n   o f   t h e  n u m b er   o f   in p u t   ele m en t s   i s   v er y   in f l u e n tial  o n   t h e  p er f o r m an ce   o f   t h e  m o d el,   e s p ec iall y   i n   t h e  l i ttle  d ata  tes tin g   w ill   lead   to   th e  v alu e  o f   s en s iti v e   MSE   test in g .   I n   th e  W FF N N  m eth o d ,   th e  s elec tio n   o f   in p u t  n u m b er s   s h o u ld   r ec eiv e  m o r e  ca r ef u l  atte n tio n .   I n   g en er al,   t h e  W R B F  m et h o d   h as  a  m u c h   s m aller   ep o ch   n u m b er   th a n   th e   W FF NN  m et h o d ,   s o   th e  ti m e   r eq u ir ed   f o r   th e  co m p u tat io n   p r o ce s s   is   m u c h   s h o r ter .  I n   f u tu r e  r esear ch ,   it  i s   n ec es s ar y   to   ex p er i m en t  o n   t h e  d ata  s et   w it h   a   lar g e   n u m b er   o f   o b s er v atio n s .   I n   ad d itio n ,   i t  is   also   n ec es s ar y   to   tr y   v ar io u s   tr a n s f o r m at io n s   to   s tatio n ar y   d ata  o n   v ar io u s   c h ar ac ter is tic s   o f   ti m e  s er ies d a ta  n o n s tatio n ar y .       ACK NO WL E D G E M E NT S   T h e  au th o r s   e x p r ess   t h ei r   d ee p est  g r atit u d e  an d   ap p r ec iatio n   to   th e  R ec to r   o f   U n i v er s ita s   B r a w ij a y a   Ma lan g   f o r   p r o v id in g   f i n a n cia l  s u p p o r t  f o r   p u b licatio n   i n   in t er n atio n al  j o u r n al s   an d   a w ar d s   ar e  also   p r esen ted   to   th e  Hea d   o f   Stati s tic s   L a b o r ato r y   o f   B r a w ij a y a  U n iv e r s it y   f o r   th e   f ac ilit ie s   g iv e n   in   co m p let in g   t h e   r esear ch .       RE F E R E NC E S   [1 ]   H.   T o n g ,  “ No n - li n e a r  T ime   S e rie s: A   D y n a m i c a l  S y ste m s  A p p ro a c h ” ,   Ox f o rd   Un iv e rsity   P re ss .   Ox fo rd .   1 9 9 0 .   [2 ]   P . J.   Bro c k w e ll ,   a n d   R. A .   Da v is ,  " No n sta ti o n a ry   a n d   se a so n a l  ti m e   se ries   m o d e ls " ,   In tro d u c ti o n   t o   T ime   S e rie s  a n d   Fo re c a stin g ,  S p rin g e r  In tern a ti o n a l  P u b li sh i n g ,  2 0 1 6 ,   p p .   1 5 7 - 1 9 3 .   [3 ]   N.E .   Hu a n g ,   e t   a l . ,   " T h e   e m p iri c a l  m o d e   d e c o m p o siti o n   a n d   th e   Hilb e rt  sp e c tru m   f o r  n o n li n e a r  a n d   n o n - sta ti o n a ry   ti m e   se ries   a n a l y sis " ,  Pro c e e d in g s  o f  th e   Ro y a l  S o c iety   o f  L o n d o n   A:  ma th e ma ti c a l,   p h y sic a l  a n d   e n g i n e e rin g   sc ien c e s ,   T h e   Ro y a l  S o c iet y ,  v o l.   4 5 4 ,  no .   1 9 7 1 ,   1 9 9 8 .   [4 ]   C.   V e las c o ,   " G a u ss i a n   S e m ip a ra m e tri c   Esti m a ti o n   o f   No n - sta ti o n a r y   T i m e   S e rie s" ,  J o u rn a l  o f  T im e   S e rie s A n a lys is ,  v o l.   20 ,   n o .   1 ,   1 9 9 9 ,   p p .   87 - 1 2 7 .   [5 ]   J.   F a n   a n d   Q.   Ya o ,  “ No n li n e a r  T i m e   S e ries :   n o n p a ra m e tri c   a n d   p a ra m e tri c   m e th o d s ” ,  S p rin g e r - V e rl a g ,   Ne w  Yo rk ,   2 0 0 3 .   [6 ]   S .   Ha n d o y o ,   e t  a l . ,  “ I m p le m e n tatio n   Of   P a rti c le S w a r m   Op ti m iz a ti o n   ( P so )  A lg o rit h m   F o r  Esti m a ti n g   P a ra m e ter  O f  A r m a   M o d e l  V ia  M a x i m u m   L ik e li h o o d   M e th o d ” ,  F a r  Ea st  J o u r n a l  o f  M a t h e ma ti c a l  S c ien c e s ,  vol .   1 0 2 ,   n o .   7 ,  2 0 1 7 ,   p p .   1 3 3 7 - 1 3 6 3 .   [7 ]   C. K.  P e n g ,   e t  a l . ,   " Qu a n ti f ica ti o n   o f   sc a li n g   e x p o n e n ts  a n d   c ro ss o v e r  p h e n o m e n a   in   n o n sta ti o n a r y   h e a rtb e a t  ti m e   se ries " ,   Ch a o s: A n   In ter d isc i p li n a ry   J o u rn a l   o f   No n li n e a r S c ien c e ,  v o l.   5 ,   no .   1 ,  1 9 9 5 ,   p p .   82 - 87.   [8 ]   S .   P o o ra n i ,   a n d   R.   M u r u g a n ,   " A  No n - L in e a r  Co n tro ll e r  f o r  F o re c a stin g   th e   Risin g   De m a n d   f o r  El e c tri c   V e h icle s   A p p li c a b le  to   I n d ian   Ro a d   Co n d it io n s" ,  In ter n a ti o n a l  J o u rn a l  o f  El e c trica l  a n d   Co mp u ter   E n g i n e e rin g,   v ol .  6 ,    n o .   5 ,  2 0 1 6 ,   p p .   2 2 7 4 - 2 2 8 1 .   [9 ]   A .   Bru c e   a n d   H.Y.  G a o ,   “ A p p li e d   W a v e let  A n a l y sis  w it h   S - P L US ” ,  S p ri n g e r - V e rlag ,  Ne w   Yo rk ,   US A ,  1 9 9 6 .   [1 0 ]   L .   De b n a th ,   “ W a v e let  T ra n s f o rm   a n d   T h e ir  A p p li c a ti o n ” ,   Birk h h a u se r,   Bo sto n ,   2 0 0 2 .   [1 1 ]   H.   S a b ro l,   a n d   S .   K u m a r ,   " Re c o g n it io n   o f   T o m a to   L a te  Bli g h t  b y   u sin g   DWT   a n d   Co m p o n e n t  A n a ly sis " ,  In ter n a t io n a l  J o u rn a l  o f  E lec trica l  a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   7 ,   n o .   1 ,  2 0 1 7 ,   p p .   1 9 4 - 1 9 9 .   [1 2 ]   V . A .   Ku m a r,   C.   Dh a rm a ra j,   a n d   C. S .   Ra o ,   " A   H y b rid   Dig it a l  W a ter m a rk in g   A p p ro a c h   Us in g   W a v e lets   a n d   L S B" ,   In ter n a t io n a l  J o u rn a l  o f  E lec trica l  a n d   C o mp u ter   En g in e e rin g ,   V o l .   7 ,   N o .   5 ,   2 0 1 7 ,   p p .   2 4 8 3 - 2 4 9 5 .   [1 3 ]   S.   S o lt a n i ,   " On   th e   u se   o f  th e   w a v e let  d e c o m p o siti o n   f o r  ti m e   se ri e s  p re d ictio n " ,  Ne u ro c o mp u ti n g ,   V o l .   48 ,   No .1 ,  2 0 0 2 ,   p p .     2 6 7 - 2 7 7 .   [1 4 ]   O.   Re n a u d ,   J.L .   S tark ,   a n d   F .   M u rtag h ,   “ P re d icti o n   Ba se d   o n   M u lt isc a le  De c o m p o siti o n ”,   In t.   J o u rn a l  o f  W a v e lets,  M u lt ire so lu ti o n   a n d   I n fo rm a ti o n   Pro c e ss i n g ,   v o l .   1 , n o .   2 ,  2 0 0 3 ,   p p .   2 1 7 - 2 3 2 .   [1 5 ]   L .   F a u se tt ,   “ Fo u n d a me n ta ls  o f  Ne u ra l  Ne two rk s:  Arc h it e c tu re ,   Al g o rit h m,  a n d   Ap p li c a t io n ” ,   F l o rid a   In stit u te  o f  T e c h n o lo g y ,   P re n ti c e   Ha ll   In c .   E n g lew o o d s Cli f fs,  Ne w   Je rse y ,   1 9 9 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.