IA E S   In t e r n a t i o n a l   J o u r n a l   o f   A r t i f i c i a l   In t e l l i g e n c e   ( IJ - AI )   Vo l .   8 , N o . 1 , M a r c h   201 9 , p p 6 3 ~ 7 6   IS S N :   2 2 5 2 - 8938 ,   DOI :   1 0 . 1 1 5 9 1 / i j a i . v 8 .i 1 .p p 6 3 - 7 6   r        63       Jou r n al   h om e page ht t p: / / i ae s co r e .c o m /o n lin e /in d e x .p h p /I J AI   An   i m p r o v e d   r a d i a l   b a s i s   f u n c t i o n   n e t wo r k s   i n   n e t wo r k s   we i g h t s   a d j u s t m e n t   f o r   t r a i n i n g   r e a l - wo r l d   n o n l i n e a r   d a t a s e t s       Li m   En g   A i k 1 , T a n  W e i H o n g 2 , A h m a d  K a d r i J u n o h 3   1 ,3 In s t i t u t   M a te m a tik  K e ju r u te r a a n , U n iv e r s ity   Ma l a y s i a   P e r l i s ,   0 2 6 0 0   A r a u ,   P e r l i s ,   Ma l a y s i a .   2 Sc h o o l   o f   M e c ha t r oni c   E ngi ne e r i ng,   U ni ve r s i t y   Ma l a y s i a   P e r l i s ,   0 2 6 0 0   A r a u ,   P e r l i s ,   Ma l a y s i a .       Ar t i c l e   I n f o     AB S T RACT   Ar t i c l e   h i s t o r y :   Re c e i v e d   De c   2 7,   201 8   Re v i s e d   Fe b   17,   201 9   Ac c e p t e d   F e b   2 8 ,   2 0 1 9       In   n e u ra l   n e t w o rk s ,   t h e   a c c u ra c i e s   o i t s   n e t w o rk s   a re   m a i n l y   re l y i n g   o n   t w o   im p o r ta n f a c to r s   w h ic h   a r e   th e   c e n te r s   a n d   th e   n e tw o r k s   w e ig h t.  T h e   gr a di e nt   de s c e nt   a l gor i t hm   i s   a   w i de l us e w e i ght   a dj us t m e nt   a l gor i t hm   i mo s t   o f   n e u r a l   n e t wo r k s   t r a i n i n g   a l g o r i t h m.   Ho we v e r ,   t h e   me t h o d   i s   k n o wn   fo i t s   w e a k n e s s   fo e a s i l y   t ra p   i n   l o c a l   m i n i m a .   It   s u ffe rs   fro m   a   ra n d o m   we i g h t   g e n e r a t e d   f o r   t h e   n e t wo r k s   d u r i n g   i n i t i a l   s t a g e   o f   t r a i n i n g   a t   i n p u t   la y e r   to   h id d e n   la y e r   n e tw o r k s Th e   p e r f o r m a n c e   o f   r a d i a l   b a s i s   f u n c t i o n   ne t w or ks   ( R B F N )   ha s   be e i m pr ove f r om   di f f e r e nt   pe r s pe c t i ve s ,   i nc l udi ng  cen t r o i d   i n i t i al i zat i o n   p r o b l em   t o   w ei g h t   co r r ect i o n   st ag o v er   t h y ear s.   Un f o r t u n a t e l y ,   t h e   s o l u t i o n   d o e s   n o t   p r o v i d e   a   g o o d   t r a d e - of f   be t w e en   q u al i t y   an d   ef f i ci en cy   o f   t h w ei g h t   p r o d u ces  b y   t h al g o r i t h m .   T o   so l v t h i pr obl e m ,   a i m pr ove gr a di e nt   de s c e nt   a l gor i t hm   f or   f i ndi ng  i ni t i a l   w e i ght   an d   i m p r o v t h o v er al l   n et w o r k w ei g h t   i p r o p o sed .   T h i i m p r o v ed   v er si o n   al g o r i t h m   i i n co r p o r at ed   in to   R B F N   tr a in in g   a lg o r ith m   f o r   u p d a tin g   w e ig h t.  He n c e ,   t h i s   p a p e r   p r e s e n t e d   a n   i mp r o v e d   R B F i n   t e r o f   a l g o r i t h f o r   im p r o v in g   th e   w e ig h a d ju s tm e n in   R B F N   d u r in g   tr a in in g   p r o c e s s T h e   pr opos e t r a i ni ng  a l gor i t hm ,   w hi c us e s   i m pr ove gr a di e nt   de s c e nt   al g o r i t h m   fo w e i g h t   a d j u s t m e n t   fo t ra i n i n g   R B F N ,   o b t a i n e d   s i g n i fi c a n t   i m p ro v e m e n t   in   p r e d ic tio n s   c o m p a r e d   to   th e   s ta n d a r d   R B F N T h e   p r o p o s e d   tr a in in g   al g o r i t h m   w as  i m p l em en t ed   i n   M A T L A B   en v i r o n m en t .   T h p r o p o sed   im p r o v e d   n e tw o r k   c a lle d   I R B F N   w a s   te s te d   a ga i ns t   t he   s t a nda r R B F N   i pr e di c t i ons .   T he   e xpe r i m e nt a l   m ode l s   w e r e   t e s t e on  f our   l i t e r a t ur e s   nonl i ne a r   f unc t i on  a nd  f our   r e a l - wo r l d   a p p l i c a t i o n   p r o b l e ms ,   p a r t i c u l a r l y   i n   Ai r   p o l l u t a n t   p r o b l e m,   B i o c h e mi c a l   Ox y g e n   De ma n d   ( B OD)   p r o b l e m,   Ph y t o p l a n k t o n   p r o b le m a n d   f o r e x   p a ir   E U R U S D T h e   r e s u lts   a r e   c o m p a r e d   to   I R B F N   f o r   r o o m e a n   s q u a r e   e r r o r   ( R M S E )   v a lu e s   w ith   s ta n d a r d   R B F N Th e   I R B FN   y i e l d e d   a   p r o m i s i n g   r e s u l t   w i t h   a n   a v e r a g e   i m p r o v e m e n t   pe r c e nt a ge   m or e   t ha 40  pe r c e nt   i R M S E .   Ke y wo r d s :   Gr a d i e n t   De s c e n t   Im p ro v e d   R B F N   Ne u r a l   n e t wo r k   Ra d i a l   b a s i s   f u n c t i o n   n e t w o r k   We i g h t   A d j u s t m e n t   Co p y r i g h t   ©   2 0 1 9   In s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e   Al l   r i g h t s   r e s e r v e d .   Co r r e s p o n d i n g   Au t h o r :   Li m   En g   A i k ,     In s t i t u t   M a t e m a t i k   K e j u ru t e ra a n ,   Un i v e r s i t y   Ma l a y s i a   P e r l i s ,   02600  A r a u,   P e r l i s ,   M a l a ys i a .   Em a i l :   e . a . l i m 8 0 @ g m a i l       1.   IN T R O D U C T IO N   Th e   t e r m   R a d i a l   B a s i s   F u n c t i o n   n e t w o r k s   ( R B F N )   i s   a s s o c i a t e d   w i t h   r a d i a l   b a s i s   f u n c t i o n   ( R B F )     in   s in g le - la y e r e d   n e tw o r k s   w ith   s tr u c tu r e   a s   s h o w n   in   F ig u r e   1 R a d ia B a s is   F u n c tio n   ( R B F )   N e tw o r k s   de r i ve f r om   t he   t he or of   f unc t i on  a ppr oxi m a t i on.   I t   w a s   or i gi na l l us e i e xa c t   i nt e r pol a t i on  i mu l t i d i me n s i o n a l   s p a c e   b y   M o o d y   a n d   D a r k e n   [1 ] R B F N   d is p la y e d   its   a d v a n ta g e s   o v e r   o th e r   ty p e s   o f   n e u r a ne t w or ks   w i t be t t e r   a ppr oxi m a t i on  a bi l i t i e s ,   s i m pl e   ne t w or de s i gn  a nd  f a s t e r   l e a r ni ng  a l gor i t hm s .   Evaluation Warning : The document was created with Spire.PDF for Python.
        r               IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   6 3     7 6   64   Co n s e q u e n t l y ,   RBF N   b e c o m e s   a   p o p u l a r   t o o l s   a m o n g   r e s e a r c h e r s   f o r   m a n y   a p p l i c a t i o n s   s u c h   a s   cl as s i f i cat i o n ,   p at t er n   r eco g n i t i o n   an d   ap p r o x i m at i o n   m o d el .     Nu m e r o u s   r e s e a r c h e r s   wh o m   h a v e   b e e n   wo r k i n g   t o   i m p r o v e s   R B F t r a i n i n g   a l g o r i t h m s ,   s e t   al o n g s i d t h s t a nda r t e c hni que s   [2 8] R B F N   a r e   u s e f u in   a p p r o x im a tio n   p r o b le m s b u it  is   tim e - co n s u m i n g   t o   t r ai n   t h n et w o r k s   as   i t   co n n ect   t o   l ar g n u m b er s   o f   t r ai n i n g   d at a,   n o n et h el es s   g en er at h i g h   er r o r   d u t o   p o s s i b l i n v al i d   da t a   or   de s i gna t i on  of   w e i ght s   i hi dde l a ye r .   A l t hough  a   s t a nda r R B F N   ha s   be e pr ove by  S a r i m ve i s   [2 ]   to   b e   f a s te r   in   tr a in in g   w ith   r e a s o n a b le   a c c u r a c y it  s till  p r o d u c e s   s u b s ta n tia er r o r .   S u ch   o u t co m es   w er cau s ed   b y   t h s t an d ar R B F N   t ha t   l a c t he   a bi l i t t c om put e s   a c c ur a t e   w e i ght s   fo h i d d e n   l a y e t h a t   a b l e   t o   re p re s e n t   t h e   l e v e l   o i m p o rt a n c e   fo e a c h   h i d d e n   n o d e s .   T h ro u g h   i m p ro v i n g   t h e   we i g h t s   c a l c u l a t i o n   e q u a t i o n   i n   s t a n d a r d   R B F d u r i n g   u p d a t i n g   s t a g e ,   we   c a n   f i x   t h e   p r o b l em   s t at ed   ab o v e.     No t e d   t h a t   t h e   m o r e   a c c u r a t e   t h e   we i g h t s   a r e   a s s i g n s   t o   e a c h   n o d e ,   m o r e   a c c u r a t e   t h e   i n f o r m a t i o n   th a f e e d s   to   th e   o u tp u la y e r   o f   n e tw o r k r e s u ltin g   in   a c c u r a te   r e s u lts I n   th is   p a p e r a n   im p r o v e d   R B F N   th a out pe r f or m s   t he   s t a nda r R B F N   in   te r m   o f   a c c u r a c ie s   is   p r e s e n te d T h e   p r o p o s e d   n e tw o r k s   e f f ic ie n c y   is   de m ons t r a t e t hr ough  t he   a ppl i c a t i on  of   e i ght   e xpe r i m e nt a l   m ode l s ,   w i t f our   nonl i ne a r   m ode l   f r om   lite r a tu r e s th r e e   r e a l - wo r l d   p r o b l e m s   d a t a   o b t a i n e d   f r o m   L i m   [9 ]   an d   o n r eal - wo r l d   t i m e - se r i e d a t a   f r o m   XM   m e t a t r a d e r   4   tr a d in g   p la tf o r m   [1 0 ] T h e   a d v a n ta g e s   o f   th e   p r e s e n te d   p r o p o s ed   n et w o r k s   ar i d en t i f i ed   an d   t h r es u l t s   ar co m p ar ed   w i t h   s t an d ar d   R B F N   an d   d i s cu s s ed .           Fi g u r e   1 .   Th e   a r c h i t e c t u r e   o f   R B F N       2.   RE L AT E W O RK S   Ra d i a l   b a s i s   f u n c t i o n   n e t w o r k s   ( RBF N )   a r e   w e l l - know f or   i t s   a bi l i t t ge ne r a l i z e   a nd  a ppr oxi m a t e   s am p l d at w i t h o u t   t h r eq u i r em en t   f o r   t h eq u at i o n   an d   co ef f i ci en t s ,   p ar t i cu l ar l y   w h en   an   u n k n o w n   m o d el   de s c r i bi ng  a unknow c om pl e r e l a t i on  w i t a bund an t   t r ai n i n g   d at a.   D u t o   t h ei r   ab i l i t y   t o   g en er al i ze  su b st a n t i a l l y ,   R B F N   a r e   u su a l l y   se l e c t e d   f o r   t h i p u r p o se   [1 1 - 23] F u r th e r m o r e in   th is   b ig   d a ta   e r a m a n y   dom a i ns   s uc a s   i m a ge   pr oc e s s i ng,   t e xt   c a t e gor i z a t i on,   bi om e t r i c m ic r o a r r a y e tc h a d   th e   s iz e   o f   d a ta s e ts   s o   la r g e , th a t r e a l - tim e  s y s te m  r e q u ir e s  lo n g  tim e  a n d  m e m o r y  s to r a g e  to  p r o c e s s  th e m .   Un d e r   t h e   s a m e   g r o u p ,   t h e   b a c k p r o p a g a t i o n   n e u r a l   n e t wo r k s   a l s o   c a n   g e n e r a l i z e   a n d   a p p r o x i m a t e   co m p l ex   d at as et .   H o w ev er ,   d u t t he   a r c hi t e c t ur e   of   ba c kpr opa ga t i on  ne ur a l   ne t w or ks   t ha t   w or ks   i f or w a r an d   b ack w ar d   d i r ect i o n ,   d el ay s   i n   t r ai n i n g   t i m i s   u n av o i d ab l e.   F u r t h er m o r e,   i n   t er m   o f   ap p r o x i m at i o n ,   mu l t i p l e   l i t e r a t u r e s   s h o w e d   t h a t   t h e   R B F N   i s   mo r e   s u p e r i o r   t h a n   b a c k p r o p a g a t i on  ne ur a l   ne t w or ks ,   i t e r m   of   tr a in in g   s p e e d   a n d   a c c u r a c y   [2 4 - 28] Tw o   m a i n   c r i t e r i a   t h a t   d e t e r m i n e   t h e   a c c u r a c y   o f   a n   R B F N   a r e   t h e   in itia c e n tr e   a n d   th e   n e tw o r k s   w e ig h ts I n   th is   p a p e r w e   f o c u s   m a in ly   o n   n e tw o r k s   w e ig h a d ju s tm e n t.  Th r o u g h o u t   m a n y   l i t e r a t u r e s ,   w e   f o u n d   t h a t   w e i g h t   a d j us t m e nt   i R B F N   pl a vi t a l   r ol e   i de t e r m i ne     x 1   x 2   x 3   x N   .   .   .   .   .   .   In p u t l a y e r   Hi d d e n   L a y e r   o f   RB F   Ou t p u t   L a y e r   ψ ψ ψ ψ w N   .   .   .   w 2   w 3   w 1   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   r a d i a l   b a s i s   f u n c t i o n   n e t w o r k in  n e tw o r k s  w e ig h ts  a d ju s tm e n t fo r …  ( Li m   E n g   A i k )   65   its   a c c u r a c y   in   a p p r o x im a tio n   p r o b le m W a n g   e a l.  [2 9 ]   st u d y   t h e   e f f e c t i v e n e ss  o f   e x t r e m e   l e a r n i n g   m a c h i n e   by  a dj us t i ng  i t s   ne t w or ks   w e i ght s ,   i t   i s   f ound  t ha t   ne t w or ks   w e i ght   s i gni f i c a nt ly   in f lic ts   in   o u tp u a c c u r a c y .   y e a r   a f t e r   W a n g s   t e a m   f i n d i ng,   H a di   e t   a l .   [3 0 ]   pr oof   t he   w e a r obus t ne s s   i m ul t i la y e r   p e r c e p tr o n   a n d   RBF N   i n   e s t i m a t i n g   l a r g e   d a t a s e t   w a s   d u e   t o   t h e   l a c k   i n   w e i g h t   c o r r e c t i o n   a l g o r i t h m   i n   b o t h   t h e   n e t w o r k s .   Th e   w o r k   r e l a t e d   t o   w e i g h t   c o r r e c t i o n   i s   t h e n   s u p p o r t e d   b y   G o d o y   e t   a l .   [3 1 ]   an d   S o d h i   et   al .   [3 2 ]   th a p r o o f   wh e n   a   b e t t e r   we i g h t   i s   as s i g n ed   t o   t h n et w o r k s ,   t h o u t p u t   y i el d   s i g n i f i can t l y   b et t er   i n   accu r acy .   R ecen t l y ,   Ca o   e t   a l .   [3 3 ]   in   th e ir   r e v ie w   w o r k s ta te d   th a r a n d o m   w e ig h a p p r o a c h e s   in   R B F N   c a u s e s   th e   r e d u c e     th e  n e tw o r k  a c c u r a c y  in  m o s t a p p r o x im a tio n  c a s e  s tu d ie s   In   fi n d i n g   s o l u t io n   to   o b ta in e d   b e tte r   w e ig h ts   a d ju s tm e n a n d   g a in in g   a c c u r a te   a p p r o x im a tio n Na v a r r o   e t   a l .   [3 4 , 35]   de m ons t r a t e t ha t   t he   hybr i of   e vol ut i ona r a l gor i t hm   s uc a s   pa r t i c l e   s w a r m   opt i m i z a t i on  ( P S O )   w i t R B F N   s how s   a   good  pe r f or m a nc e   i c l a s s i f i c a t i on  pr obl e m s   a nd  a ppr oxi m a tio n   pr obl e m s .   T hi s   w or i s   e xt e nde by  L e ung  e t   a l .   [3 6 ,   37]   by  i nt r oduc i ng  a   nove l   P S O   m e t hod  or   a dj us t i ng  t he   RBF N   n e t w o r k s   w e i g h t .     M o r e o v e r ,   t h e   f o l l o w i n g   y e a r s ,   e v o l u t i o n a r y   a l g or i t hm   t ur popul a r   a nd  be c om i ng  th e   f o c u s   to o ls   f o r   w e ig h a d ju s tm e n in   R B F N w h e r e   th e   c o m b in a tio n   o f   m u ltip le   e v o lu tio n a r y   a lg o r ith m   su c h   a g e n e t i c   a l g o r i t h m   a n d   P S O   w i t h   R B F N   [3 8 ,   39] S o m e   r e s e a r c h e r   u s e s   a   m o d if ie d   v e r s io n   o f   g e n e tic   al g o r i t h m   as   n et w o r k s   w ei g h t s   co n t r o l l er   f o r   g ai n i n g   b et t er   r es u l t s   [4 0 - 42]   an d   m o s t   r ecen t   o n   u s i n g   m o d i f i ed   PSO   i n   R B FN   f o r   w e i g h t   a d j u s t m e n t   b y   M i r j a l i l i   [1 1 ] T h e   u s e d   o f   e v o lu tio n a r y   a lg o r ith m   a s   a   to o f o r   ne t w or w e i ght s   a dj us t m e nt   i R B F N   t r a i ni ng  w a s   i nde e a   good  m e t hod  i f   t he   ne t w or ks   t r a i ni ng  s pe e a nd  co m p u t at i o n   co s t   ar n o t   m ai n   co n c er n s .       Al o n g s i d e   wi t h   u s e d   o f   e v o l u t i o n a r y   a l g o r i t h m ,   t h e r e   a r e   a l s o   s o m e   r e s e a r c h   o n   u s i n g   f u z z y   in f e r e n c e   r u le   a s   w e ig h s e ttin g   f o r   R B F N   w h ic h   y ie ld   g o o d   r e s u lts   [4 3 ,   44] H o w e v e r th e   a p p lic a tio n   o f   fu z z y   i n fe re n c e   i n   R BF N   w a s   o n l y   t e s t e d   i n   c l a s s i f i c a t i o n   p r o b l e m ,   a n d   t h e   s e t t i n g   o f   t h e   f u z z y   r u l e   i s   a   ch al l en g i n g   t as k   f o r   r eg u l ar   r es ear ch er s   t h at   d o   n o t   h av f u zzy   t h eo r y   b ack g r o u n d .     I n   co n t r ar y ,   t h u s ed   o f   st a t i st i c a l   m e t h o d   i n   o b t a i n i n g   su i t a b l e   w e i g h t   f o r   R B F N   w e r e   re p o rt e d   i n   n u m e ro u s   l i t e ra t u re s   [4 5 - 48] th a us e s   s t oc ha s t i c   m e t hod,   G r ove r   s e a r c hi ng  a l gor i t hm ,   Hi e r a r c h y   M a r k o v i a n   m a t r i x   a n d   a t t r i b u t e d   c l a s s   co r r el at i o n   m et h o d   f o r   t h at   p u r p o s es .     F u r t h er m o r e,   i t   i s   al s o   r ep o r t ed   t h at   t h l ear n i n g   al g o r i t h m   f o r   n et w o r k s   tr a in in g   m a y   p e r f o r m   w o r s e   w ith   th e   in c r e a s e s   o f   d a ta s e [4 9 ] In c o rp o ra t i n g   s t a t i s t i c a l   m e t h o d   i n t o   R B F N   i s   co m p l i cat ed   t as k ,   r eq u i r es   d eep   unde r s t a ndi ng  i f l ow   of   a l gor i t hm   a nd  s t a t i s t i c a l   t he or t i m pl e m e nt   s uc ap p r o ach es .   F u r t h er m o r e,   t h r ep o r t ed   i m p r o v em en t   o n   r es u l t s   i n   m en t i o n ed   l i t er at u r es   ar n o t   s i g n i f i can t   en o u g h   f o r   t h co m p l i cat ed   i m p l em en t at i o n   p r o ces s   i n v o l v ed .   M o r eo v er ,   t h er ar o t h er s   s t u d i es   u s i n g   ex t r em l ear n i n g   m ach i n as   t o o l   f o r   w ei g h t   ad j u s t m en t   s h o w n   b y   T an g   an d   H u an g   [5 0 ]   an d ,   Da s h     an d   D as h   [5 1 ] B o th   s tu d ie s   u s e d   e x tr e m e   le a r n in g   m a c h in e   f o r   c o n tr o llin g   th e   n e tw o r k s   w e ig h ts   d u r in g   tr a in in g   p r o c e s s T h e r e   a r e   n u m e r o u s   o th e r s   le s s   k n o w n   m e th o d   u s e d   f o r   R B F N   w e ig h a d ju s tm e n a r e   pr oj e c t i on  ba s e l e a r ni ng  m e t hod  [5 2 ] lin e a r   in te r v a r e g r e s s io n   w e ig h ts   m e th o d   [5 3 ] s e lf - or ga ni z e R B F N   ba s e on  m ut ua l   i nf or m a t i on  a nd  ne ur ons   a c t i vi t [5 4 ] n o v e tw o - st e p a l g o r i t h m [5 5 ] s e lf - co n s t r u ct i n g   le a s t - Wi l c o x o n   m e t h o d   [5 6 ] , a n d   se m i - an al y t i co m p u t at i o n   o f   La u r e n t   s e r i e s   [5 7 ] .   Fi n a l l y ,   r e s e a r c h e r   a l s o   i n c o r p o r a t i n g   p a r t   o f   b a c k p r o p a g a t i o n   n e u r a n e tw o r k s   a lg o r ith m   th a in v o lv e d   th e   w e ig h u p d a tin g   s ta g e   in to   R B F N   to   e n h a n c e   th e   p e r f o r m a n c e   o f   w e ig h c o r r e c tio n   a b ility   in   th e   al g o r i t h m .   I n   2 0 1 1 ,   P h i l i p   et   al .   [5 8 ]   us e f e e d   fo rw a rd   n e u ra l   n e t w o rk   t o   c o rre c t   t h e   w e i g h t   fo ba c kpr opa ga t i on  ne ur a l   ne t w or ks   dur i ng  l e a r ni ng  s t ag e.   I n   t h s am y ear ,   M al v i y et   al .   [5 9 ]   us e ba c kpr opa ga t i on  ne ur a l   ne t w or a nd  P S O   a s   w e i ght   t uni ng  t ool   f or   R B F N .   S i nc e   t he n,   m a ny  r e s e a r c f oc us e s   on  gr a di e nt   de s c e nt   ( G D )   a l gor i t hm   w e r e   pr oc e e ds   w i t good  r e s ul t s ,   a s   G D   a l gor i t hm   w a s   t he   w e i ght   upda t i ng  a l gor i t hm   i ba c kpr opa ga t i on  ne ur a l   ne t w or ks .     In   2 0 1 2 ,   M o h s e n i   e t   a l .   [6 0 ]   in tr o d u c e d   a   m ix e d   tr a in in g   a lg o r ith m   u s in g   b a c k p r o p a g a tio n   n e u r a ne t w or ks   a nd  va r i a bl e   s t r uc t ur e   s ys t e m   t opt i m i z e   w e i ght   upda t i ng  i R B F N .   A s s a f   e t   a l .   [6 1 ]   th e n   p r o p o s e d   n ew   t r ai n i n g   m o d u s i n g   u n s u p er v i s ed   cl as s i f i cat i o n   al g o r i t h m   w h er t h co n n ect i o n s   o f   w ei g h t s   ar le a r n e d   u s in g   G D   a lg o r ith m T h e n   X ie   e a l.  [6 2 ]   fu rt h e e x t e n d e d   t h e   u s e s   o G D   a l g o ri t h m   t o   s e c o n d   o rd e GD  a l g o r i t h m   i n   t r a i n i n g   R B F wh e r e   t h e   we i g h t   i s   a d j u s t e d   d u r i n g   t r a i n i n g .   T h o u g h   t h e   GD  a l g o r i t h m   i s   a   gr e a t   a ppr oa c he s   f or   f i ndi ng  w e i gh t,  h o w e v e r th e   G D   a lg o r ith m   a ls o   h a s   w e a k n e s s   s u c h   a s   e a s ily   tr a p   in   lo c a l m in im a   [6 3 ,   64]   To   o v e r c o m e   t h e   w e a k n e s s   o f   G D   a l g o r i t h m ,   a   f e w   s t u d i e s   w e r e   d o n e .   G a n a p a t h y   e t   a l .   [6 5 ]   de m ons t r a t e t he   e f f i c i e nc of   a i m pr ove s t e e pe s t   de s c e nt   a l gor i t hm   f or   de t e r m i ni ng  w e i ght   of   hi dde la y e r   to   o u tp u la y e r   n e tw o r k C h a n g   e a l.  [2 1 ]   pr opos e t he   us e of   e r r or   f e e dba c s c he m e   i R B F N   f or   we i g h t   c o r r e c t i o n   wh i c h   c a n   a v o i d   t h e   l o c a l   m i n i m a   p r o b l e m .   R e c e n t l y ,   M o h a m m a d i   e t   a l .   [1 6 ]   ap p l i ed   ps e udo - in v e r s e   a lg o r ith m   f o r   c a lc u la tin g   w e ig h u p d a ti ng  m a t r i e ve w i t l a r ge   da t a s e t   t ha t   c a f i th e   lo c a mi n i ma   p r o b l e m.   In   t h e   m e n t i o n e d   l i t e ra t u re s ,   c l e a rl y   m o s t   a p p ro a c h e s   i n v o l v e d   c o m p l i c a t e d   p ro c e s s     to   p e r f o r m   th e   c o m p u ta tio n   a n d   s o m e   a p p r o a c h e s   y ie ld   n o s ig n if ic a n im p r o v e m e n in   a c c u r a c ie s Fu r t h e r m o r e ,   m a n y   a p p r o a c h e s   f o c u s   o n   a p p l y i n g   s e p a r a t e   p a r t   o f   m e t h o d s   o r   a l g o r i t h m   f o r   w e i g h t   ad j u s t m en t   i n s t ead   o f   f o cu s i n g   o n   i m p r o v i n g   R B F N   i n t er n al   al g o r i th m I n   th is   p a p e r w e   f o c u s   o n   im p r o v in g   Evaluation Warning : The document was created with Spire.PDF for Python.
        r               IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   6 3     7 6   66   th e   in te r n a a lg o r ith m   f o r   w e ig h c o r r e c tio n   s ta g e   a n d   r e d u c e   c o m p lic a te d   a lg o r ith m   w h ic h   in   tu r n   m a k in g   RBF N   a l g o r i t h m   p r e c e d e   f a s t e r   c o m p u t a t i o n     w i t h   l o w   c o m p u t a t i o n   c o s t .   T h i s   p a p e r   i s   o r g a n i z e d   w i t h   t h e   fo l l o w in g   s e c tio n   d e s c r ib in g   th e   s ta n d a r d   R B F N f o llo w s   b y   s te p s   in   im p r o v in g   th e   s ta n d a r d   R B F N   a n d   u s e d   fo s i m u l a t i n g   a n d   p re d i c t i n g   t h e   e i g h t   e x p e ri m e n t a l   m o d e l s .   T h e n ,   i n   s e c t i o n   4   d i s c u s s e d   t h e   re s u l t s   o e a c h   mo d e l s   a n d   c o mp a r e d   w i t h   s t a n d a r d   R B F N   f o r   a c c u ra c i e s .   F i n a l l y ,   s e c t i o n   5   c o n c l u d e s   t h e   fi n d i n g s   a n d   di s c us s e s om e   f ut ur e   w or t ha t   w oul he l i i m pr ovi ng  t he   pr opos e i m pr ove R B F N .       3.   ME T H O D O L O G Y     3. 1.     R ad i al   b as i s   f u n c t i on   n e t w or k   (R B F N )   RBF N   i s   a n   i n t e l l i g e n t   i n t e r p o l a t i o n   t e c h n i q u e   f o r   m o d e l i n g   a   l i n e a r   o r   n o n l i n e a r   m u l t i d i m e n s i o n a l   da t a .   R B F N   i s   of t e us e f or   pr e di c t i on  pr obl e m s .   I t s   ke r ne l   ha s   t w pa r a m e t e r s ;   t he   c e nt e r   a nd  i t s   r a di us .   Th e s e   t w o   p a r a m e t e r s   c a n   d e t e r m i n e d   t h r o u g h   u n s u p er v i s ed   o r   s u p er v i s ed   l ear n i n g   as   p r o p o s ed   b y   M o o d y   an d   D ar k en   i n   1 9 8 9   [1 ] .   RBF N   i s   a   t y p e   o f   f e e d - fo rw a rd   n e u ra l   n e t w o rk .   T h e   n e t w o rk   s t ru c t u re   c o n s i s t s   o th r e e - la y e r   n e tw o r k   s im ila r   to   m u lti - la y e r   f e e d - fo rw ar d   n et w o r k .   I n   t h n et w o r k   s t r u ct u r o f   R B F N   as   s h o w n   in   F ig u r e   1 th e   f ir s la y e r   is   th e   in p u la y e r   a n d   is   c o m p o s e d   o f   s ig n a s o u r c e   n o d e s T h e   s e c o n d   la y e r   is   a   hi dde l a ye r ,   a nd  t he   num be r   of   node s   of   t he   l a ye r   i s   de t e r m i ne by  t he   na t ur e   of   t he   pr obl em   t o   b s o l v ed   an d   t h ch ar act er i s t i cs   o f   t h s p eci f i p r o b l em .   T h t r an s f er   f u n ct i o n   o f   t h n eu r o n s   i n   t h i s   l ay er   i s   t h r ad i al   ba s i s   f unc t i on,   w hi c i s   a   gl oba l   f unc t i on  t ha t   r e s pons e s   a s   t he   f or w a r n et w o r k   t r an s f o r m at i o n   f u n ct i o n .   Th e   t h i r d   l a y e r   i s   t he   out put   l a ye r ,   w hi c r e s ponds   t t he   i nput   l a ye r .   Th e   m a i n   i d e a   o f   t h e   R B F N   i s   t o   u s e   t h e   r a d i a l   b a s i s   f u n c t i o n   a s   t h e   " b a s e "   o f   t h e   h i d d e n   l a y e r   u n i t   to   b u ild   th e   h id d e n   la y e r I n   th e   h id d e n   la y e r th e   in p u v e c to r   is   tr a n s f o r m e d T h u s lo w - di m e ns i ona l   in p u da t a   c a c onve r t   t a   hi gh - di m e ns i ona l   s pa c e .   S uc a ppr oa c c a t r a ns f or m   a   l i ne a r l i ns e pa r a bl e   pr obl e m   i l o w - di m e ns i ona l   s pa c e   i nt a   l i ne a r l s e pa r a bl e   i a   hi gh - di m e ns i ona l   s pa c e ,   t he r e by  s ol vi ng  t he   r e l a t e pr obl e m .   R B F N   t r a i ni ng  i s   s i m pl e   a n ha s   f a s t   l e a r ni ng  c onve r ge nc e .   I t   c a a ppr oxi m a t e   a ny  nonl i ne a r   fu n c t i o n .   T h e re fo re ,   t h e   R B F N   h a s   a   e x t e n s i v e   a p p l i c a t i o n s   i n   p a t t e rn   re c o g n i t i o n ,   i m a g e   p ro c e s s i n g ,   pr e di c t i ons   a nd  nonl i ne a r   c ont r ol .   Fr o m   t h e   p e r s p e c t i v e   o f   f u n c t i o n   a p p r o x i m a t i o n ,   R B FN   a re   l o c a l   ap p r o x i m at i o n s .   I f   t h n u m b er   o f   n eu r al   u n i t s   i n   t h h i d d en   l ay er   r each es   cer t ai n   l ev el ,   t h n et w o r k   can   ap p r o x i m at an y   co n t i n u o u s   f u n ct i o n   w i t h   ar b i t r ar y   p r eci s i o n .   I n   ad d i t i o n ,   d u t o   R B F N   ad o p t s   l i n ear   ma p p i n g   r e l a t i o n s h i p   b e t w e e n   t h e   o u t p ut   l a ye r   a nd  t he   hi dde l a ye r ;   t he   ne t w or c a a voi t he   c om pl i c a t e ba c k - pr opa ga t i on  ope r a t i on  a s   i ba c k - pr opa ga t i on  ne ur a l   ne t w or k.   T he r e f or e ,   i R B F N ,   t he   s pe e of   ope r a t i on  a nd  t he   a c c ur a c of   nonl i ne a r   f i t t i ng  a r e   i m pr ove d.   D ur i ng  t he   ope r a t i on  t s o lv e   a   p r o b le m th e   RBF N   h a s   t h e   c h a r a c t e r i s t i c s   o f   t h e   t r a i n i n g   s a m p l e s   c o r r e s p o n d i n g   t o   t h e   r a d i a l   b a s i s   f u n c t i o n   m a p p i n g ,   re s u l t i n g   i n   a   l a rg e   a m o u n t   o n e t w o rk   c o m p u t a t i o n ,   a n d   m a y   c a u s e   p ro b l e m s   i n   s o l v i n g   t h e   n e t w o rk s   we i g h t s .     3. 2.     RB F mo d e l   a n d   le a r n in g  a lg o r it h m   Th e   R B F N   b y   d e f a u l t   u s e s   t h e   G a u s s i a n   f u n c t i o n   a s   t h e   k e r ne l   f unc t i on  of   t he   hi dde uni t   (1 ).       ( ) 2 2 i ik i k XC k re σ =   (1 )     Wh e r e   k r   is   th e   o u tp u v a lu e   o f   th e   k - th   G a u s s ia n   u n it  o f   th e   h id d e n   la y e r C   is   th e   i - th   in p u va r i a bl e   va l ue   of   t he   c e nt e r   of   t he   ke r ne l   of   t he   k - th   G a u s s ia n   u n it;  k σ   is   th e   s p r e a d   o f   th e   k e r n e o f   th e   k - th   Ga u s s i a n   u n i t .   Th e   s u p e r v i s e d   l e a r n i n g   r u l e   u s e d   t o   a d j u s t   t h e   l i n k   w e i g h t i n g   v a l u e   b e t w e e n   t h e   h i d d e n   u n i t   an d   t h out put   uni t ,   a nd  t he   t hr e s hol va l ue   of   t he   out put   uni t .   T he   di f f i c ul t w i t R B F N   de t e r m i ne s   t he   num be r   of   hi dde uni t s   a nd  t he   c e nt e r   of   t he   G a us s i a f unc t i on  a nd  t he   r a di us   pa r a m e t e r s .   T he   t w pa r a m e t e r s ,   c e nt e r   an d   r ad i u s ,   can   d et er m i n ed   b y   s u p e rv i s e d   o u n s u p e rv i s e d   l e a rn i n g .   T h e   s u p e rv i s e d   l e a rn i n g   o R B F N   i s   si m i l a r   t o   b a c k - pr opa ga t i on,   a nd  t he   l e a r ni ng  r ul e s   c a de r i ve by  m i ni m i z i ng  t he   s um   of   s qua r e s   e r r or s   a nd  th e   g r a d ie n d e s c e n m e th o d U n s u p e r v is e d   le a r n in g   u s e s   th e   K - me a n s   a l g o r i t h t o   fi n d   t h e   c l u s t e c e n t e o th e   s a m p le   a s   th e   c e n te r   o f   th e   G a u s s ia n   f u n c tio n   o f   e a c h   h id d e n   u n it.   Th o u g h   R B F N   h a s   a n   e x t e n s i v e   ap p l i cat i o n s   i n   p at t er n   r eco g n i t i o n ,   p r ed i ct i o n s ,   an d   co n t r o l   s y s t em ,   t h al g o r i t h m s   s t i l l   d i s ad v an t ag o n   an   in d e p e n d e n v a r i ab l es   h av t h s am p o s i t i o n ,   s o   t h co n t o u r   o f   t h k er n el   f u n ct i o n   i s   ci r cu l ar .   H o w ev er ,   each   in d e p e n d e n v a r ia b le   h a s   d if f e r e n in f lu e n c e   o n   th e   d e p e n d e n v a r ia b le a n d   th e   c o n to u r   o f   th e   k e r n e f u n c tio n   sh o u l d   b e   e l l i p t i c a l .   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   r a d i a l   b a s i s   f u n c t i o n   n e t w o r k in  n e tw o r k s  w e ig h ts  a d ju s tm e n t fo r …  ( Li m   E n g   A i k )   67   3. 3.     RB F im p le m e n t a t io n , a dv a nt a g e s   a nd  l i m i t a t i o n   Th e   i m p l e m e n t a t i o n   o f   t h e   R B F   n e u r a l   n e t w o r k   c o n s i s t s   o f   t w o   p a r t s :   t h e   n e t w o r k   s t r u c t u r e   p a r t   a n d   th e   a lg o r ith m   p a r a m e te r   p a r t.  T h e   n e tw o r k   s tr u c tu r e   is   d e s ig n e d   to   d e te r m in e   th e   n u m b e r   o f   n o d e s   in   th e   hi dde l a ye r   of   t he   ne t w or k.   Th e   p a r t   o f   t h e   a l g o r i t h m   p a r a m e t e r s   i s   d e t e r m i n e d   f o r   t h e   t h r e e   i m p o r t a n t   pa r a m e t e r s   of   t he   da t a   c e nt e r   of   t he   r a di a l   ba s i s   f unc t i on,   t he   s pr e a c ons t a nt   a nd  t he   out put   l a ye r   w e i ght .   Si n c e   t h e   n u m b e r   o f   h i d d e n   l a y e r   n o d e s   i s   c o n s i s t e n t   w i t h   t h e   n u m b e r   o f   sa m p l e s,   a n d   t h e   c e n t e r   o f   t h e   r a d i a l   ba s i s   f unc t i on  i s   t he   s a m pl e   i t s e l f ,   onl t he   s pr e a c ons t a nt   a nd  t he   out put   l a ye r   w e i ght   ne e t be   de t e r m i ne wh e n   e s t a b l i s h i n g   t h e   n e t wo r k .   Ho we v e r ,   wh e n   b u i l d i n g   a n   R B F N,   t h e   l e a r n i n g   a l g o r i t h m   n e e d s   t o   s o l v e   mo r e   pr obl e m s ,   i nc l udi ng  t he   de t e r m i na t i on  of   t he   num be r   of   hi dde l a ye r   node s ,   t he   de t e r m i na t i on  of   t he   da t a   c e nt e r   of   t he   r a di a l   ba s i s   f unc t i on,   t he   s pr e a c ons t a nt ,   a nd  t he   c or r e c t i on  of   t he   w e ig h ts   o f   th e   out put   l a ye r .   Th e   e s t a b l i s h m e n t   a n d   t r a i n i n g   o f   t h e   ra d i a l   b a s i s   fu n c t i o n   n e u ra l   n e t w o rk   i s   c o m p o s e d   o t w o   st a g e s.   T h e   f i r st   p h a se   p r i m a r i l y   d e t e r m i n e t h e   d a t a   c e n t e r   o f   t h e   r a d i a l   b a si f u n c t i o n   i n   t h e   h i d d e n   l a y e r ,   ty p ic a lly   u s e d   a s   th e   c e n te r ' s   s e lf - or ga ni z i ng  s e l e c t i on  m e t hod  f or   uns upe r vi s e l e a r ni n pr oc e s s e s .   T he   i nput   sa m p l e a r e   c l u st e r e d   t o   d e t e r m i n e   t h e   c e n t e r   o f   t h e   r a d i a l   b a si f u n c t i o n   o f   t h e   h i d d e n   l a y e r   n o d e s.   Th e   R B F N   h a s   i t s   a d a p t i v e   a b i l i t y   a n d   f a u l t   t o l e r a n c e .   Th e r e f o r e ,   w h i l e   d e a l i n g   w i t h   t h e   c o m p l e x   ev al u at i o n   o f   n o n l i n ear i t y ,   t h fa c t o rs   t h a t   h a v e   n o   s i g n i fi c a n t   i n fl u e n c e   o n   t h e   e v a l u a t i o n   re s u l t s   c a n   ef f ect i v el y   el i m i n at ed .   T h R B F N   i s   i m p r o v ed   v i t h s u p er v i s ed   l ear n i n g   r u l es   ar u s ed   t o   ad j u s t   t h l i n k   we i g h t i n g   v a l u e   b e t we e n   t h e   h i d d e n   u n i t   a n d   t h e   o u t p u t   u n i t ,   a n d   t h t h r es h o ld   o f   th e   o u tp u u n it.   Th e   l e a r n i n g   r u l e   i s   d e r i v e d   b y   m i n i m i z i n g   t h e   s u m   o f   s q u a r e d   e r r o r s   a n d   t h e   g r a d i e n t   d e s c e n t   m e t h o d .     3. 4.     Im p r o v e d   R B F N   ( IR B F N )   RBF N   w e r e   r e p o r t e d   h a s   a n   e x t e n s i v e   a p p l i c a t i o n s   a n d   i t s   a l g o r i t h m s   h a v e   m a n y   d i f f e r e n t   v a r i a n t s   [1 1 ,   1 9 ,   6 6 ,   67] Y e h   a n d   C h e n   [6 8 ]   pr opos e a i m pr ove R B F N   w i t ke r ne l   s ha pe   pa r a m e t e r s   t de r i ve   i t s   le a r n in g   r u le s   in   s u p e r v is e d   le a r n in g w h ic h   is   s u p e r io r   to   c o n v e n tio n a R B F N I is   p r o v e d   th a a f te r   th e   ke r ne l   f unc t i on  i s   gi ve t he   w e i ght ;   t he   s ha pe   of   t he   ke r ne l   f unc t i on  i s   e l l i pt i c a l ,   w hi c i s   m or e   r e a s ona bl e   th a n   th e   s h a p e   o f   th e   c ir c u la r   k e r n e f u n c tio n   w h ic h   h a s   th e   s a m e   p o s itio n   a s   a ll  th e   in d e p e n d e n v a r ia b le s   o f   th e   c o n v e n tio n a R B F N T h e r e f o r e th is   p r o p o s e d   im p r o v e d   R B F N   is   r e a s o n a b ly   h a s   s u p e r io r   f ittin g   d e g r e e   th a n  c o n v e n tio n a l R B F N .   Du r i n g   t h e   f o r wa r d   p r o p a g a t i o n   o f   p r o p o s e d   n e t wo r k ,   wh i c h   is   a ls o   k n o w n   a s   r e c a ll  s ta g e ,   th e  c a lc u la tio n  o f  th e  h id d e n   la y e r  o u tp u t v e c to r r e q u i r e (2 a n d   (3 ).     ( ) ex p kk hn e t =   (2 )     ( ) 2 2 2 ,      1 , 2 , 3 , .. ., ik i ik i k k Vx C ne t k N σ ==   (3 )     wh e r e   i x   is   th e   i - th   in p u v a lu e k h   is   th e   o u tp u v a lu e   o f   th e   k - th   G a u s s ia n   u n it  o f   th e   h id d e n   la y e r k ne t   is   th e   n e v a lu e   o f   th e   k - th   G a u s s ia n   u n it  o f   th e   h id d e n   la y e r ik C   is   th e   i - th   in p u v a r ia b le   v a lu e   o f   th e   c e n te r   o f   th e   k e r n e o f   th e   k - th   G a u s s ia n   u n it;  ik V   is   th e   w e ig h te d   v a lu e   o f   th e   i - th   in p u v a r ia b le   o f   th e   k e r n e o f   th e   k - th   G a u s s ia n   u n it,  r e p r e s e n tin g   th e   im p o r ta n c e   o f   th e   in p u v a r ia b le k σ   is   th e   r a d iu s   o f   th e   k e r n e o f   th e   k - th   Ga u s s i a n   u n i t .   Du r i n g   t h e   n e t wo r k   t r a i n i n g   p r o c e s s ,   k σ ma y   a d j u s t e d   t o   0 ,   c au s i n g   t h d en o m i n at o r   t o   b 0 .   In   o rd e r   to  a v o id  th is  tr o u b le ,   (3 i s   m o d i fi e d   t o   t h e   fo l l o w i n g   fo rm u l a .     ( ) 2 22     1 , 2 , 3 , . . . , kk i k i i k i ne t Q V x C k N = =   (4 )     wh e r e   k Q   is  th e  r e c ip r o c a l o f  th e  r a d iu s  o f  th e  k e r n e l o f  th e   k - th   Ga u s s i a n   u n i t .   In   c a l c u l a t i n g   t h e   r es p o n d ed   o u t p u t   v ect o r ,   (5 i s   u s e d .     Evaluation Warning : The document was created with Spire.PDF for Python.
        r               IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   6 3     7 6   68   ( ) 1 1e x p j j y ne t = +   (5 )     jk j k j k ne t W h θ =   (6 )     wh e r e   j ne t   is   th e   n e v a lu e   o f   th e   j - th   u n it  o f   th e   o u tp u la y e r j y   is   th e   o u tp u v a lu e   o f   th e   j - th   out put   uni t ;   kj W   is   th e   c o n n e c tio n   w e ig h b e tw e e n   th e   k - th   u n it  o f   th e   h id d e n   la y e r   a n d   th e   j - th   u n it  o f   th e   out put   l a ye r ;   j θ   is  th e  th r e s h o ld  o f  th e  j - th  u n it o f  th e  o u tp u t la ye r .   No f o r   b a c k wa r d   p r o p a g a t i o n ,   wh i c h   i s   t h e   l e a r n i n g   s t a g e ,   a s   t h i s   s u p e r v i s e d   l e a r n i n g   a i m s   t o   re d u c e   t h e   d i ffe re n c e   b e t w e e n   t h e   t a rg e t   o u t p u t   v a l u e   o t h e   n e t w o rk   o u t p u t   u n i t   a n d   t h e   re s p o n d e d   o u t p u t   va l ue ,   t he   qua l i t of   l e a r ni ng  i s   ge ne r a l l e xpr e s se d   b y   t h e   f o l l o w i n g   c o st   f u n c t i o n :     ( ) 2 1 2 jj Et y =   (7 )     wh e r e   j t   is   th e   ta r g e o u tp u v a lu e   o f   th e   j - th   o u tp u u n it  o f   th e   tr a in in g   s a m p le   o u tp u la y e r ;   j y   is  th e  r e s p o n d e d  o u tp u t v a lu e  o f  th e  j - th  o u tp u t u n it o f  th e  tr a in in g  s a m p le  o u tp u t la y e r .   Si n c e   t h e   c o s t   f u n c t i o n   i s   a   f u n c t i o n   o f   t h e   r e s p o n d e d   o u t p u t   v a l u e ,   a n d   t h e   r e s p o n d e d   o u t p u t   v a l u e   is   a   f u n c tio n   o f   th e   n e tw o r k   c o n n e c tio n   w e ig h v a lu e   a n d   th e   p a r am et er s   o f   t h cen t er   an d   r ad i u s   o f   t h Ga u s s i a n   u n i t ,   t h e   c o s t   f u n c t i o n   i s   a   f u n c t i o n   t h a t   l i n k s   t h e   we i g h t   v a l u e   a n d   t h e   Ga u s s i a n   u n i t   p a r a m e t e r .   Th e r e f o r e ,   a d j u s t i n g   t h e   l i n k   w e i g h t   v a l u e   a n d   t h e   G a u s s i a n   u n i t   p a r a m e t e r   c a n   c h a n g e   t h e   s i z e   o f   t h e   c o s t   f unc t i on.   I or de r   t m i ni m i z e   t he   c os t   f unc t i on,   t he   gr a di e nt   de s c e nt   m e t hod  i s   us e t a dj us t   t he   ne t w or lin k  w e ig h tin g  v a lu e  a n d  th e  G a u s s ia n  u n it p a r a m e te r .   Th e   f o l l o w i n g   i s   d i v i d e d   i n t o   t w o   p a r t s   t o   d e r i v e   t h e   c o r r e c t i o n   f o r m u l a .     1.   Th e   w e i g h t e d   v a l u e   o t h e   l i n k   b e t w e e n   t h e   h i d d e n   l a y e a n d   t h e   o u t p u t   l a y e r.   2.   Th e   P a r a m e t e r s   o f   t h e   G a u s s i a n   u n i t   i n   h i d d e n   l a y e r .     To   f i n d   t h e   w e i g h t e d   v a l u e   o f   t h e   l i n k   b e t w e e n   t h e   h i d d e n   l a y e r   a n d   t h e   o u t p u t   l a y e r ,   t h e   c o r r e c t i o n   we i g h t   o f   t h e   l i n k   we i g h t   b e t we e n   t h e   n e t wo rk   o u t p u t   l a y e a n d   t h e   h i d d e n   l a y e i s   t h e   s a m e   a s   t h e   i n v e rs e   gr a di e nt   de s c e nt   a l gor i t hm ,   but   i t   i s   s t i l l   f ul l de r i ve he r e .   F i r s t ,   ge t   t he   pa r t i a l   di f f e r e nt i a l   l a w :     jj kj kj j j kj yn e t EE W Wy n e t W ηη ∂∂ ∂∂ Δ = = ∂∂   (8 )     Wh e r e ,     ( ) ( ) 2 1 2 jj jj jj E ty ty yy ∂∂ = = ∂∂ ⎛⎞ ⎜⎟ ⎝⎠   (9 )     ( ) ( ) j jj jj y fn e t f ne t ne t ʹ == ∂∂   (1 0 )     j kj k j k k kj kj ne t Wh h WW θ = = ∂∂ ⎛⎞ ⎜⎟ ⎝⎠   (1 1 )     Pl a c e   (9 ) - (1 1 i n t o   (8 ),   w e   o b t a i n e d ,     Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   r a d i a l   b a s i s   f u n c t i o n   n e t w o r k in  n e tw o r k s  w e ig h ts  a d ju s tm e n t fo r …  ( Li m   E n g   A i k )   69     ( ) ( ) ( ) kj j j j k j j j k Wt y f h t y f h ηη ʹʹ Δ = =   (1 2 )     De f i n e ,     ( ) ( ) ( ) j jj j j j j j jj j y EE ty f ty f ne t y ne t δ ∂∂ ʹʹ = = = = ∂∂   (1 3 )     Th e r e f o r e ,   (1 2 c a n   re w ri t t e n   a s ,     kj j k Wh ηδ Δ =   (1 4 )     He n c e ,   th e  c o r r e c tio n  o f  th r e s h o ld  v a lu e  a ls o  c a n  r e w r itte n  a s ,     jj j E θη η δ θ Δ = =   (1 5 )     Fo r   Pa r a m e t e r s   o f   t h e   h i d d e n   l a y e r   G a u s s i a n   u n i t ,   t h e   c e n t r a l   v a l u e   c o r r e c t i o n   o f   t h e   k e r n e l   o f   t h e   Ga u s s i a n   u n i t   c a n   o b t a i n e d   b y   t h e   p a r t i a l   d i f f e r e n t i a l   l a w:     k ik ik k ik ne t EE C Cn e t C ηη ∂∂ Δ = = ∂∂   (1 6 )     W he r e ,     kk k j kk k k k hn e t EE E f ne t h ne t ne t h ∂∂ ∂∂ ʹ = = ∂∂ ⎛⎞ ⎜⎟ ⎝⎠   (1 7 )     Du e   t o   (1 3 ),       j j E ne t δ =   (1 8 )     Th i s   t u r n   ( 1 7 )   i n t o ,       ( ) jk j k jk j jj k E Wf W f ne t δδ ʹʹ = = ⎛⎞ ⎜⎟ ⎝⎠ ∑∑   (1 9 )     No we   d e f i n e ,     kj k j k j Wf δδ ʹ = ⎛⎞ ⎜⎟ ⎝⎠   (2 0 )     Th e r e f o r e ,     k k E ne t δ =   (2 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
        r               IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   6 3     7 6   70   ( ) ( ) ( ) 2 22 22 2 k k ik i ik k ik i ik ii ik ik ne t QV x C QV x C CC = = ∂∂ ⎛⎞ ⎜⎟ ⎝⎠ ∑∑   (2 2 )     No w,   we   s u b s t i t u t e   ( 2 1 )   a n d   ( 2 2 )   i n t o   ( 1 6 ) ,   we   o b t a i n e d ,     ( ) ( ) ( ) ( ) 22 2 2 22 ik k k ik i ik k k ik i ik i CQ V x C Q V x C ηδ η δ Δ = =   (2 3 )     Si m i l a r l y ,   t h e   m u t u a l   c o r r e c t i o n   o f   t h e   r a d i u s   o f   t h e   k e r n e l   o f   t h e   G a u s s i a n   u n i t   c a n   o b t a i n   b y   a   pa r t i a l   di f f e r e nt i a l   l a w :     k k kk k ne t EE Q Qn e t Q ηη ∂∂ Δ = = ∂∂   (2 4 )     wh e r e ,     ( ) ( ) 22 22 2 2 k k ik i ik k ik i ik ii kk ne t QV x C Q V x C QQ = = ∂∂ ⎛⎞ ⎜⎟ ⎝⎠ ∑∑   (2 5 )     By   s u b s t i t u t i n g   ( 2 1 )   a n d   ( 2 5 )   i n t o   ( 2 4 ) ,   w e   o b t a i n e d ,     ( ) ( ) ( ) 22 22 22 kk k i k i i k k k i k i i k ii QQ V x C Q V x C ηδ η δ Δ = = ⎛⎞ ⎜⎟ ⎝⎠ ∑∑   (2 6 )     Si m i l a r l y ,   t h e   w e i g h t   o f   t h e   i n p u t   v a r i a b l e   w e i g h t   ( s h a p e   pa r a m e t e r )   of   t he   G a us s i a uni t   c a obt a i ne by  t he   pa r t i a l   di f f e r e nt i a l   l a w :     k k kk k ne t EE V Vn e t V ηη ∂∂ Δ = = ∂∂   (2 7 )     Wh e r e ,     ( ) ( ) 22 22 2 2 k k ik i ik k ik i ik ii kk ne t QV x C QV x C VV = = ∂∂ ⎛⎞ ⎜⎟ ⎝⎠ ∑∑   (2 8 )     By   s u b s t i t u t i n g   (2 1 a n d   (2 8 i n t o   (2 7 ),   w e   o b t a i n e d ,     ( ) ( ) ( ) 22 22 22 kk k i k i i k k k i k i i k ii VQ V x C Q V x C ηδ η δ Δ = = ⎛⎞ ⎜⎟ ⎝⎠ ∑∑   (2 9 )     Th e   f i v e   ( 1 4 )   ,( 1 5 ) , ( 2 3 ) , ( 2 6 )  a n d  ( 2 9 )  a r e  th e  le a r n in g  r u le s  o f  th e  im p r o v e d  R B F  n e u r a l n e tw o r k .   Cl e a r l y ,   f r o m   a b o v e   d e r i v a t i o n   e q u a t i o n s ,   t h e r e   i s   o n e   m o r e   s h a p e   p a r a m e t e r   i n   t h e   t u n a b l e   pa r a m e t e r   t ha t he   c onve nt i ona l   R B F N .   T he   s upe r vi s e l e a r ni ng  r ul e s   of   a l l   pa r a me t e r s   a r e   u n i f o r ml y   de r i ve by  us i ng  t he   pr i nc i pl e   of   s um   s qua r e s   e r r or   m i ni m i z a t i on,   i nc l udi ng  t he   c e nt e r ,   r a di us ,   a nd  s ha pe   pa r a m e t e r s   of   t he   ke r ne l   f unc t i on,   t he   w e i ght i ng  va l ue   of   t he   ne t w or ks   be t w e e t he   hi dde uni t   a nd  t he   out put   uni t ,   a nd  t he   t hr e s hol of   t he   out put   uni t .   Th e   R B F N   i s   o f t e n   u s e d   f o r   p r e d i c t i o n   a n d   c l a s s i f i c a t i o n   p r o b l e m s ,   b u t   i t   h a s   t h e   d i s a d v a n t a g e   t h a t   al l   i n d ep en d en t   v ar i ab l es   h av eq u al   s t at u s ,   w i t h   t h s h ap o f   t h k er n el   f u n ct i o n   i s   ci r cu l ar   an d   t h i s   i n f l u en ce  out c om e   t he   ne t w o rk s .   S i n c e   t h e   w e i g h t s   o e a c h   i n p u t   a re   d i ffe re n t ,   s o   t h e   s h a p e   o t h e   k e rn e l   fu n c t i o n   sh o u l d   b e   e l l i p t i c a l .   T o   o v e r c o m e   t h i sh o r t c o m i n g ,   a n   i m p r o v e d   R B F N   w i t h   k e r n e l   sh a p e   p a r a m e t e r i Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     IS S N :   2252 - 8938   r     An   i m p r o v e d   r a d i a l   b a s i s   f u n c t i o n   n e t w o r k in  n e tw o r k s  w e ig h ts  a d ju s tm e n t fo r …  ( Li m   E n g   A i k )   71   pr opos e d,   a nd  i t s   l e a r ni ng  r ul e s   a r e   de r i ve by  s upe r vi s e l e a r ni ng T h is   a r c h ite c tu r e   is   s u p e r io r   to   tr a d itio n a ra d i a l   b a s i s   fu n c t i o n   n e t w o rk s .   Cl e a r l y ,   f r o m   F i g u r e   2   t h a t   b a s e d   o n   t h e   RBF N ,   t h e   p r o p o s e d   I RBF N   h a s   t h e   w e i g h t   o f   V   a d d e d   be t w e e t he   i nput   l a ye r   a nd  t he   hi dde l a ye r   t i ndi c a t e   t he   i nf l ue nc e   of   di f f e r e nt   i nput   l a ye r   uni t s   on  t he   hi dde l a ye r   uni t ,   w hi c l a t e r   us e   f or   c a l c ul a t i ng  t he   w e i ght s   of   hi dde l a ye r   t out put   l a ye r .           Fi g u r e   2 .   Th e   a rc h i t e c t u re   o IR B F N       4.   RE S UL T S   A ND  DI S CUS S I O N   Th e   p r o p o s e d   I R B F N   w a s   t e s t e d   u s i n g   4   n o n l i n e a r   f u n c t i o n   f r o m   l i t e r a t u r e s ,   w h i c h   a r e   S a n t n e r   e t   a l .   [6 9 ]   fu n c tio n   g iv e n   in   (3 0 ),   L i m   e t   a l .   [7 0 ]   fu n c t i o n   i n   (3 1 ) D e tte   a n d   P e p e ly s h e v   [7 1 ]   fu n c t i o n   i n   (3 2 ),   an d   F r i ed m an   [7 2 ]   f unc t i on  i ( 33) .   F or   a l l   t he s e   f unc t i ons ,   t he   t r a i ni ng  s e t   f or   R B F N   c ons i s t s   of   400  s e t s   of   ra n d o m   g e n e ra t e d   d a t a   p o i n t s   a n d   t e s t   s e t   c o m p ri s e s   4 0 0   s e t s   o ra n d o m   g e n e ra t e d   d a t a   p o i n t s ,   bot i r a nge   of   [ 0, 1] .     [ ] ( ) e x p ( 1 . 4 ) c o s (3 . 5 ) ,   0 , 1 fx x x x π =   (3 0 )     ( ) ( ) ( ) ( ) ( ) [ ] [ ] 11 2 1 3 0 5 s in 5 4 e x p 5 1 0 0 ,   0 , 1 ,   1 , 2 . 6 i fx x x x x i =+ + =   (3 1 )     ( ) ( ) ( ) ( ) [ ] 2 22 2 12 2 2 3 3 42 8 8 3 4 1 6 1 2 1 ,   0 , 1 ,   1 , 2 , 3 . i fx x x x x x x x i = + + + + =   (3 2 )     ( ) ( ) ( ) [ ] 2 12 3 4 5 10 s i n 20 0. 5 10 5 ,   0, 1 ,   1 , 2, 3 , 4, 5. i fx x x x x x x i π =+ + + =   (3 3 )     IR B F N   w a s   a l s o   t e s t e d   o n   4   re a l - wo r l d   d a t a s e t s   f o r   i t s   p e r f o r m a n c e .   T h e   B i o c h e m i c a l   Ox y g e n   De m a n d   ( B OD)   c o n c e n t r a t i o n   d a t a s e t ,   p h y t o p l a n k t o n   g r o wt h   r a t e   a n d   d e a t h   r a t e   d a t a s e t   a n d   a i r   p o l l u t a n t   da t a s e t   w e r e   obt a i ne f r om   A i a nd  Z a i nuddi [7 3 ] A n o th e r   w h ic h   is   th e   d a ta s e f r o m   f o r e x   f o r   E U R U S D   pa i r s   i s   c ol l e c t e f r om   X M   M e t a t r a de r   da t a ba s e   [1 0 ] T h e   B O D   d a ta s e a n d   p h y to p la n k to n   d a ta s e b o th   co n s i s t s   o f   1 0 0   s et s   o f   d at an d   t h t es t   s et   co m p r i s es   1 0 0   s et s   o f   d at a.   M ean w h i l e,   f o r   ai r   p o l l u t an t   d at as et ,   th e   tr a in in g   s e h a s   4 8 0   s e ts   o f   d a ta   a n d   th e   te s s e h a s   7 2   se t o f   d a t a ,   w h i c h   b o t h   w e r e   t a k e n   f r o m   h o u r l y   a i r     x 1   x 2   x 3   x N   .   .   .   .   .   .   In p u t l a y e r   Hi d d e n   L a y e r   o f   RB F   Ou t p u t   L a y e r   ψ ψ ψ ψ w N   .   .   .   w 2   w 3   w 1   V 1 1   V 1 2   V 1 3   V 1 4   V 21   V 22   V 23   V 24   V 31   V 32   V 33   V 34   V N1   V N2   V N3   V N4   Evaluation Warning : The document was created with Spire.PDF for Python.
        r               IS S N :   2252 - 8938   IJ - AI   Vo l .   8 , N o 1,   M a r c h   201 9 :   6 3     7 6   72   da t a .   F or   E U R U S D   pa i r s ,   t he   t r a i ni ng  s e t   c ons i s t s   of   519  s e t s   of   d at t ak en   f r o m   y ear   2 0 1 6   t o   en d   of   ye a r   2017.   T he   t e s t   s e t   c ons i s t s   of   155  s e t s   of   da t a   t a ke f r om   e a r l ye a r   2018  t A ugus t   2018.   Th e   e x p er i m en t   w as   i m p l em en t ed   b y   u s i n g   t h n ew r b   f u n ct i o n   b ecau s i t   r ep r es en t s   t h g en er al   fo rm   o a n   R B F   n e t w o rk .   F u rt h e rm o re ,   t h e   p ro p o s e d   c l u s t e ri n g   m e t h o d   h a s   b e e n   i m p l e m e n t e d   b y   u s i n g   MA T L A B s   f u n c t i o n .   G a u s s i a n   b a s i s   f u n c t i o n   h a s   b e e n   u s e d   f o r   b o t h   n e t w o r ks   w i t ot he r   pa r a m e t e r s   s uc a s   sp r e a d   w a se t   t o   d e f a u l t   v a l u e ,   so   t h e   p e r f o r m a n c e   o f   t h e   p r o p o se d   n e t w o r k   c a n   e v a l u a t e d   e f f e c t i v e l y   [ 8 ] .   Pe r f o r m a n c e   o f   s t a n d a r d   R B FN   a n d   I R B FN   i n   t h i s   e x p e r i m e n t   h a s   b e e n   m e a s u r e d   b y   c o m p a r i n g   t h e   co m p u t at i o n   t i m t ak en   fo t ra i n i n g   w i t h   n u m b e o i t e ra t i o n   t a k e n   fo c o n v e rg e n c e   a n d   t h e   R o o t   M e a n   Sq u a r e d   E r r o r   ( R M SE )   t o   m e a s u r e   h o w   w e l l   b o t h   n e t w o r k s   a p p r o x i m a t e s   t h e   c h o se n   f u n c t i o n s   an d   i t   i s   g i v en   b y.     ( ) 2 1 1 n ii i RM S E O P n = =   wh e r e   n   i s   t h e   n u m b e r   o f   p r e d i c t e d   r e s p o n d e r ;   i O   is   th e   ta r g e v a lu e   f o r   tim e - st e p   i ,   a n d   i P   is   th e   p r e d ic te d   va l ue   of   t he   m ode l   a t   t i m e - st e p   i .   Th e   n u m b e r   o f   c e n t e r s   f o r   R B F N   i s   f i x e d   t o   1 0   c e n t e r s   f o r   a l l   8   da t a s e t s   t r a i ni ng.   F or   a i r   pol l ut a nt   pr obl e m ,   t he   pol l ut a nt   m oni t or e i nc l ude s   c a r bon  m onoxi de ,   ni t r i c   oxi de ,   ni t r oge di oxi de ,   oz one ,   a nd  oxi de s   of   ni t r oge n.   F or   e xpe r i m e nt a l   pur pos e s ,   hour l upda t e a i r   qua l i t da t a   obt a i ne f r om   A i a nd  Z a i nuddi [7 3 ]   ha s   be e us e t pr e di c t   t he   t r e nd  of   i nt e r e s t e pol l ut a nt s   f or   N i t r i c   O xi de ,   N i t r oge D i oxi de   a nd  O xi de s   of   N i t r oge n.   W hi l e   f or   P hyt opl a nkt on  pr obl e m ,   gr ow th   r a te   a n d   d e a th   r a te   h a v e   b e e n   u s e d   a s   th e   in te r e s te d   va l ue s .   A s   f or   t he   B O D   pr obl e m ,   t he   B O D   c onc e nt r a t i on  ha s   be e t a ke a s   t he   i nt e r e s t e va l ue .   F i na l l y,   t he   fo re x   E U R U S D   d a t a s e t   c o n s i s t s   o t h re e   v a ri a b l e s   i s   t a k e n   c o n s i d e re d   fo t ra i n i n g ,   w h i c h   a re   th e   d a ily   hi ghe s t   pr i c e ,   da i l l ow e s t   pr i c e   a nd  ope pr i c e ,   w hi l e   t he   c l os e   pr i c e   i s   us e f or   pr e di c t i on.       Ta b l e   1 .   Pe r f o r m a n c e   o f   I RBF N   a n d   S t a n d a r d   RBF N   pr e di c t i on  r e s ul t s   f or   da t a s e t s   Da t a s e t   St a n d a r d   R B FN   I RBF N   Av e r a g e   o f   R M S E   St a n d a r d   D e v i a t i o n   o f   RM S E   Av e r a g e   o f   R M S E   St a n d a r d   D e v i a t i o n   o f   RM S E   Sa n t n e r   0. 160980   0. 132510   0. 095935   0. 021740   Li m   0. 151190   0. 053404   0. 094039   0. 011824   De t t e   1. 938260   1. 318204   0. 952562   0. 175806   Fr i e d m a n   1. 333590   0. 700492   0. 162113   0. 058887   BO D   0. 000252   3. 87e - 07   0. 000247   4. 29e - 05   Ph y t o p l a n k t o n   0. 004980   0. 000933   0. 004035   0. 000800   Ai r   P o l l u t a n t   4. 203630   2. 860265   0. 371875   0. 109962   EU R U SD   0. 031649   0. 004812   0. 028432   0. 004942       Ta b l e   2 .   Pe r c e n t a g e   o f   I m p r o v e m e n t   f o r   I RBF N   o v e r   S t a n d a r d   RBF N   b y   RM S E   Da t a s e t   Pe r c e n t a g e   o f   Im p ro v e m e n t   (% )   Sa n t n e r   40. 41   Li m   37. 80   De t t e   50. 85   Fr i e d m a n   87. 84   BO D   1. 80   Ph y t o p l a n k t o n   18. 98   Ai r   P o l l u t a n t   91. 15   EU R U SD   10. 16       Re s u l t s   f r o m   T a b l e   1   s h o w s   t h a t   I RBF N   n e t w o r k s   o u t p e r f o r m   s t a n d a r d   RBF N   i n   a v e r a g e   RM S E   a n d   st a n d a r d   d e v i a t i o n   o f   RM S E .   A l l   r e s u l t s   o f   a v e r a g e   RM S E   i n   T a b l e   1   a r e   c a l c u l a t e d   u s i n g   t e n   t i m e s   r u n   o f   each   n et w o r k s .   F r o m   T ab l 1 ,   I R B F N   n et w o r k   s u r p as s es   t h s t an d ar d   R B F   i n   accu r acy   an d   n et w o r k   ar ch i t ect u r b y   u s i n g   t r ai n i n g   s et   w h i ch   co n s i s t s   o n l y   8 1 . 8 % ,   7 1 . 8 % ,   6 8 . 5 % ,   an d   65. 8%   of   t ot a l   da t a s e t   s i z e   fo S a n t n e d a t a s e t ,   L i m   d a t a s e t ,   D e t t e   d a t a s e t ,   a n d   F ri e d m a n   d a t a s e t ,   re s p e c t i v e l y .   W h i l e   IR B F N   n e t w o rk   tr a in in g   f o r   r e a l - wo r l d   d a t a s e t   i n v o l v e s   t h e   B OD  d a t a s e t ,   P h y t o p l a n k t o n   d a t a s e t ,   Ai r   p o l l u t a n t   d a t a s e t   a n d   fo re x   E U R U S D   d a ta s e u s e d   o n ly   8 1 .8 % 7 1 .8 % 6 8 .5 %   a n d   6 6 .8 % r e s p e c tiv e ly T h is   m e a n s   th a t,  it  is   pos s i bl e   t s ui t a bl e   num be r   of   da t a s e t   s uc t ha t ,   i t   w i l l   pr ovi de   a   ne t w or w i t r e duc e c om pl e xi t y,   f a s t e r   tr a in in g   tim e   a n d   im p r o v e d   a c c u r a c y .   Ta b l e   2   s h o w s   t h e   r e s u l t s   o t h e   p e rc e n t a g e   o i m p ro v e m e n t   o R M S E   Evaluation Warning : The document was created with Spire.PDF for Python.