I AE I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   7 ,   No .   4 Dec em b er   201 8 ,   p p .   170 ~ 178   I SS N:  2252 - 8938 DOI : 1 0 . 1 1 5 9 1 /i j ai. v 7 . i4 . p p 1 70 - 1 78          170       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / I JA I   I m pro v ed   Ti m e  T ra ining  w ith  Accuracy   o Ba tch  Ba c k   Propa g a tion Alg o r ith m   Via  Dyna m ic Lea rning  Rate   a nd  Dy na m ic Mo m en tu m  F a c tor       M o ha m m e d Sa rha n Al_ Dua is ,   F a t m a   Su s ila w a t i.  M o ha m a d   F a c u lt y   o f   In f o r m a ti c s a n d   Co m p u ti n g ,   U n iv e rsiti   S u lt a n   Zai n a A b id in ,   T e re n g g a n u ,   M a lay sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u l   11 ,   2 0 1 8   R ev i s ed   No v   2 ,   2 0 1 8   A cc ep ted   No v   26 ,   2 0 1 8       T h e   m a n   p ro b lem   o f   b a tch   b a c k   p ro p a g a ti o n   (BB P a lg o ri th m   is  slo train in g   a n d   t h e re   a re   se v e ra p a r a m e ters   n e e d to   b e   a d j u ste d   m a n u a ll y ,   a lso   s u ff e rs  f ro m   sa tu ra ti o n   train i n g .   T h e   lea rn in g   ra te   a n d   m o m e n tu m   fa c to a re   sig n if ica n p a ra m e ters   f o in c re a sin g   th e   e ff icie n c y   o th e   (BB P ) .   In   th is   stu d y ,   w e   c r e a ted   a   n e w   d y n a m ic  f u n c ti o n   o f   e a c h   lea rn in g   ra te  a n d   m o m e n tu m   f a c o r.   W e   p re s e n th e   DBBP L M   a lg o rit h m ,   w h ich   train w it h   a   d y n a m ic  f u n c ti o n   f o e a c h   th e   lea rn in g   ra te  a n d   m o m e n tu m   fa c to r.   A   S ig m o id   f u n c ti o n   u se d   a a c ti v a ti o n   f u n c ti o n .   T h e   X OR  p ro b le m ,   b a lan c e ,   b re a st  c a n c e r   a n d   iri d a tas e we r e   u se d   a s   b e n c h m a r k s   f o tes ti n g   th e   e ffe c ts   o f   th e   d y n a m ic  DBBP L M   a lg o rit h m .   A ll   th e   e x p e ri m e n ts  w e r e   p e r f o r m e d   o n   M a tl a b   2 0 1 2   a .   T h e   sto p   trai n in g   w a d e ter m in e d   ten   p o w e - 5 .   F ro m   th e   e x p e ri m e n tal  re su lt s,  th e   DBB P L M   a lg o rit h m   p r o v id e su p e ri o p e rf o r m a n c e   in   term o f   train in g ,   a n d   f a ste train in g   w it h   h ig h e a c c u ra c y   c o m p a re d   to   th e   BBP   a lg o r it h m   a n d   w it h   e x isti n g   w o rk s.   K ey w o r d :   A cc u r ac y   tr ai n i n g   B atch   B ac k - p r o p ag atio n   alg o r ith m   D y n a m ic  lear n i n g   r ate   D y n a m ic   m o m en t u m   f ac to r   Sp ee d   u p   T r ain in g   Co p y rig h ©   2 0 1 8   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .     Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Mo h a m m ed   Sar h a n   A l_ D u ais    Facu lt y   o f   I n f o r m a tics   a n d   C o m p u ti n g ,   Un i v er s iti  Su lta n   Z ai n al  A b id i n ,   T er en g g an u ,   Ma la y s ia.   E m ail: sar h a n 2 w @ g m ail. co m       1.   I NT RO D UCT I O N   T h b atch   B P   alg o r ith m   i s   c o m m o n l y   u s ed   in   m a n y   ap p l icatio n s   i n cl u d in g   r o b o tics ,   au to m at io n ,   an d   w ei g h t   ch a n g es  in   A NNs   [ 1 ] .   T h B P   alg o r ith m   h as  l ed   to   tr e m en d o u s   b r ea k t h r o u g h s   i n   ap p licatio n s   in v o l v i n g   m u lti la y er   p er ce p tio n s   [ 2] .   Gr ad ien d esce n is   co m m o n l y   u s ed   to   ad j u s th w e ig h u s i n g   c h a n g e   th er r o r   tr ain in g h o w ev er ,   t h is   ap p r o ac h   is   n o g u ar an tee d   to   f i n d   th g lo b al  m i n i m u m   er r o r   [ 3 ] .   T h B B alg o r ith m   is   a cc u r ate  in   ter m s   o f   tr ai n in g   [ 4 ] .   T h b atch   BP   alg o r ith m   is   n e w   s t y le  f o r   u p d at in g   w ei g h t,  it   is   w id el y   u s ed   in   tr ain i n g   al g o r it h m s   a s   it   is   ac cu r ate   f o r   tr ai n i n g   [ 5 ] .   I t u ti lizes   th e   g r ad ie n d escen t,  w h ic h   d o es   n o en s u r to   r ea ch   th g lo b al  m i n i m u m   er r o r   b ec au s i t   m a y   r esu lt  i n   lead in g   t h lo ca m i n i m u m   [ 6 , 7 ] Desp ite  t h tr ain in g   r ate  a n d   m o m e n t u m   f ac to r   b ein g   s i g n i f ican p ar a m eter s   f o r   co n tr o llin g   th e   u p d ated   w ei g h t,  it   is   d if f ic u lt  to   s ele ct  th e   b est  v al u ed u r i n g   tr ain i n g   [ 8 ] .   Gen er all y ,   t h er ar t w o   tech n iq u e s   f o r   s elec ti n g   t h v al u es  f o r   ea ch   t r ain in g   r at an d   m o m e n tu m   f ac to r .   T h f ir s is   s et  to   b s m al co n s tan v al u f r o m   in ter v al   [ 1 ] ,   th s ec o n d   t h s ele cted   s er ie s   v al u f r o m   [ 9 ] .   T h lear n i n g   r ate  s h o u ld   b s u f f icie n tl y   lar g e   to   allo w   f o r   e s ca p in g   th lo c al  m in i m u m   [ 1 0 ] .   B u th b i g g e s v al u lead s   to   f ast  tr ai n in g   w i th   o s cil latio n   er r o r   tr ain in g .   T o   en s u r S u itab le  lear n i n g   B P   alg o r ith m ,   th l ea r n i n g   r ate  m u s b s m al [ 1 1 ] .   A n o th er   r eq u ir e m en ts   f o r   s p ee d i n g   u p   o f   t h b atc h   B B P   alg o r ith m   is   ad ap ti v tr ai n i n g   r ate  a n d   m o m en tu m   f ac to r   to g eth er   [ 1 2 ].   T h m ai n   p r o b le m   o f   B B P   alg o r ith m ,   i s   s lo w   tr ai n in g ,   o r   s tu c k   tr ai n i n g   ar o u n d   t h lo ca m i n i m u m   a n d   s u f f er s   f r o m   s atu r atio n   tr ai n i n g   [ 1 3 ] .   I n   ad d itio n   p r o b lem   o f   t h B P   alg o r it h m ,   s e v er al   p ar am eter s   n ee d   to   b ad j u s ted   m a n u all y ,   s u c h   as lea r n i n g   r ate  an d   m o m e n t u m   f ac to r   [ 1 4 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o ve d   Time  Tr a in in g   W ith   A cc u r a cy   o f B a tch   B a ck   P r o p a g a tio n   ( Mo h a mme d   S a r h a n   A l_ Du a is )   171   C u r r en w o r k   f o r   s o lv i n g   t h e   s lo w   tr ain in g   o f   th B B P   al g o r ith m   is   t h r o u g h   ad ap tin g   o f   s o m e   s ig n i f ica n p ar a m e ter s ,   s u c h   a s   le ar n in g   r ate   an d   m o m en t u m   f ac to r .   Fo r   t h ese  ca s es   m a n y   s t u d ies   h a s   b ee n   d o n s u c h   a s   [ 1 5 ]   i m p r o v ed   th B P   a lg o r it h m   t h r o u g h   t w o   tec h n iq u e s ,   th e   tr ain in g   r ate  an d   m o m e n t u m   f ac to r ,   th v al u es  o f   tr ai n i n g   r ate  w er f i x ed   at  d if f er en v al u es.  T h id ea   o f   th is   s t u d y   i s   to   s et  th v al u o f   tr ain i n g ,   r ate  to   b la r g in itia ll y ,   an d   th e n   to   lo o k   at  th v alu o f   er r o r   t r ain in g   af ter   iter at io n .   I f   th er r o r   ( e)   tr ain i n g   is   i n cr ea s ed ,   th e   f it  p r o d u ce d   ch an g e s   t h v al u o f   t r ain in g ,   r ate   m u lt ip lied   b y   les s   t h an   o n e   an d   th e n   r ec alcu lated   in   t h o r ig i n al  d ir ec tio n .   I f   th iter atio n   er r o r   ca n   b r ed u ce d ,   th f it  p r o d u ce d   ch an g es  t h v al u e   o f   tr ain in g   r ate  b y   m u ltip lied   b y   co n s ta n g r ea ter   t h an   o n e,   t h n ex t   iter at io n   is   ca lcu lated   co n ti n u o u s l y .   I n   [ 1 6 ]   co m p ar s ev er al  tech n i q u es  f o r   i m p r o v ed   B P   alg o r ith m .   T h B P   alg o r ith m   w it h   ad ap tiv lear n i n g   r ate   an d   m o m e n tu m   f ac to r   g a v s u p er io r   ac cu r ac y   tr ain in g   at   1 0 0 0   ep o ch s .   I n   [ 1 7 ]   m o d if y i n g   t h tr ai n i n g   r ate  an d   m o m e n t u m .   T h v al u o f   th tr ain i n g   r ate   s elec ted   d ep en d s   o n   th r atio   b et w ee n   t h e   n e w   er r o r   an d   th e   p r ev io u s   er r o r   tr ain i n g .   T h s i m u latio n   r e s u l ts   s h o w   a n   o p ti m izatio n   o f   t h tr ai n i n g   s p ee d   an d   an   o s c illatio n   r ed u ctio n   d u r atio n   tr ain i n g .   I n   [ 1 8 ] ,   cr ea ted   d y n a m ic  tr ai n i n g   t h at  co n s i s ts   o f   m u l ti - s tep s .   T h v alu o f   th lear n in g   r ate   an d   m o m en tu m   f ac to r   ar s et   as   m u n au le  v al u e .   Fro m   t h e x p er i m e n tal  r e s u lt s ,   t h i m p r o v ed   alg o r ith m   w as o v er all  ef f icie n t,  b o th   in   v i s u a l e f f ec t a n d   q u alit y .     T h r em a in i n g   p o r tio n   o f   th is   p ap er   is   o r g an ized   a s   f o llo w s Sectio n   2   is   th m ater ia ls   a n d   m et h o d Sectio n   3   is   cr ea ted   th d y n a m ic  p ar a m eter s Sect io n   4 ,   is   ex p er i m e n tal  r es u lts Secti o n   5   d is cu s s io n   to   v alid ate  th p er f o r m a n ce   o f   t h i m p r o v ed   alg o r it h m Secti o n   6 , ev alu ate  t h p er f o r m an c o f   i m p r o v DB B alg o r ith m . Fi n all y ,   Sectio n   7   th co n clu s io n s .         2.   M AT E RIAL S AN M E T H O D   T h is   k i n d   o f   th is   r esear c h   b elo n g s   to   th h eu r i s tic  m et h o d .   T h is   m et h o d   is   in c lu d es  t h le ar n in g   r ate   an d   m o m e n t u m   f ac to r .   T o   I n v esti g a te  th ai m s   o f   th i s   s t u d y   th er ar m an y   s tep s   as f o llo ws .     2 . 1 .   Da t a   s et   T h d ata  s et  i s   v er y   i m p o r ta n t   f o r   v er if ica ti o n   to   i m p r o v e   t h B B P   alg o r ith m .   I n   th i s   s tu d y ,   all   d ata  ar tak en   f r o m   UC I   Ma ch in L ea r n i n g   R ep o s ito r y   t h r o u g h   th li n k   h ttp s :/ /ar ch i v e. ics. u ci. ed u / m l /in d e x . h t m l A ll  r ea d ata s et  ch a n g to   b ec o m n o r m izatio n   d atase b et w ee n   [ 0 , 1 ] .   A ll  d ata  s et  d i v id ed   in   to   t w o   s et   tr ain i n g   s e t a n d   test in g   s et.     2. 2 .     Neura l N et w o rk   M o del   W p r o p o s an   A NN  m o d el,   w h ic h   co n s is t   o f   t h r ee - la y er   n eu r al  n e t w o r k   t h at  h as  a n   i n p u t,  h id d en ,   an d   o u tp u la y er .   T h in p u la y er   is   co n s id er ed   to   b { 1 x 2 x i x   },   w h ic h   r ep r esen ts   th n o d es;  th n o d es  d ep en d   o n   th ty p es  o r   attr ib u tes  o f   th d ata.   T h h id d e n   la y er   is   m ad o f   t w o   la y e r s   w it h   f o u r   n o d es.   W h er ea s   th h L   an d   k LL   ar th f ir s an d   s ec o n d   la y er   r esp ec ti v el y . T h o u tp u la y er   r Y   is   m ad e   o f   o n la y er   w ith   o n n eu r o n .   T h r ee   b asis ,   t w o   o f   t h e m   ar u s ed   i n   th h id d en   an d   o n in   t h o u t p u la y er ,   w h ic h   is   d en o ted   b y   0 j u , 0 k v   an d   0 r w . hj v   is   th w ei g h b et w ee n   n eu r o n   h   f r o m   h id d en   la y er   L   an d   n e u r o n   j   f r o m   th h id d en   la y er   LL ih u   is   t h w ei g h t b et w ee n   n e u r o n   i   in   t h i n p u t la y er   a n d   n e u r o n   h   in   th h id d en   la y er .   Fin all y ,   t h s i g m o id   f u n ctio n   i s   e m p lo y ed   as a n   ac tiv a tio n   f u n ctio n .       3.   CREA T E T H E   D YNAM I L E A RNIN G   RA T E   AND  M O M E NT UM   F ACTOR   T h w ei g h u p d ate  b et w ee n   n e u r o n   k   f r o m   t h o u tp u t   la y er   a n d   n e u r o n   j   f r o m   t h h id d en   la y er   is   as  f o llo w s :     ( 1 ) ( ) ( ) ( 1 ) j k j k j k j k w t w t w t w t            ( 1 )     W h er () jk wt   is   w ei g h c h an g th w e ig h is   u p d ated   f o r   ea c h   ep o c h   in   E q u atio n   1 .   Sp ee d   u p   tr ain i n g   d ep en d s   o n   p ar a m e ter   th at   af f ec t s   t h u p d atin g   o f   t h w e ig h t.  B e f o r g o in g   to   cr ea te  th d y n a m ic   f u n ctio n   f o r   lear n i n g   r ate  a n d   m o m en t u m   f ac to r .   T h ex p o n en t ial  i s   m o n o to n e   f u n ctio n ,   w e   ca n   cr ea te  t h e   lear n in g   r ate  as b o u n d ar y   f u n c tio n   as f o llo w s       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  7 ,   No .   4 ,     Dec em b er   201 8   :   1 7 0     1 7 8   172   ( sin 2 ) kE dmic e                 ( 2 )     f r o m   ab o v th d y n a m ic  lear n in g   r ate  dmic I n   th is   ca s th e   p r o p er ty   o f   f u n ctio n   ex p o n en tia l   d ep en d   o n   o f   th v alu o f   s i n 2 ke s i n e is   th b o u n d ar y   f u n ctio n   o n   d ef i n in g   s et  o f   ( er r o r   tr ain in g )   also   s i n e   h as  b o u n d ar y   a s   1 s i n 1 e   e    [0 , 1 ] .   T h E q u atio n   2 ,   is   b o u n d ed   f u n ct io n .   T h w eig h t   u p d ated   u n d er   ef f ec ted   b o u n d ar y   o f   lear n in g   r ate.   T o   g et  s m o o th   tr ai n i n g   a n d   av o id   in f latio n   in   t h g r o s s   w ei g h o f   t h e   ad d ed   v al u es  f o r   m o m e n t u m   fa cto r ,   th f it tin g   p r o d u ce r   th r o u g h   cr ea ti n g   d y n a m ic  m o m en t u m   f ac to r   an d   i m p licate  t h dmic .   Dep en d   ab o v w ca n   cr ea ted   th d y n a m ic  m o m e n t u m   f ac to r   as  f o llo w :     ( sin 2 ) 1 sin( [ ( 1 ) ] ) sin( ) dm ic r r kE e Y Y e            ( 3 )     W h er th   i s   t h p en alt y ,   t h d m i c   is   b o u n d ar y   f u n ca tio n .   I n s er th E q u atio n   2   an d   3   in t o   E q u atio n   1 ,   th e n   th w ei g h t is  u p d ated   b et w ee n   a n y   la y er   as  b elo w     ( s in 2 ) ( s in 2 ) 1 sin ( [ ( 1 ) ] ( 1 ) ( ) ( ) ) si ( ( 1 ) n) kE rr jk jk jk j k k E e w t w t w t w t e Y Y e     ( 4 )     T h w eig h ted   u p d ated   u n d er   ef f ec ted   u n d er   d y n a m ic  lear n i n g   r ate  an d   m o m en tu m   f ac to r     3 . 1 .     Dy na m ic  ba t ch  B a c k   pr o pa g a t io n ( D B B P L M )   a lg o ri t h m     Up d ate  W eig h t P h ase ,   t h w ei g h t s   a r ad j u s ted   s i m u lta n eo u s l y ,   as  f o llo w s     Fo r   ea ch   o u tp u t la y er   ,   Y,   th o u t p u t a t n e u r o n   r ,   j LL th s ec o n d   la y er     ( s in 2 ) ( s in 2 ) 1 ( 1 ) ( ) (  ) [ sin ( ( ( 1 ) ) sin ( ) ( 1 ) k E j rr r jr r j jr E k w t w t e L YY L e w t e     ( 5 )     Fo r   b ias   ( s in 2 ) 0 0 0 ( s in 2 ) 1 ( 1 ) ( ) (  ) [ sin ( ( ( 1 ) ) sin ( ) ( 1 ) E rr k r rr k E r w t w t e e w t e YY     ( 6 )     Fo r   ea ch   h id d en   la y er   h L   i=0 , …, n h =1 , …, q     ( s in 2 ) ( s in 2 ) 1 ( 1 ) ( ) (  ) [ sin ( ( ( 1 ) ) sin ( ) ( 1 ) E ih ih j i r r i E k k h u t w t e x e Y Y u t e     ( 7 )     Fo r   b ias ( s in 2 ) 0 0 0 ( s in 2 ) 1 ( 1 ) ( ) (  ) [ sin ( ( ( 1 ) ) sin ( ) ( 1 ) E h k h h r r k h E u t u t e e Y Y u t e     ( 8 )       4.   E XP E R I M E NT A L   RE SUL T   W ca lcu late  th ac c u r ac y   o f   t r ain in g   as  f o l lo w s   [ 1 9 ] ,   A c c ura c y   ( % ) = 1 ab s o l ut ( T i O i     ) UP LW 100   w h er UP =1   an d   L W = 0   ar th u p p er   b o u n d   an d   lo w er   b o u n d   o f   th ac tiv a tio n   f u n ctio n .     4 . 1 .     E x peri m ent   re s ult  o f   t he  DB B P L M   a lg o rit h m   w it h XO pro ble m   T h DB B P L alg o r i th m   is   t r ain in g   u n d er   ef f ec ted   d y n a m ic  lear n i n g   r ate  a n d   m o m e n tu m   f ac to r   w h ic h   c r ea ted   in   ea ch   E q u ati o n   2   an d   3 .   T en   ex p er i m en t s   h as  b ee n   d o n an d   th e n   tak t h av er ag o f   ti m e,   ep o ch   an d   ac cu r a c y .   T h r esu l t r ec o r d e d   in   th T ab le  1 .       j 0 ,1 , 2 ,   p ;   r 1 , m Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o ve d   Time  Tr a in in g   W ith   A cc u r a cy   o f B a tch   B a ck   P r o p a g a tio n   ( Mo h a mme d   S a r h a n   A l_ Du a is )   173   T ab le  1 A v er ag t h e   P er f o r m an ce   o f   DB B P L alg o r it h m   w it h   XO R     F i r st   st r u c t u r e                                                                                                 se c o n d   s t r u c t u r e   Ex   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   Av   1 . 9 5 6 9   2 7 4 1   0 . 9 8 3 4   1 . 6 2 6 7   2 8 3 2   0 . 9 8 5 8   S . D   0 . 1 9 8 0 2   0   0   0 . 1 2 0 3 2 8   0   0       Fro m   T ab le  1 ,   f o r   f ir s s tr u c tu r th av er a g tr ain in g   ti m i s   t = 1 . 9 5 6 9   s ec o n d s   w ith   2 7 4 1   ep o ch .   Fo r   s ec o n d   s tr u ct u r es  t h av er a g ti m tr ai n in g   is   t = 1 . 6 2 6 7   s ec o n d s ,   w it h   2 8 3 2   e p o ch .   No   m o r d if f er en b et w ee n   b o th   s tr u ctu r e s   f o r   ac cu r ac y   tr ain i n g .   T h ac cu r ac y   tr ai n i n g   is   v er y   h i g h   f o r   b o th   s t u r ac tu r e.   T h cu r v e   o f   t h e   tr ain i n g   i s   s h o w n   i n   th f o llo win g   Fi g u r 1.         ( a)     ( b )     Fig u r e   1 C u r v T r ain i n g   o f   D y n a m ic  al g o r ith m   w i th   XO R       Fro m   Fig u r e   1 ,   th cu r v ( a) ,   is   d ais y   q u ic k l y   w it h   in d ex   ep o ch   to   m ee g lo b al  m i n i m u m .   W h ile  th cu r v ( b ) ,   th w e ig h tr ain in g   ch a n g n ea r est  1 0 0 0   ep o ch s ,   th at  m ea n i n g   th DB B P L alg o r ith m ,   it  h a s   s atu r atio n   tr ai n in g ,   b u a f te r   th at,   t h c u r v e   tr ain i n g   i s   co n v er g e s   q u ic k l y   to   o b t ain   t h m i n i m u m   er r o r   tr ian in g.     4 . 2 .     E x peri m ent   re s ult  o f   t he  B B P   a lg o rit h m   w it h XO pro ble m   T h B B P   alg o r ith m   is   tr ai n i n g   w i th   m u n u al  v alu f o r   ea ch   le ar n i n g   r ate  an d   m o m e n t u m   f ac to r   f r o m   [ 0 , 1 ] .   E ig h v al u f o r   e ac h   lear n in g   r ate  a n d   m o m e n tu m   f ac to r   w er u s ed .   T h e x p er i m e n r e s u lt s   is   r ec o r d e d   in   th T ab le  2 .       T a b l e   2 .   A v e r a g e   P e r f o r m a n c e   o f   B B P   a l g o r i t h m   w i t h   X O R   V a l u e s o f   F i r st   st r u c t u r e                                                           S e c o n d   s t r u c t u r e       T i me - se c   Ep o c h   T i me - se c   Ep o c h   Av     2 3 5 1 . 9 8 5 2 5   1 7 8 2 2 9   2 1 7 2 . 4 9 5 7 5   5 0 2 6 2 2   S . D     2 4 7 2 . 5 4 1 3 5 3   1 4 2 0 5 5 . 6 4 6 5   2 5 9 6 . 8 6 8 0 2 9   4 9 9 4 2 1 . 8 4 6 4       Fro m   T ab le   2 ,   f o r   f ir s s tr u c tu r th a v er ag e   tr ai n in g   ti m i s   2 3 5 1 . 9 8 5 2 5 s ec o n d s   w it h 1 7 8 2 2 9   ep o ch Fo r   th s ec o n d   s tr u ct u r e ,   th av er ag tr ain in g   ti m 2 1 7 2 . 4 9 5 7 5   s ec o n d   w it h 5 0 2 6 2 2   e p o c h .   T h S.D  f o r   b o th   s tr u ct u r is   g r ea ter   t h an   o n e .     4 . 3 .     E x peri m ent s   re s ult  o f   t he  DB B P L M   a lg o rit hm   w it h   B a la nce -   T ra ini ng   s et   W i m p le m en t   th e   DB B P L alg o r it h m   u s i n g   b alan ce - t r ain in g   s et.   T h ex p er i m e n ts   r esu lt s   i s   tab u latio n   in   t h T ab le  3 .   Fro m   T ab le  3 ,   f o r   f ir s s tr u ct u r t h a v er ag tr ain i n g   ti m is   2 . 6 0 3 4   s ec o n d s   w it h   4 5   ep o ch s .   Fo r   s ec o n d   s tr u ctu r e   th av er ag tr ain in g   ti m is   3 . 0 1 4 8   s ec o n d s   w it h   ep o ch   is   8 5   ep o ch s .   B o th   s tr u ct u r es  g av e   h i g h   ac c u r ac y   tr ain i n g .   T h a v er ag S.D  o f   ti m f o r   b o th   s tr u ct u r es  ar l ess   t h an   o n e.   T h e   cu r v o f   t h tr ai n in g   is   s h o w n   in   th Fig u r 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  7 ,   No .   4 ,     Dec em b er   201 8   :   1 7 0     1 7 8   174   T h tr ain in g   cu r v o f   ( b )   s tar ted   w it h   f l at  - s p o tr ain i n g ,   wh ile  t h cu r v o f   tr ai n i n g   i n   ( a) s tar ted   w it h o u f lat  s p o t.  T h cu r v ( a )   atten d   to   t h g lo b al  m i n i m u m   ar o u n d   3 5   ep o ch s ,   w h ile  t h cu r v ( b )   atte n d   to   th g lo b al  m in i m u m   a f ter   s p e n d   8 0   ep o ch s .   A ls o   ea c h   c u r v ( a)   an d   ( b )   h av e   d if f er en t   ti m f o r   tr a in i n g   to   r ea ch   th g lo b al  m i n i m u m .       T ab le  3 .   A v er ag t h P er f o r m an ce   o f   DB B P L alg o r it h m   w it h   b alan ce -   tr ai n i n g   s et     F i r st   st r u c t u r e                                                                                         se c o n d   st r u c t u r e   Ex   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   Av   2 . 6 0 3 4   45   0 . 9 9 9 9 6   3 . 0 1 4 8   85   0 . 9 8 6   S . D   0 . 5 5 0 4 1   - 2 . 8 4 2 E - 14   4 . 8 9 8 E - 05   0 . 6 7 7 0 3   0   0         ( a)     ( b )     Fig u r 2 .   T r ain in g   cu r v o f   t h B P   alg o r ith m   w it h   b alan ce -   t r ain       4 . 3 . 1 .     E x peri m e nts o f   t he  ba t ch  B P   a lg o rit h m   w it h B a la nce -   T ra ing   s et   Sev er al  v al u f o r   ea ch   an d     w er u s ed   f r o m   ] 0 , 1 ] .   T h ex p er i m en t s   r es u lt s   ar e   tab u lated   in   T ab le  4       T a b l e   4 .   P e r f o r m a n c e   o f   b a t c h   B P   a l g o r i t h m   w i t h   b a l a n c e -   t r a i n   s e t   s e t   V a l u e s o f   F i r st   st r u c t u r e                                                                         S e c o n d   s t r u c t u r e       T i me - se c   Ep o c h   T i me - se c   Ep o c h   Av     1 0 6 6 . 5 4 5   3 4 1 6   4 4 3 . 0 4 7 5   4 8 3 4   S . D     2 0 2 5 . 9 5 6 1 0 2   3 5 7 7 . 9 6 5 0 9 5   3 2 7 . 7 7 4 8 6 2 9   3 4 3 1 . 4 3 7 7 1 7       Fro m   T ab le  4 ,   f o r   f ir s t   s tr u ct u r e,   th e   av er g o f   ti m i s   1 0 6 6 . 5 4 5     1 0 6 7   s   w it h   a v er ag ep o ch   is   3 4 1 6 ,   w h i le  th s ec o n d   s tr u ct u r th av er g o f   ti m tr ain i n g   i s   4 4 3 . 0 4 7 5   4 4 3   s   w it h   4 8 3 8   ep o ch .     4 . 3 . 2 .     E x peri m e nts  re s u lt   o f   t he  DB B P L M   a lg o rit h m   w it h B a la nce -   T esting   s et   T h ex p er im e n t s   r esu lt is   tab u lated   in   th T ab le   5.       T a b l e   5.   A v e r a g e   t h e   P e r f o r m a n c e   o f   D B B P L M   w i t h   B a l a n c e -   T e s t i n g   s e t     F i r st   st r u c t u r e                                                                                                           se c o n d   st r u c t u r e   Ex   T i me     se c   Ep o c h   A c c u r a c y   T r a i n i n g   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   Av   4 . 6 9 7 5   92   0 . 9 9 0 8   4 . 5 9 0 6   1 0 4   0 . 9 8 6 0   S . D   0 . 7 6 9 5 1 4 4   0   0   0 . 4 1 9 1 7 4 9   0   0       Fro m   T ab le  5 ,   f o r   f ir s s tr u ct u r th av er ag tr ain i n g   ti m i s   4 . 6 9 7 5 s ec o n d s   at   an   av er ag ep o ch   o f   is   9 2 ep o ch .   Fo r   s ec o n d   s tr u ctu r th av er ag tr ai n i n g   ti m i s   4 . 4 8 5 0   s ec o n d s   at  an   av er ag ep o ch   o f   is   1 0 4   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o ve d   Time  Tr a in in g   W ith   A cc u r a cy   o f B a tch   B a ck   P r o p a g a tio n   ( Mo h a mme d   S a r h a n   A l_ Du a is )   175   ep o ch .   B o th   s tr u ct u r es  g a v h ig h   ac c u r ac y   tr ai n i n g .   T h av er ag S.D  o f   ti m f o r   b o th   s tr u ctu r es  ar n ea r s to   ze r o .   B o th   s tr u ct u r es g a v h ig h   ac cu r ac y   tr ain i n g .   T h e   cu r v e   o f   tr ain i n g   s h o w n   in   Fig u r 3 .         ( a)     ( b )     Fig u r 3 .   C u r v T r ain i n g   o f   t h DB B L alg o r ith m   f o r   B alan ce -   T esti n g   s e t       4 . 3 . 2 .     E x peri m e nts r esu lt   o f   t he  b a t ch  B P   a lg o rit h m   w it h B a la nce - T esting   s et   W r u n   th b atch   B P   alg o r ith m   w it h   s e v er al  m u n al  v a lu e ,   an d   u s ed   th b alan ce - te s tin g   s et.   T h ex p er im e n t s   r esu lt r ec o d ed   in   th T ab le  6 .       T a b l e   6 .   T h e   p e r f o r m a n c e   o f   t h e   t r a i n i n g   o f   b a t c h   B P   a l g o r i t h m   w i t h   B a l a n c e - T e s t i n g   s e t   V a l u e s o f   F i r st   st r u c t u r e                                                                                                                         S e c o n d   s t r u c t u r e       T i me - se c   Ep o c h   T i me - se c   Ep o c h   Av     2 3 5 1 . 5 9 6   8 6 7 2   1 8 1 1 . 0 0 5 5   1 9 0 9 6   S . D     2 3 7 7 . 3 2 7   9 1 7 5 . 2 5 3 3 8 1   2 0 4 3 . 0 2 9 1 1   1 7 8 3 5 . 4 9 1 2       Fro m   T ab le   6 ,   f o r   f ir s s tr u ct u r th av er ag ti m tr ain in g   is   2 3 5 1 . 5 9 6   s ec o n d   w it h   8 6 7 2   ep o ch .   Fo r   s ec o n d   s tr u ct u r th a v er ag ti m is   1 8 1 1 . 0 0 5 5   s ec o n d s   w it h   1 9 0 9 6   ep o ch .     4 . 3 . 3 .     E x peri m e nts D B B L M   a lg o rit h m   w it h B re a s t   - T ra i nin g   s et   W w ill r u n   t h DB B L al g o r i th m ,   t h e x p er ien ce   r esu lts   a r g iv e n   in   t h T ab le  7 .       T ab le  7 .   A v er ag t h p er f o r m an ce   o f   DB B P L alg o r it h m   w it h   b r ea s t. -   T r ain in g   s et     F i r st   st r u c t u r e                                                                                                               se c o n d   st r u c t u r e   Ex   T i me     se c   Ep o c h   A c c u r a c y   T r a i n i n g   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   Av   2 . 3 5 6   62   0 . 9 9 9   2 . 3 0 3 4   59   0 . 9 9 8 2   S . D   0 . 1 0 7 0 9 6 2 1   0   0   0 . 1 0 6 8 5 3 3 5   0   0       Fro m   T ab le  7 ,   ea s ily   ca n   s ee   p er f o r m an ce   o f   DB B P L al g o r ith m .   B o t h   th e   s tr u ctu r e s   th e   av er ag o f   th tr ain in g   ti m is   v e r y   s h o r t .   T h av er ag S.D  o f   ti m f o r   b o th   s tr u ct u r es a r n ea r s t to   ze r o .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  7 ,   No .   4 ,     Dec em b er   201 8   :   1 7 0     1 7 8   176     ( a)     ( b )     F i g u r e   4 .   C u r v e   T r a i n i n g   o f   t h e   D B B L M   a l g o r i t h m   f o r   B r e a s t - T r a i n i n g   s e t       Fig u r 4   f r o m   b o th   s tr u ct u r e,   o f   th DB B P L alg o r ith m   t h tr ain in g   ( a)   an d   ( b )   h av s m o o th   cu r v tr ain in g .   B o th   C u r v es a r atten d ed   f a s w it h   i n d ex   ti m to   th g lo b al  m i n i m u m .     4 . 3 . 4 .     E x peri m e nts r esu lt   o f   t he  B B P   a l g o rit h m   w it h B re a s t   - T ra ini ng   s et   W u s ed   3 7 4   p atter n s   f o r   tr ain in g   s et .   T h r esu lt s   ar s h o wn   in   t h T ab le  8 .   Fr o m   T ab le  8   f o r   f ir s s tr u ct u r th a v er ag ti m tr ai n in g   is   1 5 4 7 . 8 0 7 5   s ec o n d   w it h   1 2 4 3 0   ep o ch s   w h il  s ec o n d   s tr u ctu r t h av er ag e   ti m i s   1 3 6 1 . 4 8 6 6 6 7 s ec o n d s   w it h   1 5 9 5 3 .       T a b l e   8 .   P e r f o r m a n c e   o f   B B P   a l g o r i t h m   w i t h   B r e a s t - T r a i n i n g   s e t   V a l u e s o f   F i r st   st r u c t u r e                                                                                       S e c o n d   s t r u c t u r e       T i me - se c   Ep o c h   T i me - se c   Ep o c h   Av     1 5 4 7 . 8 0 7 5   1 2 4 3 0   1 3 6 1 . 4 8 6 6 6 7   1 5 9 5 3   S . D     2 0 9 4 . 2 4 7 3 2 9   1 8 6 1 7 . 6 9 2 2 7   1 8 2 9 . 0 9 6 8 0 7   1 5 3 8 5 . 1 8 2 8 4       4 . 3 . 5 .     E x peri m e nts D B B P L M   a lg o rit hm   w it h B re a s t - T esting   s et   Fro m   T ab le  9 ,   th d y n a m ic  t r ain in g   r ate   an d   m o m en t u m   f ac to r   h elp s   t h DB B P L alg o r ith m   f o r   r ed u cin g   t h ti m tr ain i n g .   B o th   th s tr u c tu r es ,   th e   av er ag o f   th e   tr ain in g   t i m e   is   v er y   s h o r t .   Fo r   f ir s t   s tr u c t u r th a v er ag ti m i s   0 . 8 4 4 s ec o n d s   w ith   a v er ag 3 3   ep o ch s ,   w h ile  th s co n d   s tr u ctu r t h av er a g e   ti m i s   1 . 6 1 7 7 w it h   av er a g 6 1   ep o ch s .       T a b l e   9 .   A v e r a g e   t h e   p e r f o r m a n c e   o f   D B B P L M   a l g o r i t h m   w i t h   B r e a s t - T e s t i n g   s et     F i r st   st r u c t u r e                                                                                                                                       se c o n d   st r u c t u r e   Ex   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   T i me - se c   Ep o c h   A c c u r a c y   T r a i n i n g   Av   0 . 8 4 4   33   0 . 9 4 4 2 0 6   1 . 6 1 7 7   61   0 . 9 8 7   S . D   1 . 1 1 0 2 E - 16   0   0   0 . 0 9 2 1 7 4 8 8   0   0       4 . 3 . 6 .     E x peri m e nts r esu lt s   o f   B B P   a lg o rit hm   w it h B re a s t - T esting   s et   W u s ed   2 5 1   p atter n s   f o r   te s tin g   th p er f o r m a n ce   o f   B B P   alg o r ith m .   T h ex p er m en t s   r esu lt   is   tab u lated   in   t h T ab le   1 0 .       T a b l e   1 0 .   P e r f o r m a n c e   o f   B B P   a l g o r i t h m   w i t h   B r e a s t - T e s t i n g   s e t   V a l u e s o f   F i r st   st r u c t u r e                                                                                         S e c o n d   st r u c t u r e       T i me - se c   Ep o c h   T i me - se c   Ep o c h   Av     1 7 4 1 . 0 1 7 7 1 4   1 7 7 8 5 . 4 2 8 5 7   1 9 2 0 . 9 8 4 1 4 3   1 0 7 0 9   S . D     2 3 3 9 . 4 7 0 1 1 9   1 5 5 1 5 . 2 9 4 0 8   2 0 1 3 . 9 5 2 5 4 7   9 7 8 1 . 1 9 2 9 8 9   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ - AI     I SS N:  2252 - 8938       I mp r o ve d   Time  Tr a in in g   W ith   A cc u r a cy   o f B a tch   B a ck   P r o p a g a tio n   ( Mo h a mme d   S a r h a n   A l_ Du a is )   177   Fo r m   th T ab le  1 0 ,   th r an g o f   th tr ain i n g   ti m f o r   b o th   s tr u ct u r is   1 0 0 . 3 1 2 0   6 3 0 0   s ec o n d s   an d   6 0 . 1 6 7 0   s e c on ds   t 4560 s ec o n d s ,   th is   m ea n s   t h r an g o f   ti m tr ai n in g   i s   w id el y   ti m tr ai n i n g       5.   DIS CU SS I O T O   VA L I DA T E   T H E   P E RF O RM ANCE O F   I M P RO VE AL G O RI T H M   T o   v alid ate  th ef f icie n c y   o f   th i m p r o v ed   alg o r it h m ,   th r o u g h   co m p ar t h p er f o r m a n ce   o f   th e   DB B P ML   alg o r ith m   w it h   t h e   p er f o r m a n ce   o f   th b atc h B P   alg o r ith m   b ased   o n   ce r tai n   cr i ter ia .   W ca lcu late  th s p ee d   u p   tr ain i n g   u s in g   t h e   f o llo w in g   f o r m u la  [ 2 0 ] :     Sp ee d   u p   = Execut i o n   t i m e   of        Execut i o n   t i m e   of            5. 1 .     P r o ess ing   T i m o f   DB B P L M   Alg o rit hm   Ver s u s   t he  B B P   Alg o ri t h m   f o w it h diff er ent   Str uct ure   T o   v alid ate  th i m p r o v ed   alg o r ith m   o r   DB B P L alg o r ith m ,   w co m p ar th p er f o r m a n ce   b et w ee n   th DB B P L alg o r ith m   a n d   th B B P   alg o r ith m .   T h s p ee d - u p   o b tain ed   in   tr a in in g   is   s h o w n   i n   T ab le  1 1 .       T ab le  1 1 .   Sp ee d   u p   th DB B PL al g o r ith m   v er s u s   B B P   w it h   d if f er en s tr u ct u r   F i r st   st r u c t u r e   S e c o n d   s t r u c t u r e     D B B P L M   a l g o r i t h m   B B P   a l g o r i t h m   S p e e d   u p   R a t e   ( B B P / D B B P L M )   D B B P L M   a l g o r i t h m   B B P   a l g o r i t h m   S p e e d   u p   R a t e   ( B B P / D B B P L M )     A V   t i me   - sc   A V   t i me   - sc       A V   t i me   - sc     XOR   1 . 9 5 6 9   2 3 5 1 . 9 8 5   1 2 0 1 . 8 9 3   1 . 6 2 7   2 1 7 2 . 4 9 5   1 3 3 5 . 5 2 3   B a l a n c e   T r a i n i n g   B a l a n c e   T e st i n g   2 . 6 0 3 4   1 0 6 6 . 5 4 5   4 0 9 . 6 7 4   3 . 0 1 5   4 4 3 . 0 4 7   1 4 6 . 9 5 8   4 . 6 9 7 5   2 3 0 1 . 5 9 6   4 8 9 . 9 6 1 9   4 . 5 9 1   1 7 5 6 . 0 0 5   3 8 2 . 5 2 2   B r e a st   T r a i n i n g   B r e a st   T e st i n g   2 . 3 5 6   1 5 4 7 . 8 0 8   6 5 6 . 9 6 4 1   2 . 3 0 3   1 3 6 1 . 4 8 7   5 9 1 . 0 7 7 1   0 . 8 4 4   1 7 4 1 . 0 1 8   2 0 6 2 . 8 1 7   1 . 6 1 8   1 9 0 0 . 9 8 4   1 1 7 5 . 1 1 5       Fro m   T ab le  1 1 ,   it is   ev id en t t h at  th d y n a m ic  al g o r ith m   p r o v id es su p er io r   p er f o r m an ce   o v er   th B B P   alg o r ith m   f o r   all  d atasets   with   b o th   s tr u ctu r e.   Ho w ev er   f o r   f ir s s tr u c tu r e,   th DB B P L alg o r ith m   i s   2 0 6 2 . 8 1 7 2 0 6 3 s   tim e s   f a s ter   th an   t h B B P   alg o r ith m   at  m ax i m u m   tr ain i n g ,   an d   also   th DB B P L alg o r ith m   is   4 0 5 . 7 3 8   4 0 6 s   tim es  f aster   th a n   th B B P   alg o r ith m   at  m in i m u m   tr ain i n g .   Fo r   s ec o n d   s tr u ct u r e   T h DB B P L alg o r it h m   is   1 3 3 5 . 5 2 3 1 3 3 6   tim es  f as ter   th a n   t h B B P   alg o r ith m   at  m a x i m u m   tr ain i n g ,   an d   also   th DB B P L alg o r it h m   i s   1 4 6 . 9 5 8   1 4 7 s   tim e s   f a s ter   th an   th B B P   alg o r ith m   a m i n i m u m   tr ai n i n g .       6.   E VA L UA T I O O F   T H E   P E RF O RM ANCE O F   I M P R O VE B AT CH   B P   AL G O R I T H M     T o   ev alu ated   th p er f o r m an ce s   o f   t h i m p r o v ed   al g o r ith m   o r   DB B P ML   alg o r it h m   f o r   s p ee d in g   u p   tr ain i n g   w h ic h   p r ese n ted   i n   th is   s t u d y .   T h p er f o r m a n ce s   o f   t h DB B P ML   al g o r ith m   ar co m p ar ed   to   p r ev io u s   r e s ea r ch   w o r k s   [ 1 3 ] [ 1 6 ] .   T h p er f o r m an ce   o f   t h i m p r o v al g o r ith m   w h ic h   p r o p o s ed   in   t h i s   s tu d y   g iv e s   s u p er io r   p er f o r m a n ce   th an   ex i s ts   w o r k s .         7.   CO NCLU SI O N   T h is   p ap er   in tr o d u ce d   th D B B P L alg o r ith m ,   w h ich   tr a in s   b y   d y n a m ic  f u n ct io n   f o r   ea ch   th e   lear n in g   r ate  an d   m o m e n t u m   f ac to r .   T h is   f u n c tio n   in f l u e n c es  o n   th w ei g h f o r   ea ch   h id d en   la y er   an d   o u tp u la y er .   Fro m   ex p er i m en ts   r es u l tin g   t h DB B P L al g o r ith m   g iv e s   s u p er io r   tr ain in g   t h a n   B B P   alg o r ith m   f o r   all   d ata  s et,   w it h   b o th   s tr u ct u r e.   On o f   t h m ai n   ad v an ta g e s   o f   th e   d y n a m ic  tr ai n in g   is   th at  i r ed u ce s   t h e   tr ain i n g   ti m an d   r ed u ce s   t h er r o r   tr ain in g ,   n u m b er   o f   ep o ch s   a n d   e n h a n ce m e n t   t h ac cu r ac y   o f   th e   tr ain i n g .   T h p er f o r m an ce   o f   DB B P L alg o r ith m   w h ich   p r ese n ted   in   th i s   s t u d y   g av s u p er io r   p er f o r m an ce   co m p ar e   w it h   e x is t s   w o r k .       RE F E RE NCES   [1 ]   R. Ka laiv a n i,   K.S u d h a g a K,  L a k sh m P .   Ne u ra Ne tw o rk   b a se d   V ib ra ti o n   Co n tro l   f o V e h icle   A c ti v e   S u sp e n sio n   S y st e m .   In d ia n   J o u rn a o S c ien c e   a n d   T e c h n o l o g y .   9 (1 ) ,   2 0 1 6 .   [2 ]   P . M o a ll e m .   I m p ro v in g   Ba c k ‐P ro p a g a ti o n   V IA   a n   e ff icie n Co m b in a ti o n   o f   A   S a tu ra ti o n   S u p p r e ss io n   M e th o d .   Ne u ra Ne two rk   W o rld .   2 0 (2 ) ,   2 0 1 0 .   [3 ]   l. v   Ka m b le,  D.R  P a n g a v h a n e ,   &   T . P   S i n g h ,   Im p ro v in g   t h e   P e rf o rm a n c e   o f   Ba c k - P ro p a g a ti o n   T ra in in g   A lg o rit h m   b y   Us in g   AN N.  In ter n a ti o n a J o u rn a o Co m p u ter ,   El e c trica l,   A u to ma ti o n ,   Co n tro a n d   In f o rm a ti o n   E n g i n e e rin g 9 (1 ),   1 8 7 - 1 9 2 ,   2 0 1 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938   IJ - AI    Vo l.  7 ,   No .   4 ,     Dec em b er   201 8   :   1 7 0     1 7 8   178   [4 ]   J.M . Riz w a n ,   P N.Krish n a n ,   R. Ka rth ik e y a n ,   S R. Ku m a r.   M u lt la y e r   p e rc e p ti o n   ty p e   a rti f icia n e u ra n e tw o rk   b a se d   traff ic co n tro l.   I n d i a n   J o u r n a o S c ien c e   a n d   T e c h n o l o g y ,   9 ( 5 ),   2 0 1 6 .   [5 ]   R.   Ka laiv a n i,   K.  S u d h a g a r ,   P .   L a k sh m i,   Ne u ra Ne tw o rk   b a se d   V ib ra ti o n   Co n tr o f o V e h icle   A c ti v e   S u sp e n sio n   S y st e m .   In d ia n   J o u rn a o S c ien c e   a n d   T e c h n o l o g y 9 (1 ) ,   2 0 1 6 .   [6 ]   M .   S .   A l_ Du a is,  &   F .   S .   M o h a m a d ,   A   Re v ie w   o n   En h a n c e m e n ts  to   S p e e d   u p   T ra in in g   o f   th e   B a tch   Ba c k   P r o p a g a ti o n   A lg o rit h m In d ia n   J o u rn a l   o f   S c ien c e   a n d   T e c h n o lo g y ,   9 (4 6 ),   1 - 1 0 ,   2 0 1 6 .   [7 ]   H..   M o ,   J.W a n g ,   H.  Niu ,   Ex p o n e n b a c k   p ro p a g a ti o n   n e u ra n e t w o rk   f o re c a stin g   f o f in a n c ial  c ro ss - c o rre latio n   re latio n sh i p .   Exp e rt S y ste ms   wit h   Ap p li c a ti o n s ,   5 3 ,   1 0 6 - 1 0 1 6 ,   2 0 1 6 .   [8 ]   Q.A b b a s ,   F . A h m a d ,   M . Im ra n ,   V a riab le  lea rn in g   ra te  b a se d   m o d if ica ti o n   i n   b a c k p ro p a g a ti o n   a lg o ri t h m   (M BP A o f   a rti f icia n e u ra n e tw o rk   f o d a ta cla ss i f ica ti o n .   S c ien c e   I n ter n a t io n a l ,   2 8 ( 3 ),   2 3 6 9 - 2 3 7 8 ,   2 0 1 6 .   [9 ]   W u   S X ,   L u o   DL ,   Zh o u   ZW ,   Ca JH ,   S h YX .   A   k in d   o f   BP   n e u ra n e tw o rk   a lg o rit h m   b a s e d   o n   g re y   in terv a l.   In ter n a t io n a J o u rn a o S y ste ms   S c ien c e ,   4 2 (3 ) ,   3 8 9 - 9 6 ,   2 0 1 1 .   [1 0 ]   H.  A z a m i,   S . S a n e i ,   M o h a m m a d K.  Im p ro v in g   th e   n e u ra n e tw o rk   train in g   f o f a c e   re c o g n it io n   u sin g   a d a p ti v e   lea rn in g   ra te,  re sili e n b a c k   p ro p a g a ti o n   a n d   c o n j u g a te  g ra d ien a lg o rit h m .   J o u rn a o Co m p u te Ap p li c a ti o n s 3 4 ( 2 ):2 2 - 6   2 0 1 1 .   [1 1 ]   J.  G e ,   J.S h a ,   Y.F a n g ,   A n   n e b a c k   p ro p a g a ti o n   a lg o rit h m   w it h   c h a o ti c   lea rn i n g   ra te.  In ter n a ti o n a Co n fer e n c e   o n   S o f twa re   En g i n e e rin g   a n d   S e rv ice   S c ien c e s ,   1 6 ,   4 0 4 - 4 0 7 ,   2 0 1 5 .   [1 2 ]   J.   G u ,   G . Yin ,   P .   Hu a n g ,   J.  G u o ,   L .   Ch e n ,   A n   im p ro v e d   b a c k   p ro p a g a ti o n   n e u ra n e tw o rk   p re d ictio n   m o d e f o su b su rf a c e   d rip   irri g a ti o n   sy ste m .   Co mp u ter a n d   El e c trica E n g in e e rin g ,   1 - 8 ,   2 0 1 7 .   [1 3 ]   A . A . Ha m e e d ,   B.   Ka rli k ,   M . S . S a l m a n ,   Ba c k - p ro p a g a ti o n   a lg o rit h m   w it h   v a riab le  a d a p ti v e   m o m e n tu m .   Kn o wle  d g e - Ba se   d   S y ste ms ,   1 4 1 ,   7 9 87 ,   2 0 1 6 .   [1 4 ]   E. No e rsa so n g k o ,   F .   T .   Ju lf ia,  A .   S y u k u r,   R.   A .   P ra m u n e n d a r,   &   C .   S u p riy a n to ,   A to u rism   a rriv a f o re c a stin g   u sin g   g e n e ti c   a lg o rit h m   b a se d   n e u ra n e tw o rk .   In d ia n   J o u rn a o S c ien c e   a n d   T e c h n o l o g y ,   9 (4 ) ,   2 0 1 6 .   [1 5 ]   W .   Zh a n g ,   Z. L i ,   W . X u ,   H.Z h o u ,   c la ss if ier   o sa telli te  sig n a ls  b a se d   o n   th e   b a c k - p r o p a g a ti o n   n e u ra n e two rk .   I n   8 th   I n tern a ti o n a C o n g re ss   o n   Im a g e   a n d   S ig n a P ro c e ss in g   (CIS P ) ,   1 3 5 3 - 1 3 5 7 ,   2 0 1 5 .   [1 6 ]   H.. A z a m i,   &   J.E sc u d e ro ,   c o mp a ra t ive   stu d y   o b re a st  c a n c e d ia g n o sis  b a se d   o n   n e u ra n e two rk   e n se mb le  v ia   imp ro v e d   tra i n in g   a l g o rit h ms .   P r o c e e d in g in   3 7 th   A n n u a In tern a ti o n a Co n f e re n c e   o f   th e   IEE En g in e e rin g   in   M e d icin e   a n d   Bi o lo g y   S o c iet y   (EM BC) ,   2 0 1 5 ,   2 8 3 6 - 2 8 3 9 ,   2 0 1 5 .   [1 7 ]   L . . Ru i,   Y.  X i o n g ,   X iao ,   K.,   &   Qiu ,   X BP   n e u r a n e two rk - b a se d   we b   se rv ice   se lec ti o n   a lg o rith in   th e   sm a rt   d istrib u ti o n   g ri d .   p ro c e e d i n g 1 6 t h   A sia - P a c if ic  In   Ne t w o rk   Op e ra t io n a n d   M a n a g e m e n t   S y m p o siu m   ( A P NO M S ),   1 - 4 ,   2 0 1 4 .   [1 8 ]   D,  Yo n g h a o   Z. P e n g ,   Yu m in g S ,   S a n y u a n   Z Imp ro v e me n ts  o c o e ff icie n lea rn i n g   in   BP NN  fo im a g e   re sto ra ti o n   re sto ra ti o n   ICS AI .   I n tern a ti o n a Co n f e re n c e   o n   S y ste m s,  Ya n tai,   2 6 9 2 - 9 4 ,   2 0 1 2 .   [1 9 ]   N.  M ,   Na w i,   N.  A   Ha m id ,   R.   S ,   Ra n sin g ,   R, G h a z a li   &   M .   N.  S a ll e h ,   En h a n c i n g   Ba c k   P ro p a g a ti o n   Ne u ra Ne tw o rk   A l g o rit h m   w it h   A d a p ti v e   Ga in   o n   Clas sif ic a ti o n   P r o b lem s .   Ne two rk s ,   v o l. 4 ,   n o . 2 ,   2 0 1 1 .   [2 0 ]   H.S a k i ,   A . T a h m a sb i ,   H .   S a lt a n ian - Zad a h ,   a S . S h o k o u h i .   F a st  o p p o site  w e ig h lea rn in g   ru les   w it h   a p p li c a ti o n   in   b re a st ca n c e r.   Co mp u ter s i n   b io l o g y   a n d   me d ici n e .   4 3 (1 ) :   32 - 4 1 ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.