I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 Decem b er   2 0 2 0 ,   p p .   6 5 7 4 ~ 6 5 8 1   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 10 i 6 . pp 6 5 7 4 - 6 5 8 1           6574       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Predic tion o a t mo spheric po llutio n using  neural  ne tw o rk m o del o fin e part icles in  the  tow n o K ennedy  i n Bo g o       J ua n Ca m ilo   P edra za ,   O s w a ldo   Albert o   Ro m er o ,   H elber t   E du a rdo   E s pitia   F a c u lt a d   d e   I n g e n iería ,   Un iv e rsid a d   Distrit a F ra n c isc o   Jo   d e   Ca l d a s,  Co l o m b ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Feb   17 ,   2 0 20   R ev i s ed   J u n   1 ,   2020   A cc ep ted   J u n   1 4 ,   2 0 2 0       T h is  w o rk   sh o w a n   a p p li c a ti o n   b a se d   o n   n e u ra n e tw o rk to   d e term in e     th e   p re d ictio n   o f   a ir  p o ll u t i o n ,   e sp e c ially   p a rti c u late   m a teria o   2 . 5   m icro m e ters   len g th .   T h is  a p p li c a ti o n   is  c o n si d e re d   o f   g re a im p o rtan c e   d u e   t o   t h e   im p a c o n   h u m a n   h e a lt h   a n d   h ig h   im p a c d u e   to   th e   a g g lo m e ra ti o n   o f   p e o p le  i n   c it ies .   T h e   im p le m e n tatio n   is  p e rf o rm e d   u sin g   d a ta  c a p tu re d   f ro m   se v e ra d e v ice th a c a n   b e   i n sta ll e d   i n   sp e c if ic  lo c a ti o n f o a   p a rti c u lar   g e o g ra p h ica e n v iro n m e n t,   e sp e c ially   in   th e   lo c a li ty   o f   Ke n n e d y   in   B o g o tá.   T h e   m o d e o b tain e d   c a n   b e   u se d   f o th e   d e sig n   o f   p u b li c   p o li c ies   t h a c o n tr o a ir  q u a li ty .   K ey w o r d s :   A ir   m o n ito r i n g   A t m o s p h er ic  p o llu tio n   Neu r al  n et w o r k s   P ar ticu late  m ater ial   S m ar t c itie s   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Os w ald o   A lb er to   R o m er o ,     Facu ltad   d I n g e n ier ía,   Un i v er s id ad   Dis tr ital Fr a n cisc o   J o s é  d e   C ald as,   C r a.   7   #   4 0 b - 5 3 ,   B o g o tá,   C o lo m b ia,   E m ail: o r o m er o v @ u d i s tr ital.e d u . co       1.   I NT RO D UCT I O N     A ir   p o llu tio n   i s   an   ac u te  t h r e at,   it  is   p h e n o m en o n   th a h as  p ar ticu lar   i m p ac o n   h u m an   h ea lt h .     T h ch an g e s   th at  o cc u r   in   th ch e m ical  co m p o s itio n   o f   t h at m o s p h er ca n   c h an g th cli m ate,   p r o d u ce   ac id   r ain   o r   d estro y   t h o zo n la y er ,   all  p h en o m en o f   g r ea g l o b al  i m p o r tan ce .   T h W o r ld   Hea lth   Or g a n izatio n   ( W HO)   co n s id er s   air   p o llu tio n   as o n o f   th m o s t i m p o r tan g lo b al  p r io r ities   [ 1 ] .   T h u s o f   n o n - r e n e w ab le  r eso u r ce s   in   t h p r o d u ctio n   o f   en er g y ,   s u ch   as  o il  o r   co al,   g en er ate s   i m p o r tan e m i s s io n s   o f   s u lf u r   d io x id ( SO2 ) ,   ca r b o n   m o n o x id ( C O) ,   a m o n g   o t h er s .   On   t h o t h er   h an d ,     th m ea n s   o f   tr a n s p o r t u s ed   in   ev er y d a y   li f co n s t itu te  an o t h er   alar m in g   s o u r ce   o f   co n ta m i n atio n .   A   lar g p ar t   o f   th e s p o llu tan ts   e m itted   in t o   th en v ir o n m en t i s   g e n er ate d   b y   au t o m o b iles   [ 2 ] .   I n   co n s eq u e n ce ,   th r ee   m ai n   s tep s   ar p r o p o s ed   to   b f o llo w ed   to   ad d r ess   air   p o llu tio n   p r o b lem s .     T h d ef in itio n   o f   air   q u alit y   p ar a m eter s   t h at  n ee d   to   b co n t r o lled th m o n ito r in g   o f   t h ese   th r o u g h   t h u s o f   s p ec if ic  h ar d w ar an d   s o f t w ar e;  an d   t h ad o p tio n   o f   s o l u tio n s   ai m ed   at  r ed u ci n g   t h co n ce n tr atio n   o f   h ar m f u l   s u b s ta n ce s   a n d   en s u r i n g   clea n   lo n g - ter m   air   [ 3 ] .   A s   f o r   air   q u alit y   p ar a m e ter s ,   t h ese   ar d eter m i n ed   b y     th e n v ir o n m en tal   p o licies  o u tlin ed   b y   t h cit y   g o v er n m e n t .   T h m o n i to r in g ,   f o r   t h is   ex p er i m en t,  is   ca r r ied   o u b y   t h s u r v e illa n ce   s tat i o n s   t h at  ar i n s talled   i n   d i f f er en p o in ts   o f   t h e   cit y .   I n   t h ca s o f   B o g o tá,     d esp ite  th ef f o r ts   m ad b y   en v ir o n m e n tal  a u t h o r ities ,   ac ad em ic  in s tit u tio n s   an d   ci tizen s   i n   g en er al,   th ca p ital   cit y   o f   C o lo m b ia  i s   to d a y   o n o f   t h e   m o s p o llu t ed   cities   in   L ati n   Am er ica.   O n o f   t h p o ll u tan ts   o f   g r ea test   c o n ce r n   i n   th cit y   i s   th p ar ticu late  m ater ial,   s in ce   its   le v els  f r eq u en tl y   e x ce ed   th air   q u ality   s tan d ar d s   [ 2 ] .   T h Secr etar ia  Dis tr ital  d el  A m b ien te  o f   B o g o tá  h as  t h “R ed   d e   Mo n ito r eo   d e   C alid ad   d el  A ir d B o g o tá  -   R M C A B ”,   w h ich   co m p r i s es   1 3   f i x ed   m o n ito r i n g   s tatio n s   an d   a   m o b ile   s tatio n   o p er atin g   in   d if f er en t   p ar ts   o f   t h ci t y ,   eq u ip p ed   w it h   c u tti n g - ed g tec h n o lo g y   to   a llo w   co n ti n u o u s   m o n ito r in g   o f   th e   co n ce n tr atio n s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictio n   o f a tmo s p h eric p o llu tio n   u s in g   n eu r a l n etw o r ks mo d el  o f fin p a r ticles  . ..  ( Ju a n   C a milo   P ed r a z a )   6575   o f   p ar ticu late  m atter   ( P M1 0 ,   P S T ,   P M 2 . 5 ) ,   p o llu tan g a s es  ( SO2 ,   NO2 ,   C O,   O3 )   an d   w ea t h er   v ar iab les   p r ec ip itatio n ,   w in d   s p ee d   an d   d ir ec tio n ,   te m p er atu r e,   s o lar   r ad iatio n ,   r elativ h u m id it y ,   an d   b ar o m etr ic   p r ess u r [ 2 ] .   Fig u r 1   estab lis h e s   co m p ar is o n   o f   h u m a n   h air   v s   P M1 0   an d   P M2 . 5   to   o b s er v   th i m p o r ta n ce   o f   th p ar tic u la te  m atter .   A th g lo b al  le v el,   d if f er en s o u r ce s   o f   i n f o r m atio n   h a v b e en   u s ed   to   m iti g ate  an d   p r ed ict  lev el s   o f   air   p o llu tio n   an d   o n o f   th e   m o s p r o m is i n g   to o ls   ar th ar tif icia n e u r al  n et w o r k s ,   s in ce   th e s allo an al y z in g   a   lar g e   a m o u n o f   d ata  an d   m a k i n g   p r ed ictiv m o d els  t h at  allo w   f o r ec ast in g   f u t u r p o llu tio n   le v el s .   I n   th is   w o r k ,   a n   ar ti f icial  n e u r al  n et w o r k   w as c h o s e n   f o r   th p r ed ictio n   o f   s tati s tical  d ata  a n d   th r e s u l w as a n   an al y s is   o f   p r o t o t y p i n   m ac h in e   lear n i n g   m o d el  f o r   t h e   p r ed ictio n   o f   air   p o llu ta n t s   o f   p ar ticu la te  m atter   ( P M)   in   an   ar ea   o f   B o g o tá  ( Ke n n ed y ) .           Fig u r 1 .   C o m p ar is o n   o f   h u m an   h air   v s .   P M1 0   v s .   P M2 . 5       2.   RE S E ARCH   M E T H O D     T h is   w o r k   e m p lo y s   n eu r al  n et w o r k s   s i n ce   th e y   ar w id el y   u s ed   in   t h f o r ec asti n g   p r o ce s s   in   d if f er e n ar ea s ,   as  ca n   b s e en   in   [ 4 - 6 ] .   T o   ca r r y   o u th d esig n   o f   t h i s   ar tif icia n e u r al  n et w o r k   ( NN) ,     th f o llo w i n g   m e th o d o lo g ical  s tep s   w er f o llo w ed :   -   Selectio n   o f   i n p u t v ar iab les.   -   No r m a lizatio n .   -   A r c h itect u r s elec tio n : a m o u n t o f   NN  f o r   h id d en   la y er .   -   Selectio n   o f   t h ac ti v atio n   f u n ctio n .   -   Selectio n   o f   t h lear n in g   al g o r ith m .   -   T r ain in g   an d   v alid atio n   o f   NN .     2 . 1 .     Select io n o f   inp ut  v a ria bles   Data   p r o v id ed   b y   th e   Ken n e d y   air   q u alit y   m o n ito r in g   s tat io n ,   as  s h o w n   i n   T ab le  1   w a s   u s ed   f o r   th s e lectio n   o f   i n p u v ar iab les;   t h is   s tat io n   i s   u n d er   t h e   ad m i n is tr atio n   o f   th e   Secr e tar ía  Dis tr ital   d el  Am b ien te  o f   B o g o tá  [ 7 ] ,   th r o u g h   th air   q u alit y   m o n ito r in g   n et w o r k   o f   B o g o tá  R MC A B ,   s ee   Fig u r 2 E s p ec iall y ,   i n   th i s   p ap er   is   u n d er   s tu d y   th e   d ata  ta k en   f r o m   th m o n ito r in g   s tatio n   in   Ke n n ed y   ( d eli m ited   i n   r ed   in   Fig u r 2 ) ,   co n s id er in g   t h v al u o f   I B OC A   ( Í n d ice  B o g o tan o   d C alid ad   d A ir e) .   T h in f o r m atio n   f r o m   t h i s   s tatio n   w as   co m p iled   t h r o u g h   t h m o n t h l y   r ep o r ts   p u b lis h ed   b y   th B o g o ta  Air   Q u alit y   M o n ito r in g   Net w o r k ,   w h ic h   s p ec if ies   th e   m ai n   at m o s p h e r ic  p o llu tan ts   th a t   th m o n ito r in g   s tatio n   i s   ca p ab le  o f   m ea s u r i n g ,   a n d   th a v er ag d ata  o f   ea ch   p o llu tan t,  s ee   T a b le  2 th is   p ap er   is   p ar ticu lar l y   f o cu s ed   o n   P M2 . 5   p a r ticu late  m ater ial.   T h p u b lic  in f o r m atio n   a v ailab l f r o m   th Ke n n ed y   m o n ito r i n g   s tatio n   w as  co n s o lid ated   u n til  2 0 1 8 o n o f   th f ir s s tep s   ta k en   w ith   th ese  d ata  w a s   its   n o r m aliza t io n ,   p r o ce d u r th at  co n s is ted   o f   clea n i n g   t h e   d ata  o f   e m p t y   f ield s   s o   t h at   th m o d el  d id   n o t   p r esen t e r r o r s .   A cc o r d in g   to   t h a v ailab le  d a ta  o f   T ab le  2   th in p u v ar iab les  ar e:  m o n t h ,   y ea r ,   m ax i m u m   v alu e   o f   P M2 . 5   [  / 3 ] ,   n u m b er   o f   e x ce ed an ce s   to   th s tan d ar d   o f   2 4   h o u r s   ( 2 4 H) ,   th p er ce n tag o f   v alid   d ata,     th p er ce n o f   I B OC A   f av o r a b le ,   m o d er ate  an d   r eg u lar   ( th e   s u m   o f   t h ese  th r ee   m u s t   b e q u al  to   1 0 0 %),   an d   f i n all y   i s   u s ed   th d ata  ass o ci ated   to   th n u m b er   o f   a n o m al ies.  T h o u v ar iab le  co r r esp o n d s   to   th av er a g v alu o f   P M2 . 5 .   T a b le  3   p r esen ts   t h g e n er al  s ta tis tic s   o f   t h e   tr ain in g   d ata.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Decem b er   2020     6 5 7 4   -   6 5 8 1   6576   T ab le  1 .   C h ar ac ter is tics   o f   t h m o n ito r i n g   s tatio n   i n   Ke n n ed y   R MC A B   [ 7 ]   C o d e   a ss i g n e d   t o   t h e   st a t i o n   i n   t h e   R M C A B   9   ( F i x e d   st a t i o n )   Ty p e   o f   S V C A   A u t o mat i c   L o c a t i o n   C a r r e r a   8 6   #   4 0   -   5 5   S u r   G e o g r a p h i c a l   c o o r d i n a t e s   L a t i t u d e :   0 4 . 3 7 . 2 9 , 9   L o n g i t u d e :   - 7 4 . 0 9 . 4 0 , 7   Ty p e   o f   z o n e   U r b a n   Ty p e   o f   st a t i o n   B a c k g r o u n d       Eq u i p me n t   P a r a me t e r   N a me   A n a l y t i c a l   p r i n c i p l e   P M 1 0   M e t   o n e   b a m   1 0 2 0   B e t a   a t t e n u a t i o n   P M 2 5   M e t   o n e   b a m   1 0 2 0   B e t a   a t t e n u a t i o n   CO   T h e r mo   sci e n t i f i c   4 8 i   I n f r a r e d   a b so r p t i o n   w i t h   g a s   f i l t e r   S O 2   T a p i   1 0 0 E   P u l se d   f l u o r e sce n c e   NO2   T h e r mo   sci e n t i f i c   4 2 i   C h e mi l u mi n e sce n c e           L o c a t i o n   o f   t h e   s a mp l i n g   p o i n t   G r e e n   a r e a   H e i g h t   o f   t h e   sam p l i n g   p o i n t   7 . 0   m   H e i g h t   o f   me t e o r o l o g i c a l   st a t i o n   1 0 . 0   m           Fig u r 2 .   Statio n s   o f   m o n ito r in g   n et w o r k   i n   B o g o tá,   R MC A B   [ 7 ]       T ab le  2 .   E x am p le  o f   d ata  u s ed   M o n t h   Y e a r   A v e r a g e   P M 2 . 5   M a x   P M 2 . 5   S t a n d a r d   42H   V a l i d   D a t a   I B O C A   V a l u e   A n o mal i e s   F a v o r a b l e   M o d e r a t e   R e g u l a r   1   2 0 1 8   26   39   0   1 0 0   1   89   10   0   2   2 0 1 8   33   48   0   1 0 0   0   63   37   0   3   2 0 1 8   3 2 . 2   52   1   1 0 0   0   57   43   0   4   2 0 1 8   2 6 . 6   39   0   1 0 0   0   94   6   0   5   2 0 1 8   2 1 . 3   34   0   94   0   1 0 0   0   0   6   2 0 1 8   1 6 . 9   28   0   1 0 0   22   78   0   0                       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictio n   o f a tmo s p h eric p o llu tio n   u s in g   n eu r a l n etw o r ks mo d el  o f fin p a r ticles  . ..  ( Ju a n   C a milo   P ed r a z a )   6577   T ab le  3 .   Gen er al  s tatis tic s   o f   t h in p u tr ain in g   d ata   V a r i a b l e   A mo u n t   M e a n   S T D   M i n   M a x   M o n t h   29   6 , 3 1 0 , 3 4 5   3 , 5 0 6 , 1 5 2   1   12   Y e a r   29   2 . 0 1 6 , 9 3 1 0 3 4   0 , 8 4 2 2 3 5   2 0 1 6   2 0 1 8   M a x   P M 2 . 5   29   4 0 , 8 2 0 , 4 2 4   5 , 3 5 0 , 1 2 8   2 8 . 3   52   S t a n d a r d   2 4 H   29   0 , 1 3 5 2 7 9   0 , 1 8 1 1 6 6   0   1   V a l i d   D a t a   29   9 6 , 6 8 9 , 6 5 5   3 , 1 4 0 , 7 8 5   87   1 0 0   I B O C A   F a v o r a b l e   29   3 4 6 , 9 3 5   4 , 3 0 6 , 3 3 0   0   22   M o d e r a t e   29   7 5 , 3 1 9 , 7 4 9   8 , 0 1 8 , 3 3 9   57   1 0 0   R e g u l a r   29   2 1 , 2 1 6 , 3 0 9   1 0 , 1 3 7 , 8 7 5   0   43   A n o mal i e s   29   0 , 0 3 4 4 8 3   0 , 1 8 5 6 9 5   0   1       2 . 2 .     No rm a liza t io n   T h er ar d if f er en t   s ca le s   a n d   r an g e s   w i th i n   t h co llected   d ata,   alth o u g h ,   t h m o d el  co u l d   co n v er g e   w it h   th e   in f o r m a tio n   i n   th i s   w a y ,   m ak in g   t h tr ai n i n g   m o r d if f icu lt   an d   m a k i n g   th e   m o d el   d ep en d en o n     th u n i ts   u s ed   f o r   th in p u [ 8 ] .   I n   ad d itio n ,   to   n o r m alize   t h v alu e s   i s   u s ed   t h Sta n d ar d   No r m al   Dis tr ib u tio n   m et h o d   ( 1 ) ,   w h ic h   allo w s   to   r ed u ce   an y   n o r m al  d i s tr ib u tio n   to   th s ta n d ar d   n o r m al  f o r m at,   s i n ce   it  h as  a n   ar ith m etic  av er a g an d   u n iq u e   s tan d ar d   d ev iatio n s ,   w h o s v a lu es a r ze r o   an d   o n e,   r esp ec tiv el y   [ 9 ] .     =       ( 1 )     w h er   co r r esp o n d s   to   th v alu o f   th v ar iab le  to   b e   s tan d ar d ized ,     r ep r esen ts   th ar ith m etic  av er a g an d     th s ta n d ar d   d ev iatio n   o f   t h v ar iab le,   th is   e n s u r es t h at  t h er ar o n l y   v al u es  w i th i n   t h r an g o f   0   an d   1 .     2 . 3 .     Arc hite ct ure  s elec t io n   C ar d in alit y   s elec tio n   o f   t h h i d d en   la y er s   ( i f   th er ar m o r th a n   o n e)   s ee m s   to   b a n   u n c lear   is s u e   w h e n   d esi g n in g   n eu r al   n e t wo r k   ( NN) ,   to o   m an y   u n its   ca n   lead   to   lo w   g en er aliza tio n   ca p ac it y .   O n   th e   o th er   h an d ,   f e w   u n it s   ca n   lead in g   to   th NN  d o   n o h av s u f f icie n ca p ac it y   to   s o lv e   th p r o b lem   [ 1 0 ] .     R eg ar d in g   th e   n et w o r k   to p o lo g y ,   d eter m i n i n g   t h n u m b er   o f   la y er s   t h at  in te g r ate  i a n d   t h e   n u m b er   o f   h id d en   n eu r o n s   to   b i n cl u d ed   in   ea ch   la y er   is   a   co m p le x   tas k   t h at  d ir ec tl y   a f f ec ts   th g e n er al izatio n   ca p ac it y   o f     th m o d el.   Si n ce   ev er y   n eu r al  n et w o r k   n ec e s s ar il y   h a s   an   in p u la y er   w h ich   r ec ei v es   ex ter n al  s t i m u li ,     th p r o b lem   i s   li m ited   to   estab lis h in g   t h n u m b er   o f   e x te n s io n   o f   t h h id d en   la y er s   [ 1 1 ] .   A lt h o u g h   i h as  b ee n   d e m o n s tr ated   th at   t h u n iv er s a ap p r o ac h in g   p r o p er ty   o f   ML P   ( Mu ltil a y er   P er ce p tr o n )   n et w o r k   f u n ctio n s   r eq u ir es  m a x i m u m   o f   t w o   h id d en   la y er s ,   in   m o s ca s es  a   s in g le  h id d en   la y er   is   s u f f icien to   ac h ie v o p ti m a r esu l ts .   L ip p m a n n   [ 1 2 ]   co n s i d er s   th at  n et w o r k s   w it h   s in g le  h id d en   la y er   ar e   s u f f icie n to   s o lv ar b itra r il y   co m p le x   p r o b lem s ,   p r o v id ed   th at  th h id d en   la y er   i n cl u d es  at  least  th r ee   ti m es   th n u m b er   o f   i n p u t   n o d es.  Me an w h ile,   Hec h t - Niel s en   a n d   L ip p m a n   ap p l y   a n   e x te n s io n   o f   Ko l m o g o r o v   th eo r e m   to   s h o w   t h at  n et w o r k   w it h   a   s i n g le  h id d en   la y er   i n teg r ated   2 + 1   n eu r o n s   a n d   tr an s f er   f u n ctio n   o f   co n tin u o u s ,   n o n - li n ea r   an d   m o n o to n icall y   i n cr ea s i n g   i s   s u f f icie n to   co m p u te  an y   co n t in u o u s   f u n ctio n   o f     in p u v ar iab les [ 1 3 ] .   Usu al l y ,   ad   h o r u les  ar u s ed   to   d eter m in t h n u m b er   o f   h id d en   n eu r o n s   i n   ea ch   la y er .     A lt h o u g h   th e y   ar n o m at h e m atica ll y   j u s ti f iab le,   th e y   h av s h o w n   g o o d   b eh av io r   in   v ar io u s   p r ac tical  ap p licatio n s .   Ma s ter s   [ 1 4 ]   p r o p o s ed   m et h o d   th at  h ca lled   th g eo m etr ic  p y r a m id   r u le,   w h ic h   is   b ased   o n   th as s u m p tio n   th at   th n u m b er   o f   n e u r o n s   i n   t h h id d en   l a y er   m u s b less   t h a n   t h to t al  n u m b er   o f   i n p u v ar iab les,  b u g r ea ter   t h an   th e   n u m b er   o f   o u tp u v ar iab les.  I is   co n s id er ed   th at  t h n u m b er   o f   n e u r o n s   in   ea ch   la y er   f o llo w s   g eo m etr ic  p r o g r ess io n ,   s u c h   th at  f o r   n et w o r k   w it h   s i n g le  h id d en   la y er ,   th n u m b er   o f   in ter m ed iate  n eu r o n s   m u s b clo s to   ,   w h er   is   th n u m b er   o f   v a r iab les  o f   in p u an d     t h to ta l   o u tp u n e u r o n s th is   p r o j ec ta k es  to tal  o f   9   in p u v ar iab les   an d   o n o u tp u t;  t h u s ,   9   n eu r o n s   w er d ef i n ed   in   th h id d en   la y er   ac co r d in g   to   [ 1 0 ] .     2 . 4 .     Select io n o f   t he  a ct i v a t i o n f un ct io n   I n   b o th   ar tif icial  a n d   b io lo g i c al  n eu r al  n et w o r k s ,   n eu r o n   n o o n l y   tr a n s m it s   th i n p u i r ec eiv es.  T h er is   an   ad d itio n a s tep ,   an   ac ti v atio n   f u n ctio n ,   w h ich   is   a n alo g o u s   to   t h ac t io n   p o ten tial  r ate  [ 1 5 ] .     T h er ar m an y   ac ti v atio n   f u n ctio n s ,   f o r   th is   p r o j ec is   u s e d   th ac tiv at io n   f u n ctio n   ca lle d   R ec tif ied   L i n ea r   Un it   ab b r ev iated   as R e L U,   wh ich   i s   d ef i n ed   in   ( 2 )   an d   r ep r esen ted   i n   Fi g u r 3 .     ( ) = ma x ( 0 , )     ( 2 )       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Decem b er   2020     6 5 7 4   -   6 5 8 1   6578       Fig u r 3 .   R eL ac t iv at io n   f u n ctio n       T h s u p er io r it y   o f   R e L U   i s   b a s ed   o n   e m p ir ical  r esear c h ,   p r o b ab ly   b ec au s e   it  h as   m o r u s ef u l r an g e   o f   r esp o n s ca p ac it y   [ 1 6 ] .   I n   o th er   w o r d s ,   R e L Us  al lo w s   al p o s itiv v al u e s   to   p ass   w ith o u ch a n g i n g   th e m ,   b u ass i g n   all  n e g ativ v al u e s   to   0 .   A lth o u g h   th er ar ev en   m o r r ec en t   ac tiv atio n   f u n ct io n s ,   m o s o f     th cu r r en n eu r al  n et w o r k s   u s R eL o r   o n o f   its   v ar ian t s   [ 1 5 ] .   I n   f ac t,  an y   m at h e m ati ca f u n ctio n   ca n   b u s ed   as  an   ac ti v atio n   f u n c tio n .   Su p p o s th at  Fi g u r 3   r ep r e s en t s   th ac ti v atio n   f u n c tio n   ( R eL U,   s ig m o id   o r   an y   o th er ) ,   to   d e f i n t h ac t iv atio n   f u n ctio n   o f   t h n e u r al  n et w o r k   m o d el,   s i m p l y   u s i n g   t h o n e   p r o v id ed   b y   th T en s o r Flo w   l ib r ar y   [ 1 6 ] .     2 . 5 .     Select io n o f   t he  lea rning   a lg o rit hm   Fo r   m o d elin g   th e   A r ti f icial   N eu r al  Net w o r k   it   w as   u s ed   t h Ker as   l ib r ar y   [ 1 7 ] ,   w h ic h   i s   w r itten   i n   P y t h o n ,   w h ic h   s u p p o r ts   w o r k i n g   to g et h er   w it h   T en s o r Flo w   [ 1 8 ]   an d   allo w s   t h m o d eli n g   o f   ar tif ic ial  n e u r al   n et w o r k s .   Ker as  h as  t w o   t y p es  o f   m o d els;   f o r   th is   p r o ject,   it  w a s   d ec id ed   to   u s th s eq u e n tial  t y p e,     d ef in ed   as  a   p ip elin w it h   its   r a w   d ata  en ter ed   in   th lo w er   p ar an d   th p r ed ictio n s   th at  co m o u in   t h u p p er   p ar t.  T h is   is   u s ef u co n ce p ti o n   in   Ker as,  s in ce   t h e y   w er tr ad itio n all y   as s o ciate d   w i th   a   lay er   ca n   al s o   b e   d iv id ed   an d   ad d ed   as  s ep ar ate  la y er s   [ 1 9 ] .   T h co m p ilatio n   r eq u ir es  t h at  t h p ar a m eter s   o f   th n et w o r k   b e   s p ec if ied ,   as  w e ll  as  th o p tim izatio n   alg o r ith m   to   b u s e d   to   tr ain   th n et w o r k   an d   th f u n ctio n   u s ed   to   ev alu a te  th n et w o r k   [ 1 9 ] .   Fig u r 4   s h o w s   f r ag m e n o f   th n eu r al  n et w o r k   m o d e lin g   co d u s i n g   a s   m en tio n ed   ab o v e,   th Ker as a n d   T en s o r f lo w   l ib r ar ies to g eth er .   Fo r   th i s   ca s e,   it   w as   d ec id ed   to   u s e   t h R MSp r o p   ( R o o Me an   Sq u ar e   P r o p ag atio n )   o p ti m izer ,     w h ic h   is   an   alg o r it h m   u s ed   f o r   co m p lete  b atch   o p ti m izati o n   [ 2 0 ] .   R MSp r o p   t r ies  to   s o lv th p r o b le m   o f     th p o s s ib le  w id v ar iatio n   i n   m a g n itu d o f   t h g r ad ien t s .   So m g r ad ien ts   ca n   b s m a ll  an d   o th er s   h u g e,   w h ic h   is   a   v er y   d if f ic u lt i s s u tr y in g   to   f i n d   u n iq u g lo b al  l ea r n in g   r ate  f o r   th al g o r ith m .   T h is   ad j u s t m e n t i s   u s e f u f o r   th s u p p o r p o i n ts   a n d   f lat   s e g m e n t s ,   s i n ce   lar g e n o u g h   s tep s   ar ta k e n ,   ev e n   with   s m al g r ad ie n ts ;   th s tep   s ize  ad ap ts   i n d iv id u all y   w it h   ti m e,   s o   th at  lear n in g   i s   ac ce ler ated   in   th r eq u ir ed   d ir ec tio n   [ 2 1 ] .   An o th er   p ar a m eter   a s s i g n ed   f o r   th co m p ilatio n   is   t h lo s s   f u n ctio n ,   w h ich   i n d icate s   th v al u o f     th p r ed ictio n   er r o r   w h ich   co n s i s ts   o f   t h s u m   o f   all  t h er r o r s   o b tain ed th m etr ics  v al u w as  also   d ef i n ed ,   w h ic h   co n s is t s   o f   t h li s o f   m etr ics  to   b ev a lu ated   b y   t h m o d el   d u r i n g   tr ain i n g   a n d   test in g .   Fi g u r 5   s h o w s   co d f r ag m e n w i th   t h e   co n f ig u r atio n   o f   th e   af o r e m en tio n ed   p ar a m e ter s .   Ma k in g   t h r esp ec ti v co n f i g u r atio n s   o f   th n e u r al  n et w o r k   a s   r esu lt  it  is   o b tain ed   th r ep o r s h o w n   i n   Fi g u r 6 ,   w h er th la y er s   ar e   d is p la y ed ,   th n u m b er   o f   n e u r o n s   in   ea c h   la y er   an d   th to tal  n u m b er   o f   tr ain in g   p ar a m eter s .           Fig u r 4 .   Fra g m e n t o f   t h n eu r al  n et w o r k   m o d eli n g   co d e           Fig u r 5 .   P ar am eter s   co n f i g u r atio n   co d e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictio n   o f a tmo s p h eric p o llu tio n   u s in g   n eu r a l n etw o r ks mo d el  o f fin p a r ticles  . ..  ( Ju a n   C a milo   P ed r a z a )   6579       Fig u r 6 .   Mo d el  s u m m ar y       2 . 6 .     T ra ini ng   a nd   v a lid a t io n   I n   th co n tex o f   n e u r al  n et w o r k s ,   lear n i n g   ca n   b s ee n   as  th p r o ce s s   o f   ad j u s t in g   th f r ee   p ar am eter s   o f   t h n et w o r k   [ 2 2 ,   2 3 ] .   Star tin g   f r o m   s et  o f   r an d o m   s y n ap tic  w ei g h ts ,   t h lear n in g   p r o ce s s   lo o k s   f o r   s et  o f   w ei g h t s   th at   allo w   th n et w o r k   to   co r r e ctly   d e v elo p   ce r tain   task .   T h lear n in g   p r o ce s s   i s   iter ativ e,   in   w h ic h   th s o l u tio n   is   r ef i n ed   u n til  r ea ch i n g   s u f f icie n tl y   g o o d   lev el  o f   o p er atio n   [ 2 4 ] .   T h g o al   o f   a n y   tr ain in g   a lg o r it h m   i s   to   m in i m ize  t h m ea n   s q u ar er r o r   MSE   ( o r   an y   o th er   lo s s   f u n c tio n ) ,     b u e x p er ien ce   h as   s h o w n   t h at   n et w o r k s   ten d   to   o v er   ad j u s t   d ata  [ 2 5 ] .   Fo r   th is   r ea s o n ,   t h co llected   d ata  w er d iv id ed   in to   8 0 - 2 0 8 0 o f   t h d ata  w a s   r an d o m l y   d i v id ed   t o   b u s ed   as  tr ai n i n g   d ata  f o r   th n eu r al  n et w o r k   an d   th r e m a in i n g   2 0 % f o r   th e   test in g   o r   v alid atio n   s ta g es.       3.   RE SU L T   T w o   d if f er en m ac h i n es  w er u s ed   f o r   m o d eli n g   t h n e u r al  n et w o r k t h f ir s is   W in d o w s   d es k to p   co m p u ter   w it h   8 GB   o f   R A an d   A M R y ze n   2 6 0 0   p r o ce s s o r   w it h   s i x   co r es  at  3 . 4 0 GHz th d ev elo p m e n t   en v ir o n m e n o f   P y t h o n   3   an d   J u n y p er   w as   in s talled   o n   t h i s   m ac h in e.   I n   th e   o t h er   d ev elo p m en en v ir o n m e n t,   Go o g le  C o llab o r ativ in s ta n ce   w as  m a n ag ed   w h er r eso u r ce s   ar h an d l ed   ac co r d in g   to   av ailab ili t y   i n   v ir t u al  m ac h i n w i th   J u n y p e r .   T h r esu lt  o f   t h er r o r   in   b o th   m ac h in e s   w as   al m o s t h s a m e;  f ir s m ac h i n e   MSE   3 . 5 6   an d   th s ec o n d   MSE   o f   3 . 6 7 .   Du r in g   t h tr ain i n g   o f   th m o d el,   it  is   s u itab le  p r ac tice  to   v er if y   t h iter atio n s   w h il tr ain in g     th ar ti f icial  n eu r al  n et w o r k ,   th is   to   s to p p in g   t h iter atio n s   ( ea r ly   s to p ) ,   s in ce   t h is   p r ev e n ts   t h m o d el  f r o m   b ein g   o v er tr ain ed   m o r th a n   n ec es s ar y .   I n itiall y ,   it  w a s   d ef i n ed   5 0 0 0   ep o ch s   f o r   tr ain in g   p r o ce s s ,   Fig u r 7   s h o w s   t h at  a f ter   ap p r o x i m a tel y   3 0 0 0   ep o ch s   t h er r o r   d o es  n o t   d ec r ea s e,   in s tead ,   it  r e m ai n s   s tab le  [ 1 6 ] .     I n   ad d itio n ,   f o r   th e   f ir s iter atio n s   th e   v al id atio n   er r o r   is   less   t h an   th e   tr ain in g   er r o r ,   w h i le  f o r   th e   las t   iter atio n s   t h o p p o s ite  o cc u r s .   I n   t h r es u lt  o f   F ig u r 7 ,   t h tr ain i n g   p r o ce s s   s to p s   u n til   f i n alizi n g   t h to tal  n u m b er   o f   ep o ch s ,   to   ac ce ler ate  th e   tr ain i n g   p r o ce s s   as   w ell  a s   to   a v o id   t h o v er f itti n g   t h v ar iab le  ea r l y   s to p ”  is   u s ed   to   v er i f y   ev er y   5 0   ep o ch s   if   t h er r o r   w as  r ed u ce d ,   th e n   t h tr ai n in g   i s   s to p p ed ,   o th er w is e,   i w o u ld   co n ti n u e.     T h r esu lt  u s in g   t h i s   o p tio n   i s   p r esen ted   i n   F i g u r 8 ,   w h er i ca n   b o b s er v ed   th a at  t h en d   o f   t h tr ain i n g   p r o ce s s   th v alid atio n   an d   t r ain in g   er r o r   ten d   to   b e   th s a m e.   Fin al l y ,   Fi g u r 9   s h o w s   t h r esu lt  o f   th p r ed ictio n   o f   P M2 . 5   p ar ticu late  m ater ial   r e m o v i n g   o u tlier s .   T h is   r e s u l s h o w s   t h at   th e   p r ed ictio n   is   ac h iev ed   f o r   li m ited   r an g o f   d ata,   w h ic h   m a y   b r elate d   to   th lo w   a m o u n t o f   d ata  av a il ab le  f o r   tr ain in g .           Fig u r 7 .   P er f o r m a n ce   tr ain i n g   f o r   P M2 . 5   d ata   u s i n g   5 0 0 0   ep o ch       Fig u r 8 .   P er f o r m a n ce   tr ain i n g   f o r   P M2 . 5   d ata   u s i n g   ea r l y   s to p   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Decem b er   2020     6 5 7 4   -   6 5 8 1   6580       Fig u r 9 .   P r ed ictio n   r esu lts       4.   CO NCLU SI O N     C u r r en tl y ,   th er is   s u itab le   a m o u n t   o f   l ib r ar ies  th a allo w   th e   d esig n   a n d   m o d elin g   o f   ar ti f icial   n eu r al  n et w o r k s ,   w h er it  h as  b ee n   s h o w n   t h at  Ma c h in L ea r n in g   tech n iq u es  ar s u itab l to o f o r   m o d elin g   p r ed ictio n   an d   class if ica tio n   p r o b lem s .   I n   th f ir s s ta g o f   th p r o j ec t,   f r o m   t h in f o r m atio n   co llected ,     th e m p t y   f ield s   w er e   clea n ed   to   av o id   er r o r s   an d   th e n   n o r m alize d .   T h is   a s p ec w a s   o f   i m p o r ta n ce   to   ac h ie v e   s atis f ac to r y   r esu lt.  I n   th is   r eg ar d ,   at  th d ev elo p m e n s ta g e,   th s ta n d ar d   n o r m al  d is tr i b u tio n   m et h o d   w a s   u s ed   to   n o r m alize   t h i n p u t d a ta.   As  m e n tio n ed   ab o v e,   th d ata  w a s   d iv id ed   in   s u c h   w a y   th a r ec o r d s   w er k ep f o r   b o th   tr ain i n g   a n d   test i n g ;   af ter   m ak i n g   t h ad j u s t m e n t s   o n   t h tr ai n in g   o f   t h e   m o d el  i t   w as   p o s s ib le  to   r ed u ce   t h f i n al  M SE  f r o m   3 0   to   3 . 5 6   in   th p r ed ictio n   o f   th a v er ag co n ce n tr ati o n   o f   P M2 . 5   p o llu tan t s .   T h d esig n   o f   t h n e u r a l   n et w o r k   w as  b ased   o n   t h r u l o f   th g eo m etr ic  p y r a m id   o f   th h id d en   la y er s   o b tain i n g   s u itab le  r es u lt  f o r   MSE .   W h en   t h er is   n o m u c h   tr ai n i n g   d ata,   ac co r d in g   to   l iter atu r a n   alter n ati v is   to   u s s m al n et w o r k   w it h   f e w   h id d en   la y er s   to   av o id   o v er f itti n g .   An o th er   u s ef u alter n ati v to   av o id   o v er f itti n g   is   th ea r l y   s to p ,   w h ic h   w as  co n s id er ed   in   th i s   w o r k .   T h p r o t o ty p o f   t h n eu r al  n e t w o r k   ap p lied   to   p r ed ict  th P M2 . 5   p o llu tan t s ,   is   a n   e x a m p le  o f   t h ap p licatio n   o f   Ma ch in L e ar n in g   m et h o d s   in   th d i f f er en asp ec t s   th a af f ec t   h u m a n   b ein g s .   T h r esu lt  o f   th is   w o r k   ca n   b i m p r o v ed   to   ac h iev b ett er   p r ed icti o n   f o r   lar g v al u e   o f   d ata.       ACK NO WL E D G E M E NT S     T h au th o r s   t h an k   t h e   Fac u lt y   o f   E n g in ee r i n g   o f   t h U n i v er s id ad   Dis tr ital   Fra n cisco   J o s é  d C ald as,   esp ec iall y   t h Do cto r ate  in   E n g in ee r i n g   an d   t h s p ec ializatio n   in   So f t w ar E n g i n ee r in g .       RE F E R E NC E S     [1 ]   M.   G .   C .   Ja n u c h s ,   A p li c a c n   d e   téc n ica s d e   In telig e n c ia A rti f icia l   a   la p re d icc n   d e   c o n tam in a n tes   a tm o s f é ri c o s , ”  P h . D.  d isse rtatio n ,   Un iv e rsid a d   P o li téc n ica   d e   M a d rid ,   M a d r id ,   S p a in ,   p p 1 - 2 2 5 ,   2 0 1 2 .   [2 ]   J.  A .   Z .   P e n a ,   Estrate g ias   p a ra   m it ig a la  c o n tam in a c i ó n   d e a ire  e n   z o n a a led a ñ a a   g ra n d e a v e n id a d e   Bo g o , ”  M . S c .   d isse rtatio n ,   Un iv e rsid a d   N a c io n a d e   C o lo m b ia,  Bo g o tá,   Co l o m b ia,  p p 1 - 1 2 9 ,   2 0 1 6 .   [3 ]   S p id e r   U rb a n   M a n a g e m e n P latf o rm ,   S o lu c io n e p a ra   la  c o n ta m in a c n   a tm o s f é ric a   e n   las   sm a rtciti e s , ”  2 0 1 9 .   Av a il a b le:   h tt p s:// w ww . u rb a n so l u ti o n s.e s/e s/b lo g / 1 1 9 - so l u c io n e s - p a ra - la - c o n tam in a c io n - a tm o s f e ric a - en - las - s m a rt - c it ies .     [4 ]   R.   Ku m a V .   a n d   P .   Dix it ,   Da il y   p e a k   lo a d   f o re c a st  u sin g   a rti ficia n e u ra n e tw o rk ,   In ter n a ti o n a J o u rn a o f   El e c trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   9 ,   n o .   4 ,   p p .   2 2 5 6 - 2 2 6 3 ,   2 0 1 9 .   [5 ]   S .   Ba rh m i   a n d   O.  El   F a tn i,   Ho u rly   w in d   sp e e d   f o re c a stin g   b a s e d   o n   su p p o rt  v e c to m a c h in e   a n d   a rti f icia l   n e u ra l   n e tw o rk s ,   In ter n a ti o n a l   J o u r n a l   o Arti f icia I n telli g e n c e ,   v o l.   8 ,   n o .   3 ,   p p .   2 8 6 - 2 9 1 ,   2 0 1 9 .   [6 ]   N.   H.  A b d - Ra h m a n   a n d   M.   H .   L e e ,   A rti f i c ial  n e u ra n e tw o r k   f o re c a stin g   p e rf o rm a n c e   w it h   m issin g   v a lu e   im p u tatio n s ,   I n ter n a t io n a J o u rn a o Arti fi c i a I n telli g e n c e ,   v o l.   9 ,   n o .   1 ,   p p .   3 3 - 3 9 ,   2 0 2 0 .   [7 ]   S e c re taría   Distrit a d e   Am b ien te  d e   Bo g o tá,  Re d   d e   M o n it o re o   d e   Ca li d a d   d e A ire   d e   Bo g o tá    RM CA B ,   2019.   Av a il a b le:    h tt p :/ /am b ien teb o g o ta . g o v . c o /red - de - c a li d a d - d e l - a ire.    [8 ]   I .   N u rh a id a e a l . ,   Im p le m e n tatio n   o f   d e e p   n e u ra n e tw o rk (DN N)  w it h   b a tch   n o rm a li z a ti o n   f o b a t ik     p a tt e rn   re c o g n it io n ,   In ter n a ti o n a J o u rn a o El e c trica l   a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   2 ,     p p .   2 0 4 5 - 2 0 5 3 ,   2 0 2 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2088 - 8708       P r ed ictio n   o f a tmo s p h eric p o llu tio n   u s in g   n eu r a l n etw o r ks mo d el  o f fin p a r ticles  . ..  ( Ju a n   C a milo   P ed r a z a )   6581   [9 ]   C.   S .   P in t o   a n d   D .   C .   G a larz a ,   F u n d a m e n to s Bá sic o s d e   Esta d ísti c a ,   Qu it o ,   S i n   e d it o rial,   p p 1 - 2 2 4 ,   2 0 1 7 .   [1 0 ]   L.   L .   C .   P e ra lt a e a l. ,   A p li c a c n   d e   Re d e n e u ro n a les   a rti f icia les   p a ra   la   p re d icc n   d e   c a li d a d   d e   a ire ,   M e c á n ica   Co mp u t a c io n a l ,   v o l.   XX V II,   p p .   3 6 0 7 - 3 6 2 5 ,   2 0 0 8 .   [1 1 ]   B.   B.   Be z a b e h   a n d   A.   D.  M e n g ist u ,   T h e   e ff e c ts o f   m u lt ip le l a y e rs   f e e d - f o r w a rd   n e u ra n e tw o rk   tran sf e r   f u n c ti o n   i n   d ig it a b a se d   e th i o p ian   s o il   c la ss if ic a ti o n   a n d   m o istu re   p re d ict io n , ”  I n ter n a t io n a J o u rn a o El e c trica a n d   Co mp u ter   E n g in e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   4 ,   p p .   4 0 7 3 - 4 0 7 9 ,   2 0 2 0 .   [1 2 ]   R.   L ip p m a n n ,   A n   in tro d u c ti o n   to   c o m p u ti n g   w it h   n e u ra n e ts , ”  IE EE   AS S M a g a zi n e ,   v o l.   4 ,   n o .   2 ,   p p .   4 - 2 2 ,   1 9 8 7 .   [1 3 ]   R.   He c h t - Nie lse n ,   Co u n terp r o p a g a ti o n   n e tw o rk s , ”  Ap p l ied   Op t ics ,   v o l.   2 6 ,   n o .   2 3 ,   p p .   4 9 7 9 - 4 9 8 4 ,   1 9 8 7 .   [1 4 ]   T .   M a ste rs,  P ra c ti c a Ne u ra Ne tw o r k   Re c ip ies   in   C+ + ,   M o rg a n   Ka u fm a n n ,   p p .   1 - 4 9 3 ,   2 0 1 4 .   [1 5 ]   R.   Ru ss e l,   Re d e s Ne u ro n a les ,   Cre a teSp a c e   In d e p e n d e n P u b l ish i n g   P latf o rm ,   p p 1 - 9 0 ,   2 0 1 8 .   [1 6 ]   R.   F re z   a n d   J.  F e rn á n d e z ,   Las   Re d e Ne u ro n a les   A rti f icia l e s , ”  Ne ti b lo p p .   1 5 2 ,   2 0 0 8 .   [ O n l in e ].   A v a il a b le:  h tt p s:/ /d ial n e t. u n iri o ja.es /se rv let/l ib ro ? c o d ig o = 3 9 5 2 4 1 .   [1 7 ]   Ke ra s,  Ke ra s Do c u m e n tatio n , ”  2 0 1 9 .   A v a il a b le:  h tt p s:// k e ra s.io / .   [1 8 ]   T e n so rF lo w ,   Ba sic   Re g r e ss io n p re d ict  f u e e ff icie n c y ,   2 0 1 9 .   [ On li n e ] .   A v a il a b le:   h tt p s:/ /www . ten so rf lo w . o rg /t u to rials/ k e ra s/b a sic _ re g re ss io n .   [1 9 ]   Un ip y th o n ,   m o   d e sa rro ll a m o d e lo d e   De e p   L e a rn in g   c o n   Ke ra s , ”  2018 .   [ On li n e ] .   A v a il a b le:   h tt p s:/ /u n ip y th o n . c o m /co m o - d e sa rro ll a r - m o d e lo s - de - d e e p - lea rn i n g - c o n - k e ra s/ .   [2 0 ]   C.   Ig e l   a n d   M .   sk e n ,   Im p ro v in g   th e   Rp r o p   L e a rn in g   A lg o rit h m , ”  Pro c e e d in g o th e   S e c o n d   In ter n a ti o n a l   S y mp o si u m o n   Ne u ra l   Co m p u t a ti o n p p .   1 1 5 - 1 2 1 ,   2 0 0 0 .   [2 1 ]   R.   V .   K.  Re d d y e a l. ,   Ha n d w rit ten   Hin d Dig it Re c o g n it i o n   Us in g   Co n v o lu t io n a l   Ne u ra Ne tw o rk   w it h   RM S p r o p   Op ti m iza ti o n , ”  S e c o n d   In ter n a ti o n a C o n fer e n c e   o n   In telli g e n C o mp u ti n g   a n d   C o n tro S y ste ms   ( ICICCS ) ,   p p .   4 5 - 5 1 ,   2 0 1 8 .   [2 2 ]   X .   Ya o ,   Ev o lv in g   a rti f icia n e u ra n e tw o rk s , ”  Pro c e e d in g s o t h e   I EE E ,   v o l.   8 7 ,   n o .   9 ,   p p .   1 4 2 3 - 1 4 4 7 ,   1 9 9 9 .   [2 3 ]   D.   T.   V .   Dh a rm a jee - Ra o   a n d   K.   V .   Ra m a n a ,   A   No v e A p p ro a c h   f o Eff icie n T r a in in g   o f   De e p   Ne u ra Ne tw o rk s ,   In d o n e sia n   J o u rn a o El e c trica En g i n e e rin g   a n d   C o mp u ter   S c ien c e   ( I J EE CS ) ,   v o l.   1 1 ,   n o .   3 ,   p p .   9 5 4 - 9 6 1 ,   2 0 1 8 .   [2 4 ]   L .   F .   Be rto n a ,   En tren a m ien to   d e   Re d e Ne u ro n a les   b a sa d o   e n   A lg o rit m o Ev o lu ti v o s ,   T ra b a jo   d e   G r a d o Un iv e rsid a d   d e   B u e n o s A ires ,   A r g e n ti n a ,   p p .   1 - 2 5 3 ,   2 0 0 5 .   [2 5 ]   J.  A .   V .   T o rre a n d   J.  A .   D.  Riv e ra ,   En tren a m ien to   d e   u n a   re d   n e u ro n a m u lt ica p a   p a ra   la  tas a   d e   c a m b io   e u ro - d ó lar  (EUR/US D)  T ra in i n g   a   m u l ti lay e n e u ra n e tw o rk   f o th e   Eu r o - d o ll a (EUR/ USD)  e x c h a n g e   ra te ,   In g e n ier í a   e   In v e stig a c n ,   v o l.   2 7 ,   n o .   3 ,   p p .   1 0 6 - 1 1 7 ,   2 0 0 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.