I nd o ne s ia n J o urna l o f   E lect rica E ng ineering   a nd   Co m p u t er   Science   Vo l.   22 ,   No .   3 J u n e   202 1 p p .   161 1 ~ 161 8   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 2 2 .i 3 . pp 161 1 - 161 8          1611     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   A hybrid  deep l ea rning   m o d el f o r  air qua lity t i m e ser ies   prediction       Sa m it   B ha nja 1 ,   Abhi s he k   Da s 2   1 De p a rtme n o f   Co m p u ter S c ien c e ,   G o v e rn m e n G e n e ra De g re e   C o ll e g e ,   Ho o g h ly ,   In d ia     2 De p a rtme n o f   Co m p u ter S c ien c e   a n d   E n g in e e rin g ,   A li a h   Un iv e rsity ,   Ko lk a ta,  In d ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   4 ,   2 0 2 0   R ev i s ed   Ma y   2 7 ,   2 0 2 1   A cc ep ted   J u n   13 ,   2 0 2 1       A ir  q u a li ty   ( m a in l y   P M 2 . 5 )   f o re c a stin g   p lay a n   i m p o rtan r o le  i n   t h e   e a rly   d e tec ti o n   a n d   c o n tro o f   a ir  p o ll u t io n .   In   re c e n ti m e s,  n u m e ro u d e e p   lea rn in g - b a se d   m o d e ls  h a v e   b e e n   p ro p o se d   t o   f o re c a st  a ir  q u a li ty   m o re   a c c u ra tel y .   T h e   su c c e s s o f   th e se   d e e p   l e a rn in g   m o d e ls h e a v il y   d e p e n d s o n   th e   tw o   k e y   f a c to rs  v iz.  p ro p e re p re se n tatio n   o f   th e   in p u d a ta  a n d   p r e se rv a ti o n   o f   te m p o ra o rd e o f   th e   in p u d a t a   d u ri n g   th e   f e a tu re ’s   e x tra c ti o n   p h a se .   He re   w e   p ro p o se   a   h y b rid   d e e p   n e u ra n e tw o rk   (HD NN f r a m e w o rk   to   fo re c a st  th e   P M 2 . 5   b y   in teg ra ti n g   tw o   p o p u lar  d e e p   lea rn in g   a rc h it e c t u re s,  v iz.   Co n v o l u ti o n a n e u ra n e tw o rk   (CNN a n d   b i d irec ti o n a lo n g   sh o rt - term   m e m o r y   (BD L S T M n e t w o rk .   H e re   w e   b u il d   a   3 i n p u ten so s o   th a CNN   c a n   e x trac th e   tren d a n d   sp a ti a f e a tu re m o re   a c c u ra tel y   w it h in   th e   i n p u w in d o w .   He re   w e   a lso   in tro d u c e   a   li n k in g   lay e b e t w e e n   CNN   a n d   BDL S T M   to   m a in tain   th e   tem p o ra o rd e ri n g   o f   f e a tu re   v e c to rs.  In   t h e   e n d ,   o u p ro p o se d   HD NN   f r a m e w o rk   is  c o m p a re d   w it h   th e   sta te - of - th e - a rt  m o d e ls,  a n d   w e   sh o w   th a HD NN   o u tr u n o t h e m o d e ls i n   term s o f   p re d ictio n   a c c u r a c y .   K ey w o r d s :   A ir   q u al it y   C NN   Dee p   lear n in g   L ST N   T im e - s er ies  f o r ec asti n g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC  BY - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   A b h is h ek   Da s   Dep ar t m en t o f   C o m p u ter   Scie n ce   an d   E n g i n ee r in g   A lia h   U n i v er s it y   I I A /2 7 ,   Ne w T o w n ,   Ko lk ata  7 0 0 1 6 0 ,   I n d ia     E m ail:  ad as @ alia h . ac . in       1.   I NT RO D UCT I O N     A ir   p o ll u tio n   is   o n o f   th e   s er io u s   i s s u es   d u r in g   t h i s   u r b an iz atio n   er a,   an d   P M2 . 5   is   o n o f   t h m o s t   i m p o r tan p o llu ta n ts   t h at  in f lu en ce   air   p o llu tio n .   L o n g - ti m ex p o s er   in   t h en v ir o n m en w ith   h ig h   co n ce n tr atio n   o f   P M2 . 5   ca u s es  s er io u s   p u b lic  h ea lth   i s s u e s ,   w h ic h   in cl u d asth m a,   ch r o n ic  b r o n ch itis ,   a n d   h ea r d is ea s e.   So ,   th f o r ec as tin g   o f   P M2 . 5   h as  s ev er im p ac o n   o u r   liv i n g   en v ir o n m en an d   also   th e   p h y s ical  h ea l th   o f   h u m an   b ei n g s .   A ir   q u ali t y   d ep en d s   o n   v ar io u s   f ac to r s ,   th e s f ac to r s   ar v er y   m u c h   d y n a m ic  an d   co m p lex   in   n at u r e.   T h ese   f ac to r s   v ar y   o v er   ti m e.   T h u s ,   air   q u alit y   d ata  is   ti m e - s er ies   d ata.   T im e - s er ies   d ata  is   p r o g r es s io n   o f   d ata  p o in ts   r ec o r d ed   in   ti m r eq u e s ts .   T i m s er ies  in f o r m at io n   m a y   b u n i v ar iate  o r   m u lti v ar iate.   I n   m u lti v ar iate  ti m e - s er ies  ( MT S)  in f o r m atio n ,   b u n c h   o f   v ar iab les  m o v e s   i n   ti m o r d er .   Sin ce   th air   q u ali t y   d ata  ar co llect ed   f r o m   v ar io u s   s en s o r s   o v er   f ix ed   ti m i n ter v al s ,   s o   air   q u al it y   f o r ec asti n g   i s   a   m u lti v ar iate  ti m e - s er ies  f o r ec asti n g   ( MT SF )   p r o b lem .   I n   th la s t d ec ad e,   m ac h in lea r n in g   ac h iev e s   g r ea s u cc e s s   i n   ti m e - s er ies p r ed ictio n ,   o n l y   b ec au s o f   th a v ailab ilit y   o f   m as s iv e   d ata  s a m p le s   a n d   s i g n i f ican t   i m p r o v e m e n o f   co m p u ti n g   p o w er .   So m o f   th e   p o p u lar   m ac h i n lear n in g   al g o r ith m s   ar s u p p o r v ec to r   m ac h in e s   ( SVM ) ,   Nai v B a y es,  k - m ea n s ,   a n d   r an d o m   f o r est .   A ll  o f   th e s m ac h in lear n i n g   alg o r ith m s   s u f f er   f r o m   th f o llo w i n g   ch a llen g es  v iz.   1 .   lo n g   d esig n   ti m 2 .   d o m ain   ex p er t s   k n o w led g is   r eq u ir ed   f o r   f ea tu r d esig n in g .   R ec en tl y ,   d ee p   lear n in g   m et h o d s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n e   2 0 2 1   :   1 6 1 1   -   1 6 1 8   1612   h av b ec o m p o p u lar   to o f o r   m u lti v ar iate  ti m s er ies  d ata  p r o ce s s in g   [1 ] - [ 4 ] .   I is   s u b s et  o f   m ac h in e   lear n in g   m et h o d s ,   an d   it s   o b j e ctiv i s   to   lear n   th m o d el  p ar a m eter s   f r o m   th r ep r ese n tatio n   o f   t h d ata.   Dee p   n eu r al   n et w o r k s   ( D NNs)  ar th b ac k b o n e   f o r   th i m p le m en tatio n   o f   d ee p   lear n i n g   ar ch itect u r e.   A   n e u r al   n et w o r k   w it h   m o r th a n   o n e   h id d en   la y er   i s   ca lled   a   DNN,   w h er t h o u tp u o f   la y er   t u r n s   i n to   t h i n p u o f   th s u b s eq u en la y er .   Du to   t h is   la y er ed   ar ch itect u r e,   th DNNs  b ec o m p o p u lar   f ea tu r lear n in g   to o f o r   ex tr ac ti n g   f ea t u r es   f r o m   t h h i s to r ical  d ataset.   I n   r ec en t   ti m e s ,   th e   t w o   m o s p o p u lar   d ee p   l ea r n in g   tec h n iq u e s   ar co n v o lu tio n al  n e u r al  n e t wo r k   ( C NN)   [ 5 ]   an d   r ec u r r en n eu r al  n et w o r k   ( R NN)   [ 6 ] ,   [ 7 ] .   T h ese  n et w o r k s   h av r ec eiv ed   in ter es in   d if f e r en ap p licatio n   ar ea s ,   lik co m p u ter   v i s io n ,   n at u r al  lan g u a g p r o ce s s in g ,   an d   ti m s er ie s   f o r ec ast in g .   L o n g   s h o r t - ter m   m e m o r y   ( L ST M)   [ 8 ] ,   [ 9 ]   r ec u r r en n eu r al  n et w o r k s   ar th m o d if ied   v er s io n   o f   t h R NN s ,   t h at  o v er co m e s   s o m o f   t h s h o r tf all s   o f   t h R N Ns.  C NN   [ 1 0 ] ,   [ 1 1 ]   h as  p r o d u ce d   g r ea d ea o f   s u cc ess   in   i m a g r ec o g n itio n ,   an d   i m ag cla s s i f icatio n .   W h er ea s ,   L ST ac h iev e s   en o r m o u s   s u cc e s s   i n   m ac h i n tr an s latio n ,   n at u r al  lan g u ag p r o ce s s i n g ,   an d   s p ee ch   r ec o g n itio n .   I n   co n tr ast  w it h   th MT d ata,   C NNs  ar p o p u lar   f o r   t h eir   f ea tu r lear n i n g   ca p ab ilit ies  w it h in   a n   in p u w i n d o w   b u ar n o u s e f u l   f o r   ex p lo r in g   t h te m p o r al  f ea tu r es.  O n   t h o th er   h an d ,   L ST Ms  ar o u t s tan d i n g   to   m o d el  th lo n g - ter m   d ep en d en cies  an d   te m p o r al  f e atu r es  ex tr ac tio n   f r o m   u n i v ar iate  ti m s er ies  d ata ,   b u n o s u itab le  f o r   ex tr ac tin g   th co m p le x   an d   s p atial  f e atu r es  f r o m   m u lti v ar iate  ti m e - s er ies   d ata.   I n   th last   f e w   y ea r s ,   d if f er e n t     m o d el s   [ 1 2 ] - [ 1 8 ]   is   p r o p o s ed   b y   co m b i n i n g   t w o   o r   m o r d ee p   lear n in g   ar ch itect u r es  f o r   MT SF   p r o b lem s ,   an d   th ese   m o d els   h a v s h o w n   e x ce llen r e s u l ts .   D u   et   a l .   [ 1 5 ]   p r o p o s ed   h y b r id   d ee p   lear n in g   m o d el  f o r   air   h ea lt h   m o n ito r i n g .   T h is   m o d el   is   co n s tr u cted   b y   co m b i n i n g   1 D - C N Ns  a n d   b id ir ec tio n al  L ST Ms.  T h au th o r s   s h o w   t h at  th co m b in ed   m o d el  p r o d u ce d   b etter   r esu lts   co m p ar ed   to   th s h allo w   d ee p   lear n in g   an d   m ac h in e   lear n in g   m o d el s .   T h tr an s f er r ed   b i - d ir ec tio n al  lo n g   s h o r t - ter m   m e m o r y   ( T L - B L ST M)   m o d el  i s   p r o p o s ed     in   [ 1 9 ]   p r ed ict  th air   q u ali t y .   Her th e   au t h o r   u s ed   th b id ir ec tio n al  L ST to   ex tr ac th te m p o r al  d ep en d en cies  o f   P M2 . 5   an d   u s tr an s f er   lear n i n g   to   tr an s f er   th k n o w led g f r o m   th s m aller   te m p o r al   w i n d o w   to   t h lar g er   te m p o r al  w i n d o w .   B u t h ese  h y b r id   d ee p   lear n in g   m o d el s   d o   n o co n ce n tr ate  o n   t h e   p r o p er   r ep r esen tatio n   o f   th i n p u d ata  a n d   d o   n o m ai n tai n   t h p r o p er   tem p o r al  o r d er in g   o f   t h e x tr ac ted   f ea t u r es b y   t h f ir s t p h ase  o f   t h m o d els.   So   d ev iati n g   f r o m   t h r ec en r esear ch   w o r k ,   h er w p r o p o s h y b r id   d ee p   n e u r al  n et w o r k   ( HDNN )   f r a m e w o r k   b y   co m b i n in g   t w o   m o s p o p u lar   d ee p   lear n in g   ar ch itect u r es  s u c h   as  co n v o lu tio n al  n e u r al  n e t w o r k   ( C NN)   an d   b id ir ec tio n al  lo n g   s h o r t - ter m   m e m o r y   ( B DL ST M)   r e cu r r en n eu r al  n et wo r k   f o r   air   q u alit y   f o r ec asti n g .   I n   t h i s   f r a m e w o r k ,   w p r o p o s 3 ten s o r   f o r m atio n   s c h e m to   co n v er t h m u l tiv ar iate  t i m e - s er ies  d ata  to   i m a g lik 3 d ata  as  in p u o f   th C NN  m o d u le.   W also   in tr o d u ce   lin k in g   la y er   b et w ee n   th e   C NN  m o d u le  a n d   th L ST m o d u le  to   m ain tain   th te m p o r al  o r d e r   o f   th f ea tu r es  e x tr ac ted   b y   t h C NN   m o d u le.   T h r est  o f   t h p ap er   is   o r g an ized   as  f o llo w s I n   s ec tio n   2 ,   w d esc r ib t h r ese ar ch   m et h o d o lo g y .   T h ex p er i m e n tal  p r o ce s s   is   p r esen ted   in   s ec tio n   3 .   Sectio n   4   i n cl u d es  d is c u s s io n   ab o u t   th d etailed   r e s u l ts   ac h iev ed ,   an d   t h co n cl u s io n   i s   d r a w n   in   s ec tio n   5.       2.   RE S E ARCH   M E T H O D O L O G Y   2 . 1 .     Da t a s et   des cr iptio a nd   co rr ela t io a na ly s is   I n   th is   w o r k ,   w u s th air   p o llu tan an d   th m eteo r o lo g y   d atasets   o f   S y d n e y ,   Au s tr alia  an d   Delh i,   I n d ia.   T h d etail  d escr ip tio n   o f   th d atasets   is   r ep r esen ted   in   th T a b le   1.   I n   th is   s t u d y ,   w co n s id er   th e   P M2 . 5   as  o u r   tar g et  o u tp u t o   p r ed ict  th air   q u alit y ,   a n d   o th er   air   p o llu ta n ts   an d   m et eo r o lo g ical  d ata  ar tr ea ted   as  th i n p u o f   t h m o d el.   T o   r ed u ce   th n u m b er   o f   in p u p ar a m eter s   w i th o u d eg r ad in g   th o v er al l   i m p ac t o n   th tar g et  o u tp u t,  h e r th co r r elatio n   a n al y s is   is   c o n d u cted   o n   t h i n p u t   d ataset  u s i n g   t h P ea r s o n s   co r r elatio n   co ef f ic ien .   W r e m o v o n o f   t h p ar a m e ter s   f r o m   p air   o f   th e   p ar a m eter ,   w h ic h   ar h i g h l y   co r r elate d .       T ab le  1 .   Data s et  d escr ip tio n   L o c a t i o n   P o l l u t a n t s   M e t e o r o l o g i c a l   F a c t o r s   P e r i o d s   N o .   o f   r o w s   F r e q u e n c y   S y d n e y   C O ,   N O ,   N O 2 ,   S O 2   O Z O N E,   P M 1 0 .   P M 2 . 5   T e mp e r a t u r e ,   W i n d   D i r e c t i o n   H u mi d i t y ,   W i n d   S p e e d   0 1 . 0 1 . 2 0 1 8   2 4 : 0 0   H o u r -   3 1 . 1 2 . 2 0 1 9   2 3 : 0 0   H o u r s   1 7 4 0 3   H o u r   D e l h i   C O ,   N O ,   N O 2 ,   S O 2   O Z O N E,   P M 1 0 .   P M 2 . 5   T e mp e r a t u r e ,   W i n d   D i r e c t i o n   W i n d   S p e e d ,   H u m i d i t y ,   P r e ssu r e   0 1 . 0 1 . 2 0 1 5   0 3 : 0 0   H o u r -   2 4 . 0 4 . 2 0 1 7   2 3 : 0 0   H o u r s   2 0 2 7 7   H o u r       2 . 2 .    Da t a   prepro ce s s ing   Sin ce   th air   p o llu tio n   d ata  is   co llected   f r o m   d if f er en air   p o llu tio n   s en s o r s ,   s o   th er is   a   p o s s ib ilit y   o f   m i s s i n g   an d   n o is y   d ata   [ 2 0 ] .   T h p e r f o r m a n ce   o f   a n y   d ee p   lear n in g   m o d els  h ea v il y   d ep en d s   o n   th q u alit y   o f   th in p u d ata.   So ,   to   p r o d u ce   h ig h - q u alit y   d ata  f r o m   it,  d ata  p r ep r o ce s s in g   is   an   i m p o r t an p ar o f   an y   d ee p   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       A   h yb r id   d ee p   lea r n in g   m o d el  fo r   a ir   q u a lity time   s eries   p r ed ictio n   ( S a mit B h a n ja )   1613   lear n in g   al g o r ith m .   I n   th is   e x p er im e n t,  w r ep lace   e v er y   m is s i n g   v al u b y   th e   m ea n   v al u o f   j u s b e f o r an d   af ter   t h m is s in g   v al u e.   I n   t h n ex t   s tep ,   w n o r m alize   th r ed u ce d   d ataset  b y   m i n - m ax   n o r m aliza tio n   tech n iq u e.   T h d ata  n o r m aliza tio n   [ 2 1 ]   is   an   i m p o r tan s tep   o f   d ata  p r ep r o ce s s in g   b ec au s th ti m e - s er ies d at a   ca n   v ar y   o v er   lar g r an g an d   also   p r o d u ce   g o o d   q u alit y   o f   d ata  f r o m   it,  t h d ata  m u s b s ca le - d o w n   to   a   ce r tain   r an g e.     2 . 3 .    I np ut  t ens o f o r m a t io n   I n   th is   s ec tio n ,   w r ep r esen t   th in p u ten s o r   f o r m atio n   s ch e m e.   C NN  ac h ie v es  g r ea d ea o f   s u cc e s s   i n   i m a g cla s s i f icat io n ,   an d   i m a g r ec o g n it io n .   I m ag d ata  i s   d if f er e n f r o m   th ti m e - s er ies  d ata.   Hen ce ,   to   f ee d   th t i m e - s er ies   d ata  in to   t h C NN  m o d el  w ap p ly   t h i m a g e - li k te n s o r   f o r m atio n   s ch e m to   en co d th m u ltid i m e n s io n al  t i m e - s er ies  d ata.   E ac h   r ed - g r ee n - b l u ( R GB )   i m a g co n s is t s   o f   th r ee   2 ar r ay s   o f   p ix els,  w h ic h   m ea n s   ea ch   R GB   i m ag ca n   b r ep r esen te d   as  a   3 ten s o r   o f   th d im en s io n   × × 3 ,   h er e   3   r ep r esen th e   d ep th   o f   th e   t en s o r .   B y   ap p l y i n g   t h is   en co d in g   m eth o d ,   w tr a n s f o r m   o u r   m u lti v ar iat ti m e - s er ies d ata  in to   3 ten s o r ,   w h er th n u m b er   o f   s e n s o r s   r ep r esen t s   th d ep th   o f   th te n s o r .     T h in p u ten s o r   f o r m atio n   s ch e m co n s i s ts   o f   t w o - p h a s as  d ep icted   in   Fig u r 1 .   I r e p r esen t s   th e   ten s o r   f o r m atio n   tech n iq u f o r   f o u r   s e n s o r s   ( in p u t)   s i g n a ls   ( a,   b ,   an d   d )   w h er t h le n g t h   o f   t h s lid in g   w i n d o w    1 = 3 .   I n   th f ir s p h ase,   w co n s tr u ct  te n s o r   o f   th e   d i m en s io n   3 × 1 × 1   f r o m   ev er y   s in g le   s en s o r   s ig n al  w it h in   th e   s li d in g   w in d o w   a n d   th e n   s u c h   f o u r   3 te n s o r s   o f   t h at  s l id in g   w in d o w   ar e   co n ca ten a ted   in   t h d ir ec tio n   o f     ax is   to   f o r m   3 ten s o r   o f   th d i m e n s io n   3 × 1 × 4 ,   as  d e p icted   in   th e   Fig u r 1   ( a ) .   I n   th is   w a y ,   w c o n s tr u ct   s er ie s   o f   3 te n s o r s   b y   s tr id i n g   th s lid i n g   w i n d o w   w it h   th e   s tr id i n g   len g th    1   ( 1 >  1  1 f r o m   t h m u lti v ar iat ti m e - s er ies  d ata s et.   I n   t h n ex p h a s e,   all  th r ee   co n s ec u tiv e   3 ten s o r s   o f   t h e   s lid in g   w i n d o w   (  2 = 3 ar co n ca ten ated   to   th e   d ir ec tio n   o f     ax i s   to   f o r m   an   in p u ten s o r   o f   th s ize  3 × 3 × 4 ,   as  d ep icted   in   th Fig u r 1   ( b ) .   I n   s u c h   w a y ,   w co n s tr u c s er ies  o f   3 in p u t te n s o r s   b y   s tr id in g   th s lid in g   w i n d o w   w it h   t h s tr i d in g   le n g th    2 ,   w h er 1 <  2  2 .         ( a)       ( b )     Fig u r 1 .   I n p u t te n s o r   f o r m ati o n :   ( a)   p h ase  o n an d   ( b )   p h ase  t w o       2 . 4 .     F o re ca s t ing   m o del c o ns t ruct io n   Her w d escr ib o u r   p r o p o s ed   f o r ec asti n g   m o d el  ( HDNN ) .   Fig u r 2   r e p r esen ts   th o v er all   ar ch itect u r o f   th HDNN   f o r ec asti n g   m o d el.   T h is   f o r ec as tin g   m o d el  is   co n s tr u cted   b y   t w o   p o p u lar   d ee p   lear n in g   ar c h itect u r es - C NN  a n d   L ST M.   Her o u r   HDNN   f o r ec asti n g   m o d el  i s   d iv id ed   in to   f o u r   m o d u les - C NN  Mo d u le,   li n k in g   m o d u le ,   L ST Mo d u le,   an d   f u l l y   co n n ec ted   m o d u le .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n e   2 0 2 1   :   1 6 1 1   -   1 6 1 8   1614       Fig u r 2 .   Net w o r k   ar c h itect u r o f   p r o p o s ed   HDNN   m o d el       2 . 4 . 1 .     CNN  m o du le   C NN  is   d ee p   lear n i n g   ar ch itectu r t h at  is   s p ec iall y   d esi g n ed   to   p r o ce s s   i m a g d ata.   C NNs  ar e   w id el y   u s ed   in   t h ar ea   o f   i m ag r ec o g n itio n ,   i m a g class i f icatio n s ,   an d   o b j ec d etec tio n .   A s   r ec en r esear ch   w o r k   [ 2 2 ] ,   [ 2 3 ]   s h o w s   t h at  th d ee p   lear n in g   m o d el  w ith   t h co m b in atio n   o f   C NN  an d   L ST ar ch itectu r es   p r o d u ce s   m o r ac cu r ate  r esu lt s   f o r   MT SF   p r o b lem s   co m p ar ed   to   th s h allo w   d ee p   lear n i n g   m o d els.  T h u s   t h ex tr ac ted   h ig h er - o r d er   f ea tu r e s   b y   C NN  co n s tr u ct  h elp s   th o u ter   lev el  L ST co n s tr u ct  in   o u r   p r o p o s ed   w o r k   f o r   m o r ac cu r ate  p r ed ictio n .     I n   th p r o p o s ed   m o d el,   th C NN  m o d u le  i s   co n s is t s   o f   s tac k in g   o f   t w o   C N la y er s   w h er th o u tp u t   o f   o n C NN  la y er   i s   co n s id er ed   as  th e   in p u o f   t h n ex t   C NN  la y er   a s   s h o w n   i n   F ig u r 2 .   E ac h   C N la y er   p er f o r m s   t h r ee   d i f f er e n o p er atio n s   o n   t h i n p u t   d ata - co n v o lu tio n al ,   R e L U   [ 2 4 ] ,   an d   p o o lin g .   T h in p u ts   o f   th C NN  m o d u le   ar th e   3 in p u t   ten s o r s   o f   t h n o r m aliz ed   m u lti v ar iate  ti m e - s er ie s   d ata  as  il lu s tr ated   i n   s ec tio n   2 . 3 .   T h o p er atio n s   o f   th C NN  la y er   ar p r esen ted   in   Fi g u r 3 .   Her e,   is   th 3 in p u ten s o r   o f   s ize   6 × 6   w ith   d ep th   3 an d     is   t h f e atu r d etec to r   o f   s ize  3 × 3   w it h   = 4   ch a n n els   ( f ilter s ) .   T h co n v o lu tio n   o p er atio n   w it h   s tr id len g t h   o f   1   w ill   g e n er at io n   4   f ea tu r m ap s   o f   t h d i m en s io n   4 × 4 .   T h en   th n o n - li n ea r   ac ti v atio n   f u n ctio n s   R e L U   is   ap p lied   o n   t h f ea t u r m ap .   T h f o r m u la   o f   t h R e L U   i s   as   f o llo w s :     ( ) = { ,    > 0 0 ,      0   ( 1 )     Af ter   t h at,   w ca r r y   o u th m ax - p o o lin g   o p er atio n   to   p o o th m a x i m u m   o v er   ea ch   in t er v al  as  i ts   o u tp u t.  I f   t h m ax - p o o lin g   s i ze   is   2 × 2   th e n   it,  r ed u ce d   to   ea ch   f ea t u r m atr ix   o f   s ized   2 × 2   as  s h o w n   in   Fig u r 3 .   I n   th is   w a y ,   th f ir s t   C NN  la y er   co m p r es s ed   t h i n p u f ea tu r m atr i x .   T h is   co m p r ess ed   o u tp u o f   th f ir s C NN   la y er   i s   t h lo c al  f ea t u r v ec to r s   o f   .   T h ese  l o ca f ea t u r v ec to r s   ar t h e n   f ed   as  th in p u o f   th s ec o n d   C NN  la y er ,   an d   in   th is   w a y ,   t h s ec o n d   C N la y er   g en er ates t h h ig h er - o r d er   f ea tu r v ec to r s .           Fig u r 3 .   Op er atio n   o f   C NN  la y er       2 . 4 . 2 .     L in k ing   o f   CNN  m o d ule  w it h L ST M   m o du le   T h o u tp u o f   th C NN  m o d u le  is   th f ea t u r v ec to r s ,   ex p r ess ed   as    w h er = 1 , 2 , . . . ˙ ,   an d   ea ch   f ea tu r v ec to r   h a s   t h le n g t h   $ L $ ,   s o   w h a v = { , 1 , , 2 , . . . . ˙ , , } .   Her ea ch   f ea tu r v ec to r   is   th e   h ig h er - o r d er   f ea tu r o f   t h o r ig i n al  m u lti v ar iate  ti m e - s er ie s   d ataset  a lo n g   t h ti m a x i s .   An alo g o u s   to   t h e   b en ch m ar k   C NN,   w h er th f latten i n g   la y er   is   u s ed   to   f latt en   th f ea t u r v ec to r s   as  s h o w n   i n   Fi g u r 4   ( a) ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       A   h yb r id   d ee p   lea r n in g   m o d el  fo r   a ir   q u a lity time   s eries   p r ed ictio n   ( S a mit B h a n ja )   1615   h er w i n tr o d u ce d   lin k i n g   m o d u le.   I n   th i s   m o d u le,   w r e d is tr ib u ted   th co m p o n e n ts   o f   th f ea t u r v ec to r s   alo n g   th e   ti m a x is   a s   s h o w n   in   Fi g u r 4   ( b ) .   T h ese  r eg e n er ated   f ea tu r v ec to r s   ar r ep r esen ted   i n   m o r r elev an t   ti m o r d er   co m p ar ed   to   th f latte n i n g   la y er   o f   b en ch m ar k   C NN.   T h ese  n e w l y   g en er ated   f ea t u r e   v ec to r s   ar u s ed   as t h in p u t o f   th L ST m o d u le.         ( a)       ( b )     Fig u r 4 .   T h ese  f ig u r es a r e;  ( a)   Flatten i n g   la y er   an d   ( b )   lin k i n g   m o d u le       2 . 4 . 3 .     L ST M   m o du le   I n   t h is   L ST m o d u le,   w e   cr ea te  t w o   la y er s   o f   b id ir ec tio n al  L ST Ms  ( B DL ST Ms)   an d   ea ch   B DL ST lay er   ca n   b u n r o ll ed   to   L   n u m b er   o f   B DL ST u n i ts   alo n g   th ti m ax i s   as  p r esen ted   in   Fi g u r 2 .   C o n v en t io n al  L ST n et w o r k   ca n   o n l y   p r o ce s s   in   t h f o r w ar d   d ir ec tio n   a n d   as  r esu lt,  i ca n   m is s   s o m o f   th u s e f u in f o r m at io n   d u r i n g   th ex tr ac tio n   o f   t h te m p o r al  f ea t u r es.  B u t h B DL ST n et w o r k   ca n   p r o ce s s   in   b o th   th e   f o r w ar d   a n d   b ac k w ar d   d ir ec tio n ,   s o   it  is   e f f icie n to   e x tr ac th te m p o r al  f ea t u r es  co m p ar ed   to   t h e   co n v e n tio n al  L ST n et w o r k .   T h is   is   th r ea s o n   w h y   w ch o o s th B DL ST M   [ 2 5 ] ⁠,   [ 2 6 ]   o v er   L ST M.   Du to   th is   b id ir ec tio n al  p r o p er t y ,   ea ch   B D L ST u n it  ac c u m u late s   t h f ea tu r in f o r m at io n   f r o m   b o th   s id es   o f   t h e   m u lti v ar iate  ti m e - s er ies d ata  w it h i n   it s   ti m f r a m e.   I n   th is   w a y ,   ea ch   u n i t e x tr ac t s   te m p o r al  f ea t u r es.     2 . 4 . 4 .     F ull y   co nn ec t ed  m o du le   I is   th e   last   m o d u le  o f   o u r   p r o p o s ed   m o d el.   T h is   m o d u le  c o n s is ts   o f   t w o   la y er s d r o p o u la y er   an d   d en s la y er .   T h d r o p o u la y er   r an d o m l y   s elec t s   s o m o f   th n o d es  a n d   d r o p o u t h e m .   T h is   is   r eg u lar izatio n   tec h n iq u t h at   i s   u s ed   to   d ela  w it h   th e   o v er f itt in g   p r o b le m .   T h n e x la y er   o f   t h is   m o d u le  i s   t h d en s la y er .   T h is   la y er   co n n ec t s   th o u tp u v ec to r s   f r o m   all  t h B DL ST u n its   o f   t h s ec o n d   B DL ST la y er   to   s in g le  no de Fin al l y ,   t h o u tp u t o f   th i s   la y er   i s   th f o r ec asted   r esu lt o f   o u r   p r o p o s ed   w o r k .       3.   E XP E R I M E NT   3 . 1 .       E x peri m ent a s et up   I n   t h i s   w o r k ,   al l   th e   ex p e r im en ts   a r c o n d u c t e d   i n   P y t h o n   p r o g r am m in g   la n g u ag w it h   Ke r a s   as   th d e e p   l e a r n in g   l i b r a r y .   He r e   w f o r e c as th e   n ex h o u r   PM 2 . 5   b a s e d   o n   th e   p r ev i o u s   8   h o u r s   p o ll u t an ts   c o n c en t r at i o n   ( C O ,   N O 2 ,   an d   S O 2 )   a n d   th e   m et e o r o l o g i c a l   f a c t o r s   ( t em p e r at u r e ,   w in d   d i r ec t i o n ,   h u m i d ity ,   a n d   w in d   s p e e d ) .   W e   h av e   u s e d   7 0 %   o f   th e   d a t a   f o r   t r a in i n g   p u r p o s e s ,   1 5 %   o f   d a t a   f o r   t h e   v al i d a t i o n   p u r p o s e ,   an d   w e   t e s t   th e   p e r f o r m an c e   o f   th m o d e l   b y   th e   r em a in in g   1 5 %   o f   d a t a .   I n   th e   in p u t   t en s o r   f o r m a ti o n   s ch em e ,   f o r   t h f i r s t   p h as e ,   w e   s e th e   l en g th   o f   th e   s li d in g   w in d o w    1 = 5 ,   a n d   s t r i d in g - l en g th   o f   th s l i d in g   w in d o w    1 = 1 .   I n   t h e   s e c o n d   p h as e ,   w e   s e t   th e   l en g th   o f   th e   s li d in g   w in d o w    2 = 4 ,   a n d   s t r i d in g - l en g th    2 = 2 T h e r e f o r e ,   th e   d im en s i o n   o f   th e   c o n s t r u c t e d   3 D   i n p u t   t en s o r s   b e c o m es   5 × 4 × 7 .   T h e   s e l e c ti o n   o f   t h e   h y p e r p a r am et e r   p l ay s   a   c r u ci a l   r o l e   i n   t h e   p e r f o r m an c e   o f   an y   d e ep   l e a r n in g   m o d e l .   A f t e r   th e   f in e - t u n i n g   o f   o u r   f o r e c a s t in g   m o d el ,   w e   s e t   th e   h y p e r p a r am e t e r s   a r e   as   f o l l o w s :   F o r   t h e   f i r s t   C N N   l ay e r ,   th e   n u m b e r   o f   f i l te r s   1 = 16 ,   t h e   f i l t e r   s i z e   i s   4 ,   s t r i d i n g   l en g th   1 = 1 ,   a n d   t h e   w in d o w   s i z o f   th m ax - p o o l in g   i s   2 .   F o r   th e   s e c o n d   C NN   l ay e r ,   th e   n u m b e r   o f   f i l te r s   2 = 12 ,   t h f i lt e r   s i z i s   3 ,   s t r i d i n g   l en g th   2 = 1 ,   a n d   t h e   w in d o w   s iz e   o f   th e   m ax - p o o l in g   i s   2 .   F o r   th e   f i r s B DL S T M   l ay e r ,   th e   n u m b e r   o f   n eu r o n s   i s   6 4 .   a n d   in   th e   s ec o n d   l ay e r ,   n u m b e r   o f   n eu r o n s   i s   3 2 .   T h e   t r a i n in g   b a t ch   s i z i s   1 6 ,   t h e   m o d e l’ s   o p t im i z e r   i s   s t o ch as t i c   o p t im i z a t i o n   ( A d am ) ,   an d   th e   n u m b e r   o f   i t e r a ti o n   is   1 0 0 .   T h e   d r o p o u t   r e g u la r i z a ti o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n e   2 0 2 1   :   1 6 1 1   -   1 6 1 8   1616   t e c h n i q u i s   u s e d   t o   r e d u ce   th o v e r f i tt in g   p r o b l em   o f   th e   m o d e l .   A f t e r   t h e   f in e - tu n in g   o f   o u r   m o d e l ,   w e   s e t   th d r o p o u t   r a t e   t o   0 . 6 ,   an d   th is   d r o p o u t   l ay e r   i s   a d d e d   b ef o r e   th e   f i n al   d e n s e   l ay e r   o f   th e   f u l ly   c o n n e c t e d   m o d u l e .     3 . 2 .     E v a lua t i o n   T o   an al y ze   th p er f o r m a n ce   o f   th m o d el,   h er w e   co n s id er   th r ee   p er f o r m a n ce   m a tr ics,   v iz.   R o o m ea n   s q u ar ed   er r o r   ( R MSE ) ,   m ea n   ab s o l u te  p er ce n tag er r o r   ( MA P E ) ,   an d   s y m m e tr ic  m ea n   ab s o l u t e   p er ce n tag er r o r   ( SMA P E ) .   T h ese  er r o r s   ar ca lcu lated   u s in g   th f o llo w i n g   f o r m u la.       = 1 ( ^ ) 2 = 1   ( 2 )     = 1 ( | ^ | ) = 1 × 100   ( 3 )      = 1 | ^ | ( | + ^ | ) 2 = 1   ( 4 )     W h er   is   ac tu al  v alu a n d   ^   is   t h p r ed icted   v alu at  ti m e - s ta m p   t .   I n   th i s   s t u d y ,   w co m p ar t h e   p er f o r m a n ce   o f   o u r   p r o p o s ed   HDNN   w it h   t h f o u r   p o p u lar   s h allo m o d el s   an d   th r ee   s tates - of - t h e - ar h y b r id   d ee p   lear n in g   m o d els.  T h s h allo w   m o d els  ar SVR ,   A u to   R eg r es s i v I n teg r ated   Mo v in g   Av er ag e   ( AR I M A ) ,   C NN,   an d   B D L ST M,   an d   t h h y b r id s   m o d els  ar e   DAQFF[ 1 5 ]   an d   T L - B L ST M[ 1 9 ] .   T h p ar am eter s   o f   ea ch   o f   th m o d els ar s h o w n   i n   T ab l 2 .       T ab le  2 .   P ar am eter s   o f   d i f f er en m o d els   M o d e l   P a r a me t e r s   I n p u t   S V R   k e r n e l = r b f ,   C = 1 0 0 ,   g a mm a = 0 . 1   P M 2 . 5   T i me - se r i e s   A R I M A   p = 8 ,   d = 1 ,   q = 1   P M 2 . 5   T i me - se r i e s   C N N   f i l t e r s=6 4 ,   k e r n e l = 3   ×   3 ,   M a x P o o l i n g =   2   ×   2   M u l t i v a r i a t e   T i me - se r i e s   B D L S T M   2   l a y e r s o f   B D L S T M ,   L a y e r 1 :   8 0   N e u r o n s,  L a y e r 2 :   3 2   N e u r o n s   M u l t i v a r i a t e   T i me - se r i e s   D A Q F F   [ 1 5 ]   2   l a y e r s o f   1 D - C N N   a n d   t w o   l a y e r s o f   L S T M   M u l t i v a r i a t e   T i me - se r i e s   TL - B L S T M   [ 1 9 ]   3   l a y e r s o f   B D L S T M   M u l t i v a r i a t e   T i me - se r i e s       4.   RE SU L T   AND   DI SCUS SI O N   I n   Fig u r e s   an d   6 ,   w g r ap h icall y   r ep r esen ( zo o m ed   f o r   5 0 0   h o u r s )   th p r ed ict ed   P M2 . 5   co n ce n tr atio n   f o r   th b o th   t h test i n g   d ataset s .   Fro m   t h ese  f i g u r es,  it  is   q u ite  clea r   th at  th H DNN   s u cc e s s f u ll y   p r ed icts   t h f l u ct u atio n   o f   P M2 . 5   co n ce n tr atio n   an d   p r o d u ce s   s tab le  p er f o r m an ce .   T h r es u lt s   o f   th co m p ar ati v a n al y s i s   ar p r esen ted   in   T ab le s   an d   4 .   Fro m   t h ese  tab les,  w c an   o b s er v t h at  t h e   s h allo w   m ac h i n lear n i n g   m o d els  SV R   a n d   A R I M p r o d u ce s   al m o s t h s a m r es u lt,  wh er ea s   t h s h al lo w   d ee p   lear n in g   m o d els  B DL S T M   an d   C NN  p r o d u ce s   b etter   p er f o r m an ce   co m p ar ed   to   t h s h allo w   m ac h i n e   lear n in g   m o d el s   in   ter m s   o f   R MSE   an d   M A P E .   On   th o th er   h a n d ,   test in g   er r o r s   o f   all  th h y b r id   d ee p   lear n in g   m o d els  ar s i g n i f ica n tl y   lo w   co m p ar ed   to   th e   s h all o w   d ee p   lear n i n g   m o d els.  Fro m   t h ese   tab les,  w e   ca n   also   s ee   t h at  o u r   p r o p o s ed   f r a m e w o r k   HD NN  y ield s   th lo w est  te s ti n g   er r o r s   co m p ar ed   to   all  o th er   m o d el s .   T h r esu lt s   co n f ir m   t h at  HDN n o o n l y   ca p tu r es  t h f ea tu r es   o f   lo ca tr e n d s   a n d   also   th lo n g   ter m   te m p o r al  d ep en d en cies  f r o m   t h h i s to r ical  d ataset  p o llu ta n co n ce n tr atio n s   an d   m eteo r o lo g ical  f ac to r s .           Fig u r 5 .   Fo r ec asti n g   r esu l ts   o f   P M2 . 5   co n ce n tr atio n   o f   S y d n e y       Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       A   h yb r id   d ee p   lea r n in g   m o d el  fo r   a ir   q u a lity time   s eries   p r ed ictio n   ( S a mit B h a n ja )   1617       Fig u r 6 .   Fo r ec asti n g   r esu l ts   o f   P M2 . 5   co n ce n tr atio n   o f   Del h i       T ab le  3 .   T h p er f o r m an ce   co m p ar i s o n   o f   d i f f er en m o d el s   f o r   Sy d n e y   d ataset   M o d e l   S V R   A R I M A   B D L S T M   C N N   D A Q F F   TL - B L S T M   HDNN   R M S E   2 1 . 7 5 3 1   2 0 . 1 9 0 4   1 4 . 2 0 9 1   1 5 . 3 7 1 1   1 1 . 0 7 5 3   1 1 . 3 5 7 4   9 . 3 0 4 2   M A P E   3 5 . 7 8 1 6   3 4 . 0 8 7 3   2 8 . 2 4 3 1   2 9 . 6 1 0 8   1 9 . 3 2 8 1   1 9 . 4 3 8 4   1 7 . 8 5 5 1   S M A P E   0 . 3 0 1 2 5   0 . 2 6 5 3   0 . 1 8 1 0   0 . 1 8 7 5   0 . 1 4 2 6   0 . 1 3 9 7   0 . 1 1 7 3       T ab le  4 .   T h p er f o r m an ce   co m p ar i s o n   o f   d i f f er en m o d el s   f o r   Delh i d ataset   M o d e l   S V R   A R I M A   B D L S T M   C N N   D A Q F F   TL - B L S T M   HDNN   R M S E   3 2 . 1 9 2 0   3 1 . 0 8 4 7   2 6 . 9 9 2 1   2 8 . 3 0 0 8   2 4 . 3 5 2 0   2 4 . 1 0 8 3   2 3 . 8 1 7 1   M A P E   1 8 . 5 4 9 0   1 5 . 1 0 0 8   1 3 . 2 8 7 1   1 3 . 9 8 1 2   8 . 0 9 3 1   8 . 1 1 5 9   7 . 0 8 4 6   S M A P E   0 . 3 8 2 9   0 . 2 5 4 6   0 . 2 4 0 9   0 . 2 5 7 1   0 . 1 5 0 9   0 . 1 5 3 2   0 . 1 4 8 1       5.   CO NCLU SI O N   A ir   q u al it y   f o r ec asti n g   i s   o f   u t m o s i m p o r tan ce   f o r   th ea r l y   d etec tio n   o f   air   p o llu tio n .   I n   t h is   s tu d y ,   to   p r ed ict  th air   q u alit y   m o r e   ac cu r atel y ,   w p r o p o s h y b r id   d ee p   lear n in g   f r a m e w o r k .   I n   th i s   f r a m e w o r k ,   w in tr o d u ce   a n   in n o v at iv e   3 in p u t te n s o r   f o r m atio n   tec h n iq u to   co n v er t t h ti m e - s er ie s   d ata  to   3 i m a g e   lik d ata  f o r   f ee d in g   it  to   th C NN  m o d u le.   Her w al s o   in tr o d u ce   lin k in g   la y er   b et w ee n   t h C N m o d u le   an d   th L ST m o d u le.   T h ex p er i m e n tal  r es u lts   s h o w   th a th p r o p o s ed   f r am e w o r k   o u ts h in ed   o th er   s tate - of - th e - ar m o d els  in   ter m s   o f   d if f er en test i n g   er r o r s .   T h p r o p o s ed   f r a m e w o r k   also   p r o v id es  s tab le  p er f o r m a n ce ,   esp ec iall y   i n   th p er io d s   o f   wav p ea k   an d   w a v v alle y .   S o ,   it  ca n   b co n clu d ed   th at  th p r o p e r   in p u d ata  r ep r esen tatio n   p la y s   v ital  r o le  in   th e   p er f o r m a n ce   o f   an y   d ee p   lear n in g   m o d el s .   T h er ef o r e,   th is   f r a m e w o r k   w il h elp   th ad m in i s tr ati v au th o r it y   f o r   co n tr o llin g   th air   p o llu tio n   w ell  in   ad v an ce   a n d   a b le  to   w ar n   th e   citizen .   Her th f r a m e w o r k   h as  ap p lied   f o r   o n l y   th s in g le - ti m e - s tep   a h ea d   p r ed ictio n .   T h p er f o r m a n ce   o f   th f r a m e w o r k   h as  n o b ee n   an al y ze d   f o r   th m u lti - t i m e - s te p   ah ea d   p r ed ictio n .   I n   th f u t u r e,   w w ill  lik to   ap p ly   o u r   m o d el  f o r   m u lti - ti m e - s tep   ah ea d   p r ed ictio n .       RE F E R E NC E S   [1 ]   J.  F .   T o rre s,  A .   G a li c ia,  A .   T ro n c o so ,   a n d   F .   M a rti n e z - Á lv a re z ,   A   sc a l a b le  a p p r o a c h   b a se d   o n   d e e p   lea rn in g   f o r   b ig   d a ta  t im e   se ries   f o re c a sti n g ,   In teg r.   Co m p u t .   A id e d .   En g . ,   v o l .   2 5 ,   n o .   4 ,   p p .   3 3 5 3 4 8 ,   2 0 1 8   d o i:   1 0 . 3 2 3 3 /ICA - 1 8 0 5 8 0 .   [2 ]   J.  C.   B.   G a m b o a ,   De e p   lea rn in g   f o ti m e - se ries   a n a l y sis,”   a rXiv P re p r.  a rXiv1 7 0 1 . 0 1 8 8 7 ,   2 0 1 7 .   [3 ]   B.   S .   F re e m a n ,   G .   T a y lo r,   B.   G h a ra b a g h i,   a n d   J.  T h é ,   F o re c a stin g   a ir  q u a li ty   ti m e   se ries   u sin g   d e e p   lea rn in g ,   J .   Ai &   W a ste   M a n a g .   Ass o c . ,   v o l.   6 8 ,   n o .   8 ,   p p .   8 6 6 8 8 6 ,   2 0 1 8 d o i:   1 0 . 1 0 8 0 /1 0 9 6 2 2 4 7 . 2 0 1 8 . 1 4 5 9 9 5 6 .   [4 ]   S .   Bh a n ja  a n d   A .   Da s,  De e p   Ne u ra Ne t w o rk   f o M u lt iv a riate   T i m e - S e ries   F o re c a stin g ,   in   Pro c e e d in g o f   In ter n a t io n a C o n fer e n c e   o n   Fr o n ti e rs   in   Co m p u ti n g   a n d   S y ste ms ,   2 0 2 0 ,   p p .   2 6 7 27 7.   [5 ]   Y.  L e Cu n ,   e a l. ,   Ha n d w rit ten   d ig it   re c o g n it io n   w it h   a   b a c k - p ro p a g a ti o n   n e tw o rk ,   in   Ad v a n c e in   n e u ra l   in fo rm a ti o n   p ro c e ss in g   sy ste ms ,   1 9 9 0 ,   p p .   3 9 6 - 4 0 4 .   [6 ]   D.  E.   Ru m e lh a rt,   G .   E.   Hin to n ,   R.   J.  W il li a m s,  a n d   o th e rs,  L e a rn in g   re p re se n tati o n b y   b a c k - p ro p a g a ti n g   e rro rs,”  Co g n .   M o d e l . ,   v o l.   5 ,   n o .   3 ,   p .   1 ,   1 9 8 8 .   [7 ]   J.  L .   El m a n ,   F in d i n g   stru c t u re   in   ti m e ,   Co g n it ive   S c ien c e ,   v o l.   1 4 ,   n o .   2 ,   p p .   1 7 9 - 2 1 1 ,   1 9 9 0   d o i:   1 0 . 1 0 1 6 /0 3 6 4 - 0 2 1 3 (9 0 )9 0 0 0 2 - E .   [8 ]   S .   Ho c h re it e a n d   J.   S c h m id h u b e r ,   L o n g   sh o r t - term   m e m o r y ,   Ne u ra C o mp u t. ,   v o l.   9 ,   n o .   8 ,   p p .   1 7 3 5 - 1 7 8 0 ,   1 9 9 7 d o i:   1 0 . 1 1 6 2 /n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [9 ]   M .   Rh a n o u i,   S .   Yo u sf i,   M .   M ik r a m ,   a n d   H.  M e riza k ,   F o re c a stin g   f in a n c ial  b u d g e ti m e   s e ries ARIMA   ra n d o m   w a l k   v L S T M   n e u ra n e tw o rk ,   IAE S   In ter n a ti o n a J o u r n a o A rtif icia In telli g e n c e v o l.   8 ,   n o .   4 ,   pp 3 1 7 - 3 2 7 ,   2 0 1 9 d o i:   1 0 . 1 1 5 9 1 /i jai. v 8 . i4 . p p 3 1 7 - 3 2 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  22 ,   No .   3 J u n e   2 0 2 1   :   1 6 1 1   -   1 6 1 8   1618   [1 0 ]   N.  A .   Ra h m a d ,   N.  A .   J.  S u f ri,   N.  H.  M u z a m il ,   a n d   M .   A .   A s’ a ri,   Ba d m in to n   p lay e d e tec ti o n   u si n g   f a ste re g io n   c o n v o lu ti o n a n e u ra n e tw o rk ,   In d o n e si a n   J o u rn a o E l e c trica En g in e e rin g   a n d   Co mp u ter   S c ien c e ,   v o l.   1 4 ,   n o .   3 ,   p p .   1 3 3 0 1 3 3 5 ,   2 0 1 9 ,   d o i:   0 . 1 1 5 9 1 /i jee c s.v 1 4 . i 3 . p p 1 3 3 0 - 1 3 3 5 .   [1 1 ]   N.  Ka sim ,   N.  Ra h m a n ,   Z.   Ib ra h i m ,   a n d   N.   N.   A .   M a n g sh o r ,   Ce l e b rit y   F a c e   Re c o g n it io n   u si n g   D e e p   L e a rn in g ,   In d o n e sia n   J o u r n a o E lec trica En g i n e e rin g   a n d   Co mp u ter   S c ien c e ,   v o l.   1 2 ,   n o .   2 ,   p p .   4 7 6 - 4 8 1 ,   2 0 1 8   d o i:   1 0 . 1 1 5 9 1 / ij e e c s.v 1 2 . i2 . p p 4 7 6 - 4 8 1 .   [1 2 ]   S .   Du ,   T .   L i,   Y.   Ya n g ,   a n d   S . - J .   Ho rn g ,   De e p   a ir  q u a li ty   f o re c a st in g   u si n g   h y b rid   d e e p   lea rn i n g   f ra m e w o rk ,   a rXiv   Pre p r.  a rXiv1 8 1 2 . 0 4 7 8 3 ,   2 0 1 8 .   [1 3 ]   G .   Ya n g ,   H.  L e e ,   a n d   G .   L e e ,   A   H y b rid   De e p   L e a rn in g   M o d e l   to   F o re c a st P a rti c u late   M a tt e Co n c e n tratio n   L e v e ls  in   S e o u l,   S o u th   Ko re a ,   At mo s p h e re   ( Ba se l). ,   v o l.   1 1 ,   n o .   4 ,   p .   3 4 8 ,   2 0 2 0 ,   d o i:   1 0 . 3 3 9 0 /atm o s1 1 0 4 0 3 4 8 .   [1 4 ]   Z.   Ha n ,   J.  Z h a o ,   H.  L e u n g ,   K.  F .   M a ,   a n d   W .   W a n g ,   A   re v ie o f   d e e p   lea rn in g   m o d e ls  f o ti m e   se r ies   p re d ictio n ,   IEE S e n s.  J . v o l .   2 1 ,   n o .   6 ,   p p .   7 8 3 3 - 8 4 ,   2 0 1 9 d o i:   1 0 . 1 1 0 9 /JS E N.2 0 1 9 . 2 9 2 3 9 8 2 .   [1 5 ]   S .   Du ,   T .   L i,   Y.  Ya n g ,   a n d   S . - J.  Ho rn g ,   De e p   a ir  q u a li ty   f o re c a st in g   u sin g   h y b rid   d e e p   lea rn i n g   f ra m e w o rk ,   IEE T ra n s.  K n o wl .   Da t a   E n g . v o l .   3 3 ,   n o .   6 ,   p p .   2 4 1 2 - 2 4 2 4 ,   2 0 1 9 d o i 1 0 . 1 1 0 9 /T KD E. 2 0 1 9 . 2 9 5 4 5 1 0 .   [1 6 ]   S .   Bh a n ja  a n d   A .   Da s,  De e p   L e a rn in g - b a se d   In teg ra ted   S tac k e d   M o d e f o th e   S t o c k   M a rk e P re d ictio n ,   In t.   J .   En g .   Ad v .   T e c h n o l. ,   v o l.   9 ,   n o .   1 ,   p p .   5 1 6 7 - 5 1 7 4 ,   Oc t.   2 0 1 9 d o i:   1 0 . 3 5 9 4 0 /i jea t. A 1 8 2 3 . 1 0 9 1 1 9 .   [1 7 ]   Q.  S u n ,   Y .   Z h u ,   X .   C h e n ,   A .   X u ,   a n d   X.  P e n g ,   A   h y b rid   d e e p   le a rn in g   m o d e w it h   m u lt i - so u rc e   d a ta  f o P M   2 . 5   c o n c e n tratio n   f o re c a st,”  Air   Qu a l it y ,   At m o sp h e re   &   He a lt h ,   v o l.   1 4 ,   n o .   4 ,   p p .   1 1 1 ,   2 0 2 0 d o i:   1 0 . 1 0 0 7 /s 1 1 8 6 9 - 020 - 0 0 9 5 4 - z .   [1 8 ]   B.   G h o se   a n d   Z.   Re h e n a ,   De e p   L e a rn in g   A p p ro a c h   f o P re d ictin g   A ir  P o ll u ti o n   i n   S m a rt  Cit ies ,   i n   Co mp u t a ti o n a I n telli g e n c e   a n d   M a c h in e   L e a r n in g ,   S p ri n g e r,   2 0 2 0 ,   p p .   2 9 - 38 d o i:   1 0 . 1 0 0 7 /9 7 8 - 9 8 1 - 15 - 8 6 1 0 - 1 _ 4 .   [1 9 ]   J.  M a ,   J.  C.   P .   C h e n g ,   C.   L in ,   Y .   T a n ,   a n d   J.  Z h a n g ,   Im p ro v in g   a ir  q u a li ty   p re d ictio n   a c c u ra c y   a l a rg e te m p o ra re so lu ti o n u si n g   d e e p   lea rn in g   a n d   tran sf e lea rn in g   tec h n iq u e s,   At mo s.  En v iro n . ,   v o l.   2 1 4 ,   p .   1 1 6 8 8 5 ,   2 0 1 9   d o i:   1 0 . 1 0 1 6 /j . a tm o se n v . 2 0 1 9 . 1 1 6 8 8 5 .   [2 0 ]   N.  H.  A b d   Ra h m a n   a n d   M .   H.   L e e ,   A rti f i c ial  n e u ra n e tw o r k   f o re c a stin g   p e rf o rm a n c e   w it h   m issin g   v a lu e   im p u tatio n s,”   IAE S   I n ter n a t io n a J o u rn a o f   Arti fi c i a I n tel li g e n c e ,   v o l.   9 ,   n o .   1 ,   pp 33 - 39 2 0 2 0   d o i:   1 0 . 1 1 5 9 1 / ij a i. v 9 . i 1 . p p 3 3 - 39 .   [2 1 ]   S .   B h a n ja  a n d   A .   Da s,  Im p a c o f   Da ta  No rm a li z a ti o n   o n   De e p   Ne u ra Ne tw o rk   f o T i m e   S e ries   F o re c a stin g ,   a rXiv P re p r.  a rXiv1 8 1 2 . 0 5 5 1 9 ,   2 0 1 8 .   [2 2 ]   I.   L iv ieris,  E.   P in tela s,  a n d   P .   P in tela s,  A   CN N -- L S T M   m o d e f o g o ld   p ri c e   ti m e - s e ries   f o re c a stin g ,   Ne u ra l   Co mp u t .   A p p l . ,   v o l.   3 2 ,   n o .   2 3 ,   p p .   1 7 3 5 1 1 7 3 6 0 ,   2 0 2 0 d o i:   1 0 . 1 0 0 7 /s0 0 5 2 1 - 0 2 0 - 0 4 8 6 7 - x .   [2 3 ]   T .   L i,   M .   Hu a ,   a n d   X.  W u ,   h y b rid   CNN - L S T M   m o d e f o f o re c a stin g   p a rti c u late   m a tt e (P M 2 .   5 ) ,   IEE E   Acc e ss ,   v o l.   8 ,   p p .   2 6 9 3 3 2 6 9 4 0 ,   2 0 2 0 d o i:   1 0 . 1 1 0 9 /A CCES S . 2 0 2 0 . 2 9 7 1 3 4 8 .   [2 4 ]   V .   Na ir  a n d   G .   E.   Hin to n ,   Re c ti f ied   li n e a u n it im p ro v e   re stricte d   b o lt z m a n n   m a c h in e s,”   in   Pro c e e d in g o t h e   2 7 t h   i n ter n a t io n a c o n fer e n c e   o n   ma c h in e   le a rn in g   ( ICM L - 10) ,   2 0 1 0 ,   p p .   8 0 7 8 1 4 .   [2 5 ]   X .   M a ,   J.  Z h a n g ,   B.   Du ,   C.   Di n g ,   a n d   L .   S u n ,   P a ra ll e a rc h it e c tu re   o f   c o n v o lu ti o n a b i - d irec ti o n a L S T M   n e u ra l   n e tw o rk f o n e tw o rk - w id e   m e tro   ri d e rsh ip   p re d icti o n ,   IEE E   T ra n s.   In tell .   T ra n sp .   S y st. ,   v o l.   2 0 ,   n o .   6 ,     p p .   2 2 7 8 - 2 2 8 8 ,   2 0 1 8 d o i:   1 0 . 1 1 0 9 /T IT S . 2 0 1 8 . 2 8 6 7 0 4 2 .   [2 6 ]   A .   S a g h e e a n d   M .   Ko tb ,   T ime   se ries   f o re c a stin g   o f   p e tro leu m   p r o d u c t io n   u sin g   d e e p   L S T M   re c u r re n t   n e tw o rk s,”   Ne u ro c o mp u ti n g ,   v o l .   3 2 3 ,   p p .   2 0 3 - 2 1 3 ,   2 0 1 9 ,   d o i:   1 0 . 1 0 1 6 /j . n e u c o m . 2 0 1 8 . 0 9 . 0 8 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.