Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   8 , No .   6 ,  Decem ber   201 8 , p p.   4584 ~ 4592   IS S N:  20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v 8 i 6 . pp 4584 - 45 92           4584       Journ al h om e page :  http: // ia es core .c om/ journa ls /i ndex. ph p/IJECE   MetOp  Satellit es Data  Processin g for Ai r Pollu tion  Monitori ng  in Mo rocco       Moham ed  Akr am  Z ayt ar,   Chaker El   A mrani   Facul t y   of  Sci en ce   and Technolo g y   in Ta ngi er,  A bdel m al ek   Essaa di   Univer si t y ,   Laborat or y   of   Infor m at ic s   S y s te m s a nd  Te l ec om m unic ations (L IST ) ,  Mo ro cc o       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   J un   9 , 201 8   Re vised  Ju l   1 ,   201 8   Accepte d  J ul   20 , 2 01 8       Thi s  pap er  pre s ent s  a   data  pro ce ss ing  s y st em  base d  on   an  arc hi te c tur e   comprised  of  m ult ipl e  st ac ke d  lay ers  of  co m puta ti onal  pro ce ss es  tha t   tra nsform s  Raw  Bina r y   Poll uti on  Dat a  co m ing  dire ctl y  from   Two  EUMETSAT  MetOp  sat el l it es  t o  our  serve rs,   i nto  re ad y   to   interpre t   and   visual ise  cont in uous  dat a  stre a m   in  nea r  re al   t i m e  using  te chniques  var y ing   from   ta sk  aut om at ion,   data  pre proc essing  and   dat a  ana l y sis  to  m ac hine  le arn ing  using  fee dforward  artif ic i al   neur a l  netw orks.  The   proposed  sy st em   handl es  th e  ac qu isit ion,  clea n ing,  proc essing,   nor m al iz ing ,   and   pr edi c ti ng  of   Pollut ion  D at a   i n  our  a rea of int ere st of   Morocc o .   Ke yw or d:   Air p olluti on   Data ag gregati on   Data analy sis   Data p r ocessin g   Deep l ear ning   Copyright   ©   201 8   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Moh am ed  A kra m  Zayt ar,   Dep a rtm ent o f Info rm at ic s,   Lab or at ory   of   I nfor m at ic s System s an d  Tel ec omm un ic at ion s ( L IS T ),   Abdelm al ek  Essaadi  Un i ver sit y, PO. Bo x 4 16, T an gier, M orocc o.   Em a il :  Me dA kram Zaytar@gm ai l.co m       1.   INTROD U CTION   Ov e r  the  la st   deca de,   Air  Po ll utio n  e nv i ronm ental   thre at s  sign ific a nt ly   increased  [1 ] - [ 4],  a nd   Cl i m a te   chan ge   eff ect s  beca m e  m any  and   wide  rangin g  [ 5].  The re  is  no  do ub t  t hat  excessive  le vels   of   ai r  po ll utio n  a re  c ausin g  a  lot  of  dam age  to  hu m an  an d  anim al   healt h  as  we ll   as  to  the  wi der   e nvir on m ent.  F or  these  reas ons,  caref ul  sci entif ic   researc h  a nd  m on it or in g  of  ai r  poll utants  i s  a  neces sit y  that  m us t  be  e xerci se d  with a  great  d e al  o f  att ention  and preci sio n.   Nowa days,  as   m uch   as  we  wan t  t o  quic kl y  evaluate  an d  co ncl ud e  from   existi ng   poll ution  a nd   cl i m at e   data,  m os t  of   the  prob le m s  we  fac e  center  ar ound  prep arin g,   cl eanin g,   proces sing,  an d  tra nsfo rm ing  the  la rg e  am ou nts  of   ra w  en vi ronm ental   data   we  receive  fro m   sat ellit es   in  near   real  tim e.  In   ou r  case,  th e  raw  data  ta kes  m ulti ple  pr im it iv e  form at s  su ch  as  BUFR  ( Bi nar y  U niv e r sal   Fo rm   fo r  t he  Re prese ntati on   of   m et eor ologica l  data),  GR IB  2,  HRIT/LR IT,   HRPT/LR PT .  in  this  pa per,  w e  are  goin g  to  pr ese nt  a  syst em   for   proc essi ng  BU FR  base d  bi na ry  file s  c om ing   directl y  f ro m   the  sat el li te ’s  sens or s   an d  tra ns f or m   it   into  a  data  set  that is rea dy  f or  data anal ysi s sp eci fic ta sk s li ke s in fer e nce a nd v is ualisa ti on .   The  m ai n  so urce  of  the  dat a  we  process  is  EUMETS A T.  EUME TS A T  is  a n  inte rgov e r nm ental  op e rati onal   sat el li te   agen cy   w it h  a  total   of 3 0  Eu ropea n  Me m ber   Stat es.  The  organ iz at io n’ s   m issi on   sta tem ent   is  to  gather   acc ur at e  an d  reli a ble  sat el li te   dat a  on   w eat her,  c lim a te   and   the  env i ronm ent  aro un d  the  cl oc k,  and   to d el ive r  t hem   to it s m e m ber  an d co operati ng stat es, i nter na ti on al  partne r s,  a nd to use rs world - wi de [6] .   The  data  we  ar e  m os t  interest ed  in   com es  di rectl y  from   a  t ype  of  sat el li te s  nam ed  Me to p.   Me t op  is  a   series  of  thre e  po la r  orbiti ng  m et eor ologica l  sat el li te s,  we  cur ren tl y  get  da ta   from   two  of  them ,  Me top - A  a nd   Me top - B ,  they   bo th  a re  in  a  lowe r  pola r  or bit,  at   an  al ti tu de  of  ap prox i m at ely  81 7  kil om et res,   they   pro vid e   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Met Op Satel li t es Data  Pr oces sing f or   Air P ol luti on  M onit ori ng  i n  M orocc o   ( Mo hame d A kram Z aytar )   4585   detai le d  obser va ti on s  of   the  gl ob al   at m os ph e re,  oc eans  a nd  con ti ne nts.  T he   la st  sat el l it e,  Me top - C ,  is   pl ann e d  to b e  lau nched   in 20 18.   The  syst em   transfo rm s  the  data  from   i ts  pr im itive  BUF R  fo rm at ,  wh ic h  is  a  bin ary   data  form at  m ai ntained  by  the  w or l d  m et e orolo gical   orga nizat ion ,  t o  c om m a  separ at ed   file s  (CSV).  T he   BUFR  form at   is   a  so m ewh at   co ntr ov e rsial   a nd   a  hard - to - wor k - with  da ta   for m at   becau se  of   the  dif ficult y  of   m anipu la ti ng  an d  exp e rim enting wit h  it s e ncode d values .    Our  pro posed   so luti on  is   a  s of t war e  syst em   co m po sed  of  m ulti ple  st acked  la ye rs.  The   first  one   deco m pr esses  and   processes t he  BUFR b i nar y data, d eco de s it , s tructur es  and  c om bin es it s d ecoded m es sages  unde r  the CS V  ( com m a separ at ed  value s)  f orm at , an d  final ly  n or m al iz es i t. Bec ause d ee p  le arn i ng m od el s ar e  us e d  in  dif fer e nt  cl i m at e   rela te d  pro blem s   [7 ] - [ 9],  we  trai ned   a nd   m easur e d  the  pe rf orm ance  of   an  ANN   base d  arc hitec ture   w he n  fill in g  m issi ng   val ue   points  a nd  in te rpolat ing   ne w  on es .  T he  sy stem   pr od uces  a  nea r   con ti nu ous  data stream  o n  t he  2 - D su rf ace  of  our area  of int erest.   The  s of tw are  so luti on  propo sed  by  this  pa per   is  a  syst e m   that  c an  be   directl y  plug ged   i nto   the  endp oin ts  of  th e  nea r  real  ti m e  data  st ream ,  i t  will   al low  f or  fast  e xperim e ntati on  an d  vis ualiz at ion   of  al read y   processe d  r aw  data  points  c om ing   directl y  f ro m   the  Me top - X  sat el li te s  series,  it   will   al so   res ult  in  s pa ce  an d  tim e  red uction  and   optim iz at i on   si nce  it   fo c us es  on   inte res t  areas,  we  l ook  f orward  f or  our  s olu ti on  to   further  i m pr ove a nd a ccel erate t he re search  pr ocess done  on to p o f t he  E UMETC AS T  data st rea m  p ipeli ne.       2.   PRO CED U R E   2.1.   Data Pr ocessi ng   The follo wing  fig ur e  dem on st rates the  proce dure ta ken to  pre - process  and  norm al iz e the d at a :           Figure  1. Dec odin g  B UF R  Da ta  to  Com m a separ at e d  m erg e d  m essages       In  the  first  ste p,   t he  syst em   gets  the   ra w  ta r  file s  t hro ugh  the  FTP  prot oc ol,  a fter  e xtra ct ing   t he  c om pr e sse d  file s  we  get  m ulti ple  Bi nar y  BUFR  file s  wh ic h  f ollow   a  stric t  na m ing   c onve ntion   in  the  fo ll owin g  form   (INSTR UME NT _ID - PR O D UCT_T Y PE - P ROCESS ING _L EV EL - S PA C ECR AF T _ID - SEN S I NG_ST ART - SEN S I NG_E N D - P R OCES SING _MO DE - D IS P OSITI O N_M OD E - PR OCESSIN G_ T IM E)   that  co rr e sp on ds   to  m ulti ple  i m portant  va riabl es  su c h  as  t he  instru m ent  ide ntifie r,  orbit,   a nd  ti m e  fr a m e,  the  syst em   filters  th e  data  do wn   t o  get  poll utio n  f il es  in  the  ti m e  the  sat el li t e  is  scan ning  the  area  of  in te rest  us in g  re gu la r   expressi on s  on   the  nam es  of   the  ex tr act ed  fil es  (un der   the  poll ution   c ode  nam e  of   ”TR G” ).   Wh at   we  fin al ly  get are  m ulti pl e BUFR  poll ution   file s corre s pondin g  to  the  area  of  i nterest  that are  r ea dy  to b e  d ec oded .   In  the  seco nd  ste p,   t he  syst e m   us es  a  thir d  pa rty   softwa r e  so l ution  na m ed  BUFR E xt ract  [ 10 ]   t o  decode  t he  B UF R  file s  i nto   bul ks   of  e xport ed  m essag es,  each   m ess age  c on ta ini ng  a  desc riptio n  of   it s   colum ns   an d  t he  val ues  in   each  on e  i n  a   te xt  file   for m at .   In   the  t hi rd   ste p,   the  s yst e m   per form s  fast   m erg e/ sel ect ion   te ch niques  t o  com bin e  al l  of   t he  m essages  into  tw o  c omm a  separ at ed  f il es  cor res pond ing   to   the  scan ning  ti m efr am e,  on e  for  the  Me t op - A  sat el li te   and  the  seco nd  f or   Me top - B .  Bot h  CS V  file s  c onta in   the foll owin g  c olu m ns  of  inte r est :         Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber   201 8   :   4584   -   4592   4586   Table  1.  E xtrac te d  Feat ures   No .   Featu re   Un it   1   Year   Integ er   2   Mon th   Integ er   3   4   5   6   7   8   9   10   11   Day   Ho u r   Minu te   Seco n d   latitu d e   Lon g itu d e   CH4  Dens ity   CO2  Dens ity   N2 O Dens ity   Integ er   Integ er   Integ er   Integ er   DEGRE E   DEGRE E   k m . m - 2   k m . m - 2   k m . m - 2       Af te r   ex portin g  the   neces sar y  values  i nto   m ul ti ple  structur e d  CS V  file s,  the  syst em   groups  r ow s   by   locat ion  points   an d  the  e xact d at e  ( Year - Mo nth - Day -   H our - Mi nu te - Sec ond)   a nd  a pp li es the  m ean  functi on  on   the  poll utant  va lues  to  ta ke  the  ave rag e  of   po s sible  re dundant  m easur e m ents.  In   the  f ourth  ste p,   the   sy stem  deals  with  cl ea ning  data  point s  that  are  substanti vely   unreas on a ble  us i ng   l og ic al   co ndit ion s  on  data  po i nts  of   CH 4 ,   CO 2  a nd  N 2 O  us i ng  Z - s cor es . Last ly ,  t he  syst em   no r m al iz es  al l  po ll ution  points   in to  va lues  i n  [− 1,   1]  to   acce le rate co nver ge nce in t he  t rainin g p hase s,  usi ng the  fol lowing  f or m ula fo r  al l t hree  num erical  v ariables :     ← −  ( )  ( )   −    ( )   ∀ ∈ { 1 , 2 , 3 } , ∈ { 1 , . . . , }     As  a  ge ne ral  de scriptio n  of  t he  pro cess,  ea ch  hal f  an  hour,  the  syst em   receives  one  c om pr essed  ta r  file   throu gh   th e  serv e rs’   e nd   po i nts,  the  syst e m   autom a ti ca ll y  deco m pr esses  the  file   into  BUFR  BIN,   s el ect s   file s  cor r esp on ding  to  the  are a  of   interest ,  a nd   decodes  the m   us ing   a  thir d  pa rty   li br ary  (BUF Re xtract)   to  the   corres pondin g  m essages   an d  tur ns   them   into  two  CS V  file s  con ta ini ng   al l  of   the v al ues  of  interest   in  ne ar  real   tim e,  this  res ul ts  in  a  c onsid erab le   re du ct io n  i n  the   dim e ns io nalit y  of  the  data  a nd  th e  sp ace   it   no r m al l y  occupies.   The  seco nd  pa rt  of   the  syst e m   fil ls  the  m issi ng   va lues   in  the  2 - D  s urface  of   inte r est   and   al so   gen e rates new  d at a  points usi ng   al gorithm ic   search  a nd  a ne ur al  n et w ork  arch it ect ure  to g et   a  nea r  c on t inuous  data stream  o ut pu t t hat is r ead y for e xp l or at i on, visuali sat io n,  a nd inte rpret at ion .     2.2.   Int el li gen t  In t erpola tio n   The  pre dicti on  of   m issi ng   values  is  based  on   th ree  pre - trai ned   Fee d - F orward  F ully   Connect e d  Neural  net wor k  m od el s  fit  to   fill   the  m issi n g  values  i n  the   2 - D  s urface  of  our  i nterest  f or  the  t hr ee  poll utant s   (CO 2,  C H4, a nd  N2O), a nd th e g e ner a l a rc hitec ture of o ur  ANNs  is  as  s how n  i n  Fi gure  2.           Figure  2. The   ANN Arc hitec ture  to pre dict  m issi ng  v al ues       As  a n  a ct ivati on  f unct ion  f or  our  m od el ,   we  c hose  t he  recti fier  functi on.   T he   ge neral   process   i n  wh ic h  sel ect ed  m issi ng   po i nts  are pre dicte d   ( or not),  is   s hown   as  Fi gure  3 :   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Met Op Satel li t es Data  Pr oces sing f or   Air P ol luti on  M onit ori ng  i n  M orocc o   ( Mo hame d A kram Z aytar )   4587       Figure  3. The   Fil li ng  m issi ng  points  Proced ur e       The  syst em  p re dicts m issi ng   va lues foll owin g  this  pro ce dur e :   1.   Ma p  al l m issi n g values  w it h t he nearest  100  neig hbor  value s.   2.   So rt  points i n f un ct io n o f  the   nu m ber   of n ei ghbo rin g  m issi ng   po i nts a nd th e ave rag e  d ist a nce, givi ng a  new sc or e  f or  e ach m issi ng  po int i n  the  fo rm   of :    =      ∗      3.   If  t he  T op m iss ing   point’s  av e rag e  d ist anc e f ro m  all  n ei ghbor  points is  gre at er th a n 50 km , o r  if the re is   no to p  m issi ng   po i nt, brea k  t he  loop  a nd  fini sh  t he pr ocess.   4.   If  t he  a ver a ge dist ance is less  than 5 0km , p r edict  the m issin g p oin t  us i ng  the AN Ns  m odel s and m ark  th e  po i nt as  done  a nd lo op b ac k  t o  ste p 2.   The  syst em   autom a ti cal l y  lo op s  over  thes e  ste ps   unti l  al l   m issi ng   val ues  a re  fill ed  (for   possible  pre dicti on s ),   the syst em  r epeats t his wh ole pro ce dure  f or   the th ree  po ll ut ants  of  i nterest.       3.   RESEA R CH MET HO D   3.1.   Data De scri pti on   The  first  Data set   us ed  in  this  stud y  was  colle ct ed  in   the  fo rm   of   bu lk s  of   BUFR  m essage  file s   com ing   directl y  fr om   two  sat el li te s,  Metop - A  a nd   Me to p - B,  an d  preci s el y  fr om   the  In f rar e d  at m os ph e ric  so un ding  inte r ferom et er  (I A SI )  sens or,  w hich  is  c om po sed  of   a  Fouri er  trans f or m   sp ect r om et er  a nd   a n  associat ed  in te gr at e d  Im aging  Subsyst em   (I IS ).   T he  F ourie r  tran sf or m   sp ect ro m et er  pr ov ides  inf rar e d  s pectr a   with  high  re so l ution bet wee n 645 a nd  2760c m - 1  (3 . 6m  to  15. 5m ).   The  m ai n  goa l  of  I ASI  is  t o  pro vid e  at m os phe ric  em is sion  sp e ct ra  t o  der i ve  te m per at ur e   a nd  hu m idit y  pr of il es  with  high  ve rtic al   reso luti on   a nd  accu rac y.  Additi on al ly   it   is  us ed  f or   t he  dete rm inatio n  of  trace  gas es  s uc h  as   oz one,  nitrous  oxide,   an d  ca rbo n  dioxide,  a s  well   as  l and  an d  sea  s urface  te m per at ur e   a nd   e m issi vity  an d cl oud pro per ti e s.   IA S I  m eas ur es   in  the  infr a red  par t  of   th e  el ect ro m agn et ic   sp ect r um   a t  a  h or iz on ta l  res olu ti on   of   12   km   ov er  a  sw at h  widt h  of  about  2,  200km .  W it h  14  orbits  in  a  su n - syn chro nous   m id - m or nin g  orbit  (9: 30   Local  S olar  Ti m e  equ at or  cr ossi ng,  de scen di ng   node )  globa l  ob se r vations  can  be  pr ov i de d  twic e  a  day  ( ever y  12  h our s),   the sate ll it es   ta ke  a rou nd   25  m inu te s  to  scan  The   area  of   interes t,  we  get  po ll ut ion   data  f ro m   po i nts   appr ox im at ely   20   km   apar t  fr om   each  oth e r.We  co ns tr ucted  the  sec ond  dataset   from   a lready  prep ro c esse d  data  points  i n  t he  go al  o f   trai ni ng ,   te sti ng,  a nd v al idati ng  ou r  ne ural   net wor k  m od el s  an d  s olv e  t he  prob le m   of   fill ing  m issi ng   data points  and  inter po la ti ng  ne w po i nts in  th e sele ct ed  a rea  of interest .     3.2.     Int el li gent I n terp ola ti on     We  ge ne rated  new   em pty  po i nts  val ues  in  w hich  al l  of  the  po i nts  in  the   ar ea  of   i nterest  a re  dista nce d  from  each  othe r by 5 km , th e s yst e m  then  inte ll igently  interpolat e all  em pty  points.     3.2.1.   D ata Col le ction   We  c ollec te d  150  Giga byte s  of  prep r ocesse d  data  or  the  e qu ivale nt  of  ar ou nd   800  m i ll ion   data  point   to  bu il d  an  int el li gen t  m od el   capab le   of   pre dicti ng   m issi ng   poll utant  val ues.   Af te r  c ollec ti ng   the  data   set ,  we  ran   a  gen e ral  sta ti sti c  on   m i ssing   data  poi nts  an d  we  present  the  f ollo wing  res ults  ba sed  on  the  sa m pled  dataset   as s ho wn in T able  2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber   201 8   :   4584   -   4592   4588   Table  2.  Mi ssi ng  Val ues  i n  th e  Data Set   No .   Po llu tan t   % o f   m iss in g  valu es   1   N2 O   0 .00 3  %   2   CO2   7 2  %   3   CH4   7 1  %       3.2.2.   Tr ainin g and tes ting  da t a   The  data  wa s  trans form ed  into  a  ta ble  w he re  the  featu res   are  the   50  ne arest  points  a nd  the   ta rg et   var ia ble  is  the  data  point  us e d  to  trai n  the  art ific ia l  neu ral  ne twork ,  the  dis ta nce  betwee n  the  ta rg et   point   and  the  f urt hest  point  set   t o  a   m axi m u m   and   t he  sam e  con diti on s  we   a pp li ed   w hen  sel ect in g  va li d  m issi ng   points   wer e   ap plied   w hen  tra nsf or m ing   the   da ta .   Wh e n  tr ai nin g  the   m od el   to  predi ct   ne w  po i nt  val ues   (Inter po la ti on) ,   the  syst e m   add s  ne w  points  (m ark ed  m issin g)  so   that  ev ery  po int  ha s  a  po int  at   le ast  5  km   near   t he  ne xt  one,  a fter  creati ng   ne w  gri ds   of  2 - D  points,  tr ai nin g  set s  we r e  sel ect ed  base d  on  a vaila bili ty   of  the n ei ghbori ng  po i nts.     3.2.3.   Tr ainin g   6  M od el s   co nsi sti ng   of  3  f ully   connecte d  hid de n  la ye r s  with  10 0,  50,   an d  25  neurons   r especti vel y   wer e  us e d,   the  first  3  m od el s  const ru ct e d  to  pr e dict  m issi ng   an d  co rru pted  val ues  an d  the  la st  3  we re  trai ne d  to  inter pola te  new  po i nt v al ue s,  the  traini ng  detai ls are  giv e n   as :   a.   All  of  the   ne uron s   pa ram et ers  were  ra ndom l y  init ia li zed  usi ng   t he  un i for m   distribu ti on   betwee n  − 0.1  a nd   +0.1.   b.   The  Mi ni - Ba tc h gr a dient  Des cent wa s   us ed  to op ti m iz e the p aram et ers.   c.   A  le ar ning  rate  of ε= 0.001 wa s chose n.   d.   Ba tc hes  of  1024 sam ples and  200  e poch s  we re traine d.     3.2.4.   V alida tion   Fo r   the  validat ion   t o  be  ef fici ent,  we  us ed   10 - fo l d  cr os s   va li dation  te c hn i qu e ,  s plit ti ng   t he  data  set   into  m ulti ple training an d  te sti ng sets to  v e rif y t he  ef fici enc y of t he  trai ne d m od el s and to   avo i d ov e rf it ti ng.     3.2.5.   I nt er po l at i on   Metho d   The  syst em   us es  three  pr e - tr ai ned   neural  ne twork  m od el s   to  pr e dict  ne wly  gen e rated   po i nts  an d  interp olate   the   whole  s ur face.   The   pr ocess  is   sim il ar  to  the   proce dure  of  predict in g  m issin g  val ues,  ho w ever,   the  syst e m   do esn’ t  set   a  thre sh ol d  on  the  a ver a ge  of  dista nces  in  or der   t o   break  the  l oop  of   pr e dicti ons.  I t  pr e dicts  an d  f il ls  al l  new   da ta   po i nts  at   a  fixe d  nei ghbouri ng   dista nc e  of   5km ,  t he  f ollo wing   gr a ph   dem on strat es t he pr ocess   as s how n  in  Fig ure  4 .             Figure  4. I nter po la ti on  by Fe ed - Forwa r d Ne ur al   Netw orks   The  syst em   pr edict s  al l  po ints  and   up dates  the  sorte d  li st  of   m issi ng   po i nts  as  it  go es  unt il   filling   al l  of  t he  m issi ng   values ,  the  on l y  diff e ren ce  t ha t  this  m od el   ha ve  wit h  the  previo us   on e  is  t hat  it   do es   not  hav e  a   crit eria f or wh et her  t o pr e dict a m issi ng  poin t or n ot.     3.3.   Be nchma r kin g   To  m easur e  the  per f orm ance  of   our  A NN - ba sed  inter pola ti on   syst em ,  we  be nc hm ark   it s  pr e dicti on s   against t wo stat e o f  the a rt alg or it hm ic   m et ho ds   of sp at ia l i nt erpolat ion,  Kernel sm oo thin g and K rigi ng.   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Met Op Satel li t es Data  Pr oces sing f or   Air P ol luti on  M onit ori ng  i n  M orocc o   ( Mo hame d A kram Z aytar )   4589   3.3.1.   Kernel   Smoot hing     A  kernel  sm oo ther  is  a  sta ti st ic al   te chn iqu e  for  est i m at ing   a  real  valued   f un ct io n  f (X)   ( X  ∈   R p)   by   us in g  it s  no isy   ob s er vations,  wh e n  no  pa ra m et ric  m od el   fo r  this  f unct io n  is  known .  Th e  est i m a te d  functi on   is  sm oo th,  a nd  th e  le vel  of   sm oo th ness   is   set   by   a  sin gle  pa ra m et er.  T o  put  i t  in  m at he m ati cal   te rm s,  the  idea  of  the  nea rest  nei ghbor  sm oo the r  is  the  f ollo wing.  F or   eac h  point  Xi ,  ta ke  N   near est   neig hb or s  a nd  est im a t e  the   value  of  F(Xi)  by  aver a ging  the  values  of   th ese  neighb or s .   This  ty pe  of   in te rpolat ion   is  m os t   app r opria te   fo r   low - dim ensions  (p   <  3)   (the  dim ension al it y  cur se  [ 11 ]   is  on e  rea son  f or  tha t).  Actuall y,  the  ker nel  s m oo ther   represe nts  the   set   of  ir regula r  data  po i nts  a s  a  sm oo th   li ne   or  s urface,   i n  our  case  (2 - D  s urface )  thi s  is  a  perfect ly   reas on a ble  s olu ti on.   O ne  way  to  fill   these  points  w ou l d  be   to  us e  Scip y’s  [ 12 ]   ( pr ec ise ly  sci py.inter po la te .Rbf )  im ple m entat ion   of  Ra dial  Ba sis  Functi on  inter po la ti on  wh ic h  is  inte nd e d  for  t he   sm oo thing /i nte rpolat ion o f  sc at te red   data.     3.3.2.   Gaussi an Pr ocess Re gr ession  or Kri ging   Kr i ging  or  Ga us sia n  process  regressio n  is  a  m et ho d  of   inte rpolat ion   i n  w hich   the  inte rpolat ed  val ue s   are  m od el le d  by  a  Ga us sia n  process  gove r ned   by  pri or  c ov a riances ,  as  oppose d  to  a  pi ecewise - poly nom ial  sp li ne  ch os e n  to  opti m iz e  s m oo t hn e ss  of  th e  fitt ed  values.  Under   s uitabl e  assum ption s  on   the  pr i or s ,  kr i ging   giv es  t he  be st  li ne ar  un biase d  pre dicti on   of  the  inte rm ediat e  values.   In t erpolat ing   m et hods   base d  on  oth e r  crit eria  su c h  as   sm oo thn ess   m ay   no t  yi el d  th e  m os t  li kely   i nterm ediat e  values.   T he  m et ho d  is  wi dely   use d  i n  the  dom ai n  of   sp at ia l  anal ysi s  and   c ompu te r  ex pe rim ents.  T he   te c hn i qu e  is  al s o  kn own  as  W ie ne r   Ko lm og or ov   predict io n.   We’ l l  com par e  the  r esults  of  K rigi ng   i nter po la ti on  on  the  datase t  us in g  the  G a us sia n  Pr oc ess Re gr es sion i m ple m entat ion  in  t he Py thon’s sci kit - le arn li br a ry.     3.4.   Ha rdw are   A  Pyt hon  im pl e m entat ion   of   t he  dee p  ne ur al   networ k  arch it ect ur e  with  hidden  la ye rs  of  100,  50,  25   nu m ber   of  ne uro ns   (r es pecti ve ly ),   G oogle’s   Tens orFlo w  [ 13]   li br ary  was  us e d  to  buil d  a nd  trai n  t he  m od el .   An  N V IDIA  T esl a  K 80  sin gl e  GPU   de vice,   with   49 92  C UDA  c ores,   24  GB  of  G D D R5  m e m or y,  and  48 0  GB/s ag gregat e m e m or y bandw i dth   was  u s ed  to  train  the  neural  netw ork  m od el s.       4.   RESU LT S  AND DI SCUS S ION   The  res ulti ng   s olu ti on  is  a  sys tem   co m po sed  of   th ree  la ye rs  of   pr ocesses,  t he  first  la ye r  deco m pr ess,   decode,  a nd  no rm alizes  the  data.  the  s eco nd   l ay er  is  a  three  ANN  sta ck  t o  fill   in  the  m issin g  poll utant  va lues ,   and   la stl y  the  final  la ye r  w hi ch  is  com po se d  of  a no t her   sta ck  of  neural  netw ork  m od el s  to  inter pola te   ne w   data points  in o ur area  of inte r est .     4.1.   Data Pr ocessi ng   The  deco m pr e ssing ,  dec odin g,   m erg in g,   cl eanin g  a nd   no rm alizi ng   of  Ra w  BU FR  dat a  resu lt   in  a   consi der a ble  r edu ct io n  in  res ources.  Si nce   our  al gorithm   runs  in  li near   tim e,  and   con si der i ng   the  vol um e  of  data  the  syst em   pr ocesses  at   each  ste p,   a  sim ple   co m pu te r   config ur at io n  (4   Gi ga byte   R AM,  4  co res  w it h  no   par al le li sm )  resu lt  in  t he  f ollo wing  durati ons   as s how n  in  Fi gure  5.           Figure  5. A verage  durati on  of the  pr e process ing   sta ge       These  te sts  we re  co nducte d  m ul ti ple  tim es  for  each  vo l um e  cat ego ry,  to  ens ure  high  pr eci sio n.   We   con cl ud e  t hat  the  syst em   scales  pr et ty   well   and   ca n  proces s  la rg e  vo l um e s  of   data  ( up  to  te ra byte s  per  hour )   in r e la ti vely  s hort  durati on  of  tim e.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber   201 8   :   4584   -   4592   4590   4.2.   Int el li gent In t erpola tio n   The  res ulti ng   s urface  of  inter est   is  a  18 87  by   1776  km 2  rectang le ,  t he  sy stem   pr edict s  a  m axi m u m   nu m ber   of  12 3,568  points,  t he  fo ll ow i ng   f igures  showca se  exam ples  of   pr e dicti ons  in  a  fixed   dat e,   us ing  kr i ging,  sm oo t hi ng a nd ou r n eur al   netw ork m od el  as shown  in  Fig ures  6,   7,   8.           Figure  6. I nter po la ti on  visu al isa ti on s  of N2 O           Figure  7. I nter po la ti on  visu al isa ti on s  of CH 4           Figure  8. I nter po la ti on  visu al isa ti on s  of CO 2       In  t he  a bove figures, t he ro un ded m ark ers  re pr ese nt a  know n  sam ple o f p ol luti on   data poi nts,  a nd the  interp olate d  surface  re pr ese nt   the  the   res ulti ng  pre dicti on s.   W e  got  the  f ol lowing  trai ning  r esults  a fter  cro s s   validat in g  the  m od el s   as  sh own  in  Fig ur es  9   an d  10.  As  e xp ect e d,   the  s yst e m   pr oduce s  bette r  res ults  wh e n  fill ing   m issi ng   values ,  a nd  ge ner al ly   w or s e   res ults  w hen  fill ing   in  ne w   data  po i nts.  but  w he n  com pa rin g   interp olate d  da ta   us in g  the  3  m et ho ds,  we  fi nd   i nteresti ng  resu lt s,  t he  f ollow i ng   grap h  s h owcases  t he  r esults   of com par iso ns.       Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Met Op Satel li t es Data  Pr oces sing f or   Air P ol luti on  M onit ori ng  i n  M orocc o   ( Mo hame d A kram Z aytar )   4591         Figure  9. Com par i ng the acc uracy  of  diff e re nt  m od el s u sin g M SE     Figure  10. Acc ur acy   of the  sugg e ste d In te rpolat ion   Me thods       4.3.   Discussio n   As  we  can   se e  from   the  resu lt s,  the  optim al   interp olati on  te ch nique  is   generall y  bette r  tha n  our   trai ned   ne ur al   netw ork  m odel s,  howe ve r,   in  the  case  of   N2O  a nd  C H4   we  ca n  sa y  that  our  m od el   is  com petit ive  with  the  oth e r  tw o  cl assic al   2 - D   interp olati on  al gorithm s,  and   since   we  ha d  70%  m issi ng  data,   that  op e ns   the  po s sibil it y  of   be tt er  per f orm a nce  with  gr eat er  volum es  of   data,  if  trai ne d  on   la r ger   vo l um es  of   data,  our  syst e m   can  m ake  bette r  pr e dicti ons   an d  the refor e  introd uce  an   optim al   so luti on  an d  a  c om petito r  t o  the krigi ng or s m oo thing  i nter po la ti on al gorithm s.       5.   CONCL US I O N   At  the  prese nt  tim e,  t he  siz e,  var ie ty   an d  co m plexit y  of   ra w  data  is  hu ge   and   c onti nu es   to  increas e   ever y  day.  T he   us e   of  data  processin g  syst em s  to  store,   process,   an d  a na ly ze  data  strea m s  has  change d  ho w   we  disco ver  a nd  vis ualise   bi g  data  in  ge ne ral.  I n   t his  pa pe r,   we  pr ese nt ed  a  s oft war e   so luti on  c om po se d  of  m ul ti ple  sta cked   la ye rs  of  s ubsyst e m s  that  tr ansfo rm   and   process  c on si derable  volum es  of   ra w  poll utio n  dat a   in  near  real  ti m e,  ta king  the  data  from   it s   native  com pr essed  form at  to  a  structu re d,   cl ea ned,  norm al ized ,  an d  con ti nu ous  data stream  that is l igh t a nd easy   to expe rim ent  with.   In   the  f uture,  sign ific a nt  cha ll eng es  an d  pr ob le m s  con cer ning  Bi g  En vironm ental   Dat a  m us t  be   addresse d  by  the  industry  a nd   aca dem ia ,  current  work   on   t op ic s  rangin g  f ro m   util iz ing   AI   f or   plant   m on it or ing   [14 ] ,  work i ng   on  so ci al   awar e ne ss  co ncernin g  cl i m at e  chan ge   [15,   16 ] ,  a nd  the  use   of  bi ologica l  m et ho ds   [ 17 ]   to  fi gh t  cl im at e  change  is   i m po rta nt.  B ut  ne w  c halle ng e s  to  ta c kle   are  in   the  fi el d  of  env i ronm ental  data  sci ence,   fu tu re  w ork   fo c us e d  on  how  to  bu il d  new   e nv i ron m ental   data  l earn i ng   par a dig m s,  sci ent ific   com p uting   e nv i ron m ents,  and   a n  al l  aro un d  bette r  infr as tructu re  f or   poll utio n  m on it or ing i s a  n ecessi ty  for a ll  o f us.       ACKN OWLE DGE MENTS   The  aut hors  a re  than kful  to   the  Mi nistry  of   Higher  E ducat ion   an d  Sci entifi c  Re sear ch,   an d  the   Nati on al   Ce ntr e  for   Scie ntific   and  Tech nic al   Re search  (CNRST)  f or   fun ding  this  st ud y ,  unde r  the  pr oj ect :   PPR/ 2015/7 .       REFERE NCE S   [1]   Le lieve ld,   J. ,   E vans,   J.  S.,   Fnai s,  M.,   Gianna d a ki,   D.,   &   Poz zer,  A .  “ The   contributi on  of  outd oor  ai r  poll u ti o n  source s to  p rema ture   m ortality   on   a  g lobal  sca le ” .  Nature ,   2015 ;  52 5(7569):   367 - 37 1.   [2]   Agus ci k ,   A.,   Ik ob,   R. ,   &  Putra ,   S.  A.   “ The   Le vel   of  Malond ia ld eh y de  in  Pe ople   Exposed  t o  Air  Pollut ion ” .  Inte rnational   Jo urnal  of Publ i c Healt h  S ci en ce ( IJP HS) ,   2017 ;   6( 1) :   99 - 103.   [3]   Haja t ,   A. ,   Alli so n,   M.,   Diez - Rou x,   A.  V. ,   Jenn y ,   N.  S.,   J orge nsen ,   N.  W . ,   Szpiro ,   A.  A.,   &  Kaufm an,   J.  D . .   “ Long - te rm   exposure   to  ai r  poll uti on  and  m ark ers  of  infl amm at ion,   coa gul at ion ,   and   endot helial   a ct i vat ion:   a  r epe a t - m ea sures  ana l y s is  in  the   Multi - Et hnic   Stud y   o f   Ather oscl ero sis  (MESA ) ” .  Epi demiol ogy  ( Cambr idge ,   Mass . ),   26(3),   310 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber   201 8   :   4584   -   4592   4592   [4]   Bee l en,   R. ,   Raas chou - Niel sen,   O.,   Stafoggi a ,   M.,   Andersen,   Z .   J.,   W ei nm a y r ,   G.,   Hoffm ann,   B. ,   . . .   &  Vine is,   P.   “ Eff ec ts  of  long - te rm   exposure   to  ai r  pol lut ion  on  nat ura l - ca us e   m orta li t y :  an  a naly s is  of  22  E urope an  cohor ts  withi n  th e  m ulti ce ntr e ESCA PE  proje c t ” .  The  La nce t ,  2014 ;  383( 9919) :   785 - 795.   [5]   Pio,  D.  V.,   Engler,   R. ,   L inde r ,   H.  P.,   Monadj em, A . ,   Cott eri l l,   F. P . ,   Tay l or,   P.  J. ,   . . .   &  Sal amin,   N .  “ Cli m at e  cha ng e   eff ects  on  ani m a l  and  pla n t  ph y l ogene t ic   div ersity   in  southern  Af ric a ” .  Global  Ch ange  Bi olog y,   2 014;  20(5),   1538 - 1549.   [6]   EUMETSAT,   ht tp: // ww w.e um ets at . in t/ websit e/ h om e/ AboutUs /i ndex. html,   13  05   2017.   [7]   Moham ed  Akram   Zay t ar,   Chak er  El   Am ran i,   “ Sequenc e  to  Seq uenc e  W eathe r  Forec asti ng  with   Long  Short - Te rm  Mem ory   Re cur r ent   Neur al  Net works . ”  Int ernati onal  Journal  of  Computer  A ppli cations ,  201 6 ;  Volum e  143   -   No.11 .   [8]   J y othi,  M.  N.,   D ina kar ,   V.,   T ej a,  N.  S.  R. ,   &  Kishore,   K.  N .  “ NA RX  Based  Short  Te rm   W ind  Po wer  Forec asti ng   Model ” .  Indone s ian  Journal   of   Elec tri cal   Engi n eer ing  and  Compu te r Sc ie nc e ,  201 5 ;  15(1):   20 - 25.   [9]   Khale l ,   S.  I . ,   R a hm at ,   M.  F. ,   &  Mus ta fa,  M.  W .   B .  “ Sensoring  Le ak age   Cur ren t  to  Pred ict  Pollut ion  L evels  to   Im prove   Tra nsm ission  Li ne  Model   vi a  AN N ” .  Inte rnationa l  J ournal  of  Elec tr ic al  and  Compu te r  Engi n ee ring ,   2017 ;  7(1):   68.   [10]   BUF R  File   Support  Software ,   h ttp:// ww w.e ln at h . org. uk/, 13  05   2 017.   [11]   Bac h,   F.   “ Breaking  the   cur se  of  dimensional ity   with  conv ex  neur al   ne tworks ” .  Journal  of  M achi ne  Lear nin g   Re search ,  2014 ;  18(19) :   1 - 53 .   [12]   Jones,  Eric, T r av is Ol ipha n t, a nd  Pear u  Pet erson.   “ SciPy :  op en  so urc e  sc ie n ti fi c  t o ols f or  P y thon.”, (2004).   [13]   Abadi,   Martn ,   e t  al.  “ Te nsorflo w:  La rge - sc ale  m ac hine   l ea rn in g  on  het ero g eneous   distri bute d  s y stems . ”,   arXi v  pre print a rXiv :1 603. 04467  (201 6).   [14]   Ila m at hi ,   P. ,   Sel l adur ai,  V. ,   &   Ba la m uruga n,   K .   “ Predic ti v e  m odelling  and   opti m izati on  of   nit rog en   oxide s e m ission   in  coa l  pow er  p la nt  using  Artif i ci a l  Neura l  Ne t work  and  Sim ula te d  Anne al ing ” .  IAE S  In te rnati onal  Journal  of  Ar ti ficial Int el l ig enc e ,  2012 ;  1(1) :   11.   [15]   Sulist y awa ti ,   S.,  &  Nisa,   I.   “ Cli m at e  Change   an d  Hea lt h  Te en a ger ’s  Perc eption s  as  a  Basis  for  Inte rve n ti ons ” .  Inte rnational   Jo urnal  of Publ i c Healt h  S ci en ce ( IJP HS) ,   2016 ;   5( 3) :   267 - 273.   [16]   Montana ro,   T.,  Corno,   F.,   Migl iore ,   C . ,   &  Cast rogiova nni ,   P.  “ Sm art Bike :  an  I oT  Crowd  Sensing  Plat form   for   Monitori ng  Cit y  Air  Pollut ion ” .  Inte rnational   J ournal  of  El ec tr ic al  and  Computer  Engi ne ering   ( IJE CE) ,   2017 ;   7(6) :   3602 - 3612 .   [17]   Ghane m i,   A. ,   &  Boubert akh ,   B .   “ Biol ogical   tool s to  de al   wi th  po llution:   se lecte d   a dvanc es  and  nov el   p erspe ctives ” .  Inte rnational   Jo urnal  of Publ i c Healt h  S ci en ce ( IJP HS) ,   2014 ;   3( 1) :   57 - 62.       BIOGR AP HI ES OF  A UTH ORS           Moham ed  Akram   Zay ta r  Obt ai n ed  his  Bac h el or  of  Applie d  Ma th emati cs  and   Co m pute r  Scie nc e  degr ee   from   The Fac ulty   of  Scie n ce   and  T ec hnolo g y ,   Ta ngi er  in  2 013.   He  recei ved   his maste r,   in   Com pute r  S y ste m s  and  Networki ng  from   the  FS TT ,   in   2016.   Curre ntly ,   a   PhD   student   a t  th e   FS TT .   His  pri m ar y   rese arc h  i nte rest  are   in  Data   Sci ence,   Artifi c ia l  In te l ligence,  Mac h ine   Le arn ing, Cl oud  Com puti ng,   and   Big  Dat a.               Dr.  Chake r   El  Am ran i  is  Doctor   in  Mathe m atic al  Modell ing   and  Num eri ca l  Sim u la ti on   from   the  Univer sit y   of  L i ege ,   Bel g ium  (2001).   He  jo ine d   Abdelmale k  Essaa di   Univer si t y,   Morocc o  in  2003.   He  is  cur r ent l y   Cha ir  of  th e  Com pute r  Eng ine er ing  Depa rt m ent   at   th e  Fac ulty   of  Scie n ce  and  T ec hnolog y,   T angi er .   He   lectur es  d istri but e d  s y stems   and  i s  prom oti ng  High  Perform anc e   Com puti ng  educat ion  in  th e  Uni ver sit y .   His  rese a rch   int er ests  in cl ude   Cloud  Co m puti ng,   Big   Data   Mining  a nd  Envi ronm ental  Inform at ion  S y stems .   Dr.  E l  Am ran is  rese arc h  has  bee n  supported  b y   n at ion al   and  in ternat ion al   org anis m s.  Dr  El   Am ran i  h as  serve d   as  an   activ e  volunt e er  in  I E EE   Morocc o   Se ct ion .   He  is  cur ren tly   Vi ce   Ch a ir  of  IE EE   Com m unic at ion  and   Com pute r  Societie s  Morocc o  C hapt er ,   and  adv isor  of  the   IE E E  Com pute r  Societ y   Student   Branc h  Ch apt er   at  Abdelmal ek   Essaa di   Univer sit y .   He   is  th e  NA TO  Partne r  Countr y   Proje ct  Dire ct or  of  a  real - ti m e  remote  se nsi ng  ini ti a ti ve  f or  ea rl y   w arn ing   and  m it iga ti on  of  disaste rs  and   epi demics in Mo roc co.       Evaluation Warning : The document was created with Spire.PDF for Python.