I A E S   I n t e r n at io n al  Jou r n al  of   A r t if ic ia I n t e ll ig e n c e   ( I J - AI )   V ol .   10 , N o.   1 M a r c h   202 1 , pp.  121 ~ 130   I S S N 2252 - 8938 ,   D O I 10.11591/ ij a i. v 10 .i 1 .pp 121 - 130           121       Jou r n al  h om e page ht tp : // ij ai . ia e s c or e .c om   S at e l l i t e  i m age  i n p ai n t i n g w i t h   d e e p  ge n e r at i ve  ad ve r sar i al   n e u r al  n e t w or k s       M oh am e d  A k r am  Z ayt ar C h ak e r  E A m r an i   Department of Compu ter Engineering, Facul ty of Sciences and Techno logies Tangier, Morocco       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e A ug   2 0 , 20 20   R e vi s e J a n 29 , 20 21   A c c e pt e F e b 11 , 20 2 1       This  work  addresses  the  problem  of  recovering  lost  or  damaged  s atellite  image  pixels  (gaps)  caused   by  sensor   processing  errors   or  by   natural  phenomena  like  cloud  presence.  Such  errors  decrease  our   ability  to  monitor  regions  of  interest  and  significant ly   increase  the  average   revisit  time   for  all   satellites.  This  paper  presents   novel  neural   system  based  on   con ditional  deep  generative  adversarial  networks  (cGA N)  optimized  to  fill  s atellite  imagery ga ps using surro unding  pixel value s  and static  high - resolutio n visual  priors.  Experimental  results  show   that  the   proposed  system   outpe rforms  traditional  and  neural  network  baselines.  It  achieve normalize least  abs olute  deviations  error  of  1 = 0 . 33   ( 21%   and   60%   decrease  in  error  compared  with  the  two   baselines and  a   mean  squared  error   l oss  of   2 = 0 . 15   ( 29%   and   73%   decrease in er ror)  over the test  set. The model  can  be  deployed  within  remote  sensing  data  pipeline  t reconstruct  missing  pixel  measurements  for  near - real - time  monitoring  and  inference  purposes,  thus  empowering  policymakers  and  users   to  make  environmentally   in formed  decisions.   K e y w o r d s :   A ir  pol lu ti on   G e ne r a ti ve  a dve r s a r ia ne ts   I m a ge  i npa in ti ng   N e ur a n e twor ks   S a te ll it e  i m a ge r y   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   M oha m e d A kr a m  Z a yt a r   D e pa r tm e nt  of  C om put e r  E ngi ne e r in g   F a c ul ty  of   S c ie nc e s  a nd  T e c hnol ogi e s   R out e  Z ia te n, T a ngi e r , M or oc c o   E m a il m .z a yt a r @ ua e .a c .m a       1.   I N T R O D U C T I O N   C li m a te   c ha nge   pos e s   s e r io us   c ha ll e nge s   th a th r e a te hum a ni ty ' s   lo ng - te r m   s a f e ty   [ 1] .   A ddr e s s in th e s e  c ha ll e nge s   de pe nds  on br e a kt hr oughs  i e nvi r onm e nt a p ol ic y a nd c li m a te  s c ie nc e  [ 2] .   C li m a te  r e s e a r c is   ke to   unde r s ta ndi ng   th e   lo ng - te r m   e f f e c ts   of   gl oba w a r m in g   on  a gr ic ul tu r e   [ 3 - 4] f ood  s e c ur it [ 5] a i r   qua li ty   [ 6] a nd  w e a th e r   c ondi ti ons   [ 7] O th e   ot he r   ha nd,  o ne   of   th e   pr im a r da ta   s our c e s   th a e m pow e r   e nvi r onm e nt a r e s e a r c i s   s a te ll it e   im a ge r [ 8] S a te ll it e   pr ogr a m s   s uc a s   l a nds a [ 9] s e nt in e l,   a qua /t e r r a ,   a m ong  ot he r s pr ovi de   a   w e a lt h   of   f r e e ly   a va il a bl e   da ta   s e ts   f or   th e   m a s s e s T hi s   tr e m e ndous   pr ogr e s s   ha s   unl oc ke m a ny  in no va ti ons   th a e xt r a c va lu a bl e   in s ig ht s   [ 1 0 - 11]   f r o m   s a te ll it e   im a ge r us in bi da ta   pi pe li ne s  a nd a dva n c e d m a c hi ne  l e a r ni ng s ys te m s  [ 12] .   S a te ll it e   s e ns or s   a r e   li m it e by   th e ir   S pa ti o - te m por a r e s ol ut io n.  A   s a t e ll it e ' s   te m por a r e s ol ut io n   r e pr e s e nt s   th e   d ur a ti on  of   ge tt in in f o r m a ti on  a bout   th e   s a m e   poi nt   on  e a r th O th e   ot he r   ha nd,  s pa ti a r e s ol ut io s pe c if ie s   th e   s ur f a c e   s iz e   of   pi x e of   in f or m a ti on  ( e x.  S e nt in e l - ha s   a n R G B   s pa ti a l   r e s ol ut io of   10 × 10   m   pe r   pi xe l) D ue   to   va r io us   r e a s ons m os s a te l li te   im a ge r c ont a in s   " hol e s "   or   " ga ps "   o f   m is s in g   pi xe va lu e s C lo uds   a r e   th e   pr im a r c ont r ib ut or   to   s uc noi s e S a te ll it e   noi s e   is   c ha ll e ngi ng  be c a u s e   it   w or s e ns   th e   s a te ll it e ' s   te m por a r e s ol ut io a nd  in tr oduc e s   unc e r ta in ty   in to   a tm os phe r ic   m oni to r in g   pi pe li ne s M a ny  ha v e   r e s or te to   u s in I oT   s e n s or s   [ 13]   th a t   pr ovi de   a   hi gh e r - qua li ty   gr ound - le ve s tr e a m   of   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll ,   V ol 10 , N o.  1 M a r c h   20 2 1   121     130   122   m e a s ur e m e nt s   [ 14] H ow e ve r gr ound  s e ns or s   c a onl gi ve   i nf or m a ti on  a bout   a   s pe c if ic   lo c a ti on  a nd,  a s   a   r e s ul t,  do not ha ve  t he  ge ogr a phi c  c ove r a g e  t ha s a te ll it e s  ha ve   ( m os pol a r  s a te ll it e s  c ove r  t he  w hol e   e a r th ) .   R e m ot e   s e ns or s   a r e   th e   pr im a r da ta   s our c e   f or   la r ge - s c a le   a tm os phe r ic   m oni to r in g   a nd,  m or e   s pe c if ic a ll y,  a ir   qua li ty   m oni to r in g.  E nha nc in th e   S pa ti o - te m por a r e s ol ut io of   s a te ll it e   s e n s or s   i s   of   c r it ic a l   im por ta nc e   s in c e   it   e na bl e s   gr e a te r   vi s ib il it ove r   th e   s ta te   of   p la ne e a r th F or   th is   r e a s on,  th is   s tu dy  f oc us e s   on  in pa in ti ng  s a te ll it e   N O 2   im a ge s E a c h   N O 2   pi xe m e a s ur e s   th e   a t m os phe r ic   N O 2   ve r ti c a de ns it y   ( in   D obs on  uni ts )   ove r   th e   pi xe l.   N O 2   is   a   tr a c e   g a s   th a t   ne ga ti ve ly  a f f e c ts   a ir   qua li ty   a nd   th e  c li m a te I is   li nke d   to   r oa tr a f f ic   a nd  in dus tr ia a c ti vi ti e s   s uc a s   f os s il   f ue c o m bus ti on  [ 15] A   hi gh  N O 2   c onc e nt r a ti on  c a c a us e  nume r ous  r e s pi r a to r y di s e a s e s  [ 16] .   T hi s  pa pe r   pr opos e s  a  ge ne r a ti ve  a dve r s a r ia s ys te m  us e d t o f il th e  m is s in g ga ps  i n i m a ge s  ba s e d on   th e   im a ge ' s   c ont e nt   ( a va il a bl e   pi xe l   va lu e s )   a nd  hi gh - r e s ol ut io vi s ua pr io r s T he   s ys te m ' s   nov e lt li e s   in   it s   us e   of   a   di f f e r e nt   da ta   m oda li ty   ( hi ghe r - r e s ol ut io s ta ti c   R G B   im a ge s )   e nc ode by  a   c ondi ti ona la ye r   to   pr ovi de   a uxi li a r f e a tu r e s   to   th e   c om pl e to r   ne twor k.  A s   a   r e s ul t,   th e   ne ur a s y s te m   in pa in t s   a ll   f ut ur e   im a ge s   a nd  pus he s   th e   s e n s or ' s   te m por a r e s ol ut io to   i ts   th e or e ti c a li m it   ( nul li f yi ng  th e   e f f e c ts   of   c lo uds   or   s e ns or e r r or s ) . T he  pa pe r ' s  m a in  c ont r ib ut io ns  a r e  out li ne d a s :     A  c G A N - ba s e d ne ur a s ys te m  f or  i npa in ti ng mul ti - s pe c tr a s a te l li te  i m a ge r y.     A  f ul de s c r ip ti on of  t he  pr e - in f e r e nc e  da ta  pr e pr oc e s s in g pi pe li ne .     C a s e   s tu dy:   th e   m e th od  is   e va lu a t e on  2   pol lu ti on  im a ge s   f or   ne a r - r e a l - ti m e   a ir   qua li ty   m oni to r in g,   s how c a s in g t he  pot e nt ia of  f us in g m ul ti - m oda s a te ll it e  da ta  us in g ne ur a a ppr oxi m a to r s .   T he   r e s of   th e   p a pe r   is   s tr uc tu r e a s " R e la te d   w or ks "   de s c r ib e s   th e   m os not a bl e   r e s e a r c e f f or ts   th a ta c kl e   im a g e   in pa in ti ng.  " R e s e a r c m e th od"   in tr oduc e s   th e   ne ur a l   s ys t e m   a r c hi te c tu r e ,   th e   tr a in in a lg or it hm a nd  th e   da ta   s e t.   " R e s ul ts   a nd  di s c u s s io n"   de s c r ib e s   s ynt h e ti c   noi s e   ge ne r a ti on,  in tr oduc e s   th e   pe r f or m a nc e   m e tr ic s a nd  pr e s e nt s   th e   f in a r e s ul ts F in a ll y,  it   pr ovi de s   a in tu it iv e   unde r s ta ndi ng  of   th e   e f f e c ts  of  pr io r s  a nd t he ir  l im it a ti ons . " C onc lu s io n"  s um m a r iz e s  t he  pa pe r  a nd de s c r ib e s  f ut ur e  w or k.       2.   R E L A T E D  WORKS   T he   e xi s ti ng  r e s e a r c li te r a tu r e   on  im a ge   in p a in ti ng  c a be   gr oupe in to   two  m a in   pa r ts N on - le a r ni ng  m e th ods   s uc h   a s   di f f us io n/ pa tc h - ba s e a lg or it hm s a nd  th e   r e la ti ve ly   r e c e nt   w or th a a tt e m pt s   to   le a r in pa in ti ng  by  tr a in in c onvolut io na ne ur a ne twor k - ba s e a r c hi te c tu r e s   ( C N N s ) T hi s   s e c ti on  out li ne s   th e  m os t   not a bl e  e f f or ts  f r om  bot h s id e s .     2 . 1   D if f u s io n  or  p at c h - b as e d  m e t h od s   T he   e a r ly   s u c c e s s   in   im a ge   in pa in ti ng  is   a tt r ib ut e to   in f or m a ti on  pr opa ga ti on  te c hni que s   th r oug h   pa tc s im il a r it or   va r ia ti ona m e th ods E f r os   a nd  L e ung  [ 17]   pr opos e to   m ode im a g e   te xt ur e s   a s   M a r kov   r a ndom  f ie ld s   th e us e   s im il a r it s e a r c to   f il th e   m is s in pi xe ls O th e r   e f f or ts   [ 18 - 19 ]   w e r e   di r e c te to w a r d   in pa in ti ng  im a ge s   th r ough  th e ir   te xt ur e   a nd   s tr uc tu r e   u s in s e a r c h - ba s e gui de pr opa ga ti on   th a s ynt he s iz e s   pa tt e r ns  r e s e m bl in g ot he r  i m a ge  r e gi ons  or  ot he r  i m a ge s  w it hi a  s e a r c ha bl e  d a ta ba s e .   V a r ia ti ona m e th ods   a r e   a ls pr e s e nt   in   [ 20]   th a us e   f e a tu r e   e xt r a c to r s   s u c a s   pa tc h   s ta ti s ti c s c ol or s a nd  gr a di e nt s   to  s ynt he s iz e   th e   m is s in im a ge   ga p s L a s tl y,  out - of - s a m pl e   in p a in ti ng  w a s   a c hi e ve by   [ 21]   us in a e xt e ns iv e   da ta ba s e   of   im a ge s .   I ts   a lg or it hm   in pa in ts   m is s in r e gi ons   of   a n   im a ge   by   f in di ng  s im il a r   im a ge s   th e di f f us in e xt r a c te lo w - le ve f e a tu r e s U nl i ke   ot he r s th is   te c hni que   c a s ugge s m ul ti pl e   c om pl e ti ons  ba s e d on th e  c hos e n d a ta ba s e  i te m .   T hi s   c l a s s   of   m e th ods   w or ks   w e ll   on  im a ge s   th a t   c ont a in   r e pe a t e or   s ta ti c   pa tt e r ns   ( e x a m pl e s s a nd,  gr id pa pe r )   bu f a il s   on   im a ge s   w it r ic s e m a nt ic   c ont e nt F u r th e r m or e a ut om a ti c   non - le a r ni ng  a lg or it h m s   c a nnot   in pa in a b s tr a c ti ons   th a m a ke   c om pl e x   im a ge s   c ohe s iv e   in   th e ir   c ont e nt a nd   th e ir   us e   of   out - of - s a m pl e  i nf or m a ti on i s  l im it e d due  t o t he ir  l oc a de pe nde nc ie s .     2 . 2   L e ar n in g - b as e d  ap p r oac h e s   O ne   of   th e   e a r li e s e f f or ts   to   us e   r e pr e s e nt a ti on  le a r ni ng  f or   im a ge   in pa in ti ng  pr opos e a   m ul ti - la ye r   pe r c e pt r on  ( M L P )   a r c hi te c tu r e   to   f il m is s in pi xe ls   in   gr a y - s c a le   im a ge s   by  m in im iz in th e   r e c ons tr uc ti on  lo s s   [ 22] T he   pa pe r   e s ta bl is he th e   im por ta nc e   of   m a s ki ng  m is s in pi xe ls   a nd  th e   pot e nt ia l   of   ne ur a l   ne twor ks   ( N N s )   in   im a ge   c om pl e ti on.  F ur th e r m or e X e al .   [ 23]   us e a   C N N   a r c hi te c tu r e   to   pr opos e   a   ge ne r a m e th od f or  s ol vi ng t hr e e  t a s ks im a ge  i npa in ti ng, de noi s in g, a nd i m a ge  de gr a da ti on r e c ove r y .   R e c e nt ly , ne ur a ne twor ks  t r a in e d us in g pi xe l - w is e  r e c ons tr uc ti on e r r or  a nd a dve r s a r ia lo s s  r e por te d   pr om is in r e s ul ts T h e   w or of   [ 24]   in tr oduc e c ont e xt   e n c ode r s   to   f il la r ge   hol e s   in   im a ge   c e nt e r s .     Y a ng   e al .   [ 25]   e na bl e hi gh - r e s ol ut io im a ge   in pa in ti ng  b pr opos in jo in c ont e nt   a nd  te xt ur e   lo s s e s   X e al .   [ 26]   c om bi ne lo c a a nd  gl oba di s c r im in a to r s   in to   o ne   ne twor a nd  us e c onvolut io ns   a nd  di la te c onvolut io ns  t o i npa in im a ge s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       Sat e ll it e  i m age  i npai nt in g w it h de e p ge ne r at iv e   ad v e r s ar ia ne u r al  ne tw or k s   ( M ohame d A k r am  Z ay ta r )   123   Yu   e al [ 27]   im pr ove th e   pr e vi ous   a r c hi te c tu r e   by   di vi di n t he   ge ne r a ti on  pr oc e s s   in to   two s ta ge s T he   f ir s out put s   a   bl ur r y   im a ge   opt im iz e w it h   s pa ti a di s c ount e 1   r e c ons tr uc ti on  lo s s a nd  th e   s e c ond  r e f in e s   a nd  out put s   th e   f in a im a ge T he   a ut hor s   us e th e   ne t w or k' s   out put   a s   in put   to   th e   gl oba a nd  lo c a l   di s c r im in a to r s   a nd  c ho s e   w a s s e r s te in   G A N s   ( W G A N )   to   tr a in   th e   ne ur a s ys te m   ( W G A N   s t a bi li z e s   th e   ove r a ll   opt im iz a ti on  pr oc e s s ) F in a ll y,  X e al .   [ 28]   im pr ov e th e   pr e vi ous   a r c hi te c tu r e   by  in c or por a ti ng  c ont e xt ua a tt e nt io n a nd dil a te d ga te d c onvolut io n s   in to  bot h t he  c oa r s e  a nd r e f in e m e nt  ne twor ks .   A lt hough  th e   m e nt io ne ne ur a s ys te m s   pr ovi de   im pr e s s iv e   in pa in ti ngs   a nd  pr e di c hi gh - qua li ty   vi s ua s e m a nt ic s none   ha ve   e xp e r im e nt e w it pr io r s   or   e xt e nde th e   ge ne r a to r /d is c r im in a to r   w it a   c ondi ti ona la ye r F ur th e r m or e a ll   of   th e   m e nt io ne m e th od s   a s s um e   one   s our c e   da ta   di s tr ib ut io to   be   m ode le d a s   s how in   T a bl e   1.  T hi s   s tu dy  e s ta bl is he s   th e   im por ta nc e   of   us in di f f e r e nt   da ta   m oda li ti e s   a nd   f us in th e m   th r ough  a   c ondi ti ona la ye r   to   s ol ve   im a ge   in pa in t in in   ge ne r a l,   a nd   a ir   qua li ty   e s ti m a ti on  s pe c if ic a ll y.       T a bl e   1 A  C om p a r is on of  di f f e r e nt  a lg or it hm s  t ha a im  t o s ol ve  i m a ge  i npa in ti ng   F e a t ur e s \ M e t hods   N on - P a r a m e t e r i c  S a m pl e r  [ 17]   P a t c hM a t c h [ 29]   M a s k - F C  I npa i nt e r  [ 22]   L oc a l G l oba l  [ 26]   O ur s   F r e e - F or m             O ut - of - S a m pl e             S e m a nt i c s             M ul t i - M oda l                 3.   R E S E A R C H  M E T H O D   T w C N N - ba s e ne twor a r c hi te c tu r e s   w e r e   tr a in e w it hi a   c ondi ti ona a dve r s a r ia f r a m e w or a s   s how in   F ig ur e   1.  T he   ge n e r a to r   ne twor k,  r e s pons ib le   f o r   f il li ng  th e   m is s in ga ps   us in c ont e xt u a in f or m a ti on  a nd  s ta ti c   pr io r s a nd  a a uxi li a r di s c r im in a to r   ne twor tr a in e to   d is ti ngui s be twe e r e a a nd  c om pl e te pol lu ti on  pa tc he s B ot ne twor ks   a r e   c ondi ti one o ve r   tr ue - c ol or   im a ge r th a c o r r e s ponds   to   th e   r e gi on  c ove r in th e   in put   pa tc h.  T he   pr io r   is   e nc ode by  a   c ondi ti ona la ye r   ( r e duc e r ) T he   in put   to   th e   ge ne r a to r   c ons is ts   of   a   da m a ge im a ge   ( x)   a nd   it s   hi gh - r e s ol ut io pr io r   ( p ) T he   r e duc e r   ne twor c om pr e s s e s   to   th e   s a m e   s iz e   of   th e s ta c k s   bot f or   in pa in ti ng.  T he   di s c r im in a to r   ne twor ta ke s   e it he r   a   he a lt hy  or   a   c om pl e te d i m a ge  w it h i ts  e nc ode d   pr io r . T h e  di s c r im in a to r  j udge s  i f  a n i m a ge  i s  r e a or  c om pl e te d.           F ig ur e  1.  S ys te m   o ve r vi e w       3 .1.    C on vol u t io n al   n e u r al  n e t w or k s   T he   r e duc e r c om pl e to r a nd   di s c r im in a to r   ne twor ks   a r e   b a s e on  c onvolut io na ne ur a ne twor ks   ( C N N ) C N N s   a r e   a   s pe c ia ty pe   of   ne ur a ne twor th a t   us e s   w e ig ht   s ha r in to   e xt r a c h ie r a r c hi c a vi s ua f e a tu r e s   w it m in im a f r e e   pa r a m e te r s   a nd  m a xi m a lo c a c onne c ti ons K e r ne w e ig ht s   a r e   opt im iz e to   pr oduc e   a c ti va ti ons   th a he lp   in   th e   f in a pr e di c ti on  ta s k.  C N N s   a r e   c a pa bl e   of   pr ogr e s s iv e ly   e xt r a c ti ng  hi ghe r - or de r   a bs tr a c ti ons   th a s e r ve   to   m in im iz e   a   pr e - de f in e obj e c ti ve   f unc ti on.  A   s pe c if ic   a c ti va ti on  is   c a lc ul a te d us in g ( 1) .     , = σ ( + , 1 = 0 1 = 0 + , + )   ( 1)     W it X   r e pr e s e nt in th e   in put K   th e   ke r ne ( m a tr ic e s   of   le a r na bl e   w e ig ht s ) s   i s   th e   ke r ne s iz e a nd  ( m , n )   a r e   th e   in di c e s   of   th e   ta r ge va lu e   Y m , n   in   th e   a c ti va ti on  la ye r D il a te c onvolut io na la ye r s   a r e   a l s o   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll ,   V ol 10 , N o.  1 M a r c h   20 2 1   121     130   124   us e d t o s im ul a te  a  l a r ge r  r e c e pt iv e  f ie ld  w it hout  a ddi ng mor e  pa r a m e te r s . T o c a lc u la t e  di la te d a c ti va ti ons , one   pa r a m e te r  i s  a dde d t o t he  pr e vi ous  de f in it io n:   η , w hi c h i s  t he  di la ti on f a c to r   a s  ( 2) .     , = σ ( + , 1 = 0 1 = 0 + η , + η )   ( 2)     3 . 2   C on d it io n al  ge n e r at iv e  ad ve r s ar ia n e t w or k s   G e ne r a ti ve   a dve r s a r ia ne twor ks   ( G A N )   a r e   a   c la s s   of   ne ur a ne twor ks   tr a in e in   a a dve r s a r ia m a nne r A   G A N   c ons is ts   of   two  ne twor ks a   ge ne r a ti ve   ne tw or G ( . )   th a le a r ns   th e   tr ue   da ta   di s tr ib ut io n   ( th e   pr oc e s s   th a g e ne r a te th e   tr a in in da ta )   a nd  a   di s c r im in a ti ve   ne twor D ( . )   th a e s ti m a te s   if   a   s a m pl e   c a m e  f r om  t he  t r ue  da ta  di s tr ib ut io n  or   G ( . ) . I de a ll y, both  G   a nd  D   a r e  t r a in e d s im ul ta ne ous ly G s   pa r a m e te r s   a r e   a dj us te to   m in im iz e   L o g ( 1 D ( G ( z ) ) )   ( i. e .,  to   f ool   th e   di s c r im in a to r ) a nd  D s   pa r a m e te r s   a r e   tu ne to   m a xi m iz e   L o g ( D ( x ) )   ( i. e .,  to   de te c f a ke   ge ne r a te in put s ) D   a nd  G   pl a th e   f ol lo w in two - pl a ye r   m in im a x   ga m e  w it h va lu e  f unc ti on  V ( G , D )   a s  ( 3) .     m in m a x ( , ) = ( ) [ ( ( ) ) ] + ( ) [ ( 1 ( ( ) ) ) ]   ( 3)     I th e   c ont e xt   of   th is   s tu dy,  vi s ua pr io r s   a r e   of   hi ghe r   r e s ol ut io th a pol lu ti on  pa tc he s .   D ow ns a m pl in vi s ua im a ge r to   f it   pol lu ti on   pa tc he s   w il r e s ul in   lo s in m uc of   it s   e nc ode in f or m a ti on.   A ddi ti ona ll y,  f r om   th e   pe r s pe c ti ve   of   a   va ni ll a   G A N   ( i. e .,  a unc ondi ti one G A N ) th e r e   is   no  c ont r ol   ove r   da ta  m ode s  dur in g t he  i npa in ti ng p r oc e s s . I nput ti ng poll ut io i m a ge s  w it hout  pi xe l - le ve m e ta - da ta  w il r e s ul t   in   a   m ode th a m im ic s   a   ge ne r a l - pur pos e   in te r pol a to r H ow e v e r by  c ondi ti oni ng  th e   out put   ove r   it s   r e gi on' s   vi s ua im a ge r y,  th e   m ode c a pr oduc e   a c c ur a te   in p a in ti ngs   by  f in di ng  c or r e la ti ons   be twe e pr io r s   a nd   pol lu ti on pa tc he s .   A s   a   r e s ul t,   th e   ge n e r a ti ve   a dve r s a r ia ne twor i s   e xt e nde w it a   c ondi ti ona l   la ye r   to   e nc ode   th e   s ta ti c   pr io r s T he   ge n e r a to r   a nd  di s c r im in a to r   a r e   pr ovi de w it hi gh - r e s ol ut io e nc ode im a g e r ( pr io r s p ) .   T he  obj e c ti ve  f unc ti on of  t he  t w o - pl a ye r  m in im a x ga m e  i s  upda te d a s  ( 4) .     m in m a x ( , ) =  ( ) [  ( ( | ) ) ] +  ( ) [ ( 1 ( ( | ) | ) ) ]   ( 4)     I a   c ondi ti ona ge ne r a ti ve   a dve r s a r ia s e tu p,  th e   s a m e   c ondi ti on  is   pr ovi de to   bot th e   g e ne r a to r   a nd  di s c r im in a to r   ne twor ks P r io r s   a r e   pur pos e ly   us e a s   c ondi ti ons   to   he lp   th e   ge ne r a to r   e nha nc e   it s   c om pl e ti ons F or   e xa m pl e one   c a im a gi ne   how   us e f ul   ve hi c l e   tr a f f ic   de ns it im a ge s   w oul be   f or   a   m ode l   th a pr e di c ts   ne a r - r e a l - ti m e   N O 2   c onc e nt r a ti ons I th is   c a s e R G B   im a ge s   pr ovi de   lo w - le ve in f or m a ti on  a bout   ur ba a nd  gr e e nne s s   de ns it ie s T hi s   s tu dy  a r gue s   th a a   vi s ua pr io r   c oul be   us e f ul   to   th e   ta s o f   pr e di c ti ng  N O 2   de ns it ie s  ove r  l a r ge  r e gi ons  of  i nt e r e s t.     3 . 3   C om p le t io n  n e t w or k   T he   c om pl e ti on  ne twor ta ke s   lo w - r e s ol ut io N O 2   im a ge s   th a c ont a in   th e   ga ps   to   be   s f il le d,  a nd   a   m a s c ha nne th a in di c a te s   w hi c pi xe ls   a r e   m is s in g.  E a c h   da m a ge pa tc ha s   it s   c or r e s ponding  hi gh - r e s ol ut io R G B   im a ge   th a t   c ove r s   th e   s a m e   r e gi on  a nd  pr ovi de s   ga p - f r e e   vi s ua in f or m a ti on.  T w o   ne twor ks   w e r e   tr a in e d.  T he   r e duc e r   a c ts   a s   a   dow n - s a m pl e r   th a in te ll ig e nt ly   r e s iz e s   th e   hi gh - r e s ol ut io R G B   im a ge   ( th e   pr io r )   to   th e   s a m e   s iz e   a s   th e   da m a ge im a ge T a bl e   pr e s e nt s   it s   la ye r s   in   s uc c e s s iv e   or de r T he   c om pl e to r   ne twor is   a   f u ll c onvolut io na ne tw or k   ( F C N )   th a a c ts   a s   th e   m a in   in pa in te r I t   is   opt im iz e t o   f il th e   m is s in ga ps   in   th e   in put   im a ge T a bl e   s pe c if ie s   it s   la ye r s T he   a c ti va ti ons   f or   bot ne twor ks   w e r e   pa s s e d t hr ough ba tc h nor m a li z a ti on  a nd   R e L U  a f te r  e a c h l a y e r .       T a bl e   2 R e duc e r  ne twor k l a ye r s     T ype   K e r ne l   S t r i de   O ut put   1   C onv.   5   1   16   2   C onv.   3   2   32   3   C onv.   3   1   64   4   C onv.   3   2   32   5   C onv.   3   1   1         Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       Sat e ll it e  i m age  i npai nt in g w it h de e p ge ne r at iv e   ad v e r s ar ia ne u r al  ne tw or k s   ( M ohame d A k r am  Z ay ta r )   125   T a bl e   3 C om pl e to r  ne twor k l a ye r s     T ype   K e r ne l   S t r i de   D i l a t i on   O ut put   1   C onv.   5   1   1   16   2   C onv.   3   2   1   32   3   C onv.   3   1   1   64   4   C onv.   3   2   1   64   5   D i c onv.   3   1   2   64   6   D i c onv.   3   1   3   64   7   C onv.   3   1   1   64   8      4   2   1   32   9   C onv.   3   1   1   32   10      4   2   1   16   11   C onv.   3   1   1   8   12   C onv.   3   1   1   1       T he   c om pl e to r   ne twor is   u s e to   in pa in t   th e   m i s s in r e gi ons   in   th e   in put O th e   ot he r   ha nd,  th e   r e duc e r   ne twor r e s iz e s   th e   pr io r   to   th e   s a m e   s iz e   a s   th e   i nput W it hout   it ,   th e   m ode w oul d   le a r th e   unc ondi ti one pol lu ti on  im a ge   di s tr ib ut io n,  w hi c is   not   opt i m a f or   lo c a ti on - va r ia nt   pa tt e r ns .   U r ba n,  la nd,   a nd  ot he r   vi s ua f e a tu r e s   s e r ve   a s  s tr ong  pr io r s   f or   th e   c om pl e t or   to   ge ne r a te   a c c ur a t e   pa tc he s . T he   c om pl e to r   ne twor k w a s  t r a in e d us in g m e a s qua r e d e r r or  l os s  ( M S E )  a ve r a ge d ove r  t he  m a s ke d ( ga p)  pi xe ls .     3 . 4   D is c r im in at or  n e t w or k   T he   di s c r im in a to r   ne twor is   tr a in e to   de te c c om pl e te N O 2   im a ge s A   R e s N e t - 18  [ 30]   a r c hi te c tu r e   s how n   in   F ig ur e   i s   us e to   e xt r a c th e   f e a tu r e   ve c to r   w hi c is   m a ppe to   th e   pr oba bi li ty   of   th e   in put   be in c om pl e te ( f a ke )   or   r e a l.   R e duc e r   ne twor w e ig ht s   a r e   f r oz e w hi le   opt im iz in th e   di s c r im in a to r   s in c e  t he  r e duc e r  i s  opt im iz e d f or  e f f ic ie nt  i npa in ti ng, not d is c r im in a ti on. T he  pr im a r y r ol e  o f  R G B  i m a ge s  i n   th e   c ont e xt   of   th e   di s c r im in a to r   is   to   pr ovi de   a   us e f ul   pr io r   th a is   in de pe nde nt   of   w he th e r   th e   in put   im a ge   is   r e a or  not . H e nc e , t he  di s c r im in a to r  i s  opt im iz e d t o e s ti m a te   P ( in p ut = c o m p l e t e d | p ) .     3 . 5   T r ai n in g   T he   c om pl e to r   n e twor is   d e not e d:   C ( x , p ) x   r e pr e s e nt s   a   ba tc h   of   N O 2   im a ge s   w it m a s k s   M   c om pr is e of   0 s   a nd  1 s w it 1 s   r e pr e s e nt in th e   pi xe ls   th a a r e   m i s s in in   x p   a r e   th e   p r io r s   f o r   e a c im a g e   in   x T he c ons is of   m a ny  R G B   im a ge s   f or   th e   c or r e s ponding  R O I s S im il a r ly ,   D ( x ̅ , p )   de s ig na te s   th e   di s c r im in a to r   ne twor k,  x ̅   r e pr e s e nt s   th e   pol lu ti on  im a ge s   ( r e a or   c om pl e te d) a nd  p   th e   e nc ode p r io r s   ov e r   x ̅   ' s  r e gi ons  of  i nt e r e s ts  ( R O I s ) .   M e a s qua r e e r r or   lo s s   ( 2 )   is   a in pa in ti ng  lo s s   c hoi c e   th a r e s ul ts   in   bl ur r e d   e s ti m a ti ons   ove r   th e   ga ps . I a ve r a ge s  t he   s qua r e d di f f e r e nc e s  b e twe e n ga p pi x e pr e di c ti ons  a nd t a r ge ts  a s  ( 5) .     2 ( , ̂ ) = | | ( ( ̅ , ) ) ) | | 2   ( 5)     O n t he  ot he r  ha nd, a dve r s a r ia lo s s  c a n be  f or m ul a te d a s   ( 6) .     m in m a x [ ( ( | ) ) + ( 1 ( ( ̅ | ) | ) ) ]   ( 6)     C   is   th e   c om pl e to r   ne twor k,  D   is   th e   di s c r im in a to r x   is   th e   in put x ̅   is   th e   da m a ge d/ he a lt hy  in put a nd  p   th e   pr io r 2   a nd a d ve r s a r ia lo s s e s   a r e  c om bi ne d t o f or m a li z e  t he  ge n e r a opt im iz a ti on pr obl e m   a s  ( 7) .     m in m a x [ 2 ( , , ) + ( ( | ) ) + ( 1 ( ( | ) | ) ) ]   ( 7)     G A N s   a r e   c ha ll e ngi ng  to   tr a in   due   to   th e   in s ta bi li ty   be twe e th e   ge ne r a to r   a nd   di s c r im in a to r   ne twor ks   in   th e   e a r ly   tr a in in pha s e F or   th is   r e a s on,  th e   tr a in in lo op  is   ba la nc e a s   de s c r ib e in     A lg or it hm  1.   T he   m e th od  pr opos e in   [ 26]   is   c ho s e a s   th e   ne ur a b a s e li n e I ts   m ode w a s   tr a in e to   pr oduc e   vi s ua ll a ppe a li ng  c om pl e ti ons   f or   a   va r ie ty   of   na tu r a s c e n e   i m a ge s I s e r ve s   a s   a   good  be nc hm a r b e c a us e   th e  pr opos e d a r c hi te c tu r e  i s  a e xt e ns io n of  t he  ba s e li ne ' s  m odu la r  de s ig n.           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll ,   V ol 10 , N o.  1 M a r c h   20 2 1   121     130   126   A lg or it h m  1 T C   T D   s e r ve  t o pr e - tr a in  e a c h ne twor k s e pa r a te ly  b e f or e  c onduc ti ng a dve r s a r ia tr a in in g   Data   H y p e r p a r a m e t e r s = 10 , 0 0 0 = 100 = 100 η = 0 . 0 0 1 η = 0 . 01   Begin         F o r   [ 0 , ]   do                       S a m p l e   m i n i b a t c h                           G e n e r a t e   c o m p l e t o r   m a s k s     for                        G e n e r a t e   d i s c r i m i n a t o r   m a s k s     for                        If   <   then                                 η 2 ( , , )                       E l s e   i f   <   then                                 η  ( ̅ , , )                       E l s e                                 U p d a t e     w i t h   j o i n t   l o s s                                 U p d a t e     w i t h   b i n a r y   c r o s s   e n t r o p y   l o s s     3 . 6   D at a   T he   e ur ope a or ga ni z a ti on  of   th e   e xpl oi ta ti on   of   m e te or ol o gi c a s a te ll it e s   ( E U M E T S A T )   is   a in te r na ti ona s a te ll it e   a g e nc r e s pon s ib le   f or   a c qui r in g,  pr e p r oc e s s in g,  a nd   di s tr ib ut in r e li a bl e   w e a th e r c li m a te a nd  e nvi r onm e nt a d a ta I ts   lo w - or bi ti ng  s a te ll it e M e t O p,  c ont in uous ly   de li ve r s   c r it ic a c li m a t e   da ta .   E U M E T S A T   a ls di s tr ib ut e s   da ta   f r om   ot he r   pa r tn e r s   s uc a s   th e   na ti ona oc e a nogr a phi c   a nd  a tm os phe r ic   a dm in is tr a ti on ( N O A A ) O f f li ne   E U M E T S A T ' s  da ta  pr oduc ts  a r e  f r e e   a nd   a va il a bl e  f or  r e s e a r c h pur pos e s .   M e tOp  is   a   s e r ie s   of   3   pol a r - or bi ti ng  m e te or ol ogi c a s a te ll it e s   de ve lo pe by  th e   e ur ope a s pa c e   a ge nc ( E S A )   a nd  ope r a te by  E U M E T S A T M e tOp  ta ke s   90   m in ut e s   to   or bi th e   e a r th to ta li ng  14  ti m e s   a   da y.  H a vi ng  th r e e   s a t e ll it e s   e nha n c e s   th e   t e m por a r e s ol ut io of   M e tOp  a s   a   da ta   pr ovi de r M e tOp  c a r r i e s   a   pa yl oa of   11  s c ie nt if ic   in s tr um e nt s A f te r   tr a ns f e r r in th e   da t a it   ge ts   pr e pr oc e s s e d   in to   m ul ti pl e   le ve ls   a nd  f e in to   num e r ic a s im ul a to r s   f or   w e a th e r   f or e c a s ti ng  a nd  e nv ir onm e nt a m oni to r in g.  M a ny  of   it s   a va il a bl e   da ta  pr oduc ts  pr ovi de  ve r ti c a d e ns it y m e a s ur e m e nt s .   G a s   tr a c e s   w e r e   a c qui r e f r om   th e   gl oba o z one   m oni to r in e x pe r im e nt - ( G O M E - 2)   in s tr um e nt a   s c a nni ng  s p e c tr om e te r   th a pr ovi de s   gl oba m oni to r in c ove r a ge T he   n e a r   r e a l - ti m e   to ta c ol um ( N T O )   pr oduc pr ovi de s   c onc e nt r a ti on  m e a s ur e m e nt s   f or   f our   ty pe s   o f   a tm os phe r ic   tr a c e   ga s e s O 3 N O 2 S O 2 a nd   H C H O T he   pr oduc is   ope r a ti ona s in c e   01/ 12/ 2007,  ha s   a   s pe c t r a r e s ol ut io of   0 . 26 0 . 51 nm a nd  pr ovi de s  gl oba ge ogr a phi c  c ove r a ge  w it h a   s pa ti a r e s ol ut io n o f   40   × 4 0 km   ( M e tOp - A ) .   O th e   o th e r   ha nd,  M e te os a is   a   s e r ie s   of   ge os ta ti ona r m e te or ol ogi c a s a te ll it e s   ope r a te by   E U M E T S A T M e t e os a s e c ond  ge n e r a ti on  ( M S G )   pr ovi de s   im a ge s   of   th e   f ul e a r th   di s c  a nd  da ta   f or   w e a th e r   f or e c a s ts I ha s   a   te m por a r e s ol ut io of   15   m in ut e s T he   s pi n ni n e nha nc e vi s ib le   a nd  in f r a r e im a ge r   ( S E V I R I )   in s tr um e nt   c a pt ur e s   th e   tr ue - c ol or   im a ge s   in   a   s pa ti a r e s ol ut io of   1 × 1 km T he   pr io r ' s   ( p im a ge r y i s  c ol le c te d a nd pr e pr oc e s s e d f r om  M S G ' s  S E V I R I  i ns t r um e nt .   M S G   c ove r s   th e   R O I   of   M or oc c o.  T he   ti le s   w e r e   c l ip pe us i ng  th e   r e gi on  of   in te r e s a nd  m e r ge d   th r ough pixe l - a ve r a gi ng t o s to r e  a  s in gl e  ( m os a ic )  hi gh - qua li ty  i m a ge  ove r  t he  R O I .   I th is   s tu dy,  M or oc c w a s   c hos e a s   a   r e gi on  of   in te r e s t.   A ll   im a ge s   w e r e   f il te r e to   be   in   th e   bounding  box  [ ( 5 . 39 , 35 . 54 ) , ( 5 . 3 4 , 35 . 54 ) , ( 5 . 34 , 35 . 59 ) , ( 5 . 39 , 35 . 59 ) , ( 5 . 39 , 35 . 54 ) ]   in   ( la ti tu de lo ngi tu de )   c oor di na te s A ll   S E V I R I   ti le s   w e r e   ta ke n   f r om   06/ 2017  to   01/ 2018.  F or   pol lu ti on  im a ge s T il e s   w e r e   a c qui r e a nd  f il te r e f or   th e   s a m e   R O I   th a r a nge   f r om   03/ 2018  to   09/ 2018.  T he   pr io r s   w e r e   s a m pl e d   f r om   a   pr e vi ous   ti m e f r a m e   be c a us e   th e w il be   us e to   in pa in f ut ur e   pa tc he s S ynt he ti c   m a s ge ne r a ti on  is   e xpl a in e d i n t he  " R E S U L T S  A N D  D I S C U S S I O N "  s e c ti on.   T   is   de not e d   a s   th e   s e of   a c qui r e d   ti le s   f or   th e   r e gi on   of   in te r e s t.   f or   e a c h   t i T i is   pr oc e s s e d   i   by   as :     t i   is  pr oj e c te d i nt o a  pr e - de f in e d s ta ti c  s pa ti a gr id  t o nor m a li z e  p ix e pos it io ns .       is  s pl it  i nt   64   × 64   pa tc he s , de not e .     F or  e a c h i m a ge   x ij x i , i ts   256   × 256   R G B  pr io r   (  )  i s  c ol le c te d. I c ove r s  t he   s a m e  r e gi on a s    .     {  , , }   a r e   s pl it   in to   two  s e ts T he   f ir s c ont a in s   he a lt hy  pol lu ti o pa tc he s   ( a ll   pi xe va lu e s   a r e   a va il a bl e ) . T he   s e c ond s e hol ds  t he  da m a g e d pa tc he s .     P ix e va lu e s   w e r e  nor m a li z e d a nd  s ta nda r di z e be tw e e n   [ 0 , 1 ]   f or  bot h i nput  pa tc he s     a nd pr io r s   .   T he   f in a da ta   s e w a s   c li ppe a 1 N O 2   pa tc he s 90%   of   th e   da ta   s e w a s   us e to   tr a in   th e   m ode l   a nd  th e   r e m a in in 100 , 000   im a ge s   f or   te s ti ng.  A   ti m e - s e r ie s   tr a in /t e s s pl it   w a s   c onduc te w he r e   a ll   of   th e   10%   te s s a m pl e s  c a m e  f r om  a  f ut ur e  t im e - in te r va l.           Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       Sat e ll it e  i m age  i npai nt in g w it h de e p ge ne r at iv e   ad v e r s ar ia ne u r al  ne tw or k s   ( M ohame d A k r am  Z ay ta r )   127   4.   R E S U L T S  A N D  D I S C U S S I O N   4 . 1   N oi s e  ge n e r at io n   A s   oppos e to   th e   ta s of   na tu r a im a ge   in pa in ti ng,  w he r e   no m uc c ons id e r a ti on  is   gi ve to   th e   s ha pe   of   th e   ga m a s k,  th e   ge om e tr of   m is s in r e gi ons   in   s a te ll it e   im a ge r f ol lo w s   s tr ong  pa tt e r ns   ( c lo uds ,   hol e s a nd  li ne s ) T h e   m a s g e ne r a to r   s houl r e pr oduc e   th e s e   p a tt e r ns   in   tr a in in ti m e A s   a   r e s ul t,   a   s e pa r a te   G A N   G n   w a s   tr a in e us in g   th e   is ol a te d   noi s e d   pa tc he s   to   le a r t he   na tu r a noi s e   di s tr ib ut io n.  G n   s e r ve s   a s   a   noi s e   m a s ge ne r a to r   th a is   us e to   s a m pl e   a r ti f ic ia ga ps   dur in tr a in in g.  F or   e ve r he a lt hy  pa tc x i X a   64   × 64   ga m a s is   s a m pl e f r om   G n a   c opy  of   x i   is   pur pos e ly   da m a g e us in th e   m a s k.  T he   m a s is   s ta c ke on   to of   th e   d a m a ge im a g e th e   f in a 2 - c h a nne im a ge   r e pr e s e nt s   th e   in put T he   or ig in a im a ge   x i   be c om e s  t he  t a r ge u s e d i n l os s   c a lc ul a ti on.     4 . 2   R e s u lt s   T he   pr opos e m ode w a s   be n c hm a r ke a ga i ns two  a lg or it hm s P a tc hM a tc [ 29] w hi c r e pr e s e nt s   th e   c la s s ic a l   s ta te - of - th e - a r m e th od,  a nd   th e   L oc a lG lo ba [ 26]   ne ur a in pa in te r F or   tr a in in g,  in put   im a ge s   of   s iz e   64   × 64   pi xe ls  a nd pr io r  i m a ge s  of  s iz e   256   × 256   pi xe ls  w e r e  us e d a s  i nput  t o t he  m ode l.  T he  t r a in in g   a nd t e s ti ng da ta s e ts  w e r e  e xt r a c te d us in g a  t im e - s e r ie s  s pl it .   A s   oppos e to   na tu r a s c e ne   c om pl e ti on,  w he r e   M A E   a nd   M S E   a r e   not   c ons id e r e good  m e tr ic s   be c a us e   m a ny  c om pl e ti ons   c a be   c onc e pt ua ll pos s ib le ,   in   th e   c a s e   of   pol lu ti on   im a ge s ,   s e ns or   m e a s ur e m e nt s   a r e   uni que   ta r ge ts H e nc e th e   m ode w a s   e va lu a te us in two  r e gr e s s io m e tr ic s le a s a bs ol ut e  de vi a ti ons  l o s s  a s  ( 8) .     1 = 1 | ( ( ̅ , ) ) | = 1   ( 8)     1   a ve r a ge s   th e   a bs ol ut e   di f f e r e nc e s   be twe e n   th e   ta r ge a nd  pr e di c te d   ga pi xe ls M e a s qua r e d   e r r or   ( 2 )   is   a ls r e por te d.   B ot m e tr ic s   m e a s ur e   e r r or   a s   th e   di s ta nc e   be tw e e th e   m ode l' s   pr e di c ti ons   a nd  th e  gr ound - tr ut nor m a li z e ta r ge ts .   T he   m ode a c hi e ve s   a   le a s a b s ol ut e   de vi a ti ons   e r r or   of   1 = 0 . 33   ( 21%   a nd   60%   de c r e a s e   in   e r r or   w it r e s pe c to   th e   two  ba s e li ne s )   a nd  a M S E   of   2 = 0 . 15   ( 29%   a nd   73%   de c r e a s e   in   e r r or r e s pe c ti ve ly )   ove r   th e   te s s e t T he s e   r e s ul t s   r e pr e s e nt   a   s ig ni f ic a nt   pe r f or m a nc e   in c r e a s e   ov e r   th e   P a tc hM a tc a nd   L oc a lG lo ba in pa in te r s W he c onve r te to   D ob s on  U ni ts   ( D U ) w e   ge 1 = 0 . 56   DU   a nd  2 = 0 . 41   DU 1        c or r e s ponds   to   a   c ol um de ns it of   2 . 8 × 10 16 2 th e   r a w   m e a s ur e m e nt s   r a nge   be twe e 0   a nd 2.5 DU .     4 . 3   D is c u s s io n   T he   m a in   c ont r ib ut or   to   th e   in c r e a s e   in   pe r f or m a nc e   i s   th e   c on di ti ona la ye r A a bl a ti on  s tu dy   w a s   c onduc te by  r e m ovi ng   th e   c ondi ti ona la ye r   a nd  tr a in in th e   G A N   w it hout   vi s ua pr io r s T he   r e s ul ti ng  1   a nd   2   s c or e s  w e r e  s li ght ly  w or s e  t ha L oc a lG lo ba [ 26] , l a s c ol um n of  T a bl e   4 .       T a bl e   4 B e nc hm a r ks  of  m e a 1   a nd me a n s qua r e d l o s s  on t he  t e s s e t.   M e t r i c s \ M e t hod s   P a t c hM a t c h [ 29]   L oc a l G l oba l  [ 26]   O ur s   O ur s  ( no pr i or s )   1   0.83   0.42   0.33   0.44   2   0.55   0.27   0.15   0.28       F ig ur e   s how c a s e s   th e   e f f e c t s   th a vi s ua pr io r s   c a ha ve   on  pol lu ti on  pr e di c ti ons T he   m ode l   pr e di c ts   hi ghe r   N O 2   c onc e nt r a ti ons   in   th e   c it of   C a s a bl a nc a   w it hout   pr oc e s s in hi gh - de ns it ne ig hbor in g   pi xe ls to r ow   in   F ig ur e   2.  I pr e di c te hi gh  N O 2   c onc e nt r a ti ons   by  r e ly in s ol e ly   on  th e   R G B   pr io r S uc h   pa tt e r ns   a r e   not ic e a bl e   in   ot he r   ur ba a nd   in dus tr ia c it ie s   in   M or oc c o.  H o w e ve r a t   th e   bot to m   r ow th e   m ode f a il e to   pr e di c a   hi gh  pol lu ti on  c onc e nt r a ti on  ove r   th e   r e gi on  of   T a our ir t.   T h a c oul h a ve   b e e th e   r e s ul of   th e   te m po r a na tu r e   o f   in dus tr ia l   a c ti vi ti e s   a nd  th e   no is e   th a is   in he r e nt   to   s e ns or m e a s ur e m e nt s T he   a ve r a ge   in c r e a s e   in   pe r f or m a nc e   in di c a te s   th a th e   m ode le a r ne to   a s s oc ia te   c e r ta in   vi s ua f e a tu r e s   to   hi gh/ lo w  pol lu ti on de ns it ie s . T hi s   s tu dy s how c a s e s  t he  be ne f it s   of  m ul ti - m oda le a r ni ng i n c om put e r  vi s io n.           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll ,   V ol 10 , N o.  1 M a r c h   20 2 1   121     130   128       F ig ur e  2. S a m pl e nor m a li z e d pr e di c ti ons  ove r  nor th e r n M or oc c o. F r om  l e f to  r ig ht pr io r , i nput   im a ge ge ne r a te d i m a ge , a nd gr ound - tr ut h i m a ge  ( hi ghe r  va lu e s  r e pr e s e nt   gr e a te r  c onc e nt r a ti ons )       D e s pi te   th e   pr io r   not   pr ovi di ng  popula ti on,  ti m e - de pe nde nt   i ndus tr a c ti vi ty   e s ti m a te s or   tr a f f ic   in f or m a ti on,  it   in c r e a s e th e   ove r a ll   pe r f or m a nc e   by  s im pl p r ovi di ng  hi gh - qua li ty   vi s ua in f or m a ti on.  T he   r e duc e r   a ls pl a ye a   c r it ic a r ol e   in   tr a ns f or m in th e   pr io r s   in   a   w a th a w a s   us e f ul   to   in pa in th e   m is s in g   r e gi ons T he   pr opos e m ode c a a ls be   us e a s   a   da ta   e n a h nc e r   f or   dow ns tr e a m   ta s ks   by  r e m vi ng  c lo u d   e f f e c ts D ow ns tr e a m   a ppl ic a ti ons   in s c lu de   obj e c de te c ti o [ 31] l a ndc ove r   ge ne r a ti on  [ 32] ,   la ndus e   c la s s if ic a ti on [ 33] , c ha nge  de te c ti on, c r op moni to r in g, f ie ld  a nd ur ba n m a ppi ng a m ong othe r s .       5.   C O N C L U S I O N   T hi s   pa pe r   pr opos e a   ne ur a im a ge   in pa in te r   c a pa bl e   o f   f il li ng  m e a s ur e m e nt   ga ps   us in g   ne ig hbor in pi xe va lu e s   a nd   s ta ti c   pr io r s I de s c r ib e th e   pr e pr oc e s s in d a ta   pi pe li ne ,   th e   C N N - ba s e d   s ub - ne twor ks a nd  th e   tr a in in pr oc e s s T h e   ne ur a s y s te m   w a s   s u c c e s s f ul ly   tr a in e to   f il pol lu ti on  ga ps   in   th e   r e gi on  of   M or oc c o.  I out pe r f or m e two  pr io r - le s s   ba s e li ne s   a nd  s how e d   th e   pot e nt ia of   da ta   f u s io f or   s a te ll it e   im a ge   in pa in ti ng.  T he   de s c r ib e ne ur a s ys te m   c a be   de pl oye w it hi a   r e m ot e   s e ns in pi pe li ne   to   f il in c om in s a te ll it e   pa tc he s r e s ul ti ng  in   gr e a te r   ne a r - r e a l - ti m e   vi s ib il it ove r   w e a th e r a tm os phe r ic a nd   c li m a te   c ondi ti ons T he   s ys te m   in te ll ig e nt ly   nul li f ie s   th e   e f f e c ts   of   s e ns or   pe r tu r ba ti ons   a nd  c lo ud  e f f e c ts .   H ow e ve r one   li m it a ti on  of   th e   s ys te m   is   th a te m por a r e s ol ut io e nha nc e m e nt   is   not   e nough  to   of f e r   a   c om pe ti ti ve   a lt e r na ti ve   to   I oT - ba s e d e vi c e s   f or   s m a ll - s c a le   m oni to r in g,  th e   li m it e s pa ti a r e s ol ut io of   s a te ll it e   s e ns or s   r e m a in s   th e   m os im por ta nt   ope n   c ha ll e nge   in   r e m ot e   s e n s in g.  H ow e v e r th e   m ode l   c a b e   m odi f ie to   ta c k le   s upe r - r e s ol ut io th r ough  pr io r   le a r ni ng.  S uc s ys te m   c a e nh a nc e   th e   s a t e ll it e ' s   s pa ti a r e s ol ut io n by us in g l ow - r e s ol ut io n s our c e  i m a ge r y a nd high - r e s ol ut io n s ta ti c  pr io r s .       R E F E R E N C E S   [1]   C.  D.  Thomas,  A.   Cameron,  R.   E.  Green,   M.  Bakkenes,   L.  J.   Beaum ont Y.  C.  Collingham,   B.  F.   Erasmus,  M.   F.   De  Siqueira,  A.  Grainger,  L.   Hannahet  al.,   " Extinction  risk   from  cli mate  change,"   Nature vol.   427,  no.  6970,   pp.  145 148, 2004. https://doi.org/10.1038/nature02121.   [2]   E.    Shove,  " Beyond  the  abc:    climate  change  policy  and   theories  of  s ocial  change,"   Environment  and  Planning   A,   vol. 42, no. 6, pp. 1273 1285, 2010. https://doi.org/10.1068/a42282.   [3]   M.  Dimyati,  K.  Kustiyo,  and   R.  D.   Dimyati,  " Paddy   field  classific ation  with  modis - terra  multi - temporal   image  transforma tion  using  phenologica approac in   java  island,"   Intern ational  Journal  of  Electrical   and  Compute r   Engineering (IJECE) , vol. 9, no. 2, pp. 1346 - 1358, 2019. DOI: http://doi.org/10.11591/ijece.v9i2.pp1346 - 1358.   [4]   S.  B Jadhav,  " Convolutional  neural  networks   for  leaf  image - based  pl ant  disease  classification,"   IAES  International   Journal   of  Artifi cial  Intelli gence  (IJAI) vol.  8,  no.  4,  p.  328,  2019.  DOI:  http://doi.org/10.11591/ijai.v8.i4.pp328 - 341.   [5]   O. Olaniyi, E. Dani ya , J. Kolo, J.  Bala, and A. Olanrewaju, " A comput er vision - based weed control system for low - land  rice  precision   farming,"   Internati onal   Journal  of   Advances  in   Ap plied  Sciences  (IJAAS) ,   vol.  9,  no.   1,  pp.   51 61, 2020. DOI: http://doi.org/10.11591/ijaas.v9.i 1.pp51 - 61.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll   I S S N 2252 - 8938       Sat e ll it e  i m age  i npai nt in g w it h de e p ge ne r at iv e   ad v e r s ar ia ne u r al  ne tw or k s   ( M ohame d A k r am  Z ay ta r )   129   [6]   S.  M.  Bernard,  J.  M.  Samet,  A.  Grambsch,  K.  L.  Ebi,  and  I.  Romieu,  " The  potential  impacts  of  climate  variability  and  change  on  air  pollution - related  he alth  effects  in  the   united  states,"   Environmental  health  perspectives vol.  109,   no. Suppl 2,  pp. 199 209, 2001.   https://doi.org/10.2307/3435010.   [7]   W.  Suparta  and  W.  S.  Putro,  " Comparison  of  tropical   thunderstorm  e stimation  between  multiple  linear  regression,   Dvorak,  and  anfis,"   Bulletin  of  Electrical   Engineering  and   Informati cs  (BEEI) vol.  6,   no.  2 pp.   149 158,  2017.  DOI: 10.11591/eei.v 6i2.648.   [8]   E. C. Barrett and L. F. Curti s, “Introduction to environmental remote sensin g,”  Psychology Press , 1999.   [9]   B.  C.  Naik  and   B.  Anuradha,   " Extraction  of  water - body   area  from  hig h - resolutio Landsat  imagery,"   Inter nationa l   Journal   of  Electrica and  Comput er  Engineeri ng  (IJECE) vol 8,  no.  6,  pp.  4111 - 4119,  2018.  DOI :   http://doi.org/10.11591/ijece.v8i6.pp4111 - 4119.   [10]   S.    Dhingra  and    D.    Kumar,  "   review   of  remotely  sensed  satellite  i mage  classification,"   Internati on al  Journal  of   Electrical  and  Computer  Engineering  (IJECE) vol.  9,   no.  3,  pp.  1720 - 1731,  2019.  DOI :   http://doi.org/10.11591/ijece.v9i3.pp1720 - 1731.   [11]   M.  Dimyati,  A.  Fauzy,   and  A.   S.  Putra,   " Remote  sensing  techn ology  for  disaster  mitigation   and  regiona l   infra structure  planning  in  an  urban  area:  a   review,"   Telkom nika  Tel ecomm unicatio Computin Electr onics  and   Control , vol. 17, no. 2, pp. 601 608, 2019. DOI: http://dx.doi.org/10.12928/telkomnika.v17i2.12242.   [12]   B. - R.  B.  Semlali,  C.  El  Amrani,  and  S.  Denys,  " Develo pment   of  jav a - based  application  for  environmental  remote  sensing  data  processing,"   Internati onal  Journal  of  Electrical  and  Computer  Engineering   (IJECE) vol.  9,  no.  3,  pp.   1978 - 1986, 2019. DOI: http://doi.org/10.11591/ijece.v9i3.pp1978 - 1986.   [13]   I.  M.  Shirbh ate  and   S.  S.   Barve,  " Solar  panel   monitoring  and   energy  prediction  for  smart   solar  system,"   Internati onal  Journal  of  Advances  in  Applied   Sciences  (IJAAS) ,   vol.  8,  no.  2,   pp.  136 - 142,  2019.  DOI :   http://doi.org/10.11591/ijaas.v8.i2.pp136 - 142.   [14]   H.  F.  Hawari,  A A.  Zainal,  and  M.  R.  Ahmad,  " Development  of  real - time  internet  of  things  (IoT)  based  air  quality  monitoring syste m,"   Indonesian   Journal  of  Elect rical   Engineeri ng a nd  Compu ter   Science   (IJEECS) , vol.  13, no .   3, pp. 1039 1047, 2019. DOI: http://doi.org /10.11591/ijee cs.v13.i3.pp1 039 - 1047.   [15]   J. J. Quackenbo ss, J.  D. Spengler,  M. S.  Kanarek, R.  Letz, and  C. P. D uffy, " Personal exposure  to nitrogen  dioxide :    relationshi p to ind oor/outdo or air quali ty and acti vity patt erns,"   Environmental science & technology ,   vol. 20, no. 8,   pp. 775 783, 1986. https://doi.org/10.1021/es00150a003.   [16]   A.  Chauhan,  M.  Krishna,   A.  Frew,  and   S.  Holgate,  " Exposure  to   ni trogen  dioxide  (no2)  and   respiratory  disease  risk."   Reviews on environmental health , vol. 13, no. 1 - 2, pp. 73 90, 1998.   [17]   A.  A.  Efros  and   T.  K.   Leung,  " Texture   synthesis  by   non - parametric  s ampling"   in  Proceedings  of   the  seventh   IEEE   international  conferenc on  computer  vision IEEE,  vo l.  2.  1999,  pp.  1033 1038.  DOI :   10.1109/ICCV.1999.790383.   [18]   A.  A.  Efros  and   W.  T.   Freeman,  " Image  quilting   for  texture   synthe sis  and  transfer,"   in  Proceedings   of  the   28th  annual  conference  on  Computer  graphics  and  interactive  techniques ACM,  pp.  341 346,  2001.   https://doi.org/10.1145/383259.383296.   [19]   A.  Criminisi,  P.  Perez,   and  K.  Toyama,   " Region  filling   and  object   re moval  by  exemplar - based  image   inpainting,"   IEEE Trans actions o n image pro cessing , vol. 13, no. 9, pp. 1200 1212, 2004. DOI: 10.1109/TIP.2004.833105.   [20]   C.  Ballester,  M.  Bertalmio,  V.  Caselles G.  Sapiro,  and  J.  Verdera,  " Filling - in  by  joint  interpolation  of  vector  fields  and  gray  levels,"   IEEE  transactions  on  image  processing vol.  10,  no.  8,  pp.  1200 1211,  2001.  DOI:   10.1109/83.935036.   [21]   J.  Hays  and  A.  A.  Efros,  " Scene  completion  using  millions   of  ph otographs,"   ACM  Transactions  on  Graphics   (TOG), vol. 2 6, no. 3,  p. 4, 2007 . https: //doi.org /10.1145/ 1276377.12 76382.   [22]   R.  Kohler,  C.  Schuler,  B.  Scholkopf,  and  S.  Harmeling,  " Mask - speci fic  inpainting  with  deep  neural  networks"   in   German Conference on P attern Recognition . Springer, 2014, pp. 523 534.   [23]   L.  Xu,  J.  S.  Ren,  C.   Liu,  and  J.   Jia,  " Deep   convolutional  neural  netw ork  for  image  deconvolution,"   in  Advances  in   neural information processing systems , 2014, pp. 1790 1798.   [24]   D.  Pathak,  P.  Krahenbuhl,   J.  Dona hue,   T.  Darrell,   and  A.   A.  Efr os,  " Context  encoders:   Feature  learning   by  inpainting,"   in  Proceedings  of  the  IEEE  conference  on  computer  visi on  and  pattern  recognition 2016,  pp.  2536 2544.   [25]   C.  Yang,  X.  Lu,  Z.  Lin,  E.  Shechtman,  O.  Wang,  and  H.  Li,  " High - r es olution  image  inpainting  using  multi - scale   neural  patch  synthesis,"   in  Proceedings  of  the  IEEE   Conference  on   Computer  Vision  and  Pattern  Recognition 2017, pp. 6721 6729.   [26]   S.  Iizuka,  E.  Simo - Serra,  and  H.  Ishikawa,  " Globally  and  locally  cons istent  image  com pletion,"   ACM  Transactions   on Graphics   (ToG) , vol. 36, no. 4, p. 107, 2017. https://doi.org/10.1145/3072959.3073659.   [27]   J. Yu, Z. Lin, J. Yang , X. Shen, X. Lu, a nd T. S. Huang, " Generative  i mage inpainting with co ntextual attention,"  in  Proceedings  of  the  IEE E   Conference  on   Computer  Vision   and  Patte rn  Recognition 2018,  pp.   5505 5514.  DOI :   10.1109/CVPR.2018.00577.   [28]   Yu, J., Lin, Z. ,  Yang, J.,  Shen, X.,  Lu, X.,  & Huang, T.  S., " Free - form  image inpainting with  gated convolution,"  i n   Proceedings of the IEEE Interna tional Conferenc e on Compute r Vision , 2019, pp. 4471 4480.   [29]   C.  Barnes,  E.  Shechtman,  D.  B.  Goldman,  and  A.  Finkelstein,  " The  generalized  patchmatch  correspondence   algorit hm,"   in  European  Conference  on  Computer   Vision Springer,  2010,  pp.  29 43.  DOI:  https:/ /doi.org/10.100 7/978 - 3 - 642 - 15558 - 1_3.   [30]   He, K., Zhang, X., R en, S., and  Sun, J., “Deep resid ual  learning for im age recognition,” In  Proceedings of the IEE E   Conferenc e on Comp uter Vision  and Patte rn Reco gnition , 2016, pp. 770 - 778. DOI: 10.1109/CVPR.2016.90   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938     I nt  J  A r ti f   I nt e ll ,   V ol 10 , N o.  1 M a r c h   20 2 1   121     130   130   [31]   J.   Sherme yer  and  A.  Van   Etten,  " The   Effe cts  of  Super - Resolution   o Object  Detect ion  Perfor mance  in   Satellite  Imagery,"   2019  IEEE/CVF  Conference  on  Computer  Vision  and  Pattern  Recognition  Workshops  (CVPRW) pp.   1432 - 1441, 2019. DOI: 10.1109/CVPRW.2019.00184.   [32]   Jayanetti,  J.  M.,  Meedeniya,   D.  A.,   Dilini,  M.   D.  N.,   Wickramapa la,  M.  H.,  Madushanka,   J.  H.,   “Enhanced  land   cover  and  land  use  information  generation  from  satellite  imagery  and   foursquare  data,”  In  Proceedings  of  the  6th   Internati onal  Conference  on   Soft ware  and   Computer   Applications pp.   149 - 153,  2017.   https://doi.org/10.1145/3056662.3056681.   [33]   Meedeniya,  D.  A.,  Jayanetti,  J.   M.,  Dilini,   M.  D.  N.,   Wickramapa la M.  H.,  and   Madushanka,  J.  H.,   “Land‐Use   Classific ation  with  Integra ted  Data,”   Machine  Vision   Ins pectio Systems:  Image  Processing,   Concepts,  Methodologi es and Appl ications , 2020, ch. 1, pp. 1 - 36. https://doi.org/10.1002/9781119682042.ch1.       B I O G R A P H I E S   O F  A U T H O R S       Mohamed  Akram  Zaytar   is  a   Ph.D.  candidate   at  the  faculty   of  sciences  and  technologie s   Tangier,  working  at  the  intersection  of  representation  learning  and  environmental  science.  He  obtained  his  Master' Degree  in  Information  Systems  and  Networking  from  the  Faculty  of  Scienc es  and  Techn ologies   (Tang ier)   in  2017.   He  is   intere st ed  in  machine  learning,   representation  learning,  and  climate  change.   He  has   research  experie nce  in  weather  forecasting,   air  quality  monitoring,  precision  agriculture,   and  satellite   imagery  a pplications.  His  work  has   been featured on interna tional venues such  as ICLR  2020, Deep  Learn ing Indab a 2018,  and EGU   2018.         Professor Chaker El Amrani   is a Doctor  in Mathema tical Modellin g and Nume rical Simulatio from  the  University  of   Liege,  Belgium   (2001).  He   lectures  in   distribu ted  systems  and  promotes   HPC  educati on  at  the  University  of  Abdelmaalek  Essaadi.  His  resear ch  interests  include  Cloud  Computing, Big  Data M ining, and  Environme ntal Scie nce. D r. El Amr ani has  served  as an  active   volunteer  in  IEEE  Morocco.  He  is  curr ently  Vice - Chair  of  IEEE   Communication  and  C omputer   Societie Morocc Chapte r,  and  advisor   of  th IEEE  Computer   Socie ty  Student  Branc Chapte r   at  Abdelmalek  Essaadi  University.  He   is  the  NATO   Partner  Countr Director  of  the  real - time   remote sensi ng init iative for earl y warning and  mitigat ion of di sa sters & epidemics in Mor occo.     Evaluation Warning : The document was created with Spire.PDF for Python.