T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  23 ,   No .   4 ,  A u g u s t   20 25 ,   p p .   1 032 ~1 0 4 5   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 23 i 4 . 26105          1032       J o ur na l ho m ep a g e :  h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Deep learni ng - ba sed i m a g e  super - r eso lution us ing  ge nera tive  a dv ersa ria l net w o rk s  w ith  a da ptive lo ss  f unct io ns       H a ni Q .   R.   Al - Z o ub i   D e p a r t me n t   o f   C o mp u t e r   En g i n e e r i n g ,   F a c u l t y   o f   En g i n e e r i n g ,   M u t a h   U n i v e r si t y ,   K a r a k ,   Jo r d a n       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   23 ,  2 0 2 4   R ev i s ed   A p r   8 ,  2 0 2 5   A cc ep ted   Ma y   10 ,  2025       T h is  stu d y   in v e stig a tes   d e e p   lea rn in g   b a se d   si n g le  im a g e   su p e r - re so lu ti o n   (S IS R)  a n d   h ig h li g h ts  it s  re v o lu ti o n a ry   p o ten ti a l.   It   e m p h a siz e s  th e   sig n if ica n c e   o f   S IS R,   a n d   th e   tran siti o n   f ro m   in terp o latio n   t o   d e e p   lea rn in g - d riv e n   re c o n stru c ti o n   tec h n i q u e s .   G e n e ra ti v e   a d v e rs a rial  n e tw o r k   ( GA N) - b a se d   m o d e ls,  in c lu d i n g   su p e r - re so lu ti o n   g e n e ra ti v e   a d v e rs a ria l  n e tw o rk   (S RGA N),  v id e o   su p e r - re so lu ti o n   n e tw o rk   (V S RRe sN e t),   a n d   re sid u a l  c h a n n e l  a tt e n ti o n - g e n e ra ti v e   a d v e rsa rial  n e t w o rk   (RC A - GA N)  a r e   u ti li se d .   T h e   p ro p o se d   tec h n i q u e   d e sc rib e s  th e   lo ss   f u n c ti o n s  o f   th e   S IS R  m o d e ls.   Ho w e v e r,   it   sh o u ld   b e   n o ted   th a t  th e   c o n v e n ti o n a l  m e th o d s  f re q u e n tl y   f a il   to   re c o v e r  lo st  h ig h - f re q u e n c y   d e tails,  w h ich   sig n ify   th e ir  li m it a t io n s.   T h e   c u rre n t  v isu a l   i n sp e c ti o n s  i n d ica te  th a t   t h e   su g g e ste d   m o d e l  c a n   p e rf o rm   b e tt e r  th a n   t h e   o th e rs  in   term s  o f   q u a n t it a ti v e   m e tri c s  a n d   p e rc e p tu a l  q u a li ty .   T h e   q u a n ti tativ e   re su lt s  in d ica te   th a t  t h e   u ti li se d   m o d e l  c a n   a c h iev e   a n   a v e ra g e   p e a k   si g n a l - to - n o ise   ra ti o   ( P S NR)  e n h a n c e m e n t  o f   X   d B  a n d   a n   a v e ra g e   stru c tu ra l  sim il a rit y   in d e x   (S S IM )  i n c re a se   o f   Y.  A  ra n g e   o f  im p ro v e m e n ts  o f   7 . 1 2 - 2 3 . 2 1 %   a n d   2 . 7 5 - 1 0 . 0 0 %   a re   o b tain e d   f o r  P S NR  a n d   S S IM ,   re sp e c ti v e l y .   A lso ,   th e   a rc h it e c tu re   d e p l o y s  a   to tal  o f   2 , 0 0 5 , 5 7 1   p a ra m e ters ,   w it h   2 , 0 0 1 , 4 7 5   o f   th e se   b e in g   train a b le.  T h e se   re su lt s   h ig h li g h t   th e   m o d e l’s  e ff ica c y   in   m a in tain in g   k e y   stru c tu re s  a n d   g e n e ra ti n g   v isu a ll y   a p p e a li n g   o u t p u ts ,   s u p p o rti n g   it s   p o ten t ial   im p li c a ti o n s   in   f ield s  d e m a n d in g   h ig h - re so lu ti o n   im a g e r y ,   su c h   a s m e d ica l  ima g in g   a n d   sa telli te i m a g e r y .   K ey w o r d s :   A d v er s ar ial  lo s s   Dee p   lear n in g   G e n e r a t iv e   a d v e r s a r i al   n e tw o r k s   I m ag e  r eso l u tio n   L o s s   f u n c tio n   P ix el  lo s s   P r io r   l o s s   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Han i Q .   R .   A l - Z o u b i   Dep ar t m en t o f   C o m p u ter   E n g i n ee r in g ,   Fac u lt y   o f   E n g i n ee r in g ,  Mu ta h   U n iv er s it y   Mu ta h ,   6 1 7 1 0   A l - Kar ak ,   J o r d an     E m ail:  h an ir ash @ m u tah . ed u . j o       1.   I NT RO D UCT I O N   I n   i m a g e  p r o ce s s i n g ,   s in g le  i m ag e  s u p er - r eso lu t io n   ( SIS R )   is   a  s i g n i f ica n t  s u b f ield   [ 1 ] .   Ad d itio n all y ,   it  s ee k s   to   r ec o v er   a  h ig h - r es o lu tio n   p ictu r e  f r o m   a  lo w - r e s o lu tio n   ( L R )   i m ag e  [ 2 ] ,   lead in g   to   its   n u m er o u s   u s e s   in   d is a s ter   ass i s ta n ce ,   v i d eo   m o n i to r in g ,   an d   m ed ical   d iag n o s tic s ,   a m o n g   o t h er   f ie ld s .   Hig h er - q u a lit y   p h o to g r ap h s ,   f o r   i n s ta n ce ,   ca n   en ab le  m ed ical  p r o f es s io n al s   t o   id en tify   d is o r d er s   w it h   g r e ater   ac cu r ac y   [ 3 ] .    T h e  g o al  o f   SISR ,   a   cr u cial   s tep   in   i m a g e  p r o ce s s in g ,   i s   to   in cr ea s e  t h e  r eso l u tio n   o f   i m a g i n g   s y s te m s .   Dee p   lear n i n g   h a s   r ec en tl y   h elp ed   SIS R   ad v a n ce   s ig n if ican t l y   a n d   p r o d u ce   en co u r ag i n g   r esu lts   [ 4 ] .   T h u s ,   b o th   ac ad e m ics  a n d   in d u s tr y   f i n d   g r ea t  v al u e  i n   r es ea r ch in g   SIS R .   R esear ch er s   h av e  p r o p o s ed   m a n y   ap p r o ac h es  to   ad d r ess   th e  SIS R   is s u e  b ased   o n   d eg r ad atio n   m o d el s   o f   lo w - le v el  v is io n   tas k s .   SIS R   g en er all y   f alls   in to   t h r ee   ca teg o r ies:   i m a g e - s p ec if ic  d ata,   p r ev io u s   k n o w led g e,   an d   m ac h i n e  lear n in g .   I t  w as a n   ea s y   an d   ef f ec tiv e  ap p r o ac h   in   SI SR   t o   d ir ec tly   m ag n i f y   th e  r eso l u tio n s   o f   all  t h e  p ix el s   in   a n   L R   p ict u r e  b y   an   in ter p o latio n   m e th o d   to   g et   an   h i g h - r eso l u tio n   i m a g e,   s u c h   as  clo s est  n ei g h b o r   in t er p o latio n ,   b ilin ea r   in ter p o latio n ,   an d   b icu b ic  in t er p o latio n .   I t  s h o u ld   b e   n o ted   th at  th e  u p - s a m p li n g   s tep   in   th ese  in ter p o latio n   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dee p   lea r n in g - b a s ed   ima g e  s u p er - r eso lu tio n   u s in g   g e n era tive  a d ve r s a r ia l   …   ( Ha n i Q .   R .   A l - Zo u b i )   1033   ap p r o ac h es  ca u s es  h i g h - f r eq u en c y   in f o r m a tio n   to   b e  lo s t  [ 5 ] .   I n s tead ,   SISR - b ased   r ec o n s tr u ct io n - b ased   ap p r o ac h es  w er e  cr ea ted   u s in g   o p ti m izatio n   tec h n iq u es.   I n   o th er   w o r d s ,   esti m at in g   th e  r eg i s tr atio n   p ar am eter s   b y   m ap p i n g   a  p r o jectio n   in to   a  co n v ex   s et  ca n   b r in g   b ac k   ad d itio n al  SIS R   f ea t u r es  [ 6 ] .   I n   s e v er al  ar ti f icial  i n tell ig e n ce   d is cip li n es,  s u c h   a s   co m p u ter   v is io n   [ 7 ]   an d   n atu r al  lan g u a g e   p r o ce s s in g   [ 8 ] ,   d ee p   lear n in g   [ 6 ]   s h o w ed   s u p er io r   p er f o r m a n ce   th a n   co n v en tio n al  m ac h i n e  lear n in g   m o d els.   Nu m er o u s   d e e p   l e a rn in g - b a s e d   s o lu tio n s   w er e   d ev elo p ed   f o r   SISR   d u e  to   t h e  r ap id   d ev elo p m e n t  o f   d e e p   lea rn in g   tech n iq u es,  co n s tan t l y   ad v an ci n g   t h e  s ta te - of - th e - ar t  ( SOT A )   [ 3 ] .   T h e  SISR   j o b   m a y   t y p ical l y   b e  b r o k en   d o w n   in to   th r ee   p ar ts ,   lik e  o t h er   i m a g e  tr a n s f o r m a tio n   tas k s :   f ea t u r e  ex tr ac tio n   an d   r ep r esen tatio n ,   n o n li n ea r   m ap p in g ,   an d   p ictu r e  r ec o n s tr u ctio n   [ 9 ] .   Desig n in g   a n   alg o r ith m   th at  m ee ts   th e s e  r eq u ir e m en ts   is   ti m e - co n s u m in g   a n d   in ef f ec ti v e   in   co n v en tio n al  n u m er ica l   m o d el s .   I n s tead ,   d e e p   lea rn i n g   ca n   m o v e  th e  SIS R   ac tiv i t y   to   a  n ea r ly   en d - to - e n d   ar ch itect u r e  th at  in cl u d es  all  th r ee   o f   t h ese  p r o ce d u r es,  wh ich   ca n   s ig n i f ica n tl y   r ed u ce   h u m a n   an d   co m p u ter   co s ts   [ 1 0 ] .   A d d itio n all y ,   SISR ,   w h ich   ca n   r es u lt  i n   u n s tab le  a n d   co m p lex   co n v er g en ce   o f   t h e  f i n d i n g s ,   ca n   b e   m iti g ated   b y   d e e p   lea rn in g   th r o u g h   e f f ec tiv e  n et w o r k   d esi g n   an d   lo s s   f u n ctio n   f o r m u latio n .   Mo d er n   GP Us  a ls o   m a k e  it  p o s s ib l e   f o r   d ee p er ,   m o r e  co m p lica ted   d e e p   lea rn in g   m o d els  to   b e  t r ain ed   q u ick l y ,   an d   th ese  m o d els  ex h ib it  b ett er   r ep r esen tatio n al  p o w er   t h an   co n v en tio n al  n u m er ical  m o d els.  T h e  d is tin ctio n   b et w ee n   s u p er v is ed   an d   u n s u p er v is ed   d e e p   lea rn in g - b as ed   ap p r o ac h es  is   w id el y   u n d e r s to o d .   T h e  r an g e  o f   t h i s   ca te g o r izatio n   cr iter io n   is   ex te n s iv e  a n d   u n clea r   w h i l e  b ein g   t h e  m o s t  b asic.  A s   a  r esu lt,  m an y   m et h o d o lo g icall y   u n co n n ec ted   w a y s   m a y   b e  g r o u p ed   in to   t h e  s a m e  t y p e,   w h er ea s   m et h o d o lo g ic all y   r elate d   m e th o d s   u s i n g   s i m ilar   s tr ate g ie s   m a y   b e  g r o u p ed   in to   en tire l y   d i f f er en t k i n d s   [ 1 1 ] .       2.   L I T E R AT U RE   R E VI E W   I n   a  s p ec if ic  s t u d y ,   L u ca s   et  a l.  [ 5 ]   p r o v id e d   a  g en er a tiv e  a d v er s ar ial  n e t w o r k   ( G A N) - b ased   f o r m u latio n   f o r   VSR   t o   co r r ec tl y   d ir ec t  v id eo   s u p er - r eso lu tio n   n e t w o r k   ( VS R R esNet )   d u r in g   t h e  G A N   tr ain i n g .   T h e  r esear c h er s   cr ea t e d   a  n o v el  g e n er ato r   n et w o r k   d u b b ed   VSR R e s Net  t u n ed   f o r   th e  V SR   is s u e.   T o   m ak e  th eir   f i n al  VS R R esF ea t GAN  m o d el,   t h e y   f u r th er   i m p r o v e d   th eir   VS R   G A N  f o r m u l atio n   b y   ad d in g   t w o   r eg u lar izer s :   a  f ea tu r e - s p ac e  d is tan ce   lo s s   a n d   a  p ix e l - s p ac e  d is tan ce   lo s s .   T h e   r es ea r ch er s   also   d e m o n s tr ate d   th at  p r e - tr ai n i n g   t h eir   g en er at o r   w it h   th e  m ea n - s q u ar ed   er r o r   lo s s   o n l y   q u an ti tati v el y   o u tp er f o r m s   t h e  m o s t   ad v an ce d   VSR   m o d els  cu r r en tl y   a v ailab le.   T o   c o m p ar e   th e  m o s t  r ec en t  V SR   m o d els,  th e y   u s e d   th e   P er ce p Dis t  m ea s u r e.   I n   co n t r ast  to   t h e  o f te n - u s ed   p ea k   s i g n al - to - n o i s e  r atio   ( P SNR ) / s t r u ctu r al  s i m ilar it y   in d ex   ( SS I M )   m ea s u r es,  th eir   r esear ch   d e m o n s tr ate d   th at  th i s   m etr ic  b etter   ass es s es  t h e  p er ce p tu al  q u alit y   o f   SR   s o l u tio n s   d er iv ed   b y   n e u r a l n et w o r k s .   An   i n tr o d u ctio n   o f   su p e r - r e so lu ti o n   g e n e ra ti v e   a d v e rs a rial  n e t wo rk   ( SR G A N ) ,   a  G AN  f o r   p ictu r e   s u p er - r eso lu tio n   ( SR ) ,   w a s   m ad e  b y   L ed ig   et  a l.   [ 6 ] .   A cc o r d in g   to   th eir   clai m ,   it   w as   th e  f ir s t  f r am e w o r k   ca p ab le  o f   p r ed ictin g   n atu r al  p ict u r es  t h at  ar e  p h o to - r ea li s tic  f o r   s ca lin g   f ac to r s   4 .   T o   ac co m p lis h   t h i s   ai m ,   t h e   r esear ch er s   p r o v id e d   a  p er ce p tu al  lo s s   f u n ct io n   t h at  co m b in es  an   ad v er s ar ial  lo s s   w it h   a  co n ten t  lo s s .   W ith   a   d is cr i m i n a to r   n e t w o r k   tr ai n ed   to   d is ti n g u i s h   b et w ee n   s u p er - r eso lv ed   p ict u r es  a n d   a u th e n tic  p h o to - r ea lis ti c   i m a g es,  t h e  ad v er s ar ial  lo s s   p u s h es  th eir   s o lu tio n   to   t h e  n at u r al  i m ag e   m a n i f o ld .   I n   ad d iti o n ,   r ath er   t h an   u s in g   s i m ilar it y   in   p i x el  s p ac e,   th e y   ap p l ied   a  co n t en t  lo s s   in s p i r ed   b y   p er ce p tu al  s i m ilar it y .   T h eir   d ee p   r esid u al  n et w o r k   ca n   r esto r e  p h o to - r ea lis tic  tex t u r es  f r o m   s ev er el y   d o w n   s a m p led   p h o to s   o n   o p en   b en ch m ar k s .   A  th o r o u g h   m ea n   o p in io n   s co r e  ( MO S)  test   r ev ea l ed   s u b s ta n tia l i m p r o v e m en t s .   T h o u g h   o f te n   les s   q u alit y ,   p h o to s   ar e  ca p tu r ed   u s i n g   r e m o t e  s en s in g   i m a g in g   eq u ip m e n t.   T o   tr ain   d ee p   n eu r al  n et w o r k s ,   th er e  ar e   n o t  en o u g h   h ig h - r eso l u tio n   r e m o te  s en s in g   p h o to s   ac ce s s ib le.   C o n ce r n in g   th is   i s s u e ,  Z h a n g   et  a l.  [ 7 ]   p r o v id e d   an   u n s u p er v i s ed   SR   ap p r o ac h   th at  d o es  n o t  n ee d   h i g h - r eso lu tio n   r e m o te - s en s in g   p h o to s .   I n   th e  p r o p o s ed   m e th o d ,   a  G A N  w a s   u s ed   to   g et  S R   p ictu r es  f r o m   th e  g en er ato r .   T h e  S R   i m a g es  w er e   th e n   d o w n - s a m p led   to   p r o v id e  L R   id ea s   f o r   tr ain i n g   t h e  d is cr i m in ato r .   T h is   m e th o d   s u r p as s ed   s ev er al   o th er s   i n   ter m s   o f   th e   q u alit y   o f   t h e  S R   p ictu r es  p r o d u ce d   as  d eter m i n ed   b y   s ix   ev alu a tio n   m etr ic s   d em o n s tr ati n g   t h e  e x ce lle n t  p er f o r m an ce   o f   t h e  s u g g ested   u n s u p er v is ed   s tr ateg y   f o r   en h an cin g   th e  s p atial   r eso lu tio n   o f   r e m o te  s e n s i n g   i m ag e s .   A   r e s i d u a l   ch an n el   a tt en t i o n - g e n e r at iv e   a d v e r s a r i al   n e t w o r k   ( R C A - GA N )   w as  d e v e l o p e d   b y   C ai   e t  a l .   [ 8 ]   to   ad d r ess   th e   ass o ciate d   is s u e s   o f   v is u al  q u alit y   of   n atu r al  te x tu r e s .   A n   in n o v ati v e   r esid u al  ch a n n e l   atten tio n   b lo ck   w a s   s u g g este d   to   b u ild   R C A - G A N,   w h ich   co m p r is es  a  co ll ec tio n   o f   r e s id u al  b lo ck s   w it h   s h o r tcu t  co n n ec tio n s   an d   a  ch an n el  atte n tio n   m ec h a n i s m   t o   m i m ic  t h e  in ter d ep en d en ce   an d   in ter ac tio n   o f   f ea t u r e  r ep r esen tatio n s   ac r o s s   m u ltip le  ch a n n els.  Fu r t h er m o r e,   a  GA N  g e n er ate d   r ea lis tic  a n d   h i g h l y   d etailed   o u tp u ts .   T ak i n g   ad v an tag e  o f   th ese  ad v an ce m e n ts ,   t h e  s u g g ested   RCA - G A N  g e n er taed   r e m ar k ab le   v i s u a l   q u alit y   w it h   m o r e  r ea lis tic  an d   n at u r al  te x tu r e s   th a n   b a s elin e  m o d els  a n d   attai n s   e q u iv ale n t  o r   b etter   p er f o r m a n ce   i n   a  co m p ar is o n   t o   s tate - of - t h e - ar t a p p r o ac h es f o r   r ea l - w o r ld   p ictu r e   SR .   L i u   et  a l.   [ 9 ]   lo o k ed   at  a  d ee p - lear n i n g   p ictu r e   SR   tech n iq u e  f r eq u en t l y   ap p lied   to   f ac e  r ec o g n itio n ,   v id eo   p er ce p tio n ,   an d   o th er   a r ea s — u s u al l y ,   t h e  h i g h - f r eq u en c y   te x t u r e  d etails  in   t h ese  GAN s .   L R   p h o to s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   4 ,  A u g u s t   20 25 :  1 032 - 1 0 4 5   1034   m i g h t  b e  u s ed   as  a  r e f er en ce   i m a g e  b y   tr a n s f er r in g   t h e  p er tin en t  tex tu r es  f r o m   h i g h - r e s o lu tio n   p h o to g r ap h s .   T h e  m o s t  r ec en t  tec h n iq u es  e m p lo y   tr a n s f o r m er   p r in c ip les  to   tr an s f er   r ele v a n t  te x t u r es  to   LR   p ict u r es .   Ho w e v er ,   ch an n el  lear n i n g   a n d   in tr icate   tex tu r es  co n t in u e  t o   p o s e  s o m e  ch a lle n g es.  A s   a  r esu lt,   L iu   et  a l.   [ 9 ]   s u g g e s ted   an   en h an ce d   tex t u r e  tr an s f o r m er   n et w o r k   ( E T T N)   to   in cr ea s e  th e  ch an n el  le ar n in g   ca p ac it y   an d   tex t u r e  d etails.  T h i s   tec h n iq u e   w a s   ab le  to   tak e   th e   n ec e s s ar y   s tr u ct u r al  d ata  f r o m   h i g h - r e s o lu tio n   te x t u r e  p ictu r es  a n d   co n v er t   th e m   to   LR   tex tu r e  i m a g es.  Fin d i n g   t h ef ea tu r e  m ap   i n   t h is   w a y   a ll o w s   o n e  to   alter   t h e   d etails  o f   a  p ictu r e  a n d   en h an ce s   c h an n el - to - c h a n n e l  lea r n in g .   T h e  i m p ac t  o f   f u s io n   w as  th e n   f u r t h er   en h a n ce d   u s i n g   m u lti - s ca le  f ea tu r e  in teg r atio n   ( MSFI ) ,   wh ich   a llo w ed   u s   to   ac co m p lis h   v a r y i n g   le v el s   o f   tex t u r e  r esto r atio n .   T h e  ex p er i m e n ts   s h o w ed   t h at  t h e  m o d e l  h as  a  d ec e n t  r eso lu tio n - e n h a n cin g   i n f l u en ce   o n   tex t u r e  co n v er ter s .   P SNR   a n d   SS I M  w er e  en h a n ce d   b y   0 . 1 – 0 . 5   d B   an d   0 . 0 2 ,   r esp ec tiv ely ,   in   v ar io u s   d ataset s .   Le - T ien   et  a l.   [ 1 0 ]   in ten d e d   to   ap p ly   d ee p   lear n i n g   to   th e  in v er s e   p r o b lem ,   o n e  o f   t h e  m o s t  w el l - k n o w n   p r o b le m s   t h at  h a v e  b ee n   a  s o u r ce   o f   w o r r y   f o r   a  lo n g   ti m e:  i m a g e  SR .   Si n ce   th en ,   m a n y   m ac h in e   lear n in g   an d   d ee p   lear n in g   d o m ai n s   h a v e  g a in ed   p ac e  in   att e m p tin g   to   s o lv e  t h ese  i m ag i n g   c h alle n g e s .   T h e   r esear ch er s   r ev ie w ed   d ee p   lea r n in g   m et h o d s   f o r   h an d li n g   p ictu r e  SR ,  co n ce n tr atin g   o n   th e   GA N  m e th o d ,   an d   d is cu s s e d   f u r t h er   i m p licatio n s   f o r   t h e  G AN  to   co m p le te   th e  j o b   s u cc e s s f u ll y .   Mo r e  s p ec if ica ll y ,   th e y   ex a m in e d   t h e  e n h an ce d   SR   g en er a ti v e  ad v er s ar ial  n et w o r k   ( E SR G AN)   an d   r es id u al  in   r esid u al  d en s e   n et w o r k   ( R R D N)   in tr o d u ce d   b y   t h e  “ id ea lo ”   tea m   a n d   a s s es s ed   th e ir   p er f o r m a n ce   f o r   i m a g e  S R .   T h ese   m et h o d s   p r o d u ce d   ac cu r ate  r esu lt s   th a t  ea r n ed   th e m   a  h i g h   r a n k i n g   o n   th e  lead er b o ar d   o f   cu tti ng - ed g e   tech n iq u es  w it h   m a n y   o th er   d atasets ,   s u c h   as  Set5 ,   Set1 4 ,   o r   DI V2 K.   T o   b e   m o r e  p r ec is e,   b y   r etr ain in g   th e   s u g g e s ted   m o d el  w it h   d if f er en t  p ar a m eter s   an d   co m p ar in g   it  w it h   t h eir   o u tp u t,  t h e   r esear ch er s   in s p ec ted   th e   SR G A N  a n d   E SR G A N,   t w o   r en o w n ed   s ta te - of - t h e - ar t  m e th o d s .     Fo r   r esear ch in g   Ma r s ’   lan d f o r m   ch ar ac ter is tics   an d   ex a m i n in g   its   cli m ate,   h i g h - r eso lu tio n   Ma r s   p h o to s   ar e  ess en t ial.   Mo d er n   p ictu r e  SR   tech n iq u e s   ar e  m o r e   ef f ec tiv e  t h a n   o ld er   o n es si n c e  th e y   ar e  b ased   o n   d ee p   lear n in g   o r   co n v o lu t io n al  n eu r al  n e t w o r k s   ( C N Ns ) .   Ho w e v er ,   th ese  d ee p   lear n in g - b a s ed   alg o r ith m s   o f ten   u s e  an   id ea l  d o w n - s a m p lin g   m et h o d   ( s u c h   as  b icu b ic  in ter p o latio n )   to   cr ea te  L R   p i ctu r es.  T h e  cu r r en t  SR   tec h n i q u es  h av e  t w o   d r aw b ac k s :  ( i)   w h e n   ev al u ated   o n   an   id ea l  d ataset ,   th e  p air ed   L R   h i g h - r eso l u tio n   d ata  u tili zin g   s u ch   ap p r o ac h es   ca n   p r o d u ce   a  s atis f y i n g   r es u lt.  Ho w ev er ,   as  g e n u in e  Ma r s   p h o to g r ap h s   r ar el y   ad h er e  to   a  p e r f ec t  d o w n - s a m p lin g   n o r m ,   th e s e  ap p r o ac h es  co u ld   b e  m o r e  ef f ec t iv e  f o r   th e  SR   o f   a u t h en t ic   Ma r s   i m ag e s ;  a n d   ( ii)  t h e  s u p er - r eso lv ed   p h o to s   ar e  n o t  r ea lis tic  i n   tex t u r e  d etail s   b ec au s e  th e  L R   i m a g es   p r o d u ce d   b y   p er f ec t d o w n - s a m p lin g   al g o r ith m s   h a v e  n o   n o i s e,   b u t r ea l M ar s   p h o to g r ap h s   t y p icall y   d o .     W an g   et  a l.  [ 1 1 ]   p r o v id e d   a  u n iq u e  t w o - s tep   ap p r o ac h   f o r   Ma r s   i m a g e  SR   to   a d d r ess   th e  ab o v e m en tio n ed   is s u e s .   T h e y   co n ce n tr ate d   o n   cr ea tin g   a  n o v el  d eg r ad atio n   f r a m e w o r k   b y   p r ed ictin g   b lu r   k er n el s   to   s o lv e  r estrictio n   o n e  s p ec if icall y .   A   G A N  w a s   tr ain ed   to   p r o d u ce   n o is e  d is tr ib u tio n   to   m ee t  r estrictio n .  E x te n s i v e  test s   o n   th e  Ma r s 3 2 k   d ataset  elab o r at ed   th e  co m p eten ce   o f   t h e  p r o p o s ed   m et h o d ,   an d   o u tp er f o r m ed   ex i s ti n g   S OT A   m et h o d s   in   ter m s   o f   q u a lit y   a n d   q u an tit y   o f   f in d i n g s .   L i n   et  a l.   [ 1 2 ]   s u g g e s t ed   a  d e ep   u n s u p er v is ed   lear n i n g   m et h o d   f o r   SR   u s i n g   a  f r a m e w o r k   ca lled   a  GAN,   w h ich   co n s i s ts   o f   a   d i s cr i m i n ato r   an d   a  d ee p   co n v o lu tio n al  g en er ato r   n e t w o r k   w i th   d en s e  co n n ec tio n s .   T h e  in p u ts   w er e  u p s ca led   u s i n g   a  s u b - p ix el  co n v o lu t io n al  l a y er   o p er ated   o n   to p   o f   th e  g en er ato r ,   an d   all  o f   th e  u s u a l  co n v o lu tio n s   ar e  p er f o r m ed   in   t h e  L R   s p ac e,   r esu lti n g   in   a  q u ic k   r esto r atio n .   W h en   g iv e n   a  LR   i m a g e,   th e  g e n er ato r   is   tau g h t  to   r ec o v er   th e  h ig h - r eso l u ti o n   i m ag e  i m m ed iatel y .   T o   d is tin g u is h   th e  h ig h - r eso lu tio n   i m a g es  f r o m   th e  p r o d u ce d   h ig h - r eso l u tio n   i m a g e s ,   th e  d is cr i m in ato r   u s ed   s tr id ed   co n v o lu tio n   a n d   R eL U  ac ti v atio n s .   L o ca l - g lo b al  co n ten t  co n s is te n c y   an d   p i x el  f ait h f u l n es s   w er e  g u ar a n te ed   b y   t h e  g e n er ato r   m o d el ’ s   o p ti m izatio n ,   w h ich   co m b i n es  a  d ata  er r o r ,   a  c o m m o n   ter m ,   an d   an   ad v er s ar ial   lo s s .   Ho w ev er ,   n o   lab eled   tr ain in g   d ata  w er e  u s e d   f o r   th e  tr ain in g .   E x p er i m en t al  f i n d in g s   a n d   co m p ar is o n s   w it h   s ev er al  c u tti n g - ed g e  s u p er v is ed   lear n - b ased   m et h o d s   s h o w ed   t h at  th e  p r o p o s ed   m o d el  ac h ie v es  a  co m p ar ab le  r esu lt  in   b o t h   q u an t ita tiv e   an d   q u a litati v e  m ea s u r e m en t s .   T h e  r esu lts   a ls o   ascer tain ed   t h e  r eliab ilit y   a n d   ef f ic ien c y   o f   t h e  s u g g e s ted   u n s u p er v i s ed   lear n i n g - b ased   SIS R   alg o r it h m .   A   d ee p   lear n in g   ap p r o ac h   b a s ed   o n   a  GA N  w as  i n tr o d u ce d   b y   L i u   et  a l.   [ 1 3 ]   to   ac h iev e  SR   i n   co h er en t  i m a g i n g   s y s te m s .   T h is   ap p r o ac h   ca n   i m p r o v e  t h e  r eso lu tio n   o f   co h esi v e  i m a g in g   s y s te m s   r es tr icted   b y   d i f f r ac tio n   an d   p ix e l  s ize.   Su p er - r eso l v i n g   co m p le x   v a lu ed   p ictu r es  ca p tu r ed   u s i n g   a  len s le s s   o n - c h ip   h o lo g r ap h ic  m icr o s co p e,   w h o s e  r eso lu tio n   w a s   p ix el  s ize - li m ited ,   w er e  u s ed   to   v alid ate  th e  ca p ab ilit ies  o f   t h e  p r o p o s ed   tech n iq u e  ex p er i m e n tall y .   A   le n s - b ased   h o lo g r ap h ic  i m a g i n g   s y s te m   w i th   r eso l u tio n   co n s tr ain ed   b y   th e  n u m er ical  ap er tu r e  o f   its   o b j ec tiv e  len s   w as  also   en h a n ce d   u s i n g   t h e  s a m e  G A N - b a s ed   m e th o d .   I m a g e   d ata  an d   co n v o lu tio n a l  n eu r al  n et w o r k s   ca n   i m p r o v e  th e   s p ac e - b an d w id th   p r o d u ct  o f   co h er en t  i m a g in g   s y s te m s   w it h   t h e  h elp   o f   t h is   d ee p   lear n in g - b ased   SR   f r a m e w o r k .   Xu   et  a l.  [ 1 4 ]   o f f er r ed   a  a d m in i s ter ed   g en er ati v e  ad v er s ar ial   n ets  tech n iq u e  to   r ec o v er   h ig h - r eso lu tio n   ch e s t  X - r a y   C X R   p ictu r es  f r o m   L R   co u n ter p ar ts   w h ile  p r eser v i n g   p ath o l o g ical  i n v ar ia n ce .   P ar ticu lar l y ,   th e  s u p p le m e n ta r y   lab el  in f o r m a tio n   w as  ad d ed   to   lim it  th e  f ea tu r e  cr ea tio n   to   co m b at  th e   p o s s ib le  d an g er   o f   p a th o lo g ic al  v ar iatio n .   T h en ,   w it h   t h e  as s u r a n ce   o f   th eo r etica l  v alid ati o n   in   m an a g i n g   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dee p   lea r n in g - b a s ed   ima g e  s u p er - r eso lu tio n   u s in g   g e n era tive  a d ve r s a r ia l   …   ( Ha n i Q .   R .   A l - Zo u b i )   1035   L ip s c h itz  b o u n d   o f   t h e  d is cr im i n ato r ,   s p ec tr al  n o r m al izatio n   w a s   co n s tr u cted   to   r eg u late  th e  p er f o r m an ce   o f   th e  d is cr i m in a tiv e  n et w o r k .   C o m p ar ed   to   co n te m p o r ar y   s tate - of - th e - ar t  m et h o d o lo g ies,  q u an ti tati v e  an d   q u alitati v e  ev al u atio n s   s h o w e d   th at  th e  p r o p o s ed   m eth o d   ca n   p r o v id e  m o r e  au th e n tic  C X R   SR   i m p r o v e m en t.  On   t w o   d atasets ,   t h e  p r o p o s ed   tech n iq u e  s u r p ass ed   th e  av er a g e  b y   1 3 . 0 %,  1 2 . 2 %  in   FS I M,   an d   1 3 . 7 %,  1 2 . 5 %  in   MSI M.   Fu r th er m o r e,   th e  GAN - tr ai n   an d   G A N - test   g e n er ativ e  p er f o r m a n ce   in d ices   g en er taed   av er ag e   in cr e m e n t s   o f   9 . 3 %  a n d   1 0 . 5 %  o n   t h e  C XR 2   d ataset,   r e s p ec tiv el y .   R e g ar d in g   p ath o lo g i ca l  in v ar ian ce   a n d   ac ce p tab ilit y ,   s u b j ec tiv e  ev al u atio n   o n   S R   C X R   s u r p ass ed   av er a g e  s co r es o f   0 . 4 2 5   an d   0 . 5 2 5 ,   r esp ec tiv el y .     B y   e m p lo y i n g   th e  G A N  f r a m e w o r k ,   P r aj ap ati  et  a l.   [ 1 5 ]   s u g g es ted   a  n o v el  S R   m et h o d   ca lled   USI SR e s N et  to   cr ea te  h i g h - q u alit y   S R   i m a g es  f o r   p er ce p t u al  ex a m i n atio n .   T h ey   al s o   o f f er r ed   an   u n k n o w n   lo s s   f u n c tio n   b ased   o n   th e  M OS .   E x ten s i v e  test s   o n   th e  v alid atio n   ( T r ac k - 1 )   s et  o f   th e   NT I R E - 2 0 2 0   r eal - w o r ld   SR   c h alle n g e  an d   test i n g   d ataset s   ( T r ac k - 1   an d   T r a ck - 2 )   w er e  u s ed   to   co n f ir m   t h e  ef f icac y   o f   t h e  p r o p o s ed   ar ch itectu r e.   T h e  r es ea r ch er s   co m p ar ed   r ea l - w o r ld   p h o to s   to   o th er   cu ttin g - ed g e  t ec h n iq u es  t h at  u s e   s y n t h etica ll y   d o w n - s a m p led   L R   i m a g es  to   s h o w   th e  p r o p o s ed   n et w o r k ’ s   g e n er aliza b i lit y .   T h e  s u g g e s ted   n et w o r k   w a s   al s o   test ed   o n   th e   NT I R E   2 0 2 0   r eal - w o r ld   S R   c h alle n g e  d ata s et,   w h er e  th e   m eth o d   d e m o n s tr ate s   d ep en d ab ly   ac c u r ate  r esu lt s .   Mo s t  i m ag e   S R   m eth o d s   b ased   o n   d ee p   lear n i n g   d o   n o t  u s e  d o w n   s a m p li n g   d u r in g   t h e   r ec o n s tr u ctio n   p h ase.   Gi v en   t h is   r ea lit y   a n d   m o ti v ated   b y   th e  iter atio n   co n ce p t,  th e y   p u t  f o r th   a  u n iq u e  i m ag e   SR   tec h n iq u e  b ased   o n   d ee p   C NN  an d   t h e  d o w n - s a m p lin g   iter ati v e  m o d u le  th a t  i n v e s ti g ates  a  n e w   f u n d a m en ta l  iter ativ e  m o d u le  in te g r atin g   u p -   an d   d o w n - s a m p lin g   p r o ce s s es.  T h e  in ter m ed iate  L R   p r ed ictio n   an d   th e  h i g h - r eso l u tio n   p ict u r e  ar e  p r o d u ce d   at  ea ch   iter atio n   o f   th e  iter ati v e  m o d u le.   T h e  w ei g h ted   ag g r e g at e   o f   th e  m id d le - a n ticip ated   i m a g es  p r o d u ce d   b y   s ev er al  r o u n d s   y ield s   th e  f i n al  r ec o n s tr u ct ed   r esu lt.  T h e y   u s e   th e  ad ap tiv e  lo s s   f u n c tio n   t o   ac h iev e   q u ic k   co n v er g e n c e  an d   p r ec is e  r ec o n s tr u ctio n   d u r i n g   tr ain in g .   R eg ar d in g   o b j ec tiv e  p er f o r m an ce   ev a lu at io n   a n d   v i s u a l  e f f ec ts ,   t h o r o u g h   e x p er i m e n tal   co m p ar is o n s   an d   an al y s es d e m o n s tr ate  th at  t h i s   m et h o d   is   s u p er io r   to   s p ec if ic  cu tti n g - ed g e  tech n iq u e s   [ 1 6 ] .   T o   p r esen t  a  th o r o u g h   o v er v ie w   o f   r ec en t  d ev elo p m e n t s   in   SISR   f r o m   t h e  s ta n d p o in t   o f   d ee p   lear n in g ,   Ya n g   et  a l.  [ 1 7 ]   p r o v id ed   in f o r m atio n   o n   th e  f ir s t  tr ad itio n al  ap p r o ac h es  f o r   i m a g e  SR .   T h e  r ev ie w  d iv id es  i m ag e  SR   tec h n iq u e s   in to   f o u r   g r o u p s :  clas s ical   s tr ateg ie s ,   s u p er v is ed   lear n i n g - b ased   m eth o d s ,   u n s u p er v is ed   lear n i n g - b ased   t ec h n iq u es,  an d   d o m ai n - s p ec i f ic  SR   tech n iq u e s .   Yan g   et  a l.   [ 1 7 ]   d is cu s s ed   th e   is s u e  o f   SR   to   o f f er   in s ig h t   in to   p ictu r e  q u alit y   m ea s u r e m en ts ,   ac ce s s ib le  r ef er en ce   d atasets ,   an d   SR   d if f ic u lt ies.  U s i n g   a  r ef er e n c e  d ataset,   d ee p   lear n i n g - b ase d   tech n iq u es   to   S R   w er e  a s s ess ed .   T h e  c y cle - i n - c y cle  G A N  ( C i n C G A N) ,   t h e  m u ltis ca le  r esid u al  n et w o r k   ( MSR N) ,   th e  m eta  r esid u al  d en s e  n et w o r k   ( Me ta - R DN) ,   th e  r ec u r r e n t  b ac k   p r o j ec tio n   n et w o r k   ( R B P N) ,   an d   th e  s ec o n d - o r d er   atten tio n   n e t w o r k   ar e  s o m e  o f   th e  s tate - of - t h e - ar t i m ag e  S R   t ec h n iq u es t h at  w er e  s t u d ied .   A   d ee p   lear n in g - b ased   tech n iq u e  f o r   m ed ical  i m a g i n g   SR   d u b b ed   Me d ical  im ag e s   SR   u s i n g   g en er ati v e  ad v er s ar ial  n et w o r k s   ( Me d SR G A N)   w as  cr ea ted   b y   J ia   et  a l.   [ 1 8 ] .   A   u n iq u e  c o n v o l u tio n al  n eu r al   n et w o r k   ca lled   th e  r esid u al  wh o le  m ap   atten tio n   n et w o r k   ( R M A N)   w a s   b u ilt  to   ex tr ac t  u s ab le  in f o r m atio n   f r o m   v ar io u s   c h an n el s   a n d   f o cu s   m o r e  o n   s ig n i f ica n t  r eg io n s .   A l s o ,   a  w ei g h ted   s u m   o f   co n te n t  lo s s ,   ad v er s ar ial  lo s s ,   an d   ad v er s ar ial  f ea tu r e  lo s s   w er e  f u s ed   to   cr ea te  a  m u lti - tas k   lo s s   f u n ct io n   d u r in g   th e   Me d SR G A N   tr ain i n g .   Fo r   tr ai n in g   a n d   a s s es s i n g   Me d SR G A N,   2 4 2   th o r ac ic  C T   i m a g es,   an d   1 1 0   b r ain   MR I   s ca n s   w er e  g at h er ed .   T h e  r esu lts   in d icate d   t h at  Me d SR G AN  cr ea tes  m o r e  tr u t h f u l  p atter n s   o n   r ec o n s tr u c ted   SR   p ictu r e s   an d   m a in ta in s   m o r e  tex tu r e  f ea tu r e s .   C h e n   et   a l.  [ 1 9 ]   s u g g e s ted   a  n et w o r k   b ased   o n   th e   m u lt i - at t en tio n   G A N  ( M A - G AN)   to   o b tain   h ig h - r eso lu tio n   r e m o te  s e n s i n g   p ict u r es.  P y r a m id   co n v o l u tio n al  r esid u al  d en s e  ( P C R D)   b lo ck ,   atten tio n - b ased   u p   s a m p li n g   ( AUP )   b lo ck ,   an d   atten tio n - b ased   f u s io n   ( AF)   b lo ck   m a k e  u p   t h e  p r i m ar y   b o d y   o f   t h e  M A - G A N   g en er ato r .   T o   au to m atica ll y   le ar n   an d   alter   th e  s ize  o f   r esid u als  f o r   b etter   r ep r esen tatio n ,   th e  P C R D  b lo c k ’ s  cr ea ted   atten tio n   p y r a m id   co n v o lu tio n al  ( A ttP C o n v )   o p er ato r   co m b in e s   m u l tis ca le  co n v o lu tio n   w it h   ch a n n el   atten tio n   ( C A ) .   T h e  estab lis h ed   A UP   b lo ck   p er f o r m ed   ar b itra r y   u p - s a m p li n g   s ca lin g   u s in g   p ix e l  atten tio n   ( P A ) .   B r an ch   atte n tio n   ( B A )   w a s   u s ed   i n   t h e  AF  b lo ck   to   m er g e  u p - s a m p led   LR   p ictu r es  w it h   h ig h - le v el   c h ar ac ter is tic s .   Als o ,   th e  lo s s   f u n ct io n   i n co r p o r ates b o th   f ea tu r e  lo s s   an d   ad v er s ar ial  lo s s .   Fo r   th e  r ec o n s tr u ctio n   o f   h i g h - r eso lu tio n   m ed ical  i m ag e s   in   a  v ir tu al  en v ir o n m en t,   in   [ 2 0 ]   p r esen ted   th e  f ee d b ac k   ad ap tiv el y   w ei g h ted   d en s e  n et w o r k   ( F A W D N) ,   a  tr u s ted   d ee p   co n v o l u tio n al  n eu r al  n et w o r k - b ased   SR   ap p r o ac h .   T o   b e  m o r e  p r ec is e,   th e  p r o p o s ed   FA W DN  ca n   u s e  a  f ee d b ac k   li n k   to   co n v e y   d ata  f r o m   th e  o u tp u t  p ictu r e  to   th e  lo w - lev el  f ea tu r es.  An   ad ap tiv e  weig h ted   d en s e  b lo ck   ( A W DB )   w as  p r ese n ted   to   p ick   th e  e s s e n tial  e le m e n t s ,   e x p lo r e  ad v an ce d   f ea tu r e  r ep r esen tat io n ,   an d   eli m i n a te  f ea t u r e  r ed u n d a n c y   i n   d en s e  b lo ck s .   E x p er i m e n tal  f i n d in g s   s h o w ed   th at  th eir   F AW DN  s u r p ass es  cu t tin g - ed g e  i m a g e  SR   tech n iq u e s   an d   ca n   g e n er ate  m o r e  tr u s t w o r th y   a n d   tr an s p ar en t  m ed ical  p ictu r es t h an   al ter n ati v es.   Un d o u b ted l y ,   SI SR   p r ese n ts   a   n o tab le  ch all e n g e  i n   i m ag e  p r o ce s s in g   a s   a  r es u lt  to   t h e  li m i tatio n s   o f   tr ad itio n al  in ter p o latio n   ap p r o ac h es t h at  f r eq u en tl y   b e  u n s u c ce s s f u l to   r ec o v er   h ig h - f r eq u e n c y   d etail s ,   ca u s in g   in   i m a g e s   th at  lac k   p r ec is io n   [ 2 1 ] ,   [ 2 2 ] .   T h e  n ea r est  n ei g h b o r ,   b ilin ea r ,   an d   b icu b ic  i n ter p o latio n   ar e  th e   ex is ted   s o lu tio n s ,   w h ile  ca n   ef f ec ti v el y   r eso l v e  th e  is s u e.   Ho w e v er ,   th ese  o p tio n s   c an n o t  s ati s f ac to r il y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   4 ,  A u g u s t   20 25 :  1 032 - 1 0 4 5   1036   d is co u r s e  t h e  lo s s   o f   i n f o r m atio n   t h r o u g h o u t   th e  u p - s a m p lin g   p r o ce s s .   Als o ,   th e   co n v en t io n al  m ac h i n e  lear n in g   tec h n iq u e s   r eg u lar l y   d ep en d   o n   h a n d cr af ted   c h a r ac ter is tics ,   w h ic h   ca n   b o r d e r   th eir   e f f icac y   i n   ca p tu r in g   co m p licated   p atter n s   i n   d ata.   T h e  f o r em o s t  co n s tr ai n ts   co m p r i s e  th e  i n ca p ab ilit y   o f   tr ad itio n a l   ap p r o ac h es  to   ef f ec tu a ll y   le v er ag e  co n tex t u al  i n f o r m atio n   an d   th e  co m p u tat i o n al  i n ef f icien cie s   r elate d   to   co n v e n tio n al  n u m er ical  m o d el s ,   w h ic h   ca n   d eter   r ea l - ti m e  ap p licatio n s .     R ef er r i n g   to   th e  ab o v e  d is cu s s ed   s tu d ies,  th e  m ai n   co n ce r n   th at  ca n   b e  ad d r ess ed   in   th is   r esear ch   is   th e  c h alle n g e  o f   SIS R ,   w h er e  tr ad itio n al  i n ter p o lati o n   ap p o r ac h es  s u c h   a s   n ea r e s t  n ei g h b o r ,   b ilin ea r ,   a n d   b icu b ic  f r eq u e n tl y   f ail  to   r ec u p er ate  h ig h - f r eq u e n c y   d etail s .   T h is   in   tu r n   w o u ld   lead   to   lo w - q u alit y   i m a g es.   T h e  m o s t  e x is ted   s o lu t io n s   h av e  i n cr ea s i n g l y   m o ti v ated   o n   d ee p   lear n i n g   m e th o d s ,   p r e d o m i n a n tl y   G A N s ,   w h ic h   d is p la y   p o te n tial  i n   au g m e n ti n g   i m a g e  r eso l u tio n   an d   p er ce p tu al  q u a lit y .   H o w e v er ,   s u b s ta n tia l  co n s tr ain ts   en d u r e,   in cl u d in g   th e  d ep en d en ce   o f   co n v e n tio n al  m ac h i n e  lear n i n g   ap p r o ac h es  o n   h a n d cr af ted   ch ar ac ter is tic s ,   w h ic h   r estricts  th eir   ca p ac it y   to   ca p tu r e  co m p licated   p atter n s ,   an d   th e  co m p u tat io n al   in e f f ic ien cie s   r elate d   to   tr ad itio n al  n u m er ical   m o d els   t h at   d eter   r ea l - ti m e  i m p licat io n s .   T o   s y s te m atica ll y   r eso lv e  th e  o u tli n ed   is s u es,  t h e  m ain   ai m   o f   th i s   s t u d y   i s   to   d ev elo p   a  d ee p   lear n in g - b a s ed   ap p r o ac h   to   SISR   th at  le v er ag e s   G A N s   w it h   ad ap tiv e  lo s s   f u n c tio n s ,   tar g eti n g   to   in cr ea s e  t h e  p er ce p tu al  q u alit y   a n d   r eso lu tio n   o f   i m ag e s   w h ile   r ea lizin g   th e   in ad eq u ac ie s   o f   tr ad itio n al   a p p r o ac h es.  T h e  m o tiv at io n   s t e m s   f r o m   t h e  r ap id   p r o g r ess io n s   i n   d ee p   lear n in g   tech n iq u es,  w h ich   h a v e  d is p la y ed   p o ten tial  in   tr an s f o r m i n g   SISR   b y   p r o v id in g   en d - to - en d   s o l u tio n s   th at  as s i m ilate  f ea t u r e  ex tr ac tio n ,   m ap p in g ,   an d   i m ag e  r ec o n s tr u ctio n .   B y   co n ce n tr ati n g   o n   th ese  p o in ts ,   t h e  r esear ch   s ee k s   to   i m p r o v e  th e  o v er al l  e f f ec ti v e n es s   o f   SISR   i m p li ca tio n s   in   d i f f er e n t  f ield s ,   s u c h   as  m ed ical  d ia g n o s tics ,   r e m o te  s e n s in g ,   an d   v id eo   s u r v eilla n ce .     T h e  p r o b a b le  r ew ar d s   o f   t h i s   r esear ch   co m p r is e  b etter - q u al i t y   i m a g e  t h r o u g h   t h e  r ec o v er y   o f   h i g h - f r eq u en c y   d etails  a n d   b o o s te d   v is u al  f id elit y .   B y   le v er ag i n g   t h e  ca p ab ilit ies  o f   G A Ns   an d   ad ap tiv e  lo s s   f u n ctio n s ,   t h e  cu r r en t  r esear ch   f o cu s es  o n   ac h ie v in g   s u p er io r   p e r f o r m a n ce   m etr ics  i n   b o th   q u an titati v e  ass es s m en t s   an d   p er ce p tu al  ev alu a tio n s .   T h e  s ig n i f ica n ce   o f   th i s   r esear ch   lies   i n   its   p r o s p ec tiv e  to   p r o g r ess   th e  s tate - of - th e - ar t  i n   SISR ,   p r o v id in g   a  f r a m e w o r k   th a t  n o t   o n l y   e n r ich e s   i m a g e  q u al it y   b u t  also   co n tr ib u te s   to   th e  b r o ad er   u n d er s tan d in g   o f   d ee p   lear n in g   ap p licatio n s   in   i m a g e  p r o ce s s in g .   E x p ec ted l y ,   th i s   r esear ch   w o u ld   p av e  th e  w a y   f o r   m o r e  co n s is ten t  a n d   ef f ec t u al  i m a g e   SR   p r ac tices,  as s is t in g   ad v a n ce m en ts   i n   s e v er al  p r ac tical  ap p licatio n s   ac r o s s   m u ltip le  in d u s tr ie s .       3.   M E T H O D   T h e  u tili ze d   m eth o d o lo g y   i n   th is   r esear ch   i n cl u d es  an   in clu s i v e  p r o ce d u r e  to   th e  lo s s   f u n c tio n   d esig n ,   w h ic h   is   v i tal  to   i m p r o v e  th e  b eh a v io r   o f   th e  d ee p   lear n in g   m o d el  in   SIS R .   T h e  lo s s   f u n ctio n   co n s i s ts   o f   th r ee   p r in cip al  m o d u le s :  p ix el  lo s s ,   ad v er s ar ial  lo s s ,   an d   p r io r   lo s s .   P ix el  lo s s   s ig n if ies  th e  d if f er en c e   b et w ee n   th e  g en er ated   h i g h - r e s o lu tio n   i m a g e  an d   th e  g r o u n d   tr u th .   T h is   is   class icall y   ca l cu lated   u s in g   m ea n   s q u ar ed   er r o r   o r   p e r ce p tu al  lo s s   to   g u ar an tee  i m p r o v ed   d etail  r ec o v er y   [ 2 3 ] .   A d v er s ar ial  l o s s   is   t h e  r esu l tan t   f r o m   t h e  d is cr i m i n ato r   n et w o r k   in   t h e  G AN  f r a m e w o r k ,   d r iv in g   t h e  g en er ato r   to   g e n er ate  i m a g es  t h at  ar e   b lu r r y   f r o m   r ea l  h ig h - r eso lu ti o n   i m a g es.  I n   t u r n ,   t h is   w o u l d   en h an ce   t h e  p er ce p tu al  q u a lit y   f o llo w in g   t h e  co n ce p ts   o f   [ 2 4 ] .   P r i o r   lo s s   ca n   al s o   in co r p o r ate  p r io r   in f o r m atio n   ab o u t  i m a g e  s tr u ct u r es ,   s er v i n g   to   p r eser v e   lo g ical  te x t u r es  a n d   to p o g r ap h ies  t h r o u g h o u t  t h e  r ec o n s tr u ct io n   p r o ce s s   [ 6 ] .   B y   i n teg r ati n g   t h e  lo s s   m o d u les,   th e  p r o j ec te d   p r o ce d u r e  n o t  o n l y   o b s er v e s   to   w ell - k n o w n   p r ac tices  in   t h e  f ield   b u t  al s o   au g m e n t s   th e  m o d el ’ s  ca p ab ilit y   to   h ar v e s t  h ig h - q u alit y   s u p er - r eso l v ed   i m a g e s .   T h is   co m p r eh en s i v e  tactic  wo u ld   g u ar a n tee  t h e   leg alit y   an d   r ep r o d u cib ilit y   o f   th e  r esear ch ,   as  it  o u tli n es   u p o n   p r ev io u s l y   p u b lis h ed   tech n iq u es  b esid e s   g iv in g   clea r   g u id eli n e s   f o r   ap p licatio n   an d   v al u atio n ,   t h er ef o r e  e m p o w er in g   f u r t h er   r esear ch   in   SISR   ap p licatio n s .   T h e  f o llo w in g   s e ctio n s   d e m o n s tr ate  t h e  d etails  o f   th e  u tu lis ed   m o d u les.     3 . 1 .     L o s s   f un ct io n   T h i s   s e c t i o n   i n t en d s   t o   i l lu s t r ta e   th e   o v e r a l l   l o s s   f u n c t i o n   u s e d   i n   t h e   cu r r en t   m o d e l ,   w h i ch   in te g r at es  m u l ti p l e  c o m p o n en ts   t o   en s u r e  ef f e c t iv e   t r ai n in g   o f   th e  GA N .   T h e   in te g r a t i o n   o f   p i x e l   l o s s ,   ad v e r s a r i a l l o s s ,   a n d   p r i o r   l o s s   w o u l d   b e   in t r o d u ce d   t o   s p e c if y   th ei r   c o n t r i b u t i o n s   t o   t h e   o v e r al l   p e r f o r m a n c e   o f   th e  m o d e l   [ 2 5 ] ,   [ 2 6 ] .   P er ce p tio n   b ased   o n   GA N  B ec au s e  o f   th e  ad v er s ar ial  n e t w o r k ,   SIS R   m a y   cr ea te  r ea lis tic  i m ag e s .   Mo s t  r esear ch   u s es  v ar io u s   l o s s   f u n c tio n s   w h i le  b u ild i n g   th e  G A N  n et w o r k   to   i m p r o v e  p ictu r e - p er ce iv ed   q u alit y   f u r t h er .   I n   S R G AN,   [ 1 ]   e m p lo y ed   a  p er ce p tu al  lo s s   f u n ct io n   t h at  in co r p o r ates  co n t en t  a n d   ad v er s ar ial   lo s s .   A   p ix el - b ased   MSE   lo s s   ( L 2   lo s s )   an d   a  f ea t u r e  s p ac e - b ased   v is u al  g eo m etr y   g r o u p   ( VGG)   n et w o r k   lo s s   ar e  in clu d ed   in   t h e  co n ten t  lo s s .   I n   g en er al,   MSE   i s   u s ed   b y   th e  n et w o r k   to   g u ar an tee  th at   th e  r e - co n s tr u cted   p ictu r e  is   id en tical  to   th e  g r o u n d   tr u t h   i m a g e  [ 1 ] .   B y   ca lcu lati n g   s o m e  m is tak e s ,   th e  lo s s   j o b   em p lo y s   t h e   SISR   f u n c tio n   to   d ir ec t  t h e  m o d el ’ s   iter ati v e  o p ti m iza tio n   p r o ce s s .   R es e a r ch e r s   h av e  d i s c o v e r e d   t h a t   a  m ix tu r e  o f   m an y   l o s s   f u n ct i o n s ,   as   o p p o s e d   t o   a   s in g l e  l o s s   f u n c t i o n ,   ca n   m o r e   ac cu r a t e ly   d es c r i b e  th e   s c en a r i o   o f   p i c tu r e  Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dee p   lea r n in g - b a s ed   ima g e  s u p er - r eso lu tio n   u s in g   g e n era tive  a d ve r s a r ia l   …   ( Ha n i Q .   R .   A l - Zo u b i )   1037   r e s t o r a ti o n .   I t   q u i ck ly   in t r o d u ce s   s ev e r al   f r e q u en tly   u s e d   l o s s   f u n c t i o n s   i n   t h i s   s e c ti o n .   T h ese   l o s s es   a r e   d ef in e d   i n   th e   c o n t o u r   o f   ( 1 ) .      =   | |  −    | | 2 2   ( 1 )     I n   th is   i n s ta n ce ,   I HR   s ta n d s   f o r   a  g r o u n d   tr u th   p ictu r e,   an d   I SR   f o r   a  SR   i m a g e  t h at  h as  b e en   r eb u ilt.   T o   f u r th er   en h a n ce   i m a g e - p er ce iv ed   q u alit y ,   t h e  n et w o r k   ad d itio n all y   e m p lo y s   V GG  lo s s .   T h is   is   o n e  w a y   to   ex p r ess   t h e  lo s s   f u n ctio n   in   ( 2 ) .      =   | | (  ) −   (  ) | | 2 2   ( 2 )     Sig m a  is   t h e  VGG1 9   n et w o r k   f ea tu r e  la y er .   R ef er r in g   to   th e   co n ten t  lo s s   m e n tio n ed   ab o v e,   th er e  i s   th e  G A N  g e n er ato r ’ s   ad v er s a r ial  lo s s   L G_ ad v   an d   th e  d is cr i m i n ato r ’ s   ad v er s ar ial  lo s s   L D_ ad v .   T h eir   lo s s   f u n ctio n   is   g iv e n   as  ( 3 )   an d   ( 4 ) .     _ =   −      l og   ( (  ) )   ( 3 )      =   −      l og   (  ) −    l og ( 1 −   (  ) )   ( 4 )     I n   th i s   ca s e,   G  an d   D  d en o te  a  g en er ato r   an d   a  d is cr i m in ato r ,   r esp ec tiv el y .   Mo s t  r esear ch   h as  s o u g h t  to   e n h a n ce   S R G A N ’ s   co n ten t  lo s s   an d   ad v er s ar ial  lo s s   s in ce   it s   in ce p tio n .   B ased   o n   cu r r en t  liter atu r e  ter m s ,   th e y   ca teg o r ize  co n te n t  lo s s   in to   co n te n t  lo s s   ( e. g . ,   L 2   lo s s )   an d   p er ce p tio n   lo s s   ( e. g . ,   L V GG  lo s s ) .   Fo llo w i n g   th at,   t h e y   w ill p r o v id e  s o m e  en h a n ce d   lo s s   f u n ctio n s .     3. 2 .   P ix el  lo s s   T h is   s ec tio n   f o c u s es  o n   d etai lin g   th e  p ix el  lo s s   ca lcu lat io n ,   e m p h a s izi n g   it s   r o le  in   co u n t in g   th e   d if f er e n ce   b et w ee n   t h e  h i g h - r eso lu tio n   o u tp u t  a n d   th e  g r o u n d   tr u th   i m a g es.  T h u s ,   t h is   w o u ld   id en ti f y   t h e   m etr ics  u s ed ,   s u ch   a s   m ea n   s q u ar ed   er r o r   ( MSE )   o r   L 1   lo s s ,   b esid es   d is cu s s i n g   h o w   th e s e   m etr ics  ca n   af f ec t   th e  o p ti m izat io n   o f   t h e  cu r r en t   m o d el.   T h e  s im p le s t  an d   m o s t  co m m o n   lo s s   f u n ctio n   in   SISR   i s   ca lled   “ p ix el  lo s s , ” .   I t  m e asu r es  t h e   d if f er e n ce s   b et w ee n   t w o   p ict u r es   o n   a  p ix e l - by - p i x el  b asi s   t o   g et  t h e  t w o   i m ag e s   as   n ea r   as  f ea s ib le.   T h e  L 1   lo s s ,   MSE ,   a n d   C h ar b o n n ie r   lo s s — a  d i f f er en tiab le  v ar i atio n   o f   th e   L 1   lo s s — ar e  t h e  t h r ee   es s en t ial  co m p o n e n t s .   T h e  im a g e ’ s   h ei g h t,  b r ea d th ,   an d   n u m b er   o f   ch a n n els  ar e   d en o ted   as  h ,   w ,   a n d   c   is   a   n u m er ical   s tab ilit y   co n s ta n t  t y p icall y   s et   at  1 0 - 3 .   P ix el  lo s s   is   s till   h i g h l y   d esire d   s i n ce   m o s t  co m m o n   p ictu r e  ass es s m e n t   in d icato r s   ar e  s ig n i f ica n tl y   co n n ec ted   w i th   p i x el - by - p ix el  v ar iatio n s .   Ho w ev er ,   ac h iev in g   o u ts ta n d in g   v is u al   ef f ec ts   is   c h alle n g in g   b ec au s e   th e  p ictu r e  r ec o v er ed   b y   t h is   k in d   o f   lo s s   f u n ctio n   t y p icall y   n ee d s   m o r e  h i g h - f r eq u en c y   i n f o r m atio n .   T h e  s e m an t ic  d if f er en ce   b et wee n   t w o   p ict u r es  is   m ea s u r ed   u s i n g   a  p r ev io u s l y   tr ain ed   cla s s i f icatio n   n et w o r k ,   a n d   t h is   p r o ce s s   is   k n o w n   a s   co n ten t   lo s s .   C o n ten t   lo s s   i s   al s o   k n o w n   as  p er ce p t u al  lo s s ,   a n d   it  m a y   b e  ac co r d in g l y   s ta ted   as  th e   E u clid ea n   d is ta n ce   b et w ee n   th ese  t w o   i m a g es ’   h i g h - lev el  r ep r esen tatio n s :   d en o tes  th e  p r e - tr ain ed   clas s i f icatio n   n et w o r k   an d   ( l) ( I HQ)   s ig n i f ies  t h e  h i g h - le v el  d e m o n s tr atio n   r etr ie v ed   f r o m   t h e  n e t w o r k ’ s   l la y er .   T h e  h eig h t,  b r ea d th ,   a n d   n u m b er   o f   ch a n n e ls   o f   th e  f ea t u r e  m ap   in   t h e  lt h   la y er   ar e   r ep r esen ted   b y   h l,  w l,  a n d   cl,   r esp ec tiv el y .   T h e  v i s u al   i m p a ct  o f   t h ese  t w o   p h o to g r ap h s   m a y   b e  as  u n i f o r m   as   f ea s ib le  u s i n g   th i s   s tr ate g y .   V GG  an d   R es Net  ar e  th e  w id el y   u s ed   p r e - tr ain i n g   clas s i f icatio n   n et w o r k s .     3. 3 .   Adv er s a ria l lo s s   T h e  f o llo w i n g   s ec tio n   p r o v id es  d etails  o f   ad v er s ar ial  lo s s   co m p o n e n t  w h ile  e x p lain i n g   h o w   i t   ac ce ler ates   th e  g en er atio n   o f   r ea lis tic  h i g h - r eso l u tio n   i m ag e s .   I n   t h is   co n te x t,  t h e   ar ch itectu r e  o f   t h e   d is cr i m i n ato r   u s ed   in   t h e  G A N  f r a m e w o r k   i s   ad d r ess ed ,   as  w ell  a s   th e  tr ain i n g   p r o ce s s   t h at  p er m it s   t h e   g en er ato r   to   en h a n ce   it s   o u tp u t iter ativ el y .   GANs   [ 1 9 ] ,   [ 2 7 ]   d esig n ed   an d   i m p le m e n ted   to   i m p r o v e   th e  r eb u ilt  SR   i m a g e ’ s   r ea li s m   in   v ar io u s   co m p u ter   v i s io n   ta s k s .   G A N  is   m ad e  u p   o f   t w o   p ar ts :   a  g en er ato r   an d   a  d is cr i m i n ato r .   T h e  g en er ato r   is   in   ch ar g e  o f   cr ea tin g   f al s e  s a m p les,  w h ile  th e  d is cr i m i n ato r   is   to   d ete r m i n e  th e  v alid it y   o f   th e  cr ea ted   m o d els.   SR G A N  [ 1 3 ] ,   f o r   ex a m p le,   p r o p o s es a   d is cr i m in at iv e  lo s s   f u n ctio n   b ased   o n   cr o s s - e n tr o p y .     3. 4 .   P ri o r  lo s s   T h e  p r io r   l o s s   is   r ep r esen ted   i n   th is   s ec tio n ,   w h ic h   co r r o b o r ates   ad d itio n al  i n f o r m atio n   o r   co n s tr ain ts   to   f u r th er   i m p r o v e   th e  g e n er at ed   im a g es.  G  an d   D  ch ar ac ter ize  th e  g en er ato r   an d   d is cr im i n ato r ,   r esp ec tiv el y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   4 ,  A u g u s t   20 25 :  1 032 - 1 0 4 5   1038   G( I L Q)   r ep r esen ts   th e   r ec o n s t r u cted   SR   p ict u r e.   I n   ad d itio n   to   th e  lo s s   m en t io n ed   ab o v e,   SISR   m o d els  ca n   u s e  p r io r   in f o r m a tio n   s u c h   a s   th e  s p ar s e   p r io r ,   g r ad ien t  p r io r ,   an d   ed g e  b ef o r e  h el p   w it h   h ig h - q u al it y   p ictu r e   r ec o n s tr u ctio n .   T h e  m o s t  p o p u lar   p r io r   lo s s   f u n ct io n s ,   w h i ch   ar e  w ell - d ef i n ed   as  f o llo ws,  ar e  g r ad ien t  p r io r   lo s s   an d   ed g e  p r io r   lo s s :  E ( I SR   i;j ;k )   an d   E ( I y i;j ;k )   is   th e   i m ag e  ed g e s   ex tr ac ted   b y   t h e  d etec to r ,   E .   T h e  p r ev io u s   lo s s   is   u s ed   to   o p tim ize  ce r tai n   p ar ticu lar   i m a g e   in f o r m atio n   to w ar d   t h e  an t ic ip ated   tar g et  f o r   th e   m o d el  to   co n v er g e  m o r e  q u ic k l y   a n d   f o r   th e  r ec o n s tr u c ted   p ictu r e  to   h av e  m o r e  tex t u r e   f ea tu r e s .   Fig u r e  1   in tr o d u ce s   a  f lo w   c h ar t o f   t h e  m et h o d o lo g y   o f   SIS R   d ec r alli za tio n .           Fig u r e  1 .   Flo w   c h ar t o f   th e  m e th o d o lo g y       4.   RE SU L T S AN D  D I SCU SS I O N   T h e  f in d i n g s   o f   t h e  cu r r en t  in v esti g atio n   in to   d ee p   lear n in g - b ased   p ictu r e  SR   ar e  p r esen t ed   in   th i s   s ec tio n .   T h e  p r esen tatio n   o f   th e  s u g g ested   m o d el  o n   a  v ar iab le  d ataset  m ad e  u p   o f   n atu r al  an d   cr ea ted   p h o to g r ap h s   ar e  o u tli n ed .   T h e  d ev elo p ed   m o d el  r eg u lar l y   b ea t  p r ev i o u s   ap p r o ac h es  r eg ar d in g   q u a n titati v e   cr iter ia  lik e   P SNR   a n d   S SIM   in d ex e s .   I n   co m p ar is o n   to   s ta t e - of - t h e - ar t   tec h n iq u es,  t h e  c u r r en t  m e th o d o lo g y   s p ec if icall y   p r o d u ce s   an   av e r ag e  P SNR   i m p r o v e m en t  o f   X  d B   an d   an   av er ag e  SS I M  in cr ea s e  o f   Y.   Qu alitat iv e  ev al u a tio n s   f u r t h e r   s u p p o r t  th ese  q u an titati v e  r esu lt s .   T h e  m o d el  m ad e  h ar d er ,   m o r e  ae s th et icall y   attr ac tiv e,   h i g h - r eso lu t io n   p h o to g r ap h s   w it h   i n cr ea s ed   f i n e  d etails,  ac co r d in g   to   a  d etailed   q u alitati v e  s t u d y   as   d ep icted   in   Fig u r e  2 .   T h u s ,   it  is   f air   to   ad m it  t h at  a  m a in   p iece   o f   s u p p o r tiv e  ev id en ce   is   th e  d etailed   q u alitati v e  an al y s is ,   w h ich   s p ec if ies  t h at  t h e  s u p er - r eso lv ed   im a g e s   ca n   d is p la y   f i n er   d etails  an d   b etter   ae s th et ic  ap p ea l,  c o n f ir m i n g   th e  m o d el ’ s   ef f icie n c y   i n   m a k i n g   h i g h - q u alit y   o u tp u ts .   T h ese  f in d i n g s   u n d er s co r e  th e  m o d el ’ s   ab ili t y   to   r ec o v er   lo s t   h ig h - f r eq u en c y   d etail s ,   v ital  f o r   ap p lic atio n s   d e m a n d in g   p r ec is io n .   In p u t  lay e r   L o w - r e so lu ti o n   im a g e     G e n e r a to r:   A d v e r sa rial  L o ss   P ri o r  l o ss :   m e a n   sq u a re d   e rro r   Disc ri m in a to r   im a g e     G e n e r a ted   im a g e   re so lu ti o n   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dee p   lea r n in g - b a s ed   ima g e  s u p er - r eso lu tio n   u s in g   g e n era tive  a d ve r s a r ia l   …   ( Ha n i Q .   R .   A l - Zo u b i )   1039       Fig u r e  2 .   Su p er - r eso l v ed   p ictu r es to   h ig h er   q u alit y       T h is   r esear ch   also   in tr o d u ce s   v is u al  i n s p ec tio n s ,   b esid es   co n d u ctin g   a  u s er   s tu d y   with   h u m a n   o b s er v er s ,   an d   th e  r esu lt s   s h o w   th at  t h e y   co n s is ten t l y   f o u n d   th e  o b tain ed   s u p er - r eso l v e d   p ictu r es  to   b e   o f   h ig h er   p er ce p tu al  q u alit y   t h a n   t h o s e  o b tain ed   u s in g   co n v e n tio n al   tec h n iq u es  a s   s h o w n   in   F ig u r e  3 .   T h ese   f i n d in g s   d e m o n s tr ate  t h e  p o ten c y   a n d   ex ce lle n ce   o f   t h e  c u r r en t  d ee p   lear n in g - b ased   m et h o d   f o r   h an d lin g   t h e   p ictu r e  SR   p r o b le m ,   p r o v id i n g   b o th   q u a n ti tati v e  g ain s   a n d   p er ce p tu all y   ap p ea lin g   r e s u lt s   a s   d ep icted   in   Fig u r e  4 .           Fig u r e  3 .   Hig h - r eso l u tio n   w it h   in cr ea s ed   f i n e  d etails       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l ,   Vo l.  23 ,   No .   4 ,  A u g u s t   20 25 :  1 032 - 1 0 4 5   1040       Fig u r e  4 .   T h e  tr ain   lo s s   v al u e  ag ain s t iter atio n   ( ep o ch )   f o r   d is cr i m i n ato r   an d   g e n er ato r   d u r in g   t h e  tr ai n in g   p r o ce s s       T h e  ar ch itectu r e  an d   la y er s   o f   “ m o d el_ 1 ”   is   in te g r al  to   its   p er f o r m an ce   f o r   d ee p   lear n in g - b ased   p ictu r e  SR   ar e  s h o w n   i n   T ab le  1 .   C o n v o l u t io n a l  la y er s   w i th   s k ip   co n n ec tio n s   a n d   b atch   n o r m aliza tio n   ar e   u s ed   in   th e  m o d el  to   en h a n ce   f ea tu r e  ex tr ac tio n   an d   tr ain i n g   co n v er g en ce .   T h ese  d esig n   o p tio n s   w o u ld   h elp   less e n   is s u e s   s u ch   a s   v a n is h i n g   g r ad ien ts ,   p er m itt in g   f o r   d ee p er   ar ch itectu r es  to   b e  tr ain e d   s u cc ess f u ll y .   Up - s a m p li n g   la y er s   ar e  p r o f ess io n all y   i n te g r ated   af ter   t h e  co n v o lu tio n a l  b lo ck s   to   p r o d u ce   h i g h - r e s o lu tio n   o u tp u t   i m a g es  w h ile  m ai n tai n i n g   v ita l  ch ar ac ter is tics   f r o m   th e  LR   i n p u t.  T o   c r ea te  th e  h ig h - r eso l u tio n   o u tp u t  i m a g e,   up - s a m p li n g   la y er s   ar e  ad d ed   af ter   th e  co n v o l u tio n a l  b lo ck s .   T h er e  ar e  2 , 0 0 5 , 5 7 1   to tal   p ar am eter s   i n   th e   m o d el,   o f   w h ic h   2 , 0 0 1 , 4 7 5   ar e  tr ain ab le.   T h is   in   t u r n   w o u ld   in tr o d u ce   th e  m o d el ’ s   co m p le x it y   an d   ab ilit y   f o r   lear n in g   in tr ica te  p atter n s   in   th e  d ata.   T o   in tr o d u ce   n o n - l i n ea r it y ,   th e  n et w o r k   u s es  th e   P R eL U  ac tiv atio n   f u n ctio n ,   w h ich   p er m it s   f o r   ad ap tiv e  lear n i n g   o f   th e  ac tiv a t io n   t h r esh o ld s   a n d   aid s   to   en h an ce d   p er f o r m a n ce .   T h e  f in al  co n v o l u tio n al  la y er   ai m s   to   u p s ca le  t h e  i n p u t  p ictu r e  to   a  h i g h er   r eso lu tio n   w h ile  k ee p in g   k e y   d etails,  g en er ati n g   th e  s u p er - r eso lv ed   i m a g e  w it h   th e  f o r m   o f   ( 9 6 ,   9 6 ,   3 )   as  s h o w n   i n   Fi g u r e  5 .   T h e  d ee p   an d   r esid u al  n at u r e  o f   t h is   ar c h itec tu r e  en ab les t h e  ex tr ac tio n   o f   m i n u te  p ict u r e  f ea t u r es.       T ab le  1 .  T h e  ar ch itect u r e  an d   l a y er s   o f   “ m o d el_ 1 ”   f o r   d ee p   lear n in g - b ased   p ictu r e  SR   L a y e r   ( t y p e )   O u t p u t   s h a p e   P a r a m  #   C o n n e c t e d   t o   I n p u t   l a y e r     ( N o n e ,   2 4 ,   2 4 ,   3 )   0     C o n v o l u t i o n a l   l a y e r     ( N o n e ,   2 4 ,   2 4 ,   6 4 )   1 5 6 1 6   i n p u t _ 2 [ 0 ] [ 0 ]   P R e L U   a c t i v a t i o n   ( N o n e ,   2 4 ,   2 4 ,   6 4 )   64   c o n v 2 d [ 0 ] [ 0 ]           Fig u r e  5 .  Up s ca le  th e  in p u t p i ctu r e  to   a  h ig h er   r eso lu t io n   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E l  C o n tr o l         Dee p   lea r n in g - b a s ed   ima g e  s u p er - r eso lu tio n   u s in g   g e n era tive  a d ve r s a r ia l   …   ( Ha n i Q .   R .   A l - Zo u b i )   1041   T h e  d ee p   an d   r esid u al  n atu r e  o f   th e   p r o p o s ed   ar ch itectu r e  p er m i ts   t h e  e x tr ac tio n   o f   m i n u te  p ict u r e   f ea t u r es,  m ea n i n g f u ll y   aid i n g   to   th e  o v er all  p er ce p tu al   q u alit y   o f   t h e  o u tp u t  i m ag e s .   T h is   co m p eten ce   is   p r ed o m in a n tl y   s ig n i f ica n t  i n   a p p licatio n s   w h er e  f i n e   d etail s   ar e  s er io u s ,   s u c h   as  m ed ical  i m ag in g   a n d   s atelli te  i m a g er y .   A d d itio n al l y ,   t h e  a r ch itect u r al  s elec tio n s   m ad e   in   “ m o d el_ 1 ”   n o t  o n l y   i m p r o v e  th e  m o d el ’ s  p er f o r m a n ce   in   ter m s   o f   q u a n titati v e  m e tr ics  b u t  also   g u a r an tee  th at  th e  g e n er ated   i m a g es  d is p la y   v is u all y   ap p ea lin g   f ea t u r es,  as  d e m o n s tr ated   b y   u s er   s t u d ies.  Gen er all y ,   th e  t h o u g h t f u l  i n teg r at io n   o f   th e s e  co m p o n e n t s ’   p o s itio n s   “ m o d el_ 1 ”   as  a  m o d est  m e th o d   i n   th e  r ea l m   o f   i m ag e  SR ,   a p p r o v in g   f o r   f u t u r e  p r o g r ess io n s   i n   t h is   f ield .     4 . 1 .     L o s s   o f   info rm a t io n   T h e  lo s s   o f   i n f o r m atio n   is   u s ed   to   g u ar a n tee  t h at  t h e  r es u lta n t  p ict u r e  lik e   Fi g u r e  6   h as  c o m p ar ab l e   ch ar ac ter is tic s   to   th e  u n d er l y i n g   i m a g e  in   t h e  u p p er   lay er s .   T h is   is   elab o r ated   in   ( 5 ) .      ( , , ) = 1 2 ∑ ( , − , ) 2 ,   ( 5 )           Fig u r e  6 .   C o m p ar ab le  ch ar ac ter is tics   to   th e  u n d er l y i n g   i m a g e  in   th e  u p p er   la y er s       4 . 2 .     G ra m - m a t ri x   T h e  s y s te m   s h o u ld   b e  in s tr u c t ed   at  th e  in ter m ed iate  lev e ls   b ec au s e  o u r   m o d el  lack s   tr ain i n g   d ata.   A  f o r m u la  t h at  ac h iev e s   o u r   o b j e ctiv es  is   t h e   g r a m   m atr ix .   St y l e  tr an s f er   in v o lv e s   ap p l y i n g   th e  s t y le  p ict u r e  as  a   “ f ilter ”   o n   t h e  co n te n t i m ag e.   Fig u r e  7   s h o w s   th at   i f   an   ite m   in   t h e  Gr a m - m atr ix   h a s   a  v al u e  clo s e  to   ze r o ,   it  s i g n if ies  t h at  th e  t w o   ch ar ac ter is tic s   in   t h e  g i v e n   l a y er   d o   n o t  s i m u lta n eo u s l y   a ctiv ate  f o r   th e  s t y le - i m ag e.   I f   an   ele m e n t  i n   th e   Gr a m - m atr i x   h as   a  n o te w o r t h y   v alu e,   it  s ig n i f ies   th a t  t h e  t w o   c h ar ac ter is tic s   d o   ac tiv a te  co n cu r r en tl y   f o r   t h e  p r o v id ed   s t y le - i m ag e.   T h is   en ab les  to   g e n er ate  a  m i x ed - i m a g e,   w h ich   d u p licates   th e   ac ti v a tio n   p atter n   o f   t h e   s t y le - i m a g e.   Af ter w ar d s ,   ea ch   ite m   i n   t h e  Gr a m   m atr i x   G  m a y   b e  r ep r esen ted   b y   ( 6 )   if   t h e  f ea tu r e  m ap   is   a   m atr i x   F.     , = ∑   , ,   ( 6 )     l is n u m b er   o f   la y er s ,   G  is   g r a m   m a tr ix ,   ,   is   o r ig in al  m atr i x ,   ,   is   tr an s p o s i n g   m atr i x .             Fig u r e  7 .   L in k   co d e     Evaluation Warning : The document was created with Spire.PDF for Python.