TELKOM NIKA , Vol. 11, No. 6, June 20 13, pp. 3242  ~   3 250   e-ISSN: 2087 -278X           3242      Re cei v ed  Jan uary 18, 201 3 ;  Revi sed Ap ril 7, 2013; Accepte d  April 2 2 , 2013   Monte-Carlo SURE for Choosing Regularization  Parameters in Image Deblurring      Yubing Han * ,  Kelan Wan g , Mengna X u   Schoo l of Elect r onic a nd Optic a l Eng i ne eri ng,  Nanj i ng U n ive r sit y  of Scie nce  and T e chnol o g y , N anj ing,  Chin a, 21 009 4   *Corres p o ndi n g  author, e-ma i l : han yb @mai l.njust.ed u .cn        A b st r a ct   Para meter ch oi ce is crucia l to regu lari z a t i on- base d  i m ag e d ebl urrin g . In this paper, a Mo n t e Carl o   meth od  is  use d  to a ppr oxi m a t e the  opti m a l   regu lari z a t i on   para m eter i n  t he s ense  of St ein ’ s  u nbi ase d   risk  estimate (SUR E) w h ich has  b een  app li ed to  imag e de bl urr i ng. T he pr opo sed a l gor ith m  i s  suitab le for th e   exact de blurr i n g  functio n s as  w e ll as  thos e of not be ing  e x presse d an al yt ically. We ju stify our clai ms b y   prese n ting  ex p e ri ment al r e sul t s for SURE-b a s ed  opti m i z at io n w i th tw o diffe rent re gul ari z a t ion  al gorith m s   of  T i khon ov a nd t o tal var i ati on r egu lari z a t i o n . Experi m ent  res u lts show  the  v a lid ity of the  pr opos ed  alg o rit h m,   w h ich has si mi l a r perfor m a n ce  w i th the mini mum MSE.      Ke y w ords : Mo nte-Carl o, Stei n ’ s un bias ed ri sk estimat e  (SURE ), imag e d ebl urrin, T i kho nov reg u lar i z a ti on,  total variation      Copy right  ©  2013 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1. Introduc tion  Image d eblu r ring i s  ve ry  common  in im age  pro c e s si ng field.  Ho wever, ima ge  d eblurrin g   is a  ill-p o sed i n verse p r o b le m. The  co nce p t of ill- p o sed  pro b lem s   go es  ba ck to  Hadama r d  in t h e   begin n ing  of  this  centu r y [1]. Had a ma rd e s sentially define d  a  p r oble m  to b e  ill-po se d if t h e   solutio n  is not  unique o r  it is not contin u ous fun c tion  of the data, if  an arbi t r arily small  pe rturation   of the data can cau s e a n  arbitra r ily large pertu r bati on of the solution. A popular strategy for  solving inve rse pro b lem s  is to use regul arizati on te ch nique s. Re gu larization met hod is  a useful  strategy  whi c h ca n  stabili ze the p r obl e m  and to  obt ain a  useful  and  stable  solution. However,  w h en  a p p l ying  th is  me th od , th e  us e r  is fa c e d w i th t he difficult ta sk of adj ustin g  re gula r ization   para m eter to  obtain be st p e rform a n c e.   Gene rally, the effect of recon s tru c ted i m age is m e a s ured by mini mizing m ean  squ a re d  error  (MSE),  as  we  all  know, th e MS E depe nd s o n  the o r igin al  sign al  whi c h  is g ene rally  is   unavailabl e o r  un kn own a  prio ri, a  pra c tical  app ro a c h i s  to  repl ace  the true  MSE by so me  estimate  in t he  sen s e  of  Stein’s  unbia s ed  ri sk e s ti mate (S URE), whi c h  de pe nds on  the  gi ven  data and pro v ides a mean  for unbia s ed  risk estim a te  of the true MSE [2, 3].  In rece nt years, the  SURE criteri o n has  bee n e m ployed in v a riety of  den osin g proble m s for  cho o si ng re gula r ization  para m eters, i n  that  ca se   of  den osi ng  algorith m s a r e not  bein g   expre s sed  a nalytically. It  has  been  dem on strated that M onte  Carl o m e thod i s  p r a c t i cabl e in  cal c ulation of S U RE [4]. Ho we ver,  its application  is not limited to denosin g ca se. In  this pape r, we ex tend the SURE method t o  a   much b r o ade r cla ss  of  pro b lems.   This p ape r i s  organi ze d as follo ws. I n   se ction 2,  we introdu ce  the image  degrade d  model an d regula r ization  method. Section  3 de scribes g r adi ent  descent me thod and im age  recon s tru c tio n  by a n  it erative al go rithm ba sed  on Ti kh on ov and  tota l variation  (TV)   regul ari z ation .  In sectio n  4, we  exten d   Mo nte-Ca rlo SURE te chniqu e to i m age  debl urri ng  probl em s. In se ction  5, we p r e s e n t experim ent al  re sults  and  demo n strate  nume r ically that   SURE,  comp uted u s in g t he Mo nte-Ca rlo  strate gy , faithfully app roa c h th e true MSE  cu rve.  Finally the co nclu sio n  is gi ven in se ction  6.      2. Problem   Formulation   It is  well  kn o w n th at  sign al s a r e  inevitab ly  deg rad ed  d u ring  a c q u isiti on, tra n smi ssion a n d   stora ge p r o c e ss. In mo st case s, there a r e two  kin d s of  degra ded fa ctors, one i s  the determi nisti c   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Monte-Ca rlo SURE  for Ch oosi ng  Regul arization Param e ters in Im age Deblu rrin g  (Yubin g  Ha n)  3243 factors, such  as the  defe c ts of  cam e ra itse lf, the  defocus  blur,  the motion  blur, an d th e   atmosp he ric  disturban ce s,  whi c h a r e m a inly ca used  by image  acquisitio n  sy stem, the othe r is  rand om fa cto r s,  su ch a s   p hotoele c tri c  n o ise,  cha nnel  noise an d  so on. In g ene ral, we a s su me   the noise follows a certain probability dist ribution, such as Ga ussi an distri bution.  Let 2 1 L L R X  be  the  i deal  discrete  sig nal  of a  co ntinuo us  scene.  2 1 M M R Y  is  the   observed  deg rade d  signal.  2 2 1 1 M ,L M L  are th e  sizes of the o r igin al and  ob se rved si gnal ,   respe c tively.  The deg ra de d model of the gene ral si g nal model i s  given by:    E HX Y                                                                                            (1)    whe r e  C) N(0, ~ E  is zero-me an  white  Gau ssi an n o ise  with a v a rian ce  of C,  H is d e termi n istic  part of  de gra ded model,  whi c h  i s  assumed   a s   a   li near o perator, and  re pre s ents any kin d s of  distortio n , blu rrin g  and d o wnsam p le in th e pro c e ss of i m age a c qui si tion.  In the variational fram ewo r k [5, 6], the recon s tru c tio n  sign al is o b tained in  ge neral  by  minimizi ng a  co st function al of:      X R HX Y 2 1 X 2 2 J                                                                                    (2)    whe r e 2 denote s  the Eu clide an no rm,  2 2 HX Y 2 1 is the data fid e li ty term that measures th e  con s i s ten c y of X to the given data Y, and  X R  is a suitable re gula r i z ation functio n  that often   penali z ed  the  lack of smo o thne ss i n  X. The dete r mi nation of reg u lari zation  pa ramete r λ  is an  importa nt task and the mai n  goal  in this  work is to opti m ize  λ  given Y [6-9].      3. Image Rec onstr uction  based on  Re gulariza t ion   Whe n  the lin ear op erator  H is a blu r  or conv olutio n operator, re constructio n  the origin al  sign al X from  the ob servat ion is  calle d  deconvol utio n or d eblu rri ng. Re gula r ization metho d  is  cru c ial to ima ge deblu rri ng  processin g . There are tw o issu es to b e  con s ide r e d  in regul ari z ati on,  the type of  re gulari z atio n t e rm  and  the  sele ction   of  regula r ization  para m eter,  th ey all h a ve  cl ose  con n e c tion  with the effe ct of the  re store d  ima g e .  In this pa per,  we mai n ly discu ss  two   regul ari z ation  methods: Ti khonov re gul a r ization a nd T V  regula r ization     3.1. Tikhono v  Regulariza t ion   Gene rally we can   choo se  regula r ization function   a s dxdy R  X X , and let  2 s s , where  X  is the gra d ient of X, then we h a ve  dxdy R 2 Ω  X X , which  is Tikhon ov  regul ari z ation  [10, 11].     dxdy λ Y J 2  X HX 2 1 X 2 2                                                                          (3)    The Euler-L a g ran ge eq uati on of (3) i s :    Y H X HX H T T 2                                                                                     (4)    Whe r e   is the Lapla c ian o p e rato r.                3.2. Total Variation (TV)  Regula r iza t ion      Whe n  s s  , then  regula r i z atio n function b e com e s dxdy R Ω  X X , this is  total  variation (TV )  regula r i z atio n [12].      Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA   Vol. 11, No. 6, June 20 13 :  3242 – 3 250   3244  dxdy λ Y J  X HX 2 1 X 2 2                                                                        (5)    The Euler-L a g ran ge eq uati on of (5) i s :    Y H X X X HX H T T div                                                                          (6)    If 0 X , the diffus i on c oeffic i ent   2 2 1 1 y x X X X . That means,  in the flat region  of image, a d d ing a  great  smo o thing  effect will le ad to a  bad  stairca s e  effect. In ord e r  to  overcome thi s  phe nome n o n , we introd u c e a pa ram e ter , s o :      dxdy J X HX Y X X X X 2 2 2 1 min arg min arg ˆ                                  (7)    And the co rre spo ndin g  Euler-Lag ran ge  equatio n is:     Y H X X X HX H T T div                                                                         (8)    Whe r e 2 2 2 y x u u u .    3.3. Gradient Desc ent Me thod      Large-scale   equation  problem  i s   ine v it able in image resto r ati on processin g . The   dimen s ion  of some  matrix i s  too la rge, fo r  exampl e, if the si ze  of a g i ven image i s  256 256, a n d   then the  si ze  of ope rato r  H is 25 6 2 25 6 2 . The r efore, som e  di re ct metho d s such  as Ga uss  elimination  m e thod a nd L U  de co mpo s i t ion ca n n o t be ap plied i n  pra c tice be cause la rge m a trix  can  not b e   stored i n  o u r  comp uter. T h e iterat ive  al gorithm s  can  avoid the  d e com p o s ition  of  matrix and th e amou nt of  stora ge i s  le ss than th at  of dire ct metho d s. In this  pa per,  we resto r e   ima g e  b y  gr ad ie n t  de sc en t me th od   w h ich  is a ty pe of iterative  meth od.  G r adi ent desce nt  is al so  kno w n a s   ste epe st desce n t  method. In this iterat ive algorithm, the i n verse op erat ion of H can  be   avoided and some   pri o r knowl edge   of the  sol u tion c an be  effecti v ely combi n e d  in the ite r at ive   p r oc es s .   A simple form  of the gradie n t descent m e thod is give n by:     k k k J τ X X X 1                                                                                          (9)    Whe r e k i s  the numbe r of iteration.  is th e iterative ste p , which i s  a small en oug h  to ensure th e   conve r ge nce  of iterative  algorith m .  k X is  the  es timate of  X  after  k ti mes iterative  cal c ul ation  and k J X  is the  negative gradi e n t of  X J  at  k X .      k k J J X X X X X                                                                             (10)    For the regul arization fun c tion (2),  the n egative gra d i ent is given b y :      X X HX H Y H X X L J T T                                                                  (11)  Whe r e   X L is the differential op erato r  of  X R , iterative algorith m  is as follo ws:       1 1 1 1 1 k k k T T k k k L J τ k X X HX H Y H X X X X X X X                                       (12)    Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Monte-Ca rlo SURE  for Ch oosi ng  Regul arization Param e ters in Im age Deblu rrin g  (Yubin g  Ha n)  3245 4. Regulari z ation Param e ter  Determination   4.1. Choosin g Regur ariza t ion Parame ter Bas e d On  The Minimum SURE  For the d e g r a ded mo del, th e pro bability den sity  of the observed Y  can  be exp r e s sed a s   the expone ntial distrib u tion  [2].        X Y X Y X Y g exp b f T                                                                     (13)    Whe r e Y C Y C Y 1 T n exp ) det( 2 π 1 ) b( 2 1 ) ( , Y C H (Y) 1 T φ , HX C H X 2 1 (X) 1 T T g . Ap pare n tly, a  sufficie n t statistics for esti mating X is given by ) φ ( Y u . Therefore, any re aso nabl e of Y will be   a fun c tion  onl y of u. Mo re  spe c ifically, from the  Rao-Blac kwell theorem [14], it follows  that if  λ X ˆ is an estimat e  of X which  is not a  function only of u, then the estimate  ) u X E( λ ˆ  has  lesser o r   equal MSE than that of u X λ λ h ˆ , therefo r e, in the seq uel, we only co n s ide r  metho d s  that  depe nd on th e data via u.  Whe r e   u λ h is a function of u that depend s o n  the obse r va tions Y and   t he sub s cri p t    denote s  t hat the esti mation is  rel a ted to reg u l a rization pa rameters. For the   es timate u X λ λ h ˆ , MSE is defined a s :      2 λ 2 2 λ 2 ( h E N 1 E N 1 u) X X X ˆ                                                             (14)     2 λ 2 λ 2 λ 2 λ h N 1 E N 1 E λ u X X X argmin ˆ argmin                                   (15)    The sufficient  statistics u li es in the  ran ge space ) (H T , s o   u X λ λ h ˆ  a l s o  be lo ngs  to this spa c e .  Denote by   H HH H P T T the orthog on al proje c tion  onto , where  H is ra nk- deficie nt. Then,    2 2 2 2 λ 2 E E E E E P)X (I X P PX X P) (I P)X (I X P PX X X λ ˆ ˆ ˆ ˆ                 (16)    If  λ X ˆ  lies in the  space , then  0 ˆ λ X P) (I .and  P)X (I is con s ta nt and in dep ende nt  of  λ X ˆ . T h er e f or e, in  th is   c a s e , it is  suffic i ent  to obtain the es timate of t he firs t term f o r  optimiz ing λ X ˆ .  Next we co n s ide r  the sp e c ific Ga ussia n   distrib u tion  expressio n . Suppo se H  has the  sing ular valu e decompo sit i on  T Q U H for some  unitary matri c es U a nd Q.  Let H ha s ra nk r  so that   is a  m n diago nal mat r ix wh ose  the  first r  diag on al eleme n ts  are  equal  to 0 2 i .  Proje c tion ma trix is  T VV P , whe r e  V equal s to the first  r colu mns of Q, a n d  let  X V X' T . The  s u ffic i ent s t atis tic  for es timating  ' X  is  u V Y C H V u' T 1 T T , and  ' u is a Ga ussian rand o m   vector with a  mean  ' u and a covari an ce  HV C H V C' 1 T T .  Usi ng the SVD de comp osi t ion of H,  we have:     r 1 T r 1 T U] C Λ [U C' X' U] C Λ [U μ '                                                                               (17)  Whe r e  Λ is a  r r diagon al mat r ix with  diago na l eleme n ts  0 σ 2 i  a nd  r [A] is the  r r  top-left   prin ciple bl ock of size r of the matrix A. Since  0 C ,  C' is invertible. Therefore:      ' T X g u' X' u' X' | u' exp q f ) ( ) (                                                                 (18)    Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA   Vol. 11, No. 6, June 20 13 :  3242 – 3 250   3246 Whe r e  ' u  is the sufficient statistic of  ' X ,  ) | ( X' u' f  is exponential  distributio n,  X' U] C Λ [U X' X' r 1 T T 2 1 ) ( g ,  } ) 2 / 1 ( exp{ ) ' det( ) 2 ( 1 ) ( u' C' u' C u' 1 T n q .  In order to estimate 2 X P PX E λ ˆ , we must co mpute:     } VX' X E{ X} VV X E{ PX} X E{ PX} P X E{ T λ T T λ T λ T T λ ˆ ˆ ˆ ˆ                                          (19)    Sinc e  ) (Vu u) X ' h ( h λ λ λ ˆ  an d  ) X' | (u' f  is ex pone ntial fa milies  dist ri bution. L e t  ) ' (V V ) ' ( T u h u k  is the estima tion of λ X ˆ , then:     ' q h E h Tr E ' ' q h E h Tr E q ' h E h Tr E q k E k Tr E k E h E λ λ T λ λ λ λ u ) (u' (u)V u (u) P u ) (u (u)V u (u) VV u' ) (u' )V (Vu u' ) (Vu' V u' ) (u' ) (u' u' ) u' )X' (u' )VX' (Vu' T λ T T T T T T T λ T λ ln                               ln                               ln                               ln (                                                          (20)    So the unbia s ed estimate o f  the MSE  X X E ˆ P P  ca n be obtain e d  by [2]:     ML λ λ h h Tr h h S X u u (u) P (u) P PX (u) T T λ ˆ 2 - 2 ) ( 2 2                                              (21)    Whe r e  Y C H H) C (H X 1 T 1 T ML ˆ is the  maximum li kelih ood  e s t i mation, and  the  ) ( den otes t h e   Moore-Pe nro s e p s eu do in verse.      4.2. Monte - Carlo Realization Of  The Unbiased  Ris k  Estimation   The cru c ial st ep for evalu a t ing the SURE is the com putation of u h Tr T ) ( u P ; h o wever,  in most  re con s tru c tion al go rithms  (e spe c ially iterative algorith m ),  (u) h is not available  explicitly,   so  we u s e   Monte-Ca rlo  techni que to  app roximate  the tra c e. T o  co mpute u h Tr T ) ( u P , we  introduc e  the  following theorem at firs t.   Theorem  1 [3]: let  N b R  be a  ze ro-m ean  i.i.d. ran dom ve ct or. Assum e   (u) h  has th e   se con d -o rd er Taylor expan sion, so we h a ve    ) ( ) ( lim ) ( 0 u P b u P b u u P b h ε h E h Tr T T                                              (22)  Proof: The se con d -o rd er T a ylor expan si on of  ) ( b u ε h can b e  written a s :      h h e J h h 2 ) ( ) ( ) ( b u u b u                                                                 (23)    Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Monte-Ca rlo SURE  for Ch oosi ng  Regul arization Param e ters in Im age Deblu rrin g  (Yubin g  Ha n)  3247 Whe r e  ) ( u h J  is the Ja cobi an  matrix of  (u) h  evaluated at Y  and  h e represe n ts the e rro r  vector. In this case, the co mpone nts a r e  bound ed in the expe ctatio n sen s e, then :       2 2 )} ( { ) ( C u P P b b u P u ε b u P b b h h T h T λ λ T b J tr e E J b E h h b E              (24)    Whe r e   C e b E h T b P be cau s e b  ha s finit e  high er-orde r  mom ents  a nd the  com p onent s of  h e  are bou nde d  in the expect a tion se nse. P is proje c tio n  matrix. Wh en  0 , we have:        u u P u P u b u P b b ) ( h Tr J tr ( h ) ε ( h E T λ h λ λ T )} ( { ) 1 lim 0                                        (25)    So  ) ( ) ( lim ) ( 0 u P b u P b u u P b λ T T h ε h E h Tr . Acco rdi ng to this t heorem, we  prop ose the followin g  algo rithm to appro x imate  u (u) P λ h Tr N 2 1 .  Step 1: generate a ze ro-m ean  i.i.d rand om vector  N R b  with unit varianc e .   Step 2: evaluate (u) h .  Step 3: let  b u ε z , and evaluate (z) λ h .  Step 4: comp ute  (u) (z) P λ λ T h h b N 2 1 and u (u) P h Tr N 2 1 .      5. Experimental Re sults   In this  se ctio n, the  stand a r d  cam e ra ma n an d p eppe rs ima g e s   with si ze  of 2 5 6 × 25 6 a r e  adopte d  as te st image s. In degradatio n, 3×3  Gau s sia n  ke rnel  with  a varian ce of  1 is u s ed to b l ur  the ori g inal i m age s, an d then the  white  Gau ssi an  noi se  with a  stan dard  deviatio n  of 0.1 i s  ad de d   to the blurred  image.   Tikho nov reg u lari zation  a nd TV re gul ariz ation a r e  adopte d  in  deblu rri ng al gorithm.  Figure 1 ( a )   and Fi gu re  3(a )  a r e th e  origi nal im a ges;  Figu re  1(b )  a nd Fi g u re  3(b)  are  the   degrade d im age s; Figu re  1(c)  and F i gure  3(c)  a r e the  re sto r ed im age s  usin g Ti khon ov  regul ari z ation  with  optimi z ed p a ra meters; Fig u re  1 ( d )  a nd Fi gu re  3(d )  a r e  the  restored  imag es  usin g TV re gulari z atio n  with optimi z e d  paramet e r s. From the v i sual  persp ective, the image   resto r e d  by  T i kho nov  regul arization  can  not  pre s e r ve  the  detail s  o f  the e dge s  o f  image,  whil e  the image re store d  by TV regula r izatio n is mu ch b e tter in keepi ng details of  image, and the  edge is m o re visible co mpared to Tikho nov re g u l arization. Th e pea k sign al-to-noi se ratio  (PSNR) val u es  are li sted  in Ta ble 1   where  the  outp u t PSNR ba sed o n  true M SE and  Mont e- Carl o SURE resp ectively a r e given a nd  the PS NR b a s ed o n  the s e  method a r e  si milar. Figu re 2   and  Figu re  4  are  the S U RE and  MSE curves of  cam e ram an and  pepp ers re sp ectively.  We  use   Monte- Ca rlo  SURE to sele ct reg u la rizatio n  para m eter in stea d of MSE  whi c h ha s b een   descri bed i n   se ction 4. It can  be  see n  that t he cu rves of SURE  and MSE o b tained  by two   recon s tru c tio n  algo rithm s  are ve ry cl ose.  No w we co mpa r e t he regula r i z a t ion pa ramet e r  λ   sele cted by SURE an d MSE. For came raman imag e in Tikho nov re gulari z atio n, MSE and SURE   rea c h the  minimum al most at the  same p o int   26 . 0 SURE MSE . In TV re gulari z atio n,  036 . 0 SURE MSE . While  for  pe ppers i m ag e,  the pa ram e te r  λ  sele cted  b y  MSE and S URE  ha s   a small  gap,  whe n  the Ti khonov regul a r izatio n is   used, the optim um re gula r ization pa ram e ters  are   40 . 0 MSE  and  35 . 0 SURE . For the  T V  reg u lari zat i on, the  opti m um  reg u larization   para m eters a r e  046 . 0 MSE  and  041 . 0 SURE  resp ectively. Fro m  these  resul t s, we can se e th e   effectivene ss of the Mo nte- Carl o SURE alg o rith m and it is a good way to select  the   regul ari z ation  param eter in  image debl urring.       Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA   Vol. 11, No. 6, June 20 13 :  3242 – 3 250   3248 6. Conclusio n   In this  pap er,  we  develo p e d  the  unbia s ed e s timate  of the MSE i n  imag e d ebl urri ng  by  extending  th e SURE met hod,  whi c h i s  used to   cho o se  the  opti m al regul ari z ation p a ra me ter .   Comp utation  and  appli c ati on of  SURE  need  to eval u a te the  tra c e,  ho weve r, the  co mputatio n  of  the tra c e m a y turn out to  be no ntrivial,  esp e ci ally  wh en  the deblu r ring re con s truction algo rithm  doe s not hav e explicit ana lytical form. In this  pap er,  we u s e the  Monte-Ca rlo  method to so lve   this p r o b lem.  The  co ntributi on of  ou r  wo rk i s  th at the   Monte-Ca rlo   SURE  metho d  is exten ded  to   the appli c atio n of image d ebluui ng. Th e advantag e of  this metho d  for sel e ctin g parameters is  that the MSE can be e s ti mated pu rely  from t he me asu r ed d a ta  without ne ed  the kno w le dg e  o f   original image. Experiment result s sho w  that th e o p timal pa ram e ter  obtaine d  by Mo nte-Carlo  SURE is p e rf ectly agre ed  with the true  minimum val ue of MSE.        Figure 1. Visual Com p a r ison of SURE-optimiz e d  De blurred  Re sul t s for Cam e ra man. (a )  Origin al imag e. (b) Degrad ed image.  (c) Rest o r ed im age by usi ng  Tikho bov re g u lari zation.  (d)  Re store d  image by usi n g TV regula r i z ation.       0 0. 01 0. 02 0. 03 0. 04 0. 05 0. 06 0. 07 0. 08 0. 09 0. 1 0 0. 005 0. 01 0. 015 0. 02 0. 025 0. 03 MS E     Tr u e M S E SU R E 0 0. 05 0. 1 0. 15 0. 2 0. 25 0. 3 0. 35 0. 004 0. 006 0. 008 0. 0 1 0. 012 0. 014 0. 016 0. 018 0. 0 2 MS E     Tr u e M S E SU R E   Figure 2.  MSE( λ ) and SURE( λ ) for  Ca meram an. (a )  MSE( λ ) a nd  SURE( λ ) ba sed on  Tikho nov Re gulari z atio n. (b) MSE( λ ) an d SURE( λ ) b a se d on TV Regula r ization.   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   e-ISSN:  2087 -278X       Monte-Ca rlo SURE  for Ch oosi ng  Regul arization Param e ters in Im age Deblu rrin g  (Yubin g  Ha n)  3249       Figure 3. Visual Com p a r ison of SURE-opt imize d  De blurred  Re sul t s for Peppe rs.  (a)Origi nal im age. (b ) De graded ima ge. (c )  Rest ore d  image by usi n g Tikho nov  regul ari z ation .  (d) Re sto r ed  image by usi ng TV regul arization.     0 0. 01 0. 02 0. 03 0. 04 0. 05 0. 0 6 0. 0 7 0. 08 0. 09 0. 1 0 0 . 005 0. 01 0 . 015 0. 02 0 . 025 0. 03 MS E     SU R E Tr u e M S E 0 0. 0 5 0. 1 0. 15 0. 2 0. 2 5 0. 3 0. 3 5 0. 4 0. 45 0. 5 0. 0 0 2 0. 0 0 4 0. 0 0 6 0. 0 0 8 0. 0 1 0. 0 1 2 0. 0 1 4 0. 0 1 6 0. 0 1 8 MS E     T r ueM S E S URE   Figure 4.  MSE( λ ) and SURE( λ ) for  ca meram an for  pepp ers. (a)  MSE( λ ) and  SURE( λ ) ba sed  on Tikh onov regula r ization.  (b) MSE( λ ) a nd SURE ( λ )  based on TV  regul ari z ation .       Table 1. Co m pari s on of M SE and SURE in Terms of  Output PSNR (dB)  Regularization method   Image  Input  PSNR   Output PSN R ba sed  on MSE  Output PSN R ba sed  on SURE   Tikhonov  Camerama n  19.7608   23.7006   23.7006   Peppers  19.9057   26.0399   26.0122   TV  Camerama n  19.7608   24.9044   24.9044   Peppers  19.9057   27.8045   27.7497     Evaluation Warning : The document was created with Spire.PDF for Python.
                               e-ISSN: 2 087-278X   TELKOM NIKA   Vol. 11, No. 6, June 20 13 :  3242 – 3 250   3250 Ackn o w l e dg ement   This wo rk  i s  partially  supp orted by  the Na tion al Natural S c ien c e  Found ation o f  Chin a   (112 730 17).       Referen ces   [1]  Had a mard J. L e ctures o n  on  Cauc h y ' s  Pro b l e m in  i n  Li near  Partial Differ e ntial Eq uati ons . Ne w   Hav e n :   Yale U n ivers i t y  Press; 1923.   [2]  Eldar YC. Gen e raliz ed SUR E  for Expon enti a l  Families: App l icatio ns to Reg u lariz a tio n .  IEEE Trans. on   Sign al Process i ng . 20 09; 57( 2 ) : 471-48 1.  [3]  Gir y es  R, E l a d  M, El dar  Y C . T he proj ec ted  GSURE  for a u tomatic   param eter tu ni ng  in  iterativ e   shrink age met hods.  App l i ed  and C o mput ati ona l Har m o n ic  Analys is . 201 1; 30(3): 407- 4 2 2 .  [4]  Rama ni S, Bl u  T ,  Unser M. Monte-C a rlo S u r e : A Bl ack-Box Optimization of R egulariz a tion Param e ter s   for General D e noisi ng Al gorit hms.  IEEE Tra n sactions  on I m age Proc essing . 200 8; 17(9) : 1540-1 5 5 4 .  [5] Karl  WC.  Reg u lari z a tio n  in i m a ge restor ati on an d recons truction . in Ha ndb ook of Image an d Vide o   process i ng, A. Bovik, Ed., 2nd  ed. Ne w  York:  Elsevier. 20 05 : 183–2 02.   [6]  Park SC, Park  MK, Kang M G. Super-reso l u tion  imag e re constructio n : a  technic a l  ove r vie w .  IEEE   Sign al Process i ng Ma ga z i n e .  200 3; 20(3): 21 –36.    [7]  Girard DA. T he fast Monte-Ca rlo  Cross-V a lid atio n a n d   CL pr oce dures : comments, n e w  res u lts  an d   app licati on to i m age rec o ver y  probl ems.  Com p ut. Statist. ,  199 5; 10: 205 – 231.   [8]  Golub  GH, He ath M, W a h b a   G. General ize d  cross-val i d a tio n  as  a m e tho d  for ch oosi n g  a  go od r i d g e   param eter.  T e chno metrics . 19 79; 21: 21 5-22 3.  [9]  Rice J. Choic e  of smoothing  param eter in d e conv oluti on p r obl ems.  Cont empor ary Math. , 1986; 59:   137 –1 51.   [10]  T i khonov  AN, Goncharsk y A V ,  St epan ov V V  et al. N u mer i cal M e tho d s for the S o luti on  of Ill-Pos e d   Probl ems. Klu w e r  Acad emic  Publ ishers. 19 95.   [11]  T i khonov AN.  Reg u lar i zatio n  of incorr ectl y pose d  pr obl e m s.  Soviet athematical Dok l ady . 196 3; 4:   162 4-16 27.   [12] Youn g  M.  T he T e chnic a l W r iter ’ s  Ha ndb ook .  Mill Vall e y , C A : Universit y  Sc i ence; 19 89.   [13]    Rudi n LI, Osher S, F a temi E. Nonli near  tot a l variati on b a s ed no ise rem o val a l gor ithm s.  Physica D:  N o n l i n e a r  Phen om en a . 19 92;  60(1): 259- 26 8.  [14]  Sny m an JA. Practical Mathematical Optimizati on: An Intr oduction to Basi c Optimization T heor y  and  Classic a l a nd  Ne w  Grad ient- B ased Al gorit h m s. Springer P ublis hi ng; 20 05 .    [15]  Ka y S M.  F und amenta l s  of Statistical  Sig n a l   Proce ssi ng: Es timation  T heory, U p p e r S add l e  R i ver, N J :   Prentice H a ll, Inc.; 1993.     Evaluation Warning : The document was created with Spire.PDF for Python.