TELKOM NIKA , Vol.14, No .1, March 2 0 1 6 , pp. 47~5 5   ISSN: 1693-6 930,  accredited  A  by DIKTI, De cree No: 58/DIK T I/Kep/2013   DOI :  10.12928/TELKOMNIKA.v14i1.2634    47     Re cei v ed Se ptem ber 3, 2015; Re vi sed  De cem ber 3,  2015; Accept ed Ja nua ry 2,  2016   Demosaicing o f  Color Images by Accurate Estimation  of Luminance      V.N.V. Sat y a   Prakash* 1 , K. Sat y a Pra sad 2 , T. Ja y a  Chandr a Prasad 3   1,3 Dept. of ECE, Rajeev Gan d h i Memori al co l l eg e of Engi ne erin g and T e ch nol og y (RGMC E T ) ,    Nandy al, A.P.,  India  2 Dept. of ECE,  Ja w a harl a l Ne hru T e chnol ogi cal Univ ersit y , Kakin ada (JNT UK),   Kakin ada, A.P. India   *Corres p o ndi n g  author, em ail :  prakashvnv @ g mail.c o m 1 ,  p rasad _ko dati@ ya ho o.co.in 2 ,  jp.talar i @gm a il .com 3       A b st r a ct   Digita l  c a mera s acq u ire  col o r i m ag es  usin g a  sin g le  se n s or w i th C o lor  filter Arrays.   A sin g l e   color co mpon e n t per pixe l is  acquir ed us in g color  filter a rrays and th e remain in g tw o compon ents  are   obtai ne d usi n g de mosa icin g tech niq ues.  T he co nv e n ti ona l d e m osa i cing tec h n i qu es existe nt i n duce   artifacts in res u ltant i m a ges eff e cting r e constr ucti on  qua lity. T o  overco me this dr aw back a  freque ncy b a s e d   de mos a ici ng t e chn iqu e  is pr opos ed. T h e l u min ance   a n d   chro mi na nce compo nents e x tracted  fro m  th e   freque ncy d o m ain  of the  ima ge ar e i n terp ol ated to  pro duc e inter m edi ate  de mos a ic ed i m a ges. A  nov el   Neur al Netw ork Based Ima g e  Reco nstructi on Alg o rith m is  appli ed to the  intermedi ate d e mosa iced i m a ge  to obtai n res u ltant d e mosa iced i m ages.  T he result s p r esente d  in t he pa per pr o v e the pro p o s ed   de mos a ici ng te chni que  exhi bit s  the best performanc e  an d is appl icab le to  a w i de variety  of ima ges.     Ke y w ords : De mos a ici ng, freq uency, col o r filt er array, lu mi n ance, chro min ance     Copy right  ©  2016 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1. Introduc tion  A color im ag e is u s ually  comp osed of  three colo r plane s an d, accordingly,  three  sep arate  sen s ors a r e re qu ired for a  ca mera to mea s ure an ima g e. To redu ce  the cost, ma ny  came ra s u s e  a sin g le s e n s or  cov e re d  wit h  a  co lo r filter array (CFA). The mo st com mon  CFA  use d  i s  the  Bayer  CFA  [1, 2], whi c h i s   sh own  in Fig u re  1. In the  CFA-ba sed  se nso r   config uratio n, only one col o r is m e a s ured at ea ch pi xel and the  missi ng two colo r value s   are   estimated by  interpol ation. The estim a tio n  pr o c e ss i s  known as  colo r demo s ai cin g.               Figure 1.  Bayer CFA Pattern alo ng wit h  its red, gree n and blu e  sa mples      Demo sai c in g  probl em i s   a  spe c ial  case  of the im age   recon s tru c tio n. The  mo st  straig ht  forwa r d  app roach for solving the  dem o s ai cing  pr obl em in  col or i m age i s  to  a pply one  of t he  stand ard re constructio n method s  for gray  sc al e i m age s on  e ach  ch annel  sep arately.  Many  method s ha ve been p r opo sed fo r singl e ch ann el re con s tru c tion such  as Interpolat ion,  R e gu la r i z a tion  a n d  In ve rs e F ilte r ing .  R e c o ns tr uc ting   each  chan nel  se parately produ ce s a r tifacts.   Better re con s tru c tion of t he imag e ca n be o b taine d  by takin g  into co nsi deration the  cro ss  cha nnel  correlation. Seve ral m e thod s  have b een   sugge sted   to solve cross  chann el correl ation   demo s ai cing  probl em. Existing ap proa ches fo r inte r cha nnel co rrelation s   improve  perfo rma nce   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 1, March 2 016 :  47 – 55   48   over in dep en dent  cha nnel  re con s tructi on. But  still there i s  a   possibility for improvemen t.  Template  mat c hin g, filterin g and  lumin a nce  ba sed  ap proa ch es are  basi s  fo r vari ous te ch niqu es,  but they are  limited in the ca pability  of reco ns t r u c tion with dif f erent spatial  and chrom a tic   cha r a c teri stics and results  in some a r tifa cts in the reconstructe d im age s.  Demo sai c in g  techniq ue s  can b e bro ad l y classified as freq uen cy  domain [4-7]  base d  and  spatial  d o main  ba sed  [8-10]. A d e t ailed survey  of the vari e d  dem osaici n g  techniqu es is  pre s ente d  in   [3] and [1 1].  Based  on  the  literatu r e  re v iewe d  it i s  evi dent t hat  t he existing state   of  art dem osaici ng alg o rithm s  indu ce a r tifa cts in  the  re constructe d im age [3, 9], [1 1-12]. A d e tai led   repo rt o n the   types of  artifa cts  ob se rved  in de mosa ice d  ima ges i s  p r esented  in  [1 3]. To mi nimi ze  occurre nces  of artifact s in  demo s ai ced i m age s,  the u s e  kno w le dg e de rived fro m  of local re gio n   or local patches [14 - 17] to interpol ate/estima te the  missi ng color compo nent s is prop osed.  An  iterative dem osai cin g  tech nique i s  e ssential to de ri ve local  kn o w led ge a nd  achi eve a c cu rate   estimation [1 8, 19]. In recent times the  adoptio n of  n eural  networks in ima ge p r oce s sing [2 0, 21]   to derive  kn o w led ge i s  a  motivating fa ctor fo r t he  a u thors of thi s   pape r. A neu ral network b a s ed   demo s ai cing  techni que p r o posed in [22]  bears the  cl ose s t simil a rit y  to the work prop osed he re.  In [22] the  ro tational inva ri ance i s  u s ed  to tr ain  the  neural n e two r ks a nd  esti mate the  missin g   color pixel.  In this pap er a freque ncy  domain b ased dem osaici ng tech niqu e  is pro po s ed.  Based   on the freq ue ncy co mpo n e n ts, lumina nce and chromi nan ce inform ation is u s ed  to represent the  image. Th e input imag e’s luminan ce  and  chro min ance  compo nents are se greg ated.  Usin g   bilinea r inte rp olation the l u minan ce a nd  three  ch romi nan ce  cha nn els a r e  com bi ned to p r o du c e  an intermedi a t e image th at exhibits e r rors o r  artifa cts.  To elimin ate the e rro rs in t he intermedi a t e   image, a neu ral network b ase d re con s truction i s   pro p ose d. Re con s tru c tion alg o r ithm is refe rred  to as Neural  Network Based Image  Re con s tru c ti on  Algorithm (NNIRA) in th e prop osed  system.  The  neu ral  netwo rks de rive lo cal  kn owle dge  fro m  the i m ag e pat che s   constructe d.  The   kno w le dge a s sist s in estim ating the missing  comp on ents.   The remai nin g pap er i s  o r gani zed  as f ollows . Th e  prop osed  system is p r e s e n ted in  se ction two. The exp e rim ental  stu d y a nd pe rforman c e  com pari s o n  of ou r p r op ose d  with  oth e r  state of a r t d emosaici ng  a l gorithm s i s   pre s ent s in  section th re e. The  con c lu si ons  and  futu re  work is di scu s sed in the la st se ction of the pap er.       2. Frequen c y  Domain N N IRA App ro ach (Prop os e d Sy stem)  NNI RA ba se d techniqu es have b een   employed  to  recon s tru c t t he ima ge  but  to the  best of ou r kn owle dge n o  a u thor h a s  attempted to   co nsid er L umin ance co mpo n ent (extra cted  in   the Freq uen cy domain) to reco nstruct th e origin al ima ge (u sing n e u r al networks).   The  step s o f  the p r opo sed ima ge  d emosaici ng t ech niqu e  co nsid erin g lu minan ce   informatio n in  the frequen cy domain are as follo ws:   1)  Image Align m ent: Align the set of image s pai rwi s e usi ng the l o w fre que ncy (lumina n ce )  informatio n of the CFA Fou r ier tra n sfo r m  images.   2) Lumina n ce/Chromi nan ce  Separ ation: Extract the luminan ce  an d ch romin a n c e info rmatio n   from ea ch  of the input im age s. Bilinea r inter polatio n is a dopte d  to combi ne t he lumin an c e   and th e three  ch romi nan ce  ch ann els  re sulting  in a n  interme diate i m age th at is  not artefa ct   free.   3)  Image Recon s tru c tion: Ne ural Network  Base d Imag e Re co nstruction Algorith m  (NNIRA ) i s   use d  for ima ge recon s tru c tion  and  re moval of a r tifacts ob se rve d  in th e inte rmediate i mag e.   Duri ng traini n g phase, the model is furni s he d with bot h the interme diate image p atche s  P for   i 1, 2,3, … . . N and the  ori gi nal pat che s   Q .After training, NNI RA will  be abl e to reconstruct   the corre s p on ding dem osai ced ima ge fo r any given  error o b servatio n.      3. Rese arch  Metho d   Based o n  the idea prese n ted  by Alleysso n et al [23].luminan ce and ch rom i nan ce   informatio n are en cod ed separately from the F ourie r spe c trum o f  a Bayer CFA image. They   sho w e d   that a  Bayer CFA image   x, y   ca n  be written a s   a su m of the  red, g r ee n, a nd blu e  colo r ch ann el s.       Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Dem o sai c in g of Color Im ag es b y  Accurate Es tim a tion of Lum inance  (V.N.V. Satya Prakash)  49     ∑  x, y T  x, y   with  T x, y 1 cos Π x 1 cos Π y 4 ⁄ re d T x, y 1 cos П x cos  Π y/2    gr een T  x, y 1 cos Π x 1 cos Π y 4 ⁄  blue       ( 1 )     The imag e  x, y  is the i th  color  cha nnel ima g e, and T x, y  is a modulatio n matrix,  whi c h is ‘1’ a t  the measu r ed po sition s of the image,  and ‘0’ else whe r e. As th ese m odulati on  function s are  a com binatio n of co si ne s, their Fou r ie r tran sform i s  a  combi nation  of Dira cs. Usi ng  the fact that  a prod uct in spatial do mai n  corr e s po nd s to a convol ution in frequ ency dom ain,  we   obtain:        u, v 2  u, v   ∗ δ u, v  δ u ,v δ u ,v δ u, v   2   ∗ δ u ,v       (2)   δ u 1 2 ,v 1 2  δ u 1 2 ,v 1 2  δ u 1 2 ,v 1 2      Whe r e Fo urie r tran sform s   are indi cate d in bold. Any color ima ge  u, v  can be represented a s  a   sum of  a scal ar representi ng its lumi na nce  α u, v  and  a le ngth thre e ve ctor  u, v  that is  called  chromin a n c e  and re presen ts oppo nent colors as b e lo w in Equation  (3)        u, v  u, v u, v  u, v  α u, v  u, v u, v  u, v        ( 3 )     Lumina n ce is defined a s   α  2  /2 , we obtai n:      u, v  u, v u, v  u, v       u, v 2 u, v u, v /2  2 u, v  u, v  u, v  u, v  u, v  u, v 2 u, v    (4)       Usi ng this  de finition, we can see that the fi rst term i n  Equation  (2 ) co rrespon d s  to the  luminan ce  sig nal  α u, v  and  the  two oth er te rm s represent th e ch romi nan ce  u, v .Because of   the modulatio n function s, the lumina nce  part appe ars in low frequ ency re gion  of the spe c trum,  and a the chrominan ce p a rt appears in  high freq uen cy region.   Usi ng  a lo w  pass filte r , th e lumi nan ce  i n formatio n from the  ima g e s i s  extra c te d In thi s   pape r, a f r eq uen cy dom ai n ap pro ach i s  u s e d, whi c h u s e s  only t he lo w frequ enci es for im age   alignme n t, which  are le ss  pron e to ali a sing. As thi s  i s  also  the p art  of the CFA F ourie r tran sfo r m  that contain s   the luminan ce informatio n, we appl y ou r algorithm di rectly on the raw CFA imag es.  Next, we  se parate th e i m age s into l uminan ce  an d ch romi nan ce u s in g a l ow p ass filte r , and  interpol ate the two se parately.  The fre que ncy domain a p p roa c h  pre s e n ted by Vand ewall e  et al [24]    is  used to alig n   Bayer  CFA i m age s  and  this  algo rithm  sele cts only t he lo w f r eq ue ncy info rmati on  sin c e thi s   part   of the  spe c trum is le ss corr upted  by  aliasi ng a nd  to get lu mi nan ce info rm ation a  pa rt of  Spectrum en codi ng is d on e as  sho w n i n Equation  (2 ), therefo r e we can  dire ctly apply alignm ent   algorith m  to the ra w CFA i m age s. First we pe rfor m pl anar  rotation  estimation, fo llowe d by pla nar  shift estimatio n . The rotation angle is est i mated by co mputing the frequ en cy con t ent  δ  of the   image a s  a function of the  angle for e a ch of the input image s.      δ   |  ρ , θ | dr d θ , ∞ δ ∆ δ / δ ∆ δ /          ( 5 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 1, March 2 016 :  47 – 55   50   Whe r e   ρ , θ is th e Fou r ier transfo rm of  the CFA im age   , convert ed in pol ar  coo r din ates, t he rotatio n a ngle bet wee n  two imag es  can th en be f ound at the  maximum of  the   correl ation b e twee n two  su ch fun c tio n s. Next,  the rotatio n  is can c el ed, a nd the  shifts are   estimated  by  com puting  the le ast  squ a re s fit of a   plane  thro ug h the  (line a r) pha se  difference  betwe en the  image s. As  we o nly use  the low fr equ ency info rmat ion of the im age s, we d o   not  need to sepa rate luminan ce and chromi nan ce for thi s  phase. The  use of the ra w se nsor d a ta for   the image ali gnment allo ws a highe r preci s ion of  th e alignme n ts,  as no additi onal filtering  or  interpol ation  errors are introdu ced.     3.1. Luminance / Chromin a nce Sepa ra tion   Here we  sep arate the lum i nan ce an d chromi nan ce i nformatio n in  each of the i m age s  in order to int e rpol ate the m  se parately. As in di cate d  in Equatio n  (2),  we  extra c t the lu mina nce   sign al from the CFA image s usin g a low-pa ss filter   sp ecified by Alleysson et al [23]. The three  chromin an c e  parts  (for re d, gree n and  blue) a r e th en obtain ed  by subtractin g this lumin a n ce  informatio n from the  re d,  gree n a nd  bl ue  ch a nnel s of  the CFA  i m age and   d emodul ating the  result. This  result s in a l u minance im age  α  and three  ch romin an c e  image s  ,   and    all  at  the origin al image si ze.       α   ∗        α  ʘ T ∗         α  ʘ T ∗        α  ʘ T ∗     with   121 242 121 /4,    010 141 010  / 4        ( 6 )     The matri c e s     and   are two demod ulation  (or interpol ation) filters, an d the symbol  ʘ  is u s e d for  a point  wi se  multiplicatio n of   two mat r ice s .F rom separated and   demo dulate d   luminan ce  a nd  chromin a nce  si gnal s we  compu t e their  hig h re sol ution  versi on s  u s ing   Normali z ed  Convolution  (NC) ap pro a ch  prop osed  in [ 27]   on e ach  o f  the fou r   ch a nnel  se parate l y.  A Gaussia n  weig hting fun c tion (appli c a b ility functi on ) is u s ed to h ave the high est co ntrib utions  from sa mple s close to the con s id ere d  pi xel and used  a varian ce  σ 2 .  A pixel of the  high re soluti on image i s  comp uted fro m  the pixels in a neighb o u rho o d   arou nd it as:       P ′                ( 7 )     Whe r e   is an     1  vector conta i ning the neighbo rho od pi xels,   is an     matrix  of   basi s  fun c tion s sa mpled at  the local  coo r dinate s  of the pixels  ,and    is an    weightin g  matrix contai ning the Gau ssi an wei ghts sample d at  the pixel coo r dinate s . The first eleme n t of  the    1  vec t or   P ′  gives the  inte rpolate d  pixel  value. Fo r n e ighb ourhoo d  sele ction, a   circula r   regio n   with ra dius four time s the  pixel di stan ce  of the  high  re sol ution ima ge i s   u s ed.  Du e to t he  nonu niform g r id, the numb e r of pixels   in this regi on  may vary dep endin g  on the  position.   We p e rfo r m  bilinea r interp olation for th e lumina nce cha nnel  , as   well as  for eac h   of  the ch romi na nce  ch ann els   , and   then  we a dd lumin an c e  and  ch romin ance togeth e r ,  whi c h re sult s in an interm ediate high  resol ution col our ima ge  P . If  we c o ns ider   pixels of th e  high re sol u tio n  image to be  compute d  then P can be  given as:       P ′             ( 8 )     Her e   P  induce s  erro r / artifacts, a s  the final high  resolution imag e  are compute d  by   fitting a polyn omial  surfa c e  to co mpute  high  re solutio n  imag e an d  also  scale  of  the appli c a b ili ty  function  play s a  de cisive  role in th e qu ality of interp olation  su ch  as  usin g   Lo w-o r d er  NC  with a   large a ppli c a b ility window  can not re con s tru c t small d e tails in the i m age.     3.2. Image Recons truc tio n  A ssu ming  P  is  the intermedi ate image ob tained from Equation (8) a nd  Q  is the perfect   demo s ai ced i m age; we fo rmulate the im age corruptio n pro c e ss a s :   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Dem o sai c in g of Color Im ag es b y  Accurate Es tim a tion of Lum inance  (V.N.V. Satya Prakash)  51   P ῼ Q             ( 9 )     Whe r e  ῼ R  →R  is a n arbit r ary  stoch asti c  erro r  process ind uce d due to  the polynomi a l   surfa c e fitting . Then, demo s ai cing le arni ng obje c tive become s :      g ar g m i n g A | | g P Q | |           ( 1 0 )     In Equation (10) we  see that the task is to find a fun c tion  ′ g ′  that best  approximate s  ῼ  . We can no w treat the ima ge dem osaici ng problem i n  a unified fra m ewo r k by  cho osi ng ap p r op riate  ῼ   in different situati ons.      3.3. Image Recons truc tio n De m o saic Aut o -e ncod e r   [IRD A]   Let Q  be the origin al data  for  i 1,2, 3, … . . N and  P be the corru pted versio n o f   corre s p ondin g Q .      hP  φ W  b            ( 1 1 )       Q P  φ W ′ hP  b ′           ( 1 2 )     Whe r e  φ P  1 e x p P   is th e sigmoi d act i vation function whi c h is  applie d comp onent- w ise to vec t or s ,   h  is the  hidde n layer activation,  Q P  is an approximation of  Q  and  ω W, b, W ′ ,b ′   represents t he wei ghts  a nd bia s e s . IRDA  ca n be trained  with va riou s optimi z ation   methods  to minimiz e  the  rec o ns truc tion loss .      ω  ar gmi n ω ∑ ‖Q Q P ‖           ( 1 3 )     After training  IRDA, we  m o ve on to tra i ning the n e xt layer by usi ng the hi dde n laye r  activation of the first layer  as the inp u t of the next layer.     3.4. Neural Net w o r k Ba se d Image Rec onstr uction  Algorithm    In this  section, we will  descri be the st ructure and optimi z ati on obj ective of the  prop osed m o del Neural Network Ba se d Image  Re c onstructio n  A l gorithm  (NNI RA). Due to  the  fact that dire ctly proce ssi ng  t he entire im age is intract able, we  in ste ad dra w  ove r l appin g patch es   from the imag e as ou r data  obje c ts.   In the trainin g  pha se, the  model is su pplied with b o th the corrupted erro r image  patch es  P  , for  i 1, 2,3, … . . N  and the ori ginal pat che s Q . After training, IRDA will be able to  recon s tru c t the corre s p ondi ng cle an ima ge given any  error ob se rva t ion.  To co mbine  spa r se codin g and n eural  netwo rk s a n d  avoid over-fitting, we train  IRDA   to minimize t he re con s truction loss re g u larized by a sparsity-ind uci ng term.       M P, Q, ω  ∑  ‖ Q Q P ‖  δ KM Γ ‖ Γ  λ ‖ W ‖  W ′    (14 )       KM Γ  Γ  ∑ Γ | Γ |  log Γ Γ  1 Γ log  Γ  Γ ,   Γ  ∑ hP      (15 )     Whe r e  h.  and  Q .  are d e fined i n  Equation  (11 )  and E quatio n (12 )  respe c tively. Here  Γ  is the  averag e a c tivation of the  hidden l a yer. We re gula r i z e the  hidde n layer  rep r e s entatio n to  be  spa r se by ch oosi ng small  Γ  so that the  KM divergen ce term will encou rage the mea n  activation  of hidde n uni ts to be  smal l. Hen c e the  hidde n uni t s   will be  ze ro  most of the ti me and  achi eve  spa r sit y .   After training of the firs t IRDA, we us e  hQ  and   hP  as th e cle an an d  error in put  respec tively for the  s e c ond IRDA. Since hQ ) lie s in  a di fferent spa c e  from Q , the me aning  of  applying  ῼ .  to  hQ   is not cle a r. We discarded   P    and used  ῼ hQ  )) a s  the erro r input.  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 1, March 2 016 :  47 – 55   52   We the n initi alize  a de ep  netwo rk with  the wei ghts  obtaine d fro m   K  lay e re d IRDA s.   The network has on e inpu t layer, one output and  2K 1   hidde n layers. The entire netwo rk i s   then traine d u s ing the  stan dard b ack-propag ation al g o rithm to mini mize the follo wing o b je ctive:      M P, Q, ω  ∑  ‖ Q Q P ‖  λ  ∑ ‖W ‖         ( 1 6 )     Here we removed  the sparsity  regul a riza tion because  the pre- trained weights will  serve a s  re gu larization to the netwo rk [25], acco rdin g to [26], during pre-t r aini ng  and fine tuning  stage s the l o ss fu nctio ns  are o ptimized  with L-B F GS  algorith m  to  achi eve faste s t co nverg en c e  in our settings .      3.5. Hidden  La y e r Featur e Analy s is   Duri ng the training of im age recon s tructi on d e mo sai c ing a u to-encode rs [IRDA], the  error trai ning  data is typically generate d  with i ndiscriminately  sel e cted simple error  di stribut ion  rega rdl e ss  of the  ch ara c te ristics of the   particula r  trai ning data. Ho wever,   it  is p r opo sed  that t h is  pro c e s s de se rves a lot  of  attention i n  real  wo rl d  problem s; the  clea n trai ning  data i s  i n fa ct   usu a lly subj e c t to error. Hence, if we tend to es timat e the distri but ion of error  a nd more u s in g it  to gene rate e rro r trai ning  data, the en suing IRDA wi ll learn to  be  more  rob ust  to errors in t he  input data an d pro d u c e be tter feature s . It can be sug geste d that training ima ge  recon s tru c tio n   auto-e n code rs [IRDA] with totally different color int e n s ity images th at fit  to specifi c  situatio ns  can  also imp r ove  the perfo rma n ce.    The re sultin g  image obtai ned po st neu ral net work  reco nstructio n  is co nsi dere d as the   demo s ai ced i m age. In the  next se ction t he expe ri me ntal study to  evaluate the  perfo rman ce  of   the prop osed  demo s ai cing  techni que i s  pre s ente d.      4. Experimental Stud y  a nd Performa nce Comp ari s ons :  To  validate our pro po s ed   system   the most  comm o n ly  use d   Ko dak data s et [28]  is  con s id ere d i n the expe ri mental stu dy and p e rfo r mance comp arison s. The  Kodak  data s et  con s i s ts  of 2 4 imag es ea ch  having  a  high  re so lutio n  of 7 68x51 2  and  24  bit  color  depth.  T he  Kodak d a taset con s ide r ed  in the experi m ental  study  and pe rform a nce  comp ari s ons i s  sh own  in   Figure 2. Th e pro po s ed d emosaici ng t ech niqu e  is d e velope d usi ng MATLAB. To evaluate  the   perfo rman ce   of demo s ai ced ima ge s  o btained   in  th e  propo se d system, colo r-pea k sig nal -to- noise ratio (CPSNR) d e fine d in [23] is  used. The CPS NR i s  com put ed usi ng.         10 log              ( 1 7 )     Whe r e CMSE represents th e Colo r Mea n  Square Erro r and is defin e d  as:          ∑∑ ∑  , ,  , ,            ( 1 8 )     Whe r e  1   and 2 are the inte nsity levels  of original i m age a nd d e mosaiced i m age s of  height  and wi dth  . ‘ ’ value varie s  from 1 t o 3 for the three col or pla n es.   The demo s ai cing   pe rform ance re sults based  on  CP SNR obtain e d a r e ta bulat ed in  Ta ble  1. In addition  to the CPSNR the PSNR re sults  co nsid erin g the  red, gre en  and blu e ch a nnel  informatio n is also pre s ented. Base d on the  re sults it is o bse rved that  the propo sed  demo s ai cing  techni que i s   robu st and  effectively wo rks on  the  wide  variety of im age s p r e s ent  in  the Kodak d a t aset.      Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 9 30       Dem o sai c in g of Color Im ag es b y  Accurate Es tim a tion of Lum inance  (V.N.V. Satya Prakash)  53     Figure 2. Kodak Image d a taset of 24 im age s co nsi d e r ed for te sting       Table 1. Average PSNR (o f red, gree n a nd blue  cha n n els) and  CP SNR results i n  dB obtaine d  usin g our p r o posed dem osaicin g tech niq ue   Image No.   Red  c h an nel   Green cha nnel   Blue  c h an nel   CPSNR   1(“Stone building”)  43.41   45.4  43.45   43.93   2(“Re d door”)  44.69   47.94   45.92   45.84   3(‘Hats”)  46.59  48.74   46.86   47.22   4(“Girl in red”)  45.78   48.09   46.2  46.5  5(“moto r cross bikes”)  44.15   46.12   44.48   44.77   6(“sail boat”)  44.03  46.27   44.12   44.61   7(“Wido w ”) 46.74   48.91   47.12   47.42   8(“Ma r ket Place”)  42.54   44.99   42.65   43.16   9(“Sail boat”)  46.43   48.45   46.39   46.92   10(“sail boat rac e”)  46.48   48.53   46.4  46.96   11(“sail boat at pi er”)  44.48   46.83   44.9  45.21   12(“couple on  be ach”)  46.24  48.54   46.32   46.82   13(“Mou ntain stream”)  42.58   44.21   42.5  42.98   14(“Wate r raflets ”)  43.38   46.1  44.41   44.38   15(“Girl  w i th Painted face”)  44.9 47.69   45.61   45.81   16(“Island”) 45.12   47.41   45.24   45.72   17(“R oman statu e”)  46.3  47.94   46.01   46.61   18(“Mod el girl”)  44.34  46  44.08   44.67   19(“Light h ouse in maine”)  44.54   46.74   44.7  45.14   20(“Propeller pla ne”)  45.61   47.78   45.85   46.24   21(“H ead Light”)  44.52  46.47   44.51   45.01   22(“Ba r n and Po nd”)  44.78   46.71   44.81   45.28   23(“T w o  maca w s ”)  46.66   49.33   47.61   47.63   24(“Mou ntain chalet”)  44.01  45.71   43.33   44.16   Avg .   44.93  47.12   45.14   45.54   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 1, March 2 016 :  47 – 55   54   To com pa r e  the perfo rma nce of the p r opo sed d em osai c in g tech nique  with the other  state of a r t d e mosaici ng t e ch niqu es th e avera ge PS NR  of the red ,  green,  blue  cha nnel s a nd  the   CPSNR re sults obtain ed  is co nsi de r ed. T he p e rforman c e  of the pro p o s ed dem osaicing  techni que   is comp ared wit h  lea r ne d sim ultaneo us  sp arse codi ng (LSSC)  [2 9],  Iterative Re sid ual  Interpolatio n (IRI) [19], multi-directio nal weight ed inte rp olation and g uided filter (M DWI - GF ) [30],  MLRI [31], similarity and colo r differen c e (SACD) base d  demo s aicin g  [7], adaptive resi du al   interpol ation  (ARI) [32] a n d  multilaye r  neural n e two r k (NN) b a se d dem osaici n g  techniq ue [ 22].  The  NN te ch nique  propo sed in [2 2] be ars the  clo s e s t simil a rity to the  work  propo sed  he re.  The   averag e PSNR of the  re d,  gree n, blu e  chann el  an d CPSNR i s   con s ide r ed  for  compa r ison. T h e   results  obtain ed a r e  sh own in T able  2  of the pa pe r. Com pared  with multilaye r ne ural  net work  (NN) ba se d  demo s ai cing  tech niqu e [ 22], the  p r o posed demo s ai cing   techn i que exhibits  an   improvem ent  of 8.82 dB in  aver ag e. An improvem ent  of 4.1 dB  and  4.23dB is  re ported  ba sed  on  our p r op osed  techniq ue a gain s t the LSSC [29]  and  ARI [32]. Based on the results it is evid ent  that our p r o p ose d dem osaicin g techni que o utper fo rms th e exist i ng state  of art dem osaicing   techni que s.       Table 2. Perf orma nce com pari s on  re sult   A l g o ri th m   PSNR Red  cha n nel   PSNR Gree n ch annel   PSNR Blue  cha nnel   CPSNR   LSSC [29]   40.53   44.31   40.65   41.44   IRI [19]   38.82   42.38   39.15   39.77   MDWI-GF [30]   –  –  –  37.3  MLRI [31]   40.59   42.97   39.86   40.94   SACD [7]   40.88   40.93   41.02   –  ARI [32]   40.81  43.66   40.21   41.31   NN [22]   –  –  –  36.72   Propose d  44.93   47.12   45.14   45.54       5. Conclusio n  In this pa per a frequ en cy domain  ba sed  dem osaici ng techniqu e  is propo se d .  The  luminan ce a n d ch romin an c e info rmatio n obtaine d from the frequ ency dom ain  is extracte d. A  bilinea r interp olation tech ni que implem e nted on t he luminan ce a n d chromina nce information  is  use d  to  pa rtially derive  t he mi ssing  compon ents a nd p r od uce  an inte rme d i a te imag e. T he  interme diate i m age is  split  into patch es.  The novelty o f  the propo se d demo s ai cin g techni que i s   the ado ption  of neu ral n etwork to l e arn from the  local  pat ch es a nd  esti mate the mi ssi ng   comp one nts.  A novel Ne ural  Network Based Im a g e  Re con s truction Algorith m  is present ed in  the prop osed  demosaici ng  techniqu e. The ex perim e n tal results a nd perfo rma n c e compa r iso n   results p r e s e nted prove t he rob ustn ess and de mo sa icin g efficie n cy over  exi s tent state of  ar t  demo s ai cing   techni que s.Evaluation of t he p r op osed demo s ai cing  techni que   on addition al  im age   datasets is  co nsid ere d as t he future of the wo rk p r e s ented he re.       Referen ces   [1]    BE Ba yer. Col o r imagi ng arr a y. US Patent 3, 971,0 65. 19 76.   [2]    Ousman Bo uk ara, La urent B i tjoka a , Gamraïkr éo Dja o w é a .  Nond estructi ve Determi nati on of Be ans   W a ter Absor p ti on C a p a cit y  U s ing  CF A Ima ges A nal ys is F o r Har d -T o-Cook Eva l uati on.  Internatio na l   Journ a l of Elec trical an d Co mputer Eng i n eeri ng (IJECE) . 20 13; 3(3): 31 7-3 28.   [3]    X Li, B Gunturk ,  L Z hang. Image dem osaic i n g : A sy st ematic  surve y .  SPIE . 200 8; 682 2: 68 221.   [4]   Dubois  E.  F r e que ncy-do mai n  metho d s for  de mos a icki ng  of Bayer-sa m ple d  col o r i m a ges . In Signal  Processi ng Let ters, IEEE. 2005; 12(12): 8 47- 850.   [5]    Nai- Xi an g Li an , Lanla n  Ch an g, Yap-Pe ng T an, Z agor odn o v  V.  Adaptive  F iltering for C o lor F ilter Array   De mos a icki ng.  In Image Processin g , IEEE  Transacti ons o n . 2007; 1 6 (10):  251 5-25 25.   [6]    Lu F a ng, A u   OC, Yan  Ch e n , Katsag ge lo s AK, Ha nli   W ang,  Xi ng   W en.  Joi n t D e mosa icin g  an d  Subp ixel-B ase d  Dow n -Sa m p l ing for Bayer I m a ges: A F a st F r equency- Do ma in An alysis  Appro a ch.  In  Multimedia, IEEE  T r ansactions  on. 2012; 14(4): 1359-1369.  [7]    R Nir ub an, T  Sree  Re ng a  Raj a , R  De e pa. Sim ilar i t y   and  Vari anc e  of C o lor  Diff e renc e Bas ed  Demos a ici ng.  T E LKOMNIKA Indon esi an Jou r nal of Electric al Eng i ne eri n g .  2015; 1 3 (2): 2 38-2 46.   [8]    Den g w e n Z, Xiaol iu S, Weim ing D.  Co lo ur de mos a icki ng  w ith direct ion a l  filtering a nd  w e ightin g.  In  Image Process i ng, IET .  2012; 6(8): 108 4-1 0 9 2 .  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Dem o sai c in g of Color Im ag es b y  Accurate Es tim a tion of Lum inance  (V.N.V. Satya Prakash)  55 [9]    Xi ao Z h ou, F a nfan Ya ng, C h un xi ao Z h ang,  Che ng y o u W a ng.  Improve d  a daptiv e d e m os aickin g  us in g   directi ona l w e i ghtin g.  In C o mputer Sci enc e & Ed ucati o n  (ICC SE), 9th  Internatio na l C onfere n ce  on .   201 4: 615- 618.    [10]    Z hang D, Xia o lin W u .  Col o r demosaick in g via directi o nal li ne ar mi n imu m mean  squar e-error   estimation.  In Image Proc essi ng, IEEE  T r ansacti ons o n . 200 5; 14(12): 2 167 -217 8.  [11]    D Meno n, G Calva g n o . Color im age  d e mosa ickin g : An overvi e w .   Signa l Proc essin g : Imag e   Co mmun icati o n (Elsevi e r) . 20 11; 26.   [12]    Kim Y, Jeo ng  J.  F our Directi on R e sid u a l  In terpol ation  for  De mos a icki ng.  In Circuits and S y stems for   Vide o T e chnol og y ,  IEEE  T r ansactions o n . 99 : 1.  [13]    Mascha l  RA, Youn g SS, Re yno l ds  JP, Krape ls K, Fann ing J, Cor b in T .   N e w I m ag e   Qu al ity  Assessment Algorithm s for CFA Dem o s a ic ing.  In Sensors Journ a l, IEEE. 2013; 13( 1): 371 -378.   [14]    Xi an gdo ng C h en, Li w e n H e , G w a n g g il J eon , Jechan g Jeo ng.  Multid irecti ona l W e ig hted  Interpol ati o n   and R e fine me nt Method for Bayer Pattern CF A Demosai cking.  In Circu its and S y ste m s for Vide o   T e chnolog y, IE EE  T r ansactio n s on. 20 15; 2 5 (8): 127 1-1 2 8 2 .  [15]    W a chira Ki n y u a , M w a n g i Eli j ah, Jeo n  G w a ngg il.  A pe nto m i no-b a se d p a th ins p ire d  d e mosa ickin g   techni qu e for the bay er col o r filter array.  In AF RICON. 2015 : 1-5.  [16]    Micha e l G, Kir y ati N.  Exa m p le b a sed  de mos a ici ng.  In Image Pro c essin g  (ICIP), 2014 IEEE   Internatio na l C onfere n ce o n . 201 4: 183 2-18 36.   [17]    Mori ya S, Mak i ta J,  Kuno T ,   Matoba N, Su giur a H.  Adva nced d e m os ai cing  meth ods  base d  on the   chan ges  of col o rs in  a l o ca l  regi on.   In  Consumer E l ectr onics, IEEE  T r ansactions  on.  2006; 52(1):  206- 214.   [18]    Lu YM, K a rza nd M, V e tterli   M.  De mos a icki ng  by Alt e rnati ng Pr oj ecti ons:  T heory  an d F a st One-Ste p   Im plem entation . In Image Processi ng, IEEE  T r ansactions  on. 201 0; 19(8) : 2085-2 0 9 8 .  [19]    W e i Ye, Kai-K uan g Ma.  C o l o r Ima ge  De mosaici ng  Usin g  Iterative Res i dua l Interp olati on.  In Image  Processing, IEEE  T r ansactions  on. 2015; 24( 12): 5879- 5891.   [20]    Burger H C , Schul er CJ, Ha rmelin g S.  Image d e n o isi ng:  Can pl ain  ne ural n e tw orks compete w i th  BM3D?.  In Co mputer Visi on  and Pattern R e cogn it ion (CVP R), 2012 IEEE Confer ence o n . 2012: 239 2- 239 9.  [21]    Budi  Ra hma n i ,  Supri y a d i.   Earl y M ode l  of  T r affic Sign R e min der   Based  o n  N e ural  Net w o r k.  TELKOMNIKA.  2012; 1 0 (4): 7 49-7 58.   [22]   Yi-Qing  W a n g .  A multi l ayer n e u ral n e tw ork for ima ge de mos a ickin g .  In Image Process i ng  (ICIP), 2014  IEEE International Conferen ce on. 2014:  1852-1856.   [23]   Alle yss on  D,  Su sstrunk S,  Herault J.  Linear demosaic ing ins p ired by  the hum an vis ual system .  In  Image Process i ng, IEEE T r an sacti ons o n . 20 05; 14(4): 4 39- 449.   [24]    P Vand e w a l l e , S S¨usstrunk,  M Vetterli. A  F r eque nc y Do main A ppro a c h  to Re gistrati on of Al iase d   Images  w i t h  A pplic atio n to S uper-R eso l utio n.  EURASIP J ourn a l o n  Ap pli ed Si gna l Proc essin g , Speci a l   Issue on Su per -Resol utio n Imagi ng . 20 06.   [25]    D Robinson, P   Milanfar. Statistical performanc e analy sis of  super-res o lution.  IEEE Transactions  on    Imag e Process ing . 20 06; 15:  141 3-14 28.   [26]    QV Le, A  Co ates, B Proc hn o w ,  AY  N g . On  optimiz ation  m e thods  for  dee p l earn i ng.   L earn i ng .  20 11:   265- 272.   [27]    T Q  Pham, LJ van Vliet, K Schutte. Rob u st F u sion of Irregul arl y  Sam p le d Data Usi ng Ada p tive   Normal i ze d Co nvol ution.  EUR ASIP Journal  o n  Appl ied S i gn al Process i ng . 200 6.  [28]   T he Kodak color image datas et, Image Avail able [Online]. Avai lable: http://r0k.us/graphics/kodak/.  [29]    J Maira l , F  Bac h , J Po nce, G  Sapir o , A Z i ss erman.  N on- lo cal sp arse  mo dels f o r i m a g e   restoratio n.  In  Proc. IEEE 12th Int. Conf. Comput. Vis. 200 9: 2272 –2 27 9.  [30]    Xi an gdo ng C h en, Li w e n H e , G w a n g g il J eon , Jechan g Jeo ng.  Multid irecti ona l W e ig hted  Interpol ati o n   and R e fine me nt Method for Bayer Pattern CF A Demosai cking.  In Circu its and S y ste m s for Vide o   T e chnolog y, IE EE  T r ansactio n s on. 20 15; 2 5 (8): 127 1-1 2 8 2 .  [31]    D Kiku, Y Monno, M  T anaka,  M Okutomi.  Mini mi z e d-l a p l acia n resid ual  interp olati on fo r color i m ag e   de mos a icki ng.  In Proc. IST / SPIE Electronic  Imagin g . 201 4; 9023: 1-8.   [32]    Yusuke  Mon n o ,  Daisuk e Kik u ,   Masa yuk i  T anaka, Mas a toshi  Okutomi.  Ad a p tive R e si dua l  Interpol atio n   for Color Imag e De mosa icki n g .  In IEEE  Internatio nal C onf erenc e on Ima ge Process i ng  (ICIP). 2015:  1-5.         Evaluation Warning : The document was created with Spire.PDF for Python.