TELKOM NIKA , Vol.12, No .3, Septembe r 2014, pp. 6 05~612   ISSN: 1693-6 930,  accredited  A  by DIKTI, De cree No: 58/DIK T I/Kep/2013   DOI :  10.12928/TELKOMNIKA.v12i3.81    605      Re cei v ed Ap ril 2, 2014; Re vised July 1 0 , 2014; Accept ed Jul y  26, 2 014   Combine Target Extraction and Enhancement Methods  to Fuse Infrared and LLL Images       Yong Chen * 1 , Jie Xiong 1 , Huan-lin  Liu 2 , Qiang Fan 1   1  Ke y  La bor ato r y  of Industri a l  Internet of T h ings& Ne t w ork C ontrol, MOE, Chon gqi ng U n iv ersit y  of Posts  and T e lecomm unic a tions, Ch ong qin g ,  Chin a, 4000 65   2  Ke y  La bor ato r y  of Optical F i ber Comm unic a tion T e chno lo g y , C hon gq ing,  Chin a, 400 065   *Corres p o ndi n g  author, e-ma i l : chen yo ng@c qupt.ed u .cn       A b st r a ct   F o r gettin g  the  usefu l  o b ject  i n formatio n  fro m   infrare d  i m a ge  and   min i n g  more  deta il  of low  li ght   level  (LL L ) i m a ge, w e  pro pos e a n e w  fusio n   meth od  bas ed  on se g m e n tati on a nd  en hanc ement  meth od s in   the pap er. F i rst, using 2D ma ximu m entropy  metho d  to  segment the ori g i nal infrar ed i m age for extracti ng   infrare d  target,  enh anci ng  orig i nal L LL  i m ag e  by Z ade h trans form for  mi nin g  mor e  deta il i n formatio n , on th e  basis of th e se gmente d   map  to fuse the e n hanc ed L LL i m age  and  orig in al infrar ed i m a ge. T hen, or igi n a l   infrare d  i m ag e ,  the enha nce d  LLL  i m ag e  and th e first fused i m ag e ar e used to r eal i z e  fusio n  in  n on- subsa m ple d  contour let trans form (NSCT )   do ma in, w e  get the secon d  fused i m ag e. By contrast of  exper iments, the fuse d i m a g e  of the sec o n d  fused  meth o d ’ s visu al effec t  is better than  other  meth ods ’ fro m   the literat ure. F i nally, Obj e cti v e ev al uati on i s  used to ev al uate the fus e d  images ’  qu alit y, its results al so   show  that the propos ed  met h o d  can po p targ et informatio n , improve fus ed i m a g e ’ s resol u ti on an d contras t .     Ke y w ords : 2D  maxi mu m entr opy, Z adeh tra n sform,  e nha n c ement, the se cond fuse d, N S C      1. Introduc tion  Image fu sion  nam ely u s e s  re dund ant  d a ta an d  com p lementa r y in formation  fro m  multi- sen s o r s fo r o b taining a im age which ha s accu rate ta rget, own s  g ood visu al effects [1]. As a n   importa nt bra n ch of ima ge  fusion, infrare d  and lo w lig ht level (LLL ) image s fusio n ’s mai n  task is  to achi eve th e rea s o nabl e  and  comp re h ensive  de sc ri ption of targe t  and sce ne,  on the  con d ition   to retain th e  origin al dat a inform ation  as m u ch a s  possibl e an d avoid fal s e  informatio n. At  pre s ent, the techn o logy h a s be en wid e ly used in  i n telligent tra n sp ortation,  safety monito ring,  human visual  auxiliary fields and  so on [ 2 ]-[3].  A kind of sen s ors ha s its o w n f eature, so they can ca pture so me p a rt informatio n of the   scene, so we  combi nes th e infrared an d LLL sen s o r s to de scribe  the whole  scen e better. In   orde r to bette r com b ine im aging a d vant age s of t hese  two se nsors, many schola r s h a ve don e  a  lot resea r ch,  and put fo rward a  se rie s   of fusion  m e thod s, inclu d i ng differe nt kinds  of pyra mid  fusion meth o d s [5], wavel e t transfo rm  methods  [6] - [7], curvelet  transfo rm  method s [8], th e   conto u rlet ta nsform meth ods [9], the non-sub s a m pled conto u rlet tran sform methods  [10],  she a rlet t r an sform  metho d s  and  so  on [11 ]. All  these met hod s b a ses on m u lti-scale   decompo sitio n  ap pro a ch, f i rst, o r igin al i m age s  are  d e com p o s ed  i n to lo w frequ ency  co effici ents  and hi gh fre quen cy coefficient s, then,  different  fu sion  rule s a r e used to p r ocess the l o w  freque ncy  co efficients  and  the high fre q uen cy coe ffi cients, re sp ect i vely. All these method s  can   achi eve a go od fusi on visual effect s, b u t some  sh ortcoming s  in  p r eservin g  ori g inal info rmat ion  from the ori g i nal image s,  esp e ci ally, for the in suffici ent sun s hi ne  or target s conceale d  and  so   on, easy to l ead targets l o se o r  un ob vious, so  we  can n o t ea sy to underst and the  sce ne.  Therefore, i n  re cent ye ars, the sch o lars h ad  put forward  som e  o t her fu sion  m e thod s [12]-[ 15],  for  extra c ting  the  targ et  o r  mining more depth  detail b e tter. Literatu re[12]  com b in ed  comp re ssed   sen s in g prin ciple to fuse image s, the fuse d image  could de crea se fusion time  and had a b e tte r   visual effe cts, but its targ et highlig hts  unobvio usly.  Li Shutao et  al. [13] pro p o se d a meth od  whi c h b a sed  on ave r ag e filter to d e comp ose  the o r igin al imag es int o  ba se  and  d e tail layer, th en,   use d  guid ed  filter stru cture weig ht map to fuse  the  original im a ges a c cordin g to the wei ght  grap h. Thi s   method q u ickly reali z e s  f u sio n , it  also  had b e tter  perfo rman ce  in detail, but  the  contrast  of th e fuse d ima g e  wa s  poo r.  Literatu re  [14 ]  introdu ce d l o cal  histo g ra m equ alization to   enha nce bot h the infra r e d  and  LLL i m age s, then  denoi se d wit h  the medi an  filter, this m e thod  Evaluation Warning : The document was created with Spire.PDF for Python.
                          ISSN: 16 93-6 930   TELKOM NIKA   Vol. 12, No. 3, September 20 14:  60 5 – 612   606 fused i m age s fast and th e  fused i m age s had  clea r de tail, but its target co uldn’t show obviou s l y .  Xing Suxia et al propo sed  a target extraction  meth o d  [15] which based on  Re nyi entropy to   segm ent the infrared imag e for extracti ng therm a l targets, an d en han ce the LL L image’ s det ail  in NS CT d o m ain. The  fu sed i m ag e h ad a  high  bri ghtne ss,  so l o st its  detail  informatio n a t  the  same time.   All those  m e thod s ab ove ca n a c hie v e com p lem entary a nd  redu nda ncy  betwe en   different ima ges’ i n form ation, co ntra st  or resolu tion   has  bee n im proved  to a  certain  extent, but  contrast  and  definition  ca n’t com patibl e . In  order to enh an ce t he  contrast  and im prove  th e   resolution  of  the fused im age, the  pap er p r e s ent s a  ne w meth od  whi c h  se gm ents th e o r igi nal   infrared imag e and enh an ce LL L imag e, then to  fuse the segm e n ted image a nd the enha n c ed   image, the fu sed i m ag e is  calle d the first fused i m age . Aiming to p r event the in complete im ag e  segm entation  and  over e nhan cem ent  LLL im age  e ffectively, the pap er  uses the first fused   image  and  th e ori g inal i n frared  an d the  enh anced  L LL ima ge to  fuse fo r mo re ori g inal  im age  informatio n, the fuse d ima ge is called th e se con d  fused image.   The rest of  the pap er i s  o r gani ze d  as follo ws: In Section  2, it mains  introdu ce   pretreatment,  infrare d  ima ge se gmentat ion and  LL L image en han cement metho d  are de scrib ed.  In Section 3, fusion strate gy is discussed.  In Section 4, experim ents re sult s and analy s is  are   put. Finally, in Section 5, concl u si on s of the work a r e  made.       2 Pretre atme nt  Ho w to re se rve importa nt informatio n of  the  scen e be tter has  bee n  the main di re ction of  our  resea r ch. For this  purpose, the pa per u s e s  the  segm entation  method o n  infrared ima g e  to   extract the m a jor ta rget inf o rmatio n, in  additi on, al so  apply a  ce rtain en han ce ment metho d  to  excavate mo re details d e e p ly. Based o n  the anal ysi s  above,  we  put forward  a n  idea of  fusion  treatment to fuse infrared a nd LLL ima g e s . We di scuss the detail a s  follows.     2.1 2D maxi mum entrop y  Therm a l targ et information  is important  info rmatio n for the infrared  image, we u s e s  the  2D maximu m entropy thre shol d [16] to segment  the infrared  image, for extracting ta rget  informatio n to better poppi n g  the infrared  target.  Due to  probability distribution of the  s egm ented i n frared image’s target region and  backg rou nd region a r e diff erent, so we prop oses  po sterior  pro babi lity of the gray and mea n  of   gray  regi on t o  no rmali z e  e a ch  region’ s  occur p r ob abi lity ij p . Supp ose  the segm enta t ion value  of  the image is , s t , backgroun d regio n ’s p r ob ability and  target regio n ’s  prob ability are  B p and O p ,  r e spec tively.    , B ij pp i j                                                                                                                                                       (1)     whe r e, 1 , 2, .. ., is ,  1 , 2, .. ., jt         , O ij pp i j                                                                                                                           (2)    whe r e,   1 , 2, ... , 1 is s L  ， 1 , 2, ..., 1 jt t L  .  The discrete  2D entropy is defined a s ：     lg ij ij ij Hp p                                                                                                                             (3)    The 2D e n tro p y of objective regio n ：      lg l g ij ij O O ij OO O pp H HO p p pP                                                                                              (4)  whe r e,   1 , 2, .. ., is  ,  1 , 2, ..., jt  .             Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 9 30       Com b ine Ta rget Extra c ion  and Enha nce m ent Me thods to Fuse Infrared …. (Y on g Che n )  607 The 2D e n tro p y of backgro und re gion:       lg lg ij ij B B ij BB B pp H HB p pp P                                                                                             (5)    Whe r e,     1 , 2, .. ., 1 is s L  ， 1 , 2 , .. ., 1 jt t L  .    1 BO pp                                                                                                                                                     (6)    1 BO HH                                                                                                                                                        (7)     The discrimi nant functio n  of image entropy is define d  as:           ,l g l g 1 lg 1 OO OO OO OO OO OO HH H fs t H O H B p p Pp p HH H pp Pp p                                                            (8)        Then, the opti m al thre shol d  vector ** , s t must satisfy the following  con d ition:       ** 1 ,a r g m a x , sL s tf s t                                                                                                                     (9)    Shown in Fi g u re 1, dem on strated th e se gmentation ef fect, Figure 1 ( b)  sho w s the  whole  and complete  person targe t  and some h o t region s.                                                                              (a ) th e infrared image              (b) the se gmented image     Figure 1. The  chart of seg m entation effection       2.2 Zadeh tr ansform   A LLL  Imag e contain s   more  detail  i n format io n, its  scene  i s   dark  and  co ntrast  is  unobvio us. I n  order to  mine mo re  details i n fo rmation for the fused im age, we u s e s  th e   enha ncement  method to intensify the LL L image.   The tradition al meth ods i n clu d ing  hi stogra m  e qual i z ation,  gray  stret c hing  a n d  so o n , the s e   method s can not  process  d y namic effect   well  and  enh ance the im a ge noi s e  more, we i n trod u c e   the Za deh  transfo rm th eo ry and  p r in ci ple for ima g e  inform ation  mined  metho d  p r esented  f r om  our lab in lite r ature [17] to intensify the o r iginal L LL im age.   The ima ge’ s  uncertainty p r ope rty is th e  rea s o n  for i m age  blur  proce s sing. T h e imag e  enha ncement  algorithm is  desi gne d  in consi deration  of human’ s subj e c tive sen s e. If this method  can  com b ine  some vi sual  chara c te risti c s of the huma n , image an d video quality visual effect  will  be signifi cant ly  increa sed. Here,  the un derlying   im ag e minin g  i s  t o  obtai n  the   highe st p o ssi b le  contrast  re sol u tion, so th e  origin al Za de h tran sform [0,1] interval  extended to [ 0 ,255] to defi ne  the s patial domain, whic h c o ns titutes  the Z ade h tra n sform enh a n cem ent met h od, the pap e r  calle d the me thod Zad eh transfo rm. In o r de r to mine  more im age i n formatio n of  the LLL im a ge,   the pape r set s 25 5 k .  Evaluation Warning : The document was created with Spire.PDF for Python.
                          ISSN: 16 93-6 9 30   TELKOM NIKA   Vol. 12, No. 3, September 20 14:  60 5 – 612   608 The co ncrete  descri p tion is  as follo ws ：       ,, Tx y k O x y                                                                                                                                    (1 0)     whe r e,   , Tx y and   , Ox y  re p r es en t th e  lo c a tion  , xy of the targ et an d o r iginal im age,  respe c tively.    0, 25 5 and   1 , 255  de note  the  startin g  point  and  g oal of  co nve r ting the  g r a y  level imag e,  r e spec tively.    1, 2 5 5 k  repre s ent s the co efficient  of the space  expan sion. When k i s  gre a ter tha n   the limit of  h u man  vision   contrast  re sol u tion,  Eq.(1 0 ) sh ows th e  p e rform a n c e  o f  the u nde rlying  image  minin g  functio n s;  wh en  k i s  le ss th an the  lim it of  hum an vi sio n  contrast  re solution, Eq.(1 0 )  achi eves  the image hidd en   feature s .   1 , Eq.(10 ) i s  to  a c hieve  imag e  bina rization  function.  and  are minin g  para m eters.  After Zadeh tran sform, Eq. ( 11 ) may occur   ,2 5 5 Tx y  or   ,0 Tx y  which  beyond the   domain, this  will cause  confusion.  Therefore, this need set s  som e  const r aint s, namely, while the   gray value is  over 255, the  value is set to 255; while  th e gray value i s  low 0, the value is  set to 0.       255 , , 255 , 0, , 0 Tx y Tx y Tx y                                                                                                                   (11)    We illu strate  the importa nt of the enhan ceme nt method a s  follows, one  pair fo r  displ a ying th e gray ima g e ,  sho w n a s  F i gure  2, Figu re 2(a 1 ) i s  th e origi n al g r a y  image, Fig u re   2(a2 ) i s  the  g r ay  spe c tru m  of Fig u re 2 ( a 1 ),  Fig u re 2 ( b 1 ) i s  th e  co rresp ondi ng  en han ced  imag e,  Figure 2(b 2 ) i s  the gray sp ectru m  of Figur e 2 ( b1 ). We set the initial param e ters  0 and 50 .  In Figu re 2 ( a 1 ), altho ugh   we  hardly se e anything  in  it, when  u s e d  zadeh  tra n s form  to inte nsify  the imag e, its e nhan ce d  effect sho w n  as Figu re  2(b1).  Cont ra st the g r ay  sp ectru m  of Fi g u re   2(a2 )  and  Fig u re  2(b2), th e initial  spe c t r um i n  Fig u re  2(a 1 )  had  b een  expand e d  a lot. T h ro ugh   this exampl e  to demon stra te the enha n c eme n t meth od, we  can  realize that it is ne ce ssary  to   intensify the origin al LLL i m age.                     (a1) g r a y  original image                      (a2)  gra y  spe c trum              (b 1 )  enhanced imag e                (b 2) g r a y  spectr um    Figure 2. Gra y  image test       3 Fusion str a tegy   First, to segm ent the ori g in al infra r ed im age a n d inten s ify the origi n al LLL im age,  based   on the  segm ented bi nary  image to g u i de its fu sion,   its co ncrete  method a s  fo llows. The ta rget  regio n s’  pixel s  a r e  con s titu tes by ta king  the pixels f r o m  the corre s p ondin g  lo cati on in the  ori g i n al  infrared imag e. The other  regio n s a r e p i cki ng pixe ls  from co rresp ondin g  to the binary imag e’s  non-ta rg et area of the loca tion in the en han ced L LL i m age, we o b tains the first fuse d image F 1 .  Then, origi nal  infrared im a ge(IR), the enhan ce d ima ge(LE ) and th e first fused i m age F1  are u s e d  to NSCT tra n sform re sp ecti vely, get the corre s po ndi ng low frequ ency sub - ba nd   coeffici ents  , IR Cx y ,  , LE Cx y ,  1 , F Cx y ; different  sca l e an d di re ctional  high  fre quen cy  sub - band   coeffici ents   , , IR jl Cx y ,   , , LE jl Cx y and   1 , , F jl Cx y .  Low  freque ncy sub-b and NS CT coefficie n ts  is  cal c ulate d  by Eq.(12):     Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Com b ine Ta rget Extra c ion  and Enha nce m ent Methods to Fuse Infrared …. (Y on g Che n )  609 21 ,, , , 3 FI R L E F Cx y C x y C x y C x y                                                                                     (12 )     Usi ng the ab solute value of  the high freq uen cy sub - ba nd NSCT co e fficients take  greate s t sh o w n a s  Eq.(13 ):         2 1 ,, , , ,m a x , , , , , FI R L E F jl jl jl jl C x y C xy C x y C xy                                                                                 (13)    After a seri es process ab o v e, we get  fused ima ge (F 2)’s  NSCT  co efficients { 2 , F Cx y ， 2 , , F jl Cx y }, finally, the  NSCT inve rse transf o rm,  we get the fu sed ima ge F2 .      4 Experimen t  results and  analy s is   The  experi m ents  ba sed  o n  the  MATLA B  platform, i n frared  and   LLL i m age  of  the t w o  grou ps f r om  Holla nd T N O  institute’s pi cture li br a r y  have bee n re gistratio n  co mpletely. Fig u re s   3(a ) -(b) a s  th e first grou p sho w n, Figu re 3(a )   can id entify a perso n clea rly, Figure 3 ( b)  can  see   road,  slop e, shrub  and fe n c e a nd ot h e r  scene ry, but its co ntra st fe els n o t well;  shown in Fig u res  4(a ) -(b) a s  th e second  gro up, Figu re  4(a)  can   ide n tify person s ,  ship an d oth e r  small ta rget s,  Figure 4(b )  can se e the sh ip, the sky cle a rly.    4.1 The exp e r imental res u lts and su b j ectiv e e v a l uation   For the  pu rp ose  of comfirming th e  co rre ct ne ss an d effectivene ss  of the p r opo se d   algorith m , we  use s  the  oth e r fou r  meth o d s  co mp ared  with the first  fused im age  and the  se co nd  fused im age  to test. Figure s  3(c) an d Figures  4 ( c) a r e fu sed  base d  on t he bior97  wavelet  transform method,  the source  code is  publi c ally available (h ttp://www.metpix.de/toolbox.ht m ).   Figures 3(d) and  Fi gures 4(d )   a r e  the  fused  i m ag es whi c h  are  fuse d by the  NSCT  metho d .  Figures  3(c)-(d), Figu re s 4 ( c)-( d) both choo se  the  fu sion rule s  by  averagi ng th e low frequ e n cy  coeffici ents  a nd getting th e maximum  absolute val ues  of high  freque ncy  co efficients, th eir  decompo sitio n  level all are 4 layers, called wavelet  method a n d  NSCT m e th od, re spe c tively;  Figure 3(e )   and Figu re 4 ( e) a r e fu se d by the me thod in litera t ure [15], its sou r ce co d e  is  publi c ally available (http://www.x udongkang.weekly. c om ) called as  GF; Figure 3(f) and Fi gure  4(f) a r e fused  by the method in literatu r e [15],  called  as Renyi entropy  method;  Figure 3(g) a nd  Figure 4(g)  a nd are the f u se d  imag es by the meth ods  whi c h fu se s the  seg m ented inf r ared   image  and  th e en han ce d i m age, a s  the  first fu se d i m age; b a sed  on th e first f u se d ima ge,  we  fuse the  first  fused  imag e  and th e o r ig inal infrare d  i m age  and  e nhan ce d LL L  image  with t h e   se con d  fuse d method, i t s visual effect sh own as Fig u re 3 ( h) a nd Fig u re 4 ( h). F o u r   decompo sitio n  level s   with  2,8,8,16 di re ctions f r om  co arse  scale  to  finer  scale  are ad opted  by  the   method s whi c h use s  the NSCT method.   Subjective ef fects a r e a n a l yzed a s  follo ws. G r ou p o ne’s  effection  sho w n in  Fi gure  3,  Figure 3(c)’s  fence  se ems very fu ssy, its co ntra st fe els n o t cle a r  and d e tail lo st se riou sly; we   can  see cl ea r detail from Figure 3(d ) , but its c ontra st is very poor, this state  may hide so me  importa nt information; Fig u r e 3(e)’ s  cont rast i s   so lo w that we ca n hard i dentify some im po rta n t  informatio n; Figure 3(f)’ s   contrast  see m s very  obvi ously, and  we can  see  ob vious target, due to  its over en ha nce d , its  sma ll detail info rmation d o e s  not  very clea r,  the whol e visual see m s  not  very goo d;  F i gure  3(g)  ha s go od  definit ion, its ta rget  see m s obvio usly, its q ualit y is bette r th an   the forme r  m e thod s; wh en  com pared  wi th the Figu re   3(h ) , it has l e ss  cle a r  detai l; so throug h i t s   comp ari ng, Fi gure  3 ( h ) ’s visual  effect  is  the be st. Th e  othe r p a ir ca n   be  analy z ed in  the  sa me   way .           Evaluation Warning : The document was created with Spire.PDF for Python.
                          ISSN: 16 93-6 930   TELKOM NIKA   Vol. 12, No. 3, September 20 14:  60 5 – 612   610        (a)  Original IR im age  (b)  Original LLL i m age   (c)  Wavelet method  (d)  NS CT meth o d          (e)  GF met hod   (f) Ren y i ent rop y   method   (g) T he first fuse d  (h) T he second f u sed    Figure 3.  The first gro up e x perime n ts of  infrare d  and  LLL imag e fusion              (a)  Original IR im age  (b)  Original LLL i m age   (c)  Wavelet method  (d)  NS CT meth o d          (e)  GF met hod   (f) Ren y i ent rop y   method   (g) T he first fuse d  (h) T he second f u sed    Figure 4. The  second g r ou p experim ent s of infrared a nd LLL ima g e  fusion       4 .3 Objectiv e  e v aluation  In order to fu rther  asse ss t he fu sion  pe rf or ma nce of  di fferent meth o d s  obje c tively. Thre e   fusion  quality  metrics  are   applie d, i.e., averag e g r ad ient (AG )  [18] , spatia l freq uen cy (SF) [19],  the edg e rete ntion metri c s  ( AB F Q ) [13] are  ad opted in th e  pape r.  All the  evaluation  m e trics u s e d   in the pape r a r e define d  as  follows:    1) Averag e gradient(A G)     Improveme n t of an image’ s quality ca n   be expre s se d by the average g r a d ient ， whi c h  reflect s  the clarity of the image, refle c ti ng t he small  details contra st in the image and texture   variation, the greate r  the a v erage g r a d ie nt, the  image has b e tter integratio n, defined a s  follows:      12 22 11 1 ,, MN ij Gx f x y y f x y MN                                                                                              (14)    whe r e,  , x fx y and  , yf x y repre s e n t pixels in the x  and y directi ons’ first-o r d e r varian ce ,   r e spec tively.  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Com b ine Ta rget Extra c ion  and Enha nce m ent Methods to Fuse Infrared …. (Y on g Che n )  611 2) Spatial fre quen cy(SF )    Ro w frequ en cy of an imag e is define d  a s  follows:       11 2 00 1 ,, 1 MN ij RF f i j f i j MN                                                                                               (15)    Colum frequ e n cy of an ima ge is defin ed  as follo ws:       11 2 00 1 ,1 , MN ij CF f i j f i j MN                                                                                                    (16)     whe r e, M and  N denote the  numbe r of ro ws a nd colu mns in the im age. The spa t ial frequen cy  of  the image is  defined a s  fol l ows:    22 SF R F C F                                                                                                                                                         (17 )     Spatial freq u ency  refle c ts  the overall le vel ac tivity of an ima ge in t he spatial d o m ain. The   greate r  the value, the visu al effection is  better.     3)  AB F Q The  gra d i ent ba se d in dex Q  evalu a tes th e  eff e ctive kee p  edge   inform ation whi c h  transfe rred from the sou r ce image s to the  fuse d ima ge. It is calcul ated as follo ws:          11 11 ,, ,, ,, MN AF A B F B ij AB F MN AB ij Q i j i j Q ij ij Q ij ij                                                                                      (18)    whe r e AF AF AF gO QQ Q .  AF g Q and  A F O Q are defined a s   edge  stren g th  and orie ntation pre s e r vati on value s   at location   , ij , resp ectively. N and M a r e  as the wi dth and hei ght of the image s.  B F Q is similar  to AF Q .   , A ij and  , B ij refle c t the importa nce of   , AF Qi j and  , BF Qi j , res p ec tively.  Tabel  1 sho w s that the  pro posed m e tho d  ha s  the  gre a test ave r ag e  gra d ient val ue, the   greate s t spat ial frequ en cy value an d the great e s t edge  retentio n value, it shows that th e   prop osed me thod ha s the  best visu al effect, this  consi s tent wit h  the su bje c tive evaluation   res u lts.     Tabel 1. Obje ctive evaluati on      The first grou p e x periments   The second gro u p  expe riments   AG SF  AB F Q   AG SF  AB F Q   Wavelet  method  5.4488  12.4351   0.3437   2.7144  7.9473   0.5774   NSCT  meth od   5.0837  11.9110   0.4389   2.6694  7.6754   0.6627   GF met hod   2.902   6.6384   0.3157   1.4837   4.8016   0.4359   Ren y i ent rop y  m e thod   4.3435   11.2408   0.3809   1.1292   5.8289   0.3102   The first fused   6.1873   15.2202   0.4321   1.2114   6.1556   0.4122   The second fuse d  6.5524  15.8767   0.4398   2.7409  8.2393   0.6727       5 Conclu sions   On the  ba si s  of origi nal i n frared  an d L L L  im age  contai ning  different  feature  info rmation,  we uses  se g m entation me thod  to nat urally extract  h eat targ et inf o rmatio n in i n frare d  ima ge  and  mines mo re d epth detail  fro m  LLL i m age   by enha ncem ent metho d . Acco rdi ng to  the se gme n te d  image, we fu se the enh an ced LL L ima ge and the o r iginal infrare d  image. In orde r to optimize  Evaluation Warning : The document was created with Spire.PDF for Python.
                          ISSN: 16 93-6 930   TELKOM NIKA   Vol. 12, No. 3, September 20 14:  60 5 – 612   612 incom p lete  a nd laye ring  d ue to the  in complete  se g m entation  or  over e nha ncement in t he  first  fused  imag e, the pa pe r u s e s  the  se co nd fu sed  me thod to fu se  the ori g inal i n frared im ag e ,   enha nced L L L  imag e an d  the first fu sed  image i n  NS CT d o main,  so the fu sed i m age  ca n bet ter  kee p  the main target information of the in frared ima ge and mine  more detail from LLL imag e,   and  also  ha s a b e tter visual effe ct. Th e expe ri ment al re sult s  sh ow th at the  prop osed  se con d   fused  imag e  can  imp r ove  the re sol u tio n  an d  cont ra st of the  ima ge a nd id enti f y targets  bet ter   comp ared wit h  other meth ods.      Ackn o w l e dg ement  Authors woul d like to than k the Cho ngq ing  Educatio n Committee  Scien c e of China for  sup portin g  the Found ation  of prog ram, No. KJ1305 29, and   KJ140 04 34.      Referen ces   [1]  Pan Y., Z heng  Y., Sun Hua., et al. An ima g e  fusion b a se d on pri n ci pal c o mpon ent an al ysis  and tota l   variati on mod e l .   Journal of Co mp uter-Ai ded  De sig n  & Co mputer Graph ics .  2011; 23( 7): 1200- 121 0.   [2]  Saee di J., F aez K.. Infrared and vis i bl e imag e fusion  usin g fuzz y  l o gic an d po pul ation- base d   optimiz ation.  A ppli ed Soft Co mp utin g.  201 2; 12: 104 1-10 54 .  [3]  Brand on M., Ismail B., Ma x W ., et al. Spine im ag e fusi on vi a gra ph  cuts.  IEEE Tr ansaction on  Bio m e d ica l  En gin eeri ng.  20 1 3 ; 60(7): 18 41- 185 0.  [4]  A.  T oet. Image  fusion b y  a rati o of lo w - p a ss p y ram i d.  Pattern Recognition Letters.  1993; 9:  245-2 53.   [5]  Jeese S., Michael A.  Lap laci a n  base d  imag e  fusion . Appl ie d Imager y  P a ttern Reco gn itio n W o rkshop   (AIPR), IEEE 3 9 th . 2010; 23(7) : 1-7.  [6]  Yuel in Z ., Xiao qia ng L., T ongming W ,  et al.  Visibl e an d infr ared im age fus i on us ing th e lif ting  w a v e let.   T E LKOMNIKA Indon esi an Jou r nal of Electric al Eng i ne eri ng.  2013; 1 1 (11):  629 0-62 95.   [7] Z heng   J. ， Gong J., R e se arch o n  a p p licat ion  of  w a vel e t  transform  in  imag e fusi on.   Jour nal  of   Cho ngq in g Uni v ersity of Posts and T e lec o mmu n ic ations.  2 008; 20( 5): 511 -567.   [8]  Liu K., Guo L ., Chen J. Co ntourl e t transform for imag e  fusion us in g c y cl e spi nni ng.   Journa l of   Systems En gin eeri ng an d Ele c tronics.  201 1, 22(2): 35 3-3 5 7 .   [9]  Yang  Y., Z hu  M., He B, et  al. F u sio n   alg o rithm b a se d  on im prov ed  p r ojecte d gr adi e n t NMF  an d  NSCT .  Optics  and Prec isio n Engi neer in g.  2011, 19( 5): 114 3-11 50.   [10]    W .  Kong, Y.  Lei, X. Ni. F u s i on tech niq ue fo r gra y -scal e  li ght and i n frare d  images b a se d on no n- subsam ple d  c ontour let trans form and  int e nsif y - hu e-satur a tion tr ansfor m .  Signal Processing, IET.   201 3; 5(1): 75- 80.   [11]  Jian hua L., Jia ngu o Y. Multifocus im ag e fu sion b y  SML i n  the shear let  subba nds.  TEL K OMNIKA   Indon esi an Jou r nal of Electric al Eng i ne eri ng.    2014; 12( 1): 618-6 26.   [12]  Meng  D., Li   W ., Bangfeng  W .  Researc h  on f u sio n  m e thod  for i n fra r ed  and  visi bl e ima ges  via   compressiv e  s ensi ng.  Infrare d  Physics&T e c hno logy . 2 013;  57: 56-67.   [13]  Shutao L., Xud ong K., Jian w e n H.  Image fusion  w i th g u i ded  filter.  T r ansaction o n  Ima ge Processi ng.    201 3; 22(7): 28 64-2 875.   [14]    Qiao  X ., Han L., Wang B.  A fast fus i on  al gorithm  of  visibl e  an d i n frared  ima ges.   Jour nal  o f   Desig n &C o m p u ter Graphics.  201 1; 23(7): 12 11-1 216.   [15]  Xi ng S.,  Xi ao   H., Chen  T ., e t  al. Stud y  of i m age f u sio n  te chno log y   bas e d  o n  o b ject  e x traction  and   NSCT .  Journal  of Optoeletron i cs·Las er.   201 3; 24(3): 58 3-5 88.   [16]  Lia n fa B., Ying bin  L., Jiang Y. , et al.  Nig ht vision i m ag e fusi on for targ et d e tection w i th i m pr ove d  2 D   max i mu m entr opy  s e g m e n tati on . Intern atio n a l S y mp osi u m  on P hoto e lectr onic  Detecti on  and  Imagi ng   201 3: Lo w - Lig h t-Leve l  T e chnolo g y   an d Appl icatio ns. 201 3; 891 2: 891 20 x- 1-89 120 x- 8.   [17]  Che n  Y., Ai A., W ang J., et al. Automatic   parameter  op timizatio n  for lo w e r l a yer im age mi nin g   techni qu e.  Jou r nal of Optoel e c tronics·L a ser.  2009; 2 0 (7): 9 50-9 53.   [18]  W e i w ei K., Jia npi ng L. T e chniqu e for image  fusion b a se d o n  nons ubs amp l ed sh earl e t transform and   improve d  pu lse - coup led n eur a l  net w o rk.  Opti cal Eng i ne eri n g.  2013; 5 2 (1): 170 01-1- 01 70 0 1 -12.   [19]  L u  Y., Gu o   L ., L i  H .   R e mo te se n s in g   i m a g e  fu si on  ed ge   i n fo rma tio n   a n d  fe a t u r e s  o f   SAR  i m age  base d  on curv elet transform.  Acta Photon ica  Sinica.  20 12;  41(9): 11 18- 11 23.   Evaluation Warning : The document was created with Spire.PDF for Python.