TELKOM NIKA , Vol.14, No .2, June 20 16 , pp. 607~6 1 2   ISSN: 1693-6 930,  accredited  A  by DIKTI, De cree No: 58/DIK T I/Kep/2013   DOI :  10.12928/TELKOMNIKA.v14i1.2748    607      Re cei v ed  De cem ber 1 3 , 2015; Re vi sed  March 19, 20 16; Accepted  April 6, 2016   Multi-source an d Multi-feature Image Information  Fusion Based on Compressive Sensing      Qingzh a o Li 1 Fei Jiang 2,3*   1 School of F o r e ig n La ngu ag e s , Suzhou Un iv ersit y , Suz hou  234 00 0, Anhui,  Chin a   2 Labor ator y   of Intelli ge nt Information Proc es sing,  Suzh ou U n iversit y , Suzh ou 23 40 00, An hui, Ch ina   3 School of Infor m ation En gi ne erin g, Suzho u  Univers i t y , Suz hou 2 3 4 000, A nhu i, Chin a   *Corres p o ndi n g  author, e-ma i l : fei w u h an@ 1 26.com       A b st r a ct   Imag e fusio n  is  a compreh ens ive infor m ation  processi ng tec hni que  and its  purp o se is to e nha nce   the re lia bil i ty o f  the i m age  via  t he  process i n g  of th e re du n dant  data   a m o ng multip le i m ages, i m prov e the   imag e defin itio n and i n for m a t ion conte n t throug h fusio n  of the comple me ntary in for m ati on of  mult ip l e   imag es so  as  to obtai n the  i n formatio n  of t he o b j e ctive o r  the scen e  i n  a  more  accur a te, reli abl e a n d   compre hens ive  ma nn er. T h is  pap er us es the sp arse  r e p r esentati on  method  of co mpressiv e  sens i n g   theory, prop os es a multi-so ur ce  and  mu lti-fe ature i m a ge i n formatio n  fusio n  method  base d  on co mpr e ss ive   sensi ng i n  acc o rda n ce w i th the featur es of i m a ge fusi on, p e rforms s parsif i catio n  proc ess i ng o n  the so ur ce   imag e w i th K-SVD alg o rith m and OMP alg o rith m to transfer from spati a do ma in to freq uency d o m ai n and   deco m poses  in to low - freque n cy part and h i g h -frequ ency p a r k. T hen it fuses w i th different fusion rul e s a n d   the ex per iment al r e sults  prov e that  the   met hod  of th is   pa per  is  better th an th e tra d iti o n a metho d s a n d  it   can obta i n b e tter fusion effect s.    Ke y w ords : Image Infor m ati o n F u sion, Co mpressiv e  Sensi ng, Sparse D e compos ition     Copy right  ©  2016 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1. Introduc tion  Image fu sion  is the te ch niq ue to  combi n e two  or m o re imag es  of the same  obje c tive at   the sa me tim e  (o r differen t  time) by dif f erent  se n s o r s throug h a  spe c ific  algo rithm. This i s   a   newly-eme rgi ng te chniq u e  that integ r at es  se ns or,  si gnal p r o c e ssing, imag e p r ocessin g  a n d   artificial  intelli gen ce [1]. T o gether  with  scientific an d t e ch nolo g ical   prog re ss, im age fu sio n  h a been  wi dely u s ed  in  medi ci ne, remote  se nsin g, co mp u t er visi on,  we ather fore ca st , military targ et  identificatio and  other fiel ds. Ima ge fu sion te chn o log y  bega n to  draw  attention i n  the  198 0s,  at  that time, image fusi on was nothi ng b u t simple  wei ghted ave r ag e. After that, the technol o g grad ually cau ght on and p eople sta r ted  to apply  it in the analysi s  and processing of rem o te- sen s in g multi-sp ect r al ima ges [2].   By the end of the 1980s, p eople be gan  to use it  in co mmon imag e  processin g  such a s   multi-focus i m age  an d vi sible  imag e [ 3 ]. After the   90s,  hug progre s had  b een  mad e  in  the  resea r ch of image fu sion  due to su ch multi-resol u tion de com positio n algo rithm and m u lti- resolution fu sion the o ry  as La pla c ian  Pyramid a nd Gau s sian  pyramid, h o weve r, the s algorith m s di d not d e com pose o r  tra n s fer  directly  on the i m ag es to  be fu sed in th e fu sion  pro c e ssi ng, i n stea d, the  fusio n  p r o c e s sing  was only  co ndu cted  in  one  level  [4]. The  em erg e n ce   of wavelet th eory an d co mpre ssive se nsin g t heo ry had p r omote d  a qualitativ e leap of im age   fusion  techno logy. The l a tter h a s poi nte d  it out  th at compressive  sensi ng first  requires that t he  sign al sh all be spa r se, whi c h is the p r e m ise an d fou ndation of thi s  theory. The  sparse ne ss  of  sign al di re ctly affects th desi gn  of the  mea s u r eme n t matrix a n d  the a c curacy  of imag sig nal   recon s tru c tio n  [5]. This paper inve stig ates the ima ge fusio n  method ba sed  on comp re ssive   sen s in g theo ry in orde r to  make  mo st o f  the f eature  that this theo ry has  a lo sampli ng rate,  exerts the fu sion  rule  with the com p ressive  se nsi ng dom ain, combine s   com p re ssive  se n s in g   theory  and  the id ea  of  wavelet tra n sf orm  and  sea r ch es the  inf o rmatio n fu si on field  of m u lti- sou r ce and m u lti-feature image s.    Firstly, this p aper  analy z e s  the th ree l e vels  of m u lti-so urce  and  multi-featu r e  imag e   fusion  and th e co mpressiv e se nsi ng the o ry ba se d on  spa r se  rep r e s entatio n an d  introd uces K - SVD dictio na ry trainin g  al gorithm  and   OMP algo rith m. Then, o n   the above  re sea r ch b a si s,  it  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 2, June 20 16 :  607 – 61 2   608 prop oses  a  multi-source and  m u lti-feature ima ge informati on fusi on  method b a sed on   comp re ssive sen s in g and  gives the sp e c ific implem e n tation step s of this algorit hm. Finally, it is   the simulatio n  experim ent al test and re sult analy s is.       2. Multi-sour ce and Multi-fea t ure Imag e Fusion   Image fu sion  is aime d to  summari ze t h e  multi-ba nd in formation  by singl e sen s or or th e   informatio n provided by different  sen s o r s and e liminat e the possibl e redu nda ncy  and co ntradi ct of multi-sen s or i n form atio n in  orde r t o  en han ce  t he tran spa r e n cy, a c curacy, reliability  and  utilization rat e  of the information in the image s and form  a  clear-cut,  com p let e  and accurate   informatio n d e scriptio n of  the o b je ctive. The fu se d im age  sh all in cl ude  all u s eful  inform ation  wit h   clea r fo cu s o f  each  source imag es  wit hout lo si ng  the texture i n formation  of  the imag e a nd  maintain th edge  detail s   and  ene rgy  so a s  to  obtai n a  cle a r im a ge[6]. The  m u lti-feature im age  fusion i s  indi cated as Fig u re 1.       Figure 1. Multi-feature imag e fusion       Gene rally  sp eaki ng, ima g e  fusi on  can  be divid ed i n to pixel lev e l, feature  le vel and   deci s io n level from abstraction. Pixel-level image  fusi on is the pro c e ss to direct ly proce s s the   data colle cte d  from the  se nso r  to o b tai n  fuse d imag e and it  can  pre s e r ve a s   much  ori g inal  data   as po ssible a nd provid e ot her tiny information whi c h  can’ be p r o v ided by other fusi on lev e ls.   Feature-level  image fusio n  summ ari z e s  and p r o c e s ses  su ch feature info rmation as e dge ,   sha pe, texture an d regio n  obtain ed  after p r e p ro ce ssing  an d feat ure  extra c tio n . It can  not  only  maintain sufficient impo rta n t information ,  but also  co mpre ss the in formation, m a kin g  it good  for  real -time proce s sing. Deci sion -level   fusio n  performs combi national   jud g ment on ea ch   discrimi nation  re sult by  si mulating  hu man tho ught  on a c cou n t of ce rtain  rules or spe c ific  algorith m  ba sed on th e co mpletion of d e ci sion  or  cla ssifi cation ta sks i nde pen de ntly on the d a ta  c o llec t ed [7].       3. Compres s i v e  Sensing  Bas e d on Sp arse Repre s enta tion   The spa r se decompo sitio n   of  sig nal refers  to the  acq u isitio n proce s s of the  optimum   spa r se rep r e s entatio o r  sparse   ap proxi m ation  of si g nal in  the  ov e r -compl ete di ctiona ry,  that is  to say that, t he si gnal  ca n be  rep r e s e n ted in th e form of th e p r odu ct of a   grou p of  spa r se   coeffici ents  a nd traini ng di ctiona ry. Accordin g to  the  spa r se repre s entatio n the o ry, noisy  sig nal   contai ns t w parts:  useful  sign al an d n o i se s. Usef ul  signal h a s cert ain  stru ctural  feature s  a nd i t stru ctural feat ure s  coin cide  with  atomi c   stru cture whil e the noi se are i rrel e vant , therefore, they  have no featu r es. Assu me that image f  is comp ri sed of  two part s :     ij f ff                                                                                                                                      (1)    Her e i f   rep r e s ent the  sp arse rep r e s e n tation com p onent of  the  image, name l the  useful  sign al of the image and  j i f ff   repre s e n ts other  co mpone nts of the image, n a mely   the image noi se s [8].      3.1. Compre ssiv e   Sensing Theor y  Based on Spar se Rep r es en tation   K-SVD  dictio nary  traini ng method can not  only  pre s erve such im portant info rmation a s   the edg e a n d  the texture  and it i s  e s p e cially g ood   at the texture  image. M o st  importa ntly, this  Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Multi-source  and Multi-fe ature Im age Inform ation Fusi on Base d on … (Qin gzh a o  Li)  609 method  ha s excell ent a daptability [9 ]. K-SVD di ct ionary traini ng al gorith m  is  cla s sified  as  follows :   Assu me that  the ori g inal  matrix is   1 N i i Ww , the re dun dant  diction a ry i s   N DR ,  the  spa r se en cod i ng is   1 N i i Ss  and  G  is the uppe r limit of the number of non -0 element s in   i s The obje c tive  equation of  K-SVD dictio nary lea r ning  is rep r e s e n te d as:      2 0 . mi n . . , i F DA WD A s t i a G                                                                                               (2)    Step 1: Initialize the di ction a ry  D , such as  the over-com plete DCT dictionary.  Step 2: Sparse encodin g , use OMP  Algo rithm on the known dictio na ry D   2 2 1 K j iT F j F YD W Y d W    2 jk jT k T jk F Yd W d W                                                                                                         (3)                           In the above  formul a,  DW  is d e c omp o sed int o  the sum of  matrix with  K orders which  i s   1. Assume  t hat  1 K  items  are fixed, the  rest 1   colum n  the  th k  on e to  be  processe d an d   update d  [10].    Step 3: Upd a t e diction a ry D . Firstly, assu me that  the  sparse m a trix  W  and di ction a r D  are fixed  an d that it is to  update th th k k d in the di ctiona ry. Set the correspon ding  th k  row  to  k d  in the c oeffic i ent matrix  W  as  k T w , then:      2 22 2 () jk k k k jT k T k k k T k R k R F F F jk F YD W Y d w d W E d w E d w                          (4)     j T w  mean s th th j  row   of matr ix  W . In the a bove  formula,  DW  is  d e com p o s ed  i n to the  sum  of   K  order whi c h  is 1. A s sume  that th 1 K  items  are fi xed, the  rem a ining  1 i s  th th k  to  be pro c e s sed  [11].    Step 4: The  diction a ry is  update d   ro by row. Th spa r se matrix   W  and the di ctionary  D  are fixed. Set the correspo nding  th k  row to  k d  in the c oeffic i ent matrix  W  as  k T w Step 5: De co mpose  k R E  into  kT R EU V  with SVD. Mak e   k d  as the fi rst  colum n  of   U   and the n   k d  is the up date re sult of  k d . In the mean while,  update th e produ ct of the first  colum n   of  V  and then use the dictionary  D  to perform  coeffi cient de com positio n after update i s   compl e ted column by column.   Step 6: Jud ge  wheth e the e s tabli s h ed iteration s  or th e e r ro r rate b e twe en the   recon s tru c ted  signal an d the origi nal si gnal are  sati sfied. If it meets the ab o v e terminatio con d ition, out put the final redun dant di ctionary D , otherwise, turn to Step 2.    3.2. OMP Algorithm   OMP algo rithm is imp r oved from  MP algorith m  in perfo rming orth og onali z ation   pro c e ssi ng o n  all atoms  selecte d  in ev ery de comp o s it ion st e p .  I t  sele ct s t he  c o lumn of    with  gree dy iterati on to make the sel e cte d  colum n  in  every iteration  clo s ely relate d to the current   redu nda ncy  vector to the maximum  extend and  it reduce s  the relevan t  part from the   measurement  vector  until the iter ations  rea c h th e sp arsene ss  K [12]. The p r o c ed ure s  of O M algorith m  are  as follo ws:    (1) Assum e  that the ove r-co m plete di ctiona ry is  12 [, , , , ] L Dd d d  and the origi nal   sign al is  y , initi a lize the  sparseness  S , the redu nda ncy  0 y , s u pport index s e 0 A   and   the initial iteration.  (2)  Cal c ulate  and get the sup port ind e x and perfo rm  signal ap pro x imation and  margin   update  with the lea s t squ a r e metho d .   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 2, June 20 16 :  607 – 61 2   610 2 ar g m i n WY W                                                                                                                    (5)     (3) Introdu ce  the sign al su pport set.     , ne w YW                                                                                                                                (6)    (4)  Upd a te the resi dual e r ror.     1 () ss s s TT sk k k k yD D D D y                                                                                                         (7)    (5) Calculate  the  co rrelati on  coeffici ent     by se eki n g  the  ma rgin   m  and th ab so lute  value of the inner p r o d u c t in the sen s in g  matrix     |, , 1 , 2 , ii i mw i N                                                                                      (8)    (6)  Jud ge wh ether the iterative termin a t ion con d ition s  are  satisfie d. If  ne w mm  make  ne w mm  and  1 nn   and turn ba ck to Step ( 2 ) .     (7) If the con d itions a r sa tisfi ed, output  the sup port i ndex set  1 nn   and  the spa r se  coeffici ent 1 () mm m m TT kk k k D DD D y .       4. The Steps  of Multi-so u r ce Image F u sion Algori t hm Bas e d o n  Sparse Re presen ta tion   The advanta ge to apply sparse  representation in im age fusi on  is  that it can de comp ose   the imag e int o  differe nt freque ncy d o m ains,  use d i fferent sele ction rule s in   different d o m a ins  and obtai n th e multi-resolu tion decomp o s ition of the  f u se d imag e so as to p r e s e r ve sig n ifica n feature s  of th e origi nal ima ges i n  differe nt freque ncy  domain s  in th e fuse d imag e. Acco rdi ng  to   the idea of m u lti-so urce im age fusi on al gorithm of   sp arse re prese n tation co mpressive se nsi n g,  firstly, perform pre c ise g eometri c regi strati on  on the so urce i m age s. The n  take the  over- compl e te dict ionary DCT  diction a ry as the initial dictiona ry  D  of K-SVD algo ri thm. Perform   spa r se d e co mpositio n o n   the noi sy  images in the init ial dictionary  D with OMP  algorithm [13]. In  th is  pr oc ess ,   ta k e   G  a s  th e t e rmin ation  co ndition  of the  iteratio ns of  OMP alg o rith m, namely  to   r e pr es e n t  th e ma ximu m ite r a t io ns .      2 20 mi n , , 1 , 2 ii i y Dw w G i N                                                                                (9)    Obtain the ne ce ssary sparse coefficie n t matrix  X  for K-SVD algorith m  throug h Fo rmu l a   (9). Th e algo rithm pro c ed ure cha r t is indi cated a s  Figu re 2.           Figure 2. The  procedu re of  this pape Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Multi-source  and Multi-fe ature Im age Inform ation Fusi on Base d on … (Qin gzh a o  Li)  611 5. Simulation Experimen t al Tes t  and  Resul t  An aly s is  The CP U use d  in the simul a tion experi m ent  is Intel(R) Core(TM )  i3-2370M  @ 2.4 0 GHz  with a memo ry of 4GB and the prog ram m ing platform  is Matlab 20 11a.   Simulation e x perime n t ha s bee n mad e  to the mul t i-sou r ce ima ge fusio n  ba sed o n   spa r se  rep r e s entatio n p r o posed i n  thi s  pap er  and   i n  orde r to  co mpare the  fu sion  effect of 4  algorith m s, we perfo rm fuzzy pro c e s sin g  in the  left side and  right  side of the  source ima ge,  as  indicated in F i gure 3.          (a) O r igin al image   (b)  Right-fo c u s  image   (c) Left-fo cu s image     Figure 3. Focus imag e       In the exp e ri ment, we  u s e weighte d  a v erage  meth od, pri n ci pal  comp one nt a nalysi s   method  (P CA), IHS tran sfo r m m e thod  a nd the  met hod  o f  th is   p a per   w i th   the right-foc u s   and left- focu s image s as the so urce image s and  obtain t he fusion results a s  indi cated in  Figure 4.        (a) Pri n ci pal compon ent an alysis    (b) Weig hted averag meth od       (c) IHS trans f orm method    (d) T h is pa pe r method     Figure 4. Fused image  re sults      It can  be  se en fro m  the  above im age s that  perfo rm fusio n  p r o c e ssi ng  on t w o fu zzy   image which de scrib e  th e sa me o b je ct and  wh ich  are fu zzy in  different  sp ots by a dopti ng  different fu sion op erato r s throug h th e different f r equ en cy-d o m ain comp o nents i n  ea ch  decompo sitio n  level a nd  obtain the  fin a l fuse wav e let pyrami d. Perform hig h -lo w  fre que ncy   fusion  rul e  a nd multi - scal e reco nst r u c tion o n  the  fuse wavelet  pyrami d, th e reco nst r u c te d   image obtai n ed is the fuse d image.   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 2, June 20 16 :  607 – 61 2   612 It is clear that  the fused im age ha s cl early  shown the feature s  of the obje c t. The metho d   of this pa per has  achieve d  better fu sio n  effec t. The  left and rig h t  side s are very cle a and  it  pre s e r ves th e useful info rmation of multiple  origin al image s and  obtain s  the fuse d image  with  clea r obje c tive focu s. The fuse d image h a s the featu r e s  of both ima ges.        6. Conclusio n   Based o n  the traditional i m age fusi on  framewo r k, this pape r h a s propo se s a multi- sou r ce and  multi-feature image info rm ation fusi o n  method ba se d on co mpre ssive  sen s in g. It  integrate s  th e comp re ssi ve sensi ng sparse re presentation theo ry with the idea of wave let  transfo rm, ex plore s  the fea s ibility of the theory to be u s ed in the im age fusi on an d make s ima g e   fusion  experi m ent ba sed  o n  the comp re ssive  se ns i n g  domain. T h e  experim ent result h a sh o w that the method of this p aper  ca n accomplish bette r effect, red u c e si gnal  sa mpling rate a nd  greatly re du ce the sampli n g  data. It is suitable  for the  image fusio n  with a large  amount of dat a.       Ackn o w l e dg ements   This  work wa s su ppo rted  by the University  Natural Scien c e Project of Anhui  Province   (Grant No. KJ2014Z D3 1).       Referen ces   [1]    Stefan Posla d ,  Kraisak Kesor n . A Multi-Mod a l Incomp lete n e ss Ontolog y   Mode l (MMIO) to Enhance   Information F u sion for Image  Retriev a l.  Informati on F u si on .  2014; 2 0 (11):  225- 241.   [2]    Ozge Oztimur  Karadag, Fatos  T .  Yarman  Vural. Imag Segme n tatio n   b y  F u sio n  of L o w  L e vel  an Domai n  S pecifi c  Informatio n  v i a Mark ov  Ran dom F i elds.  P a ttern Rec ogn iti on  Letters . 2 0 1 4 ; 46( 1): 75- 82.   [3]    Marina V e lik ov a, Peter JF  Lucas, Mauric e  Samu lski, et  al. A Proba bil i s tic F r ame w o r k for Image   Information  F u sion   w i th  a n  A pplic atio n to  M a mmogr aph ic  Anal ys is.  Medical I m age  Analysis . 2 012;   16(4): 86 5-8 7 5 .   [4]    Z hai Xuem ing,  Z hang Do ng ya, De w e n W a n g . F eature Extr action a nd Cl a ssificatio n  of Electric Po w e r   Equi pment Images Bas ed  on Cor ner Inv a ria n t Moment s.  T E LKOMNIKA Indon esia n Journ a l o f   Electrical E ngi neer ing . 2 012;  10(5): 10 51- 10 56.   [5]    Ren bo Lu o, W enzh i  Lia o , Yougu o Pi. Discri m inativ e Super vised Ne ig hbor hoo d Preservi n g  Embed din g   F eature E x tra c tion for H y p e rs pectralimage Classification.  T E LKOMNIKA Indones ia n Journ a l of   Electrical E ngi neer ing . 2 014;  12(6): 42 00- 42 05.   [6]    Mand eep  Sin g h , Sukh w i nd er  Sing h, Savita  Gupt a. An Inf o rmatio n  F u sio n  Base d Meth od for L i ver   Classific a tio n  u s ing T e xture A nal ysis  of Ultra soun d Images.   Informati on F u sion . 20 14; 19( 9): 91-96.   [7]    Max Mig notte. A La bel  F i el d F u sio n  Mo d e w i t h  A Var i ation  of Infor m ation Estim a tor for Image   Segmentation.  Information Fusion . 20 14; 20( 11): 7-20.    [8]    Jürge n  H ahn,  Christia n D e b e s , Michae l L e i g sneri ng,  et al. Compress ive Sensi ng an A daptiv D i rect  Sampli ng i n  H y persp ectral Imagi ng.  Dig ital S i gn al Process i n g . 2014; 2 6 (3): 113- 126.   [9]    Soora j  K  Amb a t, Saikat  Ch a tterjee, KVS  H a ri. Pro g ressiv e  F u si on  of R e constructi on   Algorit hms for   Lo w  L a tenc y A pplic atio ns in C o mpress ed Se nsin g.  Sign al P r ocessi ng . 20 1 4 ; 97(4): 14 6-1 51.   [10]    Fatemeh Faze l ,  Mar y am Faze l, Milica Stoj an ovic. Compr e s s ed Se nsin g in  Rand om Acce ss Net w orks   w i t h  App licati o ns to Under w a t e r Monitor i ng.  Physica l Co mmu n ic ation . 2 0 12; 5(2): 14 8-1 60.   [11]    Karin Sc hn ass .  On the Ide n t ifiabil i t y  of Ov ercompl e te D i c tionar ies vi the Min i misati on Pri n cip l e   und erl y i ng K-S V D.  Appli ed a n d  Co mp utatio n a l Har m o n ic A nalysis . 2 0 1 4 ; 37(3): 46 4-4 9 1 .   [12]    Sajj ad D adkh a h , Azizah A bd  Manaf, Yosh ia ki Ho ri, et a l . An Effective S V D-bas ed Ima ge T a mperin g   Detectio a nd Self-recov e r y  usin Active W a termarkin g.  Sign al Pr oces sing: I m a ge C o mmunic a tio n 201 4; 29(1 0 ): 1197- 121 0.   [13]    Ahmed H Els h eikh, Mar y  F   W heel er, Ibrah i m Hote it. Spa r se Cali brati o n  of Subsurface  F l o w  Mo dels  usin g N onl ine a r Orthog ona l  Matchin g  P u rsuit an d A n  Iterative Sto c hastic E n se mble M e tho d Advanc es in W a ter Reso urces . 2013; 56( 6): 14-26.     Evaluation Warning : The document was created with Spire.PDF for Python.