T E L KO M NIK A , V o l . 1 4 No . 2 , J u n e  2 0 1 6 p p . 6 1 3 ~ 6 2 1 IS S N: 1 6 9 3 - 6 9 3 0 , a ccr e d i te d A b y D IK T I,  D e cr e e  N o : 5 8 /D I K T I/K e p /2 0 1 3 D OI: 1 0 .1 2 9 2 8 /T E L K OM N IK A .v1 4 i 1 . 2 7 4 9 6 1 3 Re c e i v e d De c e m b e r 1 7 2 0 1 5 ; R e v i s e d M a r c h  1 9 , 2 0 1 6 ; A c c e p t e d A p r i l   6 , 2 0 1 6 F u si o n   o f  In f r ar ed  an d  V isib l e I m ag es  Base d  o n No n - s u b sa m p le  Co n t o u r let   T r a n sf o r m T in g m a n  Z h a n g 1 * , Q in g  W a n g 2 1 X i ' a n   I n n o v a t i o n   C o l l e g e ,   Y a n a n   U n i v e rs i t y ,   X i ' a n   7 1 0 1 0 0 ,   S h a a n x i   C h i n a 2 Sc h o o l   o f   Au t o m a t i o n a n d   I n f o rm a t i o n   E n g i n e e ri n g ,   X i a n   U n i v e rs i t y o f   T e c h n o l o g y , X i a n 7 1 0 0 4 8 ,   S h a a n x i   C h i n a * C o rre s p o n d i n g   a u t h o r,   e - m a i l :   1 4 6 4 5 2 7 9 0 7 @ q q . c o m Ab s t r a c t F o t h e   s i n g l e   s p e c t ru m   i m a g e   c o u l d   n o t   f u l l y   e x p r e s s   t h e   t a rg e t   f e a t u re   i n f o rm a t i o n ,   t h i s   p a p e r p ro p o s e d   a m u l t i s p e c t ra l   i m a g e   f u s i o n   m e t h o d   b a s e d   o n   n o n - s u b s a m p l e   c o n t o u rl e t   t ra n s f o r m ( N SC T ) .   F o r t h e   l o w   f re q u e n c y   c o e f f i c i e n t s   d e c o m p o s e d ,   f o u rt h - o rd e c o rre l a t i o n   c o e f f i c i e n t   i s   u s e d   t o   c a l c u l a t e   t h e c o rre l a t i o n   b e t w e e n   e a c h   l o w   f re q u e n c y   c o e f f i c i e n t s ,   a v e ra g i n g   f u s i o n   f o t h e   h i g h e c o rre l a t i o n   c o e f f i c i e n t , w e i g h t   p h a s e   c o n g ru e n c y   f u s i o n   f o t h e   l o w   c o rre l a t i o n   c o e f f i c i e n t .   F o h i g h   f re q u e n c y   c o e f f i c i e n t s , G a u s s i a n   w e i g h t   s u m   m o d i f i e d   L a p l a c e   m e t h o d   i s   u s e d   f o r   f u s i n g ,   t o   re t a i n   m o re   l o c a l   s t ru c t u r e   d e t a i l s . S i m u l a t i o n   re s u l t s   s h o w   t h a t   t h e   m e t h o d   e f f e c t i v e l y   r e t a i n   t h e   i m a g e   s t ru c t u r e   i n f o rm a t i o n   a n d   m o re   l o c a l d e t a i l s ,   a n d   i n c re a s e   t h e   i m a g e   c o n t ra s t . K e y w o r d s :   I m a g e   F u s i o n , N S C T , W e i g h t   Ph a s e   C o n g r u e n c y , Su m   M o d i f i e d   L a p l a c i a n C o p y r i g h t © 2 0 1 6   U n i v e r s i t a s A h m a d   D a h l a n .   A l l   r i g h t s   r e s e r v e d . 1 . In t r o d u c t io n S c e n e   i m a g i n g   o f   d i f f e r e n s p e c tr a l   r a n g e s   h a s   d i f f e r e n c h a r a c te r i s ti c s I n f r a r e d s p e c tr u m   i s   q u i te   s e n s i ti v e   to   th e   te m p e r a tu r e   i n f o r m a ti o n   a n d   c a n   i m a g e   i n   th e   n i g h v i s i o n wh i l e   th e   v i s i b l e   i m a g e   i s   s tr o n g   i n   d e ta i l   d e s c r i p t i o n ,   b u w e a k   i n   n i g h t - v i s i o n   i m a g i n g   q u a l i t y ; th e   f u s i o n   o f   i n f r a r e d   a n d   v i s i b l e   i m a g e s   c a n   o v e r c o m e   th e   s h o r tc o m i n g   o f   s i n g l e   s p e c tr u m i m a g e  a n d   i m p r o v e  th e  i m a g e  q u a l i t y . Co n to u r l e tr a n s f o r m   i s   a n   i m a g e   a n a l y s i s   to o l   u n d e r   th e   f r a m e w o r k   o f   m u l ti - s c a l e g e o m e tr i c   a n a l y s i s C o m p a r e d   wi th   wa v e l e tr a n s f o r m Co n to u r l e tr a n s f o r m   h a s   b e tte r d i r e c ti v i t y   a n d   a n i s o tr o p y [1 ].  S i n c e   i i s   n o tr a n s l a ti o n - i n v a r i a n t C o n to u r l e t   tr a n s f o r m   h a s p s e u d o - G i b b s   p h e n o m e n a   i n   t h e   s i n g u l a r   p o i n o r   l i n e A r th u r   a n d   o th e r   p e o p l e [2 ]   h a v e r e m o v e d   th e s u b - s a m p l i n g   p r o c e s s   i n   t h e   Co n to u r l e tr a n s f o r m   c r e a ti v e l y p r o p o s e d No n s u b s a m p l e d   Co n t o u r l e t   T r a n s f o r m ( NS CT ) r e p l a c e d   th e   tr a n s l a t i o n   i n v a r i a n c e   a t h e   c o s o f c e r ta i n   r e d u n d a n c y   a n d   e l i m i n a te d   th e   p s e u d o - G i b b s   p h e n o m e n a   a n d   i i s   a p p l i c a b l e   to   th e a n a l y s i s   o f   n a tu r a l   s c e n e   i m a g e T h e   i m a g e   f u s i o n   m e th o d   b a s e d   o n   N S CT   fo c u s e s   o n   th e c o m b i n a t i o n   o f   th e   d e c o m p o s e d   l o w - a n d   h i g h - f r e q u e n c y   c o e f f i c i e n ts   a c c o r d i n g   t o   c e r ta i n   r u l e s . L i te r a tu r e [3 - 6 c o n s i d e r   th e   p i x e l   p o s i ti o n   i n f o r m a ti o n   a n d   th i n k   th a th e   p i x e l s   wh i c h   a r e   c l o s e r to   th e   c e n tr a l   p i x e l   h a s   m o r e   s i g n i f i c a n i m p a c o n   th e   c e n tr a l   p i x e l   a n d   t h e y   u s e   d i f f e r e n f u s i o n m e th o d s   to   l o w - a n d   h i g h - f r e q u e n c y   c o e f f i c i e n ts   a n d   o b ta i n   b e tte r   f u s i o n   e f f e c ts L i te r a t u r e [7 ] p r o v i d e s   a   n e w   i d e a   f o r   th e   i m a g e   f u s i o n   r u l e s   b y   u s i n g   i m a g e   q u a l i t y   e v a l u a t i o n   to   c o n d u c t i te r a t i v e   f u s i o n   to   th e   i m a g e s h o w e v e r s tr u c tu r e   s i m i l a r i t y [8 ( S S IM )   h a s   s i n g l e   c o m p u ta ti o n a l s c a l e i d o e s n c o n s i d e r   th e   p i x e l   p o s i ti o n   i n f o r m a ti o n   a n d   i h a s   b a d   i n f r a r e d   i m a g e   p r o c e s s i n g e f f e c t [9 ]. T h i s   p a p e r   i n te g r a te s   t h e   4 th - o r d e r   c o r r e l a t i o n   c o e f f i c i e n ts   a n d   p h a s e   c o n g r u e n c y   a n d p r o p o s e s   a   f u s i o n   m e th o d   o f   i n f r a r e d   a n d   v i s i b l e   i m a g e s   b a s e d   o n   NS CT It  fu s e s   th e   l o w - f r e q u e n c y   c o e f f i c i e n ts   wi th   l o w   c o r r e l a t i o n   b y   u s i n g   a n   i m p r o v e d   p h a s e   c o n g r u e n c y   a n d   th e m e a n   v a l u e   o f   th e   c o e f f i c i e n ts   w i t h   h i g h   c o r r e l a t i o n   a n d   p e r f o r m   f u s i o n   to   t h e   h i g h - f r e q u e n c y c o e f f i c i e n ts   w i t h   G a u s s i a n   we i g h ti n g   S M L T h e   e x p e r i m e n s h o w s   th a th e   f u s i o n   m e th o d   o f   th i s p a p e r  c a n  h a v e  b e tte r  q u a n ti z a ti o n  r e s u l i n   d i f f e r e n t e v a l u a ti o n  s ta n d a r d s . Evaluation Warning : The document was created with Spire.PDF for Python.
IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 1 4 2 . No n s u b S a m p le d   Co n t o u r le t  T r a n s f o r m ( NS CT ) NS CT   i s   m a d e   u p   o f   No n s u b S a m p l e d   P y r a m i d   ( NS P )   a n d   No n s u b S a m p l e d   D i r e c ti o n a l F i l te r   B a n k   ( NS DF B ) a s   i n d i c a t e d   i n   F i g u r e 1 T h e   n o n s u b s a m p l i n g   p r o c e s s   i s   r e a l i z e d   b y à tr o u s a l g o r i th m , wh i c h  h a s  l o w c o m p u ta ti o n a l  c o m p l e x i t y NS P  m a i n l y   p e r f o r m s   m u l ti - r e s o l u ti o n r e p r e s e n ta ti o n   to   th e   i m a g e   a n d   NS DF B   r e a l i z e s   th e   tr a n s l a t i o n   i n v a r i a n c e   a n d   o b ta i n s   th e p r e s e n ta t i o n  o f  h i g h - f r e q u e n c y  d e ta i l s . F i g u r e   1 . C o n s ti t u ti o n   o f  NS CT F i g u r e 2   i s   th e   r e s u l o f   2 n d - o r d e r   NS CT   d e c o m p o s i ti o n   o f   L e n a   i m a g e F r o m   th e d e c o m p o s i ti o n   r e s u l t,  i c a n   b e   s e e n   th a t h e   h i g h - f r e q u e n c y   s u b - b a n d   a f te r   th e   i m a g e   p y r a m i d i s   d e c o m p o s e d   b y   N S DF B   s h o w s   d i f f e r e n d i r e c ti v i t y ;   th e r e f o r e NS CT   c a n   e ff e c ti v e l y d e te c t s u c h  s i n g u l a r  c h a r a c te r i s ti c s  a s  th e   i m a g e  c u r v e . L e n a                   L o F r e q u e n c y T h e  1 s t - o r d e r  h i g h - f r e q u e n c y   d e t a i l s T h e  2 n d - o r d e r   h i g h - f r e q u e n c y   d e t a i l s F i g u r e 2 . R e s u l o f  2 n d - o r d e r  n s c t d e c o m p o s i ti o n  o f  l e n a IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 1 4 2 . No n s u b S a m p le d   Co n t o u r le t  T r a n s f o r m ( NS CT ) NS CT   i s   m a d e   u p   o f   No n s u b S a m p l e d   P y r a m i d   ( NS P )   a n d   No n s u b S a m p l e d   D i r e c ti o n a l F i l te r   B a n k   ( NS DF B ) a s   i n d i c a t e d   i n   F i g u r e 1 T h e   n o n s u b s a m p l i n g   p r o c e s s   i s   r e a l i z e d   b y à tr o u s a l g o r i th m , wh i c h  h a s  l o w c o m p u ta ti o n a l  c o m p l e x i t y NS P  m a i n l y   p e r f o r m s   m u l ti - r e s o l u ti o n r e p r e s e n ta ti o n   to   th e   i m a g e   a n d   NS DF B   r e a l i z e s   th e   tr a n s l a t i o n   i n v a r i a n c e   a n d   o b ta i n s   th e p r e s e n ta t i o n  o f  h i g h - f r e q u e n c y  d e ta i l s . F i g u r e   1 . C o n s ti t u ti o n   o f  NS CT F i g u r e 2   i s   th e   r e s u l o f   2 n d - o r d e r   NS CT   d e c o m p o s i ti o n   o f   L e n a   i m a g e F r o m   th e d e c o m p o s i ti o n   r e s u l t,  i c a n   b e   s e e n   th a t h e   h i g h - f r e q u e n c y   s u b - b a n d   a f te r   th e   i m a g e   p y r a m i d i s   d e c o m p o s e d   b y   N S DF B   s h o w s   d i f f e r e n d i r e c ti v i t y ;   th e r e f o r e NS CT   c a n   e ff e c ti v e l y d e te c t s u c h  s i n g u l a r  c h a r a c te r i s ti c s  a s  th e   i m a g e  c u r v e . L e n a                   L o F r e q u e n c y T h e  1 s t - o r d e r  h i g h - f r e q u e n c y   d e t a i l s T h e  2 n d - o r d e r   h i g h - f r e q u e n c y   d e t a i l s F i g u r e 2 . R e s u l o f  2 n d - o r d e r  n s c t d e c o m p o s i ti o n  o f  l e n a IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 1 4 2 . No n s u b S a m p le d   Co n t o u r le t  T r a n s f o r m ( NS CT ) NS CT   i s   m a d e   u p   o f   No n s u b S a m p l e d   P y r a m i d   ( NS P )   a n d   No n s u b S a m p l e d   D i r e c ti o n a l F i l te r   B a n k   ( NS DF B ) a s   i n d i c a t e d   i n   F i g u r e 1 T h e   n o n s u b s a m p l i n g   p r o c e s s   i s   r e a l i z e d   b y à tr o u s a l g o r i th m , wh i c h  h a s  l o w c o m p u ta ti o n a l  c o m p l e x i t y NS P  m a i n l y   p e r f o r m s   m u l ti - r e s o l u ti o n r e p r e s e n ta ti o n   to   th e   i m a g e   a n d   NS DF B   r e a l i z e s   th e   tr a n s l a t i o n   i n v a r i a n c e   a n d   o b ta i n s   th e p r e s e n ta t i o n  o f  h i g h - f r e q u e n c y  d e ta i l s . F i g u r e   1 . C o n s ti t u ti o n   o f  NS CT F i g u r e 2   i s   th e   r e s u l o f   2 n d - o r d e r   NS CT   d e c o m p o s i ti o n   o f   L e n a   i m a g e F r o m   th e d e c o m p o s i ti o n   r e s u l t,  i c a n   b e   s e e n   th a t h e   h i g h - f r e q u e n c y   s u b - b a n d   a f te r   th e   i m a g e   p y r a m i d i s   d e c o m p o s e d   b y   N S DF B   s h o w s   d i f f e r e n d i r e c ti v i t y ;   th e r e f o r e NS CT   c a n   e ff e c ti v e l y d e te c t s u c h  s i n g u l a r  c h a r a c te r i s ti c s  a s  th e   i m a g e  c u r v e . L e n a                   L o F r e q u e n c y T h e  1 s t - o r d e r  h i g h - f r e q u e n c y   d e t a i l s T h e  2 n d - o r d e r   h i g h - f r e q u e n c y   d e t a i l s F i g u r e 2 . R e s u l o f  2 n d - o r d e r  n s c t d e c o m p o s i ti o n  o f  l e n a Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 1 5 3 . De s ig n  o f  F u s io n  Ru le 3 .1 , L o w - F r e q u e n c y  Co e f f ic ie n t  F u s io n  B a s e d  o n  W e ig h t  P h a s e  Co n g r u e n c y T h e   l o w - f r e q u e n c y   c o e f f i c i e n ts   a f te r   NS CT   d e c o m p o s i ti o n   i n c l u d e   th e   m a i n   i m a g e e n e r g y   a n d   i c a n   b e   s e e n   a s th e   a p p r o x i m a te   c o m p o n e n o f   th e   i m a g e F o r   th e   d i f f e r e n t s p e c tr a l   i m a g i n g   o f   th e   s a m e   s c e n e th e   d e c o m p o s e d   l o w - f r e q u e n c y   c o e f f i c i e n t s   h a v e   d i f f e r e n t c o r r e l a ti o n T h e   c o m p o n e n t   wi th   l o w   c o r r e l a t i o n   m e a n s   b i g g e r   d i f f e r e n c e s   i n   th e   i m a g e   w h i l e   t h e c o m p o n e n t wi th   h i g h   c o r r e l a t i o n   m e a n s   th a t h e   i m a g e   h a s   a p p r o x i m a te   s tr u c tu r e T h i s   p a p e r f u s e s   th e   c o m p o n e n wi th   l o w   c o r r e l a ti o n   a n d   th e   c o m p o n e n w i t h   h i g h   c o r r e l a ti o n   b y   u s i n g we i g h t p h a s e  c o n g r u e n c y   a n d  ta k i n g  m e a n   v a l u e  r e s p e c ti v e l y [ 1 0 ] . T h e   p h y s i o l o g i c a l a n d   p s y c h o l o g i c a l   r e s e a r c h   r e s u l ts   d e m o n s tr a te   th a t   th e c h a r a c te r i s ti c s   th a p e o p l e   p a y   a t te n t i o n   to   h a v e   c e r ta i n   p h a s e   c o n g r u e n c y   i n   t h e   i m a g e f r e q u e n c y   d o m a i n n a m e l y   th a t   th e   p o i n ts   w i t h   p h a s e   c o n g r u e n c y   i n c l u d e   th e   i m p o r ta n i m a g e f e a tu r e   i n f o r m a ti o n   [ 1 1 ].   T h e   th e o r y   o f   p h a s e   c o n g r u e n c y   ( P C )   b u i l d s   th e   m o d e l   o f   m a m m a l s r e c o g n i z i n g   o b j e c f e a tu r e s It  i s   a   m e a n s   to   m e a s u r e   th e   s i g n i f i c a n c e   o f   th e   l o c a l   i m a g e s tr u c tu r e   a n d   i h a s   n o th i n g   to   d o   wi th   d i m e n s i o n D i f f e r e n f r o m   th e   c o m m o n   m o d e l s   w h i c h d e f i n e t h e   i m a g e   f e a tu r e   wh e r e   t h e   i m a g e   g r a y s c a l e   c h a n g e s P m o d e l   d e f i n e s   th e   i m a g e f e a tu r e   i n   th e   m a x i m u m   p h a s e   v a l u e It   i s   d e f i n e d   a s   F o r m u l a   ( 1 ) : ( ) E x i s   th e   r o o m e a n   s q u a r e o f   th e   s u m   o f   th e   f i l te r   r e s p o n s e s   i n   d i f f e r e n s c a l e s , ( ) n A x i s   th e   r o o m   m e a n   s q u a r e   o f   th e   f i l te r r e s p o n s e   i n  c e r ta i n  s c a l e , n i s  th e  s c a l e  a n d e i s  a  n o n - z e r o  c o n s ta n t. ( ) ( ) ( ) n n E x P C x A x e ( 1 ) T h e   c a l c u l a ti o n   o f   th e   i m a g e   f i l t e r   r e s p o n s e s   i n   d i f f e r e n s c a l e s   c h o o s e s   th e   c o m m o n - u s e d   l o g - G a b o r   f i l te r   i n   t h e   i m a g e   a n a l y s i s   f i e l d Its   tw o - d i m e n s i o n a l   f r e q u e n c y   d o m a i n r e p r e s e n ta ti o n  i s   i n d i c a t e d   a s  F o r m u l a   ( 2 ) : 2 2 0 2 2 2 l og / ( , ) e xp e xp 2 2 j r G q q q w w w q s s ( 2 ) He r e , 0 w i s   th e   c e n t e r   f r e q u e n c y   o f   th e   f i l te r , r s c o n tr o l s   th e   b a n d wi d t h   o f   th e   f i l te r , j q i s   th e   A z i m u th   o f   th e   f i l te r , / j j J q p { 0 , 1 , , 1 } j J , J i s   th e   n u m b e r   o f   th e   A z i m u th s   a n d q s c o n tr o l   th e   a n g l e   b a n d wi d th   o f th e   A z i m u th   o f   th e   f i l te r F i g u r e 3   i s   th e   th r e e - d i m e n s i o n a l d i a g r a m  o f  l o g - G a b o r  f i l te r  f r e q u e n c y  d o m a i n . ( a )  Ra d i a l  c o m p o n e n t ( b )  P h a s e  c o m p o n e n t ( c )  l o g - g a b o r  f i l te r F i g u r e 3 . T h r e e - d i m e n s i o n a l  d i a g r a m  o f  l o g - g a b o r  f i l te r F o r   th e   2 i m a g e ( ) f x , o n M a n d e n M a r e   th e   o r t h o g o n a l   o d d - a n d   e v e n - s y m m e tr y   f i l te r s c o n s tr u c te d   b y   l o g - G a b o r   f i l te r   i n   th e   s c a l e n r e s p e c ti v e l y T o   c h a n g e   th e   f i l te r   f r e q u e n c y - d o m a i n   r e s p o n s e s   b y   a d j u s ti n g 0 w a n d j q c o n v o l v e s o n M a n d e n M wi th   i m a g e ( ) f x a n d   o b ta i n s th e  f i l t e r  r e s p o n s e  i n  P o i n t x , wh i c h   h i s  s h o wn  a s  F o r m u l a   ( 3 ) : , , ( ) , ( ) ( ) , ( ) j j e o n n n n e x o x f x M f x M q q ( 3 ) T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 1 5 3 . De s ig n  o f  F u s io n  Ru le 3 .1 , L o w - F r e q u e n c y  Co e f f ic ie n t  F u s io n  B a s e d  o n  W e ig h t  P h a s e  Co n g r u e n c y T h e   l o w - f r e q u e n c y   c o e f f i c i e n ts   a f te r   NS CT   d e c o m p o s i ti o n   i n c l u d e   th e   m a i n   i m a g e e n e r g y   a n d   i c a n   b e   s e e n   a s th e   a p p r o x i m a te   c o m p o n e n o f   th e   i m a g e F o r   th e   d i f f e r e n t s p e c tr a l   i m a g i n g   o f   th e   s a m e   s c e n e th e   d e c o m p o s e d   l o w - f r e q u e n c y   c o e f f i c i e n t s   h a v e   d i f f e r e n t c o r r e l a ti o n T h e   c o m p o n e n t   wi th   l o w   c o r r e l a t i o n   m e a n s   b i g g e r   d i f f e r e n c e s   i n   th e   i m a g e   w h i l e   t h e c o m p o n e n t wi th   h i g h   c o r r e l a t i o n   m e a n s   th a t h e   i m a g e   h a s   a p p r o x i m a te   s tr u c tu r e T h i s   p a p e r f u s e s   th e   c o m p o n e n wi th   l o w   c o r r e l a ti o n   a n d   th e   c o m p o n e n w i t h   h i g h   c o r r e l a ti o n   b y   u s i n g we i g h t p h a s e  c o n g r u e n c y   a n d  ta k i n g  m e a n   v a l u e  r e s p e c ti v e l y [ 1 0 ] . T h e   p h y s i o l o g i c a l a n d   p s y c h o l o g i c a l   r e s e a r c h   r e s u l ts   d e m o n s tr a te   th a t   th e c h a r a c te r i s ti c s   th a p e o p l e   p a y   a t te n t i o n   to   h a v e   c e r ta i n   p h a s e   c o n g r u e n c y   i n   t h e   i m a g e f r e q u e n c y   d o m a i n n a m e l y   th a t   th e   p o i n ts   w i t h   p h a s e   c o n g r u e n c y   i n c l u d e   th e   i m p o r ta n i m a g e f e a tu r e   i n f o r m a ti o n   [ 1 1 ].   T h e   th e o r y   o f   p h a s e   c o n g r u e n c y   ( P C )   b u i l d s   th e   m o d e l   o f   m a m m a l s r e c o g n i z i n g   o b j e c f e a tu r e s It  i s   a   m e a n s   to   m e a s u r e   th e   s i g n i f i c a n c e   o f   th e   l o c a l   i m a g e s tr u c tu r e   a n d   i h a s   n o th i n g   to   d o   wi th   d i m e n s i o n D i f f e r e n f r o m   th e   c o m m o n   m o d e l s   w h i c h d e f i n e t h e   i m a g e   f e a tu r e   wh e r e   t h e   i m a g e   g r a y s c a l e   c h a n g e s P m o d e l   d e f i n e s   th e   i m a g e f e a tu r e   i n   th e   m a x i m u m   p h a s e   v a l u e It   i s   d e f i n e d   a s   F o r m u l a   ( 1 ) : ( ) E x i s   th e   r o o m e a n   s q u a r e o f   th e   s u m   o f   th e   f i l te r   r e s p o n s e s   i n   d i f f e r e n s c a l e s , ( ) n A x i s   th e   r o o m   m e a n   s q u a r e   o f   th e   f i l te r r e s p o n s e   i n  c e r ta i n  s c a l e , n i s  th e  s c a l e  a n d e i s  a  n o n - z e r o  c o n s ta n t. ( ) ( ) ( ) n n E x P C x A x e ( 1 ) T h e   c a l c u l a ti o n   o f   th e   i m a g e   f i l t e r   r e s p o n s e s   i n   d i f f e r e n s c a l e s   c h o o s e s   th e   c o m m o n - u s e d   l o g - G a b o r   f i l te r   i n   t h e   i m a g e   a n a l y s i s   f i e l d Its   tw o - d i m e n s i o n a l   f r e q u e n c y   d o m a i n r e p r e s e n ta ti o n  i s   i n d i c a t e d   a s  F o r m u l a   ( 2 ) : 2 2 0 2 2 2 l og / ( , ) e xp e xp 2 2 j r G q q q w w w q s s ( 2 ) He r e , 0 w i s   th e   c e n t e r   f r e q u e n c y   o f   th e   f i l te r , r s c o n tr o l s   th e   b a n d wi d t h   o f   th e   f i l te r , j q i s   th e   A z i m u th   o f   th e   f i l te r , / j j J q p { 0 , 1 , , 1 } j J , J i s   th e   n u m b e r   o f   th e   A z i m u th s   a n d q s c o n tr o l   th e   a n g l e   b a n d wi d th   o f th e   A z i m u th   o f   th e   f i l te r F i g u r e 3   i s   th e   th r e e - d i m e n s i o n a l d i a g r a m  o f  l o g - G a b o r  f i l te r  f r e q u e n c y  d o m a i n . ( a )  Ra d i a l  c o m p o n e n t ( b )  P h a s e  c o m p o n e n t ( c )  l o g - g a b o r  f i l te r F i g u r e 3 . T h r e e - d i m e n s i o n a l  d i a g r a m  o f  l o g - g a b o r  f i l te r F o r   th e   2 i m a g e ( ) f x , o n M a n d e n M a r e   th e   o r t h o g o n a l   o d d - a n d   e v e n - s y m m e tr y   f i l te r s c o n s tr u c te d   b y   l o g - G a b o r   f i l te r   i n   th e   s c a l e n r e s p e c ti v e l y T o   c h a n g e   th e   f i l te r   f r e q u e n c y - d o m a i n   r e s p o n s e s   b y   a d j u s ti n g 0 w a n d j q c o n v o l v e s o n M a n d e n M wi th   i m a g e ( ) f x a n d   o b ta i n s th e  f i l t e r  r e s p o n s e  i n  P o i n t x , wh i c h   h i s  s h o wn  a s  F o r m u l a   ( 3 ) : , , ( ) , ( ) ( ) , ( ) j j e o n n n n e x o x f x M f x M q q ( 3 ) T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 1 5 3 . De s ig n  o f  F u s io n  Ru le 3 .1 , L o w - F r e q u e n c y  Co e f f ic ie n t  F u s io n  B a s e d  o n  W e ig h t  P h a s e  Co n g r u e n c y T h e   l o w - f r e q u e n c y   c o e f f i c i e n ts   a f te r   NS CT   d e c o m p o s i ti o n   i n c l u d e   th e   m a i n   i m a g e e n e r g y   a n d   i c a n   b e   s e e n   a s th e   a p p r o x i m a te   c o m p o n e n o f   th e   i m a g e F o r   th e   d i f f e r e n t s p e c tr a l   i m a g i n g   o f   th e   s a m e   s c e n e th e   d e c o m p o s e d   l o w - f r e q u e n c y   c o e f f i c i e n t s   h a v e   d i f f e r e n t c o r r e l a ti o n T h e   c o m p o n e n t   wi th   l o w   c o r r e l a t i o n   m e a n s   b i g g e r   d i f f e r e n c e s   i n   th e   i m a g e   w h i l e   t h e c o m p o n e n t wi th   h i g h   c o r r e l a t i o n   m e a n s   th a t h e   i m a g e   h a s   a p p r o x i m a te   s tr u c tu r e T h i s   p a p e r f u s e s   th e   c o m p o n e n wi th   l o w   c o r r e l a ti o n   a n d   th e   c o m p o n e n w i t h   h i g h   c o r r e l a ti o n   b y   u s i n g we i g h t p h a s e  c o n g r u e n c y   a n d  ta k i n g  m e a n   v a l u e  r e s p e c ti v e l y [ 1 0 ] . T h e   p h y s i o l o g i c a l a n d   p s y c h o l o g i c a l   r e s e a r c h   r e s u l ts   d e m o n s tr a te   th a t   th e c h a r a c te r i s ti c s   th a p e o p l e   p a y   a t te n t i o n   to   h a v e   c e r ta i n   p h a s e   c o n g r u e n c y   i n   t h e   i m a g e f r e q u e n c y   d o m a i n n a m e l y   th a t   th e   p o i n ts   w i t h   p h a s e   c o n g r u e n c y   i n c l u d e   th e   i m p o r ta n i m a g e f e a tu r e   i n f o r m a ti o n   [ 1 1 ].   T h e   th e o r y   o f   p h a s e   c o n g r u e n c y   ( P C )   b u i l d s   th e   m o d e l   o f   m a m m a l s r e c o g n i z i n g   o b j e c f e a tu r e s It  i s   a   m e a n s   to   m e a s u r e   th e   s i g n i f i c a n c e   o f   th e   l o c a l   i m a g e s tr u c tu r e   a n d   i h a s   n o th i n g   to   d o   wi th   d i m e n s i o n D i f f e r e n f r o m   th e   c o m m o n   m o d e l s   w h i c h d e f i n e t h e   i m a g e   f e a tu r e   wh e r e   t h e   i m a g e   g r a y s c a l e   c h a n g e s P m o d e l   d e f i n e s   th e   i m a g e f e a tu r e   i n   th e   m a x i m u m   p h a s e   v a l u e It   i s   d e f i n e d   a s   F o r m u l a   ( 1 ) : ( ) E x i s   th e   r o o m e a n   s q u a r e o f   th e   s u m   o f   th e   f i l te r   r e s p o n s e s   i n   d i f f e r e n s c a l e s , ( ) n A x i s   th e   r o o m   m e a n   s q u a r e   o f   th e   f i l te r r e s p o n s e   i n  c e r ta i n  s c a l e , n i s  th e  s c a l e  a n d e i s  a  n o n - z e r o  c o n s ta n t. ( ) ( ) ( ) n n E x P C x A x e ( 1 ) T h e   c a l c u l a ti o n   o f   th e   i m a g e   f i l t e r   r e s p o n s e s   i n   d i f f e r e n s c a l e s   c h o o s e s   th e   c o m m o n - u s e d   l o g - G a b o r   f i l te r   i n   t h e   i m a g e   a n a l y s i s   f i e l d Its   tw o - d i m e n s i o n a l   f r e q u e n c y   d o m a i n r e p r e s e n ta ti o n  i s   i n d i c a t e d   a s  F o r m u l a   ( 2 ) : 2 2 0 2 2 2 l og / ( , ) e xp e xp 2 2 j r G q q q w w w q s s ( 2 ) He r e , 0 w i s   th e   c e n t e r   f r e q u e n c y   o f   th e   f i l te r , r s c o n tr o l s   th e   b a n d wi d t h   o f   th e   f i l te r , j q i s   th e   A z i m u th   o f   th e   f i l te r , / j j J q p { 0 , 1 , , 1 } j J , J i s   th e   n u m b e r   o f   th e   A z i m u th s   a n d q s c o n tr o l   th e   a n g l e   b a n d wi d th   o f th e   A z i m u th   o f   th e   f i l te r F i g u r e 3   i s   th e   th r e e - d i m e n s i o n a l d i a g r a m  o f  l o g - G a b o r  f i l te r  f r e q u e n c y  d o m a i n . ( a )  Ra d i a l  c o m p o n e n t ( b )  P h a s e  c o m p o n e n t ( c )  l o g - g a b o r  f i l te r F i g u r e 3 . T h r e e - d i m e n s i o n a l  d i a g r a m  o f  l o g - g a b o r  f i l te r F o r   th e   2 i m a g e ( ) f x , o n M a n d e n M a r e   th e   o r t h o g o n a l   o d d - a n d   e v e n - s y m m e tr y   f i l te r s c o n s tr u c te d   b y   l o g - G a b o r   f i l te r   i n   th e   s c a l e n r e s p e c ti v e l y T o   c h a n g e   th e   f i l te r   f r e q u e n c y - d o m a i n   r e s p o n s e s   b y   a d j u s ti n g 0 w a n d j q c o n v o l v e s o n M a n d e n M wi th   i m a g e ( ) f x a n d   o b ta i n s th e  f i l t e r  r e s p o n s e  i n  P o i n t x , wh i c h   h i s  s h o wn  a s  F o r m u l a   ( 3 ) : , , ( ) , ( ) ( ) , ( ) j j e o n n n n e x o x f x M f x M q q ( 3 ) Evaluation Warning : The document was created with Spire.PDF for Python.
IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 1 6 T h e   a m p l i tu d e   r e s p o n s e   a n d   e n e r g y   u n d e r d i f f e r e n d i r e c ti o n s   a n d   s c a l e s   a r e   i n d i c a te d a s  f o l l o w s : 2 2 , , , ( ) ( ) ( ) j j j n n o A x e x e x q q q ( 4 ) 2 2 , , ( ) ( ) ( ) j j j n o n n E x e x e x q q q ( 5 ) A c c o r d i n g  to  F o r m u l a   ( 1 ) , t h e  P C v a l u e   o f  2 D i m a g e  s i g n a l  i s  a s  f o l l o w s : 2 , ( ) ( ) ( ) j j j D n j n E x P C x A x q q e ( 6 ) G i v e n   th e   p o s i ti o n   i n f o r m a ti o n   o f   th e   i m a g e   p i x e l t h i s   p a p e r   we i g h ts   b y   u s i n g th e   p h a s e c o n g r u e n c y   G a u s s i a n   f u n c ti o n   p e r f o r m s   o n   l o w - f r e q u e n c y   c o e f f i c i e n ts   a n d   p r o p o s e s   G a u s s W e i g h P h a s e   Co n g r u e n c y   ( G W P C )   to   m e a s u r e   th e   i m a g e   s tr u c tu r e   f e a tu r e s T h e   G a u s s i a n f u n c ti o n  u s e d  i n  th i s  p a p e r   i s  a s  f o l l o w s : 2 2 ( ) X G x e s ( 7 ) T h e r e f o r e th e   r e p r e s e n t a ti o n   f o r m u l a   o f   th e   l o w - f r e q u e n c y   c o e f f i c i e n G W P i s i n d i c a te d  a s  f o l l o w s : ( ) ( ) ( ) G W P C l o w l o w S x P C x G x ( 8 ) It  c a n   b e   s e e n   f r o m   th e   a b o v e   P C   th e o r y   m o d e l   t h a P v a l u e   r e f l e c ts   th e   s e n s i ti v i t y   o f d i f f e r e n i m a g e   s tr u c tu r e s   o n   h u m a n   v i s i o n   a n d   i i s   t h e   i m p o r ta n b a s i s   to   m e a s u r e th e   i m a g e s tr u c tu r e   f e a tu r e s A s   f o r   d i f f e r e n i m a g e   s tr u c tu r e   r e g i o n th e   c a l c u l a t i o n   r e s u l t o f   G W P i s d e m o n s tr a te d  a s  F i g u r e 4 . A s   f o r   th e   c o r r e l a ti o n   m e a s u r e   o f   l o w - f r e q u e n c y   c o e f f i c i e n ts th i s   p a p e r   u s e s   th e   4 th - o r d e r   c o r r e l a ti o n   c o e f f i c i e n [1 2 wh i c h   h a s   e x c e l l e n t   d e ta i l   d e s c r i p t i o n   a b i l i t y   t o   m e a s u r e   th e c o r r e l a ti o n   o f  i n f r a r e d  a n d   v i s i b l e   i m a g e s  a n d   i t i s   d e f i n e d  a s  f o l l o w s : 2 2 , 4 4 ( ) ( ) ( ) ( ) ( ) A B y A B A B y y A y B y C x A y B y m m m m ( 9 ) He r e , A m a n d B m a r e   th e   i m a g e   m e a n T h e   r e l a ti o n s h i p   b e t w e e n   th e   l o w - f r e q u e n c y c o e f f i c i e n t F l o w C b y   i n te g r a t i n g   c o r r e l a ti o n   a n d   G W P a n d   th e   l o w - f r e q u e n c y   c o e f f i c i e n t s A l o w C a n d B l o w C o f  th e  s o u r c e   i m a g e  i s  a s  f o l l o w s : , , 2 A B l o w l o w A B h F l o w A B A l o w B l o w A B h C C C T C w C w C C T ( 1 0 ) A s   f o r   th e   c o e ff i c i e n wi th   h i g h   c o r r e l a ti o n   b e t we e n   i n f r a r e d   a n d   v i s i b l e   i m a g e s i i s f u s e d   b y   ta k i n g   t h e   m e a n ;   o th e r wi s e i i s   f u s e d   b y   we i g h G W P C.  T h e   w e i g h t   u s e s   th e   f o r m i n d i c a te d  a s  th e  f o r m u l a  b e l o w : A GW P C A A B GW P C GW P C S w S S 1 B A w w ( 1 1 ) Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 1 7 N o . 1 2 3 4 5 6 O r i g i n a l   I m a g e L o w - F r e q u e n c y   N S C T C o e f f i c i e n t L o w - F r e q u e n c y C o e f f i c i e n t   P C D i a g r a m L o w - F r e q u e n c y C o e f f i c i e n t   G W P C D i a g r a m F i g u r e 4 . Im a g e  p h a s e  c o n g r u e n c y   d i a g r a m  o f  d i f f e r e n t s tr u c tu r e  f e a tu r e s 3 .2 . H ig h - F r e q u e n c y  Co e f f ic ie n t  F u s io n  Ba s e d  o n   G a u s s  W e ig h t  S M L T h e   h i g h - f r e q u e n c y   c o e f f i c i e n ts   d e c o m p o s e d   b y   N S C T   r e p r e s e n th e   d e ta i l   i n f o r m a ti o n o f i n f r a r e d   a n d   v i s i b l e   i m a g e s T h e   f u s i o n   m e th o d   to   c h o o s e   th e   m a x i m u m   a b s o l u te   v a l u e d o e s n t a k e   th e   i m p a c o f   th e   n e i g h b o r h o o d   p i x e l s   i n t o   c o n s i d e r a ti o n   a n d   a s   a n   o p e r a ti o n m e th o d   b a s e d   o n   p o i n ts th i s   m e th o d   i s   e a s y   t o   b e   a f f e c te d   b y   n o i s e s S u m   M o d i f i e d L a p l a c i a n ( S M L )   b e tte r   r e f l e c ts   th e   e d g e   f e a tu r e s   o f   d i f f e r e n i m a g e   s tr u c tu r e s   a n d   i c a n   r e p r e s e n t h e i m a g e   s h a r p n e s s   a n d   d e f i n i ti o n T h i s   p a p e r   f u s e s   h i g h - f r e q u e n c y   c o e f f i c i e n ts   v i a   G a u s s   we i g h t S M L w h i c h  i s   d e f i n e d  a s  f o l l o w s : 2 , , ( , ) ( , ) Q P l k l k a P b Q S M L i j M L i a j b ( 1 2 ) , , , , , , , ( , ) 2 ( , ) ( , ) ( , ) 2 ( , ) ( , ) ( , ) l k l k l k l k l k l k l k M L i j H i j H i r j H i r j H i j H i j r H i j r ( 1 3 ) He r e , , l k H i s   th e   1 s t - o r d e r   k - d i r e c ti o n   h i g h - f r e q u e n c y   s u b - b a n d   c o e f f i c i e n a f te r   NS CT d e c o m p o s i ti o n   a n d   r   i s   th e   r a d i u s   o f   th e   n e i g h b o r h o o d   wi n d o w F o r m u l a   ( 1 2 )   d o e s n ta k e   th e i n f l u e n c e   o f   th e   p i x e l   p o s i ti o n   i n to   a c c o u n t.  L i te r a tu r e   [1 3 p r o p o s e s   a   n o r m a l i z e d   S M L ( NS M L ) , i n tr o d u c e s   p o s i t i o n   i n f o r m a ti o n   i n to   M L   t h r o u g h   w e i g h ti n g   m a tr i x   a n d   e m p h a s i z e s   th e c o n tr i b u ti o n   o f   th e   p i x e l s   a d i f f e r e n d i s ta n c e s   to   t h e   c e n tr a l   p i x e l T h i s   l i t e r a tu r e   u s e s   t h e f o l l o wi n g   we i g h t f o r m u l a : ( 2 1 ) ( 2 Q 1 ) ( 2 1 ) ( 2 1 ) 1 ˆ ( , ) ˆ ( , ) P P Q P Q a P b Q a b W W a b w ( 1 4 ) ( 2 1 ) ( 2 Q 1 ) ˆ T P W X Y ( 1 5 ) Evaluation Warning : The document was created with Spire.PDF for Python.
IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 1 8 He r e , 1 ( 2 1 ) [ 1 , 2 , , 1 , , 2 , 1 ] P X P ( 2 1 ) 1 [ 1 , 2 , , 1 , , 2 , 1 ] Q Y Q a n d   th e   t h r e e - d i m e n s i o n a l   d i a g r a m   o f   i ts   we i g h m a tr i x   i s   i n d i c a t e d   i n   F i g u r e 5 ( a ) It  c a n   b e   s e e n   h e r e   th a th i s we i g h c a l c u l a t i o n   m e th o d   i s   n o i s o tr o p i c G a u s s i a n   f u n c ti o n   s a t i s f i e s   th e   r e q u i r e m e n ts   th a th e c e n tr a l   p i x e l   i s   e m p h a s i z e d   a n d   th a t h e   p i x e l   w h i c h   i s   c l o s e r   t o   th e   c e n tr a l   p i x e l   h a s   b i g g e r we i g h t.  T h e   s u m   o f   th e   n o r m a l i z e d   w e i g h ts   i s   1   a n d   i t   i s   i s o tr o p i c .   Its   w e i g h c a l c u l a t i o n   f o r m u l a i s  a s  f o l l o w s : 2 2 2 2 ( 2 1 ) ( 2 1 ) ( , ) X Y P Q a b e s w ( 1 6 ) He r e , s i s  th e   v a r i a n c e  a n d  i t s  th r e e - d i m e n s i o n a l   d i a g r a m  i s  s h o w n  a s  F i g u r e 5 ( b ) . ( a )   W e i g h t o f  l i t e r a tu r e  [1 3 ] ( b )  G a u s s  we i g h t F i g u r e 5 . W e i g h t f u n c ti o n G a u s s  we i g h S M L  i s  d e m o n s tr a te d   a s  F o r m u l a   ( 1 7 ) : 2 , , ( , ) ( , ) ( , ) Q P l k l k a P b Q W SM L i j a b M L i a j b w ( 1 7 ) He r e w e i g h f u n c ti o n ( , ) a b w ta k e s   v a l u e   a c c o r d i n g   to   F o r m u l a   ( 1 6 ) A s s u m i n g   th a t h e h i g h - f r e q u e n c y   c o e f f i c i e n ts   o f   th e   s o u r c e   i m a g e   a r e , l k A H a n d , l k B H th e   f u s e d   c o e f f i c i e n i s , l k F H a n d  t h e  f u s e d  c o e f f i c i e n t a n d   w e i g h t  a r e   i n d i c a te d  a s  F o r m u l a   ( 1 8 )  a n d   ( 1 9 ) : , , , l k A l k B l k F W S M L A W S M L B H W H W H ( 1 8 ) , , , l k A A W S M L l k l k A B W S M L W W S M L W S M L 1 A A W S M L W S M L W W ( 1 9 ) 4 . E x p e r i m e n t  Re s u lt  a n d   A n a l y s i s 4 .1 . O b je c t iv e  E v a lu a t io n   Cr it e r i a  o f  Im a g e  F u s io n T h e   e v a l u a t i o n   i n d e x e s   o f   i m a g e   f u s i o n   i n c l u d e   e n tr o p y s ta n d a r d   d e v i a ti o n a v e r a g e g r a d i e n a n d  s p a t i a l  f r e q u e n c y . T h e i r  s p e c i f i c  d e f i n i t i o n s  a r e  c l a r i f i e d  a s  f o l l o w s : E n tr o p y :  i t m e a s u r e s  th e   a m o u n t o f  i n f o r m a ti o n  i n  th e   i m a g e . 1 0 l o g L i i i E p p ( 2 0 ) He r e , i p i s  th e   p o s s i b i l i t y  th a th e  p i x e l  v a l u e i a p p e a r s  i n   t h e  i m a g e . S ta n d a r d   d e v i a t i o n :   i t   m e a s u r e s   th e   b r i g h t n e s s   f l u c tu a t i o n   o f   th e   i m a g e   a n d   i s h o w s   t h e v i s u a l  c o n tr a s t. F I m i s  th e   a v e r a g e   b r i g h tn e s s  o f  th e  i m a g e . 2 1 1 1 ( , ) F M N F I i j I i j M N s m ( 2 1 ) IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 1 8 He r e , 1 ( 2 1 ) [ 1 , 2 , , 1 , , 2 , 1 ] P X P ( 2 1 ) 1 [ 1 , 2 , , 1 , , 2 , 1 ] Q Y Q a n d   th e   t h r e e - d i m e n s i o n a l   d i a g r a m   o f   i ts   we i g h m a tr i x   i s   i n d i c a t e d   i n   F i g u r e 5 ( a ) It  c a n   b e   s e e n   h e r e   th a th i s we i g h c a l c u l a t i o n   m e th o d   i s   n o i s o tr o p i c G a u s s i a n   f u n c ti o n   s a t i s f i e s   th e   r e q u i r e m e n ts   th a th e c e n tr a l   p i x e l   i s   e m p h a s i z e d   a n d   th a t h e   p i x e l   w h i c h   i s   c l o s e r   t o   th e   c e n tr a l   p i x e l   h a s   b i g g e r we i g h t.  T h e   s u m   o f   th e   n o r m a l i z e d   w e i g h ts   i s   1   a n d   i t   i s   i s o tr o p i c .   Its   w e i g h c a l c u l a t i o n   f o r m u l a i s  a s  f o l l o w s : 2 2 2 2 ( 2 1 ) ( 2 1 ) ( , ) X Y P Q a b e s w ( 1 6 ) He r e , s i s  th e   v a r i a n c e  a n d  i t s  th r e e - d i m e n s i o n a l   d i a g r a m  i s  s h o w n  a s  F i g u r e 5 ( b ) . ( a )   W e i g h t o f  l i t e r a tu r e  [1 3 ] ( b )  G a u s s  we i g h t F i g u r e 5 . W e i g h t f u n c ti o n G a u s s  we i g h S M L  i s  d e m o n s tr a te d   a s  F o r m u l a   ( 1 7 ) : 2 , , ( , ) ( , ) ( , ) Q P l k l k a P b Q W SM L i j a b M L i a j b w ( 1 7 ) He r e w e i g h f u n c ti o n ( , ) a b w ta k e s   v a l u e   a c c o r d i n g   to   F o r m u l a   ( 1 6 ) A s s u m i n g   th a t h e h i g h - f r e q u e n c y   c o e f f i c i e n ts   o f   th e   s o u r c e   i m a g e   a r e , l k A H a n d , l k B H th e   f u s e d   c o e f f i c i e n i s , l k F H a n d  t h e  f u s e d  c o e f f i c i e n t a n d   w e i g h t  a r e   i n d i c a te d  a s  F o r m u l a   ( 1 8 )  a n d   ( 1 9 ) : , , , l k A l k B l k F W S M L A W S M L B H W H W H ( 1 8 ) , , , l k A A W S M L l k l k A B W S M L W W S M L W S M L 1 A A W S M L W S M L W W ( 1 9 ) 4 . E x p e r i m e n t  Re s u lt  a n d   A n a l y s i s 4 .1 . O b je c t iv e  E v a lu a t io n   Cr it e r i a  o f  Im a g e  F u s io n T h e   e v a l u a t i o n   i n d e x e s   o f   i m a g e   f u s i o n   i n c l u d e   e n tr o p y s ta n d a r d   d e v i a ti o n a v e r a g e g r a d i e n a n d  s p a t i a l  f r e q u e n c y . T h e i r  s p e c i f i c  d e f i n i t i o n s  a r e  c l a r i f i e d  a s  f o l l o w s : E n tr o p y :  i t m e a s u r e s  th e   a m o u n t o f  i n f o r m a ti o n  i n  th e   i m a g e . 1 0 l o g L i i i E p p ( 2 0 ) He r e , i p i s  th e   p o s s i b i l i t y  th a th e  p i x e l  v a l u e i a p p e a r s  i n   t h e  i m a g e . S ta n d a r d   d e v i a t i o n :   i t   m e a s u r e s   th e   b r i g h t n e s s   f l u c tu a t i o n   o f   th e   i m a g e   a n d   i s h o w s   t h e v i s u a l  c o n tr a s t. F I m i s  th e   a v e r a g e   b r i g h tn e s s  o f  th e  i m a g e . 2 1 1 1 ( , ) F M N F I i j I i j M N s m ( 2 1 ) IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 1 8 He r e , 1 ( 2 1 ) [ 1 , 2 , , 1 , , 2 , 1 ] P X P ( 2 1 ) 1 [ 1 , 2 , , 1 , , 2 , 1 ] Q Y Q a n d   th e   t h r e e - d i m e n s i o n a l   d i a g r a m   o f   i ts   we i g h m a tr i x   i s   i n d i c a t e d   i n   F i g u r e 5 ( a ) It  c a n   b e   s e e n   h e r e   th a th i s we i g h c a l c u l a t i o n   m e th o d   i s   n o i s o tr o p i c G a u s s i a n   f u n c ti o n   s a t i s f i e s   th e   r e q u i r e m e n ts   th a th e c e n tr a l   p i x e l   i s   e m p h a s i z e d   a n d   th a t h e   p i x e l   w h i c h   i s   c l o s e r   t o   th e   c e n tr a l   p i x e l   h a s   b i g g e r we i g h t.  T h e   s u m   o f   th e   n o r m a l i z e d   w e i g h ts   i s   1   a n d   i t   i s   i s o tr o p i c .   Its   w e i g h c a l c u l a t i o n   f o r m u l a i s  a s  f o l l o w s : 2 2 2 2 ( 2 1 ) ( 2 1 ) ( , ) X Y P Q a b e s w ( 1 6 ) He r e , s i s  th e   v a r i a n c e  a n d  i t s  th r e e - d i m e n s i o n a l   d i a g r a m  i s  s h o w n  a s  F i g u r e 5 ( b ) . ( a )   W e i g h t o f  l i t e r a tu r e  [1 3 ] ( b )  G a u s s  we i g h t F i g u r e 5 . W e i g h t f u n c ti o n G a u s s  we i g h S M L  i s  d e m o n s tr a te d   a s  F o r m u l a   ( 1 7 ) : 2 , , ( , ) ( , ) ( , ) Q P l k l k a P b Q W SM L i j a b M L i a j b w ( 1 7 ) He r e w e i g h f u n c ti o n ( , ) a b w ta k e s   v a l u e   a c c o r d i n g   to   F o r m u l a   ( 1 6 ) A s s u m i n g   th a t h e h i g h - f r e q u e n c y   c o e f f i c i e n ts   o f   th e   s o u r c e   i m a g e   a r e , l k A H a n d , l k B H th e   f u s e d   c o e f f i c i e n i s , l k F H a n d  t h e  f u s e d  c o e f f i c i e n t a n d   w e i g h t  a r e   i n d i c a te d  a s  F o r m u l a   ( 1 8 )  a n d   ( 1 9 ) : , , , l k A l k B l k F W S M L A W S M L B H W H W H ( 1 8 ) , , , l k A A W S M L l k l k A B W S M L W W S M L W S M L 1 A A W S M L W S M L W W ( 1 9 ) 4 . E x p e r i m e n t  Re s u lt  a n d   A n a l y s i s 4 .1 . O b je c t iv e  E v a lu a t io n   Cr it e r i a  o f  Im a g e  F u s io n T h e   e v a l u a t i o n   i n d e x e s   o f   i m a g e   f u s i o n   i n c l u d e   e n tr o p y s ta n d a r d   d e v i a ti o n a v e r a g e g r a d i e n a n d  s p a t i a l  f r e q u e n c y . T h e i r  s p e c i f i c  d e f i n i t i o n s  a r e  c l a r i f i e d  a s  f o l l o w s : E n tr o p y :  i t m e a s u r e s  th e   a m o u n t o f  i n f o r m a ti o n  i n  th e   i m a g e . 1 0 l o g L i i i E p p ( 2 0 ) He r e , i p i s  th e   p o s s i b i l i t y  th a th e  p i x e l  v a l u e i a p p e a r s  i n   t h e  i m a g e . S ta n d a r d   d e v i a t i o n :   i t   m e a s u r e s   th e   b r i g h t n e s s   f l u c tu a t i o n   o f   th e   i m a g e   a n d   i s h o w s   t h e v i s u a l  c o n tr a s t. F I m i s  th e   a v e r a g e   b r i g h tn e s s  o f  th e  i m a g e . 2 1 1 1 ( , ) F M N F I i j I i j M N s m ( 2 1 ) Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 1 9 A v e r a g e  g r a d i e n t:  i t m e a s u r e s  th e  i m a g e  d e f i n i t i o n . 2 2 1 1 ( , ) ( , ) 2 ( 1 ) ( 1 ) M N i F j F i j I x y I x y g M N ( 2 2 ) S p a t i a l  f r e q u e n c y i t m e a s u r e s  th e  i m a g e  d e ta i l   i n f o r m a ti o n . 2 2 R F C F S F F F ( 2 3 ) He r e , R F F a n d C F F r e p r e s e n t th e  h o r i z o n ta l   a n d   v e r t i c a l  f r e q u e n c i e s . 1 1 2 0 1 1 ( , ) ( , 1 ) M N R F i j F f i j f i j M N ( 2 4 ) 1 1 2 0 1 1 ( , ) ( 1 , ) N M C F j i F f i j f i j M N ( 2 5 ) 4 .2 . E x p e r im e n t  R e s u lt  a n d   A n a l y s is T h i s   s e c ti o n   c o m p a r e s   th e   f u s i o n   e f f e c ts   d i ff e r e n f u s i o n   a l g o r i t h m s   p l a y   o n   th e   i n f r a r e d a n d   v i s i b l e   i m a g e s T h e   fu s i o n   m e th o d s   u s e d   a r e   s h o w n   i n   T a b l e   1   a n d   th e   h i g h - f r e q u e n c y c o e f f i c i e n ts   a l l   u s e   c o n g r u e n c y   te s t [1 4 ].  T h e f u s i o n   r e s u l ts   a r e   i n d i c a te d   i n   F i g u r e 6 7   a n d   8 . T h i s   p a p e r   e v a l u a te s   th e   e n tr o p y s ta n d a r d   d e v i a ti o n a v e r a g e   g r a d i e n t   a n d   s p a t i a l   f r e q u e n c y   o f th e  f u s i o n  r e s u l ts   a n d   th e   e v a l u a t i o n  r e s u l t i s   i n d i c a te d  i n  T a b l e  2 . T a b l e  1 . F u s i o n  M e th o d s F u s i o n   M e t h o d L o w - f r e q u e n c y   C o e f f i c i e n t s H i g h - f r e q u e n c y   C o e f f i c i e n t s 1 T a k e   t h e   a v e r a g e   v a l u e T a k e   t h e   m a x i m u m   a b s o l u t e   v a l u e 2 L i t e r a t u r e   [ 7 ] M a x i m u m   r e g i o n   e n e r g y 3 W e i g h t   G P C M a x i m u m   r e g i o n   e n e r g y M e t h o d   o f   T h i s   P a p e r W e i g h t   G P C W e i g h t   S M L V i s i b l e i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   1 F u s i o n  m e th o d   2 F u s i o n  m e th o d   3 T h e   m e th o d  o f  th i s  p a p e r F i g u r e 6 . F u s i o n  r e s u l t ( 1 ) T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 1 9 A v e r a g e  g r a d i e n t:  i t m e a s u r e s  th e  i m a g e  d e f i n i t i o n . 2 2 1 1 ( , ) ( , ) 2 ( 1 ) ( 1 ) M N i F j F i j I x y I x y g M N ( 2 2 ) S p a t i a l  f r e q u e n c y i t m e a s u r e s  th e  i m a g e  d e ta i l   i n f o r m a ti o n . 2 2 R F C F S F F F ( 2 3 ) He r e , R F F a n d C F F r e p r e s e n t th e  h o r i z o n ta l   a n d   v e r t i c a l  f r e q u e n c i e s . 1 1 2 0 1 1 ( , ) ( , 1 ) M N R F i j F f i j f i j M N ( 2 4 ) 1 1 2 0 1 1 ( , ) ( 1 , ) N M C F j i F f i j f i j M N ( 2 5 ) 4 .2 . E x p e r im e n t  R e s u lt  a n d   A n a l y s is T h i s   s e c ti o n   c o m p a r e s   th e   f u s i o n   e f f e c ts   d i ff e r e n f u s i o n   a l g o r i t h m s   p l a y   o n   th e   i n f r a r e d a n d   v i s i b l e   i m a g e s T h e   fu s i o n   m e th o d s   u s e d   a r e   s h o w n   i n   T a b l e   1   a n d   th e   h i g h - f r e q u e n c y c o e f f i c i e n ts   a l l   u s e   c o n g r u e n c y   te s t [1 4 ].  T h e f u s i o n   r e s u l ts   a r e   i n d i c a te d   i n   F i g u r e 6 7   a n d   8 . T h i s   p a p e r   e v a l u a te s   th e   e n tr o p y s ta n d a r d   d e v i a ti o n a v e r a g e   g r a d i e n t   a n d   s p a t i a l   f r e q u e n c y   o f th e  f u s i o n  r e s u l ts   a n d   th e   e v a l u a t i o n  r e s u l t i s   i n d i c a te d  i n  T a b l e  2 . T a b l e  1 . F u s i o n  M e th o d s F u s i o n   M e t h o d L o w - f r e q u e n c y   C o e f f i c i e n t s H i g h - f r e q u e n c y   C o e f f i c i e n t s 1 T a k e   t h e   a v e r a g e   v a l u e T a k e   t h e   m a x i m u m   a b s o l u t e   v a l u e 2 L i t e r a t u r e   [ 7 ] M a x i m u m   r e g i o n   e n e r g y 3 W e i g h t   G P C M a x i m u m   r e g i o n   e n e r g y M e t h o d   o f   T h i s   P a p e r W e i g h t   G P C W e i g h t   S M L V i s i b l e i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   1 F u s i o n  m e th o d   2 F u s i o n  m e th o d   3 T h e   m e th o d  o f  th i s  p a p e r F i g u r e 6 . F u s i o n  r e s u l t ( 1 ) T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 1 9 A v e r a g e  g r a d i e n t:  i t m e a s u r e s  th e  i m a g e  d e f i n i t i o n . 2 2 1 1 ( , ) ( , ) 2 ( 1 ) ( 1 ) M N i F j F i j I x y I x y g M N ( 2 2 ) S p a t i a l  f r e q u e n c y i t m e a s u r e s  th e  i m a g e  d e ta i l   i n f o r m a ti o n . 2 2 R F C F S F F F ( 2 3 ) He r e , R F F a n d C F F r e p r e s e n t th e  h o r i z o n ta l   a n d   v e r t i c a l  f r e q u e n c i e s . 1 1 2 0 1 1 ( , ) ( , 1 ) M N R F i j F f i j f i j M N ( 2 4 ) 1 1 2 0 1 1 ( , ) ( 1 , ) N M C F j i F f i j f i j M N ( 2 5 ) 4 .2 . E x p e r im e n t  R e s u lt  a n d   A n a l y s is T h i s   s e c ti o n   c o m p a r e s   th e   f u s i o n   e f f e c ts   d i ff e r e n f u s i o n   a l g o r i t h m s   p l a y   o n   th e   i n f r a r e d a n d   v i s i b l e   i m a g e s T h e   fu s i o n   m e th o d s   u s e d   a r e   s h o w n   i n   T a b l e   1   a n d   th e   h i g h - f r e q u e n c y c o e f f i c i e n ts   a l l   u s e   c o n g r u e n c y   te s t [1 4 ].  T h e f u s i o n   r e s u l ts   a r e   i n d i c a te d   i n   F i g u r e 6 7   a n d   8 . T h i s   p a p e r   e v a l u a te s   th e   e n tr o p y s ta n d a r d   d e v i a ti o n a v e r a g e   g r a d i e n t   a n d   s p a t i a l   f r e q u e n c y   o f th e  f u s i o n  r e s u l ts   a n d   th e   e v a l u a t i o n  r e s u l t i s   i n d i c a te d  i n  T a b l e  2 . T a b l e  1 . F u s i o n  M e th o d s F u s i o n   M e t h o d L o w - f r e q u e n c y   C o e f f i c i e n t s H i g h - f r e q u e n c y   C o e f f i c i e n t s 1 T a k e   t h e   a v e r a g e   v a l u e T a k e   t h e   m a x i m u m   a b s o l u t e   v a l u e 2 L i t e r a t u r e   [ 7 ] M a x i m u m   r e g i o n   e n e r g y 3 W e i g h t   G P C M a x i m u m   r e g i o n   e n e r g y M e t h o d   o f   T h i s   P a p e r W e i g h t   G P C W e i g h t   S M L V i s i b l e i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   1 F u s i o n  m e th o d   2 F u s i o n  m e th o d   3 T h e   m e th o d  o f  th i s  p a p e r F i g u r e 6 . F u s i o n  r e s u l t ( 1 ) Evaluation Warning : The document was created with Spire.PDF for Python.
IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 2 0 V i s i b l e  i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   ( 1 ) F u s i o n  m e th o d   ( 2 ) F u s i o n  m e th o d   ( 3 ) T h e   m e th o d  o f th i s  p a p e r F i g u r e 7 . F u s i o n  r e s u l ( 2 ) V i s i b l e  i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   ( 1 ) F u s i o n  m e th o d   ( 2 ) F u s i o n  m e th o d   ( 3 ) T h e   m e th o d  o f  th i s  p a p e r F i g u r e 8 . F u s i o n  r e s u l ( 3 ) F r o m   th e   e x p e r i m e n r e s u l t i c a n   b e s e e n   th a t h e   f u s i o n   e f f e c b y   th e   m e th o d   o f   th i s p a p e r   i s   b e tte r   th a n   th e   o th e r   th r e e   f u s i o n   m e th o d s In   th e   l o w - f r e q u e n c y   c o e f f i c i e n f u s i o n th e f u s e d   i m a g e   b y   ta k i n g   th e   a v e r a g e   v a l u e   i s   q u i te   f u z z y . T h e   m e th o d   t o   u s e   i m a g e   q u a l i t y e v a l u a ti o n   i n   L i te r a tu r e   [7 ]   l o s e s   s o m e   i m a g e   s tr u c tu r e   i n f o r m a ti o n   wh i l e   th e   l o w - f r e q u e n c y c o e f f i c i e n f u s i o n   m e th o d   b y   u s i n g   th e   c o r r e l a t i o n   c o e ff i c i e n ts   a n d   G W P C   i n   th i s   p a p e r e f f e c ti v e l y   p r e s e r v e s   th e   s tr u c tu r e   i n f o r m a ti o n   o f   th e   i n f r a r e d   a n d   v i s i b l e   i m a g e s A s  f o r   th e   h i g h - f r e q u e n c y   c o e f f i c i e n f u s i o n th e   m e th o d   t o   ta k e   th e   m a x i m u m   a b s o l u t e   v a l u e   b a s e d   o n   p o i n t o p e r a t i o n   i s   b a d   i n   a n ti - n o i s e   p e r f o r m a n c e . T h e   m e th o d   b a s e d   o n   r e g i o n   o p e r a t i o n   h a s   b e tte r IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 2 0 V i s i b l e  i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   ( 1 ) F u s i o n  m e th o d   ( 2 ) F u s i o n  m e th o d   ( 3 ) T h e   m e th o d  o f th i s  p a p e r F i g u r e 7 . F u s i o n  r e s u l ( 2 ) V i s i b l e  i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   ( 1 ) F u s i o n  m e th o d   ( 2 ) F u s i o n  m e th o d   ( 3 ) T h e   m e th o d  o f  th i s  p a p e r F i g u r e 8 . F u s i o n  r e s u l ( 3 ) F r o m   th e   e x p e r i m e n r e s u l t i c a n   b e s e e n   th a t h e   f u s i o n   e f f e c b y   th e   m e th o d   o f   th i s p a p e r   i s   b e tte r   th a n   th e   o th e r   th r e e   f u s i o n   m e th o d s In   th e   l o w - f r e q u e n c y   c o e f f i c i e n f u s i o n th e f u s e d   i m a g e   b y   ta k i n g   th e   a v e r a g e   v a l u e   i s   q u i te   f u z z y . T h e   m e th o d   t o   u s e   i m a g e   q u a l i t y e v a l u a ti o n   i n   L i te r a tu r e   [7 ]   l o s e s   s o m e   i m a g e   s tr u c tu r e   i n f o r m a ti o n   wh i l e   th e   l o w - f r e q u e n c y c o e f f i c i e n f u s i o n   m e th o d   b y   u s i n g   th e   c o r r e l a t i o n   c o e ff i c i e n ts   a n d   G W P C   i n   th i s   p a p e r e f f e c ti v e l y   p r e s e r v e s   th e   s tr u c tu r e   i n f o r m a ti o n   o f   th e   i n f r a r e d   a n d   v i s i b l e   i m a g e s A s  f o r   th e   h i g h - f r e q u e n c y   c o e f f i c i e n f u s i o n th e   m e th o d   t o   ta k e   th e   m a x i m u m   a b s o l u t e   v a l u e   b a s e d   o n   p o i n t o p e r a t i o n   i s   b a d   i n   a n ti - n o i s e   p e r f o r m a n c e . T h e   m e th o d   b a s e d   o n   r e g i o n   o p e r a t i o n   h a s   b e tte r IS S N: 1 6 9 3 - 6 9 3 0 T E L KO M NIK A V o l . 1 4 ,  No . 2 , J u n e  2 0 1 6 : 6 1 3 6 2 1 6 2 0 V i s i b l e  i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   ( 1 ) F u s i o n  m e th o d   ( 2 ) F u s i o n  m e th o d   ( 3 ) T h e   m e th o d  o f th i s  p a p e r F i g u r e 7 . F u s i o n  r e s u l ( 2 ) V i s i b l e  i m a g e In f r a r e d  i m a g e F u s i o n  m e th o d   ( 1 ) F u s i o n  m e th o d   ( 2 ) F u s i o n  m e th o d   ( 3 ) T h e   m e th o d  o f  th i s  p a p e r F i g u r e 8 . F u s i o n  r e s u l ( 3 ) F r o m   th e   e x p e r i m e n r e s u l t i c a n   b e s e e n   th a t h e   f u s i o n   e f f e c b y   th e   m e th o d   o f   th i s p a p e r   i s   b e tte r   th a n   th e   o th e r   th r e e   f u s i o n   m e th o d s In   th e   l o w - f r e q u e n c y   c o e f f i c i e n f u s i o n th e f u s e d   i m a g e   b y   ta k i n g   th e   a v e r a g e   v a l u e   i s   q u i te   f u z z y . T h e   m e th o d   t o   u s e   i m a g e   q u a l i t y e v a l u a ti o n   i n   L i te r a tu r e   [7 ]   l o s e s   s o m e   i m a g e   s tr u c tu r e   i n f o r m a ti o n   wh i l e   th e   l o w - f r e q u e n c y c o e f f i c i e n f u s i o n   m e th o d   b y   u s i n g   th e   c o r r e l a t i o n   c o e ff i c i e n ts   a n d   G W P C   i n   th i s   p a p e r e f f e c ti v e l y   p r e s e r v e s   th e   s tr u c tu r e   i n f o r m a ti o n   o f   th e   i n f r a r e d   a n d   v i s i b l e   i m a g e s A s  f o r   th e   h i g h - f r e q u e n c y   c o e f f i c i e n f u s i o n th e   m e th o d   t o   ta k e   th e   m a x i m u m   a b s o l u t e   v a l u e   b a s e d   o n   p o i n t o p e r a t i o n   i s   b a d   i n   a n ti - n o i s e   p e r f o r m a n c e . T h e   m e th o d   b a s e d   o n   r e g i o n   o p e r a t i o n   h a s   b e tte r Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NIK A IS S N: 1 6 9 3 - 6 9 3 0 F u s i o n   o f In fr a r e d   a n d  V i s i b l e  I m a g e s  B a s e d  o n  N S CT ( T i n g m a n  Z h a n g ) 6 2 1 a n ti - n o i s e   p e r f o r m a n c e   w h i l e   th e   p r o c e s s i n g   m e th o d   o f   th i s   p a p e r   i n   t h e   h i g h   f r e q u e n c y m a i n ta i n s  m o r e  d e ta i l   i n f o r m a ti o n  c o m p a r e d  to  o t h e r   m e th o d s . 5 . Co n c lu s io n T h i s   p a p e r   d e c o m p o s e s   i n f r a r e d   a n d   v i s i b l e   i m a g e s   b y   u s i n g   N S CT   to   o b ta i n   i m a g e f r e q u e n c y   d o m a i n   r e p r e s e n ta ti o n   i n   s c a l e s   a n d   i f u s e s   th e   l o w - a n d   h i g h - f r e q u e n c y   c o e f f i c i e n ts th r o u g h   th e   c o m b i n a t i o n   o f   c o r r e l a ti o n   c o e f f i c i e n a n d   we i g h G W P a n d   G a u s s i a n   w e i g h S M L r e s p e c ti v e l y B o t h   th e   l o w - a n d   h i g h - f r e q u e n c y   c o e f f i c i e n t   f u s i o n s   h a v e   ta k e n   th e   i n f l u e n c e   th e p o s i t i o n   i n f o r m a ti o n   p l a y s   o n   th e   f u s i o n   r e s u l i n to   c o n s i d e r a t i o n T h e   f u s i o n   e x p e r i m e n o f   th e s ta n d a r d   te s i m a g e   s h o w s   t h a th e   m e th o d   o f   th i s   p a p e r   b e tte r   p r e s e r v e s   th e   s tr u c tu r a l i n f o r m a ti o n   o f   th e   o r i g i n a l   i m a g e   a n d   th e   h i g h - f r e q u e n c y   d e t a i l   i n f o r m a ti o n f u s e s   th e   i m a g i n g f e a tu r e s  o f  th e   i n f r a r e d  a n d  v i s i b l e   i m a g e s , i m p r o v e s  th e   v i s u a l   e f f e c t a n d  l a y s  a   s o l i d  f o u n d a ti o n f o r  th e  f o l l o w - u p   i m a g e  a n a l y s i s . Re f e r e n c e s [ 1 ] St a rc k   J L ,   C a n d è s   EJ ,   D o n o h o   D L .   T h e   C u rv e l e t T ra n s f o r m   f o I m a g e   D e n o i s i n g . I EEE  T r a n s a c t i o n s o n I m a g e   Pr o c e s s i n g . 2 0 0 2 ; 1 1 ( 6 ) :   6 7 0 - 6 8 4 . [ 2 ] D a   C u n h a   AL ,   Z h o u   J ,   D o   M N .   T h e   N o n s u b s a m p l e d   C o n t o u rl e t   T ra n s f o r m :   T h e o ry ,   D e s i g n ,   a n d Ap p l i c a t i o n s . I EEE  T r a n s a c t i o n s o n I m a g e   Pr o c e s s i n g . 2 0 0 6 ; 1 5 ( 1 0 ) :   3 0 8 9 - 3 1 0 1 . [ 3 ] Z h a o   C h u n h u i ,   M a   L i j u a n ,   Sh a o   G u o f e n g .   An   I m a g e   F u s i o n   Al g o ri t h m   u s i n g   W A - W B a n d   I m p r o v e d I N SC T . J o u rn a l   o f   El e c t r o n i c s   a n d   I n f o rm a t i o n . 2 0 1 4 ; 3 6 ( 2 ) :   3 0 4 - 3 1 1 . [ 4 ] Ad u   J ,   G a n   J ,   W a n g   Y ,   e t   a l .   I m a g e   F u s i o n   Ba s e d   o n   N o n s u b s a m p l e d   C o n t o u r l e t   T ra n s f o rm   f o r I n f ra re d   a n d   Vi s i b l e   L i g h t   I m a g e . I n f r a re d   P h y s i c s   T e c h n o l o g y . 2 0 1 3 ; 6 1 :   9 4 - 1 0 0 . [ 5 ] Y i n   M , L i u   W ,   Z h a o   X ,   e t   a l .   N o v e l   I m a g e   F u s i o n   Al g o ri t h m   Ba s e d   o n   N o n s u b s a m p l e d   Sh e a r l e t T ra n s f o rm . O p t i k - I n t e r n a t i o n a l   J o u rn a l   f o L i g h t   a n d   E l e c t ro n   O p t i c s . 2 0 1 4 ; 1 2 5 ( 1 0 ) :   2 2 7 4 - 2 2 8 2 . [ 6 ] L i u   Y u s h u .   R e s e a r c h   o n   I m a g e   D e n o i s i n g   a n d   F u s i o n   A l g o ri t h m   Ba s e d   o n M u l t i - s c a l e   T ra n s f o rm . D i s e rt a t i o n . J i n a n   & Sh a n d o n g   U n i v e rs i t y ; 2 0 1 3 . [ 7 ] G a o   Y i n h a n ,   C h e n   G u a n g q i u ,   L i u   Y a n y a n .   A d a p t i v e   I m a g e   F u s i o n   Ba s e d   o n   I m a g e   Q u a l i t y As s e s s m e n t   Pa ra m e t e r i n N S ST   Sy s t e m . J o u rn a l   o f   J i l i n U n i v e r s i t y ( En g i n e e ri n g Ed i t i o n ) . 2 0 1 4 ; 6 ( 1 ) : 2 2 5 - 2 3 4 . [ 8 ] W a n g   Z ,   Bo v i k   AC ,   Sh e i k h   H R ,   e t   a l .   I m a g e   Q u a l i t y   As s e s s m e n t :   f ro m   Erro Vi s i b i l i t y   t o   St ru c t u ra l Si m i l a ri t y . I EEE  T ra n s a c t i o n s o n I m a g e   Pr o c e s s i n g . 2 0 0 4 ; 1 3 ( 4 ) :   6 0 0 - 6 1 2 . [ 9 ] J i n g f e n g   M I ,   Q i n g   W u   L i ,   Z h u   H a o ,   e t a l .   An   I m p r o v e d   I m a g e   Q u a l i t y As s e s s m e n t   M e t h o d Ba s e d   o n St ru c t u r a l   Si m i l a ri t y . C o m p u t e r   T e c h n o l o g y   a n d   D e v e l o p m e n t . 2 0 1 4 ; 2 4 ( 3 ) :   6 7 - 7 0 . [ 1 0 ] J i a n h u a   L i u ,   J i a n g u o   Y a n g ,   B e i z h i   L i .   M u l t i f o c u s   I m a g e   F u s i o n   b y   S M L   i n   t h e   Sh e a r l e t   Su b b a n d s . T EL KO M N I KA  I n d o n e s i a n   J o u rn a l   o f   El e c t ri c a l En g i n e e r i n g .   2 0 1 4 ;   1 2 ( 1 ) :   6 1 8 - 6 2 6 . [ 1 1 ] D e x i a n g H a n g .   F u s i o n   o f   M u l t i b a n d   SAR   I m a g e s   Ba s e d   o n   D i re c t i o n l e t   T ra n s f o r m . T EL KO M N I KA I n d o n e s i a n   J o u r n a l   o f   El e c t r i c a l   En g i n e e ri n g .   2 0 1 4 ;   1 2 ( 1 ) :   5 0 6 - 5 1 3 . [ 1 2 ] M a h y a ri   A G ,   Y a z d i   M .   Pa n c h r o m a t i c   a n d   M u l t i s p e c t ra l   I m a g e   F u s i o n   Ba s e d   o n   M a x i m i z a t i o n   o f   b o t h Sp e c t r a l   a n d   Sp a t i a l   S i m i l a ri t i e s . I EEE  T ra n s a c t i o n s o n G e o s c i e n c e   a n d   R e m o t e   S e n s i n g . 2 0 1 1 ; 4 9 ( 6 ) :   1 9 7 6 - 1 9 8 5 . [ 1 3 ] Y i n   M ,   L i u   W ,   Z h a o   X ,   e t   a l .   N o v e l   I m a g e   F u s i o n   Al g o ri t h m   Ba s e d   o n   N o n s u b s a m p l e d   Sh e a r l e t T ra n s f o rm . O p t i k - I n t e r n a t i o n a l   J o u rn a l   f o L i g h t   a n d   E l e c t ro n   O p t i c s . 2 0 1 4 ; 1 2 5 ( 1 0 ) :   2 2 7 4 - 2 2 8 2 . [ 1 4 ] L i   H ,   M a n j u n a t h   BS,   M i t ra   S K.   M u l t i s e n s o I m a g e   F u s i o n   u s i n g   t h e   W a v e l e t   T ra n s f o r m . G ra p h i c a l M o d e l s   a n d   I m a g e   Pro c e s s i n g . 1 9 9 5 ; 5 7 ( 3 ) :   2 3 5 - 2 4 5 . Evaluation Warning : The document was created with Spire.PDF for Python.