I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   2 A p r il   20 25 ,   p p .   1 5 9 3 ~ 1 6 0 1   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 2 . pp 1 5 9 3 - 1 6 0 1           1593       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Two - sca le decom po sitio n and  deep  learning  f usio f o r vis ible  a nd infr a red  ima g es       Ruha n B ev i A za d 1 ,   H a ri  Un nik rish na n 2 ,   L o k esh   G o pin a t h 1   1 D e p a r t me n t   o f   El e c t r o n i c s a n d   C o m mu n i c a t i o n   En g i n e e r i n g ,   S R M   I n st i t u t e   o f   S c i e n c e   a n d   Te c h n o l o g y ,   K a t t a n k u l a t h u r ,   I n d i a   2 D e p a r t me n t   o f   El e c t r o n i c s a n d   C o m mu n i c a t i o n   En g i n e e r i n g ,   S a v e e t h a   E n g i n e e r i n g   C o l l e g e ,   C h e n n a i ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   2 2 ,   2 0 2 4   R ev is ed   No v   2 6 ,   2 0 2 4   Acc ep ted   Dec   2 ,   2 0 2 4       Th e   p a p e f o c u se o n   t h e   fu si o n   o v isi b le  a n d   i n fra re d   ima g e to   g e n e ra te   c o m p o site  ima g e th a p re se rv e   b o th   t h e   th e rm a ra d iatio n   i n f o rm a ti o n   fr o m   th e   in fra re d   s p e c tru m   a n d   t h e   d e t a il e d   tex tu re   fr o m   th e   v isib le  sp e c tru m .   Th e   p ro p o se d   a p p r o a c h   c o m b i n e trad it io n a m e th o d s,   su c h   a two - sc a le  d e c o m p o siti o n ,   with   d e e p   lea rn i n g   tec h n iq u e s,  sp e c ifi c a ll y   e m p l o y i n g   a n   a u to e n c o d e a rc h it e c tu re .   T h e   s o u rc e   ima g e a re   su b jec ted   to   two - sc a le   d e c o m p o siti o n ,   w h ich   e x trac ts h i g h - fre q u e n c y   d e tail   a n d   l o w - fre q u e n c y   b a se   in fo rm a ti o n .   Ad d it io n a ll y ,   a n   a lg o rit h m ic u n ra v e l li n g   tec h n iq u e   e sta b li sh e a   lo g ica c o n n e c ti o n   b e twe e n   d e e p   n e u ra n e two r k a n d   tra d it i o n a sig n a p ro c e ss in g   a lg o rit h m s.  Th e   m o d e c o n sists   o tw o   e n c o d e rs  fo r   d e c o m p o siti o n   a n d   a   d e c o d e a fte th e   u n ra v e ll i n g   o p e ra ti o n .   Du ri n g   tes ti n g ,   a   fu sio n   la y e m e rg e th e   d e c o m p o se d   fe a tu re   m a p s,  a n d   th e   d e c o d e r   g e n e ra tes   th e   fu se d   ima g e .   Ev a l u a ti o n   m e tri c i n c lu d in g   e n tro p y ,   a v e ra g e   g ra d ien t ,   sp a ti a l   fre q u e n c y   a n d   sta n d a rd   d e v iati o n   a re   e m p lo y e d   t o   su b jec ti v e l y   a ss e ss   fu sio n   q u a li ty .   T h e   p ro p o se d   a p p r o a c h   d e m o n stra tes   p ro m ise   f o e ffe c ti v e l y   c o m b in in g   v isib le   a n d   i n fra re d   ima g e ry   f o v a rio u a p p li c a ti o n s.   K ey w o r d s :   Alg o r ith m   u n r av ellin g   Dee p   lear n in g   Near - in f r ar e d   im ag e   T r ad itio n al  m eth o d   T wo - s ca le  d ec o m p o s itio n   Vis ib le  im ag e   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R u h an   B ev i A za d   Dep ar tm en t o f   E lectr o n ics an d   C o m m u n icatio n   E n g in ee r i n g ,   SR I n s titu te  o f   Scien ce   an d   T ec h n o lo g y   Kattan k u lath u r ,   C h e n g alp attu ,   6 0 3 2 0 3 ,   T am il Na d u ,   I n d ia   E m ail:  r u h an b @ s r m is t.e d u . in       1.   I NT RO D UCT I O N     I n   th f ield   o f   im ag p r o ce s s in g   r esear ch ,   im ag f u s io n   is   an   em er g in g   to p ic.   Ad o p ti n g   s im ilar   m eth o d o l o g ies  an d   s tr ateg ies ,   en h an ce s   th e   ef f ec tiv e n ess ,   in ter p r etab ilit y ,   a n d   r ep r o d u cib ilit y   o f   im a g f u s io n .   Ad d itio n ally ,   ev alu ati n g   m o d els  o n   b e n ch m ar k   d atasets   an d   m ak in g   co d a n d   d ata  o p en l y   av ailab le   will  co n tr ib u te  to   th a d v an ce m en o f   r esear ch   i n   th e   f ield   o f   r em o te   s en s in g   [ 1 ] .   I n co r p o r atin g   in s ig h ts   f r o m   th b ase  p ap er   in v o lv es  lev er ag in g   u n s u p er v is ed   lear n in g   t ec h n iq u es  an d   ad v an ce d   l o s s   f u n ctio n s   f o r   im ag e   f u s io n .   E n h an cin g   m o d el  in te r p r etab ilit y   an d   e v alu atin g   its   p er f o r m an ce   o n   b en c h m ar k   d atasets   ar cr u cial  s tep s .   Ad d itio n ally ,   s h ar in g   co d an d   d ata  e n s u r es  tr an s p ar en cy   a n d   r ep r o d u cib ilit y ,   f ac ilit atin g   f u r th e r   ad v an ce m e n ts   in   th f ield   [ 2 ] .   T h r ef in em e n f u s io n   a p p r o ac h   ac h iev es  s u p er io r   p er f o r m an ce   in   ter m s   o f   im ag q u ality ,   tar g et   r eg io n   p r eser v atio n   an d   ef f icien c y   [ 3 ] .   E v alu atin g   th p er f o r m an ce   an d   v alid atin g   it   th r o u g h   ex p er im en ts ,   en h an ce s   th ef f ec tiv en ess   an d   r o b u s tn ess   o f   im ag f u s io n .   c o n s id e r in g   th s im ilar ities   an d   r ef i n in g   a p p r o ac h   an d   ad d r ess in g   s p ec if ic  ch allen g es  i n   in f r ar e d   an d   v is ib le  im ag f u s io n   [ 4 ] .   T h er e   ar e   p o ten tial  ar ea s   f o r   im p r o v em en an d   in n o v atio n   in   m eth o d o lo g ies.  L ev er a g in g   i n s ig h ts   f r o m   ea ch   ap p r o ac h   ca n   co n tr ib u te  to   th d e v elo p m en o f   m o r ef f ec tiv an d   ad v an ce d   im a g f u s io n   tech n iq u es  [ 5 ] [ 8 ] .   T h e   co n ce p o f   u n i f ied   f u s io n   f r am ewo r k ,   ad ap tiv in f o r m atio n   p r eser v atio n ,   m itig ati o n   o f   d ee p   lear n in g   lim itatio n s ,   an d   th u s o f   b en ch m ar k   d atasets ,   en h an ce s   th e f f ec tiv en ess ,   v er s atility ,   an d   ev alu atio n   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   2 Ap r il   20 25 :   1 5 9 3 - 1 6 0 1   1594   im ag f u s io n .   Ad d itio n ally ,   co n s id er in g   th s im ilar ities   an d   d i f f er en ce s   b etwe en   a p p r o ac h es  ca n   p r o v id e   v alu ab le  p e r s p ec tiv es  f o r   r ef i n in g   f u s io n   m o d els  an d   ad d r ess in g   s p ec if ic  ch allen g es  in   in f r ar ed   an d   v is ib le  im ag f u s io n   [ 9 ] ,   [ 1 0 ] Sp ar s r eg u lar izatio n   [ 1 1 ] ,   [ 1 2 ] ,   d ictio n ar y   lear n in g   [ 1 3 ] ,   [ 1 4 ] ,   alter n atin g   o p tim izatio n   [ 1 5 ] ,   a n d   p er f o r m an ce   ev alu atio n   ag ain s s tate - of - th e - ar m eth o d s ,   en h a n c th ef f ec tiv en ess   an d   ef f icien cy   o f   in f r a r ed   an d   v is ib le  im ag f u s io n .   L ev er ag in g   tech n iq u es  f r o m   d i v er s d o m ain s ,   s u ch   as   h y p er s p ec tr al   an d   m u ltis p ec tr al  im ag f u s io n ,   ca n   lead   t o   i n n o v ativ e   s o lu tio n s   an d   im p r o v em en ts   in   f u s io n   alg o r ith m s   [ 1 6 ] .   m u ltis ca le  f u s io n   s tr ateg y ,   an d   e n co d er - f u s io n   s tr ateg y - d ec o d er   f r am ewo r k ,   en h an ce   th e   p er f o r m an ce   an d   r o b u s tn ess   o f   in f r a r ed   an d   v is ib le  im ag f u s io n   [ 1 7 ] .   C o m p ar ativ an aly s is   o f   f u s io n   tech n iq u es,  ev al u atio n   m etr ic s ,   ef f icien cy ,   a n d   s u itab ilit y   f o r   r ea a p p licatio n s ,   a n d   th e   ef f ec tiv en ess   an d   ap p licab ilit y   o f   im a g f u s io n   r esear ch ,   ev en   if   th ey   o p e r ate  in   d if f e r en d o m ain   th a n   m ed ical  im ag in g .   ca n   g u id th ev alu atio n   p r o ce s s   an d   en s u r th r eliab ilit y   o f   th f u s io n   ap p r o ac h   [ 1 8 ] .   s y m m etr ic  en co d er - d ec o d er   a r ch itectu r with   r esi d u al  b lo ck s ,   atten tio n   m ec h an i s m s ,   an d   s ep ar atio n   o f   tr ain in g   an d   f u s io n   s tag es,  en h an ce s   th p e r f o r m an ce   a n d   ef f icien cy   o f   im ag f u s io n   [ 1 9 ] .   T h u s o f   g en er ativ a d v er s ar ial  n etwo r k   ( GAN)   with   m u lticlas s if icatio n   co n s tr ain ts ,   co n ten lo s s   m ec h an is m s ,   an d   co m p r e h en s iv ev alu atio n   m eth o d o lo g ies,   en h an ce s   th p er f o r m an ce   a n d   ef f ec tiv en ess   o f   im ag f u s io n   [ 2 0 ] .   Ad ap tiv e   en h an ce m e n tech n iq u es,  h y b r id   d ec o m p o s itio n   m o d els,  co u p led   d ictio n ar y - b ased   f u s io n ,   an d   n o v el  f u s io n   s ch em es  [ 2 1 ] .   T h e   u s o f   r esid u al  n etwo r k   a r ch itectu r es,  in n o v ativ e   lo s s   f u n ctio n s ,   an d   two - s tag tr ain in g   s tr ateg ies,  en h an ce s   th p er f o r m a n ce   an d   ef f icien cy   o f   im ag f u s io n .   T h e   em p h asis   o n   task - s p ec if ic  f u s io n   s tr ateg ies  a n d   th a d o p tio n   o f   r esid u al   n etwo r k   a r ch itectu r es,  ca n   g u id t h e   r ef in em en o f   th f u s io n   ap p r o ac h   to   b etter   ad ap to   d iv er s e   f u s io n   task s   [ 2 2 ] .   Utilizin g   u n s u p er v is ed   en d - to - en d   n etwo r k   ar ch itectu r es,   d esig n in g   tailo r ed   l o s s   f u n ctio n s ,   an d   im p lem e n tin g   c o n v o lu ti o n al  lay e r   d ec o m p o s itio n   n etwo r k s ,   ca n   en h an ce   p er f o r m an ce   an d   e f f ec tiv en ess   [ 2 3 ] .   T h co m p r eh en s iv en ess   an d   ef f ec tiv en ess   o f   th ese  m eth o d s   s h o u ld   b e n h an ce d .   T h is   in clu d es  lev er ag in g   h is to r ical   co n tex t,  e x p lo r in g   v ar io u s   f u s io n   tech n iq u es,  in c o r p o r ati n g   r ig o r o u s   ev alu atio n   p r o ce s s es,  an d   co n s id er in g   p r ac tical  ap p licatio n s   an d   f u t u r p r o s p ec ts   [ 2 4 ] .   Fig u r 1   s h o ws th p r o p o s ed   f u s io n   m o d el  wh ich   c o n s is ts   o f   f o u r   s tag es:    a.   I n p u t so u r ce s : I n f r a r ed   im a g es a n d   v is ib le  im ag es a r f ed   in t o   th m o d el    b.   Dec o m p o s itio n : T h im a g es a r d ec o m p o s ed   in to   co n s titu en t f ea tu r es   c.   Featu r f u s io n : E x tr ac te d   f ea t u r es a r f u s ed   t o   en h a n ce   in f o r m atio n     d.   I m ag f u s io n : T h f u s ed   f ea tu r es a r f u s ed   to g eth er   to   g en er ate  th f in al  im ag e   T h r em ai n in g   s ec tio n s   o f   th i s   wo r k   ar s tr u ct u r ed   as  f o llo ws.  Sectio n   2   p r o v id es  a   co m p r eh en s iv e   ex p lan atio n   o f   th m eth o d o lo g y   th at  h as  b ee n   d ev is ed   to   i n teg r ate  n ea r - i n f r ar e d   an d   v is ib le  im ag es  an d   th f r am ewo r k   is   d is cu s s ed   in   s ec tio n   3 .   q u an titativ an d   q u a litativ ev alu atio n   o f   th alg o r ith m   is   p r o v id ed   in   s ec tio n   4 ,   an d   it is   co n clu d e d   i n   s ec tio n   5 .           Fig u r 1 .   Pro p o s ed   f u s io n   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Tw o - s ca le  d ec o mp o s itio n   a n d   d ee p   le a r n in g   fu s io n   fo r   visi b le   a n d   in fr a r ed   ima g es   ( R u h a n   B ev i A z a d )   1595   2.   P RO P O SE M E T H O D   2 . 1 .     T wo - s ca le  deco m po s it io n m e t ho d   T h r o u g h o u th y ea r s ,   n u m er o u s   f u s io n   alg o r ith m s   h av b ee n   p r o p o s ed ,   ea ch   aim i n g   to   en h an ce   th e   q u ality   an d   lev el   o f   in f o r m ati o n   in   im ag es.  T h p r im ar y   o b jectiv o f   two - s ca le  d ec o m p o s itio n   is   to   p ar titi o n   th o r ig in al  im ag e   in to   s er ies  o r   en s em b le  o f   im ag es,  ea ch   o f   wh ich   h ig h lig h ts   s p ec if ic  attr ib u te  o r   ch ar ac ter is tic.   I n s tead   o f   d ir ec tly   m er g in g   th s o u r ce   im ag es,  th is   d ec o m p o s itio n   m e th o d   is   em p l o y ed .   Dec o m p o s itio n   p r io r itizes  th e   f u s io n   o f   th e   d ec o n s tr u cted   i m ag es  r ath er   t h an   m a k in g   d ir ec m o d if icatio n s   to   th s o u r ce   im ag es.  m o r e   in tr icate   an d   co m p r eh en s iv e   f u s ed   im ag e   is   g en er ate d   b y   m er g in g   th u n iq u e   in f o r m atio n   co n s er v ed   in   ea c h   d ec o n s tr u cted   im ag e.   T h is   p ap er   ex p lo r es  two   d is tin ct  d ee p   lear n in g   m et h o d o lo g ies  with in   th f r am ewo r k   o f   m u ltis ca le   d ec o m p o s itio n   f o r   f u s io n .   Alt h o u g h   th f ir s m eth o d   is   u s e f u f o r   ex tr ac tin g   g en er al  f ea t u r es,  it  r elies  o n   p r etr ain ed   d ee p   n eu r al  n etwo r k   th at  m ay   n o b o p tim ize d   b ec au s o f   th in t r icate   n a tu r o f   m u ltis ca le  d ec o m p o s itio n   task s .   T h is   c o u ld   r esu lt  i n   s u b o p tim al  f u s io n   o u tc o m es  d u e   to   th e   n etwo r k ' s   lim ited   ad ap tab ilit y   in   v a r io u s   b r ea k d o wn   s ce n ar io s .   On   th e   o th er   h an d ,   t h s ec o n d   m eth o d   u tili ze s   an   a u to en co d er .   Au to en co d e r s   ar p ar ticu lar ly   well - s u ited   f o r   task s   th at  r e q u ir ac cu r ate  p r eser v atio n   o f   i n f o r m atio n ,   as  t h ey   ar s p ec if ically   d esig n ed   f o r   ex tr ac tin g   f ea tu r es  an d   r ec o n s tr u ctin g   im a g es.  An   au t o en co d er ' s   en co d in g   p r o ce s s   d ec o m p o s es  im ag es  in to   f ea tu r e   m ap s ,   e n ab lin g   t h ef f icien ca p tu r e   o f   in f o r m atio n   at  d i f f er en s ca les.  An   ad v an tag o f   u s i n g   an   au to en c o d er - b ased   ap p r o ac h ,   as  o p p o s ed   to   a   p r e tr ain ed   d ee p   n eu r al   n etwo r k ,   is   its   s u p er io r   s u ita b ilit y   f o r   m u ltis ca le  d ec o m p o s itio n   task s   d u to   its   in h er en ad ap tab ilit y   an d   co n tex tu al  r elev an ce .     2 . 2 .     O pti m iza t io m o del   T h p r o p o s ed   m o d el  u tili ze s   o p tim izatio n   tech n iq u es  to   d ec o m p o s an   in p u im ag i n to   b ase   im ag an d   d etail  im ag e.   T h ac q u is itio n   o f   t h b asis   i m ag ca n   b ac h iev ed   b y   ad d r ess in g   th is s u o f   lo w - f r eq u e n cy   b ac k g r o u n d   in f o r m atio n .     = a r g   min 2  2 +  2 = 1     ( 1 )     wh er   is   th d is in teg r ated   b a s im ag e (m = 1 , 2 …. ,   n )   ar h ig h   p ass   f ilter s   is   th in p u im ag e,     is   th co n v o lu tio n   o p er atio n ,     is   r ep r esen ts   th tu n in g   h y p er p ar a m eter   an d      2 = 1     is   u s ed   to   r ed u ce   th h ig h   f r eq u en cy   o f   No w,     r ep r esen ts   th d etailed   im ag a n d   m ea n s   h i g h   f r e q u en c y   q u ality /tex tu r a n d   co l o u r   p r o g r ess io n   an d   is   g iv e n   b y   ( 2 ) .     =  2  2 +  2       ( 2 )     h er e ( m =1 , 2 …. ,   n )   ar lo p ass   f ilter s ,   an d     is   ag ain   tu n in g   h y p e r p ar a m eter .   T o   ac c o u n f o r   th ei r   f lex ib ilit y ,   th weig h ts   f o r   ce n tr al  p ix el  m u s t b e   n o r m alize d   to   s u m   to   1 .   T h er e f o r e,   th b a s f ea tu r m ap   is        =  ( ) = 1 (  ) (  )     ( 3 )     wh er ( )   r ep r esen ts   th k er n el  o f     r o tated   b y   1 8 0 °   an d      is   th s tep   s ize.     2 . 3 .     Unra v elling   a l g o rit hm   T h “u n r a v ellin g ”  alg o r ith m   is   r ec en tly   d ev elo p ed   m et h o d   th at  p r o v i d es  an   ap p ea lin g   p r o ce s s   f o r   d esig n in g   d ee p   n e u r al  n etwo r k s   b ased   o n   m o d els.  Alg o r i th m   u n r o llin g   is   th p r o ce s s   o f   tr an s f o r m in g   r ep etitiv alg o r ith m   in to   d e ep   n eu r al  n etwo r k   ( DNN)   b y   ex p an d i n g   its   co m p u tatio n al  g r ap h .   T h is   en a b les   th tr ain in g   o f   p r ed ef in e d   h y p er p ar am eter s   an d   u n k n o wn   co ef f icien ts   in   co m p r eh e n s iv way .   T h b ase   co n v o l u tio n   lay er   an d   d etail  c o n v o lu ti o n   lay er   ar r e p lace d   with   f ilter s     an d     as ( 4 ) .        =  [  2 (  1 (  ) )   (  ) ]     ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   2 Ap r il   20 25 :   1 5 9 3 - 1 6 0 1   1596   wh er    ( m =1 , 2 )   wh ich   d e n o t es  th k er n el  s ize.   Fu r th er m o r e,   we  s et  th e    1   k er n el  e q u a to    2   wh er th is   m ad 1 8 0 °  tu r n .   Similar ly ,   th d etailed   f ea tu r m ap   u p d atin g   p r o ce d u r is   ca r r ied   o u t   as ( 5 ) :      =  [  2 (  1 (  ) )   (  ) ]     ( 5 )     wh er e,     an d     ar p r e d ef in e d   h y p er p ar am eter s   a n d     an d     ar s tep   s izes.       3.   F RAM E WO RK   T h d etail  an d   b ase  im ag es  ar r eg ar d ed   as  f ea tu r m ap s   o b tain ed   f r o m   th s o u r ce   i m ag e.   T h is   ap p r o ac h   in v o lv es  o r g a n izin g   d etail  c o n v o lu tio n   lay er   ( DC L )   an d   b ase  co n v o lu tio n   l ay er   ( B C L )   as  two   en co d er s .   T h o b jectiv is   to   r ep r o d u ce   th r e p etitiv p r o ce d u r o f   c o n v e n tio n al  o p tim izatio n   m o d els  a n d   ex tr ac f u n d am e n tal  an d   in tr i ca te  f ea tu r m ap s .   Su b s eq u en tly ,   s u p p lem en tar y   d ec o d er   is   g en er ated   u s in g   in p u ts   th at  in clu d e   th s u m m atio n   o f   two   d ec o n s tr u cted   f ea tu r m a p s .   T h r esu lt  o f   th is   d ec o d er   is   th e   r ec o n s tr u cted   s o u r ce   im ag e.   Fig u r 2   illu s tr ates  th n etwo r k   ar ch itectu r d u r in g   t h tr ain in g   p h ase  an d   Fig u r 3   d e p icts   s in g le  B C L ,   wh ile  DC L   h as  a   s im ilar   s tr u ctu r e   b u t   d is tin ct  p ar a m eter s .   T h e   n u m b er   o f   in p u an d   o u tp u t   ch a n n els   f o r   th f ir s co n v o l u tio n   u n its    1   an d    1   is   ( 1 ,   H) .   T h s ec o n d   co n v o l u tio n al  u n its ,    2   an d    2   ar e   s et  as  ( H,   1 ) .   T h v alu o f   H   is   s et  to   6 4 .   DC L   an d   B C L   d o   n o h a v a n y   p ar am e ter s   th at  a r e   s h ar ed   b etwe en   th em .   T h e   L a p lacia n   an d   b lu r   f ilter s   ar a p p lied   to   th s o u r ce   im a g a n d   th d etail  en co d er   0   an d   b ase  e n co d e r   0   ar e   in itialized .   T h e   s ig m o id   f u n ctio n ,   b atch   r eg u la r izatio n   lay e r ,   an d   a   3 × co n v o l u tio n   u n it  m ak u p   th e   d ec o d er .   T h co n v o l u tio n   u n it  h as  o n in p u c h an n el  an d   o n o u t p u ch an n el.   T h r esto r ed   im a g e’ s   p ix el  v alu es a r n o r m alize d   to   r an g o f   0 - 1   b y   m ea n s   o f   th s ig m o i d   f u n ctio n .   Fig u r 4   illu s tr ates  th wo r k f lo o f   th e   test in g   f r am ewo r k .   Du r in g   th test   p h ase,   in p u p air s   o f   in f r ar ed   an d   v is ib le  im ag es  ar g iv e n   an d   th e   u ltima te  f u s io n   r esu lts   ar s u b s eq u en tl y   o b tain e d .   U p o n   co m p letio n   o f   th e   tr ain in g   p r o ce s s ,   two   p r o f icien e n co d e r s   an d   a   d ec o d er   ar e   o b tai n ed .   I n   th is   c o n tex t,   ,   ,   ,   an d     r ep r esen th in f r ar e d   d etail,   b ase  f ea tu r m ap s   an d   v is ib le  d etail,   b ase  f ea tu r m ap s ,   r esp ec tiv ely .             Fig u r 2 .   T r ain in g   f r am ewo r k             Fig u r 3 .   Sin g le  B C L   lay er     Fig u r 4 .   T r ain in g   f r am ewo r k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Tw o - s ca le  d ec o mp o s itio n   a n d   d ee p   le a r n in g   fu s io n   fo r   visi b le   a n d   in fr a r ed   ima g es   ( R u h a n   B ev i A z a d )   1597   4.   E XP E R I M E N T S   T h ef f ec tiv en ess   o f   th is   s tr ateg y   was  ev alu ated   th r o u g h   co m p r eh e n s iv co m p a r ativ a n aly s is   o f   th s tan d ar d   f u s io n   alg o r ith m   an d   r ec en tly   p r o p o s ed   f u s io n   alg o r ith m .   Su b jectiv ass ess m en ts   f o cu s ed   o n   v is u al  q u ality   an d   p e r ce p tu al  c lar ity ,   wh ile  o b jectiv ass ess m en ts   u tili ze d   estab lis h ed   m etr i cs,  s u ch   as e n tr o p y   an d   s p atial  f id elity .   T h r esu lts   co n s is ten tly   d em o n s tr ate  th s u p er io r   p er f o r m an ce   o f   th e   p r o p o s ed   m eth o d ,   h ig h lig h tin g   its   p o ten tial f o r   p r ac tical  ap p licatio n s   r eq u ir i n g   h ig h   im ag e   q u ality .     4 . 1 .     Da t a s et s   T h FLI R   an d   T NO  d atasets   [ 2 5 ]   wer s elec ted   as  th test   s u b jects  to   th o r o u g h ly   ass ess   th ef f icac y   o f   th e   p r o p o s ed   m eth o d .   T h T NO  d ataset  co n s is ts   o f   n u m e r o u s   p r ea lig n ed   p air s   o f   n ea r - i n f r ar ed   ( NI R )   a n d   v is ib le  im ag es.  Similar ly ,   th FLI R   d ataset  co n s is ts   o f   th er m al  in f r ar ed   a n d   v is ib le  im ag es.  T h ex p er im en tal   s etu p   in v o lv ed   s elec tin g   th i r ty   p air s   o f   im ag es  f r o m   th F L I R   d ataset.   T h ese  im ag es  w er th en   u n i f o r m l y   r esized   to   2 5 6 × 2 5 6   p ix els  to   f ac ilit ate  th an aly s is   o f   m u ltis ca le  tr an s f o r m atio n s .   lap t o p   f ea tu r in g   C o r i7   p r o ce s s o r   an d   1 6   GB   o f   R AM   was u tili ze d   f o r   co n d u ctin g   th ev alu atio n   p r o ce s s .     4 . 2 .     Q ua lit y   m e t rics   Fo u r   o b jectiv ass ess m en m etr ics  wer u s ed   to   an al y ze   th e   im p ac o f   th p r o p o s ed   m eth o d .   T h ey   ar en tr o p y   ( E N)   is   th ev alu a tio n   o f   im a g q u ality   to   q u an t if y   th lev el  o f   in f o r m atio n   co n tain ed   with in   th e   f u s ed   im ag e.   T h av er a g g r a d ien ( AG)   m etr ic  ass es s es  an   im ag e' s   v is u al  clar ity   b y   ex am in in g   its   tex tu r al  an d   co n tr ast  f ea tu r es.  T h is   ev a lu atio n   d eter m i n es  h o well  t h co m b i n ed   im a g p r eser v es  th in tr icate   d etails  an d   b o u n d ar ies  f o u n d   in   t h o r ig in al  im ag es.   I m a g es  with   h i g h er   AG  s co r es  a r g en er ally   co n s id er ed   to   h av b etter   p er ce p tu al  q u ality .   Sp e ctr al  f id elity   ( SF )   is   m etr ic   th at  q u an tifie s   th ex ten to   wh ich   th s p ec tr al  in f o r m atio n   o f   th in p u im ag es  is   ac cu r ately   m ain tain ed   in   th f u s ed   im ag e,   th u s   en s u r in g   th f id elity   o f   th e   f u s ed   im ag t o   th o r ig in al   s p ec tr al  ch ar ac ter is tics .   Sp atial  d is to r tio n   ( SD)   is   m ea s u r o f   th ex ten to   wh ic h   s p atial  d is to r tio n   o r   m is alig n m en o cc u r s   d u r in g   th e   f u s io n   p r o ce s s .   I e v alu ates  th e   d e g r ee   to   wh ich   th o s e   s p atial  d etails ar m ain tain ed   in   th f u s ed   i m ag e.     4 . 3 .     E v a lua t i o n a g a ins t   riv a l   a lg o rit hm s   us ing   t he  F L I a nd   T NO   da t a s et s   T h ef f ec tiv en ess   o f   th p r o p o s ed   ap p r o ac h   is   s u b s tan tiated   th r o u g h   th a p p licatio n   o f   th FLI R   d ataset.   T h f u s io n   o u tc o m es  o f   th e   s o u r ce   im ag e   ar e   p r esen ted   in   Fig u r e   5 ,   wh ich   d e p icts   s ce n f ea tu r in g   two   p eo p le   s tan d in g   alo n g s id th eir   b icy cle  n ea r   th e   ed g e   o f   an   ap ar tm e n co m p lex   r o a d .   T h e   v is ib le  im ag e   clea r ly   d is p lay s   t h s p ec if ic   f e atu r es  o f   th e   h o u s an d   c y cle.   Ho wev er ,   t h in d iv id u als   wer n o t   d is ce r n ib le   in   th v is ib le  im ag e,   wh e r ea s   th e y   wer d etec tab le  in   th NI R   i m ag b ec au s o f   th eir   h ig h   s en s itiv ity   to   th er m al  r ad iatio n ,   wh ich   ca p tu r es d ata  r elate d   to   p er s o n .   Qu an titativ an d   q u alitativ m etr ics we r u s ed   to   ass es s   th f u s io n   p er f o r m a n ce   o f   th p r o p o s ed   m eth o d .           Fig u r 5 .   Fu s io n   o u tp u t     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   2 Ap r il   20 25 :   1 5 9 3 - 1 6 0 1   1598   Fro m   s u b jectiv s tan d p o in t ,   th im ag p r o d u ce d   b y   Fu s io n GAN  ap p ea r s   to   b o f   lo wer   v is u al  q u ality   an d   lack s   s ev er al  elem en ts   f o u n d   in   th v is ib le  im ag e.   I m ag es  g en er ated   u s in g   Dee p Fu s g en er ally   ap p ea r   b lu r r y ,   with   in d is tin ct  ed g es a n d   co n s id er a b le  n o is e.   T h is   lo s s   o f   ed g in f o r m atio n   m ak es it d if f icu lt to   d is ce r n   th in ter io r   o f   th ap a r tm en t.  T h Den s eFu s alg o r ith m   f ails   to   m ain tain   co n s is ten b r ig h tn ess   lev els,   p ar ticu lar ly   n o ticea b le  o n   r o ad   s u r f ac es.  T h o u tp u f r o m   to tal  v ar iatio n   alter n atin g   d ir ec tio n   m et h o d   o f   m u ltip lier s   ( T VADM M )   d is p lay s   d eg r ee   o f   f o g g in ess ,   w h ile  two - s ca le  in f r ar ed   a n d   v is ib le  im ag f u s io n   s ch em e   ( T SIFVS )   r esu lts   s ee m   u n d e r ex p o s ed .   I n   co m p ar is o n   to   all  o th er   m eth o d s ,   t h p r o p o s ed   ap p r o ac h   d em o n s tr ates  s u p er io r   co n tr as in   id en tify in g   p r o m in en tar g ets.  T h p r o p o s ed   m eth o d o lo g y   clea r ly   p r o d u ce s   f u s ed   im ag th at  s u cc ess f u lly   d is p lay s   th r ich   tex tu r es  o f   two   p eo p le  n ea r   th eir   cy cle s   in   th d esig n ated   o r an g b o x .   As  in d icate d   in   T ab le  1 ,   th p r o p o s ed   m eth o d   o u tp er f o r m s   ex is tin g   tech n iq u es  in   E N,   AG,   an d   SD,  h ig h lig h tin g   its   s u p er io r   p er f o r m an ce   in   m ai n tain in g   d etail  an d   clar ity   in   t h f u s ed   i m ag e s .   Sp ec if ically ,   th e   E v alu o f   7 . 4 5 ,   AG  v alu o f   5 . 9 1 ,   an d   SD  v alu o f   3 8 . 1 8   ar th h ig h est  am o n g   all  th co m p ar ed   m et h o d s ,   d em o n s tr atin g   th m et h o d s   ab ilit y   to   p r eser v f in tex t u r es,  ed g es,  an d   s p atial  co n s is ten cy ,   wh ich   ar cr u cial   f o r   task s   lik s u r v eillan ce .   T h v is u al  clar ity   o f   th p r o p o s ed   m eth o d ,   as  s h o w n   in   Fig u r 6 ,   is   m ar k ed ly   h ig h er   th a n   th at  o f   alter n ativ e   tech n iq u es,  s u ch   as  Dee p Fu s an d   Fu s io n GAN,   wh ich   s h o co m p r o m is es  in   s p atial  co n s is ten cy   an d   ed g e   d etail.       T ab le  1 .   Av e r ag r esu lts   o b tai n ed   b y   ap p l y in g   m u ltip le  tech n iq u es to   th FLI R   d ataset   M e t h o d s   EN   AG   SF   SD   D e e p F u se   7 . 2 1   4 . 8 0   1 5 . 4 7   3 7 . 3 5   F u si o n G a n   7 . 0 2   3 . 2 0   1 1 . 5 1   3 4 . 3 8   D e n seF u se   7 . 2 1   4 . 8 2   1 5 . 5 0   3 7 . 3 2   TSI F V S   7 . 1 5   5 . 5 7   1 8 . 7 9   3 5 . 8 9   I mag e F u se   6 . 9 9   4 . 1 5   1 4 . 5 2   3 2 . 5 8   TV - a d mm   6 . 8 0   3 . 5 2   1 4 . 0 4   2 8 . 0 7   P r o p o se d   7 . 4 5   5 . 9 1   1 4 . 4 6   3 8 . 1 8           Fig u r 6 .   Av e r ag r esu lts   b y   tech n iq u es  -   FLI R   d ataset       Usi n g   T NO  d ataset,   T ab le  2   d is p lay s   th av er ag v alu es  o f   s ix   o b jectiv ass ess m en cr it er ia,   with   th r ed   v alu es  em p h asizin g   th h ig h est  v alu es.  C o m p ar ed   to   Dee p Fu s an d   Fu s io n GAN,   o u r   m eth o d   co n s is ten tly   d eliv er s   b etter   p e r f o r m a n ce   in   ter m s   o f   AG  a n d   E N.   T h ese  f i n d in g s   alig n   wi th   p r ev i o u s   s tu d ies,  wh er m u ltis ca le  d ec o m p o s itio n   tech n iq u es  d e m o n s tr ated   a n   ad v a n tag in   s p atial  clar ity .   Ho wev er ,   as  s ee n   with   SF ,   f u tu r im p r o v e m en t s   m ay   f o cu s   o n   s p ec tr al  f id e lity ,   p o ten tially   th r o u g h   h y b r id   tech n iq u es  th at   m er g d ec o m p o s itio n - b ased   a n d   s p ec tr al  r ete n tio n - f o cu s ed   m eth o d s .   T h p r o p o s ed   alg o r i th m   o u t p er f o r m e d   all  alter n ativ es  in   ter m s   o f   f u s io n   p er f o r m a n ce ,   with   th e x ce p tio n   o f   AG  an d   SF ,   an d   ac h ie v ed   th m a x im u m   ac h iev ab le  s co r e.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Tw o - s ca le  d ec o mp o s itio n   a n d   d ee p   le a r n in g   fu s io n   fo r   visi b le   a n d   in fr a r ed   ima g es   ( R u h a n   B ev i A z a d )   1599   T ab le  2 .   Av e r ag r esu lts   o b tai n ed   b y   ap p l y in g   m u ltip le  tech n iq u es to   th T NO  d ataset   M e t h o d s   EN   AG   SF   SD   D e e p F u se   6 . 8 6   3 . 6 0   1 1 . 1 3   3 2 . 2 5   F u si o n G a n   6 . 5 8   2 . 4 2   8 . 7 6   2 9 . 0 4   D e n seF u se   6 . 8 4   3 . 6 0   1 1 . 0 9   3 1 . 8 2   TSI F V S   6 . 6 7   3 . 9 8   1 2 . 6 0   2 8 . 0 4   I mag e F u se   6 . 3 8   2 . 7 2   9 . 8 0   2 2 . 9 4   TV - a d mm   6 . 4 0   2 . 5 2   9 . 0 3   2 3 . 0 1   P r o p o se d   6 . 9 0   3 . 3 3   9 . 8 6   3 3 . 5 0       Fig u r 7   illu s tr ates  th co m p ar is o n   o f   av e r ag r esu lts   f o r   v ar io u s   tech n iq u es  b ased   o n   th T NO   d ataset,   f u r th e r   h i g h lig h tin g   t h s u p er i o r   p er f o r m an ce   o f   t h p r o p o s ed   m eth o d   i n   m o s m etr ics.  T h r esu lts   f r o m   b o t h   th FLI R   an d   T NO  d atasets   u n d er s co r th p o ten tial  o f   th p r o p o s ed   m eth o d   f o r   ap p licatio n s   r eq u ir in g   h ig h   s p atial  clar ity ,   s u ch   as  in   s u r v eillan ce   an d   m ed ical  im ag in g .   Fu t u r wo r k   co u ld   a d d r ess   th e   s lig h tr ad e - o f f   in   s p ec tr al   f id elity   b y   e x p lo r in g   h y b r id   ap p r o ac h es  th at  in c o r p o r ate  ad d itio n al  s p ec tr al  lo s s   f u n ctio n s ,   e n ab lin g   a   m o r b a lan ce d   f u s io n   ac r o s s   d if f er e n t   m o d alities .   E x p an d in g   t h s co p o f   th is   m eth o d   to   o th er   d ata  ty p es,  s u ch   as  h y p er s p ec tr al  im ag es,  c o u ld   r ev ea n ew  ap p licatio n s   an d   f u r th er   en h an ce   th e   r o b u s tn ess   o f   th p r o p o s ed   f u s io n   s tr ateg y .           Fig u r 7 .   Av e r ag r esu lts   b y   tech n iq u es  -   T NO  d ataset       5.   CO NCLU SI O N   T h p r o p o s ed   m eth o d   f o r   v is ib le  an d   in f r a r ed   im a g f u s io n ,   w h ich   co m b in es  two - s ca le  d ec o m p o s itio n   with   d ee p   lear n in g   tech n iq u es,  h as  d em o n s t r ated   s ig n if ican im p r o v em en ts   in   p er f o r m an ce   o v er   ex is tin g   ap p r o ac h es.  Ou r   ap p r o ac h   ef f ec tiv ely   p r eser v es  b o th   th s p atial  an d   th er m a in f o r m atio n   f r o m   th in p u im ag es,  as  r ef lecte d   b y   th h i g h est  AG,   E N,   an d   SD  v alu es  am o n g   all  co m p ar ed   m eth o d s .   T h ese   r esu lts   in d icate   th at  o u r   f u s io n   m o d el  is   p ar ticu lar ly   well - s u ited   f o r   ap p licatio n s   wh er s p atial  d etail  an d   clar ity   ar cr itical,   s u ch   as su r v eillan ce ,   m ilit ar y ,   an d   m ed ic al  im ag in g .   B ey o n d   d em o n s tr atin g   its   ef f icac y   in   im ag f u s io n ,   th is   r esear ch   also   o p en s   th d o o r   f o r   f u tu r in v esti g atio n s .   W h ile  th m e th o d   ex ce ls   in   m ain tain in g   t ex tu r an d   clar ity ,   f u r t h er   w o r k   is   r eq u ir ed   to   en h an ce   s p ec t r al  f id elity .   E x p lo r in g   h y b r id   f u s io n   tec h n iq u es  th at  in co r p o r ate   s p ec tr al  r et en tio n   m ec h an is m s   alo n g s id m u ltis ca le  d ec o m p o s itio n   co u ld   ad d r ess   th is   lim itatio n .   Ad d itio n ally ,   ex p an d in g   th e   m eth o d   to   h an d le  o t h er   m u ltimo d al  im a g f u s io n   task s ,   s u ch   as  h y p e r s p ec tr al  o r   r a d ar   im a g er y ,   p r esen ts   an   ex citin g   d ir ec tio n   f o r   f u tu r r esear c h .   I n   co n clu s io n ,   o u r   f in d in g s   c o n tr ib u te   to   th e   o n g o in g   ad v an ce m en ts   in   im a g f u s io n   t ec h n iq u es,  o f f er in g   r o b u s s o lu tio n   f o r   co m b in in g   v is ib le  an d   in f r a r e d   d ata.   T h r ea l - wo r ld   im p lica tio n s   o f   th is   m eth o d   ar v ast,  an d   its   ap p licatio n   a cr o s s   d if f er en d o m ain s   ca n   p o ten tially   lead   to   en h a n ce d   d e tectio n ,   m o n ito r i n g ,   an d   im a g in g   s y s tem s .   Mo v in g   f o r war d ,   im p r o v em en ts   i n   s p ec tr al  f id elity   an d   ex ten s io n   to   b r o ad er   d atasets   will f u r th er   s o lid if y   t h u tili ty   o f   th is   ap p r o ac h   with in   t h im ag f u s io n   r esear ch   co m m u n it y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   2 Ap r il   20 25 :   1 5 9 3 - 1 6 0 1   1600   ACK NO WL E DG E M E NT S   T h au th o r   e x p r ess es  s in ce r g r atitu d to   ca r r y   th is   ex ten d e d   r esear ch   b ased   o n   th e   f in a n c ial  s u p p o r r ec eiv ed   f r o m   th SR I n s titu te  o f   Scien ce   an d   T ec h n o l o g y ,   Kattan k u lath u r ,   I n d ia,   u n d er   th e   Selectiv E x ce llen ce   R esear ch   I n itiativ e   ( SERI) .       RE F E R E NC E S   [ 1 ]   H .   V .   N g u y e n ,   M .   O .   U l f a r ss o n ,   J.  R .   S v e i n sso n ,   a n d   M .   D .   M u r a ,   U n s u p e r v i s e d   s e n t i n e l - 2   i m a g e   f u si o n   u s i n g   a   d e e p   u n r o l l i n g   met h o d ,   I EE G e o sc i e n c e   a n d   Re m o t e   S e n si n g   L e t t e rs ,   v o l .   2 0 ,   p p .   1 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / LG R S . 2 0 2 3 . 3 3 2 6 8 4 5 .   [ 2 ]   J.  M .   R a mi r e z ,   J.   I .   M a r t í n e z - To r r e ,   a n d   H .   A r g u e l l o ,   LA D M M - N e t :   a n   u n r o l l e d   d e e p   n e t w o r k   f o r   s p e c t r a l   i mag e   f u si o n   f r o m   c o m p r e ss i v e   d a t a ,   S i g n a l   Pr o c e ssi n g ,   v o l .   1 8 9 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . s i g p r o . 2 0 2 1 . 1 0 8 2 3 9 .   [ 3 ]   S .   Zh a n g ,   X .   Li ,   X .   Z h a n g ,   a n d   S .   Z h a n g ,   I n f r a r e d   a n d   v i si b l e   i ma g e   f u si o n   b a se d   o n   s a l i e n c y   d e t e c t i o n   a n d   t w o - sca l e   t r a n sf o r m   d e c o m p o si t i o n ,   I n f r a r e d   P h y si c s &   T e c h n o l o g y ,   v o l .   1 1 4 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i n f r a r e d . 2 0 2 0 . 1 0 3 6 2 6 .   [ 4 ]   L.   M a ,   Y .   H u ,   B .   Z h a n g ,   J.  Li ,   Z .   C h e n ,   a n d   W .   S u n ,   A   n e w   m u l t i - f o c u s i mag e   f u si o n   me t h o d   b a se d   o n   m u l t i - c l a ssi f i c a t i o n   f o c u s   l e a r n i n g   a n d   m u l t i - s c a l e   d e c o mp o s i t i o n ,   Ap p l i e d   I n t e l l i g e n c e ,   v o l .   5 3 ,   n o .   2 ,   p p .   1 4 5 2 1 4 6 8 ,   Ja n .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 2 2 - 0 3 6 5 8 - 2.   [ 5 ]   L.   G o p i n a t h   a n d   A .   R .   B e v i ,   A n i s o t r o p i c   g u i d e d   f i l t e r i n g   a n d   m u l t i - l e v e l   d i si n t e g r a t i o n   met h o d   f o r   N I R   a n d   v i si b l e   i ma g e   f u si o n ,   i n   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o g n i t i v e   C o m p u t i n g   a n d   I n f o rm a t i o n   Pr o c e ss i n g ,   2 0 2 4 ,   p p .   1 6 5 1 7 5 .   [ 6 ]   K .   L i ,   G .   Li u ,   X .   G u ,   H .   T a n g ,   J .   X i o n g ,   a n d   Y .   Q i a n ,   D A N T - G A N :   a   d u a l   a t t e n t i o n - b a s e d   o f   n e s t e d   t r a i n i n g   n e t w o r k   f o r   i n f r a r e d   a n d   v i si b l e   i ma g e   f u si o n ,   D i g i t a l   S i g n a l   Pr o c e ssi n g ,   v o l .   1 4 5 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . d s p . 2 0 2 3 . 1 0 4 3 1 6 .   [ 7 ]   L.   G o p i n a t h   a n d   A .   R u h a n   B e v i ,   A   d i m e n s i o n a l i t y   r e d u c t i o n   me t h o d   f o r   t h e   f u s i o n   o f   N I R   a n d   v i s i b l e   i m a g e ,   i n   I n t e rn a t i o n a l   C o n f e re n c e   o n   I m a g e   Pro c e ss i n g   a n d   C a p s u l e   N e t w o r k s ,   2 0 2 3 ,   p p .   6 2 9 645.   [ 8 ]   P .   Z h u ,   W .   O u y a n g ,   Y .   G u o ,   a n d   X .   Z h o u ,   A   t w o - to - o n e   d e e p   l e a r n i n g   g e n e r a l   f r a m e w o r k   f o r   i ma g e   f u si o n ,   Fro n t i e rs  i n   Bi o e n g i n e e r i n g   a n d   Bi o t e c h n o l o g y ,   v o l .   1 0 ,   J u l .   2 0 2 2 ,   d o i :   1 0 . 3 3 8 9 / f b i o e . 2 0 2 2 . 9 2 3 3 6 4 .   [ 9 ]   H .   X u ,   J .   M a ,   J .   Ji a n g ,   X .   G u o ,   a n d   H .   Li n g ,   U 2 F u s i o n :   a   u n i f i e d   u n su p e r v i s e d   i m a g e   f u s i o n   n e t w o r k ,   I EEE   T ra n s a c t i o n o n   Pa t t e r n   An a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 4 ,   n o .   1 ,   p p .   5 0 2 5 1 8 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 2 0 . 3 0 1 2 5 4 8 .   [ 1 0 ]   H .   U n n i k r i s h n a n   a n d   R .   B .   A z a d ,   N o n l o c a l   r e t i n e x   b a s e d   d e h a z i n g   a n d   l o w   l i g h t   e n h a n c e me n t   o f   i m a g e s,   T ra i t e m e n t   d u   S i g n a l v o l .   3 9 ,   n o .   3 ,   p p .   8 7 9 8 9 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 8 2 8 0 / t s . 3 9 0 3 1 3 .   [ 1 1 ]   N .   A n a n t r a si r i c h a i ,   R .   Z h e n g ,   I .   S e l e sn i c k ,   a n d   A .   A c h i m,  I mag e   f u s i o n   v i a   s p a r se   r e g u l a r i z a t i o n   w i t h   n o n - c o n v e x   p e n a l t i e s,   Pa t t e r n   Re c o g n i t i o n   L e t t e rs ,   v o l .   1 3 1 ,   p p .   3 5 5 3 6 0 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 2 0 . 0 1 . 0 2 0 .   [ 1 2 ]   Y .   P a n ,   T .   La n ,   C .   X u ,   C .   Zh a n g ,   a n d   Z.   F e n g ,   R e c e n t   a d v a n c e v i a   c o n v o l u t i o n a l   sp a r se   r e p r e sen t a t i o n   mo d e l   f o r     p i x e l - l e v e l   i m a g e   f u si o n ,   Mu l t i m e d i a   T o o l a n d   Ap p l i c a t i o n s ,   v o l .   8 3 ,   n o .   1 7 ,   p p .   5 2 8 9 9 5 2 9 3 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 0 2 3 - 17584 - z.   [ 1 3 ]   Q .   H u ,   S .   H u ,   X .   M a ,   F .   Z h a n g ,   a n d   J .   F a n g ,   M R I   i m a g e   f u si o n   b a sed   o n   o p t i mi z e d   d i c t i o n a r y   l e a r n i n g   a n d   b i n a r y   m a p   r e f i n i n g   i n   g r a d i e n t   d o mai n ,   Mu l t i m e d i a   T o o l a n d   Ap p l i c a t i o n s ,   v o l .   8 2 ,   n o .   2 ,   p p .   2 5 3 9 2 5 6 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 1 0 4 2 - 0 2 2 - 12225 - 3.   [ 1 4 ]   Y .   Ji e ,   X .   L i ,   H .   Ta n ,   F .   Zh o u ,   a n d   G .   W a n g ,   M u l t i - m o d a l   me d i c a l   i mag e   f u si o n   v i a   m u l t i - d i c t i o n a r y   a n d   t r u n c a t e d   H u b e r   f i l t e r i n g ,   Bi o m e d i c a l   S i g n a l   Pr o c e ssi n g   a n d   C o n t r o l ,   v o l .   8 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . b s p c . 2 0 2 3 . 1 0 5 6 7 1 .   [ 1 5 ]   A .   C a m a c h o ,   E.   V a r g a s,  a n d   H .   A r g u e l l o ,   H y p e r s p e c t r a l   a n d   m u l t i sp e c t r a l   i m a g e   f u s i o n   a d d r e ss i n g   s p e c t r a l   v a r i a b i l i t y   b y   a n   a u g me n t e d   l i n e a r   mi x i n g   mo d e l ,   I n t e r n a t i o n a l   J o u rn a l   o f   Re m o t e   S e n s i n g ,   v o l .   4 3 ,   n o .   5 ,   p p .   1 5 7 7 1 6 0 8 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 1 . 2 0 2 2 . 2 0 4 1 7 6 2 .   [ 1 6 ]   Q .   W e i ,   J.   B i o u c a s - D i a s,   N .   D o b i g e o n ,   a n d   J.   Y .   T o u r n e r e t ,   H y p e r s p e c t r a l   a n d   mu l t i sp e c t r a l   i ma g e   f u si o n   b a se d   o n   a   sp a r se   r e p r e s e n t a t i o n ,   I EEE   T ra n s a c t i o n s   o n   G e o s c i e n c e   a n d   R e m o t e   S e n si n g ,   v o l .   5 3 ,   n o .   7 ,   p p .   3 6 5 8 3 6 6 8 ,   2 0 1 5 ,   d o i :   1 0 . 1 1 0 9 / TG R S . 2 0 1 4 . 2 3 8 1 2 7 2 .   [ 1 7 ]   H .   Li ,   X .   J.  W u ,   a n d   T.   D u r r a n i ,   N e st F u s e :   a n   i n f r a r e d   a n d   v i si b l e   i m a g e   f u si o n   a r c h i t e c t u r e   b a se d   o n   n e s t   c o n n e c t i o n   a n d   sp a t i a l / c h a n n e l   a t t e n t i o n   m o d e l s,”   I E EE  T r a n sa c t i o n s   o n   I n s t r u m e n t a t i o n   a n d   Me a s u reme n t ,   v o l .   6 9 ,   n o .   1 2 ,   p p .   9 6 4 5 9 6 5 6 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / TI M . 2 0 2 0 . 3 0 0 5 2 3 0 .   [ 1 8 ]   H .   K a u r ,   D .   K o u n d a l ,   a n d   V .   K a d y a n ,   M u l t i   m o d a l   i m a g e   f u si o n :   C o m p a r a t i v e   a n a l y s i s,   i n   Pro c e e d i n g s   o f   t h e   2 0 1 9   I E EE   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m m u n i c a t i o n   a n d   S i g n a l   Pr o c e s si n g ,   I C C S 2 0 1 9 ,   2 0 1 9 ,   p p .   7 5 8 7 6 1 ,   d o i :   1 0 . 1 1 0 9 / I C C S P . 2 0 1 9 . 8 6 9 7 9 6 7 .   [ 1 9 ]   L.   Ji a n ,   X .   Y a n g ,   Z .   Li u ,   G .   J e o n ,   M .   G a o ,   a n d   D .   C h i s h o l m ,   S ED R F u se :   a   sy mm e t r i c   e n c o d e r d e c o d e r   w i t h   r e si d u a l   b l o c k   n e t w o r k   f o r   i n f r a r e d   a n d   v i si b l e   i ma g e   f u s i o n ,   I E EE  T r a n sa c t i o n s   o n   I n st ru m e n t a t i o n   a n d   M e a s u rem e n t ,   v o l .   7 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / TI M . 2 0 2 0 . 3 0 2 2 4 3 8 .   [ 2 0 ]   J.  M a ,   H .   Z h a n g ,   Z.   S h a o ,   P .   Li a n g ,   a n d   H .   X u ,   G A N M c C :   a   g e n e r a t i v e   a d v e r sari a l   n e t w o r k   w i t h   m u l t i c l a ssi f i c a t i o n   c o n s t r a i n t s   f o r   i n f r a r e d   a n d   v i si b l e   i ma g e   f u s i o n ,   I EEE   T ra n s a c t i o n s   o n   I n st r u m e n t a t i o n   a n d   M e a s u rem e n t ,   v o l .   7 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 9 / TI M . 2 0 2 0 . 3 0 3 8 0 1 3 .   [ 2 1 ]   W .   Y i n ,   K .   H e ,   D .   X u ,   Y .   L u o ,   a n d   J .   G o n g ,   A d a p t i v e   e n h a n c e d   i n f r a r e d   a n d   v i si b l e   i m a g e   f u s i o n   u si n g   h y b r i d   d e c o m p o s i t i o n   a n d   c o u p l e d   d i c t i o n a r y ,   N e u ra l   C o m p u t i n g   a n d   A p p l i c a t i o n s ,   v o l .   3 4 ,   n o .   2 3 ,   p p .   2 0 8 3 1 2 0 8 4 9 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s0 0 5 2 1 - 022 - 0 7 5 5 9 - w.   [ 2 2 ]   H .   L i ,   X .   J .   W u ,   a n d   J.   K i t t l e r ,   R F N - N e st :   a n   e n d - to - e n d   r e s i d u a l   f u s i o n   n e t w o r k   f o r   i n f r a r e d   a n d   v i si b l e   i m a g e s,”   I n f o rm a t i o n   Fu si o n ,   v o l .   7 3 ,   p p .   7 2 8 6 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 2 1 . 0 2 . 0 2 3 .   [ 2 3 ]   J.  D i   e t   a l . ,   F D N e t :   a n   e n d - to - e n d   f u si o n   d e c o m p o si t i o n   n e t w o r k   f o r   i n f r a r e d   a n d   v i s i b l e   i m a g e s,   PL o S   O N E ,   v o l .   1 8 ,   n o .   9   S e p t e m b e r ,   2 0 2 3 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 2 9 0 2 3 1 .   [ 2 4 ]   Y .   Lu o   a n d   Z.   L u o ,   I n f r a r e d   a n d   v i s i b l e   i ma g e   f u si o n :   m e t h o d s ,   d a t a set s,  a p p l i c a t i o n s ,   a n d   p r o s p e c t s ,   A p p l i e d   S c i e n c e ( S w i t zer l a n d ) ,   v o l .   1 3 ,   n o .   1 9 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 3 1 9 1 0 8 9 1 .   [ 2 5 ]   A .   To e t ,   Th e   T N O   m u l t i b a n d   i m a g e   d a t a   c o l l e c t i o n ,   D a t a   i n   Br i e f ,   v o l .   1 5 ,   p p .   2 4 9 2 5 1 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . d i b . 2 0 1 7 . 0 9 . 0 3 8 .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         Tw o - s ca le  d ec o mp o s itio n   a n d   d ee p   le a r n in g   fu s io n   fo r   visi b le   a n d   in fr a r ed   ima g es   ( R u h a n   B ev i A z a d )   1601   B I O G RAP H I E S O F   AUTH O RS       Ruh a n   Be v Az a d           is  a n   a ss o c iate   p ro fe ss o in   t h e   De p a rtme n o El e c tro n ics   a n d   Co m m u n ica ti o n   En g i n e e rin g ,   S R M   In stit u te  o S c ien c e   a n d   Tec h n o l o g y ,   KTR  c a m p u s.  S h e   h o l d a   m a ste r’s  d e g re e   i n   e m b e d d e d   s y ste m   tec h n o lo g ies   fro m   An n a   Un i v e rsity ,   Ch e n n a a n d   a   P h . D.   in   se c u rit y   in   e m b e d d e d   sy ste m fro m   S RM   In stit u te  o S c ien c e   a n d   Tec h n o l o g y .   He r   re se a rc h   in tere sts  in c lu d e   d e e p   l e a rn in g ,   ima g e   c o g n it i o n ,   sig n a l   a n d   ima g e   p ro c e ss in g   with   m a c h in e   lea rn in g ,   n e u ra n e two r k s,  Io fo a u to m a ti o n ,   se c u rit y   in   e m b e d d e d   sy ste m s,  a n d   re c o n fig u ra b le  c o m p u ti n g .   S h e   h a twe n ty - th re e   y e a rs  o f   tea c h i n g   e x p e rien c e .   S h e   c a n   b e   re a c h e d   v ia em a il   a ru h a n b @s rm ist. e d u . i n .         H a r i   Unn ik r ish n a n           is  wo rk in g   se lec ti o n   g ra d e   a ss istan p ro fe s so in   De p a rtme n t   o El e c tro n ics   a n d   C o m m u n ica ti o n   En g in e e rin g ,   a S a v e e th a   En g in e e rin g   C o ll e g e ,   Ch e n n a i .   He   h a m o re   th a n   twe n ty - fiv e   y e a rs  o tea c h in g   e x p e rien c e .   He   re c e iv e d   h is  b a c h e lo r’s  d e g re e   in   e lec tro n ics   e n g i n e e rin g   fro m   M a d ra in stit u te  o Tec h n o l o g y ,   An n a   Un i v e rsity ,   Ch e n n a i,   i n   y e a 1 9 9 3 .   He   c o m p lete d   a   m a ste r’s d e g re e   in   p o we e lec tro n ics   a n d   d ri v e s fro m   th e   C o ll e g e   o f   En g i n e e rin g ,   An n a   Un i v e rsity ,   C h e n n a i.   He   c o m p lete d   P h . D.  a S RM   In stit u te  o S c ien c e   a n d   Tec h n o l o g y ,   Tam il   Na d u ,   I n d ia .   He   h a p u b li sh e d   m a n y   r e se a rc h   p a p e rs  i n   n a ti o n a a n d   in tern a ti o n a l   c o n fe re n c e a n d   in d e x e d   j o u r n a ls.  His   re se a rc h   i n tere sts  in c l u d e   sig n a l   p ro c e ss in g ,   ima g e   p r o c e ss in g ,   m a c h in e   lea rn i n g   a n d   wire les c o m m u n ica ti o n s.  He   is  a   m e m b e r   o In st it u t io n   o f   En g i n e e rs  (IE ),   I n d ia.  He   c a n   b e   c o n tac ted   a e m a il h a riu @s a v e e th a . a c . i n   o r   u h a rih 8 6 @ g m a il . c o m .         Lo k e sh  G o p i n a th           c o m p lete d   h is  B. i n   e lec tro n ics   a n d   c o m m u n ica ti o n   e n g in e e rin g   fr o m   TJ  I n stit u te  o f   Tec h n o l o g y ,   a ffil iate d   t o   An n a   U n iv e rsit y ,   C h e n n a i,   In d ia  i n   2 0 1 3 .   He   o b tai n e d   h is  M . d e g r e e   in   e m b e d d e d   s y ste m   tec h n o lo g ies   fro m   An a n d   I n stit u te  o f   Hig h e Tec h n o l o g y ,   a ffil iate d   wi th   An n a   Un iv e rsit y ,   Ch e n n a i,   I n d ia  in   2 0 1 6 .   C u rre n tl y ,   h e   is   p u rsu i n g   a   P h . D.  d e g re e   i n   e lec t ro n ics   a n d   c o m m u n ica ti o n   e n g in e e rin g   a t   S RM   I n stit u te  o f   S c ien c e   a n d   Tec h n o lo g y ,   Ka tt a n k u lath u r,   I n d ia.   His  re se a rc h   fo c u s e o n   ima g e   p r o c e ss in g   a n d   d e e p   lea rn in g .   He   c a n   b e   re a c h e d   a t   lg 0 6 5 4 @s rm ist. e d u . in .       Evaluation Warning : The document was created with Spire.PDF for Python.