I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l. 9 ,   No . 3 Dec em b er   2 0 2 0 ,   p p .   19 5 ~ 20 4   I SS N:  2252 - 8 7 7 6 ,   DOI 1 0 . 1 1 5 9 1 / ijict.v 9 i3 . p p 19 5 - 20 4          195       J o ur na l ho m ep a g e h ttp : //ij ict. ia esco r e. co m   A neuro  fuzzy im a g e f usio n using  b lo ck bas ed    feature  level me th o d       S.   M a ry   P ra v ee na ,   R.   K a nm a ni A.   K.   K a v it ha   De p a rtme n o ECE ,   S ri   Ra m a k rish n a   In sti tu te  o Tec h n o l o g y ,   I n d i a         Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   Dec   28 ,   2 0 1 8   R ev is ed   Mar   2 0 ,   2 0 19   Acc ep ted   J an   1 2 ,   2 0 20       Im a g e   fu sio n   is  a   su b   field   o i m a g e   p ro c e ss in g   in   wh ich   m o re   th a n   o n e   ima g e a re   fu se d   to   c re a te  a n   im a g e   wh e re   a ll   th e   o b jec ts  a re   in   f o c u s.  Th e   p ro c e ss   o ima g e   fu si o n   is  p e r fo rm e d   fo m u lt i - se n so a n d   m u lt i - f o c u ima g e o th e   sa m e   s c e n e .   M u lt i - se n so ima g e o th e   sa m e   sc e n e   a re   c a p tu re d   b y   d iffere n se n so rs  wh e re a m u lt i - fo c u ima g e a re   c a p tu re d   b y   th e   sa m e   s e n so r.   In   m u lt i - f o c u ima g e s,  th e   o b jec ts  in   t h e   sc e n e   wh ich   a re   c lo se r   to   t h e   c a m e ra   a re   in   f o c u a n d   th e   fa rth e o b jec ts  g e b lu rre d .   C o n trary   t o   it ,   wh e n   th e   fa rth e o b jec ts  a re   fo c u se d   th e n   c lo se o b jec ts  g e b l u r re d   in   th e   ima g e .   To   a c h iev e   a n   ima g e   wh e r e   a ll   th e   o b jec ts  a re   in   f o c u s,  t h e   p ro c e ss   o ima g e fu sio n   is  p e rfo rm e d   e it h e in   sp a ti a d o m a in   o in   tr a n sfo rm e d   d o m a in .   In   re c e n ti m e s,  th e   a p p li c a ti o n o ima g e   p ro c e ss in g   h a v e   g ro w n   imm e n se ly .   Us u a ll y   d u e   t o   li m it e d   d e p t h   o field   o o p ti c a len se e sp e c ially   with   g re a ter  fo c a len g th ,   it   b e c o m e imp o ss ib le  t o   o b tai n   a n   ima g e   wh e re   a ll   th e   o b jec ts  a re   i n   fo c u s.   T h u s,   i p la y a n   imp o rtan t   ro le  t o   p e rfo rm   o t h e r   tas k o ima g e   p r o c e ss in g   su c h   a s   ima g e   se g m e n tatio n ,   e d g e   d e tec ti o n ,   ste re o   m a tch in g   a n d   ima g e   e n h a n c e m e n t.   He n c e ,   a   n o v e l   fe a tu re - lev e m u lt i - fo c u s   ima g e   fu sio n   t e c h n iq u e   h a b e e n   p r o p o se d   wh ich   f u se m u lt i - f o c u ima g e s.   Th u s,   t h e   re su lt s   o f   e x ten si v e   e x p e rime n tatio n   p e rfo rm e d   to   h i g h li g h t   t h e   e fficie n c y   a n d   u ti li ty   o f   th e   p r o p o se d   tec h n iq u e   is  p re se n ted .   Th e   p ro p o se d   wo rk   f u rth e e x p l o re c o m p a ris o n   b e twe e n   fu z z y   b a se d   ima g e   fu sio n   a n d   n e u ro   f u z z y   f u sio n   tec h n iq u e   a lo n g   with   q u a li ty   e v a lu a ti o n   in d ice s.   K ey w o r d s :   Feed   f o r war d   n eu r al  n etwo r k   Fu s io n   Mu lti - f o cu s   im ag es   Op tim al  b lo ck   Var ian ce     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   S.  Ma r y   Pra v ee n a ,   Dep ar tm en t o f   E C E ,   Sri  R am ak r is h n I n s titu te  o f   T ec h n o lo g y ,   Pach ap alay am   ( Po s t) ,   Per u r   C h ettip alay am ,   C o im b ato r e     6 4 1 0 1 0 ,   I n d ia .   p r av ee n a. i n f an t@ g m ail. co m       1.   I NT RO D UCT I O N   wid v ar iety   o f   d ata  ac q u i s itio n   d ev ices  ar av ailab le  a p r esen t,  an d   h en ce   im a g f u s io n   h as  b ec o m a n   im p o r tan t   s u b ar ea   o f   im ag e   p r o ce s s in g .   T h er e   ar s en s o r s   wh ich   ca n n o g en er ate  im ag es  o f   all   o b jects  at  v ar i o u s   d is tan ce s   with   eq u al  cla r ity .   T h u s   s ev er al  im ag es  o f   a   s ce n ar e   ca p t u r ed ,   with   f o cu s   o n   d if f er en t   p ar ts   o f   it   [ 1 ] .   W ith   th a v ailab ilit y   o f   m u lti - s en s o r   d ata   in   m an y   f ield s   s u c h   as  r em o te  s en s in g ,   m ed ical  im ag in g ,   m ac h i n v is io n   an d   m ilit ar y   ap p licatio n s ,   s en s o r   f u s io n   h as  em er g ed   as  n ew  a n p r o m is in g   r esear c h   ar ea .   T h cu r r en t d ef in itio n   o f   s en s o r   f u s io n   is   v er y   b r o ad   an d   t h f u s i o n   ca n   ta k p lace   at   th s ig n al,   p i x el,   f ea tu r e,   a n d   s y m b o lev el.   T h g o al  o f   im ag f u s io n   is   to   cr ea te   n ew  i m ag es  th at  ar e   m o r e   s u itab le  f o r   th e   p u r p o s es  o f   h u m a n   v is u al  p e r ce p tio n ,   o b ject  d etec tio n   an d   tar g et  r ec o g n itio n .   I n   th is   p ap er   we   ad d r ess   th p r o b lem   o f   p ix el - l ev el  f u s io n   [ 2 ,   3]   o r   th s o - ca lled   im ag f u s io n   p r o b lem .   T o   ac h iev an   im ag e   wh er all  th o b jects  ar in   f o cu s ,   th p r o ce s s   o f   im ag es   f u s io n   is   p er f o r m ed   eith er   in   s p ec ial  d o m ain   o r   in   tr an s f o r m ed   d o m ain .   Sp atial  d o m ain   in clu d es  th tech n iq u es  wh ich   d ir ec tly   in co r p o r ate  th p ix el  v alu es .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  9 No .   3 ,   Dec em b e r   2 0 2 0 19 5     20 4   196   Mu lti - s ca le  o r   m u lti - r eso l u tio n   ap p r o ac h es  p r o v id e   m e an s   to   ex p lo it  th is   f ac t.   Af t er   ap p l y in g   ce r tain   o p er atio n s   o n   th tr a n s f o r m e d   im ag es,  th f u s ed   im ag e   is   cr ea ted   b y   tak in g   th in v er s tr an s f o r m . I m ag e   f u s io n   is   g en er ally   p e r f o r m ed   at  th r ee   d if f er en t   lev els  o f   i n f o r m atio n   r ep r esen tatio n   in c lu d in g   p ix el   lev el,   f ea tu r lev el  an d   d ec is io n   lev el.   I n   p ix el - lev el  im a g f u s io n ,   s im p le  m ath em atica o p er atio n s   s u ch   as  m ax im u m   o r   av e r ag a r ap p lied   o n   t h p ix el  v alu es  o f   th s o u r ce s   to   g en e r ate  f u s ed   im a g e   [ 4 5 ] .   Ho wev er   th ese  tech n iq u es  u s u ally   s m o o th   th s h ar p   ed g es  o r   leav e   th b lu r r in g   ef f ec ts   in   th f u s ed   im ag e.   I n   th e   f ea tu r lev el  m u lti - f o c u s   im ag f u s io n ,   th s o u r ce   im ag es  ar f ir s s eg m en ted   in to   d if f er en r eg io n s   an d   th en   th f ea tu r v alu es  o f   th ese  r e g io n s   ar ca lcu lated .   Usi n g   s o m f u s io n   r u le,   th r e g io n s   ar e   s elec ted   to   g en er ate   th f u s ed   im ag e.   I n   d ec is io n   l ev el  im ag f u s io n ,   th o b jects  in   th e   s o u r ce   im ag es  ar e   f ir s t   d etec ted   a n d   t h en   b y   u s in g   s o m s u itab le  f u s io n   alg o r ith m ,   t h f u s ed   im ag is   g en er ated   [ 6 7 ] .   I n   th is   p a p er ,   th er is   n ew   p r o p o s ed   m eth o d   f o r   m u lti - f o cu s   im ag f u s io n       2.   F UZ Z B AS E I M AG E   F USI O N   Fu zz y   im ag p r o ce s s in g   is   n o u n i q u th e o r y .   Fu zz y   i m ag p r o ce s s in g   is   th co lle ctio n   o f   all   ap p r o ac h es  th at  u n d er s tan d ,   r ep r esen an d   p r o ce s s   th im ag es,  th eir   s eg m en ts   an d   f ea tu r es  as  f u zz y   s et s .   T h r ep r esen tatio n   a n d   p r o ce s s in g   d ep en d   o n   th e   s elec ted   f u zz y   t ec h n iq u e   an d   o n   th e   p r o b lem   t o   b e   s o lv ed .   I h as  th r ee   m ain   s tag es:      I m ag f u zz if icatio n ( ( Usi n g   m em b er s h ip   f u n ctio n s   to   g r ap h ically   d escr ib s itu atio n )       Mo d if icatio n   o f   m em b e r s h ip   v alu es(A p p licatio n   o f   f u zz y   r u l es)      I m ag d e f u zz if ica tio n ( ( Ob tain in g   th cr is p   o r   ac tu al  r esu lts )     T h co d in g   o f   im ag d ata  ( f u zz if icatio n )   an d   d ec o d in g   o f   th r esu lts   ( d ef u zz if icatio n )   ar s tep s   th at   m ak p o s s ib le  to   p r o ce s s   im ag es  with   f u zz y   tech n iq u es.  T h m ain   p o wer   o f   f u zz y   im a g p r o ce s s in g   is   in   th e   mi d d le  s tep   ( m o d if icatio n   o f   m em b er s h ip   v alu es).   Af te r   th e   im ag d ata  ar tr an s f o r m ed   f r o m   g r ay - lev el  p lan e   to   th m e m b er s h ip   p lan ( f u z zif icatio n ) ,   ap p r o p r iate  f u zz y   t ec h n iq u es  m o d if y   th m em b er s h ip   v alu es.   Mu lti - s en s o r   d ata  f u s io n   ca n   b p e r f o r m ed   at  f o u r   d if f er e n p r o ce s s in g   lev els,  ac co r d in g   to   th e   s tag at  wh ich   th f u s io n   tak es  p lace s ig n al  le v el,   p ix el  le v el,   f ea tu r lev el ,   an d   d ec is io n   lev el.   Fig u r 1   illu s tr ates  o f   th e   co n ce p t o f   th f o u r   d if f er e n t f u s io n   lev els  [ 8 - 1 0 ] .           Fig u r 1 .   An   o v er v iew  o f   ca te g o r izatio n   o f   th f u s io n   alg o r it h m s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       A   n eu r o   fu z z ima g fu s io n   u s in g   b lo ck   b a s ed   fea t u r leve l m eth o d   ( S .   Ma r P r a ve en a )   197   Sig n al  lev el  f u s io n .   I n   s ig n al - b ased   f u s io n ,   s ig n als  f r o m   d if f er en s en s o r s   ar e   co m b in ed   t o   cr ea te  a   n ew  s ig n al  with   b etter   s ig n al - to   n o is r atio   t h an   th e   o r i g in al  s ig n als.  ( 2 )   Pix el  lev el  f u s io n .   P ix el - b ased   f u s io n   is   p er f o r m ed   o n   p ix el - by - p i x el  b asis .   I g en er ates  f u s ed   im ag in   wh ich   i n f o r m atio n   ass o ciate d   with   ea ch   p ix el  is   d eter m in e d   f r o m   a   s et  o f   p i x els  in   s o u r c im ag es  to   im p r o v e   th e   p er f o r m an ce   o f   im ag e   p r o ce s s in g   task s   s u ch   as  s eg m en tati o n   ( 3 )   Featu r le v el  f u s io n .   Featu r e - b ased   f u s io n   at  f e atu r lev el  r eq u ir es   an   ex tr ac tio n   o f   o b jects  r ec o g n ized   in   th v ar io u s   d ata  s o u r ce s .   I r eq u ir es  th ex tr ac tio n   o f   s alien f ea tu r es  wh ich   ar e   d ep e n d in g   o n   t h eir   en v ir o n m en s u c h   as  p ix el  in t en s ities ,   ed g es  o r   tex tu r es.   T h ese  s im ilar   f ea tu r es   f r o m   in p u t im ag es a r e   f u s ed .     2 . 1 .     Ste ps   in f uzzy   im a g f us io n   T h o r ig in al   im a g in   th g r ay   lev el  p lan is   s u b jecte d   t o   f u zz if icatio n   a n d   th m o d i f icatio n   o f   m em b er s h ip   f u n ctio n s   is   ca r r ied   o u in   th e   m em b e r s h ip   p lan e.   T h r esu lt   is   th o u tp u i m ag o b tain ed   af te r   th d ef u zz if icatio n   p r o ce s s .   T h alg o r ith m   f o r   p ix el - lev e im ag e   f u s io n   u s in g   f u zz y   lo g ic  is   g iv en   as     f o llo ws   [1 1 ]   a.   R ea d   f ir s t im ag in   v ar iab le   I 1   an d   f in d   its   s ize  ( r o ws:   r 1 ,   co l u m n s : c 1 ) .     b.   R ea d   s ec o n d   im ag in   v ar iab le   I 2   an d   f in d   its   s ize  ( r o ws:   r 2 ,   co lu m n s : c 2 ) .     c.   Var iab les  I 1   an d   I 2   ar im a g es  in   m atr ix   f o r m   wh e r e   e ac h   p ix el  g r ay   lev el  v al u i s   in   th r a n g e     f r o m   0   to   2 5 5 .     d.   C o m p ar r o ws  an d   co lu m n s   o f   b o th   i n p u im a g es.  I f   th ese  t wo   im ag es  ar n o t   o f   th e   s am s ize,   s elec th p o r tio n ,   wh ich   ar e   o f   s am s iz e.     e.   C o n v er t th im ag es in   c o lu m n   f o r m   wh ic h   h as C   r 1 ×c 1   en t r ies.    f.   Ma k f u zz y   in f er e n ce   s y s tem   f ile,   wh ich   h as two   i n p u t im ag es.    g.   Dec id n u m b er   an d   ty p o f   m em b er s h ip   f u n ctio n s   f o r   b o th   th in p u im ag es  b y   tu n in g   th m em b er s h i p   f u n ctio n s .     h.   I n p u t im a g es in   an tece d e n t a r e   r eso lv ed   to   a   d eg r ee   o f   m em b er s h ip   r an g i n g   0   to   2 5 5 .     i.   Ma k f u zz y   i f - th en   r u les  f o r   i n p u im ag es,  wh ic h   r eso lv th o s two   an tece d en ts   to   s in g l n u m b e r   f r o m   0   to   2 5 5 .     I n   th p r o p o s ed   m eth o d   an   i m ag s et  o f   1 0   d if f er e n im a g es  ar u s ed   to   tr ain   th e   n eu r al  n etwo r k .   E v er y   im ag is   f ir s d iv id ed   in to   n u m b e r   o f   b lo ck s   an d   f e atu r es  ar ca lcu lated   as  s h o w n   in   Fig u r 2 .   T h e   b lo ck   s ize  p lay s   an   im p o r tan r o le  in   d is tin g u is h in g   th e   b lu r r ed   an d   u n - b lu r r ed   r eg i o n s   f r o m   ea ch   o th er .   Af ter   d iv id in g   th im ag es  in to   b lo c k s ,   th f ea tu r e   v al u es  o f   ev er y   b lo c k   o f   all  th e   im ag es  ar e   ca lcu lated   an d   a   f ea tu r es  f ile  is   cr ea ted .   s u f f icien n u m b er   o f   f ea tu r v e cto r s   ar u s ed   to   tr ain   th n eu r al  n etwo r k .   T h e   tr ain ed   n eu r al  n etwo r k   is   th en   u s ed   to   f u s an y   s et  o f   m u lti - f o cu s   im ag es.           Fig u r 2 .   B lo ck   d iag r am   o f   th p r o p o s ed   m eth o d     2 . 2 .     Neuro   f uzzy   ba s ed  im a g e f us io n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  9 No .   3 ,   Dec em b e r   2 0 2 0 19 5     20 4   198   I n   th f ield   o f   a r tific ial  in tellig en ce ,   Neu r o - Fu zz y   r e f er s   to   co m b in atio n s   o f   ar tific ial  n eu r al   n etwo r k s   an d   f u zz y   lo g ic.   Ne u r o - Fu zz y   co m p o s ite  r esu lts   i n   a   h y b r id   in telli g en s y s tem   th at  s y n er g izes  th ese   two   tech n iq u es  b y   c o m b in in g   th h u m a n - lik r ea s o n i n g   s ty le  o f   f u zz y   s y s tem s   with   th lear n in g   an d   co n n ec tio n is s tr u ctu r o f   n e u r al  n etwo r k s .   Ne u r o - Fu zz y   h y b r id izatio n   is   wid el y   ter m e d   as  Fu zz y   Neu r al   Netwo r k   ( FNN)   o r   Neu r o - Fu zz y   Sy s tem   ( NFS)  in   t h l iter atu r e.   Neu r o - Fu zz y   s y s tem   in co r p o r ates  th e   h u m an - lik r ea s o n in g   s ty le  o f   f u zz y   s y s tem s   th r o u g h   th u s o f   f u zz y   s ets  an d   lin g u is ti m o d el  co n s is tin g   o f   s et  o f   I F - T HE f u zz y   r u les.  T h s tr en g th   o f   n eu r o - f u zz y   s y s tem s   in v o lv es  two   co n tr ad icto r y   r eq u ir em e n ts   in   f u zz y     Mo d elin g   in ter p r etab ilit y   v er s u s   ac cu r ac y .   I n   p r ac tice,   o n o f   th two   p r o p e r ties   p r ev ails .   T h Neu r o - Fu zz y   in   f u zz y   m o d eli n g   r esear ch   f ield   is   d iv id ed   i n to   two   ar ea s lin g u is tic  f u zz y   m o d elin g   th at  is   f o cu s ed   o n   i n ter p r etab ilit y ,   m ain ly   th e   Ma m d an i   m o d el;   an d   p r ec is f u zz y   m o d elin g   th at  is   f o c u s ed   o n   ac cu r ac y ,   m ai n ly   th T a k ag i - S u g en o - Kan g   ( T SK)   m o d el.         3.   AL G O RI T H M   F O NE UR O   F UZ Z B AS E I M AG E   F USI O   T h alg o r ith m   f o r   p ix el - le v el  im ag f u s io n   u s in g   n e u r o   f u zz y   lo g ic  is   g iv en   as f o llo ws.      R ea d   f ir s t im ag in   v ar iab le   I 1   an d   f in d   its   s ize  ( r o ws: zl,   co lu m n s : sl).       R ea d   s ec o n d   im ag in   v ar iab le   I 2   an d   f in d   its   s ize  ( r o ws: z2 .   co lu m n s : s2 ) .       Var iab les  I 1   an d   I 2   ar im a g es  in   m atr ix   f o r m   wh er ea c h   p ix el  v alu is   in   th r an g f r o m   0 - 2 5 5 .   Use  Gr ay   C o lo r   m ap .       C o m p ar r o ws  an d   co lu m n s   o f   b o t h   in p u im a g es.  I f   th tw o   im ag es  ar e   n o o f   th e   s am s ize,   s elec th p o r tio n .   W h ich   ar o f   s am s ize.       C o n v er t th im ag es   in   c o lu m n   f o r m   wh ic h   h as C zl* s l e n tr ies.      Fo r m   tr ain in g   d ata,   wh ich   is   m atr ix   with   th r ee   co lu m n s   an d   en tr ies  in   ea ch   c o lu m n   ar f o r m   0   t o   2 5 5   in s tep s   o f   1 .       Fo r m   ch ec k   d ata.   W h ich   is   a   m atr ix   o f   Pix els o f   two   in p u im ag es in   co lu m n   f o r m at.     I n   f ea tu r e - lev el  im ag f u s io n ,   th s elec tio n   o f   d if f er en f ea tu r es  is   an   im p o r tan task .   I n   m u lti - f o cu s   im ag es,  s o m o f   th o b jects  ar clea r   ( in   f o cu s )   an d   s o m o b jects  ar b lu r r ed   ( o u o f   f o cu s ) .   T h au th o r   h as   u s ed   f iv d if f e r en f ea tu r es  to   ch ar ac ter iz th in f o r m atio n   l ev el  co n tain ed   i n   s p ec if ic  p o r tio n   o f   th im ag e.   T h is   f ea tu r e   s et  in clu d es  Var ian ce ,   E n er g y   o f   Gr a d ien t,  C o n tr ast  Vis ib ilit y ,   Sp atial  Fre q u en cy   a n d   C an n y   E d g in f o r m atio n .     3 . 1 .    F e a t ures  s elec t io n   C o n tr ast  Vis ib ilit y :   I ca lcu la tes  th d ev iatio n   o f   b lo ck   o f   p ix els  f r o m   th b lo ck s   m ea n   v alu e.   T h er ef o r e,   it r elate s   to   th clea r n ess   lev el   o f   th b lo ck .   T h v is ib ilit y   o f   th im ag b l o ck   is   o b tain ed   u s in g   ( 1 ).       V   =   1 × ) 2 = 1 = 1   ( 1 )     o f   wh er e,   VI , ,   m × n,   I ( i,j)   r e f e r s   C o n tr ast  Vi s ib ilit y ,   m ea n ,   s ize  o f   th b lo ck   B k   an d   r o ws  an d   co lu m n s   o f   th im ag e   r esp ec tiv ely .   Var ian ce :   Var ian ce   is   u s ed   to   m ea s u r th e   ex ten t   o f   f o c u s   in   an   im a g b lo ck .   I is   m ath em atica ex p ec tatio n   o f   th a v er ag s q u ar ed   d ev iatio n s   f r o m   th m ea n .   p s eu d o   ce n ter   weig h ted   lo ca v ar ian ce   in   t h n eig h b o r h o o d   o f   a n   im ag p i x el  d eter m in es  th am p lific atio n   f ac to r   m u ltip ly i n g   th d if f er en ce   b etwe en   th e   im ag p ix el  a n d   its   b lu r r ed   co u n ter p a r b ef o r it  is   co m b in ed   with   th e   o r i g in al  im a g e.   I is   ca lcu lated     u s in g   ( 2 ) .   VI   =   1 ×  ) , ( ) , ( j i k k j i I   ( 2 )     wh er e,   is   Va r ian ce ,     is   th e   m ea n   v al u o f   th e   b lo ck   im a g e,   I ( i,   j)   is   r o ws  an d   co l u m n s   o f   th e   im ag e   an d   m × n   is   th im ag s ize.   h ig h   v alu e   o f   v ar ian ce   s h o ws th g r ea ter   ex ten t o f   f o cu s   in   th im ag b lo ck .     Sp atial  Fre q u en cy :   Sp atial  f r eq u en cy   m ea s u r es  th ac tiv ity   lev el  in   an   im ag e.   I is   u s ed   t o   ca lcu late  th f r eq u e n cy   c h an g es  alo n g   r o ws  an d   co lu m n s   o f   th i m a g e.   Sp atial  f r eq u en c y   r ef e r s   to   th n u m b er   o f   p air s   On e - th ir d   o f   m illi m etr is   co n v en ie n u n it  o f   r etin al   d is tan ce   b ec au s a n   im ag e   th is   s ize  is   s aid   to   s u b ten d   o n d e g r ee   o f   v is u al  an g le  o n   th r etin a.   T o   g iv an   ex a m p le,   in d e x   f in g er n ail  ca s ts   an   i m ag o f   th is   s ize   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       A   n eu r o   fu z z ima g fu s io n   u s in g   b lo ck   b a s ed   fea t u r leve l m eth o d   ( S .   Ma r P r a ve en a )   199   wh en   th at  n ail  is   v iewe d   at  ar m ' s   len g th ,   ty p ical  h u m an   th u m b ,   n o ju s th n ail,   b u th e   en tire   wid th ,   ca s ts   an   im ag e   ab o u twice  as  b ig ,   two   d eg r ee s   o f   v is u al  a n g le.   T h s ize  o f   th e   r etin al   im ag e   ca s b y   s o m e   o b ject   d ep en d s   o n   th e   d is tan ce   o f   th a o b ject  f r o m   th e   ey e,   as  th e   d is tan ce   b etwe en   th ey e   an d   a n   o b ject  d ec r ea s es,  th o b ject' s   im ag s u b ten d s   a   g r ea ter   v is u al  a n g le.   T h e   u n it  em p lo y e d   to   ex p r ess   s p atial  f r eq u en cy   is   th e   n u m b er   o f   c y cles th at  f all  with in   o n d eg r ee   o f   v is u al  an g le.   Sp atial  f r eq u en c y   is   m ea s u r ed   u s in g   ( 3 ) .     SF = ( RF ) 2 + ( CF ) 2     ( 3 )     wh er e ,     RF =     1 m × n = m i 1 = n j 2 [ ( , ) ( , 1 ) ] 2       CF = 1 ×   = = n j m i 1 2   [ ( , ) ( , 1 ) ] 2     wh er e,   SF   is   Sp atial  Fre q u en cy ,   R is   R o Fre q u en cy ,   C i s   C o lu m n   Fre q u en cy ,   m × n   is   s ize  o f   im ag e,   I ( i,  j )   is   th r o ws an d   co lu m n s   o f   t h e   im ag e.   E n er g y   o f   Gr a d ien ( E OG) :   I is   also   u s ed   to   m ea s u r e   th e   am o u n o f   f o c u s   in   an .   I t   is   ca lcu lated   u s in g   ( 4 ) .     EO = = = 1 1 1 1 m i n j f f j i 2 2 ( + )     ( 4 )     wh er e,       ) , ( ) , 1 ( j i f j i f f i + =     ) , ( ) 1 , ( j i f j i f f j + =     E OG  is   E n er g y   o f   Gr ad ien t   f i   E n er g y   o f   th e   r o w, f j   is   th E n e r g y   o f   th e   co lu m n ,   m   ×   n   is   t h s ize  o f     th im ag e.   E d g e   I n f o r m atio n :   T h ed g p ix els ca n   b f o u n d   in   th im ag b lo ck   b y   u s in g   C an n y   ed g d etec to r .   I t   r etu r n s   1   if   th cu r r en t p ix el  b elo n g s   to   s o m ed g in   th im ag o th er wis it r etu r n s   0 .   T h e d g f ea tu r is   ju s t   th n u m b er   o f   ed g p ix els  co n tain ed   with in   th im ag b lo ck .   E d g d etec tio n   is   f u n d am en tal  to o in   im ag p r o ce s s in g   an d   co m p u ter   v is i o n p ar ticu lar l y   in   th ar ea s   o f   f ea tu r d etec tio n   an d   f ea tu r ex tr ac tio n wh ich   aim   at   id en tify i n g   p o in ts   in   a   d ig ital  im ag e   at  w h ich   th e   im ag b r ig h tn es s   ch an g es  s h ar p l y   o r   m o r e   f o r m ally   h as d is co n tin u ities .   T h p u r p o s o f   d etec tin g   s h ar p   ch an g es in   im ag b r ig h tn ess   is   to   ca p tu r im p o r tan t e v en ts   an d   ch an g es  in   p r o p er ties   o f   th wo r ld .   E d g es  ex tr ac ted   f r o m   n o n - tr iv ial  im ag es  ar o f ten   h am p e r ed   b y   f r ag m en tatio n ,   m ea n in g   t h at  t h ed g e   cu r v es  ar n o co n n ec ted ,   m is s in g   ed g e   s eg m en ts   as   well  as  f alse  ed g es   n o co r r esp o n d in g   to   in ter es tin g   p h en o m en in   t h im a g e,   th u s   co m p licatin g   t h s u b s eq u en task   o f   in ter p r etin g   t h im ag d ata.   E d g d etec tio n   is   o n o f   th e   f u n d a m en tal  s tep s   in   im ag e   p r o ce s s in g ,   im a g e   an aly s is ,   im ag p atter n   r ec o g n itio n ,   an d   c o m p u ter   v is io n   tec h n iq u es.     3 . 2 .     Art if ici a l neura l net wo rk   Ar tific ial  n eu r al  n etwo r k s   ( A NNs)  h av p r o v en   to   b m o r p o wer f u an d   s elf - a d ap tiv m eth o d   o f   p atter n   r ec o g n itio n   as  c o m p ar ed   to   tr ad itio n al   lin ea r   a n d   s im p le  n o n lin ea r   an aly s es.  T h ANN - b ased   m eth o d   em p lo y s   n o n lin ea r   r esp o n s f u n ctio n   th at  iter ates m an y   ti m es in   s p ec ial  n etwo r k   s tr u ctu r in   o r d e r   to   le ar n   th co m p le x   f u n ctio n al   r elatio n s h ip   b etwe en   in p u an d   o u tp u tr ain i n g   d ata.   T h in p u lay er   h as  s ev e r al   n eu r o n s ,   wh ich   r e p r esen th e   f ea tu r f ac t o r s   ex tr ac ted   a n d   n o r m alize d   f r o m   im ag e   an d   im ag e   B .   T h e   h id d en   lay er   h as  s ev e r al  n eu r o n s   an d   th e   o u t p u la y er   h as  o n n eu r o n   ( o r   m o r e   n eu r o n ) .   T h i th   n eu r o n   o f   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  9 No .   3 ,   Dec em b e r   2 0 2 0 19 5     20 4   200   in p u t la y er   c o n n ec ts   with   th j th   n eu r o n   o f   th h i d d en   la y er   b y   weig h t Wi j,  an d   weig h t b et wee n   th jth   n eu r o n   o f   th h id d e n   lay er   an d   t h t t h   n eu r o n   o f   o u tp u lay er   is   V jt  ( in   th is   ca s 1 ) .   T h e   weig h tin g   f u n ctio n   is   u s ed   to   s im u late  an d   r ec o g n iz th r esp o n s r elatio n s h ip   b etwe en   f ea tu r es  o f   f u s ed   im ag an d   co r r esp o n d in g   f ea tu r f r o m   o r ig in al  im a g es  ( im ag an d   im ag B ) .   A s   th f ir s s tep   o f   ANN - b ase d   d ata  f u s io n ,   two   r eg is ter ed   im ag es  ar e   d e co m p o s ed   in to   s ev er al  b lo ck s   with   s ize  o f   M   an d   . T h en ,   f ea t u r es  o f   th e   co r r esp o n d in g   b lo c k s   in   th e   t wo   o r ig i n al  im ag es  a r ex tr ac ted ,   an d   th e   n o r m alize d   f ea t u r v ec to r   in cid en t   to   n eu r al  n etwo r k s   ca n   b e   co n s tr u cted .   T h f ea tu r es  u s ed   h er to   ev alu ate  th e   f u s io n   ef f ec a r n o r m ally   s p atial  f r eq u e n cy ,   v is ib ilit y ,   an d   ed g e.   T h e   n ex s tep   is   to   s elec s o m v ec to r   s am p les  to   tr ain   n eu r al  n etwo r k s .   An   ANN  is   u n iv er s al  f u n ctio n   ap p r o x i m ato r   th at  d ir ec tly   ad ap ts   to   an y   n o n lin ea r   f u n ctio n   d ef in ed   b y   a   r ep r esen ta tiv s et  o f   tr ain i n g   d ata.   On ce   t r ain ed ,   th ANN  m o d el  ca n   r em e m b er   f u n cti o n al  r elatio n s h i p   an d   b u s ed   f o r   f u r th er   ca lcu latio n s .   Fo r   t h ese  r ea s o n s ,   th AN co n ce p t   h as  b ee n   ad o p ted   t o   d e v elo p   s tr o n g l y   n o n lin ea r   m o d els f o r   m u ltip le  s en s o r s   d ata  f u s io n .     3 . 3 .     F ee d f o rwa rd  neura l net wo rk   n eu r o n   ca n   h a v a n y   n u m b er   o f   in p u ts   f r o m   o n to   n ,   w h er n   is   th t o tal  n u m b er   o f   i n p u ts .   T h in p u ts   m ay   b r ep r esen ted   th e r ef o r as  x 1 ,   x 2 ,   x 3 …  x n .   An d   th co r r esp o n d i n g   weig h ts   f o r   th in p u ts   as  w 1 w 2 ,   w 3 …  w n. ,   th s u m m atio n   o f   th weig h ts   m u ltip lied   b y   t h in p u ts   is   x 1 w 1 x 2 w 2 x 3 w 3 ….   x n w n .   Hen ce ,     a   x 1 w 1 +x 2 w 2 +x 3 w 3 . . .   +x n w n .   Ass u m in g   an   ar r ay   o f   in p u ts   an d   weig h ts   ar e   alr ea d y   in itialized   as  x [ n ]     an d   w[ n ]   th en     double activation = 0;   for (int i=0; i<n; i++)   {   activation += x[i] * w[i];   }     if   th ac tiv atio n   t h r esh o ld ,   o u tp u t is 1   an d   if   ac tiv atio n   t h r esh o ld   o u tp u t is 0 .   O n way   o f   is   b y   o r g an is in g   th n eu r o n s   in to   d esig n   ca lled   a   f ee d   f o r war d   n etwo r k .   I g ets  its   n am f r o m   t h way   th n eu r o n s   in   ea ch   lay er   f ee d   th eir   o u t p u f o r war d   to   th e   n e x lay er   u n til  we  g et   th f in al  o u tp u f r o m   th n eu r al   n etwo r k .   A   f ee d   f o r war d   n e u r al  n etw o r k   is   f ir s tr ai n ed   with   t h b l o ck   f ea t u r es  o f   ten   p air s   o f   m u lti - f o cu s   im ag es.  f ea tu r s et  in clu d in g   s p atial  f r eq u en c y ,   co n tr ast  v is ib ilit y ,   ed g es,  v ar ian ce   an d   en er g y   o f   g r a d ien is   u s ed   to   d ef in th e   clar ity   o f   th e   im ag b lo ck .   B lo ck   s ize  is   d eter m in ed   ad a p tiv ely   f o r   ea ch   im ag e.   T h tr ain ed   n eu r a l n etwo r k   is   th en   u s ed   to   f u s an y   p air   o f   m u lti - f o cu s   im ag es .     3 . 4 .     Q ua ntit a t iv m ea s ures   T h er ar e   d if f e r en t   q u an titativ m ea s u r es  wh ich   a r u s ed   to   ev alu ate  th e   p er f o r m a n ce   o f   th f u s io n   tech n iq u es.  W u s ed   th r ee   m e asu r es  R o o Me an   Sq u ar E r r o r   ( R MSE ) ,   Peak   Sig n al  to   No is R atio   ( PS NR )   an d   en tr o p y   ( He) .     3 . 4 . 1 .    Ro o t   m e a n sq ua re   er ro r   T h an aly tical   p er f o r m an ce   s tu d ies  wer aim ed   to   q u an titativ ely   ass ess   im ag f u s io n   p er f o r m an ce   i n   s tr aig h tf o r war d   m an n er .   T h r o o m ea n   s q u ar er r o r   ( R MSE ) ,   d ef in ed   b y   th d ev i atio n s   b etwe en   th e   r ef er en ce   im a g p ix el  v alu R ( i,  j)   an d   th f u s ed   im ag p i x el  v alu F(i,   j) ,   is   co m p u ted   as        = [ ( , )  ( , ) ] 2 = 1 = 1 ×     ( 6 )     wh er m   ×   n   is   th e   in p u t   im a g s ize.   I f   t h v alu e   o f   0   c o r r esp o n d   to   th c o m p lete  im a g e   r ec o n s tr u ctio n   f o r   b lo ck   m   ×  n ,   it  is   p er f ec im ag e,   wh ich   h as  b ee n   ac h iev e d   th r o u g h   ac cu r ate  r ec o n s t r u ctio n   o f   m u lti  f o cu s   to   th r ef er en ce   im ag e.     3 . 4 . 2 .     E ntr o py   E n tr o p y   is   k n o wn   to   b a   m ea s u r o f   th a m o u n t o f   u n ce r tai n ly   ab o u t th im ag e .   I t is th en   g iv en   b y     =  2 1 = 0     ( 5 )     wh er L   is   th n u m b er   o f   g r ay lev els.     3 . 4 . 3 .     P ea k   s ig na l t o   no is ra t io   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       A   n eu r o   fu z z ima g fu s io n   u s in g   b lo ck   b a s ed   fea t u r leve l m eth o d   ( S .   Ma r P r a ve en a )   201   I d eter m in es  th d eg r ee   o f   r e s em b lan ce   b etwe en   r ef er e n ce   an d   f u s ed   im ag e.   b i g g er   v alu s h o g o o d   f u s io n   r esu lt.      = 20  10 [ 2 1 × [ ( , )  ( , ) ] 2 = 1 = 1 ]   ( 7 )       4.   P E RF O RM A NCE  E VA L U AT I O N   T h in p u im ag is   d iv id ed   i n t o   b lo ck s   an d   th f i v f ea tu r es  ar ex tr ac ted   u s in g   f ee d   f o r wa r d   n eu r al   n etwo r k .   T h e   p er f o r m a n ce   o f   th e x is tin g   Av er a g e,   Ma x i m u m ,   Mi n im u m   an d   PC b ased   tech n iq u es  ar co m p ar ed   with   th e   r esu lts   o f   t h p r o p o s ed   tech n iq u e.   T h e x p er im en tatio n   r esu lts   ar o b tai n ed   to   ev alu ate   th p er f o r m an ce   o f   th p r o p o s ed   tech n iq u e.   T h s im u latio n   is   ca r r ied   o u b y   u s in g   Ma lab   7 . 5 ,   th s im u latio n   win d o is   as  s h o wn   in   th Fig u r 3   ( h ) .   T h Fig u r 3   ( a,   b ,   c,   d ,   an d   f )   ar th r esu lts   o f   th f u s ed   im ag b y   v ar io u s   f u s io n   tech n iq u es  s u ch   as  av er a g in g ,   m in im u m ,   m ax im u m ,   PC an d   b lo ck - b ased   f ea tu r e   lev el  m eth o d   r esp ec tiv el y .   T ab le   I   s h o ws  th en tr o p y   o f   th e   v ar io u s   m eth o d s   an d   f ig u r 5   s h o ws  th g r ap h ical   p er f o r m an ce   o f   t h s am f r o m   wh ich   it   ca n   b s ee n   th at  t h p r o p o s ed   tech n iq u g iv es  b etter   r esu lts   th an   th e   p r ev io u s   m et h o d s .   E v alu atio n   m ea s u r es  ar u s ed   to   ev alu ate  th q u ality   o f   th f u s ed   im a g e.   T h f u s ed   im ag es   ar ev alu ated ,   ta k in g   t h f o llo win g   p ar am eter s   in to   co n s i d er atio n .         ( a)       ( b )       ( c)       ( d )       ( e)       (f)         ( g )         ( h )     Fig u r 3 .   Me d ical  im a g es ( C T   an d   MRI)   f u s ed   b y   f u zz y   lo g i an d   n e u r o   f u zz y   lo g ic .   ( a )   I n p u t CT  im ag e,   ( b )   I n p u t M R I   im ag e ,   ( c)   Fu s ed   b y   av er ag i n g ,   ( d )   Fu s ed   b y   m in im u m ,   ( e)   Fu s ed   b y   m ax im u m ,   ( f )   Fu s ed   b y   PC A,   ( g )   Fu s ed   b y   p r o p o s ed   m eth o d ,   ( h )   Simu latio n   win d o w   T ab le  1 .   R esu lts   o f   q u a n titativ m ea s u r es o f   m e d ical  im ag es   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  9 No .   3 ,   Dec em b e r   2 0 2 0 19 5     20 4   202   Q u a n t i t a t i v e   M e a s u r e s   A v e r a g e   M i n i m u m   M a x i m u m   P C A   B l o c k   B a se d   M e t h o d   En t r o p y   ( d B )   6 . 3 8   4 . 2 5   5 . 8 3   8 . 8 6   2 0 . 7 8   R M S E   6 2 . 6 7   7 4 . 7 6   7 4 . 7 6   2 1 . 0 2   3 2 . 2 3   P S N R   ( d B )   1 6 . 5 8   1 6 . 2 0   1 6 . 2 0   1 7 . 4   3 4 . 5 3       4 . 1 .     I ma g qu a lity   ind ex   I m ag q u ality   in d e x   ( I QI )   m ea s u r es  th s im ilar ity   b etwe e n   two   im ag es  ( 1 1   &   I 2 )   an d   its   v alu e   r an g es f r o m   - 1   to   1 .   I QI   is   eq u al  to   1   if   b o th   im ag es  ar e   id en t ical .     4 . 2 .     M utua info rma t io n m e a s ure   Mu tu al  in f o r m atio n   m ea s u r e   ( MI M)   f u r n is h es  th e   am o u n t   o f   in f o r m atio n   o f   o n e   im ag e   in   an o th er .   T h is   g iv es th g u id elin es f o r   s elec tin g   th b est f u s io n   m eth o d .   Giv en   two   im a g es  M ( i,   j)   a n d   N   ( i,  j) .   W h er e,   P M   ( x )   an d   P N   ( y )   ar e   th p r o b ab ilit y   d en s ity   f u n cti o n s   in   th in d iv i d u al  im ag es,  an d   P MN   ( x,   y)   is   jo in t p r o b ab ilit y   d en s ity   f u n cti o n .     4 . 3 .     F us io f a ct o r   Giv en   two   im ag es A  an d   B ,   an d   th eir   f u s ed   im ag F,  t h Fu s io n   f ac to r   ( FF ) .     FF   =   AF   +   BF     ( 8)     W h er I AF   an d   I BF   ar th MI v alu es  b etwe en   in p u im ag es  an d   f u s ed   im a g e.   h ig h er   v alu o f   FF   in d icate s   th at  f u s ed   im ag c o n tain s   m o d er ately   g o o d   am o u n o f   in f o r m atio n   p r esen i n   b o t h   th e   im ag es.   Ho wev er ,   h i g h   v al u o f   FF   d o es n o t im p ly   t h at  th in f o r m a tio n   f r o m   b o t h   im ag es is   s y m m etr ically   f u s ed .     4 . 3 . 1 .     F us io s y m m et r y   Fu s io n   s y m m etr y   ( FS )   is   an   i n d icatio n   o f   th d e g r ee   o f   s y m m etr y   in   th in f o r m atio n   co n ten f r o m   b o th   th e   im ag es.  T h q u ality   o f   f u s io n   tech n i q u d ep en d s   o n   th d e g r ee   o f   Fu s io n   s y m m e tr y .   Sin ce   FS   is   th s y m m etr y   f ac to r ,   wh e n   th s e n s o r s   ar o f   g o o d   q u ality ,   FS   s h o u ld   b as  lo as  p o s s ib le  s o   th at  th f u s ed   im ag d er iv es  f ea tu r es  f r o m   b o th   in p u im ag es   [ 11 - 1 4 ] .   I f   a n y   o f   th s en s o r s   is   o f   lo q u ality   th en   it  is   b etter   to   m ax im ize  FS   th an   m in im izi n g   it.     4 . 3 . 2 .     F us io ind ex   T h s tu d y   p r o p o s es  p ar am et er   ca lled   Fu s io n   in d e x   f r o m   t h f ac to r s   Fu s io n   s y m m etr y   a n d   Fu s io n   f ac to r .   T h e   f u s io n   i n d ex   ( FI)   i s   d ef in ed   as     FI  =   AF   /   BF   ( 9 )     I s   th m u tu al  i n f o r m atio n   in d ex   b etwe en   m u ltis p ec tr al  im a g an d   f u s ed   im a g a n d   I BF   is   th m u tu al   in f o r m atio n   in d e x   b etwe en   p a n ch r o m atic  im a g an d   f u s ed   i m ag e.   T h e   q u ality   o f   f u s io n   te ch n iq u d ep en d s   o n   th d eg r ee   o f   f u s io n   in d ex .   W h er p   c o n tain s   th h is to g r am ,   co u n ts   r etu r n ed   f r o m   im   h is t.       5.   R E SU L T S AN D I SCU SS I O NS    T h er ar m an y   t y p ical  ap p licatio n s   f o r   im a g f u s io n .   Mo d e r n   s p ec tr al  s ca n n er s   g ath er   u p   to   s ev er al   h u n d r ed   o f   s p ec tr al  b a n d s   wh ich   ca n   b b o th   v is u alize d   an d   p r o ce s s ed   in d iv id u ally ,   o r   wh ich   ca n   b e   f u s ed   in to   s in g le  im ag e,   d ep e n d in g   o n   t h im ag a n aly s is   task .   I n   th is   s ec tio n ,   in p u t   im ag es  ar f u s ed   u s in g   f u zz y   lo g ic  ap p r o ac h   [ 15 - 1 7 ] .   So ,   it  is   co n clu d ed   th at  r esu lts   o b tain ed   f r o m   th e   im p lem en tati o n   o f   n e u r o   f u zz y   lo g ic - b ased   im ag f u s io n   ap p r o ac h   p er f o r m s   b etter   f o r   f ir s two   tes ca s e s   an d   f u zz y   b ased   im ag f u s io n   s h o ws  b etter   p er f o r m a n ce   f o r   th ir d   test   ca s e.   So   f u r th er   in v esti g atio n   is   n ee d ed   to   r eso l v th is   is s u e.   Ou r   ex p er im en tal  r esu lts   s h o th a n eu r o   f u zz y   l o g ic - b ased   im a g f u s io n   a p p r o ac h   p r o v id es  b etter   p er f o r m an ce   wh en   co m p ar e d   to   f u zz y   b ased   im ag f u s io n   f o r   f ir s two   ex am p les.  I m ag q u ality   in d ex   ( I QI ) ,   th s im ilar ity   b etwe en   r ef e r en ce   a n d   f u s ed   im ag ( 0 . 9 9 9 9 ,   0 . 9 8 2 9 ,   an d   0 . 3 1 8 2 )   ar e   h ig h er   f o r   f ir s t   two   ca s es  wh e co m p ar ed   to   v al u es  o b tain ed   f r o m   f u zz y   b ased   f u s io n   tech n iq u ( 0 . 9 7 5 8 ,   0 . 9 8 2 4 ,   an d   0 . 8 8 7 1 ) .   T h e   h ig h e r   v alu es  f o r   f u s io n   f ac t o r   ( FF )   f r o m   f ir s two   ex am p les   ( 2 . 8 1 1 5 ,   3 . 3 4 3 8 ,   1 . 0 1 0 9 )   o b tain ed   f r o m   th n eu r o   f u zz y   b ased   f u s io n   ap p r o ac h   in d icat es  th at  f u s ed   i m ag c o n tain s   m o d er ately   g o o d   a m o u n o f   in f o r m atio n   p r esen t   in   b o th   th e   im ag es  co m p ar ed   to   FF   v alu es  ( 1 . 0 9 6 5 , 2 . 1 3 2 9 , 1 . 9 8 6 4 )   o b tain e d   f r o m   f u zz y   b ased   f u s io n   ap p r o ac h .   T h am o u n o f   in f o r m atio n   o f   o n im ag in   an o t h er ,   m u tu al  in f o r m atio n   m ea s u r ( MI M)   v al u es  ( 1 . 4 6 5 6 , 1 . 5 0 7 9 , 0 . 7 6 3 4 )   ar a ls o   s ig n if ican tly   b etter   wh ic h   s h o ws  th at  n eu r o   f u zz y   b ased   f u s io n   m eth o d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       A   n eu r o   fu z z ima g fu s io n   u s in g   b lo ck   b a s ed   fea t u r leve l m eth o d   ( S .   Ma r P r a ve en a )   203   p r eser v es  m o r in f o r m atio n   c o m p ar ed   t o   f u zz y   b ased   im ag f u s io n .   T h o th er   ev alu atio n   m ea s u r es  lik r o o m ea n   s q u ar er r o r   ( R MSE )   with   lo wer   an d   p ea k   s ig n al  to   n o is r atio   ( PS NR ) ,   C o r r elatio n   C o ef f icien ( C C )   with   h ig h er   v alu es  ( 0 . 9 4 5 9 ,   0 . 8 9 7 9 ,   0 . 1 2 6 5 )   o b tain ed   f o r m   n eu r o   f u zz y   b ased   f u s io n   ap p r o ac h   a r also   co m p ar ativ ely   b etter   f o r   f ir s two   ca s es.  T h en tr o p y ,   t h am o u n o f   i n f o r m atio n   t h at  ca n   b u s e d   to   ch ar ac ter ize  th in p u im a g ( 7 . 2 7 5 7 ,   7 . 3 2 0 2 ,   4 . 4 8 9 4 )   ar b etter   f o r   two   ex am p les  o b tai n e d   f r o m   n eu r o   f u zz y   b ased   im ag f u s io n   tech n iq u e.   Fig u r e   4   s h o ws  th e   Me d ica im ag es  ( C T   a n d   MRI  B r ain )   f u s ed   b y   d if f er e n im a g es  f u s io n   tech n iq u es  an d   t h p r o p o s ed   m eth o d .   Fig u r e   a n d   b   a r th in p u t   C T   an d   MRI  im ag es   r esp ec tiv ely .   T ab le   2   s h o ws  th r esu lts   o f   q u an tita tiv m ea s u r es  o f   m ed ical  im ag es  s u ch   as   b r ain .   T h v alu o f   ea c h   q u ality   ass es s m en t p ar am eter s   o f   all  m en tio n ed   f u s io n   a p p r o ac h es  ar d ep icted   in   T ab le  3 .         ( a)       ( b )     ( c)     ( d )     ( e)     (f)       ( g )     Fig u r 4 Me d ical  im a g es ( C T   an d   MRI  B r ain )   f u s ed   b y   d if f er en t im ag f u s io n   tech n i q u es  an d   th p r o p o s ed   m eth o d ( a)   I n p u t CT  im ag e,   ( b )   I n p u t M R I   im ag e,   ( c)   Fu s ed   b y   av e r ag in g ,   ( d )   Fu s ed   b y   m in im u m ,   ( e )   Fu s ed   b y   m ax im u m ,   ( f )   Fu s ed   b y   PC A,   ( g )   Fu s ed   b y   co n tr ast       T ab le  2 .   R esu lts   o f   q u a n titativ m ea s u r es o f   m e d ical  im ag es  ( b r ain )   S . N O   M ETH O D S   EN TR O P Y   ( d B )   1.   A v e r a g i n g   6 . 8 9 8 1   2.   M i n i m u m   2 . 0 9 0 6   3.   max i mu m   6 . 7 5 8 2   4.   P C A   8 . 4 2 7 1   5.   B l o c k   b a s e d   f e a t u r e   l e v e l   me t h o d   ( P r o p o se d )   8 . 9 4 2 7       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l Vo l.  9 No .   3 ,   Dec em b e r   2 0 2 0 19 5     20 4   204   T ab le  3 .   E v alu atio n   in d ices f o r   im ag f u s io n   b ased   o n   f u zz y   an d   n e u r o   f u zz y   l o g ic  ap p r o ac h es   M ETH O D   I Q I   M I M   FF   FS   FI   R M S E   P S N R   E N T R O P Y   CC   SF     F U ZZY   F U S I O N                         ( EX   1 )   0 . 8 7 5 8   0 . 4 3 2 8   1 . 0 9 6 5   0 . 0 7 7 9   0 . 7 3 0 3   4 4 . 8 4 4 8   1 5 . 0 9 6 6   4. 4 8 8 1   0 . 5 8 3 3   1 0 . 4 5 6 7     ( EX   1 )   ( EX   2 )                         0 . 8 8 2 4   0 . 8 5 8 2   2 . 1 3 7 9   0 . 0 5 1 8   0 . 8 1 2 2   4 8 . 9 9 3 5   1 4 . 3 2 8 0   5. 3 9 8 1   0 . 7 5 9 8   1 6 . 9 7 4 9     ( EX   2 )   ( EX   3 )                         0 . 8 8 7 1   1 . 5 5 7 6   1 . 9 8 6 4   0 . 2 8 4 1   3 . 6 3 2 5   4 2 . 4 8 5 0   1 5 . 5 6 6 1   5. 8 2 0 5   0 . 7 7 6 1   2 5 . 4 7 1 1     ( EX   3 )                         N EU R O   F U ZZY                         F U S I O N                         ( EX   1 )   0 . 9 9 9 9   1 . 3 6 5 6   2 . 8 1 1 5   0 . 0 2 1 3   1 . 0 8 3 7   1 4 . 9 5 5 4   2 4 . 6 3 4 8   7. 2 7 5 7   0 . 9 4 5 9   2 5 . 5 6 9 8       0 . 9 9 9 9   0 . 9 7 2 9   1 . 3 6 5 6   1 . 5 0 7 9   2 . 8 1 1 5   3 . 3 4 3 8   0 . 0 2 1 3   0 . 0 4 9 0   1 . 0 8 3 7   0 . 8 2 1 3   1 4 . 9 5 5 4   3 4 . 4 6 6 2   2 4 . 6 3 4 8   1 7 . 3 8 2 9   7. 2 7 5 7   7. 3 2 0 2   0 . 9 4 5 9   0 . 8 9 7 9   2 5 . 5 6 9 8   3 7 . 1 1 6 9     ( EX   2 )       0 . 9 7 2 9   0 . 2 1 8 2   1 . 5 0 7 9   0 . 7 6 3 4   3 . 3 4 3 8   1 . 0 1 0 9   0 . 0 4 9 0   0 . 2 4 3 1   0 . 8 2 1 3   2 . 8 9 2 6   3 4 . 4 6 6 2   6 8 . 5 3 1 9   1 7 . 3 8 2 9   1 1 . 4 1 2 9   7. 3 2 0 2   4. 4 8 9 4   0 . 8 9 7 9   0 . 1 2 6 5   3 7 . 1 1 6 9   1 6 . 9 9 2 6     ( EX   3 )         6.   CO NCLU SI O N   In   t h is  p a p e r,   b l o c k - b a se d   fe a tu re - lev e m u lt i - f o c u ima g e   f u sio n   t e c h n iq u e   is  p r o p o se d   f o f u sin g   i m a g e th a a re   n o in   fo c u s.  fe e d   fo rwa rd   n e u ra n e two r k   is  first  train e d   wit h   th e   b l o c k   fe a tu re o a   p a ir  o m u lt i - fo c u ima g e s.  fe a tu re   se in c lu d in g   sp a ti a fre q u e n c y ,   c o n tras v isi b il it y ,   e d g e s,  v a rian c e   a n d   e n e rg y   o g ra d ien is  u se d   to   d e fi n e   th e   c larity   o th e   ima g e   b lo c k .   Bl o c k   siz e   is  d eter m in ed   a d a p ti v e ly   f o e a c h   ima g e .   T h e   train e d   n e u ra l   n e two rk   is  t h e n   u se d   to   f u se   a n y   p a ir  o m u lt i - fo c u i m a g e s.  Th e   p e rf o rm a n c e   o f   t h e   e x isti n g   A v e ra g e ,   M a x imu m ,   M in imu m   a n d   P CA   b a se d   tec h n iq u e s a re   c o m p a re d   with   th e   re su lt s o th e   p ro p o se d   tec h n iq u e s.  Th e   e x p e rime n tatio n   re su lt s a re   o b tain e d   to   e v a lu a te   th e   p e rf o rm a n c e   o t h e   p ro p o se d   tec h n i q u e .   Ex p e rime n tatio n   re su lt sh o w   th a t   th e   p ro p o se d   tec h n iq u e   p e rfo rm b e t ter   th a n   th e   e x isti n g   tec h n iq u e s.   T h e   e x p e rime n tal   re su lt c lea rly   sh o t h a t h e   p ro p o se d   ima g e   f u si o n   u si n g   fu z z y   l o g ic   g iv e s a   c o n si d e ra b le i m p ro v e m e n o n   t h e   q u a li ty   o th e   f u sio n   sy ste m   a n d   n e u r o   fu z z y   b a se d   ima g e   fu sio n   p re se rv e s m o re   tex tu re   i n fo rm a ti o n .       RE F E R E NC E S   [1 ]   H.  Li ,   S .   M a n j u n a t h   a n d   S .   K.   M it ra . ,   M u lt i - se n s o ima g e   f u si o n   u sin g   t h e   wa v e let  tra n sfo rm ,   in   Gr a p h ica M o d e ls a n d   Im a g e   Pro c e ss in g ,   v o l.   5 7 ,   n o .   3 ,   p p .   2 3 5 - 2 4 5 ,   1 9 9 5 .   [2 ]   P .   J.   Bu rt ,   R.   J.   Lo lez y n sk i . ,   E n h a n c e d   ima g e   c a p tu re   th r o u g h   fu sio n ,   in :   P r o c e e d i n g s   o f   t h e   F o u rth   I n tern a ti o n a l   Co n fer e n c e   o n   Co m p u ter   Vi si o n ,   Be rli n ,   G e rm a n y ,   v o l.   3 ,   p p .   1 7 3 - 1 8 2 ,   1 9 9 3 .   [3 ]   Yu fe n g   Zh e n g ,   Ed wa rd   A.   Esso c k ,   Bru c e   C. ,   Ha n se n . An   A d v a n c e d   Im a g e   F u si o n   Alg o rit h m   Ba se d   o n   Wav e let   Tran sfo rm     In c o rp o ra ti o n   wit h   P CA  a n d   m o rp h o l o g ica P ro c e ss in g ,   Pro c e e d in g o t h e   S PIE ,   v o l.   5 2 9 8 ,     p p .   1 7 7 - 1 8 7 ,   2 0 0 4 .   [4 ]   I.   Blo c h ,   I n fo rm a ti o n   c o m b in a ti o n   o p e ra t o rs  fo r   d a ta  f u sio n .   a   re v iew   with   c las sifica ti o n ,   IEE E   T ra n s.  S M C:   Pa rt   A ,   v o l.   2 6 ,   p p .   5 2 - 6 7 , 1 9 9 6 .   [5 ]   H.  A.  El to u k h y ,   S .   Ka v u si,  c o m p u tat io n a ll y   e fficie n a l g o rit h m   fo m u lt i - f o c u ima g e   re c o n stru c ti o n ,   P ro c e e d in g s o S PIE   El e c tro n ic I ma g in g ,   v o l.   3 3 ,   p p .   4 5 - 5 1 ,   2 0 0 3 .   [6 ]   Ab d u Ba sit  S id d iq u i,   M .   Arfa n   Ja ffa r. ,   Ay y a z   Hu ss a in   a n d   An wa M .   M irza ,   Blo c k   -   b a se d   F e a tu re - lev e M u lt i - fo c u s Im a g e   F u si o n ,   IEE in   si g n a p ro c e ss in g ,   v o l.   2 ,   p p .   1 3 4 - 1 3 9 ,   2 0 1 0 .   [7 ]   Li ,   B .   M a n ju n a th ,   S .   M it ra ,   M u l ti se n so ima g e   fu si o n   u sin g   t h e   w a v e let  tran sfo rm ,   G ra p h ,   M o d e ls  Ima g e   Pr o c e ss v o l.   5 7 ,   n o .   3 ,   p p .   2 3 5 - 2 4 5 , 1 9 9 5 .   [8 ]   Ish it a   De ,   Bh a b a t o sh   Ch a n d a . ,   sim p le  a n d   e ffi c ien t   a lg o rit h m   fo r   m u l ti fo c u ima g e   fu sio n   u si n g   m o rp h o lo g ica wa v e lets,”   IEE in   S i g n a Pr o c e ss in g ,   v o l.   3 1 ,   p p .   9 2 4 - 9 3 6 ,   2 0 0 6 .   [9 ]   G o n z a lo   P a jare a n d   Je su M a n u e d e   la  Cr u z ,   wa v e let - b a se d   Im a g e   F u sio n   Tu t o rial,   I EE i n   P a tt e r n   Rec o g n it io n ,   v o l.   3 7 ,   n o .   9 ,   p p .   1 8 5 5 - 1 8 7 2 ,   2 0 0 4 .   [1 0 ]   H.  J.  He ij m a n a n d   J.  G o u tsias ,   No n li n e a m u lt ires o l u ti o n   si g n a d e c o m p o siti o n   sc h e m e s.  II.   M o rp h o lo g ica l   wa v e lets,”   IEE T ra n sa c ti o n o n   Ima g e   Pro c e ss in g ,   v o l.   9 ,   p p .   1 8 9 7 - 1 9 1 3 ,   2 0 0 0 .   [1 1 ]   Ya n g ,   X.H.,   Hu a n g ,   F .   Z. ,   Li u ,   G .   Urb a n   Re m o te  Im a g e   F u sio n   Us in g   F u z z y   Ru les ,   IEE Pr o c e e d in g o t h e   Ei g h t h   I n ter n a ti o n a l   Co n fer e n c e   o n   M a c h in e   L e a rn i n g   a n d   Cy b e rn e ti c s ,   p p .   1 0 1 - 1 0 9 ,   2 0 0 9 .   [1 2 ]   A.  To e t,   Im a g e   fu sio n   b y   a   ra ti o   o lo p a ss   p y ra m id ,   Pa tt e rn   Rec o g n it i o n   L e tt e rs ,   v o l.   9 ,   n o .   4 ,     p p .   2 4 5 - 2 5 3 ,   1 9 8 9 .   [1 3 ]   Xin m a n   Zh a n g ,   Jiu q lan g   Ha n   a n d   P e ifei  Li u ,   Re sto ra ti o n   a n d   fu sio n   o p ti m iza ti o n   sc h e m e   o m u lt ifo c u s   ima g e   u sin g   g e n e ti c   se a rc h   stra teg ies ,   Op ti c a   A p p l ica ta io n ,   v o l .   XX XV ,   n o .   4 ,   2 0 0 5 .   [1 4 ]   X.  Ya n g ,   W .   Ya n g ,   J.  P e i,   Diffe re n fo c u p o in ts  ima g e fu si o n   b a se d   o n   wa v e let  d e c o m p o siti o n ,   Pro c e e d in g s   o f   T h ird   In ter n a ti o n a Co n fer e n c e   o n   In f o rm a ti o n   Fu si o n ,   v o l.   1 ,   p p .   3 - 8 ,   2 0 0 0 .   [1 5 ]   S .   M u k h o p a d h y a y ,   B.   Ch a n d a ,   F u sio n   o 2 d   g ra y   sc a le  ima g e u sin g   m u lt isc a le  m o rp h o lo g y ,   P a t tern   Re c o g n it i o n ,   v o l.   3 4 ,   p p .   1 9 3 9 - 1 9 4 9 ,   2 0 0 1 .   [1 6 ]   V.  P .   S .   Na id u   a n d   J .   R.   Ra o l ,   P ix e l - lev e Im a g e   F u sio n   u si n g   Wav e lets  a n d   P r in c ip a C o m p o n e n An a ly sis,”   i n   De fen c e   S c ien c e   J o u rn a l ,   v o l.   5 8 ,   n o .   3 ,   p p .   3 3 8 - 3 5 2 ,   M a y   2 0 0 8 .   [1 7 ]   Oth m a n   Kh a li fa ,   Wav e let  Co d i n g   De sig n   fo Im a g e   Da ta Co m p re ss io n ,   In ter n a ti o n a Ara b   J o u rn a o In f o rm a ti o n   T e c h n o l o g y ,   v o l.   2 ,   n o .   2 ,   p p .   1 1 8 - 1 2 8 ,   2 0 0 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.