I nte rna t io na l J o urna l o f   Rec o nfig ura ble a nd   E m be dd e d Sy s t e m s   ( I J R E S)   Vo l.   7 ,   No .   1 Mar ch   2 0 1 8 p p .   5 7 ~6 6   I SS N:  2 089 - 4 864 ,   DOI : 1 0 . 1 1 5 9 1 /i j r es. v7 . i1 . p p 57 - 66          57       J o ur na l ho m ep a g e h ttp : //ia e s co r e. co m/jo u r n a ls /in d ex . p h p / I JR E S /in d ex   Desig n and  Devel o p m en o I for   M o dified  H a a r W a v elet  Tra nsfo r m  ( M H WT) I m a g e F usio n using  F PGA       Su m a nt  S.   Ya lia g r,   Sa n k et   Dess a i   De p a rte m e n o f   Co m p u ter S c ien c e   a n d   E n g in e e rin g ,   Ra m a iah   Un iv e rsit y   o f   A p p li e d   S c ien c e s,  Be n g a lu ru ,   In d ia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   2 ,   2 0 1 7   R ev i s ed   Feb   3 ,   2 0 1 8   A cc ep ted   Feb   1 7 ,   2 0 1 8     T h e   f a st  g ro w th   in   t h e   f ield   o f   d ig it a im a g in g   a p p li c a ti o n s in   re m o te  se n sin g ,   b io   m e d ica a n d   o th e sa telli te   a p p li c a ti o n h a d   c re a ted   a n   a rc h it e c tu re   stu d ies   f o im a g e   f u sio n   in   c a p a b l e   to   sto re   larg e   a m o u n o f   d a ta  a n d   p r o c e ss .   A n   a lg o rit h m   c o n sid e re d   f o th e   p ro c e ss   o f   ima g e   f u sio n   f o im p le m e n tatio n   o f   F P G A   is  M o d if ied   Ha a W a v e let  T ra n sf o r m   (M H W T b a se d   i m a g e   f u sio n   w h e re   a th e   ti m e   f o u p ix e ls  a re   c o n sid e in   c a lcu lati o n   o f   d iff e re n b a n d a c o m p a re d   to   c o n v e n ti o n a Ha a w a v e let  b a se d   i m a g e   f u sio n .   T h e   p ro c e ss   o f   m o d if ic a ti o n   u se f a les m e m o r y   a n d   c o m p u tatio n   p o w e r.   T h e   F P G im p le m e n tatio n   o f   M HW T   b a se d   im a g e   f u sio n   is  d o n e   o n   Dig il e n d e v e lo p m e n b o a rd   w it h   S p a rtan   6   se ries   F P GA .   T h e   a rc h it e c tu re   is   d e v e lo p e d   in   V HD L .   T h e   ti m in g   a n a l y sis  i d o n e   a n d   re p o rt  is  o b tain e d   f o I/O  in tera c ti o n s,  m e m o r y   u n it s   e tc.  T h e   a rc h it e c tu re   is  m a d e   to   ru n   in     co - sim u latio n   w it h   S im u li n k .   T h e   d e sig n   is  tes ted   w it h   d if fe re n k in d o f   im a g e a n d   ru n   s u c c e ss f u ll y .   T h e   v isu a a n a ly sis  o f   th e   re su lt a n f u se d   im a g e   is  a c h iv e d   a n d   o b se rv e d .   K ey w o r d s :   A r c h itect u r e   DW T     FP GA   I m ag F u s io n   MH W T   Co p y rig h ©   2 0 1 8   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   San k et  Des s ai,     Dep ar te m en t o f   C o m p u ter   Sci en ce   an d   E n g i n ee r in g ,   R a m a iah   U n i v er s it y   o f   A p p lie d   Scien ce s ,   #470 - P ,   P ee n y I n d u s tr ial  A r e a,   P ee n y Seco n d   Stag e,   P ee n y a   B en g a lu r u   ( B an g alo r e) - 5 6 0 0 5 8 ,   I n d ia .   E m ail: sa n k etd ess a i.c s . et @ m s r u as.a c. in       1.   I NT RO D UCT I O N   T h m o d er n   tech n o lo g ical   ad v an ce m e n ts   an d   p r o g r ess iv n ee d s   o f   h u m an   b ei n g s   h a v led   i m a g e   p r o ce s s in g   as  o n o f   t h p o p u lar   s u b j ec ts ,   in   p ar ticu lar   im ag f u s io n .   T h is   is   m ai n l y   d u to   f ast  g r o w t h   i n   th f ie ld   o f   d ig ital  i m a g in g   wh ich   i s   m o s u s ed   in   r e m o te  s e n s i n g ,   b io   m ed ical  a n d   o th er   s atellite  ap p licatio n s   th is   h a s   led   to   s it u atio n   w h e r th s y s te m   s h o u ld   b ca p ab le  o f   s to r in g   lar g e   a m o u n o f   d ata  an d   p r o ce s s   it  as  f ast   as  p o s s ib le.   T h tas k s   in v o lv ed   in   DW T   s y s te m s   ar co m p lex   an d   h e n ce   n ee d   la r g er   co m p u tatio n al   p o w er .   T h is   lead s   u s   to   th in k in g   o f   d ev elo p i n g   s p e cialize d   h ar d w ar w h ich   w i ll  g r ea tl y   r ed u c e     th p r o ce s s i n g   ti m e.   A ls o ,   t h u s o f   p r o p o s ed   m o d if ied   alg o r ith m s   w o u ld   g r ea tl y   r ed u ce   ti m ta k en   in   p r o ce s s .   Hen ce   t h p r o p o s itio n   is   m ad to   i m p le m en r ec o n f ig u r ab le  h ar d w ar d esi g n   o f   t h i m ag e   f u s io n .   Field   P r o g r am m ab le  Gate   A r r ay   ( FP G A )   ch ip   s u p p o r ts   r e co n f i g u r ab le  d esig n s   an d   is   c o n s id er ed   as  u s ab le   p latf o r m   f o r   i m a g p r o ce s s i n g   ap p licatio n s .   T h m o d er n   ad v en ts   i n   tech n o lo g y   h av e   g iv e n   u s   f a s ter   co m p u ti n g   c h ip s   w h ic h   ar b ein g   u s ed   i n   m a n y   f ie ld s   wh ich   h a v g o n o n s tep   f u r th er   an d   ar u s in g   co m p le x   i m ag a n d   s i g n al  p r o ce s s in g   in   m a n y   f ield s ,   wh ich   h a v ca r v ed   th w a y   t o   im p le m e n s u ch   tech n iq u es o n   th c h ip .   T h i m ag e   f u s io n   i s   t h p r o ce s s   b y   w h ic h   t w o   o r   m o r i m a g e s   ar co m b in ed   to g et h er   in to   a   s in g le  i m a g e.   T h i m a g e   f u s io n   n o r m all y   i n v o l v es   i m ag e s   ac q u ir ed   f r o m   s a m e   s o u r ce   o r   d if f er en s o u r ce s   i.e .   v ar io u s   s en s o r s ,   b ased   o n   th is   cr iter ia   i m ag e s   f u s io n   is   d i v id in to   s ev er al  t y p e s   as  g i v e n   in   [ 1 ] .   Her in   th i s   p ap er   th m ain   f o c u s   i s   o n   t h s tu d y ,   an al y s is   o f   v ar io u s   al g o r ith m s   r elate d   to   m u lti m o d al  i m a g e s   an d   d ev elo p in g   a   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4 864     I J R E S   V o l.  7 ,   No .   1 Ma r et   2 0 1 :   5 7     66   58   h ar d w ar i m p le m e n tab le  d esi g n   o f   th e   s a m e.   O n a m o n g   th e m   i s   I m ag e   f u s io n   u s in g   m o d if ied   H aa r   D is cr et e   W av elet  T r an s f o r m   ( DW T ) .   I m ag f u s io n   i n v o l v es  m an y   tech n iq u es  b ased   o n   th p ar am eter   w h ic h   ar co n s id er ed   f o r   im a g e   f u s io n   an d   t h er ar d if f er en t   t y p es  o f   i m ag f u s io n   b ased   o n   t h s o u r ce s   o f   i m a g e,   h en ce   th k n o w led g o f   th s u b j ec an d   b ac k g r o u n d   o f   t h tech n i q u es  i n v o lv ed   w ill   h elp   u s   to   d ev elo p   th ar c h it ec tu r ac co r d in g l y .   I m ag Fu s io n   is   a   p r o c ess   w h er e   c o m p o s it im ag is   p r o d u ce d ,   w h ich   m a y   co n ta in   e n h an ce d   q u ality   o r   s im p ly   b ette r   an d   m o r e   cl ea r   i n f o r m atio n   ab o u th o b je ct  o f   in ter est  o r   s c en co m p a r e d   t o   in d iv i d u al  s o u r c e   im ag es.  I m ag Fu s io n   h ad   its   ev o lu ti o n   b eg in n in g   w ith   th co n ce p o f   s im p ly   av er ag in g ,   w h er p ix e d en s iti es   o f   th s o u r ce   im ag es  ar f et c h ed   f r o m   s et  o f   in p u i m ag es  an d   th eir   r es p e ctiv av er ag es   ar c alcu l ate d   an d   co m b in e d   to g e th e r   in   f o r m   o f   m atr ix   th u s   p r o d u cin g   f u s ed   i m ag e.   A   lo o f   ad v an c em en ts   h av h ap p en ed   in   th f ield   o f   im ag f u s io n   s in ce   th en   em p lo y in g   ad v an ce d   m eth o d s   lik Dis c r et W av e let  T r an s f o r m s   an d   P y r am id al   M eth o d s   t o   f u s e   im ag es  [ 1 ] .   T h er ar s ev e r al  alg o r i th m s   i n v o lv ed   in   th e   im ag f u s io n   a s   s tat ed   in   [ 2 ] .   T h p r im itiv alg o r ith m s   w h ich   p er f o r m   i m ag f u s io n   p r o ce s s   o n   th s o u r c im ag es  w h ich   in clu d es  m ath em atica l   o p e r ati o n s   s u ch   as   av er ag in g ,   a d d i ti o n   an d   s u b t r ac ti o n   o f   p ix el   in ten s i ties   o f   im ag es  to   b e   f u s ed .   T h e r ex is ts   s o m s er i o u s   d r aw b ac k s   [ 3 ] .       2.   I M AG E   F USI O D I SC RI T E   WAV E L E T   T RAN SFO R M   WI T H   H AAR  WAV E L E T     Haa r   w av elet  in v o lv es   l o w est  c o m p lex ity   an d   it  is   th e   s im p les w av elet  in   te r m s   o f   m ath em atica co m p u tati o n ,   th o n ly   d is a d v a n tag is   th at  as  it  is   n o c o n t in u o u s   an d   th e r ef o r n o t   d if f er e n tiab le  [ 4 ] .   T h h a a r   w a v elet  Ψ   ( t)   c an   b e   d es cr ib ed   as   in   E q u ati o n   ( 1 ) .                 {                                                                                     ( 1 )     A n d   th s ca l in g   f u n cti o n   Ø   ( t)   is   d esc r i b ed   as   in   E q u ati o n   ( 2 ) .                 {                                             (2 )     T h F P GA   im p lem en tatio n   o f   im ag f u s io n   u s in g   m o d if ie d   h aa r   alg o r i th m   [ 5 ] .   T h o n ly   d if f er en c is   au th o r   c o n s id er s   4   n o d es  as  c o m p ar ed   to   2   n o d es  in   n o r m al   h aa r   D W T .   T h v alu es  o f   N/ 2   d et ail  c o ef f icien ts   ze r o   in   ea ch   s t ep   th an   t o   f in d   t h N/ 2   d eta il   c o ef f ici en ts   b y   D W T .   T h c o m p lete  w av elet  b ase d   2 tech n i q u es f o r   f u s io n   ar d e s cr i b ed   in   [ 6 ] .   I n   all  w av elet  b ase d   im ag f u s io n   te ch n iq u es   th w av elet   tr an s f o r m s   W   i s   a p p li ed   o n   ea ch   o f   th tw o   r eg is te r e d   in p u t   im ag es  I ( x ,   y )   an d   s o m k in d   o f   f u s i o n   r u le ,   h er d en o te d   as   Ø   ,   h er e   in   th is   p a p er   it   is   g iv en   b y   s h o w   in   b e lo w   E q u at io n   ( 3 ) .                         (   (   (               )     (               )     ) )   (3 )           (                                   )   ( 4 )     C o n s id er   a   s ig n al   o f   l en g th   N ,   g iv en   in   eq u a ti o n   ( 5 )           (                                 )   (5 )     I n   MH W T ,   f ir s t   o b t ain e d   av e r ag e   s u b   s ig n al   is ,                                                    at   o n s tag e   f o r   a   s ig n a l   o f   l en g th   N   i. e.   is   g iv en   in   E q u ati o n   ( 6 )                                                         ( 6 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I J R E     I SS N:  2089 - 4864       Desig n   a n d   Dev elo p men t o f I P   fo r   Mo d ified   Ha a r   W a ve let  Tr a n s fo r ( MH WT )   I ma g …  ( S u ma n t S . Ya lia g r )   59   A n d   f ir s t   s u b   s ig n al   w ith   lo w er   f r e q u en cy   c o m p o n en ts   h o ld s   all   th e   d eta ils   as   in   eq u a ti o n   ( 7 ) .                                                                 ( 7 )     W h er e,                                 T h o n l y   d if f er en ce   b et w ee n   s tan d ar d   h aa r   w av e let  tr a n s f o r m   a n d   m o d i f ied   h aa r   w a v elet   tr an s f o r m   is   th at  in   MH W T   o n l y   f o u r   n o d es  ar co n s id er ed   in s tead   o f   as  in   h aa r   DW T   [ 5 ] ,   th at  is   at  ea ch   s tag o f   w a v elet  d ec o m p o s itio n   t h d ata  is   r ed u ce   t w ice  as  i n   n o r m al  DW T   an d   th co m p u tati o n al  co m p lex it y   i r ed u ce d   to   h alf ,   an d   h en ce   is   b est  f o r   th h ar d w ar i m p le m en tatio n .   T h li te r atu r r ev i ew   co n d u cte d   g iv es  u s   an   in s ig h o n   w h at  is   m is s in g   th at  is   th p ar if   im ag f u s io n   th at  ca n   b a d d r ess e d ,   h en ce   th i d en tif i e d   r es ea r ch   g ap s   a r e   as   f o ll o w s .     Mo s t o f   th p ap er s   co v er   n e wer   an d   b etter   v er s io n s   o f   i m a g f u s i n g   al g o r ith m   b ased   o n   q u an t itati v an d   q u alitati v an al y s is .   No   s co p h as b ee n   g i v en   to   o p ti m ize  t h e   alg o r ith m s   i n   ter m s   o f   co m p u tatio n al  p o w er .     T y p ical  al g o r ith m s   u s in g   s tan d ar d   w a v elet s   s u c h   as   Haa r ,   Dau b ec h ie s   etc,   h av e   co m p le x it y   le v el  o f   i n   co n tr ar y   to   t h at  MH W T   b a s ed   i m a g f u s io n   [ 5 ]   p r o p o s es  m o d if ied   h aa r   w a v elet   tr an s f o r m   w it h   co m p le x it y   o f   N/2 .     T h MH W T   p r o p o s es  th s aid   alg o r ith m   b u d o es  n o i m p le m en it  o v er   h ar d w ar e,   th p r o ce s s   is   f o r m u lated   w it h   m o d i f ied   eq u atio n s   a n d   i m p le m en ted   o n   MA T L A B .     T h is   p ap er   p r o p o s es  th i m p le m en ta tio n   o f   th e   s aid   a l g o r ith m   o v er   FP G A   w h ic h   ca n   f o r   w h ich     th h ar d w ar d esig n   is   d e v elo p ed   an d   im p le m e n ted .         3.   DE S I G AND  I M P L E M E NT AT I O   T h e   h ar d w ar m o d el  is   d e v elo p ed   f o r   im a g f u s io n   u s in g   M o d if ied   Haa r   w a v elet  tr a n s f o r m atio n   f o r   FP GA   i m p le m en ta tio n .   T h e   p r o ce s s   w ill  b u s i n g   h ar d w ar s o f t w ar co - s i m u latio n   [ 7 ]   [ 8 ]   [ 9 ]   [ 1 0 ] .   T h b asic   b lo ck   d iag r a m   f o r   MH W T   b ased   i m a g f u s io n   is   s h o w   i n   Fi g u r 1.   A s   t h co n ce p o f   2 DW T   u s i n g   d if f er e n w a v elets  a n d     h a v b ee n   co v er ed   in   b ac k g r o u n d   s t u d y   a n d   liter atu r r ev ie w   th ex p lan atio n   w ill  b e   b r ief   o n l y   co v er in g   th p ar o f   th eq u atio n   w h er th ac tu al  m o d i f icatio n   is   m ad e,   th th eo r y   o f   eq u atio n s   an d   b ac k g r o u n d   s t u d y   is   d o n f o r m   [ 5 ] [ 1 1 ] [ 1 2 ] .   T h MH W T   eq u atio n s   i n   d i g ital   d o m ai n   ar r ep r esen ted   as  f o llo w s .   T h w av e let  f u n ctio n   i s   co n v er ted   to   Haa r   Op er ato r   as   g iv e n   i n   E q u atio n   ( 8 ) .   T h h ar d w ar m o d el  is   d e v elo p ed   f o r   im a g f u s io n   u s in g   M o d if ied   Haa r   w a v elet  tr a n s f o r m atio n   f o r   FP GA   i m p le m en ta tio n .   T h e   p r o ce s s   w ill  b u s i n g   h ar d w ar s o f t w ar co - s i m u latio n   [ 7 ]   [ 8 ]   [ 9 ]   [ 1 0 ] .   T h b asic   b lo ck   d iag r a m   f o r   MH W T   b ased   i m a g f u s io n   is   s h o w   i n   Fi g u r 1.   A s   t h co n ce p o f   2 DW T   u s i n g   d if f er e n w a v elets  a n d     h a v b ee n   co v er ed   in   b ac k g r o u n d   s t u d y   a n d   liter atu r r ev ie w   th ex p lan atio n   w ill  b e   b r ief   o n l y   co v er in g   th p ar o f   th eq u atio n   w h er th ac tu al  m o d i f icatio n   is   m ad e,   th th eo r y   o f   eq u atio n s   an d   b ac k g r o u n d   s t u d y   is   d o n f o r m   [ 5 ] [ 1 1 ] [ 1 2 ] .                 (           )   ( 8 )     Fo r   2 i m a g e,   L et   x   b 2 ×2   m atr i x   o f   an   i m ag e,   th e   tr an s f o r m atio n   y   i s   o b tai n ed   b y   m u ltip l y in g   co lu m n s   o f   m atr i x   x   b y   m atr ix   T ,   an d   t h en   t h r o w s   o f   t h r esu lt b y   m u ltip l y in g   b y   T u s in g   E q u atio n   ( 9 ) .                       ( 9 )     T h o r ig in al  v al u es a r r ec o v e r ed   u s in g   eq u atio n   ( 1 0 )                          ( 1 0 )     Fo r   i m ag m atr i x   w it h   s tar ti n g   r o w   p i x els a,   b ,   c,   d .                 (                                                         )   ( 1 1 )       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4 864     I J R E S   V o l.  7 ,   No .   1 Ma r et   2 0 1 :   5 7     66   60   T h DW T   b an d s   co r r esp o n d   to   th f o llo w i n g   f ilter i n g   p r o ce s s es:     LL : a +b +c +d : L o w   p as s   f il ter i n g   i n   h o r izo n tal  as  w ell  a s   v er t ical  d ir ec tio n .     HL : a −b +c −d : H ig h   p as s   f i lter in g   i n   h o r izo n tal  d ir ec tio n   an d   L o w   p a s s   f ilter i n g   i n   v er tica l d ir ec tio n .     LH : a +b −c −d : L o w   p as s   f ilter in g   i n   h o r izo n tal  an d   h ig h   p as s   f ilter i n g   in   v er tical.     HH : a −b −c +d : H ig h   p ass   f ilte r in g   i n   b o th   h o r izo n ta l a n d   v er tical  d ir ec tio n .           Fig u r 1 .   B lo ck   d iag r a m   f o r   MH W T   b ased   im a g f u s io n       T o   u s th is   tr an s f o r m ,   All  t h e   p ix els  f r o m     i m ag ar g r o u p ed   in to   2 x 2   b lo ck s   a n d   tr an s f o r m atio n s   ar o b tain ed   u s in g   eq u at io n s   [ 1 1 ]. T h en   later   af ter   t w o   s u cc ess i v tr an s f o r m s   o n   i m a g w g et  L L ,   L H,   H L   an d   HH  f o r   f ir s t   i m a g a n d   f o r   s ec o n d   i m a g e   L L 1 ,   L H1 ,   H L 1   a n d   HH1 .   T h co m p o n e n t s   o b tain ed   ar f u s ed   b ase d   o n   th m i n   m ax   lo g ic  as   s h o w n   i n   eq u at io n   ( 1 2 ) ,   ( 1 3 )   an d   ( 1 4 ) .   T h MH W T   eq u atio n s   i n   d i g ital   d o m ai n   ar r ep r esen ted   as  f o llo w s .   T h w av e let  f u n ctio n   i s   co n v er ted   to   Haa r   Op er ato r   as   g iv e n   i n   eq u atio n   ( 8 )                                        ( 1 2 )   B =M A X( L H, L H1 )   ( 1 3 )   C =M A X( H L , H L 1 )   ( 1 4 )   D= MA X( HH, HH1 )   ( 1 5 )     T h v alu es  o f   A ,   B ,   C ,   ar h eld   in   b u f f er   an d   ar r ec o n s tr u cted   in   th f o r m   o f   m atr ix   to   f o r m   th f u s ed   i m a g e.   A t h ti m o f   i m p le m e n tatio n   th s er ializ atio n ,   d eser ializatio n   a n d   th ac tu al  f u s io n   r u le  is   i m p le m en ted   i n   Si m u li n k ,   T h Xilin x   s y s te m   g en er ato r   is   u s ed   to   co - s i m u late  V HD L   d esi g n   w it h   Si m u lin k .     2 . 1 .   H a rdw a re   lev el  des ig n f o M H WT   T h d etails  o f   lo g ic/  R T L   d esig n   i s   s h o w n   in   F ig u r 2 .   T h MH W T   alg o r ith m   is   u s ed   f o r   d esig n   p h a s e.   T h tr an s f o r m   b lo ck   w i ll  w o r k   in   co o r d in atio n   o f   clo c k   w it h   o th er   f u n ctio n al  b lo ck s   in   t h h ar d w ar d esig n .   T h to tal  im p le m e n tatio n   i s   co m b in at io n   o f   S i m u li n k   an d   t h e   MH W T   F P GA   d esig n .   I n   t h VH DL   d esi g n   d o n f o r   MH W T ,   th b lo ck   co m p o s e s   o f   m ai n l y   o n e   in p u f o r   i m a g d ata  i.e .   I m ag e_ i n ”  th d ata  h o w e v er   is   in te g er   b u w i th   o n l y   1 1   b its   o f   in f o r m atio n   f o r   ea ch   p ix el.   T h is   is   d o n j u s t   to   b s u r n o to   m is s   o u t   th e   in f o r m atio n   i f   t h er is   h ig h er   v alu e.   I n   t h ac t u al  d es ig n   at  later   s ta g m a n y   d o w n   s a m p li n g   ar d o n to   el i m i n ate  t h co m p u tatio n a an d   clo ck   co m p lex i ties .   T h De s ig n   u s es   m o v i n g   w i n d o w   ar c h itect u r to   f o r m e d   b y   ar r a y   o f   D -   f l ip   f lo p s ,   th i m ag d ata  is   ta k e n   in   at  e v er y   clo c k   c y cle  f o r   2 5 6 x 2 5 6   im ag e,   al t h v al u e s   ar h eld   i n   ar r a y   o f   f l ip   f lo p   w h ich   is   u s ed   as  f u n ctio n al   b lo ck   alo n g   w it h   tr an s f o r m   b lo ck   a s   e n tit y ,   t h d ata  is   t ap ed   o u f o r m   f lip   f lo p s   as   r eq u ir ed   f o r   co m p u tatio n   as  s h o w n   i n     Fig u r 3 .   T h lo g ic  is   i m p le m en ted   as a cc o r d in g   to   th eq u a tio n s   s p ec i f ied   b ef o r in   d ig ita l d o m ai n .       Evaluation Warning : The document was created with Spire.PDF for Python.
I J R E     I SS N:  2089 - 4864       Desig n   a n d   Dev elo p men t o f I P   fo r   Mo d ified   Ha a r   W a ve let  Tr a n s fo r ( MH WT )   I ma g …  ( S u ma n t S . Ya lia g r )   61       Fig u r 2 Har d w ar d esig n   f o r   m h w t b ased   i m a g f u s io n           Fig u r 3 Desig n   o f   MH W T   m o v in g   w i n d o w       B ased   o n   t h ar ch i tectu r e   th s o u r ce   co d is   w r itte n   i n   VHDL   ( VHSI C   Har d w ar D escr ip tio n   L a n g u a g e) th I n p u t p o r ts   ar e   d ef in ed   ac co r d in g l y   an d   at  lat er   s tag t h d esi g n   is   m ad to   r u n   at  th in i tiatio n   f r o m   Si m u li n k   w h ich   i s   ex p la in ed   in   l ater   p ar t.  T h is   VHD L   i m p le m e n tat io n   w o r k s   f o r   o n i m a g at  ti m e   an d   th p r o b lem   is   o n n ee d   to   test   th d esig n   th e n   th i m a g d ata  n ee d s   to   b th er in   s er ial  f o r m at,   h e n ce   th i m a g s h o u ld   to   b f ir s c o n v er ted   i n to   te x t   f ile  t h at   is   r ea d ab le  in   V HD L   u s i n g   s ta n d ar d   s et  o f   lib r ar ies.   T h en   th p ix els  v al u es  i n   th at   tex f ile  ca n   b ac ce s s ed   s er iall y   in to   th VHD L   d esi g n .   Hen ce   th S i m u li n k   co - s i m u latio n   is   co n s id er ed   f o r   th to tal  i m p le m e n tatio n   o f   t h f u s io n   a s   t w o   i m a g es  n ee d   to   b ac ce s s ed   at  a   g iv e n   ti me .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4 864     I J R E S   V o l.  7 ,   No .   1 Ma r et   2 0 1 :   5 7     66   62   2 . 2 .   Si m uli n k   m o de l f o M H WT   ba s e d i m a g f us io n o n F P G A   T h Si m u li n k   d esi g n   is   d i v id e d   in to   t w o   d esi g n s   i.e .   s o f t w ar m o d el  w h ic h   h elp s   u s   i n   co - s i m u lat in g   en tire   s y s te m   o n   t h co m p u te r   its elf   an d   a n o th er   i s   h ar d w a r m o d el  w h er t h O n l y   MH DW T   p a r r u n s   o n   Sp ar tan   6   s er ie s   FP G A ,   h en ce   b o th   m o d els  ca n   b ad d r ess ed   as  s o f t w ar c o - s i m u latio n   an d     h ar d w ar c o - s i m u la tio n .   T h s u b s y s te m   o f   DW T   b lo ck   f o r   FP GA  I m p le m en tatio n   i n   Si m u li n k   is   s h o w n   in   F ig u r 4   Her ag ain   it  ca n   b s ee n   th at  b lo ck s   w ith   i n ”  an d   o u t”  g at w a y s   t h ese  b lo ck s   d eter m i n e   th b o u n d ar ies  o f   o u r   VHDL   d esi g n ,   th i n - b et w ee n   b lo ck     ca lled   s u b s y s te m ”  is   co m p lete l y   VH DL   d es ig n ,   h en ce   b e f o r e   ac ce s s i n g   th e   VHD L   d esig n   it   is   m u s t   to   p u t   in - o u b lo ck s .   T h s u b s y s te m ”  b lo c k   a g ain   h as  a   s u b s y s t e m   o f   its   o w n   as  s h o w n   i n   Fi g u r e   5 ,   n o w   h er w ca n   s ee   t h at  t h co r VHDL   d esig n   o f   t h e   MH W T   is   u s ed   to   o b tain   l_ b an d   an d   H_ b an d ,   th ese  b lo c k s   ar co n s ec u tiv e l y   u s ed   to   o b tain   h i g h er   le v el  d ec o m p o s i tio n .     As  s ee n   in   Fi g u r e   4 .   T h M HW T   is   ap p lied   t w ice   f o r   L   b an d   an d   H   b an d   s ep ar atel y .   No w   all   th e   b an d s   o b tain ed   i.e .   L L ,   L H,   HL   a n d   HH  ar co n ca ten ated   in   f o r m   o f   m atr ix   to   o b tain   t r an s f o r m ed   i m a g e.     T h p r o ce s s   is   r ep ea ted   f o r   t h s ec o n d   i m ag e,   w i th   DW T   b lo ck   f o r   t h f u ll  d esi g n ,   n o w   th f u s io n   r u le  i s   ap p li ed   th av er ag v al u am o n g   L L   b an d s   i s   tak e n   o b tain ed   f r o m   b o th   th i m a g es,  s i m ilar l y   f o r   h ig h er   f r eq u en c y   b an d s   m a x i m u m   v alu a m o n g   th t w o   i s   ch o s e n ,   as  w alr ea d y   k n o w   t h at  t h L L   b a n d s   h a v e   m ax i m u m   in f o r m a tio n   an d   H b an d s   h av t h p er ip h er al  in f o r m ati o n ,   h e n ce   t h av er ag i n g   i s   d o n f o r   lo w er   f r eq u en c y   co m p o n e n t s .   T h b i - o r th o g o n al  I DW T   b lo ck   is   u s ed   f r o m   S i m u li n k   its el f   w h ich   g iv e s   u s   t h f u s ed   i m a g w h ic h   ca n   b s ee n   i n   Si m u lin k .           Fig u r 4 DW T   in   s i m u li n k   m o d el  f o r   FP GA   i m p le m e n tatio n         Evaluation Warning : The document was created with Spire.PDF for Python.
I J R E     I SS N:  2089 - 4864       Desig n   a n d   Dev elo p men t o f I P   fo r   Mo d ified   Ha a r   W a ve let  Tr a n s fo r ( MH WT )   I ma g …  ( S u ma n t S . Ya lia g r )   63       Fig u r 5 Si m u li n k   s u b s y s te m   f o r   MH W T         Fig u r 6 Har d w ar m o d el  f o r   MH W T   b ased   im a g f u s io n         T h s y s te m   is   i m p le m en te d   o n   Dig i len Atl y s   Sp ar tan - 6   tr ain er   b o ar d .   I co n s i s ts   o f     Sp ar tan - 6   XC 6 S L X4 5 - 3 C SG 3 2 4   FP GA   i n cl u d in g   1 2 8   Mb y te  w i th     DD R 2   cla s s   t ec h n o lo g y   DR AM ,   Gig ab it  E t h er n et,   HDM I   Vid eo ,   an d   A C 9 7   au d io   m a k t h A tl y s   b o ar d   an   id ea h o s f o r   co m p lete  d ig ita s y s te m s   b u ilt  ar o u n d   th Xil in x   Mic r o B laze   e m b ed d ed   p r o ce s s o r .   T h b o a r d   is   p o w e r ed   b y   5 p o w er   ad ap ter ,   m icr o   USB   ca b le  p r o v id es t h in ter f ac b et w ee n   t h co m p u ter   an d   th b o ar d .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4 864     I J R E S   V o l.  7 ,   No .   1 Ma r et   2 0 1 :   5 7     66   64   4.   RE SU L T S   A ND  D I SCU SS I O NS   T h co m p ilatio n   a n d   s y n t h esi s   is   d o n f o r   th d esig n   b ased   o n   th test   b en c h   th ti m i n g   d iag r a m   i s   o b tain ed ,   clo ck   is   r u n   all  th w a y   ti ll  all  th e   v al u es   ar r ea d   in ,   t h to tal  s i m u la tio n   t i m e   f o r   o n i m a g i s   ab o u 5 6 0   m illi s ec o n d s   . i.e .   u n t il  last   s et  o f   tr a n s f o r m ati o n   is   d o n e.   T h ti m i n g   an al y s i s   o b tain ed   f r o m   th s i m u latio n   is   s h o w n   i n   Fi g u r 7 .           Fig u r 7 Si m u latio n   r esu l ts   o f   th d esig n       T h r esu ltan i m a g es  o f   t h h ar d w ar co - s i m u la tio n   d esi g n   is   p r esen ted   b elo w ,   th Fi g u r e   8   s h o w s   th in ter m ed iate  d ec o m p o s iti o n ,   Fig u r 9   s h o w s   t h d i f f er en t y p es  o f   in p u i m ag e s .   Fig u r 1 0 ,   s h o w s   th r esu ltan t f u s io n ,   th i m a g e   d ataset  is   b o r r o w ed   f r o m   Yu   L i u s   b lo g   s ite   [ 1 2 ] .           Fig u r 8 Si m u latio n   r esu l ts   o f   th in ter m ed iate  d ec o m p o s ed   i m a g es       I n   Fig u r 8   it  ca n   b s ee n   t h at   th i m a g is   d ec o m p o s ed   in t o   L L ,   L H,   H L   an d   HH  b an d s .   Dif f er en t   i m a g es  s u c h   as  m u lti f o ca l,  m u lti  te m p o r al  an d   m u lti m o d al  i m ag e s   ar u s ed   to   test   t h d esi g n   th at  h o w   w ell  it   ca n   f u s th e   t w o   i m a g es   r es u l ts   ar a n al y s ed   v i s u al l y   f o r   q u alit y .   Me d ical  I m ag e s   w i th   h i g h er   r eso l u t i o n   a n d   lo w   n o is is   s h o w   i n   Fi g u r 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J R E     I SS N:  2089 - 4864       Desig n   a n d   Dev elo p men t o f I P   fo r   Mo d ified   Ha a r   W a ve let  Tr a n s fo r ( MH WT )   I ma g …  ( S u ma n t S . Ya lia g r )   65       9 ( a)   9 ( b )     Fig u r 9 I n p u t i m a g e s   u s ed   f o r   th s i m u la tio n   o f   t h d esi g n       Her t w o   in p u i m ag e s   ar m u lti m o d al  m ed ical  i m a g es,  i m a g 1   s h o w s   t h ti s s u an d   m e m b r a n an d   i m a g 2   s h o w s   t h s k u ll   d en s i t y .   T h r es u lta n t   f u s ed   i m a g e   ca n   b s ee n   w h ich   b o th   co m p o n en t s   i n   i t.  I g i v es  th clea r   p ictu r o f   h o w   t is s u m as s   is   p lace   in to   t h s k u ll  ca p .   T h s p r ea d in g   o f   t h ed g es  ca n   b co r r ec ted   b y   ap p l y i n g   ed g f ilter s   a f ter   t h w av ele t tr an s f o r m .           Fig u r 10 Si m u latio n   R es u lts   o f   th I m a g F u s io n   i n   th De s ig n           T w o   s o u r ce   i m a g es  u s ed   ar m u lti f o ca i.e .   t w o   o p p o s ite  p ar ts   o f   t h i m ag e s   ar o u o f   f o cu s .   T h e   r esu lta n f u s io n   i s   co m b in a tio n   o f   t w o   clea r   p ar ts   o f   b o th   s o u r ce   i m a g es.  T h ed g es  s m o o t h l y   v a n is h   i n to   th e   i m a g e,   th is   ca n   b tak en   ca r b y   ap p l y in g   v ar io u s   n o is ca n ce llatio n   m et h o d s .   As  MH W T   is   r ec en FP GA  i m p le m en ta tio n   a n d   h en ce   m u ch   o f   liter at u r e   is   u n a v ailab le.       5.   CO NCLU SI O N   T h MH W T   b ased   I m ag f u s i o n   is   r ea lized   w ith   t h h elp   o f   d esig n   i m p le m e n ted   th r o u g h   s o f t w ar -   h ar d w ar co - s i m u latio n .   T h MH W T   alg o r ith m   i s   d esi g n ed   u s i n g   VHD L   u s i n g   Sp ar tan   6   FP GA .   T h f u r t h er   p r e - p r o ce s s in g   o n   FP G A   it s el f   m a y   allo w   in cr ea s i n   s p ee d   an d   q u ali t y .   Fo r   n o w ,   th e   s y s te m   b e h av e s   w e ll   w it h   i m ag e s   w ith   lo w   n o i s co n ten t,  esp ec iall y   m ed ical  i m ag es.  A s   s ee n   in   r esu lt  s ec tio n   f o r   r esu lt  1   an d   2   i.e .   m u lt te m p o r al  m ed ical  i m ag e s   th f u s ed   i m a g is   m u ch   b etter   co m p ar ed   to   m u l ti m o d al  an d   m u lti f o ca i m a g es,  t h q u alit y   is   a n al y s e d   b ased   o n   h o w   m u c h   d etails  an d   clar it y   is   p r ese n i n   th i m ag b ased   o n   v is u al   an al y s is .   T h s y s te m   also   g i v es  g o o d   q u alit y   f u s ed   f o r   o v er   o r   u n d er   ex p o s ed   i m ag e s .   O v er all  t h Des ig n   i s   s leek ,   h o w e v er   t h er al w a y s   s co p f o r   m u c h   m o r co m p r ess io n   an d   f u r t h er   tr y   to   i m p r o v th e   q u ali t y   o f   f u s io n   ca n   b d o n e.   T h c o m p u tatio n s   ca n   b f u r th er   r ed u c ed   an d   m o r ef f ic ien ca n   b ac h iev ed   w it h   m o r e   r esear ch   o n   alg o r it h m .   B ased   o n   t h p r o j ec t,  h ig h   lev el   c o m p le x   a lg o r it h m s   ca n   b d esig n ed   f o r   FP G A   i m p le m en ta tio n .   T h FP GA  d esig n   f o r   MH W T   b ased   i m a g f u s io n   ca n   b f u r th er   m ad as  an   I P ,   an d   later   ca n   f i n d   its   u s i n   So c‟ s   ,   A SI C   o r   lar g in te g r ated   s y s te m s   w h er i m a g f u s io n   i s   n ec e s s a r y .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 9 - 4 864     I J R E S   V o l.  7 ,   No .   1 Ma r et   2 0 1 :   5 7     66   66   RE F E R E NC E S   [1 ]   P .   Ka u a n d   M .   Ka u r,   " A   Co m p a ra ti v e   S tu d y   o f   V a rio u D ig it a Im a g e   F u sio n   T e c h n iq u e s:   A   Re v ie w" ,   In ter n a ti o n a J o u rn a l   o C o mp u ter   Ap p li c a ti o n s ,   v o l.   1 1 4 ,   n o .   4 ,   p p .   2 6 - 3 1 ,   2 0 1 5 .   [2 ]   F .   Qu ,   B.   L iu ,   J.  Zh a o   a n d   Q.  S u n ,   " Im a g e   F u sio n   Re a l - ti m e   S y ste m   Ba s e d   o n   F P G a n d   M u lt i - D S P " ,   Op ti c a n d   Ph o t o n ics   J o u rn a l ,   v o l.   0 3 ,   n o .   0 2 ,   p p .   7 6 - 7 8 ,   2 0 1 3 .   [3 ]   J.  Olk k o n e n ,   Disc re te w a v e let  tra n sf o rm s.  Rij e k a ,   Cro a ti a In T e c h ,   2 0 1 1 .   [4 ]   R.   S tan k o v ić  a n d   B.   F a lk o w sk i ,   " T h e   Ha a w a v e let  tran s f o rm :   it sta tu a n d   a c h iev e m e n ts" ,   Co mp u ter &   El e c trica En g in e e rin g ,   v o l .   2 9 ,   n o .   1 ,   p p .   2 5 - 4 4 ,   2 0 0 3 .   [5 ]   G .   S in g h ,   G .   S in g h   a n d   G .   A u ji la,  " De sig n   a n d   d e v e lo p m e n o M HWT   f o I m a g e   F u sio n " ,   In ter n a ti o n a J o u rn a o f   Co mp u ter   A p p li c a ti o n ,   v o l.   7 9 ,   n o .   1 ,   p p .   2 6 - 3 1 ,   2 0 1 6 .   [6 ]   G .   P a jare a n d   J.  M a n u e l   d e   la   C ru z ,   " A   wa v e let - b a se d   im a g e   f u sio n   tu t o rial" ,   P a tt e rn   Rec o g n it i o n ,   v o l.   3 7 ,   n o .   9 ,   p p .   1 8 5 5 - 1 8 7 2 ,   2 0 0 4 .   [7 ]   K.  G rib b o n ,   D.  Ba il e y   a n d   C.   Jo h n st o n ,   " Us in g   d e sig n   p a tt e rn s   to   o v e rc o m e   i m a g e   p ro c e ss in g   c o n stra in ts  o n   F P GA s " ,   T h ird   I EE I n ter n a ti o n a W o rk sh o p   o n   E lec tro n ic De sig n ,   T e st  a n d   A p p li c a ti o n s ( DEL T A '0 6 ) ,   2 0 0 6 .   [8 ]   S a n k e De ss a a n d   K.  Ra m a k ri sh n a ,   Im p le m e n tatio n   o f   V i d e o   Ca p tu re   a n d   P lay b a c k   in   M o b il e   S y ste m s,”  In tern a ti o n a Jo u rn a o f   Re c o n f ig u ra b le an d   Em b e d d e d   S y ste m s,  Vo 2 ,   No . 3 ,   N o v e m b e 2 0 1 3 ,   p p . 1 0 6 - 1 1 5 .   [9 ]   Sa n k e De ss a S .   a n d   V u t u k u ru   K.B. ,   De sig n   a n d   De v e lo p m e n o f   S trea m   P r o c e ss o A rc h it e c tu re   f o G P U   A p p li c a ti o n   Us in g   Re c o n f ig u ra b le  Co m p u ti n g ,   In ter n a ti o n a J o u rn a o Rec o n fi g u ra b le  a n d   Emb e d d e d   S y ste ms ,   2 (1 ),   2 0 1 3 ,   p p . 1 - 1 4 .   [1 0 ]   V u t u k u r u   K.B.   a n d   S a n k e De ss a i,   De si g n   a n d   De v e lo p m e n o f   Tex tu re   F il terin g   A rc h it e c tu re   f o G P U   A p p li c a ti o n   Us in g   Re c o n f ig u ra b le  Co m p u ti n g ,   In ter n a ti o n a J o u rn a o Rec o n fi g u ra b le  a n d   Emb e d d e d   S y ste ms ,   1 (3 ),   2 0 1 2 ,   p p . 1 0 8 - 1 2 2 .   [1 1 ]   D.  H.,   D.  T a n u ja  a n d   P .   Na tu ,   " Im a g e Co m p re ss io n   Us i n g   Re a F o u rier  T ra n sf o rm ,   Its  W a v e let  T ra n s f o r m   A n d   H y b rid   W a v e let  W it h   DCT" ,   In ter n a ti o n a J o u r n a l   o Ad v a n c e d   Co mp u ter   S c ien c e   a n d   Ap p li c a ti o n s,   v o l.   4 ,   n o .   5 ,   2 0 1 3 .   [1 2 ]   Y.  L iu ,   " I m a g e   F u sio n   Da tas e t" ,   S h u ju t a n g ,   2 0 1 3 .   [ On l in e ] .   A v a il a b le:  h tt p :/ / h o m e . u stc . e d u . c n /~ li u y u 1 /.   [ A c c e ss e d 14 -   A p r -   2 0 1 6 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.