I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   3 ,  J u n e   20 2 6 ,   p p .   1188 ~ 1 1 9 8   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 3 . pp 1 1 8 8 - 1 1 9 8           1188       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Pros tate  ma g neti c re so na nce ima g i ng /trans rect a l ul t ra so und   regi stra tion usin g   v isio n  trans form er  a nd  co nv o lutio na l neural  network       H a na e  M a hm o ud i,  H iba   Ra m a da n,  J a m a l R if f i,  H a m id  T a iri   LI S A C   La b o r a t o r y ,   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   S c i e n c e s  D h a r - M a h r a z ,   S i d i   M o h a me d   B e n   A b d e l l a h   U n i v e r s i t y ,     F e z ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   2 9 ,   2 0 2 4   R ev is ed   J an   2 4 ,   2 0 2 6   Acc ep ted   Ma r   1 6 ,   2 0 2 6       M u lt imo d a l  re g istratio n   o f  3 D  m e d ica l  ima g e s  (3 D - M Re g )   p la y s  a   k e y   r o le   in   se v e ra l  m e d ica l  a p p li c a ti o n s  a n d   re m a in s  a   v e ry   c h a ll e n g in g   tas k   a s  it   d e a ls  with   m u lt imo d a l   ima g e s  a n d   v o lu m e tri c   o b jec ts   a t  t h e   s a m e   ti m e .   Re c e n tl y ,   c o n v o l u ti o n a l  n e u ra l   n e two rk s   (CNN s)   b a se d   a p p r o a c h e s  h a v e   b e e n   p ro p o se d   to   s o lv e   3 D - M Re g .   Ho we v e r,   t h e se   tec h n iq u e s  c a n n o t  p re se rv e   th e   g lo b a l  sp a ti a l  c o n te x t  re q u ire d   fo r  a c c u ra te  a ffin e   re g istratio n   sin c e   th e y   re ly   o n   c o n v o lu ti o n   a n d   re g i o n a l  c l u ste rin g   o p e ra ti o n s .   To   so l v e   th e se   p r o b lem s,  we   p ro p o se   a   su p e rv ise d   a p p ro a c h   th a t  c o m b in e s  b o t h   CNN   a n d   t h e   v isi o n   tra n sfo rm e r  (Vi T)  to   p re d ict  a   d e n se   d isp lac e m e n t  field   (DD F ).   In   a   first  ste p ,   o u r  m e th o d   in v e stig a tes   t h e   p o we r  o f   ViT  t o   c a p tu re   g lo b a l  v o x e ls  d e p e n d e n c ies   f o r  i n it ial  r ig i d   a li g n m e n t .   T h e n   we   e x p l o it   th e   fo rc e   o f  CNN s  to   f o c u s  o n   l o c a l  d e tails   with i n   p re - a li g n e d   c o n c a ten a ted   in p u t  3 D   m o v i n g   a n d   f ix e d   ima g e s  a n d   e stim a te  DD F ,   w h ich   is  t h e n   a p p li e d   to   t h e   m o v in g   lab e ls.  O u r  m e th o d   h a s  b e e n   v a li d a ted   i n   a   p r o sta t e   m a g n e ti c   re so n a n c e   ima g in g /t ra n sre c tal  u lt ra so u n d   (M RI / TRUS )  d a tas e t  a n d   a c h iev e d   p ro m isin g   re su lt s c o m p a re d   t o   p r e v io u s w o rk   b a se d   o n   o n l y   CNN s .   K ey w o r d s :   3 D  m ed ical  im ag es   Af f in e  r eg is tr atio n   C o n v o lu tio n al  n eu r al  n etwo r k s   Den s e  d is p lace m en t f ield   Mu ltimo d al  r eg is tr atio n   Su p er v is ed   r eg is tr atio n   Vis io n   tr an s f o r m er   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Han ae   Ma h m o u d i   L I SAC   L ab o r ato r y ,   De p ar tm e n t o f   C o m p u ter   Scien ce ,   Facu l ty   o f   Scien ce s   Dh ar - Ma h r az ,   Sid i M o h am ed   B en   Ab d ellah   Un iv er s ity   Fez - 3 0 0 0 ,   Mo r o cc o   E m ail:  h an ae . m ah m o u d i@ u s m b a. ac . m a       1.   I NT RO D UCT I O N   I m ag e  r eg is tr atio n   aim s   to   ali g n   two   im ag es  o f   th e  s am e  s ce n e — n am ely   a  r ef e r en ce   im ag e  an d   a  m o v in g   im a g e  ac q u ir ed   at  d if f er en t  tim es,  f r o m   d is tin ct  v iewp o in ts ,   an d /o r   u s in g   d if f er en t  im ag in g   d e v ices.   I n   m ed ical  im ag in g ,   th e  o b je ctiv e  o f   r eg is tr atio n   is   to   esti m ate  an   ap p r o p r iate  s p atial  tr an s f o r m atio n   th at   ac h iev es  ac cu r ate  alig n m e n t  o f   th e  co r r esp o n d in g   an ato m ic al  s tr u ctu r es.  Me d ical  im ag e  r eg is tr atio n   ( MReg )   is   th er ef o r e   a   f u n d am en tal   c o m p o n en t  i n   m a n y   clin ical  an d   r esear ch   a p p licatio n s   [ 1 ] ,   in clu d in g   o r g an   s eg m en tatio n   [ 2 ] ,   atlas  co n s tr u ctio n ,   im a g e - g u id ed   in ter v en tio n s   f o r   d iag n o s is ,   m o n ito r i n g ,   an d   th er a p y ,   as  well  as tele - s u r g er y   an d   p o s t - o p er ativ e  ev alu atio n .   MReg   tech n iq u es  ca n   b e  cl ass if ied   ac co r d in g   to   s ev er al   cr iter ia.   W ith   r esp ec t  to   th e  im ag in g   m o d alities   in v o lv e d ,   s u c h   as  m ag n etic  r eso n an ce   im a g in g   ( MRI) ,   co m p u ted   to m o g r ap h y   ( C T ) ,   u ltra s o u n d   ( US) ,   an d   o t h er s ,   r eg is tr atio n   m eth o d s   ar e  co m m o n l y   d iv id ed   in to   u n im o d al  a p p r o ac h es,  wh er e  b o th   im ag es   ar e  ac q u ir ed   with   th e  s am e  m o d ality   ( e. g . ,   MRI – MRI,   C T – C T ,   US – US) ,   an d   m u ltimo d al  ap p r o ac h es,  wh er e   th e  im ag es  o r ig in ate  f r o m   d if f er en t  m o d alities   ( e. g . ,   MRI – C T ,   MRI – US) .   Fro m   a  d im e n s io n al  v iewp o i n t,  d ep en d i n g   o n   w h eth er   th e  d at a  ar e  p lan ar   o r   v o lu m et r ic,   r e g is tr atio n   p r o b lem s   ca n   b e  f o r m u lated   as  2 D – 2 D,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         P r o s ta te  ma g n etic  r eso n a n ce   ima g in g /tr a n s r ec ta l u ltr a s o u n d   r eg is tr a tio n   …   ( Ha n a e  Ma h mo u d i )   1189   2D – 3 D,   o r   3 D – 3 D  alig n m en t.  Acc o r d in g   to   th e  tr an s f o r m ati o n   m o d el,   th r ee   p r in cip al  ca te g o r ies ar e  g en er ally   co n s id er ed :  r ig i d ,   af f in e,   an d   d ef o r m a b le  r eg is tr atio n .   R ig id   r eg is tr atio n   is   p ar a m eter ize d   b y   s ix   d eg r ee s   o f   f r ee d o m   co r r esp o n d in g   to   t r an s latio n s   an d   r o tatio n s .   Af f in e  r e g is tr atio n   g en er aliz es  th is   m o d el   b y   ad d itio n ally   allo win g   s ca lin g   an d   s h ea r i n g ,   lead in g   to   twelv e  d eg r ee s   o f   f r ee d o m .   B y   co n t r ast,  d ef o r m ab le   o r   non - r i g id   r e g is tr atio n   esti m ates  s p atially   v ar y in g   tr an s f o r m atio n s   at  th e  v o x el  le v el  an d   t y p ically   r e p r esen ts   th e  d ef o r m atio n   u s in g   a  d e n s e  d is p lace m en t f ield   ( DDF)   to   c ap tu r e  co m p lex   n o n - lin ea r   an a to m ical  v ar iatio n s .   Mu ltimo d al  r eg is tr atio n   o f   3 D  m ed ical  im ag es  ( 3 D – MRe g )   is   a  s p ec if ic  ty p e  o f   r eg is tr atio n   th at  in v o lv es  th e  alig n m en t  o f   d ata  co n tain in g   th e  s am e  3 D  o b ject  b u t  ca p tu r ed   u s in g   d if f er en t  m o d alities .   Def o r m ab le  r e g is tr atio n   p lay s   an   ess en tial  r o le  in   m u ltimo d al  r eg is tr atio n   b y   o f f er i n g   a  m o r e  s o p h is ticated   an d   f lex ib le  ap p r o ac h   to   alig n   im ag es  f r o m   d if f er en t  m o d alities .   Def o r m ab le  r eg is tr atio n   m ak es  it  p o s s ib le  to   m o d el  lo ca l  an d   n o n - lin ea r   d ef o r m atio n s   b etwe en   im a g es,  o f f er in g   a  m o r e  ac c u r ate  co r r esp o n d e n ce .   T h is   ab ilit y   to   tak e  ac co u n t  o f   c o m p lex   an ato m ical  v ar iatio n s ,   lo ca l  d is to r tio n s ,   an d   d if f er en ce s   in   co n tr ast  b etwe en   m o d alities   m ak es  d ef o r m ab le  r e g is tr atio n   p ar tic u lar ly   well  s u ited   to   th e  ch allen g es  p o s ed   b y   m u ltimo d al  im a g es.  I n   th e   o t h er   h a n d ,   ap p ly in g   th e  a f f in e   tr an s f o r m atio n   is   n ec ess ar y   f o r   t h e  m u ltimo d al   r eg is tr atio n   p r o ce s s ,   p ar ticu lar ly   as  an   in itial  s tep   b ef o r e  d ef o r m ab le  r eg is tr atio n .   I t  en s u r e s   g lo b al  alig n m en t   an d   u n if o r m   in itializatio n   f o r   im ag es  f r o m   d if f er e n t  m o d a liti es.  T h e  af f in e  tr an s f o r m ati o n   cr ea tes  a  s o lid   f o u n d atio n   th at  ac cu r ately   h an d les  s p atial  d is p ar ities ,   ac c o u n tin g   f o r   v ar iatio n s   in   s ca le  an d   o r ien tatio n ,   ef f ec tiv ely   lim itin g   th e  s ea r ch   s p ac e  f o r   s u b s eq u en t  d ef o r m ab le  r e g is tr atio n .   B y   co m b in in g   a f f in e  a n d   d ef o r m a b le  r eg is tr atio n ,   th e  m u ltimo d al  r eg is tr atio n   p r o ce s s   b ec o m es  m o r e  r esil ien t  an d   ca p ab le  o f   p r o v id in g   an   ac cu r ate   o v er lay ,   tak in g   in to   ac c o u n t   g lo b al  an d   l o ca l  v ar iatio n s   b etwe en   i m a g es  f r o m   d if f er en t   m o d alities .   Ma n y   co n v en tio n al  alg o r ith m s   h av e  b ee n   d ev el o p ed   a n d   s tu d ied   f o r   3 D – MReg   [ 3 ] ,   [ 4 ]   b ased   o n   o p tim izin g   a  s im ilar ity   m etr ic,   s u ch   as  a  s u m   o f   s q u ar ed   d if f er en ce s   ( SS D)   o r   m u tu al  in f o r m atio n   ( MI )   [ 5 ] ,  b y   ch an g in g   th e  tr a n s f o r m atio n ' s   s ettin g s .   T h e  o p tim izatio n   p r o ce s s   f o r   tr ad itio n al  r eg is tr atio n   tech n iq u es  o f   3 D  m u ltimo d al  im ag es  f r eq u en tly   b eg in s   with   a  p r elim in ar y   esti m atio n   o f   th e  tr an s f o r m atio n   p ar am eter s ,   wh ich   ca n   lead   to   co n v er g en ce   to   in co r r ec t  r e g is tr atio n   r e s u lts .   I n   th e  s am e  way ,   th eir   p r o ce s s in g   is   tim e - co n s u m in g ,   p ar ticu lar ly   f o r   h i g h - r eso lu tio n   o r   la r g e  v o lu m e s   o f   im ag es.   Dee p   lear n in g - b ased   r eg is tr at io n   m eth o d s   h av e  r ec en tly   a d d r ess ed   th ese  lim itatio n s   an d   tr ied   to   s o lv e  th e  p r o b lem   o f   3 D – M R eg   [ 6 ] ,   [ 7 ]   u s in g   t h e  lear n i n g   ca p ab ilit ies  o f   n e u r al  n et wo r k s .   I n   f ac t,   d ee p   lear n in g - b ased   ap p r o ac h es  ca n   au to m atica lly   esti m ate  tr an s f o r m atio n   p ar am eter s   wh ile   lear n in g   co m p le x   co r r esp o n d en ce s   b etwe en   im a g es.  C o n v o l u tio n   n eu r al  n etw o r k s   ( C NNs)  b ased   ap p r o ac h es  ar e  o n e  o f   d ee p   lear n in g   tec h n iq u es  th at  ca n   e x tr ac t  s p atial  an d   in ten s ity   d at a  an d   p r ed ict  DDF  to   p er f o r m   3 D – MReg   [ 8 ] ,  [ 9 ] .  Alth o u g h   C NNs  ca n   d etec t  lo ca l  f ea tu r es  b ec au s e  o f   th eir   d ep en d e n ce   o n   r eg io n al  co n v o lu tio n   an d   p o o lin g   p r o ce d u r es,  th ey   o f ten   n ee d   t o   r etain   th e  g lo b al  s p atial  co n tex t  r eq u i r ed   f o r   ac cu r ate  3 D – MReg ,   esp ec ially   wh en   co m p le x   an d   ex ten s iv e  i n ter ac tio n s   ex is t b etwe en   s ev e r al  co m p o n en ts   o f   t h e  im ag e  v o lu m e.   T h an k s   to   th e   g r ea t   s u cc ess   o f   t r an s f o r m er   [ 1 0 ]   in   n at u r al  la n g u ag e   p r o ce s s in g   ( NL P),   a   b ig   f o c u s   is   g iv en   ac tu ally   to   s elf - atten ti o n   ( SA)   m ec h an is m - b ased   a r ch itectu r es  in   m an y   c o m p u t er   v is io n   task s   an d   m ed ical  im ag e  ap p licatio n s   [ 1 1 ]   to   im p r o v e  th e   n o n lo ca l   m o d elin g   ca p ab ilit y .   Sin ce   p r io r itizin g   g lo b al  p ictu r e  in f o r m atio n   is   n ec ess ar y   f o r   r eg is tr atio n   task s ,   v is io n   tr an s f o r m e r s   [ 1 2 ]   m a y   b e  e m p lo y ed   to   lea r n   th e   o v er all  im ag e   r ep r esen tatio n s   an d   g ath er   s em an tic  el em en ts   cr u cial  f o r   3 D - MR eg   u s in g   atten tio n     m ec h an is m s   [ 1 3 ] .   I n s p ir ed   b y   th e  wo r k   i n   [ 1 4 ] ,   wh ich   p r o p o s es  m o n o - m o d al   3 D  im ag e  r eg is tr atio n   b ased   o n   th e  v is io n   tr an s f o r m er   ( ViT ) ,   an d   th e  w o r k s   [ 8 ] ,  [ 9 ] ,   wh er e  t h e  au th o r s   d ev elo p   a  C NN - b ased   m u ltim o d al  3 D - MReg ,   we  p r o p o s e  a  n ew  ap p r o ac h   o f   s u p er v is ed   d ef o r m a b le  m u ltim o d al  im ag e  r eg is tr atio n   b ased   o n   th e  co m b i n atio n   o f   ViT   a n d   C NN  wh ich   we  n am e  3D -    ViT .   Ou r   m et h o d   lev er ag es  an ato m ical  lab els  t o   esti m ate  v o x el - wis e  tr an s f o r m atio n s .   T h e  p r o p o s ed   f r am ewo r k   is   ev alu ated   o n   3 D  tr an s r ec tal  u ltra s o u n d   ( T R US)   an d   T2 - weig h ted   MRI  d ata   f r o m   p r o s tate  ca n ce r   p atien ts   a n d   d em o n s tr ates  en co u r ag in g   p er f o r m an ce   f o r   th e   3 D   m ed ical  im ag e  r e g is tr atio n   task .   T h e  m ai n   co n t r ib u tio n s   o f   t h is   wo r k   ar e  s u m m a r ized :   a.   I n   a  f ir s t  s tep ,   we   ex p lo it  th e  p o wer   o f   ViT   to   p r o p o s e  a  ViT - b ased   n etwo r k   th at  we  n am e   3D -    ViT   to   ac h iev e   ac cu r ate  a f f in e   im ag e  r e g is tr atio n .   T h e   o u tp u t  o f   th is   s tag e  will  b e   f ed   to   a  s ec o n d   n etwo r k   to   p er f o r m   d e f o r m a b le  r eg is tr atio n .   b.   I n   th e   s ec o n d   s tep ,   we  h ar n e s s   th e  s tr en g th   o f   C NNs  to   f o cu s   o n   lo ca l  d etails.  T h e  l o ca l - n et  tak es  th e   r esu lt  o f   3D -    ViT   to   p r ed ict  th e  lo ca l  DDF.   I n   th e  f in al  s te p ,   we  co m b in e  th e  af f in e  m atr ix   an d   th e  lo ca l D DF to   p r ed ict  th e  f i n al  o u tp u t D DF w h ich   will b e  ap p lied   to   th e   m o v i n g   lab els.   c.   Valid atio n   o n   a   p u b lic  p r o s tate  ca n ce r   MRI/T R US  d ataset  d em o n s tr ates  a  m e d ian   tar g et  r eg is tr atio n   er r o r   o f   1 . 7   m m   at  lan d m ar k   ce n tr o i d s   an d   a  m e d ian   Dice   co ef f icien t o f   0 . 9 5   f o r   t h e  p r o s tate  g lan d .   T h e  r em ain d er   o f   th is   ar ticle  i s   o r g an ized   as  f o llo ws.  Sectio n   2   r e v iews  r elate d   wo r k   o n   m u ltimo d al  m ed ical  im ag e  r eg is tr atio n .   Se ctio n   3   in tr o d u ce s   3D -    ViT ,   t h e  p r o p o s ed   f r am ewo r k   f o r   m u ltimo d al  r eg is tr atio n   o f   v o l u m etr ic  m ed ical  im ag es  th at  in teg r ates  v is io n   tr an s f o r m er s   an d   co n v o lu tio n al  n eu r al   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 ,  J u n e   20 2 6 :   1 1 8 8 - 1 1 9 8   1190   n etwo r k s .   Sectio n   4   r ep o r ts   th e  ex p er im en tal  s etu p   an d   e v al u atio n   r esu lts   u s ed   to   ass ess   th e  ef f ec tiv en ess   o f   th e  p r o p o s ed   m eth o d .   Fin ally ,   s ec tio n   5   co n clu d es th e  p a p er .       2.   RE L AT E D  WO RK     Mu ltimo d al  r eg is tr atio n   p lay s   a  ce n tr al  r o le   in   n u m er o u s   m e d ical  im ag e  an aly s is   p ip elin es .   I n   r ec en t  y ea r s ,   d ee p   lear n in g – b ased   m u ltimo d al  im ag e   r eg is tr atio n   h as  attr ac ted   co n s id er a b le  atten tio n .   I n   [ 8 ] ,   th e   au th o r s   p r o p o s ed   a  C NN - b as ed   f r am ew o r k   to   esti m ate  d e n s e  v o x el  c o r r esp o n d en ce s   b y   ex p lo itin g   m u ltip le  id en tifia b le  an ato m ical  lab el  t y p es.  T h eir   m eth o d   in tr o d u ce d   a  d ed icate d   n etwo r k   d esig n   t o   ef f icien tly   p r ed ict   b o th   g lo b al  a n d   lo ca l   d ef o r m atio n s   ar is in g   in   p r o s tate  ca n c er   s u r g er y   th r o u g h   MRI/T R US  r eg is tr atio n .   I n   a   s u b s eq u en t  ex te n s io n   [ 9 ] ,   a  u n if ied   n etwo r k   was  p r o p o s ed   to   d ir ec tly   p r ed ict  DDF s   at  m u ltip le  s p atial   r eso lu tio n s .   W h en   ex p licit  s im ilar ity   m ea s u r es  ar e  u n av ailab le,   n eu r al  n etwo r k – d r iv en   ap p r o ac h es  h av e  b ee n   em p lo y ed   to   in f er   d e n s e  v o x e l  co r r esp o n d en ce s   f r o m   a   v ar i ety   o f   a n ato m ical  lab el  s h a p es,  th er eb y   ca p tu r in g   m ea n in g f u l  an at o m ical  f ea tu r es  [ 6 ] .   Hask in s   et  a l.   [ 1 5 ]   i n tr o d u ce d   a   d ee p   C NN  f r a m ewo r k   t o   lear n   a   s im ilar ity   m etr ic  f o r   MRI/T R US  r eg is tr atio n   an d   c o m b in e d   it  with   a  h y b r id   o p tim izatio n   s tr ateg y   to   o b tain   s u itab le  in itializatio n s   f o r   s ec o n d - o r d er   o p tim izatio n .   Simo n o v s k y   et  a l.   [ 1 6 ]   f o r m u lated   3 D  m ed ical  im ag e  r eg is tr atio n   as  a  cla s s if icatio n   p r o b lem   to   d is tin g u is h   b etwe en   well - alig n ed   a n d   m is alig n ed   im a g e  p a tch es  ac r o s s   d if f e r en t  m o d alit ies  u s in g   C NNs.  I n   [ 1 7 ] ,   th e  c o h er e n t  p o in t  d r if t  a lg o r ith m   was  a d o p ted   to   elastically   r eg is ter   s u r f ac es,  an d   th e   d ef o r m atio n   f ield   o b tain ed   f r o m   th in - p late  s p li n es  was  p r o p a g ated   t o   th e   e n tire   g lan d .   A  weig h ted   s elf - s im ilar ity   s tr u ctu r e  v ec to r   ( W SS V)   was  later   ap p lied   to   p er f o r m   m u ltimo d al  r eg is tr atio n   [ 1 8 ] ,   an d   th is   s tr at eg y   was  s h o wn   t o   im p r o v e  th e  in t r ao p er ati v e  lo ca lizatio n   o f   3 D  MRI  an d   2 D  u ltra s o u n d   lesi o n s   in   f u s io n - g u id e d   n av i g atio n   s y s tem s .   B len d o wsk i  et  a l.   [ 1 9 ]   p r o p o s ed   a  f r am ewo r k   th at  r el ies  s o lely   o n   in d ep en d en tly   o b tain ed   s eg m en tatio n   lab els  f r o m   ea c h   m o d ality   an d   e x p lo its   an ato m ical  s h ap e  p r io r s .   A  s h ap e - co n s tr ain ed   en co d er – d ec o d er   s eg m en tatio n   n etwo r k   was  f ir s t  tr ain ed   o n   lab ele d   C T   an d   MRI  d ata  with o u t   s k ip   co n n ec tio n s .   Su b s eq u en tly ,   a n   iter ativ e  e n er g y - m in im izatio n   s ch e m e,   d r iv en   b y   th e  n etwo r k ’ s   ab ilit y   to   g e n er ate   in ter m ed iate  n o n - lin ea r   s h ap e  r ep r esen tatio n s ,   was  in tr o d u ce d   to   en h a n ce   m u ltim o d al   alig n m en t  i n   th e   p r esen ce   o f   la r g e  d e f o r m atio n s .   Mo r e  r ec en tly ,   So n g   et  a l .  [ 2 0 ]   p r esen ted   a  c r o s s - m o d al  a tten tio n – b ased   ap p r o ac h   th at  co r r elate s   f ea tu r e  r ep r esen tatio n s   ex tr ac ted   f r o m   m u ltimo d al  im ag e  p air s   an d   lev er ag es  th e  r esu ltin g   co r r elatio n s   to   r ef in e  th e   r eg is tr atio n   p r o ce s s .   I n   [ 2 1 ] ,   a  B ay esian   f r am ew o r k   was  d ev elo p e d   t o   co n s tr u ct  m u lti - class   b r ain   atlases   an d   to   m o d el   lar g e   in ter - s u b ject  d e f o r m atio n s   b etwe en   m u ltimo d al   b r ain   im ag es  b y   ex p l o itin g   m o d ality - s p ec if ic  n e u r o a n ato m ical  in f o r m atio n .   Fin ally ,   a   d ee p   r ei n f o r ce m en t  lear n in g – b ased   m u ltimo d al   r eg is tr atio n   m eth o d   was  in tr o d u ce d   in   [ 2 2 ] ,   wh ich   aim s   to   r ed u ce   m o d ality   d is cr ep an ci es  b y   au to m atica lly   lear n in g   r o b u s t a n d   d is cr im in a tiv e  f ea tu r e  r e p r esen tatio n s .         3.   M E T H O D    I n   th is   s ec tio n ,   we  p r esen t  o u r   n ew  m eth o d   3D - MReg Def   ViT   to   p er f o r m   DDF  o f   m u lti - m o d al   m ed ical  im ag es.  Du e  to   th e  n o n - lin ea r   r elatio n s h ip s   b etw ee n   in p u t  im ag e  p air   esp ec ia lly   wh en   u tili zin g   im ag es  f r o m   d if f er en t  m o d alit ies,  th e   r eg is tr atio n   p r o ce d u r e   r em ain s   v er y   c h allen g in g .   T h e   u s e  o f   lab els  with   an ato m ical  d etails h elp s   m ak e  th e  p r o ce s s   s m o o th er .   Fig u r e  1   illu s tr ates  th e  o v er a ll  wo r k f lo w  o f   th e   p r o p o s ed   f r am ewo r k .   At  th e   b eg in n in g ,   tr ain in g   s am p les  ar e  r an d o m ly   g en e r at ed   b y   s elec tin g   eq u al  n u m b e r s   o f   i m ag e  p air s   to g eth e r   with   t h eir   co r r esp o n d in g   lab els.  T h ese  s am p les  ar e  t h e n   p r o ce s s ed   with in   a   m in i - b at ch   o p tim izatio n   s ch em e.   I n   th e  n ex t  s tag e,   a  ViT   r ec eiv es  th e  f ix ed   an d   m o v i n g   im ag e  p air   as  in p u t  an d   esti m ates  th e  af f in e  tr an s f o r m atio n   m atr ix ,   wh ich   is   s u b s eq u en tly   u s ed   to   war p   th e   m o v in g   im a g e  to war d   th e  f ix ed   o n e.   W e  r ef er   to   t h is   ViT - b ased   m o d u le  f o r   3 D   af f in e  r e g is tr atio n   as   3D - MR eg Def   ViT .   Su b s eq u e n tly ,   a   l o ca l - n et  tak es  as  in p u t  th e   c o n ca ten atio n   o f   th e  af f in ely   war p ed   m o v in g   im ag e  an d   th e   f ix ed   im ag e  t o   p r e d ict  a  lo ca l  n o n - r i g id   DDF,   wh ich   is   r eg u lar ize d   u s in g   a  weig h te d   b e n d in g   en e r g y   ter m   [ 2 3 ] .   T h e  a f f in e  tr a n s f o r m atio n   a n d   th e   p r e d icted   l o ca l  DDF  ar e  th en   co m b in ed   to   f o r m   th e  f i n al  d is p lace m en t  f ield ,   wh ich   is   ap p lied   to   war p   th e  m o v i n g   lab els  to   alig n   with   th e  f ix ed   lab els.  L ab el   co r r esp o n d en ce   is   ev alu ate d   u s in g   t h e  m u ltis ca le  Dice   m etr ic  [ 2 4 ] .   Du r in g   tr ain in g ,   s to ch asti c  g r ad ien t  d escen t  [ 2 5 ]   is   em p lo y ed ,   r ely in g   o n   an   u n b iased   g r ad ien t  esti m ato r   u n d er   th e   ass u m p tio n   th at  im ag es  an d   lab els  a r e  c o n d itio n ally   in d e p en d e n t,  wh ich   en ab les  e f f ec tiv e  m in im i za tio n   o f   th e   lo s s   f u n ctio n .   L et    an d     d en o te  t h e  f ix ed   a n d   m o v in g   tr ain in g   im ag es,  an d     an d     th eir   c o r r esp o n d in g   lab els.  T h e  f o llo win g   s u b s ec tio n s   d escr ib e  ea ch   c o m p o n en t  o f   th e  p r o p o s ed   ar ch itectu r e   in   d etail.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         P r o s ta te  ma g n etic  r eso n a n ce   ima g in g /tr a n s r ec ta l u ltr a s o u n d   r eg is tr a tio n   …   ( Ha n a e  Ma h mo u d i )   1191       Fig u r e  1 .   Ov e r v iew  o f   th e  p r o p o s ed   ap p r o ac h   3 −           3 . 1 .      −     W e  aim   to   o b tain   th e  o p tim a l  af f in e  m atr ix   to   alig n     an d     b y   th e  tr an s f o r m er   en co d er   [ 1 2 ]   as   illu s tr ated   in   Fig u r e   2 .   Af ter   r esizin g   th e  im ag es  to   th e  s am e   s ize,   th e  co n ca ten atio n   o f     an d     d en o ted   b y     is   d iv id ed   in to     v ec to r ized   3 D   p atch es    ∈   ℝ × 3   wh er e  = × × 3   ,   an d   ( , , )   in d icate   th e  d im en s io n   o f   .   T h en ,   ea c h   p atch   is   m ap p e d   to   a    v ec to r   b y   ap p ly in g   a   lear n ab le  lin ea r   e m b ed d in g    =  E:      =  [   1     ;   2     ; … … ;     ]   , E  ∈   ℝ 3 ×   ( 1 )     Fo llo win g   th at,   we  ad d ed   a  lea r n ab le  p o s itio n al  em b ed d in g      to      :       =   +    ,     ∈   ℝ ×     ( 2 )     T h e  g e n er ated   p atch es,   ca lled   to k en s ,   ar e   th en   s en t  to   th e   tr an s f o r m er   en co d er ,   wh ich   u s e s   th em   to   ca lcu late  s elf - atten tio n   ( SA) .   T h e   SA  r e co r d s   th e   d e p en d e n cies  b etwe en   in p u t  s eq u e n ce   t o k en s   .   T h e     ar e  tr a n s lated   lin ea r ly   in to   th e  q u e r y   ( ) ,   k ey   ( ) ,   an d   v al u e  ( )   m atr ices b y   m u ltip ly in g   th em   with   lear n e d   weig h t m atr ices   W :     { Q   =     k   =     V   =       ( 3 )     T h e  atten tio n   weig h ts   ar e  t h en   o b tain ed   b y   ca lcu latin g   th e  at ten tio n   s co r es a n d   u s in g   th e  S o f tMa x   f u n ctio n :       =  s o ftma x   (    √ )         A  ∈   ℝ ×   ( 4 )     T h e  s ca led   d o t - p r o d u ct  atten ti o n   is   co n s tr u cted   as   ( 5 ) :     SA ( )   =      ( 5 )     T h en ,   SA   is   ca lcu lated   s ev er al  tim es  in   p ar allel  with   d if f er e n t  lear n ed   weig h t  m atr ices,  cr ea tin g   m u lti - h ea d e d   atten tio n .   T h er ef o r e,   th e  m o d el  ca n   f o cu s   o n   v ar io u s   p iece s   o f   in p u t  d ata  an d   ca p tu r e  m u ltip le  in ter ac tio n s .   Fo llo win g ,   th e  r esu lts   ar e  tr a n s m itted   to   a  f ee d - f o r war d   n eu r al  n etwo r k .   At  th e   en d   o f   ea ch   SA  an d   f ee d - f o r war d ,   lay er   n o r m aliza tio n   an d   r esid u al   co n n ec tio n s   ar e   ap p lied .   T h e  p r o d u ce d   o u tp u t   o f   th e   tr an s f o r m er   en co d er   is   g iv e n   as   in p u t   to   th e  class if icatio n   h ea d   th at  im p lem en ts   th e   m u lti - lay er   p er ce p tr o n   with   t h e   ac tiv atio n   f u n ctio n   Gau s s ian   e r r o r   lin ea r   u n it  ( GE L U) .   Fin al ly ,   th e  r esu ltin g   is   a   s et  o f   1 2 - d eg r ee - of - f r ee d o m   af f in e  m atr ix .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 ,  J u n e   20 2 6 :   1 1 8 8 - 1 1 9 8   1192       Fig u r e   2 .  VI T   ar ch itectu r e  a p p lied   to   3 D  m ed ical   im a g es u s ed   in   o u r   ap p r o ac h       3 . 2 .     L o ca l - n et   f o r  def o r m a ble r e g is t ra t io n in    −      T h e  p r ed icted   a f f in e  tr a n s f o r m atio n   m atr ix   r esu ltin g   b y   3D − M R e g Aff   ViT   is   u s ed   to   d ef o r m   th e  .   T h e  war p ed   m o v in g   im a g e  is   r ep r esen ted   b y   ̂ .   Af ter   b ein g   co n ca ten ated ,     an d   ̂   ar e  f ed   in to   th e  lo ca l   n etwo r k   to   p r e d ict  th e  lo ca l  DDF.   T h e  lo ca l - n et  [ 8 ]   co m p r is es  f o u r   s u b s am p lin g   b l o ck s   an d   f o u r   u p - s am p lin g   b lo ck s ,   in co r p o r atin g   s h o r ten e d   co n n ec tio n s   at  d if f er en t  lev els  o f   r eso lu tio n .   B y   b eg in n in g   with   an   in itial  3 2   ch an n els,  th e  n etwo r k   s tr ateg ically   d o u b les  an d   h alv es  th e  n u m b er   o f   th e  ch an n els  d u r in g   s u b s am p lin g   an d   Up - s am p lin g ,   r esp ec tiv ely .   E ac h   b lo ck   u s es  r esid u al  n etw o r k   u n its   ( R esNet)   wi th   s h o r ten ed   co n n ec tio n s ,   im p r o v in g   th e  n etwo r k ' s   tr ain in g   ca p ab ilit ies.  Su b s am p lin g   is   p er f o r m ed   th r o u g h   co n v o l u tio n al  lay er s   with   s tep s   o f   two   wh ile   u p - s am p lin g   u s es  tr an s p o s ed   co n v o lu t io n al  lay er s .   T h e  o u tp u t  lay er   o f   th e  n etwo r k   in itializes  with   an   ad d itio n al  c o n v o lu ti o n   o p er atio n   a n d   a   b i as  ter m ,   d elib e r ately   lac k in g   b atch   n o r m aliza tio n   o r   n o n - lin ea r   ac tiv atio n   to   all o w  r an d o m   in itializatio n   with   ze r o   m ea n   an d   m in im al   v ar i atio n .   At  last ,   lo ca l   DDF  is   co m p u ted .   T h e  f in a l  o u tp u t  DDF  r esu lts   f r o m   co m b in in g   th e  af f in e  tr an s f o r m atio n ,   p r o d u ce d   by   3D − M R e g Aff   ViT ,   an d   th e   lo ca l  DDF,   g e n e r ated   b y   lo ca l - n et .   Usi n g   th is   co m b in e d   DDF,   th e   m o v i n g   lab el    is   d ef o r m ed   in to   t h e  f ix ed   lab el     o n e   b y   a  tr ilin ea r   im ag e  r esam p ler .   T o   av o id   o v e r - f itti n g   is s u es,  b in ar y   m ask s   o f   la b elled   im ag es  h av e  b ee n   p r ep r o ce s s ed   u s in g   a  o n e - s id ed   s m o o th i n g   m e ch an is m   f o llo win g   th e  s am e  s tr ateg y   i n   [ 8 ] .   Fo r   t h e  in f er e n ce   p ar t,  o n ly   t h e  u n l ab eled   im ag e   p air s   ar e   u s ed   a s   in p u t  d ata   f o r   th e   m o d el.     3 . 3 .     M ulti - s ca le  dice   T h e  s o f t   p r o b ab ilis tic  Dice   m etr ic  p r o p o s ed   b y   Milletar i  et  a l.   [ 2 4 ]   f o r m s   th e   f o u n d atio n   o f   th e   m u lti - s ca le  Dice   m ea s u r e.   I t is d ef in ed   a:        (   ,   )   =  2   ∑           − 1 ∑     +     ∑       − 1 − 1   ( 6 )     w h er e    = { }   ,    = {   }   d e n o te   th e  f ix ed   an d   m o v in g   lab el   m ap s ,   r esp ec t iv ely ,   with   {   ,   }   ∈ [ 0 , 1 ]   an d   = 1   , … … ,   ,   o v er   I   v o x els in   th e  im a g e.   T h e  m u lti - s ca le  Dice   m etr ic  is   th en   d ef in e d   as:      =   1 ∑  ( ( ) , ( ) )   ( 7 )     w h er e    = { ( )   }   ,    = { ( )   }   ar e  a  p air   o f   b in ar y   l ab el  m ap s .   T h e  o p er ato r     d en o tes  a  3 D  G au s s ian   s m o o th in g   f ilter   with   is o tr o p i c  s tan d ar d   d ev iatio n   σ .   I n   th i s   wo r k ,   σ   ∈   {0 ,   1 ,   2 ,   4 ,   8 ,   1 6 }  co r r esp o n d in g   to     = 6   d if f er en t  s ca les.   T h e  ad o p tio n   o f   th e  m u lti - s ca le  Dice   m etr ic  en h an ce s   s en s itiv it y   to   s p atial   r elatio n s h ip s   b etwe en   an ato m ical  lab els,  in   co n tr ast  to   co n v en tio n al  m ea s u r es  s u ch   as  Dice ,   J ac ca r d ,   an d   cr o s s - en tr o p y ,   wh ich   d o   n o t e x p licitly   ac co u n t  f o r   s p atial  in f o r m atio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         P r o s ta te  ma g n etic  r eso n a n ce   ima g in g /tr a n s r ec ta l u ltr a s o u n d   r eg is tr a tio n   …   ( Ha n a e  Ma h mo u d i )   1193   4.   E XP E R I M E N T S   4 . 1 .     Da t a s et s   a nd   co nfig ura t io n   W e  ass es s ed   th e  p r o p o s ed   m eth o d   u s in g   p r o s tate  MRI/T R US  d ata  f r o m   th e   s m ar t  tar g e t ®   clin ical   tr ials   [ 2 6 ] .   T h e   d ataset  in cl u d es  1 0 8   m atch e d   p air s   o f   T 2 - weig h ted   MRI  a n d   T R US  v o l u m es  ac q u i r ed   f r o m   7 6   p atien ts .   B ec au s e  p atien ts   u n d er wen t  d if f er e n t  clin ical  in ter v en tio n s ,   ea c h   s u b ject  co u ld   h av e  u p   to   th r ee   s ep ar ate  im ag in g   s ess io n s ,   in clu d in g   b io p s y   p r o ce d u r es,  th er ap eu tic  in ter v en tio n s ,   o r   r e p ea ted   ec h o g r ap h y   ac q u is itio n s   [ 2 7 ] .   B o th   MRI  an d   T R US  v o lu m es  wer e  r esam p led   to   an   is o t r o p ic  s p atial  r eso lu tio n   o f   1 . 0    3 an d   s u b s eq u en tly   s tan d ar d ized   to   ze r o   m ea n   an d   u n it  v ar ian c e.   W ith   r esp ec t  to   th e  an ato m ical  an n o tatio n s ,   p r o s tate  s eg m en tatio n s   wer e  f ir s t  m an u ally   d elin ea ted   b y   a  m ed ical  s tu d en t  in   th r ee   o r th o g o n al  v iews  ax ial,   s ag ittal,  an d   co r o n al  an d   th en   r ev iewe d   an d   co r r ec ted   b y   a n   ex p e r ien ce d   u r o lo g is t.  Fo r   t h e  T R US  m o d ality ,   g lan d   c o n to u r s   wer e   m an u ally   r ef i n ed   b ased   o n   au to m ati ca lly   esti m ated   p r o s tate  p r o f i les  o n   th e  o r ig in al   u ltra s o u n d   s lices  [ 2 8 ] .   Pro s tat e  s eg m en tatio n s   o n   MRI  wer e  p r o v id ed   d ir ec tl y   as  p ar t  o f   th e  clin ical   s tu d y   p r o to co ls   [ 2 6 ] .   T h e  an ato m ical  lab els  wer e  en co d ed   as  b i n ar y   m ask s   an d   s m o o th ed   u s in g   a  n o r m alize d   in v er s e  d is tan ce   tr an s f o r m   af ter   r esam p lin g   to   m atch   th e   s p atial  d im en s io n s   o f   th e  c o r r esp o n d in g   MRI  o r   T R US  v o lu m es.  T h e  p r o p o s e d   f r am ewo r k   was  im p lem en ted   in   Py th o n   with   th e  T en s o r Flo w  lib r ar y   an d   tr ain ed   o n   a  wo r k s tatio n   eq u i p p ed   with   a  2 4   GB   NVI DI A  Qu ad r o   P6 0 0 0   GPU.   Op tim iz atio n   was  ca r r ied   o u t  u s in g   th e  Ad am   alg o r ith m   with   a  m in i - b atch   s ize  o f   2 ,   a  le ar n in g   r ate  o f   10 − 5 ,   an d   a  to tal  o f   1 0 0 0   tr ain in g   iter atio n s .     4 . 2 .     E v a lua t i o n  m et rics   I n   th is   wo r k ,   a  1 0 - f o ld   c r o s s - v alid atio n   s tr ateg y   was  co n d u ct ed   at  th e  p atien t  lev el.   I n   ea c h   f o ld ,   d ata  f r o m   7   to   8   p atien ts   wer e  h el d   o u t   f o r   test in g ,   wh ile  t h e  r e m ain in g   p atien t  s ca n s   wer e  u s ed   f o r   tr ain in g .   T h e   p er f o r m an ce   o f   th e   p r o p o s ed   m eth o d   was  e v alu ated   u s in g   two   q u a n titativ e  m ea s u r es:   th e  d ice  s im ilar ity   co ef f icien t   ( DSC )   an d   th e   tar g et  r eg is tr atio n   er r o r   ( T R E ) .   D SC   is   d eter m in ed   b etwe en   th e   b in ar y   war p ed   an d   f ix ed   lab els r ep r esen tin g   th e  p r o s tate  g lan d s :        (   ,   )   =  2   |   ∩   | |     |   + | |     ( 8 )     w h er e    is   f ix ed   lab el  an d     is   th e  war p ed   m o v in g   lab el.   T R E   is   co m p u te d   as  th e  r o o t  m ea n   s q u ar e  o f   th e   s p atial  d is tan ce   b etwe en   th e  c en ter s   o f   m ass   o f   th e  wa r p ed   l ab els an d   th o s e  o f   th e  co r r esp o n d in g   f ix ed   lab els.        (   ,   )   = √ 1   ∑ ‖  −    ‖ 2 = 1     ( 9 )     w h er e       th e  co o r d in ates  o f   a   p o in t  in   f ix ed   lab el ,     is   th e  co o r d in ates  o f   a  p o in t  i n   th e   war p ed   m o v in g   lab el  an d     is   th e  to tal  n u m b e r   o f   co r r esp o n d i n g   p o in ts   o r   lan d m ar k s .     4 . 3 .     Resul t s   a nd   d is cu s s io n   Fig u r e  3   illu s tr ates  th e  r eg is tr atio n   r esu lts   p r o d u ce d   b y   3D − M R e g af f   ViT   an d   3D − M R e g d ef   ViT   u s in g   im ag e  s lices f r o m   two   r ep r esen tativ e  test   ca s es ( C ases   1   an d   2 ) .   R o ws a – d   co r r esp o n d   to   s lices f r o m   th e  o r ig in al  MRI  im ag es,  th e  f ix e d   T R US  im ag es,  th e  MRI  im ag es  war p ed   b y   3D − M R e g d ef   ViT   an d   th e  MRI  im ag es wa r p ed   b y   3D − M R e g d ef   ViT ,   r esp ec tiv ely .   I n   o u r   s tu d y ,   we  s tar ted   th e  tr ain in g   with   3D − M R e g af f   ViT   to   p r ed ict  th e  af f in e  tr an s f o r m atio n .   T h en ,   we   u s ed   3D − M R e g D ef   ViT   to   p r ed ict  t h e   DDF.   W e  co m p ar e d   o u r   a p p r o ac h   i n clu d in g   b o th   o f   3D − M R e g af f   ViT   an d   3D − M R e g d ef   ViT   with   C NN - b ased   m eth o d s   p r o p o s ed   in   [ 8 ] ,  [ 9 ]   u s in g   th e  Dice   s co r es  an d   th e  T R E   m ea s u r e  as  ev alu atio n   m etr ics.  I n   th e  o r ig in al  wo r k   o f   Hu   et  a l .   [ 8 ] ,   th e y   u s ed   t h e  g lo b al - n et,   lo c al - n et  an d   co m p o s ite - n et  m eth o d s .   T h e  g lo b al - n et  m eth o d   p r ed icts   an   af f in e  tr an s f o r m atio n   an d   th e  lo ca l - n et   m eth o d   esti m ates  a  n o n - r ig id   lo ca l  DDF,   wh ile  th e   C o m p o s ite - n et  m eth o d   is   co m p o s ed   o f   th e  Glo b al - n et   f o llo wed   b y   t h e  l o ca l - n et.   L a ter ,   in   th eir   e x ten d e d   s tu d y   [ 9 ] ,   th e y   i n teg r ated   th ese  n et wo r k s   in to   a  s in g l e   f r am ewo r k   th at  p r ed icts   th e  D DF  as  f in al  o u tp u t.  All  th ese  m eth o d s   ar e   test ed   in   th e   s am e  co n d itio n s   as  o u r   ap p r o ac h ,   u s in g   th e  s am e   d ata s et  an d   th e  s am e  n u m b er s   o f   i m ag e  p air s .   M o r eo v er ,   we   em p lo y ed   an   a d ap tiv e  g r ad ien t d escen t  o p tim izatio n   p r o ce s s   an d   s im ilar   ex ec u tio n   en v ir o n m en t a s   in   [ 9 ] .   T ab le  1   an d   Fig u r e  4   s u m m ar ize  th e  q u an titativ e  r esu lts   in   t er m   o f   d ice  m etr ic  an d   T ab le  2   p r esen ts   th e  T R E   m ea s u r es  f o r   all  th e   co m p ar e d   m eth o d s .   Ou r   p r o p o s ed   n etwo r k   f o r   3D − M R e g af f ViT   ,   y ield ed   a   m ed ian   DSC   o f   0 . 9 0 ,   with   5 t h   an d   9 5 th   p er ce n tiles   o f   0 . 8 0   an d   0 . 9 4 ,   r esp ec tiv ely .   I n   p ar allel,   th e  m ed ia n   T R E   f o r   lan d m ar k   ce n tr o id s   o b tain ed   f r o m   t h e  s am e  n etwo r k s   m ea s u r ed   6 . 0 ,   with   5 th   an d   9 5 th   p er ce n tiles   o f   2 . 9   an d   1 0 . 9 ,   r esp ec tiv el y .   Mo r eo v er ,   3D − M R e g d ef   ViT   g av e  a  m ed ian   DSC   o f   0 . 9 5 ,   with   5 th   an d   9 5 th   p er ce n tiles   o f   0 . 8 3   a n d   0 . 9 7 ,   r esp ec tiv ely .   Simu ltan eo u s ly ,   th e  m ed ian   T R E   f o r   lan d m ar k   ce n tr o id s   o b tain ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 ,  J u n e   20 2 6 :   1 1 8 8 - 1 1 9 8   1194   f r o m   th e  s am e   n etwo r k s   m ea s u r ed   1 . 7 ,   with   5 th   a n d   9 5 th   p e r ce n tiles   o f   0 . 5   an d   6 . 6 ,   r esp e ctiv ely .   W e  d ed u ce   th at  o u r   a p p r o ac h   ac h iev es  th e  h ig h est  d ice  s co r e   an d   lo w er   T R E   co m p ar ed   to   th e  o th e r   ap p r o ac h es  ( with     p - v alu e  <  0 . 0 0 1 ) .   B y   t h e  f o llo win g ,   we  will d is cu s s   th ese  r esu lts   in   d etails.   Firstl y ,   we  ex p lo r e  t h e  p o wer   o f   t h e  ViT   in teg r atio n   in   th e  a f f in e  r eg is tr atio n   s tep .   W e   co m p ar e   3D − M R e g af f   ViT   ( th e  f ir s t  s tep   o f   o u r   n etwo r k )   with   Glo b al - Net,   w h ich   is   th e  clo s est  m eth o d   to   o u r   wo r k   s in ce   b o th   o f   t h em   tack le  th e  af f in e  tr an s f o r m atio n   task .   As  r ep o r ted   in   T ab l e  1 ,   o u r   ap p r o ac h   p r o d u ce s   9 0 %  in   ter m   o f   D SC   v alu e  o u tp er f o r m in g   Glo b al - Net  b y   1 3 %.  I n   a d d itio n ,   3D − M R e g af f   ViT   o u tp er f o r m s   lo ca l - n et,   C o m p o s ite - Net  an d   th o s e  g en er ated   b y   Hu   et  a l.   [ 9 ]   with   8 %,  6 % a n d   2 % r esp ec tiv ely ,   ev en   th ese  n etwo r k s   h av e   b ee n   p r o p o s ed   to   h an d le   d ef o r m ab le  r eg is tr atio n .   T h is   p er f o r m an ce   o f     3D − M R e g af f   ViT   is   d u e  to   ViT ' s   k n o wn   a b ilit y   to   m o d el  l o n g - ter m   d ata  d ep en d en cies  u s in g   S A   m ec h an is m s   [ 1 0 ] ,  [ 1 1 ] ,   esp ec ially   in   af f in e  r eg is tr atio n ,   wh ich   in v o lv es  th e  co r r ec tio n   o f   lar g e - s ca le  s p atial  tr an s f o r m atio n s   s u c h   as  tr a n s latio n s ,   r o tatio n s   a n d   s ca lin g .   On   th e  o th er   h an d ,   C NNs  h av e  b ee n   v er y   ef f ec tiv e   in   r eg is ter in g   d ef o r m ab le  m ed ical  im ag es  [ 2 7 ] ,   b u t  ar e  less   s u ited   in   m o d elin g   a n d   lear n in g   a f f in e   r eg is tr atio n .   W h en   it  co m es  to   m u ltimo d al  r e g is tr atio n   o f   m ed ical  im a g es,  wh ich   r eq u ir es  d etailed   lo ca l  atten tio n   as  well  as  g lo b al  u n d er s tan d in g ,   af f in e   r eg is tr atio n   p r o v es  in s u f f icien t.   T h is   is   wh y ,   in   o u r   s tu d y ,     we  o p ted   f o r   th e  ap p licatio n   o f   af f in e  tr an s f o r m atio n   as  an   in itial  s tep   u s in g   ViT   ( 3D − M R e g af f   ViT ) ,   f o llo wed   b y   a   C NN  n etwo r k   to   ac h iev e  d ef o r m ab le  r e g is tr atio n .   T h is   co m b i n atio n   r ep r esen ted   b y   o u r     3D − M R e g d ef   ViT   led   to   s ig n if ican tly   b etter   r esu lts   th an   th e  ex clu s iv e  u s e  o f   C NN  o r   ViT   alo n e.     As  d ep icted   in   T ab le  1   an d   T ab le  2 ,   th e  Dice   an d   T R E   s co r es  o f   3D − M R e g d ef   ViT ,   r ea ch ed   9 5 %  an d   1 7 . 8 %  r esp ec tiv ely .   T h is   r ep r esen ts   a  5 %   im p r o v em en t  o f   th e  r esu lts   o b tain ed   b y   lo ca l - n et,   a  7 %  im p r o v em e n t  o f   th o s e  p r o d u c ed   b y   Hu   et  a l.   [ 9 ] ,   in   ter m s   o f   Dice   v alu e.   C o n ce r n in g   th e  T R E   s co r e,   a   5 %   im p r o v em e n t  o n   th e  r esu lts   o b tain ed   b y   lo ca l - n et,   an d   a  7 %  im p r o v em e n t  o n   th o s e  g en er at ed   b y   Hu   et  a l.   [ 9 ]   h av e  b ee n   r ea ch e d .   T h e  er r o r   p r o d u ce d   is   th e   lo west,  wh ich   in d icate s   th at  o u r   m eth o d   i s   m o r e  ef f ec tiv e   at   m in im izin g   r e g is tr atio n   er r o r s   th an   o th e r   ap p r o ac h es.  A  m in im al  T R E   in d icate s   a  b e tter   s p atial  m atch   b etwe en   th e  war p e d   im ag e   an d   th e  r ef e r en ce   im a g e,   u n d er li n in g   th e  s u p er io r   p er f o r m a n c e  o f   o u r   m et h o d   i n   ter m s   o f   r e g is tr atio n   ac cu r ac y   co m p a r ed   t o   o th e r   ap p r o ac h es.  T h e  o b tain ed   r esu lts   o f   3D − M R e g d ef   ViT   im p r o v e   s ig n if ican tly   th e   DDF  co m p ar e d   t o   d ef o r m ab le  C NN - b ased   m eth o d s .   T h is   f ac t  ca n   b e   ex p lain ed   b y   th e  f o cu s   o f   C NN  ar ch itectu r es o n   lo ca l in f o r m atio n s   an d   n e g lect  g lo b al  im ag e  co n tex t.  I n   co n tr ast,  th e  u s e  o f   ViT   in   o u r   m o d el   in   t h e  p r e p r o ce s s in g   s tep   s o lv es   th e  li m itatio n s   o f   c o n v o lu tio n al   o p er atio n s   an d   led   to   ca p tu r e  g lo b al  an ato m ical  s tr u ctu r es  d ep en d e n cies  to   b e  p r o ce s s ed   in   th e  s ec o n d   n etwo r k   an d   g en e r ate  ac cu r ate  DDF.   W e  n o tice   th a t  it  is   d if f icu lt   to   c o n d u ct  s af e  co m p a r is o n   with   o th er   wo r k s   p r o p o s ed   i n   th e   liter atu r e  o f   3 D - MReg   b ec au s e  o f   th e  lack   o f   av ailab le  b en c h m ar k s   an d   m o s t  o f   p u b lis h ed   p ap er s   in   th e  f ield   d ea l w ith   s p ec if ic  m ed ical  ap p licatio n s   an d   p r iv ate  d atasets .           Fig u r e   3 .  E x am p le  o f   im ag e  s l ices f r o m   two   test   ca s es,  1   an d   2 .   R o ws a,   b ,   c ,   a n d   d   s h o w  th e  s lices e x tr ac ted   f r o m   th e   o r ig in al  MRI  im a g es,  th e  co r r esp o n d in g   f ix e d   T R US im ag es,  th e  s lices g en er ated   b y   3 −       f r o m   t h e  war p ed   m o v i n g   MRI  im ag es,  an d   th e  s lices g en er a ted   b y   3 −          f r o m   th e   war p ed   m o v in g   MRI  im ag es,  r esp ec tiv ely       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         P r o s ta te  ma g n etic  r eso n a n ce   ima g in g /tr a n s r ec ta l u ltr a s o u n d   r eg is tr a tio n   …   ( Ha n a e  Ma h mo u d i )   1195   T ab le  1 .  T h e  r esu lts   o f   th e  c u r r en t stu d y   in   ter m s   o f   DSC   an d   th eir   co m p ar is o n   with   a n o th er   r ec en t r esear ch     D S C   M e d i a n   P e r c e n t i l e s   [ 5 t h ,   9 5 t h ]   G l o b a l - n e t   [ 8 ]   0 . 7 7   [ 0 . 4 6 ,   0 . 8 7 ]   L o c a l - n e t   [ 8 ]   0 . 8 2   [ 0 . 4 6 ,   0 . 9 1 ]   C o m p o si t e - n et   [ 8 ]   H u   e t   a l .   [ 9 ]   0 . 8 4   0 . 8 8   [ 0 . 8 0 ,   0 . 9 4 ]   [ 0 . 7 7 ,   0 . 9 1 ]    −      −     0 . 9 0   0 . 9 5   [ 0 . 8 0 ,   0 . 9 4 ]   [ 0 . 8 3 ,   0 . 9 7 ]               Fig u r e  4 .   T u k ey   b o x p lo ts   d is p lay in g   th e  cr o s s - v alid atio n   r es u lts   f o r   th e  d i f f er en t  m eth o d s     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   3 ,  J u n e   20 2 6 :   1 1 8 8 - 1 1 9 8   1196   T ab le  2 .  T h e  r esu lts   o f   th e  c u r r en t stu d y   in   ter m   o f   T R E   an d   th eir   co m p a r is o n   with   o th e r   r e ce n t r esear ch     TR E   M e d i a n   P e r c e n t i l e s   [ 5 t h ,   9 5 t h ]   G l o b a l - n e t   [ 8 ]   5 . 8   [ 2 . 3 ,   1 2 . 0 ]   L o c a l - n e t   [ 8 ]   4 . 5   [ 1 . 9 ,   1 1 . 3 ]   C o m p o si t e - n e t   [ 8 ]   H u   e t   a l .   [ 9 ]   4 . 7   3 . 6   [ 2 . 3 ,   1 2 . 0 ]   [ 1 . 6 ,   1 0 . 0 ]    −      −     6 . 0   1 . 7   [ 2 . 9 ,   1 0 . 9 ]   [ 0 . 5 ,   6 . 6 ]       5.   CO NCLU SI O N   T h is   p ap er   p r esen ts   d ef o r m ab le  m u ltimo d al   r eg is tr atio n   o f   m ed ical  im ag es  b ased   o n   ViT   an d   C NN   ( 3D − M R e g d ef   ViT ) .   I t  u s es  3 D  m ed ical  im a g es  in clu d in g   MRI  an d   T R US,  co n s id er ed   r esp ec tiv ely   as   m o v in g   a n d   r ef e r en ce   im ag es,   an d   th eir   lab els.  I n   th is   p r o ce s s ,   im ag es a n d   lab els ar e  p r ep r o ce s s ed   b ef o r e  u s e:   MRI  an d   T R US  im ag es  ar e   r e s ized   an d   n o r m alize d ,   th e n   th eir   lab els  ar e  r e - d im e n s io n ed   to   th e  s am e   s ize  as  im ag es  an d   s m o o th ed   u s in g   in v er s e  d is tan ce   tr a n s f o r m .   T h e  wh o le  ar c h itectu r e  ta k es  th e  co n ca ten atio n   o f   MRI  an d   T R US  im ag es  as  in p u t  to   th e  ViT   ar ch itectu r e  to   p r ed ict  th e  af f in e  tr an s f o r m ati o n   m atr ix   th at  will  b e  ap p lied   to   th e   m o v in g   im a g e.   T h e n ,   th e   r esu ltin g   im a g e  will  b e  co n ca ten ated   with   th e  f ix ed   im ag e   an d   f ed   to   th e  lo ca l  n etwo r k   to   p r ed ict   th e  lo ca l  DDF.   T h e  f in al  s tep   co n s is ts   o f   co m b in in g   th e  tr a n s f o r m atio n   m atr ix   with   th e  lo ca l  DDF  to   p r ed ict  th e  o u tp u t  o f   th e  DDF,   wh ich   is   th en   ap p lied   to   th e  m o v i n g   lab els.  T h e  r esu lts   ar e  ev alu ated   u s in g   th e  d ice  m etr ic  ca lcu lated   b etwe en   th e  m o v in g   d e f o r m e d   an d   f ix ed   tar g ets.  Ou r   p r o p o s ed   f r am ewo r k   ac h ie v ed   p r o m is in g   r esu lts   co m p ar ed   to   p r e v io u s   wo r k s   u s in g   p u r e  C NN  ar c h itectu r es.  As  f u tu r e   wo r k ,   we  will e x p lo r e  o th e r   v a r ian ts   o f   ViT s   an d   test   o th er   d atasets   in   th e  f ield .         ACK NO WL E DG E M E NT S    T h e  au th o r s   s in ce r ely   th an k   th e  an o n y m o u s   r ev iewe r s   f o r   th eir   co n s tr u ctiv e  co m m en ts   an d   in s ig h tf u l   s u g g esti o n s ,   wh ich   s ig n if ican t ly   im p r o v ed   th is   m an u s cr ip t.       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   Data   av ailab ilit y   is   n o t  ap p li ca b le  to   th is   p ap er   as  n o   n e w  d ata  wer e  cr ea ted   o r   an aly ze d   in   th is   s tu d y .       RE F E R E NC E S   [ 1 ]   Q .   Zh e n g ,   C .   L i u ,   a n d   J .   C h a n g ,   “ N o n - r i g i d   r e g i st r a t i o n   o f   me d i c a l   i m a g e s  b a s e d   o n   S 2   1 ( ∆ mn ( 2 ) )   n o n - t e n so r   p r o d u c t   B - sp l i n e , ”   Vi su a l   C o m p u t i n g   f o r I n d u s t ry ,   B i o m e d i c i n e ,   a n d   Ar t ,   v o l .   5 ,   n o .   1 ,   p .   5 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 1 8 6 / s 4 2 4 9 2 - 0 2 2 - 0 0 1 0 1 - 8.   [ 2 ]   J.  Y i n g   e t   a l . ,   “ Tw o   f u l l y   a u t o ma t e d   d a t a - d r i v e n   3 D   w h o l e - b r e a st   se g m e n t a t i o n   s t r a t e g i e s  i n   M R I   f o r   M R - b a sed   b r e a s t   d e n si t y   u si n g   i m a g e   r e g i s t r a t i o n   a n d   U - N e t   w i t h   a   f o c u s o n   r e p r o d u c i b i l i t y , ”   V i s u a l   C o m p u t i n g   f o r  I n d u s t ry,   Bi o m e d i c i n e ,   a n d   Art ,   v o l .   5 ,   n o .   1 ,   p .   2 5 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 1 1 8 6 / s 4 2 4 9 2 - 0 2 2 - 0 0 1 2 1 - 4.   [ 3 ]   G .   H e r mo s i l l o ,   C .   C h e f d ’ H o t e l ,   a n d   O .   F a u g e r a s,   “ V a r i a t i o n a l   met h o d s  f o r   mu l t i mo d a l   i ma g e   ma t c h i n g , ”   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   Vi s i o n ,   v o l .   5 0 ,   n o .   3 ,   p p .   3 2 9 – 3 4 3 ,   D e c .   2 0 0 2 ,   d o i :   1 0 . 1 0 2 3 / A : 1 0 2 0 8 3 0 5 2 5 8 2 3 .   [ 4 ]   J.  B .   A .   M a i n t z ,   P .   A .   v a n   d e n   El s e n ,   a n d   M .   A .   V i e r g e v e r ,   “ 3 D   m u l t i mo d a l i t y   m e d i c a l   i m a g e   r e g i s t r a t i o n   u s i n g   mo r p h o l o g i c a l   t o o l s , ”   I m a g e   a n d   Vi s i o n   C o m p u t i n g ,   v o l .   1 9 ,   n o .   1 – 2 ,   p p .   5 3 – 6 2 ,   J a n .   2 0 0 1 ,   d o i :   1 0 . 1 0 1 6 / S 0 2 6 2 - 8 8 5 6 ( 0 0 ) 0 0 0 5 1 - 2.   [ 5 ]   F .   M a e s,  A .   C o l l i g n o n ,   D .   V a n d e r m e u l e n ,   G .   M a r c h a l ,   a n d   P .   S u e t e n s,  “ M u l t i m o d a l i t y   i m a g e   r e g i s t r a t i o n   b y   max i mi z a t i o n   o f   mu t u a l   i n f o r ma t i o n , ”   I EEE  T r a n sa c t i o n s   o n   Me d i c a l   I m a g i n g ,   v o l .   1 6 ,   n o .   2 ,   p p .   1 8 7 – 1 9 8 ,   A p r .   1 9 9 7 ,   d o i :   1 0 . 1 1 0 9 / 4 2 . 5 6 3 6 6 4 .   [ 6 ]   S .   B h a r a t i ,   M .   M o n d a l ,   P .   P o d d e r ,   a n d   V .   B .   P r a s a t h ,   “ D e e p   l e a r n i n g   f o r   med i c a l   i m a g e   r e g i s t r a t i o n :   a   c o mp r e h e n si v e   r e v i e w , ”   a rXi v   p re p r i n t   a rXi v : 2 2 0 4 . 1 1 3 4 1 ,   2 0 2 2 .   [ 7 ]   B .   D .   d e   V o s ,   F .   F .   B e r e n d s e n ,   M .   A .   V i e r g e v e r ,   M .   S t a r i n g ,   a n d   I .   I šg u m,  “ En d - to - e n d   u n s u p e r v i se d   d e f o r ma b l e   i ma g e   r e g i s t r a t i o n   w i t h   a   c o n v o l u t i o n a l   n e u r a l   n e t w o r k , ”   i n   I n t e r n a t i o n a l   W o rks h o p   o n   D e e p   L e a r n i n g   i n   M e d i c a l   I m a g e   A n a l y s i s ,   2 0 1 7 ,   p p .   2 0 4 – 212 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 6 7 5 5 8 - 9 _ 2 4 .   [ 8 ]   Y .   H u   e t   a l . ,   “ L a b e l - d r i v e n   w e a k l y - s u p e r v i s e d   l e a r n i n g   f o r   m u l t i m o d a l   d e f o r m a r l e   i m a g e   r e g i s t r a t i o n , ”   i n   2 0 1 8   I E E E   1 5 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   B i o m e d i c a l   I m a g i n g   ( I S B I   2 0 1 8 ) ,   I E E E ,   A p r .   2 0 1 8 ,   p p .   1 0 7 0 – 1 0 7 4 ,   d o i :   1 0 . 1 1 0 9 / I S B I . 2 0 1 8 . 8 3 6 3 7 5 6 .   [ 9 ]   Y .   H u   e t   a l . ,   “ W e a k l y - s u p e r v i se d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s   f o r   mu l t i mo d a l   i ma g e   r e g i s t r a t i o n , ”   Me d i c a l   I m a g e   A n a l y s i s ,    Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         P r o s ta te  ma g n etic  r eso n a n ce   ima g in g /tr a n s r ec ta l u ltr a s o u n d   r eg is tr a tio n   …   ( Ha n a e  Ma h mo u d i )   1197   v o l .   4 9 ,   p p .   1 – 1 3 ,   O c t .   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . m e d i a . 2 0 1 8 . 0 7 . 0 0 2 .   [ 1 0 ]   A .   V a sw a n i   e t   a l . ,   “ A t t e n t i o n   i s   a l l   y o u   n e e d , ”   A d v a n c e s  i n   n e u r a l   i n f o rm a t i o n   p r o c e ssi n g   s y st e m s ,   v o l .   3 0 ,   2 0 1 7 .   [ 1 1 ]   Y .   S a l i n i   a n d   J .   H a r i K i r a n ,   “ V i T:   q u a n t i f y i n g   c h e st   x - r a y   i ma g e s   u si n g   v i s i o n   t r a n sf o r m e r   &  X A I   t e c h n i q u e , ”   S N   C o m p u t e r   S c i e n c e ,   v o l .   4 ,   n o .   6 ,   p .   7 5 4 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s4 2 9 7 9 - 0 2 3 - 0 2 2 0 4 - 2.   [ 1 2 ]   A .   D o so v i t s k i y   e t   a l . ,   “ A n   i m a g e   i s  w o r t h   1 6 x 1 6   w o r d s :   t r a n sf o r mers   f o r   i ma g e   r e c o g n i t i o n   a t   sc a l e , ”   i n   a r Xi v   p re p r i n t   a rXi v : 2 0 1 0 . 1 1 9 2 9 ,   2 0 2 1 .   [ 1 3 ]   H .   R a ma d a n ,   D .   E l   B o u r a k a d i ,   A .   Y a h y a o u y ,   a n d   H .   Ta i r i ,   “ M e d i c a l   i mag e   r e g i st r a t i o n   i n   t h e   e r a   o f   t r a n s f o r mers :   a   r e c e n t   r e v i e w , ”   I n f o rm a t i c s   i n   Me d i c i n e   U n l o c k e d ,   v o l .   4 9 ,   p .   1 0 1 5 4 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i m u . 2 0 2 4 . 1 0 1 5 4 0 .   [ 1 4 ]   T.   C .   W .   M o k   a n d   A .   C .   S .   C h u n g ,   “ A f f i n e   me d i c a l   i m a g e   r e g i s t r a t i o n   w i t h   c o a r se - to - f i n e   v i s i o n   t r a n sf o r mer, ”   i n   2 0 2 2   I EE E/ C VF   C o n f e re n c e   o n   C o m p u t e r  V i si o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V PR) ,   I EEE,   Ju n .   2 0 2 2 ,   p p .   2 0 8 0 3 – 2 0 8 1 2 ,   d o i :   1 0 . 1 1 0 9 / C V P R 5 2 6 8 8 . 2 0 2 2 . 0 2 0 1 7 .   [ 1 5 ]   G .   H a s k i n s  e t   a l . ,   “ Le a r n i n g   d e e p   si mi l a r i t y   met r i c   f o r   3 D   M R – TR U S   i mag e   r e g i st r a t i o n , ”   I n t e r n a t i o n a l   J o u rn a l   o f   C o m p u t e r   Assi st e d   R a d i o l o g y   a n d   S u rg e ry ,   v o l .   1 4 ,   n o .   3 ,   p p .   4 1 7 – 4 2 5 ,   M a r .   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 5 4 8 - 0 1 8 - 1 8 7 5 - 7.   [ 1 6 ]   M .   S i mo n o v s k y ,   B .   G u t i é r r e z - B e c k e r ,   D .   M a t e u s ,   N .   N a v a b ,   a n d   N .   K o m o d a k i s ,   “ A   d e e p   m e t r i c   f o r   mu l t i mo d a l   r e g i s t r a t i o n , ”   i n   I n t e r n a t i o n a l   c o n f e re n c e   o n   m e d i c a l   i m a g e   c o m p u t i n g   a n d   c o m p u t e r - a ssi s t e d   i n t e r v e n t i o n ,   2 0 1 6 ,   p p .   1 0 – 18 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 4 6 7 2 6 - 9 _ 2 .   [ 1 7 ]   O .   Z e t t i n i g   e t   a l . ,   “ M u l t i m o d a l   i m a g e - g u i d e d   p r o st a t e   f u s i o n   b i o p s y   b a s e d   o n   a u t o m a t i c   d e f o r m a b l e   r e g i s t r a t i o n , ”   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r  A ss i s t e d   R a d i o l o g y   a n d   S u r g e ry ,   v o l .   1 0 ,   n o .   1 2 ,   p p .   1 9 9 7 – 2 0 0 7 ,   D e c .   2 0 1 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 5 4 8 - 015 - 1233 - y.   [ 1 8 ]   Y .   W a n g   e t   a l . ,   “ M u l t i m o d a l   r e g i s t r a t i o n   o f   u l t r a so u n d   a n d   M R   i m a g e s   u si n g   w e i g h t e d   s e l f - si mi l a r i t y   s t r u c t u r e   v e c t o r , ”   C o m p u t e rs   i n   B i o l o g y   a n d   Me d i c i n e ,   v o l .   1 5 5 ,   p .   1 0 6 6 6 1 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p b i o me d . 2 0 2 3 . 1 0 6 6 6 1 .   [ 1 9 ]   M .   B l e n d o w sk i ,   N .   B o u t e l d j a ,   a n d   M .   P .   H e i n r i c h ,   “ M u l t i mo d a l   3 D   m e d i c a l   i m a g e   r e g i st r a t i o n   g u i d e d   b y   sh a p e   e n c o d e r – d e c o d e r   n e t w o r k s,”   I n t e r n a t i o n a l   J o u rn a l   o f   C o m p u t e r  Assi s t e d   R a d i o l o g y   a n d   S u rg e ry ,   v o l .   1 5 ,   n o .   2 ,   p p .   2 6 9 – 2 7 6 ,   F e b .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 5 4 8 - 0 1 9 - 0 2 0 8 9 - 8.   [ 2 0 ]   X .   S o n g   e t   a l . ,   “ C r o ss - mo d a l   a t t e n t i o n   f o r   m u l t i - m o d a l   i m a g e   r e g i st r a t i o n , ”   M e d i c a l   I m a g e   A n a l y si s ,   v o l .   8 2 ,   p .   1 0 2 6 1 2 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . me d i a . 2 0 2 2 . 1 0 2 6 1 2 .   [ 2 1 ]   P .   Lo r e n z e n ,   M .   P r a s t a w a ,   B .   D a v i s,  G .   G e r i g ,   E.   B u l l i t t ,   a n d   S .   J o s h i ,   “ M u l t i - m o d a l   i ma g e   s e t   r e g i st r a t i o n   a n d   a t l a s  f o r m a t i o n , ”   Me d i c a l   I m a g e   A n a l y s i s ,   v o l .   1 0 ,   n o .   3 ,   p p .   4 4 0 – 4 5 1 ,   Ju n .   2 0 0 6 ,   d o i :   1 0 . 1 0 1 6 / j . me d i a . 2 0 0 5 . 0 3 . 0 0 2 .   [ 2 2 ]   K .   M a   e t   a l . ,   “ M u l t i mo d a l   i ma g e   r e g i st r a t i o n   w i t h   d e e p   c o n t e x t   r e i n f o r c e m e n t   l e a r n i n g , ”   i n   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Me d i c a l   i m a g e   c o m p u t i n g   a n d   c o m p u t e r - a ss i st e d   i n t e r v e n t i o n ,   2 0 1 7 ,   p p .   2 4 0 – 2 4 8 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 6 6 1 8 2 - 7 _ 2 8 .   [ 2 3 ]   D .   R u e c k e r t ,   L.   I .   S o n o d a ,   C .   H a y e s,  D .   L.   G .   H i l l ,   M .   O .   Le a c h ,   a n d   D .   J.  H a w k e s,  “ N o n r i g i d   r e g i st r a t i o n   u si n g   f r e e - f o r m   d e f o r mat i o n s :   a p p l i c a t i o n   t o   b r e a s t   M R   i ma g e s , ”   I EE E  T r a n sa c t i o n s   o n   Me d i c a l   I m a g i n g ,   v o l .   1 8 ,   n o .   8 ,   p p .   7 1 2 – 7 2 1 ,   1 9 9 9 ,   d o i :   1 0 . 1 1 0 9 / 4 2 . 7 9 6 2 8 4 .   [ 2 4 ]   F .   M i l l e t a r i ,   N .   N a v a b ,   a n d   S . - A .   A h ma d i ,   “ V - N e t :   f u l l y   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s  f o r   v o l u me t r i c   med i c a l   i ma g e   seg m e n t a t i o n , ”   i n   2 0 1 6   F o u rt h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   3 D   V i s i o n   ( 3 D V) ,   I EEE,   O c t .   2 0 1 6 ,   p p .   5 6 5 – 571 ,   d o i :   1 0 . 1 1 0 9 / 3 D V . 2 0 1 6 . 7 9 .   [ 2 5 ]   I .   G o o d f e l l o w ,   Y .   B e n g i o ,   A .   C o u r v i l l e ,   a n d   Y .   B e n g i o ,   D e e p   l e a r n i n g ,   v o l .   1 ,   n o .   2 .   C a mb r i d g e :   M I T  p r e ss   C a mb r i d g e ,   2 0 1 6 .   [ 2 6 ]   I .   D o n a l d s o n   e t   a l . ,   “ M P 3 3 - 2 0   t h e   s mart  t a r g e t   b i o p s y   t r i a l :   a   p r o s p e c t i v e   p a i r e d   b l i n d e d   t r i a l   w i t h   r a n d o m i s a t i o n   t o   c o m p a r e   v i s u a l - e st i m a t i o n   a n d   i m a g e - f u s i o n   t a r g e t e d   p r o s t a t e   b i o p s i e s, ”   J o u r n a l   o f   U ro l o g y ,   v o l .   1 9 7 ,   n o .   4 S ,   p p .   e 4 2 5 -- e 4 2 5 ,   A p r .   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . j u r o . 2 0 1 7 . 0 2 . 1 0 1 6 .   [ 2 7 ]   L.   U n i v e r si t y   C o l l e g e ,   “ S mart Ta r g e t   -   a   mag n e t i c   r e s o n a n c e   i ma g e   t o   u l t r a so u n d   f u s i o n   s y st e m  f o r   t a r g e t e d   p r o s t a t e   i n t e r v e n t i o n :   b i o p sy . ”   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / c l i n i c a l t r i a l s. g o v / st u d y / N C T0 2 3 4 1 6 7 7   [ 2 8 ]   N .   G h a v a mi   e t   a l . ,   “ A u t o ma t i c   sl i c e   seg me n t a t i o n   o f   i n t r a o p e r a t i v e   t r a n sr e c t a l   u l t r a s o u n d   i ma g e s   u s i n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s,”   i n   M e d i c a l   I m a g i n g   2 0 1 8 :   I m a g e - G u i d e d   Pro c e d u r e s,   R o b o t i c   I n t e r v e n t i o n s,   a n d   M o d e l i n g ,   S P I E,   M a r .   2 0 1 8 ,   d o i :   1 0 . 1 1 1 7 / 1 2 . 2 2 9 3 3 0 0 .       B I O G RAP H I E S O F   AUTH O RS        H a n a e   Ma h m o u d i           o b tain e d   a   m a ste r’s  d e g re e   in   b u sin e ss   in telli g e n c e   a n d   in telli g e n t  v isi o n   fr o m   S id i  M o h a m e d   Be n   Ab d e ll a h   Un i v e rsity ,   M o ro c c o ,   i n   2 0 2 0 .   No w  sh e   is   a   P h . D .   s tu d e n t   a t  S id i   M o h a m m e d   Be n   Ab d e ll a h   Un i v e rsity ,   M o ro c c o ,   2 0 2 0 .   He r  re se a rc h   in tere sts   in c lu d e   a rti ficia l  in tel li g e n c e   a n d   m e d ica l  ima g in g .   S h e   c a n   b e   c o n tac ted   a t  e m a il :   h a n a e . m a h m o u d i@u sm b a . a c . m a .           H ib a   Ra m a d a n           re c e iv e d   h e r  P h . D.  d e g re e   i n   2 0 1 8   fro m   t h e   Un iv e rsit y   S id i  M o h a m e d   Be n   Ab d e ll a h   (USM B A),  F e z ,   M o r o c c o .   C u rre n tl y ,   s h e   is  a n   a ss istan t  p r o fe ss o r  a t   S id i  M o h a m e d   Be n   A b d e ll a h   Un i v e rsity   M o r o c c o .  He r  re se a rc h   in t e re sts  a re   in   v i d e o   a n a l y sis ,   in   m e d ica l  ima g in g ,   i n   v isu a l   in fo rm a ti o n   re tr iev a l  a n d   p a tt e r n   re c o g n it i o n .   S h e   c a n   b e   c o n tac ted   a t  e m a il :  h i b a . ra m a d a n @u sm b a . a c . m a .   Evaluation Warning : The document was created with Spire.PDF for Python.