I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 ,   p p .   2774 ~ 2 7 8 5   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 3 . p p 2 7 7 4 - 2 7 8 5           2774     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   RG B - D   sa lient  ob ject dete ction  wit h   lo ca l f ea tur e an d sema ntic  seg menta tion       Z ha ng   Wa ng 1 ,   K im   O n   Chin 1 ,   Ra y ner  Alf re d 1 ,   J un y i C ha i 2 ,   Rund o ng   Z ha ng 2 ,  So o   See   Cha i 3   1 F a c u l t y   o f   C o mp u t i n g   a n d   I n f o r mat i c s ,  U n i v e r si t i   M a l a y s i a   S a b a h ,   K o t a   K i n a b a l u ,   M a l a y si a   2 C o l l e g e   o f   S c i e n c e   a n d   T e c h n o l o g y ,   N i n g b o   U n i v e r s i t y ,   N i n g b o ,   C h i n a   3 F a c u l t y   o f   C o mp u t e r   S c i e n c e   a n d   I n f o r mat i o n   Te c h n o l o g y ,  U n i v e r si t i   M a l a y s i a   S a r a w a k ,   S a r a w a k ,   M a l a y s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   1 4 ,   2 0 2 5   R ev is ed   Ma r   2 3 ,   2 0 2 6   Acc ep ted   Ma y   7 ,   2 0 2 6       Re d ,   g re e n ,   b lu e – d e p t h   ( RG B - D )   sa li e n t  o b jec t  d e tec ti o n   (S OD )  f o c u se s  o n   id e n ti f y in g   v isu a ll y   p r o m in e n t   o b jec ts  b y   sim u lati n g   h u m a n   v isu a l   p e rc e p ti o n .   Wh il e   e x isti n g   RG B - D  S OD   m e th o d s   h a v e   d e m o n stra ted   re su lt s,   th e re   re m a in   c h a ll e n g e s  i n   e f fe c ti v e ly   lev e ra g i n g   e x tri n sic   c u e s  a n d   e n h a n c in g   fe a t u re   re p re se n tati o n .   To   a d d re ss   t h e se   l i m it a ti o n s,   n o v e l  RG B - D  S OD   m o d e l  wit h   lo c a l  fe a tu re   e x trac ti o n   a n d   se m a n ti c   se g m e n tati o n   (L F S S )   is  in tr o d u c e d ,   wh ic h   is  b u il t   o n   a n   e n c o d e r - d e c o d e r  a rc h it e c tu re .   T h e   e n c o d e r  p re p ro c e ss e s  th e   in p u t  ima g e s  b y   m e rg in g   RG B  a n d   d e p th   d a ta   th ro u g h   a   c h a n n e l  a n d   sp a ti a l  a tt e n ti o n   (CS A)  m o d u le.  A  lo c a l  fe a tu re   e x trac ti o n   m o d u le  f u rth e r   re fin e s   th is   fu si o n .   T h e   d e c o d e r  c o n sist s  o f  th re e   k e y   m o d u les :  i )  t h e   m u lt i - fe a tu r e   e x trac ti o n   (M F E)   m o d u le  e n h a n c e s  b a se   fe a tu re s  th ro u g h   d iv e rse   c o n v o l u ti o n a l  o p e ra ti o n s;   ii )  th e   se m a n ti c   se g m e n tatio n   e n h a n c e m e n t   (S S E)  m o d u le  o p ti m ize s  fe a tu re s  v ia  sp a ti a l   p y ra m id   p o o li n g   a n d   a tro u s  c o n v o lu ti o n ;  a n d   ii i )  t h e   lo c a l/ g lo b a l  a g re e m e n t  a n d   e d g e   d e tec ti o n   (LG E)  m o d u l e   th a t  e n a b les   m u lt i - lev e l  fe a tu re   in tera c ti o n   a n d   e d g e   d e tec ti o n .   Th e se   m o d u l e s  wo rk   se q u e n ti a ll y   t o   e n h a n c e   a n d   e x trac t   sa li e n t  o b jec ts.   L F S S   is   e v a lu a t e d   o n   si x   sta n d a rd   RG B - D  S O D  d a tas e ts  (NJ U2 K ,  NLP R ,  S TE RE ,  L F S D ,  SSD ,  S IP )   by   f o u r   m e tri c s,  o u tp e rfo rm in g   th e   c o m p a riso n   m o d e ls  wit h   u p   to   1 . 2 %   F - m e a su re   imp ro v e m e n t .   LF S S   is   fo u n d   t o   b e   a   v e rsa ti le m o d e l ,   o ff e rin g   v a lu a b le a p p li c a ti o n s i n   e n g in e e rin g .   K ey w o r d s :   Atten tio n   m ec h an is m   I m ag e  p r o ce s s in g   L o ca l f ea tu r e  e x tr ac tio n   Mu lti - s ca le  f u s io n   R GB - D  s alien t o b ject  d etec tio n   Sem an tic  s eg m en tatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kim   On   C h in   Facu lty   o f   C o m p u tin g   an d   I n f o r m atics,  Un iv er s iti Ma lay s ia  Sab ah   Ko ta  Kin ab alu ,   Ma lay s ia   E m ail:  k im o n ch i n @ u m s . ed u . m y       1.   I NT RO D UCT I O N   Salien t  o b ject  d etec tio n   ( SO D)   s ee k s   to   s im u late  b io lo g ic al  v is io n   to   ca p tu r e  th e  m o s t  s ig n if ican t  r eg io n s   o f   an   im ag e.   I t  h as  b e en   wid ely   ap p lie d   in   v a r io u s   d o wn s tr ea m   task s ,   i n clu d in g   o b ject  d etec tio n   [ 1 ] ,  im ag e  class if icatio n   [ 2 ] ,   s em an tic  s eg m en tatio n   [ 3 ] ,   co - s alie n cy   d etec tio n   [ 4 ] ,   a n d   o b ject  tr ac k in g .   T h e  SOD  m o d els g en er ally   ac co m p lis h   two   task s :  i )   d etec tin g   th e  m o s t   p r o m in en t o b jects a n d   ii )   ac cu r ately   s eg m en tin g   th e  r eg io n s   o f   th ese  o b jects.  T o   im p r o v e  th e   ef f ec tiv en ess   o f   th ese  task s ,   b o th   in tr i n s ic  an d   ex tr in s ic  cu es  ar e   ty p ically   u tili ze d   in   SOD.   Dep th   m ap s   s er v e  as  v alu ab le   ex tr in s ic  c u es  th at  ca n   e n h an ce   th e  p er f o r m an ce   o f   s alien c y   m o d els.  T h e  ad v en t  o f   d e p th   ca m er as  h as  m ad e  it  ea s ier   to   ac ce s s   d ep th   in f o r m atio n   f r o m   a  s ce n e .   B y   ex tr ac tin g   r ed ,   g r ee n ,   b l u e  ( R GB ) ,   an d   d ep t h   in to   a  u n if ie d   r ep r esen tati o n ,   f u s io n - b ased   ap p r o ac h es  em p o wer   s alien cy   m o d els  to   u tili ze   d ep th   cu es,  m u lti - s ca le  f ea tu r e  f u s io n ,   in t eg r ity ,   an d   co n tex tu al  in f o r m atio n   to   ac cu r ately   id en tify   s alien t  o b jects.  Desp ite  th ese  ad v a n ce m en ts ,   e x is tin g   r e d ,   g r ee n ,   b lu e – d ep t h   ( R GB - D )   m o d els   [ 5 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R GB - D  s a lien t o b ject  d etec tio n   w ith   lo ca l fe a tu r e  a n d   s ema n tic  s eg men ta tio n   ( Zh a n g   Wa n g )   2775   th at  in co r p o r ate  ex tr in s ic  cu e s   an d   s alien cy   ex tr ac tio n   m et h o d s   s till   f ac e  s ev er al  ch allen g es.  T h e  f u s io n   o f   d ep th   m ap s   with   R GB   im ag es  r em ain s   a   cr itical  ar ea   o f   ex p lo r atio n .   E a r ly   R GB - D  SOD  m o d els  s im p l y   co n ca ten ated   th e  d e p th   m ap   with   th e  R GB   ch an n els,  r esu ltin g   in   a  cr u d e  a n d   s u b o p tim al  ap p r o ac h .   R ec en t  m o d els  u s e  m u lti - s ca le,   m u lti - m o d al  f u s io n   m o d u les  [ 6 ] – [ 9 ] ,   to   ac h iev e  b etter   in te g r atio n   o f   R GB   an d   d ep th   in f o r m atio n .   Ho wev er ,   th ese  m eth o d s   o f ten   f ail  to   f u lly   e x p lo it  lo ca l  f ea tu r e  d etails,  in d icatin g   r o o m   f o r   im p r o v em e n t  in   ef f ec tiv el y   u tili zin g   ex tr in s ic  c u es.  Fu r t h er m o r e ,   cu r r en t   SOD  m eth o d s   b ased   o n   d ee p   lear n in g   ty p ically   ad o p t  c r o s s - m o d al  an d   m u lti - s ca le  f e atu r e  ex tr ac tio n ,   d ee p   b o u n d ar y - b ased   lear n in g   m ec h an is m s ,   to p - d o wn   m o d el in g ,   a n d   c o n tex t - b ased   m o d el in g .   Alth o u g h   th ese  a p p r o ac h es  ex tr ac t  s alien cy   f r o m   v ar io u s   p e r s p ec tiv es,  th e y   o f ten   f all  s h o r t   in   b asic  f ea t u r e  e x tr ac tio n ,   s em an tic  s eg m en tatio n ,   a n d   ed g e   d etec tio n .   T h e r ef o r e ,   th er e  is   s till   s ig n if ican t p o ten tial f o r   e n h an cin g   s alien cy   e x tr ac tio n   m eth o d s .   A n   R GB - D  SOD   b ased   o n   lo ca l  f ea tu r e  e x tr ac tio n   an d   s em an tic  s eg m en tatio n   ( L FS S)   is   p r o p o s ed   with   an   e n co d e r - d ec o d er   s tr u c tu r e   t o   tack le  t h ese  is s u es.  T h e   en co d er   p ar t   u tili ze s   p y r am i d   v is io n   tr an s f o r m er   v 2   ( PVTv 2 )   [ 1 0 ]   to   s er v e  as  th e  b ac k b o n e  n etwo r k   a n d   co m b in es  a  ch an n el/s p atial  atten tio n   m o d u le  with   a  lo ca l f ea tu r e  ex tr ac tio n   m o d u l e  to   en h an ce   th e  in teg r atio n   o f   R G B   an d   d ep th   in f o r m atio n .   I n   th e  d ec o d e r   p ar t ,  th e  ex tr ac tio n   o f   b asic f ea tu r es   is   o p tim ized   m ain ly   th r o u g h   t r ip le  co n v o lu tio n .   T h e  o u tp u t  f ea tu r es a r e  f u r th er   en h an ce d   b y   s em an tic  s eg m e n tatio n ,   an d   th e   ef f ec tiv e n ess   o f   l o ca l/g lo b al  a g r ee m en t   d e tectio n   is   im p r o v ed   th r o u g h   ed g e  d etec tio n .     T h e  m ain   co n tr ib u tio n s   o f   th i s   wo r k   ar e  as  f o llo ws:   f ir s t ly ,  an   en co d e r   is   d esig n ed   th at  in co r p o r ates  an   im ag e   p r e p r o ce s s in g   m o d u le  b ased   o n   t h e  PVTv 2   b a ck b o n e ,   in teg r at in g   with   a  c h an n el  a n d   s p atial   atten tio n   ( C SA)   m ec h an is m ,   a  co n v o l u tio n   n e x t  ex tr em e   ( C o n v NeX t ) - b ased   [ 1 1 ]   lo ca l  f ea tu r e  ex tr ac tio n   m o d u le,   an d   a b s o lu te  p o s itio n   e n co d in g   ( APE)   to   en ab le   ef f ec tiv e  cr o s s - m o d al  f u s io n   o f   R GB   an d   d e p th   f ea tu r es.  T h en ,   a  s em an tic  s eg m en tatio n   e n h an ce m en t  ( SS E )   m o d u le  is   d ev elo p ed   with in   th e  d ec o d er   th at   s p atial  p y r am id   p o o lin g   [ 1 2 ]   is   o p tim ized   b y   atr o u s   co n v o l u tio n   to   e n h an ce   m u lti - s ca le  s em an tic  u n d er s tan d i n g   a n d   b o u n d ar y   r ec o g n itio n .   Fin ally ,   s y s tem ati c  ex p er im e n ts   ar e  c o n d u cted   o n   eig h t   s tate - of - th e - ar t  ( SOTA )   m o d els  ac r o s s   s ix   b en c h m ar k   d atasets ,   p r o v in g   th at  th e   p r o p o s ed   L FS S  f r am ewo r k   ac h ie v es   ex ce llen t p er f o r m an ce   in   th e  m u lti - s ca le  an d   m u lti - m o d al  f u s io n   o f   th e   R GB - D  SOD  ta s k s .       2.   RE L AT E D  WO RK S   2 . 1 .     RG B - D  s a lient  o bje ct   d et ec t io n  m o del   T r ad itio n al  R GB - D  SOD  m o d els  g en er ally   u tili ze d   ca lcu latio n s   b ased   o n   co l o r ,   b o u n d ar y ,   co n tr ast,  tex tu r e,   an d   p r io r   k n o wled g e.   Fo r   in s tan ce ,   Z h o u   et  a l.   [ 1 3 ]   d eliv er ed   a  th o r o u g h   s u r v e y   o f   th ese  tr ad itio n al  m eth o d s ,   d etailin g   r eg i o n - b ased ,   co n tr ast - b ased ,   an d   b o u n d ar y - b ased   s tr ateg ies .   J i  et  a l .   [ 1 4 ]   in tr o d u ce d   a   ca lib r ated   R GB - D  s alien cy   d etec tio n   ap p r o ac h   to   a d d r ess   in ter - m o d al   in co n s is ten cies  u s in g   s p atial  p r io r s .   C h en   et  a l.   [ 1 5 ]   tr ea ted   d ep th   as  a  f o u r th   c h an n el  v ia  a  3 D  c o n v o lu ti o n al  n e u r al  n etwo r k   ( 3D - C NN ) ,   en ab lin g   p r e - f u s io n   o f   R GB   an d   d ep th   cr o s s - m o d al  f ea tu r es  in   th e  en co d er   s tag e.   Su n   et  a l .   [ 1 6 ]   p r o p o s ed   a     d ep th - s en s itiv e  d etec tio n   m o d u le  co m b in ed   with   au t o m atic  m u lti - m o d al  f u s io n   to   g en er ate  r ef in ed   s alien cy   m ap s .   Alth o u g h   th ese  ea r ly   m eth o d s   ac h iev ed   in itial su cc ess ,   th eir   p r ec is io n   a n d   r o b u s tn ess   r em ain ed   lim ited .   E ar ly   R GB - D  SOD  m o d els  w ith   d ee p   lear n in g   m o v ed   b e y o n d   h an d c r af ted   f ea tu r es.  C o n g   et  a l.   [ 1 7 ]   p r esen ted   C I R - Net,   wh ich   in teg r ates  cr o s s - m o d ality   in ter a ctiv e  m o d u les  f o r   a d ap tiv e  f u s io n   o f   R GB   an d   d ep th   cu es.  Z h a n g   et  a l.   [ 1 8 ]   p r o p o s ed   B T S - Net,   a  b i - d ir e ctio n al  n etwo r k   with   tr an s f e r   an d   s elec tio n   th at  p u r if ies  n o is y   d ep th   in f o r m a tio n   th r o u g h   p r o g r ess iv e  f u s io n   an d   s elec tio n   m ec h an is m s .   J ia  et  a l.   [ 1 9 ]   in tr o d u ce d   SiaTr an s ,   a  Siam ese  tr an s f o r m er   n etwo r k   in c o r p o r ati n g   d ep t h - im ag e  q u ali ty   class if icatio n   to   g u id e  d y n am ic  c r o s s - m o d al  f u s io n .   Mo s t  r ec en tly ,   Yi  et  a l.   [ 2 0 ]   p r o p o s ed   GL - DM Net,   wh ich   u s es  a  d u al   m u tu al  lear n in g   f r am ewo r k   w ith   g lo b al - p a r tial  awa r en ess   v ia  p o s itio n   an d   ch a n n el  m u tu al  f u s io n   m o d u les,  ac h iev in g   SOTA   p er f o r m an c e.   Desp ite  th ese  ad v an ce s ,   k ey   ch allen g es  r em ain   u n r eso lv ed ,   s u ch   as  n o is y   d ep th   m a p s ,   r ea l - tim e  p r o ce s s in g   d em a n d s ,   an d   p o o r   g e n er al izatio n   ac r o s s   d iv er s e  s ce n es.     2 . 2 .    RG B - D  f us io n m et ho d  a nd   lo ca l f ea t ure  ex t ra ct io n   R GB - D  f u s io n   s ch em es  ar e  ab le  to   b e   g en e r ally   class if ied   in to   ea r ly   f u s io n ,   late  f u s io n ,   an d     m u lti - s ca le  f u s io n .   E ar ly   f u s io n   co n ca ten ates  th e  d ep th   ch an n el  to   th e  R GB   ch an n els  as  an   ad d itio n al   ch an n el.   L ate  f u s io n   u s es  a  m u lti - s ca le  m o d el  b ased   o n   two   s tr ea m s   to   f u s e  R G B   an d   d ep th .   Mu lti - s ca le   f u s io n   m o d els  ad o p t  a   m u lti - l ev el  ap p r o ac h   wh e r e  ea ch   le v el  o u tp u ts   a  f ea tu r e  m ap   af ter   f u s io n ,   an d   th e  f in al  s alien cy   is   g en er ated   th r o u g h   th e  in ter ac tio n   ac r o s s   m u ltip le  s ca les.  Du e  to   th e  lim i tatio n s   o f   th e  f ir s t    two   f u s io n   m eth o d s ,   r ec en t   m o d els  ty p ically   u s e  v a r i o u s   m u lti - s ca le  f u s io n   tech n iq u es  to   im p r o v e    s alien cy   ex tr ac tio n .   I n   ad d itio n   to   th e  f u s io n   m e th o d ,   t h e  C o n v NeX t  lo ca l   f e atu r e  ex tr ac tio n   m o d u le  c o u l d   also   b e  ad ap ted   t o   f u r th er   im p r o v e   th e   f u s io n   ef f ec t   o f   R GB - D  m o d els.  C o n v NeX t  ap p lies   th e   lo c al  r ec ep tiv e   f ield   t o   s elf - atten tio n ,   en a b lin g   t h e  m o d el  to   b etter   c o n ce n tr ate  o n   l o ca l  d etails  wh ile  s till   co n s id e r in g   g lo b al  c o n tex t.   C o n v NeX t  p r o v id es  b o th   th e  g lo b al  f ea tu r e  ex tr ac tio n   c ap ab ilit y   o f   T r an s f o r m er   an d   th e  lo ca l  f ea tu r e     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 7 7 4 - 2 7 8 5   2776   ca p tu r e  ca p ab ilit y   o f   th e   C NN .   I ts   h ier ar c h ical  s tr u ctu r e   also   allo ws  th e  m o d el  to   o b t ain   in f o r m atio n   at  d if f er en t le v els.     2 . 3 .     E nh a ncem ent   m e t ho d ba s ed  o n m ulti - s ca le  s em a ntic   s eg m ent a t io n   I n   th e  R GB - D  SOD,   an   en h an ce m en t  s ch em e  is   u s u ally   ap p lied   af ter   th e  im ag e  p r e p r o ce s s in g   lay er   to   f u r th er   e x p lo r e  th e  r elatio n s h ip s   b etwe en   f ea tu r es.  Sp atial  p y r am id   p o o lin g   ( Dee p L a b v 3 +)   b ased   o n   atr o u s   co n v o l u tio n   [ 2 1 ]   is   o n e  s u ch   en h an ce m en t   s ch em e   u ti lized   in   s em an tic   s eg m en ta tio n .   I n   s em an tic   s eg m en tatio n   task s ,   p y r a m id   p o o li n g   an d   en c o d er - d ec o d er   ar c h itectu r es  ar e  f r eq u en tly   u s ed ,   a n d   Dee p L ab v 3 +  c o m b in es  th e  a d v an tag es  o f   b o th .   Sin ce   p y r a m id   p o o lin g   ca n   ca u s e  th e  lo s s   o f   o b ject  b o u n d a r y   d etails,  atr o u s   co n v o lu ti o n   is   u s ed   to   co m p e n s ate  f o r   th is   s h o r tco m in g .   T h e  e f f icien cy   a n d   ac cu r ac y   o f   th e   m o d el  ar e  f u r th e r   im p r o v ed   b y   u s in g   d ep t h wis e  s ep ar ab le  co n v o lu tio n .   Dee p L ab v 3 +   is   wid ely   a p p lied   in   m an y   m o d els  d u e  to   its   ef f ec tiv en ess .   Fo r   ex am p le,     C h en   et  a l.   [ 2 2 ]   p r esen ted   a   d en s e  r esid u al  n etwo r k   ( DR Net)   b ased   o n   Dee p L ab v 3 +,   wh ich   in teg r ates   a  d en s ely   co n n ec ted   C NN  ( DC NN)   an d   a   r esid u al   n etwo r k   ( R esNet)   f o r   co n s tr u ctio n   ex t r ac tio n   f r o m   r em o te   s en s in g   im ag er y   ( R SI) .   Mo r e o v er ,   Du   et   a l.   [ 2 3 ]   p r esen ted   a  m o d el  b ased   o n   Dee p L ab v 3 +  an d   o b ject - b ased   im ag e  an aly s is   ( OB I A)   f o r   r e m o te  s en s in g   im ag es’  s em an ti c  s eg m en tatio n .       3.   M E T H O D   3 . 1 .     O v er v iew  o f   lo ca l  f ea t u re   ex t ra ct i o n a nd   s em a ntic   s eg m ent a t i o n   T h e  L FS S   is   p r o p o s ed   t o   en h an ce   th e  ef f ec ti v en ess   o f   th e  R GB - D  s alien cy   task .   As  illu s tr ated   in   Fig u r e   1 ,   L FS S  ad o p ts   an   en co d er - d ec o d er   f r am ewo r k .   T h e   en co d er   p r e p r o ce s s es  th e  R G B - D  in p u t  im ag es  u s in g   a  d u al  PVTv 2   b ac k b o n e   n etwo r k   with   APE.   I t  u s es a   co m b in atio n   o f   a  C SA m o d u le  with   a  lo ca l f ea tu r e   ex tr ac tio n   m o d u le ,   C o n v Nex t ,   to   ac h iev e   b etter   R GB   an d   d e p th   f u s io n   ef f ec t ,   g en er atin g   m u lti - s ca le  R GB - D  f ea tu r e  r ep r esen tatio n s   ac r o s s   f o u r   le v els.           Fig u r e  1 .   T h e  p r o p o s ed   L FS S f r am ewo r k   is   b ased   o n   a n   en c o d er - d ec o d er   m o d el       T h e  d ec o d e r   is   d iv id ed   in t o   th r ee   m o d u les.  Firstl y ,   th e  m u lti - f ea tu r e  ex tr ac tio n   ( MFE )   m o d u le  f u s es  f ea tu r e   f r o m   th r ee   d is tin ct  co n v o lu tio n al  k e r n els  to   ca p tu r e  d iv er s e  l o ca l  p atter n s .   Nex t,  th e  SS E   m o d u l e   in co r p o r ates  atr o u s   co n v o lu ti o n s   an d   s p atial  p y r am i d   p o o l in g   to   r ein f o r ce   g lo b al  co n te x tu al  u n d e r s tan d in g   an d   im p r o v e  b o u n d ar y   r ec o g n itio n .   Fin ally ,   th e  lo ca l/g lo b al  ag r ee m en t  with   th e  ed g e  d etec tio n   ( L GE )   m o d u le  p r o m o tes  cr o s s - s ca le  f ea tu r e   co n s is ten cy   an d   e n h an ce s   co n to u r   p r ec is io n   th r o u g h   i n teg r ated   ed g e   d etec tio n   m ec h a n is m s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R GB - D  s a lien t o b ject  d etec tio n   w ith   lo ca l fe a tu r e  a n d   s ema n tic  s eg men ta tio n   ( Zh a n g   Wa n g )   2777   3 . 2 .     I ma g e  prepro ce s s ing   T h e  im ag e  p r e p r o ce s s in g   m o d u le  u s es  a  d u al  PVTv 2   b ac k b o n e  n etwo r k   with   p r e - tr ain ed   APE  weig h ts   f o r   b ase  in f o r m atio n   o n   th e  R GB - D  ch an n els.  T h e  en tire   f u s io n   p r o ce s s   is   p er f o r m ed   ac r o s s   f o u r   lev el s .   T h e   e x p er im e n ts   in d ic ate  th at  ad d in g   an   ad d itio n al  C o n v NeX t  m o d u le   f o r   lo ca l   f ea tu r e   ex tr ac tio n   im p r o v es   R GB - D  f u s io n   ac c u r ac y   f o r   d ep th   m a p s .   Ho w ev er ,   th e  R GB   m ap s   ar e  n o t  p r o ce s s ed   b y   th e  C o n v NeX t  m o d u le.   Dep th   f ea tu r es,  p r o ce s s ed   b y   PVTv 2   an d   C o n v NeX t  with   APE,   ar e  p ass ed   in to   th e  C SA   m o d u le,   an d   th e  r esu ltin g   f ea tu r es  ar e  co m b in ed   with   R GB   f ea tu r es  p r o ce s s ed   b y   PVTv 2   with   APE.   Fin ally ,   th e  co m b i n ed   r esu lt  p ass es   th r o u g h   th e   C o n v NeX t  m o d u le   f o r   an o th e r   r o u n d   o f   lo ca l   f e atu r e  ex tr ac tio n   to   co m p lete  th e  R GB - D  f u s io n .   T h e  f o r m u la  f o r   th e  f u s io n   is   s h o wn   as   ( 1 ) .      =  (  ( +  ( ) ) )   ( 1 )     W h er e     an d     ar e  th e  PVTv 2   +  APE – d er iv ed   f ea t u r es  f o r   th e  R GB   an d   d ep th   s tr ea m s   ( th e  latter   in clu d in g   a n   in itial C o n v NeX t r ef in em en t) .   T h e  d ep th ‐ g u id e d   atten tio n   ter m   is   ( 2 )   an d   ( 3 ) .      ( ) = ( ( ) )   ( 2 )       ( ) = (  (   ( ) ) ) ⊙ ,   ( ) = (  (   ( ) ) ) ⊙   ( 3 )     W h er e    an d     ar e  ch an n el‐ wis e  an d   s p atial  m a x ‐ p o o lin g ,    ( · )   is   a  s h ar ed   m u lti‐lay e r   p e r c ep tr o n ,    ( · )   d en o tes  a  3 ×3   c o n v o lu tio n ,     s tan d s   th e  s ig m o id ,   an d   ⊙   i n d icate s   elem en t‐ wis e  m u ltip licatio n .   C o llectin g   {  } = 1 4   y ield s   th e  m u lti‐scale  f u s ed   r ep r esen tatio n .   −   C SA:  in   tr ad itio n al  R GB   s alie n cy   m eth o d s ,   a  well - ch o s en   f u s io n   m eth o d   ca n   en h a n ce   r el ev an t  f ea tu r es  an d   s u p p r ess   n o is e  wh en   m er g in g   two   m o d alities .   As  s h o wn   in   Fig u r e  2 ,   th e  C SA  m o d u l e  ex em p lifie s   an   ef f ec tiv e  f u s io n   s ch em e  b y   u s in g   b o th   C SA   m ec h an is m s .   T h e  C SA  m o d u le  ac h iev es  ef f icien t  an d   lig h tweig h t  R GB - D  f u s io n   th r o u g h   s im p le  m ax - p o o lin g - b a s ed   ch an n el  atten tio n   an d   s p a tial  atten tio n ,   co m b in ed   with   a   s h ar e d   M L P.  T h is   ap p r o ac h   e n h an ce s   th e  f u s io n   o f   m u lti - m o d alit y   in f o r m atio n ,   lead in g   to   im p r o v e d   s alien cy   d etec tio n .   −   C o n v NeX t:  th e  r o le  o f   th e  C o n v NeX t  m o d u le  is   to   p er f o r m   lo ca l  f ea tu r e   ex tr ac tio n   i n   en h an cin g   th e   R GB - D   f u s io n .   I t  is   in ef f ec tiv e  to   ap p ly   th e  C o n v NeX t  m o d u le  to   b o t h   R GB   an d   d ep th   ch an n els   s im u ltan eo u s ly .   T h er e f o r e,   t h e  C o n v NeX t  o p er atio n   is   ap p lied   o n ly   to   t h e  d ep th   m ap .   Af ter war d ,   th e   R GB - D  d u al - s tr ea m   f ea tu r es  ar e  f u s ed   by   th e   C SA  m o d u le .   T h e   R GB   f ea tu r e  m ap ,   p r o c ess ed   th r o u g h   C o n v NeX t,  is   th en   co n ca ten ated   with   th e  f u s ed   f ea tu r es.   T h is   ap p r o ac h   h as  b ee n   d e m o n s tr ated   t o   im p r o v e  t h e  f in al  s alien cy   ac c u r ac y .   −   APE:  in   th e  PVTv 2   en co d er   b ac k b o n e  n etwo r k ,   th e  im ag e   is   p ar titi o n ed   in to   s ev er al  p a tch es.  PVTv 2   in h er en tly   co n tain s   r elativ e  p o s itio n   en co d in g   f o r   th e  p ix el s   with in   ea ch   im ag e  p atch .   Ho wev er ,   it  d o es   n o t  s u p p o r t   APE  cr o s s - p atch es  at  all  f o u r   le v els.  T o   ad d r ess   th is ,   a  tr u n ca ted   n o r m al  d is tr ib u tio n   i s   ad o p ted   f o r   p atch   p o s itio n   as APE .   T h is   m eth o d   s lig h tly   im p r o v es th e  m o d el’ s   ac cu r ac y .           Fig u r e  2 .   T h e  ch ar t  o f   th e   C SA RGB - D  f u s io n   m o d u le       3 . 3 .     M ulti - f ea t ure  e x t ra ct i o n   A s   s h o w n   i n   Fi g u r e   3 ,   a n   M FE   m o d u l e   c o n t a i n i n g   t h r e e   d i f f e r e n t   t y p e s   a n d   s i z es   o f   k e r n e ls   is   u s e d   to   e x t r a c t   d i v e r s e   f e a t u r es ,   e n r i c h in g   t h e   l a y e r s   o f   i n f o r m a t i o n .   T h e   f o r m u l a   f o r   t h e   M F E   m o d u le   i s   s h o w n   a s   ( 4 ) .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 7 7 4 - 2 7 8 5   2778   =  (  (  (  ) , (  ) ,  (  ) ) )   ( 4 )     W h er e    p r esen ts   th e  MFE   m o d u le  o u tp u t  f ea tu r e  at  th e   lev el  , ( ∈ { 1 , 2 , 3 , 4 } )   ,   r esp ec tiv ely ,      in d icate s   th e  y ield ed   f ea tu r es   f r o m   t h e  R GB - D  f u s io n   m o d u le,    ( · )   d en o tes  o r ig i n al  co n v o l u tio n ,   ( · )   d en o tes  asy m m etr ic  co n v o l u tio n   with   th r ee   d if f er en t  k er n els,  ( · )   d en o tes  d y n am ic  co n v o l u tio n   with   a   weig h t c o m p u tatio n   k er n el  b a s ed   o n  an   atten tio n   m ec h a n is m .   T h e  f o r m u la  f o r   ( · )   is   s h o wn   as   ( 5 ) .     ( ) = ( ∗ 3 × 3 ) ⊕ ( ∗ 1 × 3 ) ⊕ ( ∗ 3 × 1 )   ( 5 )     W h er e    d en o tes  th e  in p u t  f ea tu r e,   ∗   d en o tes  co n v o lu tio n ,   n × m   d en o tes  n × m   k er n el  s h ar e d   in   th e  s am e   win d o w,   ⊕   d en o tes ele m en t - wis e  ad d itio n .   T h e  MFE   m o d u le  o u tp u ts   = { 1 , 2 , 3 , 4 } .   A   d y n am ic  co n v o lu tio n   m o d u le  was  p r o p o s e d  to   en ab le  th e  weig h ts   o f   ea ch   p ix el  to   b e  d y n am ically   ad ju s ted   d u r in g   th e   co n v o lu ti o n   p r o ce s s   f o r   l o ca l  f ea t u r e  e x tr ac tio n .   T h is   m o d u le   en h a n ce s   th e  co n v o l u tio n   o p er atio n ' s   ab ilit y   to   p er ce iv e  lo ca l  f ea tu r es  b y   in co r p o r atin g   an   atten tio n   m ec h an is m .   T h is   m ec h an is m   im p r o v es  th e   r o b u s tn ess   o f   th e  b ase  f ea tu r e   ex tr ac tio n ,   a n d   ex p er im e n ts   h av e   d em o n s tr ated   its   ef f ec tiv en ess   in   en r ich in g   th e  ag g r eg ate d   f e atu r es f o r   s alien cy   d etec tio n .           Fig u r e  3 .   T h e  ch ar t  o f   th e   MFE   m o d u le       3 . 4 .     Se m a ntic   s eg m ent a t io n  enha ncem ent     As  s h o wn   in   Fig u r e  4 ,   an   up - d o wn - s am p lin g   ( UDS)   m o d u le  is   u s ed   to   i n teg r ate  r e latio n s h ip s   b etwe en   u p p er   a n d   lo wer   s ca les  to   m in e  in f o r m atio n   ac r o s s   m u ltip le  s ca les.  Fo r   th e   cu r r en t  lev el,   th e  n e x t   lev el  is   u p - s am p led   a n d   t h e  p r ev io u s   lev el   is   d o wn - s am p l ed   s o   th at  th e   th r ee   n eig h b o r i n g   lev els  r ea ch   th e   s am e  im ag e  s ize.   T h e  f ea t u r e s   f r o m   th e  t h r ee   lay e r s   ar e  co n ca ten ated   f ir s t  an d   th en   o u tp u t .   T h e  f o r m u la  f o r   th e  s am p lin g   m o d u le  is   s h o wn   ( 6 ) .   W h er e      p r esen ts   th e  r esu lt  o f   th e  u p - d o wn   s am p lin g   m o d u le   o f   th e   lev el  , ( ∈ { 1 , 2 , 3 , 4 } ) ,   r esp ec tiv ely ,     s ig n if ies  th e  o u tp u t f ea tu r es f r o m   th e   M FE  m o d u le.      =  ( − 1 , , + 1 )   ( 6 )           Fig u r e  4 .   T h e  s tr u ctu r e  o f   th e   SS E   m o d u le   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R GB - D  s a lien t o b ject  d etec tio n   w ith   lo ca l fe a tu r e  a n d   s ema n tic  s eg men ta tio n   ( Zh a n g   Wa n g )   2779   Nex t,  th r ee   Dee p L ab v 3 +   m o d u les  with   d if f er en t   d ilatio n   r ates  o f   3 ,   6 ,   a n d   9   a r e  u s ed   t o   en h an ce   s alien t  f ea tu r es  th r o u g h   im ag e   s eg m en tatio n .   T h e   en h a n ce m en t  o f   th e  m o d u le  b y   th e   SS E   m ad e  th e   ed g es  o f   th e  o v er all  s alien t e d g e   clea r er   an d   m o r e  d e f in ed .   T h e  en h an ce m en t f o r m u la  is   s h o wn   as  ( 7 ) .      =  (  (  (   3 + (  (  (  (  ) ) ) ) ) ) )   ( 7 )     W h er e     p r esen ts   th e  o u tco m e  o f   th e  SS E   m o d u le,      d em o n s tr ate  th e  o u tp u t  f ea tu r e  o f   th e   u p - d o w n   s am p lin g   m o d u le,     3 +   d en o tes  en h an ce   m o d u le  b ased   o n   Dee p L ab v 3 +   with   a  d ilatio n   r ate   o f   , ( ∈ { 3 , 6 , 9 } ) ,   r esp ec tiv ely .   T h e   SS E   m o d u l e  o u tp u ts    = { 1  , 2  , 3  , 4  } .     3 . 5 .     L o ca l   a nd   g lo ba l a g re e m ent   a nd   edg e  det ec t io n    Nex t,  a  ca p s u le  n etwo r k   is   a d o p ted   t o   ad d r ess   th e  lo ca l  a n d   g lo b al  ag r ee m en t  o f   s alien t  o b jects.  Ad d itio n ally ,   a   d o u b le  f u s io n   m o d u le  b ased   o n   ed g e  d e tectio n   g u i d an ce   is   in t r o d u c ed   to   e n h an ce   th e  ef f ec tiv en ess   o f   th e   L GE   m o d u le.   T h e   p o s e  v ec to r s   o u tp u t   f r o m   th e  ca p s u le   n etwo r k   ar e   co n ca ten ated   with   th e  ed g e  in f o r m atio n   p r o ce s s ed   b y   d o u b le  f u s io n   t o   f o r m   th e   f in al  o u tp u t p o s e  v ec to r s .   As  s h o wn   in   Fig u r e  5 ,   th e  s o u r ce   o f   th e  L GE   is   th e  o u tp u t  f r o m   th e  f o r m er   SS E   m o d u le  at  ea ch   lev el.   T h e  p r im ar y   ca p s u le  an d   th e  L GE   ca p s u le  ar e  f ir s t  b u ilt   to   o b tain   lo ca l  an d   g lo b al   ag r ee m en t  r esu lts .   Nex t,  th e  d o u b le  f u s io n   m o d u le  is   u tili ze d   to   ex tr ac t  im ag e  ed g e  in f o r m atio n ,   e n h an cin g   t h e  p o s e  esti m atio n   o f   th e  ca p s u le  n etwo r k   o u t p u t.  T h en ,   a  Sm is h   ac tiv atio n   f u n ctio n   is   ca r ef u lly   d esig n ed   to   en h an ce   o p tim izatio n   d u r i n g   tr ain in g .   Fin ally ,   th e  p o s e  o f   th e  ca p s u le  n etwo r k   is   co n ca ten ated   with   th e  o u tp u t  o f   d o u b le   f u s io n   to   p r o d u ce   th e   o u tp u t   o f   th e  L GE   m o d u le.   A n d ,      p r esen ts   th e  o u tp u t  f ea tu r e  o f   th e  d o u b le   fu s io n   m o d u le,   ⊕   d en o tes  elem en t - wis e  ad d itio n ,   F S mis h ( · )   and  S mis h ( · )   d en o te  two   e f f ec tiv e   ac tiv atio n   f u n ctio n s ,   1 , 2 , 3   d en o te  th e  o u tp u t  f ea tu r es  f r o m   th e  L GE   m o d u le,    ( · )   d en o tes  d o wn - s am p lin g ,   ( · )   d en o tes  up - s am p lin g .   T h e  f o r m u la  f o r   th e  L GE   p o s e  is   s h o wn   as   ( 8 ) .     _  =  (   (  (  ( 2  ) , 3  ,  ( 4  ) ) ) ,  )   ( 8 )     W h er e   _    p r esen ts   th e  o u tp u t   p o s e  o f   th e   L GE   m o d u le,   2  , 3  , 4    d en o te  o u tp u t  f ea tu r es  f r o m   SS E   m o d u le,     ( · )   d en o tes ca p s u le  n etwo r k .   T h e  f o r m u la  f o r   1 , 2 , 3   is   s h o wn   in   Fig u r e  1 .   T h e  L GE   m o d u le  o u tp u ts   = { 1 , 2 , 3 , _  } .           Fig u r e  5 .   T h e  s tr u ctu r e  o f   th e   L GE   m o d u le   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 7 7 4 - 2 7 8 5   2780   3. 6 .   L o s s   f un ct io ns   T h e  m o d el  f i n ally   o u tp u ts    = { 1  ⊗ 1 , 1 , 2 , 3 , _  } ,   wh er e  1    p r esen ts   o u tp u t  f ea tu r e   1   o f   th e  SS E   m o d u le ,  ⊗   d en o tes  elem en t - wis e  m u ltip licatio n ,     r ef er s   to   th e  o u tp u t  f ea tu r e  o f   th e   L GE   m o d u le.   B in ar y   cr o s s - en tr o p y   ( BCE )   an d   in ter s e ctio n   o v er   u n io n   ( I o U )   l o s s   f u n ctio n s   ar e   ad o p ted   as su p er v is io n   s tr ateg ies.  T h e  f o r m u la  is   s h o wn   as   ( 9 ) .   F iv e  f ea tu r es in   l f s s   ar e  o u tp u t   as th e  f in al  p r ed ictio n s   u n d er   th e  co n s tr ain t  o f   th e  l f s s   lo s s   a s   th e  s u p er v is io n   s tr ateg y ,   an d   th e  s u m m atio n   o f   th ese  f iv e  lo s s es  i s   th e   f in al  lo s s .     = +    ( 9 )       4.   E XP E R I M E N T A L   RE SUL T S AN D  A NALY SI S   4 . 1 .   E x perim ent a l set t ing s   S - m ea s u r e  ( ) ,   m ax im u m   E - m ea s u r e  ( ) ,   m ax im u m   F - m ea s u r e  ( ) ,   an d   m ea n   ab s o lu te   e r r o r   ( MA E )   is   u s ed   f o r   R GB - D  SOD’ s   p er f o r m an ce   co m p a r i s o n .   T h en ,   th e  m o d els   ar e  e v alu ate d   b ased   o n     s ix   d atasets :  NJ U2 K  [ 1 ] ,   NL PR   [ 2 4 ] ,   STE R E   [ 2 5 ] ,   L FS D  [ 2 6 ] ,   SS D  [ 2 7 ] ,   an d   SIP  [ 2 8 ] .   1 , 4 8 5   im ag es  f r o m   NJU2 K  an d   7 0 0   im ag es  f r o m   NL PR   ar e  s elec ted   a s   th e  tr ain in g   d ataset,   an d   th e  o th e r   im ag es  in   th e  two   d atasets   ar e  s er v ed   as  th e   test   d atasets   in   th e   tr ain in g .   All   s ix   d atasets   ar e  s u b s eq u en tly   u s ed   as  test   d atasets   f o r   th e  f in al  ev alu atio n .   E ig h t  d ee p - lear n in g   m o d els  ar e  ad o p ted   f o r   co m p ar is o n   p u r p o s es:  th e  DF  [ 2 4 ] ,   B AS Net  [ 2 9 ] ,  DSA2 F  [ 1 6 ] ,   AFNet  [ 3 0 ] ,   DM R A  [ 3 1 ] ,   PiC ANe t  [ 3 2 ] ,   DC MF  [ 3 3 ] ,   an d   B B S - Net   [ 3 4 ] .   T h e  wh o l e   ex p er im en t  is   co n d u cted   o n   a  s er v er   eq u ip p e d   with   an   I n tel   C o r e  i7 - 1 2 7 0 0 K  3 . 6 GHz   C PU,  an d   an   NVI DI A   GeFo r ce   R T X  3 0 9 0   GPU  ( 2 4   GB   v id eo   m em o r y ) .   T h e  s o f twar e  en v ir o n m en t   u tili ze s   Py th o n   3 . 7 . 2   o n   W in d o ws  1 1 ,   with   Py T o r ch   1 . 1 3 . 0 +c u 1 1 7   s er v i n g   as  th e   d ee p   lear n i n g   f r am ewo r k .   T h e  in p u t  im a g es  ar e   u n if o r m ly   r esized   to   3 8 4 ×3 8 4   p ix els.  T h e  SGD  o p tim izer   is   u s ed   with   an   in itial  lear n in g   r ate  o f   0 . 0 5 ,   a  tr ian g u lar   lear n in g   r ate  s ch ed u le  ( 0 . 0 0 0 5 – 0 . 0 5 ) ,   weig h t  d ec ay   o f   0 . 0 0 0 1 ,   a n d   a  b atch   s ize   o f   4 .   T h e  m o d el  is   tr ain ed   f o r   2 0 0   e p o ch s .   T h e  d ata  an d   s o u r ce   co d e   ar e  o p en l y   av ailab le  in   GitHu b   at  h ttp s ://g ith u b . co m /wz - zr d - ce n tin /LFSS.     4 . 2 .   Q ua ntit a t iv e  e v a lua t io n   Qu an titativ e  r esu lts   ar e  illu s tr ated   in   T a b le  1;   th e  r esu lts   d em o n s tr ate  th at  th e  p r o p o s ed   m o d el  o u tp er f o r m s   all  co m p ar is o n   m o d els   ac r o s s   f o u r   e v alu atio n   m etr ics  o n   s ix   b en c h m ar k   d a tasets .   Am o n g   d ee p   lear n in g - b ased   m o d els,  o u r   L FS S  m eth o d   ac h iev es  th e   b est  o v er all  p er f o r m a n ce .   Sp e cif ically ,   th e  L FS S  s u r p ass es th e  B B S - Net  [ 3 4 ] ,  with   im p r o v em e n ts   o f   u p   to   1 . 2 0 %,  1 . 4 1 %,  2 . 6 8 %,  an d   0 . 0 9 ,   r esp ec tiv ely .         T ab le  1 .  Qu a n titativ e  co m p ar i s o n   o f   eig h t d ee p   lear n in g   m o d els   D a t a s e t   M e t r i c   D e e p   l e a r n i n g   mo d e l s   Th i s   m o d e l   DF   B A S N e t   D S A 2 F   A F N e t   D M R A   P i C A N e t   D C M F   BBS - N e t   LFS S   N JU 2 K   [ 1 ]   α ↑   . 7 6 3   . 8 6 5     . 8 7 5     . 8 8 4     . 8 7 1     . 8 8 0     . 9 1 2     . 9 2 1   . 9 2 8   β ↑   . 8 0 4   . 8 6 1     . 8 7 1     . 8 8 5     . 8 6 5     . 8 6 8     . 9 0 7     . 9 2 0   . 9 3 3   ε ↑   . 8 6 4   . 9 0 9     . 9 1 7     . 9 2 5     . 9 1 6     . 9 2 2     . 9 4 5     . 9 4 9   . 9 5 9   M↓   . 1 4 1   . 0 5 8     . 0 5 2     . 0 5 3     . 0 5 7     . 0 6 1     . 0 3 9     . 0 3 5   . 0 2 8   N LPR   [2 4 ]   α ↑   . 8 0 2   . 9 0 4     . 8 8 0     . 7 5 9     . 8 7 9     . 9 0 1     . 9 1 8     . 9 3 0   . 9 3 4   β ↑   . 7 7 8   . 8 8 1     . 8 5 4     . 6 9 9     . 8 5 3     . 8 7 5     . 9 0 3     . 9 1 8   . 9 2 5   ε ↑   . 8 8 0   . 9 3 8     . 9 3 0     . 8 3 6     . 9 3 3     . 9 4 4     . 9 5 4     . 9 6 1   . 9 6 5   M↓   . 0 8 5   . 0 3 3     . 0 3 8     . 0 7 0     . 0 3 9     . 0 3 8     . 0 2 7     . 0 2 3   . 0 1 9   S TER E   [ 2 5 ]   α ↑   . 7 5 7   . 8 8 3     . 8 7 8     . 8 2 0     . 8 4 4     . 8 9 0     . 9 0 4     . 9 0 8   . 9 1 9   β ↑   . 7 5 7   . 8 7 5     . 8 7 5     . 8 1 2     . 8 4 1     . 8 7 6     . 8 9 5     . 9 0 3   . 9 1 6   ε ↑   . 8 4 7   . 9 2 8     . 9 3 0     . 8 8 9     . 9 0 9     . 9 3 1     . 9 4 5     . 9 4 2   . 9 5 4   M↓   . 1 4 1   . 0 4 8     . 0 4 7     . 0 7 4     . 0 6 5     . 0 5 6     . 0 4 0     . 0 4 1   . 0 3 2   LFS D   [ 2 6 ]   α ↑   . 7 8 3   . 8 0 2     . 8 2 8     . 8 1 7     . 8 0 7     . 8 2 7     . 8 5 8     . 8 6 4   . 8 7 4   β ↑   . 8 1 3   . 7 9 1     . 8 3 3     . 8 1 9     . 8 1 1     . 8 1 6     . 8 5 0     . 8 5 8   . 8 8 1   ε ↑   . 8 5 7   . 8 5 9     . 8 9 0     . 8 6 2     . 8 7 8     . 8 6 9     . 8 9 3     . 9 0 1   . 9 1 1   M↓   . 1 4 5   . 0 9 7     . 0 8 3     . 0 9 2     . 0 9 5     . 0 9 8     . 0 7 4     . 0 7 2   . 0 6 6   SSD   [ 2 7 ]   α ↑   . 7 4 7   . 8 1 1     . 8 2 6     . 8 1 1     . 8 2 6     . 8 3 7     . 8 6 4     . 8 8 2   . 8 8 5   β ↑   . 7 3 5   . 7 9 6     . 8 0 2     . 7 8 5     . 7 9 9     . 7 9 8     . 8 4 1     . 8 5 9   . 8 7 7   ε ↑   . 8 2 8   . 8 8 2     . 8 7 4     . 8 6 6     . 8 7 4     . 8 8 2     . 9 1 9     . 9 1 9   . 9 3 2   M↓   . 1 4 2   . 0 7 4     . 0 6 4     . 0 7 8     . 0 7 8     . 0 7 1     . 0 5 6     . 0 4 4   . 0 4 1   S I P   [ 2 8 ]   α ↑   . 6 5 3   . 8 1 5     . 8 4 6     . 6 2 8     . 8 1 9     . 8 5 0     . 8 5 3     . 8 7 9   . 8 7 9   β ↑   . 6 5 7   . 8 1 8     . 8 5 5     . 5 8 2     . 8 2 0     . 8 4 9     . 8 5 6     . 8 8 3   . 8 9 1   ε ↑   . 7 5 9   . 8 8 2     . 9 0 2     . 7 4 4     . 8 7 7     . 9 1 0     . 9 0 4     . 9 2 2   . 9 2 7   M↓   . 1 8 5   . 0 8 1     . 0 6 4     . 1 6 1     . 0 8 3     . 0 7 3     . 0 6 5     . 0 5 5   . 0 4 9   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R GB - D  s a lien t o b ject  d etec tio n   w ith   lo ca l fe a tu r e  a n d   s ema n tic  s eg men ta tio n   ( Zh a n g   Wa n g )   2781   Fu r th er m o r e ,   as  s h o wn   in   Fig u r e  6 ,   th e  r ed   lin es  p r esen tin g   o u r   L FS S  in d icate   s u p er io r   p er f o r m a n ce   o v er   o th er   m o d els.  As  s h o w n   in   Fig u r e   7 ,   th e   m o d el  is   e v a lu ated   in   d if f er e n t  s ce n ar io s .   I n   th e  f ir s t  lin e,   th e  s alien t  o b ject  is   p ar ticu lar ly   p r o m in en t.  I n   th e  s ec o n d   lin e,   t h er e  ar e  m an if o ld   s alien t  o b ject s .   I n   th e  th ir d   lin e,   th e  s alien t  tar g et  is   ex tr em ely   elo n g ated .   I n   th e   f o u r th   lin e,   th e  s alien t  tar g et  clo s ely   r esem b les  th e  b ac k g r o u n d .   I n   th e  f if th   lin e,   th e  d is tin ctio n   b etwe en   th e  f o r eg r o u n d   an d   th e  b ac k g r o u n d   is   v er y   lo w.   I n   th e  s ix th   lin e,   th e  tar g et  h as  a  co m p lex   s h ap e.   T h ese  r esu lts   d em o n s tr ated   th at  o u r   L FS S  m o d el  ac h iev es  th e   h ig h est ac cu r ac y   am o n g   th e  c o m p ar is o n   m o d els.           F i g u r e   6 .  P r e c is i o n - r e c al l   a n d   F - m e a s u r e   c u r v es   o f   p r o p o s e d   m e t h o d   a n d   o t h e r   S O T A   w i t h   s i x   p o p u l a r   d a t a s e ts           Fig u r e  7 .   T h e  v is u al  co m p ar is o n   o f   o u r   m eth o d   an d   o th er   SOTA s   with   s ix   im ag es f r o m   p o p u lar   d atasets   an d   t h e  im ag es so r ted   f r o m   b est to   wo r s t       4 . 3 .     Co m plex it y   a na ly s is   As  s h o wn   in   T ab le  2 ,   a   co m p l ex ity   an aly s is   o f   ea ch   f u n ctio n al  m o d u le  in   L FS S   is   p r esen ted ,   to talin g   1 6 1 . 4   m illi o n   p a r am eter s   an d   5 7 . 3   g ig a   f lo atin g - p o in t   o p e r atio n s   ( GFLO Ps ) .   T h e   p ar a m eter   co u n t  ac r o s s   m o d u les  ex h i b its   a  p y r am id - s h ap ed   d is tr ib u tio n ,   with   th e   b o tto m - lev el  f ea tu r e  e x tr ac tio n   PVTv 2   m o d u le   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   3 ,   J u n e  2 0 2 6 :   2 7 7 4 - 2 7 8 5   2782   h av in g   th e  lar g est  p ar am eter   co u n t  ( 1 2 4 . 0   m illi o n ) ,   th e  m id d le - lev el  C SA   +   C o n v NeX t  f u s io n   m o d u le   f o llo win g   n ex t  ( 3 0 . 6   m illi o n ) ,   an d   th e  h ig h - lev el  s em an tic  m o d u les  MFE ,   SS E ,   an d   L GE   h av in g   th e   s m allest  p ar am eter   c o u n ts   ( 3 . 8   m illi o n ,   1 . 6   m illi o n ,   an d   1 . 4   m illi o n   r esp ec tiv ely ) ,   wh ic h   in   lin e  w ith   th e  h ier a r ch ical  r ep r esen tatio n   p r in ci p le  o f   d e ep   lear n i n g .   On   t h e   R T X  3 0 9 0   with   a  t h eo r etica l  p ea k   FP 3 2   th r o u g h p u t   o f     3 5 . 6   ter a  f lo atin g - p o in t  o p er a tio n s   p er   s ec o n d   ( T FLOPS ) ,   an d   ac co u n tin g   f o r   o p er atio n al  ef f icien cy   lo s s es,  L FS S  ca n   th eo r etica lly   ac h ie v e  2 0 - 4 0   f r am es  p er   s ec o n d   ( FPS ) .   I n   r ea l  test s ,   h o wev er ,   th e  I n tel  R ea lSen s e  d ep th   ca m er a  ( 3 0   FP S)  an d   o t h er   I /O  co n s tr ain ts   lead   to   th e   p ip elin e  b ein g   m ai n tain ed   at  1 0   FP S.  T h is   v alu e   f alls   with in   th e  n o r m al   r an g e  o f   8 - 2 0   FP S,  wh ich   is   ty p ical  f o r   t r an s f o r m er - i n ten s iv e  R GB - D  SOD  m o d els.   C o n s eq u en tly ,   L FS S  o p er ates  well  with in   a   m an a g ea b le   co m p u tatio n al  b u d g et  a n d   is   r ea d ily   d e p lo y ab le   in   en g in ee r in g   ap p licatio n s .       T ab le  2 .   T h e  p ar am ete r   co u n ts   an d   FLOPs ( FP 3 2 )   u s ed   b y   ea ch   m o d u le  o f   L FS S   M o d u l e s   P a r a me t e r   c o u n t   ( F P 3 2 )   F LO P s   ( F P 3 2 )   F u l l   m o d e l   ( LFS S )   1 6 1 . 4   m i l l i o n   5 7 . 3   G   P V Tv 2   1 2 4 . 0   m i l l i o n   3 4 . 0   G   C S A + C o n v N e X t   3 0 . 6   mi l l i o n   2 2 . 2   G   M F E   3 .8   m i l l i o n   0 . 5   G   SSE   1 .6   m i l l i o n   0 . 3   G   LG E   1 . 4   m i l l i o n   0 . 3   G       5.   CO NCLU SI O N   L F S S   i s   p r o p o s ed ,   an   R G B - D   S OD  m o d e l  in t eg r a ti n g   L F S S .   T h e  m o d e l  e m p lo y s   en co d er - d e co d er   ar ch it ec tu r e .   T h e   en co d er   u ti l ize s   a   PV T v 2   b ac k b o n e   w i th   AP E ,   en h an c ed   b y   C SA   an d   C o n v Ne Xt   m o d u l es   to   f u s e  R G B - D  d a ta  wh i le  p r es er v i n g   lo ca l  f e atu r e s .   T h e  d ec o d e r   co m b in e s   d y n am ic  co n v o lu t io n ,   s em an t ic   s eg m en ta tio n ,   an d   ed g e  d et ec tio n   th r o u g h   MF E ,   S SE,   L G E ,   an d   o t h er   m o d u le s   to   ex tr ac t   s a li en t   o b j ec t s .   T h e  p er f o r m an ce   o f   th e  n et w o r k   is   te s t ed   u s in g   s ix   d a ta s e ts   a n d   f o u r   m e tr i c s .   Af ter   co m p ar i n g   it   to   eig h t   d ee p   l ea r n in g   m o d el s ,   th e  r e s u lt s   s h o w  th a t  L F S S  ac h iev e s   th e  h ig h e s t  p r e ci s io n .   T h e   m o d el  c an   f u n c t io n   a s   a  s tan d alo n e  m o d u le  an d   c an   al s o   b e  ap p l ied   to   o th er   f ie ld s   o f   m ac h in e  v i s io n   t o   d el iv er   ex ce ll en t   p er f o r m an c e.   I n   th e  f iel d   o f   en g in ee r in g   ap p l ic at io n s ,   e v en   w i th   lo w - q u al i ty   R G B   an d   d ep th   d at a  an d   ex tr em e ly   co m p lex   b a ck g r o u n d s ,   L F SS   e f f e ct iv e ly   ex t r ac t s   s al ien t  o b j ec ts .   At   th e   m a c r o   l ev e l,   th e  L F S S   m o d el  ac cu r a te ly   id en tif ie s   t h e  co r r ec t  n u m b er   o f   s a li en t   o b je ct s ,   wh i le  at  th e  m ic r o   lev e l,  it  ca p tu r e s   d eta i led   o b j ec t  ed g e s .   Ad d i t io n a lly ,   L F S S  i s   an   i n tu it iv e  an d   g en er a l izab le   m o d el   t h at  ca n   b e   r e ad i ly   in t eg r a ted   in to   o th e r   v i s io n   s y s t em s .       F UNDING   I NF O R M A T I O N   T h is   p ap er   is   s u p p o r ted   b y   t h e  Gen er al  R esear ch   Pro jects  o f   Z h ejian g   Pr o v in cial  Dep ar tm en t  o f   E d u ca tio n   ( Gr an t N o .   Y 2 0 2 4 5 6 1 0 1 ) .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Z h an g   W an g   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓       ✓   ✓   Kim   On   C h in     ✓       ✓   ✓     ✓     ✓     ✓     ✓   R ay n er   Alf r ed     ✓       ✓   ✓     ✓     ✓     ✓     ✓   J u n y i Ch a i       ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓         R u n d o n g   Z h an g   ✓     ✓       ✓     ✓   ✓     ✓         So o   See   C h ai     ✓       ✓   ✓     ✓     ✓     ✓     ✓     C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R GB - D  s a lien t o b ject  d etec tio n   w ith   lo ca l fe a tu r e  a n d   s ema n tic  s eg men ta tio n   ( Zh a n g   Wa n g )   2783   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au th o r   d ec lar es  th at  th er e  ar e  n o   k n o wn   co n f licts   o f   in ter est  ass o ciate d   wi th   th is   p u b licatio n .   T o   th e  b est o f   th e  a u th o r ’ s   k n o wl ed g e,   n o   f in a n cial,   p er s o n al,   p r o f ess io n al,   o r   i n s titu tio n al  r elatio n s h ip s   ex is t th at  co u ld   h av e  i n f lu en ce d   th e   d esig n ,   co n d u ct,   i n ter p r etatio n ,   o r   r ep o r tin g   o f   t h e  wo r k   i n   an y   in ap p r o p r iate   m an n er .   T h e   au th o r   also   co n f ir m s   th at  th is   m a n u s cr ip t   was  p r e p ar ed   in d e p en d e n tly   a n d   o b jectiv ely ,   with o u t   an y   ex ter n al  p r ess u r e  o r   in ter e s t th at  m ig h t c o m p r o m is e  its   in teg r ity .       DATA AV AI L AB I L I T Y   T h e  d ata  a n d   s o u r ce   co d e   h av e  b ee n   m a d e  p u b licly   av ailab le  f r o m   GitHu b   r e p o s ito r y   at  h ttp s ://g ith u b . co m /wz - zr d - ce n tin /LFSS .       RE F E R E NC E S   [ 1 ]   A .   B o r j i ,   M .   M .   C h e n g ,   Q .   H o u ,   H .   Ji a n g ,   a n d   J.  Li ,   “ S a l i e n t   o b j e c t   d e t e c t i o n :   a   s u r v e y , ”   C o m p u t a t i o n a l   V i su a l   M e d i a ,   v o l .   5 ,     n o .   2 ,   p p .   1 1 7 – 1 5 0 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 0 9 5 - 0 1 9 - 0 1 4 9 - 9.   [ 2 ]   M .   M a sa n a ,   X .   L i u ,   B .   Tw a r d o w s k i ,   M .   M e n t a ,   A .   D .   B a g d a n o v ,   a n d   J.   V .   D .   W e i j e r ,   “ C l a ss - i n c r e me n t a l   l e a r n i n g :   s u r v e y   a n d   p e r f o r m a n c e   e v a l u a t i o n   o n   i m a g e   c l a s si f i c a t i o n , ”   I EEE  T r a n s a c t i o n s o n   P a t t e r n   An a l y si s a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 5 ,   n o .   5 ,   p p .   5 5 1 3 – 5 5 3 3 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 2 2 . 3 2 1 3 4 7 3 .   [ 3 ]   I .   U l k u   a n d   E .   A k a g ü n d ü z ,   “ A   su r v e y   o n   d e e p   l e a r n i n g - b a s e d   a r c h i t e c t u r e s  f o r   sem a n t i c   se g me n t a t i o n   o n   2 D   i ma g e s, ”   A p p l i e d   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 6 ,   n o .   1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 0 8 8 3 9 5 1 4 . 2 0 2 2 . 2 0 3 2 9 2 4 .   [ 4 ]   W .   W a n g ,   Q .   L a i ,   H .   F u ,   J .   S h e n ,   H .   Li n g ,   a n d   R .   Y a n g ,   “ S a l i e n t   o b j e c t   d e t e c t i o n   i n   t h e   d e e p   l e a r n i n g   e r a :   a n   i n - d e p t h   su r v e y , ”   I EEE  T ra n s a c t i o n s  o n   P a t t e r n   An a l y si s  a n d   M a c h i n e   I n t e l l i g e n c e ,   v o l .   4 4 ,   n o .   6 ,   p p .   3 2 3 9 – 3 2 5 9 ,   2 0 2 2 ,     d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 2 1 . 3 0 5 1 0 9 9 .   [ 5 ]   A .   C h e n ,   X .   Li ,   T.   H e ,   J .   Zh o u ,   a n d   D .   C h e n ,   “ A d v a n c i n g   i n   R G B - D  sa l i e n t   o b j e c t   d e t e c t i o n :   a   s u r v e y , ”   A p p l i e d   S c i e n c e s ,   v o l .   1 4 ,   n o .   1 7 ,   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 4 1 7 8 0 7 8 .   [ 6 ]   Y .   P e n g ,   Z .   Z h a i ,   a n d   M .   F e n g ,   “ S L M S F - N e t :   a   se ma n t i c   l o c a l i z a t i o n   a n d   mu l t i - sc a l e   f u si o n   n e t w o r k   f o r   R G B - D  sal i e n t   o b j e c t   d e t e c t i o n , ”   S e n so rs ,   v o l .   2 4 ,   n o .   4 ,   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / s 2 4 0 4 1 1 1 7 .   [ 7 ]   M .   Z h o n g ,   J .   S u n ,   P .   R e n ,   F .   W a n g ,   a n d   F .   S u n ,   “ M A G N e t :   m u l t i - sc a l e   a w a r e n e ss  a n d   g l o b a l   f u s i o n   n e t w o r k   f o r   R G B - D   s a l i e n t   o b j e c t   d e t e c t i o n , ”   K n o w l e d g e - B a se d   S y st e m s ,   v o l .   2 9 9 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 4 . 1 1 2 1 2 6 .   [ 8 ]   C .   S u n ,   Q .   Z h a n g ,   C .   Z h u a n g ,   a n d   M .   Z h a n g ,   “ B M F N e t :   b i f u r c a t e d   m u l t i - m o d a l   f u s i o n   n e t w o r k   f o r   R G B - D   sal i e n t   o b j e c t   d e t e c t i o n , ”   I m a g e   a n d   V i si o n   C o m p u t i n g ,   v o l .   1 4 7 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i m a v i s. 2 0 2 4 . 1 0 5 0 4 8 .   [ 9 ]   Y .   P e n g ,   M .   F e n g ,   a n d   Z.   Z h e n g ,   “ R G B - D   sa l i e n t   o b j e c t   d e t e c t i o n   me t h o d   b a se d   o n   m u l t i - mo d a l   f u si o n   a n d   c o n t o u r   g u i d a n c e , ”   I EEE  A c c e ss ,   v o l .   1 1 ,   p p .   1 4 5 2 1 7 – 1 4 5 2 3 0 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 3 . 3 3 4 4 6 4 4 .   [ 1 0 ]   W .   W a n g   e t   a l . ,   “ P V T v 2 :   i m p r o v e d   b a sel i n e s   w i t h   p y r a m i d   v i si o n   t r a n s f o r mer,”   C o m p u t a t i o n a l   V i s u a l   Me d i a ,   v o l .   8 ,   n o .   3 ,     p p .   4 1 5 – 4 2 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 0 9 5 - 0 2 2 - 0 2 7 4 - 8.   [ 1 1 ]   Z.   L i u ,   H .   M a o ,   C .   Y .   W u ,   C .   F e i c h t e n h o f e r ,   T.   D a r r e l l ,   a n d   S .   X i e ,   “ A   C o n v N e t   f o r   t h e   2 0 2 0 s,”   i n   2 0 2 2   I EEE / C V F  C o n f e r e n c e   o n   C o m p u t e r  Vi s i o n   a n d   P a t t e r n   Re c o g n i t i o n   ( C VPR) ,   N e w   O r l e a n s ,   U n i t e d   S t a t e s ,   2 0 2 2 ,   p p .   1 1 9 6 6 – 1 1 9 7 6 ,     d o i :   1 0 . 1 1 0 9 / C V P R 5 2 6 8 8 . 2 0 2 2 . 0 1 1 6 7 .   [ 1 2 ]   K .   H e ,   X .   Z h a n g ,   S .   R e n ,   a n d   J.  S u n ,   “ S p a t i a l   p y r a mi d   p o o l i n g   i n   d e e p   c o n v o l u t i o n a l   n e t w o r k s  f o r   v i s u a l   r e c o g n i t i o n , ”   I EEE   T ra n s a c t i o n s  o n   P a t t e rn   A n a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   3 7 ,   n o .   9 ,   p p .   1 9 0 4 – 1 9 1 6 ,   2 0 1 5 ,     d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 5 . 2 3 8 9 8 2 4 .   [ 1 3 ]   T.   Z h o u ,   D .   P .   F a n ,   M .   M .   C h e n g ,   J.  S h e n ,   a n d   L .   S h a o ,   “ R G B - D   s a l i e n t   o b j e c t   d e t e c t i o n :   a   s u r v e y , ”   C o m p u t a t i o n a l   V i s u a l   Me d i a ,   v o l .   7 ,   n o .   1 ,   p p .   3 7 – 6 9 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 0 9 5 - 020 - 0 1 9 9 - z.   [ 1 4 ]   W .   J i   e t   a l . ,   “ C a l i b r a t e d   R G B - D  sa l i e n t   o b j e c t   d e t e c t i o n , ”   i n   2 0 2 1   I E E E/ C VF  C o n f e r e n c e   o n   C o m p u t e r  Vi si o n   a n d   P a t t e r n   Re c o g n i t i o n   ( C VPR) ,   2 0 2 1 ,   p p .   9 4 6 6 – 9 4 7 6 ,   d o i :   1 0 . 1 1 0 9 / C V P R 4 6 4 3 7 . 2 0 2 1 . 0 0 9 3 5 .   [ 1 5 ]   Q .   C h e n ,   Z.   Li u ,   Y .   Zh a n g ,   K .   F u ,   Q .   Zh a o ,   a n d   H .   D u ,   “ R G B - D  sa l i e n t   o b j e c t   d e t e c t i o n   v i a   3 D   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s , ”   T h e   3 5 t h   AA A I   C o n f e re n c e   o n   A rt i f i c i a l   I n t e l l i g e n c e   ( A AA I - 21) ,   p p .   1 0 6 3 – 1 0 7 1 ,   M a y   2 0 2 1 ,     d o i :   1 0 . 1 6 0 9 / a a a i . v 3 5 i 2 . 1 6 1 9 1 .   [ 1 6 ]   P .   S u n ,   W .   Zh a n g ,   H .   W a n g ,   S .   Li ,   a n d   X .   Li ,   “ D e e p   R G B - D  sa l i e n c y   d e t e c t i o n   w i t h   d e p t h - se n si t i v e   a t t e n t i o n   a n d   a u t o m a t i c   mu l t i - m o d a l   f u s i o n , ”   i n   Pr o c e e d i n g s   o f   t h e   I EEE   C o m p u t e r  S o c i e t y   C o n f e re n c e   o n   C o m p u t e r  V i si o n   a n d   P a t t e rn   Re c o g n i t i o n ,  2 0 2 1 ,   p p .   1 4 0 7 – 1 4 1 7 ,   d o i :   1 0 . 1 1 0 9 / C V P R 4 6 4 3 7 . 2 0 2 1 . 0 0 1 4 6 .   [ 1 7 ]   R .   C o n g   e t   a l . ,   “ C I R - N e t :   c r o ss - m o d a l i t y   i n t e r a c t i o n   a n d   r e f i n e m e n t   f o r   R G B - D  sal i e n t   o b j e c t   d e t e c t i o n , ”   I E EE   T ra n sa c t i o n s  o n   I m a g e   Pr o c e ssi n g ,   v o l .   3 1 ,   p p .   6 8 0 0 – 6 8 1 5 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / TI P . 2 0 2 2 . 3 2 1 6 1 9 8 .   [ 1 8 ]   W .   Z h a n g ,   Y .   Ji a n g ,   K .   F u ,   a n d   Q .   Zh a o ,   “ B TS - N e t :   bi - d i r e c t i o n a l   t r a n sf e r - a n d - sel e c t i o n   n e t w o r k   f o r   R G B - D  sal i e n t   o b j e c t   d e t e c t i o n , ”   i n   I 2 0 2 1   I EEE   I n t e r n a t i o n a l   C o n f e re n c e   o n   Mu l t i m e d i a   a n d   Ex p o   ( I C M E) ,   S h e n z h e n ,   C h i n a ,   2 0 2 1 ,   p p .   1 – 6 ,     d o i :   1 0 . 1 1 0 9 / I C M E5 1 2 0 7 . 2 0 2 1 . 9 4 2 8 2 6 3 .   [ 1 9 ]   X .   Z.   J i a ,   C .   L.   D o n g Y e ,   a n d   Y .   J .   P e n g ,   “ S i a Tr a n s:   S i a mes e   t r a n sf o r m e r   n e t w o r k   f o r   R G B - D   sa l i e n t   o b j e c t   d e t e c t i o n   w i t h   d e p t h   i ma g e   c l a ssi f i c a t i o n , ”   I m a g e   a n d   V i si o n   C o m p u t i n g ,   v o l .   1 2 7 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . i ma v i s . 2 0 2 2 . 1 0 4 5 4 9 .   [ 2 0 ]   K .   Y i ,   Y .   Li ,   J .   X u ,   a n d   J .   Zh a n g ,   “ D u a l   mu t u a l   l e a r n i n g   n e t w o r k   w i t h   g l o b a l - l o c a l   a w a r e n e s s  f o r   R G B - D   sa l i e n t   o b j e c t   d e t e c t i o n , ”   C i r c u i t s ,   S y s t e m s,  a n d   S i g n a l   P ro c e s s i n g ,   v o l .   4 4 ,   n o .   1 0 ,   p p .   7 5 4 9 – 7 5 7 6 ,   Ju n .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s0 0 0 3 4 - 025 - 0 3 1 4 3 - 4.   [ 2 1 ]   L.   C .   C h e n ,   Y .   Z h u ,   G .   P a p a n d r e o u ,   F .   S c h r o f f ,   a n d   H .   A d a m ,   “ E n c o d e r - d e c o d e r   w i t h   a t r o u s  se p a r a b l e   c o n v o l u t i o n   f o r   sema n t i c   i ma g e   s e g me n t a t i o n , ”   C o m p u t e r  V i si o n   –   EC C V  2 0 1 8   ( E C C V  2 0 1 8 ) :  1 5 t h   Eu r o p e a n   C o n f e r e n c e ,   p p .   8 3 3 – 8 5 1 ,   2 0 1 8 ,     d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 030 - 0 1 2 3 4 - 2 _ 4 9 .   [ 2 2 ]   M .   C h e n   e t   a l . ,   “ D R ‐ N e t :  a n   i m p r o v e d   n e t w o r k   f o r   b u i l d i n g   e x t r a c t i o n   f r o m  h i g h   r e so l u t i o n   r e m o t e   s e n s i n g   i m a g e , ”   Re m o t e   S e n si n g ,   v o l .   1 3 ,   n o .   2 ,   p p .   1 – 1 9 ,   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / r s1 3 0 2 0 2 9 4 .   [ 2 3 ]   S .   D u ,   S .   D u ,   B .   Li u ,   a n d   X .   Z h a n g ,   “ I n c o r p o r a t i n g   D e e p La b v 3 +   a n d   o b j e c t - b a se d   i m a g e   a n a l y si s   f o r   se ma n t i c   seg m e n t a t i o n   o f   v e r y   h i g h   r e s o l u t i o n   r e mo t e   se n si n g   i ma g e s, ”   I n t e rn a t i o n a l   J o u r n a l   o f   D i g i t a l   E a rt h ,   v o l .   1 4 ,   n o .   3 ,   p p .   3 5 7 – 3 7 8 ,   2 0 2 1 ,     d o i :   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 2 0 . 1 8 3 1 0 8 7 .     Evaluation Warning : The document was created with Spire.PDF for Python.