I n te r n ati o n al   Jo u r n al   o f  A d v an c e s   i n   A p p l i e d   S c i e n c e s   (I JA A S )   V o l .   1 5 ,   N o .   3 ,  S e pt e m b e r   20 2 6 ,   pp .   975 ~ 989   IS S N :   2252 - 8814 ,  D O I :   10. 1 1591 / i j a a s . v 1 5 . i 3 . pp 975 - 98 9             975       Jou r n al   h o m e pa ge :  ht t p: / / i j aas . i a e s c or e . c om   R e c e n t   a d v a n c e s  i n   c o m p u t e r   v i si o n   seg m e n t a t i o n   f o r   u r b a n   t r e e   d e t e c t i o n   u si n g   st r e e t   v i e w   i m a g e r y :   a   l i t e r a t u r e   r e v i e w       M u h amm ad   F ar e e z   R as h d an 1 ,   N u r b ai ty   S ab r i 2 , 3 ,   S h afaf   I b r ah i m 1 , 3 ,   N o r   M as r i   S ah r i 2   1 F a c u l t y   o f  C o m p u t e r  a n d   M a t h e m a t i c a l   S c i e n c e s ,   U n i v e r s i t i   T e k n o l o g i   M A RA ,   S h a h   A l a m ,   M a l a y s i a   2 F a c u l t y   o f  C o m p u t e r  a n d   M a t h e m a t i c a l   S c i e n c e s ,   U n i v e r s i t i   T e k n o l o g i   M A RA   Ca w a n g a n   M e l a k a   K a m p u s   J a s i n ,   M e l a k a ,   M a l a y s i a   3 Ce n t e r   o f  V i s i o n ,   A l g o ri t h m ,   a n d   M a n a g e m e n t   A n a l y t i c s ,   U n i v e r s i t i   T e k n o l o g i   M A R A ,   S h a h   A l a m ,  M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  S e p  25,   2 025   R e v i s e d  J un   5 ,   2026   A c c e pt e d  J un  17 ,   2026       S e g m e nt a t i o n  o f   t r e e s   i n  u r ba n   s e t t i ng s   i s   i m po r t a n t   f o r   t r a c ki ng   ve g e t a t i o n   a nd  m a na g i ng   g r e e n  i nf r a s t r uc t u r e   i n  u r b a n  a r e a s .   H o w e v e r ,   t he r e   a r e   num e r o us   f a c t o r s   t ha t   m a ke   i t   d i f f i c ul t   t o   o bt a i n  p r e c i s e   r e s ul t s ,   s uc h  a s   di f f e r e nc e s   i n   t r e e   s pe c i e s ,   s e a s o n ,   a nd   e nv i r o nm e nt a l   v a r i a b l e s .   S t r e e t - v i e w   i m a g e r y   c a n  p r o v i de   a   v a l ua bl e   da t a b a s e   t o   be   us e d   f o r   t h e   de t e c t i o n  a nd   i de n t i f i c a t i o n  o f   t r e e s .   U nf o r t un a t e l y ,   t he   p r o c e s s   o f   l a be l l i n g   i m a g e s   m a nua l l y   i s   t i m e - c o ns um i ng   a n d  i nc o ns i s t e nt .   I n  r e c e nt   y e a r s ,   d e e p  l e a r n i ng   m o de l s   ha v e   pr o v i de d   b e t t e r   a u t o m a t i o n   a n d  pr e c i s i o n .   H o w e v e r ,   d i f f i c ul t i e s   i n   o bt a i ni ng   r e s u l t s   pe r s i s t   due   t o   f a c t o r s   s uc h   a s   o c c l us i o n,   ba c kg r o und,   a nd   c ha ng e s   i n   l i g ht i ng   c o ndi t i o ns .   T h e r e f o r e ,   t h i s   p a pe r   pr e s e nt s   a n   o v e r v i e w   o f   t he   c ur r e nt   t r e n ds   i n   t he   us e   o f   de e p  l e a r ni ng   f o r   t h e   d e t e c t i o n  a nd   s e g m e nt a t i o n  o f   t r e e s .   S pe c i f i c a l l y ,   t h e   f o l l o w i ng   a s pe c t s   w i l l   be   di s c us s e d   i n  t h i s   w o r k:   pr e p r o c e s s i ng   o f   i m a g e s ,   s e m a n t i c   a nd   i ns t a nc e   s e g m e nt a t i o n,   m o de l s   b a s e d  o n  d e e p  l e a r ni ng ,   a nd   t r a ns f o r m e r s .   T hi s   l i t e r a t ur e   r e v i e w   a l s o   a na l y z e s   c ur r e n t   da t a s e t s ,   e v a l u a t i o n  m e a s ur e s ,   a nd  a pp l i c a t i o ns ,   o f f e r i ng  kno w l e dg e   a bo ut   e xi s t i ng   c ha l l e ng e s   a nd   f ut u r e   di r e c t i o ns   f o r   f ur t he r   s t ud i e s .   T h e   a r t i c l e   i s   de s i g ne d   t o   b e   a   s o ur c e   o f   r e f e r e nc e   f o r   s c i e nt i s t s   a nd   pr a c t i t i o ne r s   w o r k i ng   o n  pr o bl e m s   r e l a t e d  t o   u r ba n  v e g e t a t i o n  c l a s s i f i c a t i o n  a nd  c o m put e r   v i s i o n.   Ke y w or d s :   Co m put e r  v i s i o n   D e e p  l e a rni n g   S t r e e t   v i e w   i m a ge r y   T r e e   s e gm e n t a t i o n   U r b a n   f o r e s t r y   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   S ha f a f   Ib r a h i m   F a c ul t y   of   Co m put e r   a n d   M a t h e m a t i c a l   S c i e n c e s ,  U n i v e r s i t i   T e kn o l o gi   M A R A   S ha h   A l a m ,   S e l a n go r ,   M a l a y s i a   E m a i l :   s ha f a f 2429@ u i t m . e du . m y       1.   I N TR O D U C TI O N   T r e e s   i n   u r b a n  a r e a s   p l a y   a   v i t a l   r o l e   i n   s us t a i na b l e   u r b a n  de ve l o pm e n t ,   e s pe c i a l l y   i n   t e r m s   o f   a i r   puri f i c a t i o n ,   l o w e r i n g   t h e   h e a t   i n  u r b a n  a r e a s ,   c a pt u ri n g   c a r b o n ,   a n d   e c o l o gi c a l   r e s i l i e n c y   [1].   W i t h  t h e   i n c r e a s i ng  t r e n d   o f   da t a - d ri v e n   u r b a n   p l a nni n g   i n  r e c e n t   y e a r s ,   t h e r e   i s   a   n e e d  f o r   a c c ura t e   de t e c t i o n   a n d   s e gm e n t a t i o n   o f   t r e e s   i n  u r b a n   s e t t i n gs   t o   h e l p  m a na ge   g r e e n   s p a c e s ,   m o ni t o r  e n v i r o n m e n t a l   c ha n ge s ,   a n d   i m p l e m e nt   c l i m a t e   c h a n ge   a da pt a t i o n   s t ra t e gi e s .   I n   t h e   s m a r t   c i t y   c o n c e pt ,   t h e   us e   o f   ve ge t a t i o n   d a t a   ha s   b e c o m e   i n c r e a s i ngl y   i m po rt a nt   i n   de c i s i o n - m a ki ng  a n d  u r b a n  pl a nn i ng.   S pe c i f i c a l l y ,   i t   s h o ul d   b e   n o t e d  t ha t   s t r e e t - l e v e l   i m a ge r y   c a n   s e r v e   a s   a n  a l t e rn a t i v e   s o ur c e   of   ve ge t a t i o n  da t a   i n  c o n t ra s t   t o   a e r i a l   a nd  s a t e l l i t e   i m a ge r y   [2].   A c c ur a t e   s e gm e n t a t i o n   i s   e s s e n t i a l   b e c a us e   i t   e n a b l e s   pi x e l - l e v e l   de l i n e a t i o n  o f   i n di v i du a l   t r e e   s t ruc t u r e s ,   f a c i l i t a t i n g   a c c ura t e   c a n o p y   c ove r   e s t i m a t i o n ,   e v a l ua t i o n  o f   t h e   s t a t e   o f   t r e e s ,   s pe c i e s - s pe c i f i c   s t udy ,   a n d   s p a t i a l   di s t ri b ut i o n  a na l y s i s   [3].   A s   c o m pa r e d   t o   s i m p l e   de t e c t i o n ,   s e gm e n t a t i o n  p r o v i de s   m o r e   s pe c i f i c   da t a   t h a t   i s   n e c e s s a r y   f o r   u r b a n  f o r e s t r y   a na l y s i s ,   de c i s i o n - m a ki ng,   a n d   i t s   i n c o r po r a t i o n  i nt o  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   975 - 989   976   ge o gr a p h i c   i n f o r m a t i o n   s y s t e m s .   T h e   i n c r e a s e d  l e v e l   of   de t a i l   m a ke s   i t   po s s i b l e   t o   us e   i t   f o r   a dv a n c e d   purpo s e s   l i ke   a u t o m a t i c   i n v e nt o r y   c r e a t i o n ,   g r o w t h  t ra c ki ng,   a n d   qu a n t i fy i n g  e c o s y s t e m   s e r v i c e s ,   t h e r e b y   i m p r o v i n g   t h e   o v e r a l l   e ff e c t i v e n e s s   of   ur b a n   g r e e n   i n f ra s t r uc t u r e   m a na ge m e n t   i n  s m a r t   c i t y   e c o s y s t e m s .   H ow e ve r ,   t r e e   s e gm e n t a t i o n  i n  s t r e e t   v i e w   i m a ge s   i s   pa rt i c ul a r l y   c h a l l e n gi ng.   T r e e s   o f   t h e   s a m e   s pe c i e s   c a n   b e   v e r y   di ff e r e n t   f r o m   o n e   a n o t h e r  de pe n d i n g   o n   t h e   s e a s o n  o r   s pe c i e s ;   t r e e s   a r e   o c c l ude d  b y   b ui l di n gs   a n d  v e hi c l e s ,   a nd  t h e r e   a r e   v a ri a t i o n s   i n   t h e   l i g ht i n g   c o n di t i o n s   [4].   I n   c o nt r a s t   t o   t h e   r e m o t e   s e n s i n g  i m a ge s ,   t h e   s t r e e t - l e v e l   i m a ge s   c o n t a i n   a   l o t   o f   di s t ra c t i o n s   i n   t h e   b a c kgr o u n d  a n d   di s t o r t i o n s   due   t o  t h e   pe r s pe c t i v e ,   w h i c h   m a ke s   i t   a   l o t   m o r e   di f f i c ul t   t o   c l a s s i fy   t h e   i m a ge   a t   t h e   pi xe l   l e v e l .   M a s s i v e   da t a s e t s   f r o m   s e r v i c e s   l i ke   G o o gl e   S t r e e t   V i e w   (G S V )   a r e   g r e a t   t o   s uppo r t   l a r ge - s c a l e   a na l y s i s   of   u r b a n  v e ge t a t i o n ,   b ut   t h e   b a c kgr o un d   a nn o t a t i o n s   a r e   m a n u a l ,   a n d  t o   do   t h e m   o n   a   l a r ge   s c a l e   i s   j us t   n o t   p ra c t i c a l   [5] .   T h e     a b ov e - m e n t i o n e d   l i m i t a t i o n s   m e a n  t ha t   t h e r e   i s   a   n e e d  f o r   m o r e   a dv a n c e d  a l go ri t hm s   t o   pe r f o r m   pi xe l   s e gm e n t a t i o n  i n  c o m pl e x  a n d   v a r i e d  u r b a n   e n v i r o nm e nt s .   T h e r e   h a v e   b e e n   n o t a b l e   i m p r o v e m e n t s   i n  t h e   a c c ur a c y   of   t r e e   de t e c t i o n  due   t o   t h e   r e c e n t   de v e l o pm e n t s   i n  c o m put e r   v i s i o n ,   p a r t i c ul a rl y   t h e   de e p  l e a rni n g - b a s e d  s e m a n t i c   a n d   i n s t a n c e   s e gm e nt a t i o n  m o de l s   [6] .   A   s i g ni f i c a nt   s e gm e n t a t i o n  pe r f o r m a n c e   e nha n c e m e n t ,   a s   w e l l   a s   i n c r e a s e d  ge n e r a l i z a t i o n,   h a s   b e e n   o b s e r ve d  a s   t h e   f i e l d   o f   r e s e a r c h  h a s   m o v e d  f r o m   t ra d i t i o n a l   t e c hn i q ue s   t o   c o n v o l ut i o n a l   n e u r a l   n e t w o r ks   (CN N s ) ,   a nd   m o r e   r e c e n t l y   t o   t r a n s f o r m e r - b a s e d  a r c h i t e c t u r e s   a n d   m o de l s   [ 7].   T h e   i n t r o duc t i o n  o f   t h e   s e gm e n t   a n y t hi n g   m o de l   (S A M )   i s   a   s i g n i f i c a n t   de v e l o pm e n t   i n  t h e   f i e l d,   a s   i t   ha s   p r o v e n   e xc e pt i o n a l   z e r o - s h o t   ge n e ra l i z a t i o n   a n d  s e gm e n t a t i o n   c us t o m i z a b i l i t y   a c r o s s   a   ra n ge   of   di ff e r e n t   v i s ua l   t a s ks .   W i t h   f l e xi b i l i t y   t o   i n t e ra c t   w i t h   S A M   us i n g  po i n t s ,   b o un di n g  b o xe s ,   o r   m a s ks ,   t h e   de pe n de n c e   o n   m a s s i v e ,   m a nua l l y   a nn o t a t e d  d a t a s e t s   i s   dra s t i c a l l y   r e duc e d  [8].   S A M   i s   s c a l a b l e   a n d   a da p t a b l e ,   r e n de r i ng  i t   i de a l   f o r   s e gm e n t a t i o n   o f   ur b a n  t r e e s   w i t h i n  c o m pl e x  s t r e e t   i m a ge s ,   e s pe c i a l l y   i n   s m a rt   c i t y   da t a   p r o c e s s e s ,   w h e r e   s c a l a b l e   a n d   a d a pt a b l e   s o l ut i o n s   a r e   n e e de d.   In  s p i t e   o f   t h e s e   ki nds   o f   de v e l o pm e n t s ,   f e w   s t udi e s   ha v e   b e e n  do n e   o n  t h e   ut i l i z a t i o n  o f   l i g h t w e i g h t   v e r s i o n s   o f   S A M ,   s uc h  a s   e f f i c i e n t   v i s i o n  t r a n s f o r m e r  ( E f f i c i e n t V i T ) - S A M .   E f f i c i e n t V i T - S A M   a l s o   po s s e s s e s   a r c h i t e c t u ra l   a dv a n c e m e n t s   t h a t   e nha n c e   c o m pu t a t i o na l   e f fe c t i ve n e s s   a n d   s pe e d   up   i n f e r e n c e ,   w h i c h  a r e   m o r e   a pp r o p r i a t e   i n  r e a l - t i m e   a n d  b i g - c i t y   a ppl i c a t i o n s .   N e v e r t h e l e s s ,   e m p i r i c a l   a n a l y s i s   a n d   i t s   a ppl i c a t i o n   i n  c i t y   s t r e e t - l e v e l   t r e e   s e gm e n t a t i o n   ha v e   y e t   t o  b e   i m pl e m e nt e d  [9] .   T hi s   i s   o n e   o f   t h e   po s s i b l e   r e s e a r c h   di r e c t i o n s   t o   e xpl o r e   h o w   t o   b a l a n c e   E f f i c i e n t V i T - S A M   t o   be   a c c ur a t e   a n d  e f f i c i e n t   i n  r e a l - w o r l d   ur b a n  s e t t i ngs ,   p a r t i c ul a rl y   i n  s m a r t   c i t y   s y s t e m s   w i t h  hi g h  p e r f o r m a n c e   a n d   l o w   c o m put a t i o n a l   c o s t .   M o de rn   pi pe l i n e s   t y pi c a l l y   c o m b i n e   p r e p r o c e s s i n g,   m o de l   t ra i n i n g ,   i n f e r e n c e ,   a n d   qua nt i t a t i v e   e v a l ua t i o n  s t e ps   a n d   a r e   o f t e n   o pt i m i z e d  t o   h a ndl e   l a rge - s c a l e   da t a   a n d   r e a l - t i m e   i n f e r e n c e   s c e n a ri o s   [10] .   R e c e n t l y ,   t h e   t r e n d   ha s   b e e n   t o   t a r ge t   m o r e   c o m put a t i o n a l   e f f i c i e n c y   t ha t   f a c i l i t a t e s   i t s   i n t e g r a t i o n   w i t h  s m a r t   c i t y   pl a t f o r m s ,   ge o gr a p h i c   i n f o r m a t i o n   s y s t e m s ,   a n d   A I - b a s e d  u r b a n  a na l y t i c s   da s h b o a r ds .   A l t h o u g h   v e ge t a t i o n   s e gm e n t a t i o n   i n   r e m o t e   s e n s i n g   h a s   b e e n   e xt e n s i v e l y   s t udi e d  [1 1],   [12] ,   l i t t l e   ha s   b e e n   do n e   t o   a na l y z e   t h e   t e c hni que s   us e d  t o   s t udy   s t r e e t - l e v e l   i m a ge r y .   Is s ue s   w i t h  s t r e e t - v i e w   e n v i r o n m e n t s   i n c l ude   pe r s pe c t i v e - b a s e d   o bj e c t   o c c l us i o n   o f   de t a i l e d   t r e e   b o un da ri e s   t ha t   ha v e   n o t   y e t   b e e n   f ul l y   a dd r e s s e d  i n   a e ri a l   r e s e a r c h.   B a s i c   m o de l s   s uc h  a s   S A M   a n d   v a r i a n t s   ha v e   e m e r ge d  a t   a   r a pi d   pa c e   s i n c e   2022 - 2026 .   H ow e ve r ,   r e v i e w s   of   t h e   a ppl i c a t i o n   o f   t h e s e   m o de l s   t o   ur b a n   t r e e   s e gm e n t a t i o n   w i t h   s t r e e t - l e v e l   i m a ge r y   a r e   s t i l l   l a c ki n g .   T h i s   i s   a   ni c h e   a r e a   t ha t   i s   n o t   w e l l   c o ve r e d  i n   m o s t   e xi s t i n g  s t udi e s   r e l a t e d  t o   s e gm e n t a t i o n   o r   r e m o t e   s e n s i n g.   T h e r e f o r e ,   a n   i n - de pt h   a n a l y s i s   i s   n e e de d  t o   e xa m i n e   t r e n ds ,   pe r f o r m a n c e   us i n g  t h e   m o s t   po pul a r  d a t a s e t s ,   a n d   t h e   t r a de - o ff   b e t w e e n   a c c ura c y   a n d   e ff i c i e n c y   i n  u r b a n  a p pl i c a t i o n s .     A   l i t e ra t u r e   r e v i e w   w i l l   h e l p  i n  u n de r s t a n di ng  t h e   e f f e c t i v e n e s s   o f   s u c h   s e gm e n t a t i o n   m e t h o ds   o n   t r e e s   i n   s t r e e t - l e v e l   i m a ge r y .   It   w i l l   a l s o   c o n s i de r  t h e   t r a de - o ff   b e t w e e n   y i e l d  a n d   l o w   c o m put a t i o na l   po w e r .   T h e   ob j e c t i ve   i s   t o   o ff e r   a n  i de a   o f   w h a t   w o r ks   b e s t   i n  u r b a n - s c a l e   a ppl i c a t i o n s .   T h i s   p a pe r  p r e s e n t s   a   l i t e ra t u r e   r e v i e w   of   m e t h o do l o gi e s   f o r   a ut o m a t e d   t r e e   s e gm e n t a t i o n  i n    s t r e e t - l e v e l   i m a ge r y   da t a .   I t   i n c o r po r a t e s   n e w   m e t h o ds ,   l oo k s   a t   e v a l ua t i o n   m e t r i c s   a nd  b e n c hm a rki ng  pra c t i c e s ,   a n d   di s c us s e s   n e w   t r e nds   s uc h   a s   t r a n s f o r m e r - b a s e d  s e gm e n t a t i o n ,   f o un da t i o n a l   m o de l s   s uc h  a s   S A M ,   a nd  t h e   po t e nt i a l   o f   e ff i c i e n t   a r c hi t e c t u r e s   s uc h  a s   E f f i c i e n t V i T - S A M   i n  t h e   c o n t e xt   o f   s m a r t   c i t y   a ppl i c a t i o n s .   It   a l s o   s h o w s   t h e   e n g i n e e r i ng  c o n c e rn s   t ha t   m us t   b e   c o n s i de r e d  t o   s c a l e   s uc h  s y s t e m s   t o    r e a l - w o r l d  u r b a n   s y s t e m s ,   a n d  t ha t   t r e e   s e gm e nt a t i o n  i s   a   c r i t i c a l   a s pe c t   o f   a ppl i e d  c o m put e r   v i s i o n   f o r   b ui l di n g   s m a r t   a nd  s us t a i na b l e   c i t i e s .   T h e   ke y   h i g h l i g h t s   o f   t h i s   r e s e a r c h   a r e :   i )  i t   o ff e r s   a n   o v e r v i e w   of   t h e   a dv a n c e d  m e t h o ds   o f   s e gm e n t a t i o n   t o   de t e c t   t r e e s   a nd  e x t r a c t   t h e m   i n  s t r e e t - l e v e l   i m a ge s   a n d   i i )   i t   i de n t i f i e s   t h e   c u rr e n t   l i m i t a t i o n s   a n d   r e c o m m e n ds   po s s i b l e   f ut ur e   r e s e a r c h  o ppo r t u n i t i e s   t o   e nha n c e   t h e   t e c hn i que s   o f  ur b a n  t r e e   s e gm e n t a t i o n.   T hi s   i s   h o w   t h e   r e s t   o f   t h e   pa pe r  i s   s t ruc t u r e d.   S e c t i o n  2   w i l l   de s c r i b e   t h e   p r o c e s s   of  r e v i e w i n g  e xi s t i n g   r e s e a r c h  a n d   h o w   t o   c l a s s i fy   v a r i o us   a p pr o a c h e s   t o   t r e e   s e gm e nt a t i o n .   T h i s   w i l l   a i d   i n  l e a rn i ng  t h e   m e t h o ds   e m pl o y e d.   S e c t i o n   3  w i l l   c o m pa r e   m e t h o ds   t ha t   c o n s i de r  t h e   n e w   r e s e a r c h  di r e c t i o n s   a n d   w i l l   e xpl a i n  t h e   b e n e f i t s   a n d   d ra w b a c ks   of   e a c h  o f   t h e   m e t h o ds .   I t   w i l l   a l s o   c o n s i de r  h o w   t h e s e   m e t h o ds   w o r k  i n  r e a l - l i f e   s i t u a t i o n s .   T h e r e   w i l l   b e   a   c o n c l us i o n  o f   t h e   p a pe r  i n  s e c t i o n   4 ,   a nd  f ut u r e   di r e c t i o n s   o f  r e s e a r c h  a r e   o ut l i n e d .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       R e c e n t   a dv an c e s   i n   c om put e r   v i s i on  s e gm e n t at i on   f or   ur ban   t r e e   de t e c t i on  …   ( Muham m ad   F ar e e z   R as hda n )   977   2.   M ET H O D   2. 1 .     S ys te m ati c   r e v i e w   fr am e w o r k   T h i s   l i t e r a t u r e   r e v i e w   p r e s e n t s   a   s t ra i g ht f o r w a r d   s y s t e m a t i c   r e v i e w   of   t h e   l i t e ra t u r e   o n  u r b a n  t r e e   s e gm e n t a t i o n  i n  s t r e e t - l e v e l   i m a ge r y .   T h e   p r o c e s s   of   l i t e ra t u r e   r e v i e w   i n c l ude s   f o ur   p h a s e s :   i )   l i t e r a t u r e   s e a r c h ,   ii )   s c r e e ni n g  a n d   e l i g i b i l i t y   e v a l ua t i o n,   i i i )  e xt ra c t i o n   o f   da t a ,   a n d  iv )  c o m pa ra t i v e   a na l y s i s .   B y   fo l l ow i n g   t hi s   s t r uc t u r e d   a pp r o a c h,   t h e   r e v i e w   e n s u r e s   a   t ra n s p a r e nt ,   r e p r o duc i b l e ,   a n d   c o m p r e h e n s i v e   s y n t h e s i s   o f   e xi s t i n g  m e t h o ds   a nd  t h e i r   pe r f o r m a n c e   m e t ri c s .     2. 1 . 1.   Li te r atu r e   s e ar c h   s t r ate gy   T o   f i n d   a s   m a n y   r e l e v a nt   s t u di e s   a s   po s s i b l e ,   a n  e xt e n s i v e   l i t e ra t u r e   r e v i e w   w a s   c a rr i e d  o ut   i n  l a r ge   a c a de m i c   da t a b a s e s ,   i n c l u di n g   S c o pus ,   W e b   o f   S c i e n c e   (W o S ),   I E E E   X pl o r e ,   S c i e n c e D i r e c t ,   a n d   S pri n ge r L i n k.   I n  do i n g  s o ,   t h i s   s t udy   foc us e d  o n l y   o n   pa p e r s   pub l i s h e d  b e t w e e n   201 5  a n d  2 025 ,   w i t h   a n  i n c r e a s e d  f o c us   o n   pa pe r s   pub l i s h e d  b e t w e e n   2 023   a n d   20 2 5.   T h e   i n t e n t i o n  b e h i n d   t h i s   s t e p  w a s   t o   t a ke   i nt o  a c c o un t   a l l   t h e   r e c e n t   t r e n ds   c o n c e rn i ng   c o m put e r  v i s i o n  s e gm e nt a t i o n .   T h e   l i t e ra t u r e   s e a r c h  w a s   c o n duc t e d   w i t h  a   s e t   o f   r e l e v a nt   ke y w o r ds ,   i n c l ud i n g   u r b a n  t r e e   s e gm e n t a t i o n,   s t r e e t   v i e w   i m a ge r y ,   s e m a nt i c   s e gm e n t a t i o n ,   i n s t a n c e   s e gm e n t a t i o n,   de e p  l e a rni ng,   t r a ns fo r m e r - b a s e d  s e gm e n t a t i o n ,   u r b a n  v e ge t a t i o n  m a pp i n g ,   a n d   g r e e n   v i e w   i n de x  (G V I) .   T h e s e   ke y w o r ds ,   c o m b i n e d  w i t h  t h e   a i d   o f   t h e   B o o l e a n  o pe r a t o r s     (A N D ,   O R )  s e r v e d  t o   r e duc e   t h e   s e a r c h   r e s ul t s   a n d  e n s u r e   t ha t   t h e   s t ud i e s   fo un d  w e r e   v e r y   c l os e l y   r e l a t e d  t o   t h e   s c o pe   of   t h e   r e s e a r c h.     2. 1 . 2.   I n c l u s i o n   an d   e x c l u s i o n   c r i t e r i a   In c l us i o n - e xc l us i o n  c ri t e r i a   w e r e   us e d  t o   s e l e c t   t h e   a pp r o p r i a t e   pa pe r s   t o   b e   i n c l ude d  i n  t h e   l i t e r a t u r e   r e v i e w   t o   e n s ur e   t h e i r  r e l e v a n c e   a n d   qua l i t y .   T h e   f o l l ow i ng  w e r e   t h e   i n c l us i o n   c r i t e ri a :   a rt i c l e s   ha d   t o   b e   pub l i s h e d   i n  a   j o urna l   o r  c o n f e r e n c e ,   a n d   ha d   t o   b e   a b o ut   t h e   t o pi c   o f   t r e e   o r  v e ge t a t i o n  s e gm e nt a t i o n   i n   s t r e e t - l e v e l   i m a ge r y ,   i n c l ud i n g  t ha t   o f   GSV  a n d  M a p i l l a ry ,   a n d  us e   a   de e p  l e a rni n g - b a s e d  s e gm e n t a t i o n  m o de l   o r   s o m e   o t h e r  s o phi s t i c a t e d  s e gm e n t a t i o n  m e t h o d.   I n  t h e   e xc l us i o n   c r i t e r i a ,   t h e y   di d  n o t   e m p h a s i z e   s t r e e t - l e v e l   i m a ge s ,   r e l y i n g   o nl y   o n   a e ri a l   o r  s a t e l l i t e   i m a ge s ;   p ub l i s h e d  t h e   a r t i c l e   o n  a   s i t e ,   n o t   a n y   e xpe r i m e nt ,   pu r e l y   t h e o r e t i c a l   r e s e a r c h ,   a n d  n o   m e a s u r e s   t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f   t h e   m o de l .   A r t i c l e s   t h a t   w e r e   p r e - p r i nt e d  w e r e   n o t   n o r m a l l y   pr o v i de d  unl e s s   o f   g r e a t   s i g n i f i c a n c e   a n d   i nt e r e s t   t o   t h e   s ub j e c t .     2. 2 .     C o m p ar ati v e   an al ys i s   f r am e w o r k   A   s y s t e m a t i c   r e v i e w   of   t h e   s e l e c t e d  s t ud i e s   w a s   c o n d uc t e d  t o   c r e a t e   a   s y s t e m a t i c   c o m pa ri s o n,   a n d   a   f r a m e w o r k  w a s   c r e a t e d  b a s e d   o n  f o ur  m a i n  d i m e n s i o n s :   p r e pr o c e s s i n g   s t ra t e gy ,   t y pe   of   s e gm e n t a t i o n,   m o de l   s t ruc t u r e ,   d a t a s e t ,   t r a i n i ng  s t ra t e gy ,   a nd  e v a l ua t i o n  m e a s u r e s   a n d  pe r f o r m a n c e .   It   o f fe r s   a   s t a n d a r di z e d  w a y   o f  c o m pa ri n g  a n d   c o n t ra s t i ng  di f f e r e n t   a pp r o a c h e s ,   a n d   i t   i s   po s s i b l e   t o   c o m pa r e   di f f e r e n t   a pp r o a c h e s   m o r e   ob j e c t i ve l y   de s pi t e   t h e   di f f e r e n c e s   i n  da t a   s o ur c e s ,   m o de l   de s i g n s ,   a nd  e v a l ua t i o n   m e t h o ds .   S e gm e n t a t i o n   i s   a   f unda m e nt a l   t a s k  i n   c o m put e r   v i s i o n ,   t h e   m a i n   go a l   o f   w h i c h   i s   t o   di v i de   a n   i m a ge   i n t o   i de n t i f i a b l e   a n d  m e a ni n gf ul   p a rt s .   T h e   pi xe l s   a r e   a s s i g n e d  l a b e l s   de pe n di n g   o n   c o m m o n  c ha r a c t e r i s t i c s   s uc h   a s   c o l o r ,   t e xt u r e ,   o r  c l o s e n e s s   [13].   T h e r e   a r e   s e v e r a l   t y pe s   of   s e gm e n t a t i o n   b a s e d  o n  t h e   de g r e e   o f   de t a i l   a n d  t h e   a i m   o f   i s o l a t i n g   c e r t a i n  o b j e c t s   [14].   S e m a n t i c   s e gm e nt a t i o n  c l a s s i f i e s   a l l   t h e   p i xe l s   i n  a n   i m a ge   i nt o   a   s i ngl e   c a t e go r y   b ut   doe s   n o t   di f f e r e n t i a t e   b e t w e e n   di f f e r e n t   ob j e c t s   [15].   A n   e xa m pl e   i s   t ha t   i n   a   s t r e e t   v i e w   i m a ge ,   a l l   o f   t h e   p i xe l s   c o m po s i n g   a   t r e e   a r e   l a b e l e d  a s   t r e e ,   b ut   n o t hi n g   i s   do n e   t o   d i s t i ngui s h  b e t w e e n   t r e e s .   T h i s   f o r m   o f   s e gm e n t a t i o n  c a n  h e l p   c o m pr e h e n d   t h e   c o m po s i t i o n   o f   t h e   s c e n e ,   s uc h  a s   t h e   e xt e nt   t o   w h i c h  t r e e s   o c c up y   a n  i m a ge   [ 16] .   I n s t a n c e   s e gm e n t a t i o n   i s   e xt e n de d  a n d   l a b e l s   pi xe l s   b y   c a t e g o r y   a n d   di f fe r e nt i a t e s   b e t w e e n   i n s t a n c e s   o f   t h e   c a t e go r y   [17].   T h i s   a p pr o a c h   i s   s u i t a b l e   w h e n  t h e   o b j e c t i ve   i s   t o   c o unt   o r   t ra c k  i n d i v i dua l   o b j e c t s   i n   a   s c e n e   [18] .   P a n o pt i c   s e gm e nt a t i o n  i s   a   h y b r i d  o f   s e m a nt i c   a n d  i n s t a n c e   s e gm e n t a t i o n .   It   a s s i g n s   t o   e v e r y   pi xe l   a   c l a s s   l a b e l   a n d   i n s t a n c e   ID ,   d i s t i ngui s hi n g  b e t w e e n   a l l   o bj e c t s   a n d  a l s o   l a b e l i n g   t h e   b a c kg r o und  [1 9].   I n  a   s t r e e t   i m a ge ,   i t   w o ul d  t h e r e f o r e   l a b e l   e a c h  t r e e   a n d   pe de s t r i a n   w i t h  a   di s t i n c t   l a b e l   a n d   l a b e l   t h e   r o a d ,   s ky ,   a n d   b ui l d i n gs   a s   a   b a c kgr o u n d   c l a s s .   I n  t hi s   m a nn e r ,   y o u  ge t   t h e   w h o l e   pi c t u r e   o f   t h e   e nt i r e   s c e n e .     2. 3 .     Ta x o n o m y  o f  s e gm e n tati o n   ap p r o ac h e s   T h e   r e v i e w e d  s t udi e s   s o r t e d  s e gm e n t a t i o n  m e t h o ds   i nt o   f o u r  m a i n  c a t e go ri e s ,   w hi c h  a r e   t ra di t i o na l   i m a ge   p r o c e s s i n g   m e t h o ds ,   CN N - b a s e d  s e m a n t i c   s e gm e n t a t i o n ,   i n s t a n c e -   a n d   r e g i o n - b a s e d  s e gm e n t a t i o n ,   a n d  t r a n s f o r m e r - b a s e d  a n d  f o un da t i o n   m o de l s .   T hi s   c l a s s i f i c a t i o n  r e p r e s e n t s   t h e   h i s t o r y   of   t h e   e v o l ut i o n   o f  s e gm e n t a t i o n   m e t h o ds   w i t h  t h e   t ra n s i t i o n   t o   m o de rn  de e p  l e a rni n g  m o de l s .   O v e r   t h e   l a s t   s e v e r a l   y e a r s ,   t h e   n u m b e r   o f   s e gm e n t a t i o n  m e t h o ds   t o   b e   us e d  i n  t r e e   s e gm e n t a t i o n  t a s ks   ha s   b e e n   i n v e s t i g a t e d  a n d   pub l i s h e d  i n   r e s e a r c h  j o urna l s ,   i n c l udi ng   b o t h   c l a s s i c   a nd   r e c e n t   m e t h o ds ,   s uc h  a s   de e p  l e a rni n g - b a s e d  a pp r o a c h e s .   T h e s e   m e t h o ds   a r e   b r o a d l y   di v i de d  i n t o   c a t e go ri e s ,   a s   s h o w n   i n  F i g ur e   1.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   975 - 989   978       F i gu r e   1 .   I m a ge   s e gm e nt a t i o n   t e c hn i q ue s       2. 3 . 1.   T r ad i t i o n al   s e gm e n tat i o n   Cl a s s i c a l   i m a ge   p r o c e s s i n g  m e t h o do l o gi e s ,   w h i c h  f o c u s   on   di v i di ng  a n  i m a ge   i nt o   s e m a n t i c a l l y   c o h e r e nt   r e gi o n s   by   us i ng  l o w - l e ve l   v i s ua l   f e a t u r e s   l i ke   c o l o r ,   i nt e n s i t y ,   t e xt u r e ,   a n d  e dge s   w i t h o ut   de e p   l e a rn i ng  m o de l s ,   a r e   r e f e r r e d   t o   a s   t ra d i t i o n a l   s e gm e nt a t i o n .   S o m e   o f   t h e   c o m m o n   a l go r i t h m s   i n  t h i s   pa r a d i g m   i n c l ude   t hr e s h o l di n g ,   c l us t e ri n g ,   e dge   de t e c t i o n ,   re gi o n   g r o w i n g ,   a nd  w a t e r s h e d  a l go r i t h m s   [20] .   T h e s e   m e t h o ds   r e l y   o n   m a n u a l l y   w r i t t e n  r u l e s   o r  s e t   f i l t e r s   t o   s pe c i fy   obj e c t   e dge s   o r   h o m o ge n e o us   r e gi o n s   t h a t   c a n  b e   v e r y   pa ra m e t e r - s e n s i t i v e   t o   b e   o pt i m i z e d  t o   f i t   a   s pe c i f i c   da t a s e t   o r   i m a gi ng  e n v i r o nm e nt .   A l t h o ug h   t h e   t ra di t i o n a l   m e t h o ds   o f   s e gm e n t a t i o n  m a y   be   re a s o n a b l e   i n   s m a l l   o r  s i m pl i f i e d  c a s e s ,   t h e y   a r e   n o t   a s   s t r o n g  i n   de a l i ng  w i t h  c o m pl e x  s c e n e s   t h a t   ha v e   i l l u m i na t i o n   v a ri a t i o n,   s c a l e ,   a s   w e l l   a s   pa rt i a l   ob s c ur a t i o n ,   p a r t i c ul a rl y   w h e n  c o n t ra s t e d   w i t h  t h e   c o nt e m po ra r y   de e p  l e a rn i ng - b a s e d  s e gm e n t a t i o n   t e c hn i q ue s   [21] .     2. 3 . 2.   C o n vo l u ti o n al   n e u r al   n e tw o r k s - b as e d   s e m an ti c   s e g m e n tati o n   D e e p  l a b e l l i n g  v e r s i o n  3  ( D e e pL a b V 3 )   a n d   D e e pL a b V 3+   a re   de e p  l e a rni n g   m o de l s   t ha t   a r e   us e d  i n   s e m a n t i c   s e g m e nt a t i o n  t a s ks   [22 ].   D e e pL a b V 3  a ppl i e s   a t r o us   (di l a t e d)   c o n v o l ut i o n s   t o   o b t a i n   c o nt e xt   i n f o r m a t i o n  o f   di f fe r e n t   s c a l e s   w i t h o ut   l o s s   o f   s pa t i a l   r e s o l ut i o n.   It   a l s o   f e a t ur e s   a n   a t r o us   s p a t i a l   py r a m i d   po o l i n g  (A S P P )  m o dul e   i n   o r de r   t o   r e t ri e v e   f e a t ur e s   i n  v a ri o us   r e c e pt i v e   f i e l ds   [23].   D e e pL a b V 3+   e xt e n ds   t h i s   by   a ddi n g   a   de c o de r   m o dul e   t h a t   f o c us e s   o n   t h e   s e gm e nt a t i o n  r e s ul t s ,   e s pe c i a l l y   a t   t h e   po i n t s   o f   ob j e c t   e dge s ,   r e s ul t i n g   i n  m o r e   a c c u r a t e   r e s ul t s .   T h e   e n c o de r   c a n  b e   b ui l t   o n  b a c kbo n e s   l i ke   r e s i d ua l   n e t w o r k  ( R e s N e t )   o r   e xt r e m e   i n c e pt i o n  ( X c e pt i o n ) ,   w hi c h   c a n  e n a b l e   t h e   n e t w o r k  t o   l e a rn  ri c h   s e m a n t i c   f e a t u r e s   [24] .   T h i s ,   a l o n g   w i t h  o t h e r  f a c t o r s ,   m a ke s   D e e pL a b V 3+   p a r t i c u l a rl y   e f fe c t i ve   i n  s i t ua t i o n s   o f   i nt r i c a t e   s e gm e n t a t i o n   o f   s c e n e s   w i t h  g r e a t   f i n e   de t a i l s .     P y r a m i d   s c e n e   pa r s i n g   n e t w o r k  ( P S P N e t )  i s   a   s e m a nt i c   s e gm e n t a t i o n  n e t w o r k  i n  de e p  l e a rni n g,   w h i c h   i s   us e f ul   i n   a c qui r i n g  b o t h   l o c a l   a n d   gl o b a l   c o n t e xt   i n f o r m a t i o n   [25] .   T h e   c o r e   o f   t h e   m o de l   i s   t h e   p y r a m i d   po o l i n g   m o dul e   (P P M )   t ha t   g a t h e r s   t h e   c o n t e xt u a l   f e a t u r e s   o f   v a ri o us   s i z e s :   1   ×   1,   2   ×   2 ,   3   ×   3,   a n d    6   ×  6  r e g i o n s ,   a n d   c o n c a t e na t e s   t h e   f e a t u r e s   w i t h  t h e   o ri gi na l   f e a t u r e   m a p   [ 26].   T h i s   e n a b l e s   t h e   n e t w o r k  t o   m a ke   s e n s e   o f   t h e   o v e r a l l   a rra n ge m e n t   o f   t h e   s c e n e   a n d   r e m e m b e r   s m a l l   de t a i l s .   P S P N e t   t y pi c a l l y   us e s   a   pow e r f ul   b a c kbo n e   l i ke   R e s N e t   t o   e xt r a c t   f e a t u r e s   a s   w e l l   a s   t o   w o r k  o n  c o m pl e x   s e gm e nt a t i o n  w i t h  hi e ra r c h i c a l   w o r l d  c o nt e xt s   a n d   pi xe l - l e v e l   fo r e c a s t s   [27] .     F ul l y   c o n v o l ut i o n a l   n e t w o r ks   (F CN s )  r e p r e s e n t   a   n o v e l   a ppr o a c h   t o   s e m a n t i c   s e gm e nt a t i o n  t ha t   pr o po s e s   a   s e m a nt i c   a r c hi t e c t u r e   o f   e n d - to - e nd  p i xe l - b a s e d  c l a s s i f i c a t i o n   [28] .   U nl i ke   c o n v e nt i o na l   CN N s ,   F CN s   l a c k  f ul l y   c o n n e c t e d  l a y e r s   a n d   us e   o n l y   c o n vo l ut i o na l   l a y e r s ,   w i t h   t h e   a b i l i t y   t o   a c c e pt   i n put s   o f  a r b i t r a r y   di m e n s i o n s   a nd   ge n e ra t e   o ut put s   t h a t   a r e   s p a t i a l l y   de n s e   [29] .   T h e   b a c kb o n e s   ( v i s ua l   ge o m e t r y   gr o up   ( VGG )   o r  R e s N e t )  do   f e a t u r e   e xt ra c t i o n   a n d   a r e   f ol l o w e d  by   l e a rn e d   ups a m p l i n g   ( de c o n vo l ut i o n )   l a y e r s   t h a t   s uc c e s s i v e l y   r e i nt r o duc e   s pa t i a l   r e s o l ut i o n .   F C N s   m a ke   us e   o f   s ki p   c o nn e c t i o n s   t o   c o m b i n e     f i n e - g r a i n e d  s pa t i a l   i n f o r m a t i o n   o b t a i n e d  i n   e a rl i e r   n e t w or k   l a y e r s   w i t h   hi g h - l e v e l   s e m a n t i c   i n f o r m a t i o n  ob t a i n e d  i n  l a t e r   l a y e r s   [30]  t o   a c hi e v e   b e t t e r   l o c a l i z a t i o n.   T h i s   m i xt u r e   o f   m ul t i - l e v e l   i n f o r m a t i o n  w a s   a   c h a nge   o f   di r e c t i o n  i n  t h e   h i s t o r y   of   f ul l y   t ra i na b l e ,   de n s e   p r e di c t i o n  a r c hi t e c t u r e s .   Se gm e n t a t i o n  n e t w o r k  ( S e gN e t )   i s   a   c o n v o l ut i o n a l   e n c o de r - de c o de r   n e t w o r k  t h a t   w a s   t ra i n e d   t o   do   s e m a n t i c   s e gm e nt a t i o n  [31 ].   It s   e n c o de r   i s   us u a l l y   fo un de d  o n   a   hi e ra r c h i c a l   c l a s s i f i c a t i o n  n e t w o r k,   s uc h  a s   V G G ,   t ha t   o b t a i n s   hi e r a r c h i c a l   f e a t u r e   r e p r e s e nt a t i o n s   w i t h   t h e   h e l p   o f   c o n v o l ut i o n   a n d   po o l i n g     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       R e c e n t   a dv an c e s   i n   c om put e r   v i s i on  s e gm e n t at i on   f or   ur ban   t r e e   de t e c t i on  …   ( Muham m ad   F ar e e z   R as hda n )   979   a l go ri t hm s   [32 ].   T h e   u ni que   c ha r a c t e r i s t i c   o f   S e gN e t   i s   a   de c o de r   de s i g n   t ha t   r e pu rpo s e s   t h e   m a x - po o l i ng  i n di c e s   o f   t h e   e n c o de r  i n  n o n - l i n e a r  ups a m pl i n g .   T hi s   a pp r o a c h  h e l ps   t o   p r e s e r v e   s pa t i a l   a c c ur a c y   i n   t h e   pr o c e s s   of   r e c o n s t ruc t i n g   t h e   s e gm e nt a t i o n  m a p ,   w hi c h   l e a ds   t o   b e t t e r   b o un d a r y   de l i n e a t i o n   a n d   f e w e r   t r a i na b l e   pa ra m e t e r s   t ha n   a r c h i t e c t ur e s   t ha t   us e   s o l e l y   l e a rn e d  u ps a m pl i ng.   T h e   l a s t   l a y e r   ge n e r a t e s     pi xe l - l e v e l   p r e di c t i o n s   o f   c l a s s e s   t ha t   e n a b l e   S e gN e t   t o   b e   u s e f ul   i n  t a s ks   t h a t   i n v o l ve   a c c ur a t e   s e gm e n t a t i o n   w i t h  c o m pa r a t i v e l y   l ow - e n e r gy   c o m put a t i o n s   [33] .   T h e   m ul t i - v i s i o n  i m a ge   s e gm e n t a t i o n  a nd   c o o r di na t e   f us i o n  ( M IS F )  a r c h i t e c t ur e   p r i m a ri l y   c o m pr i s e s   t w o   m a i n  s t a ge s ,   w hi c h  a r e   i m a ge   s e g m e nt a t i o n  a nd  c o o r di n a t e   f us i o n   f o r   t r e e   s i z e   a t t ri b ut e   c a l c ul a t i o n.   I t   b e gi n s   by   c a pt uri n g  i m a ge s   o f   a   s t a n d i n g  t r e e   f r o m   m u l t i pl e   pe r s pe c t i v e s   us i n g  a   c a m e ra   s e t up   t h a t   o f t e n  i n v o l v e s   t hr e e   b i n o c ul a r  s ub s y s t e m s .   D e e p  l e a rni ng - b a s e d  s e m a n t i c   s e gm e n t a t i o n  m e t h o ds   s uc h  a s   S E M D   a r e   t h e n  us e d  t o   a c c ura t e l y   de l i n e a t e   t h e   m a i n   b o d y   of   t h e   t r e e   f r o m   t h e   b a c kgr o u n d  a n d   a u t o m a t i c a l l y   i de nt i fy   ke y   e dge   f e a t ur e   po i n t s   i n  t h e s e   s e gm e n t e d   i m a ge s   [34] .   F i na l l y ,   t h e   i n f o r m a t i o n  f r o m   t h e s e   s e gm e n t e d  m u l t i - v i e w   i m a ge s   i s   s ub j e c t e d  t o   c o o r d i n a t e   f us i o n ,   a l l o w i n g   f o r   t h e   r e c o n s t r uc t i o n  o f   t h e   t r e e ' s   3D   s pa t i a l   da t a   a nd  t h e   a ut o m a t i c   c a l c ul a t i o n  o f   i t s   h e i g ht ,   d i a m e t e r   a t   b r e a s t   h e i g ht   (D B H ) ,   a nd  c r o w n   w i dt h .   T h e   du a l - e n c o de r   m o de l   w i t h  a  g ra p h  r e a s o n i ng  de c ode r   b l o c k  i s   a n   i m a ge   s e gm e n t a t i o n  a r c hi t e c t u r e   t ha t   u t i l i z e s   t w o   s pe c i a l i z e d  e n c o de r s ,   w h i c h  a r e   a   b a s i c   e n c o de r   w i t h  V G G   b l o c ks   a n d   A S P P   f o r   m ul t i - s c a l e   s e m a n t i c   a nd  c o n t e xt u a l   f e a t u r e s ,   a nd  a n   e dge   e n c o de r   w i t h   di r e c t i o na l   c o n v o l ut i o n s   f o r   de t a i l e d  s t ruc t u r a l   i n f o r m a t i o n  o f   e l o n ga t e d  o b j e c t s .   T h e   i nn o v a t i v e   g ra p h   r e a s o n i n g   de c o de r   b l o c k  a ppl i e d  i n   t h e   f i n a l   de c o di n g   s t a ge   a d d r e s s e s   di s c o n t i n uo us   o r  b l u rr y   e dge s   by   f i r s t   f us i n g   f e a t u r e s   w i t h  a t t e nt i o n,   t h e n  p r o j e c t i n g   t h e m   o n t o   a   g ra p h  pe r f o r m i ng   r e l a t i o na l   r e a s o ni n g   w i t h  g ra p h  c o n v o l ut i o n   n e t w o r ks   (G CN s )  t o   i n f e r   c o n n e c t i o n s   b e t w e e n   o bj e c t   pa rt s ,   a nd  f i na l l y   r e p r o j e c t i n g   t h e   r e f i n e d  g r a p h  f e a t u r e s   b a c k  i n t o   a   c o h e r e nt   s e gm e n t a t i o n   m a p  [ 35].     2. 3 . 3.   I n s tan c e   an d   r e gi o n - b as e d   s e gm e n tat i o n   Y O L O - S e g  i s   a n   e xt e n s i o n   o f   y o u  o n l y   l oo k  o n c e   obj e c t   de t e c t o r   t o   r e a l - t i m e   s e gm e nt a t i o n  [36] .   T h e   a r c hi t e c t u r e   i n c o r po r a t e s   t h e   f u n c t i o na l i t y   of   s e gm e n t a t i o n   i nt o   t h e   Y O L O   s y s t e m   by   i n c l udi ng  a   de c o de r   m o dul e   t h a t   ge n e ra t e s   pi xe l - l e v e l   s e gm e n t a t i o n   m a s ks   i n  a d di t i o n   t o   t h e   s t a n d a r d  b o un di ng  b o x  o ut put s   [37].   Y O L O - S e g  e n s ur e s   hi g h  i n f e r e n c e   r a t e s   by   r e l y i n g   o n  t h e   hi g h - s pe e d  a n d   e f f i c i e n t   f e a t u r e   e xt ra c t i o n  b a c kbo n e   of   Y O L O ,   a n d   c a n  de t e c t   o bj e c t s   j o i n t l y   a n d  f i n e - g ra n ul a r l y   [38].   T h e   po w e r f ul   de e p  l e a rni ng  a r c h i t e c t ur e ,   m a s k  r e g i o n - b a s e d  c o n vo l ut i o na l   n e u ra l   n e t w o r k    ( M a s k  R - CN N ) ,   i s   a   f a s t e r  r e gi o n - b a s e d  c o n v o l ut i o n a l   n e ura l   n e t w o r k  ( F a s t e r  R - CN N )   v a r i a t i o n  w i t h   a n   a ddi t i o na l   b r a n c h  for   pi xe l - w i s e   i n s t a n c e   s e gm e nt a t i o n.   It   us e s   a   b a c kbo n e   n e t w o r k,   w hi c h  i s   us ua l l y   R e s N e t ,   t o   e xt r a c t   f e a t u r e s   hi e ra r c h i c a l l y   a n d   a   r e g i o n  p r o po s a l   n e t w o r k  (R P N )  t o   ge n e ra t e   r e gi o n  c a ndi d a t e s   i n  t h e   fo r m   o f   bo un di n g  b o xe s   [39].   T h e   m o de l   i n   b o t h   o f   t h e   p r o po s e d  r e gi o n s   pe r f o r m s   t hr e e   f un c t i o n s   a t   o n c e :   c l a s s i f i c a t i o n   o f   ob j e c t   c a t e go r i e s ,   f i n e - t u ni n g  o f   bo un di ng   b o x  c oo r di n a t e s ,   a nd  a   h i g h - r e s o l ut i o n   b i na r y   m a s k  w i t h   t h e   a s s i s t a n c e   of   a   s m a l l   f ul l y   c o n vo l ut i o na l   s u b n e t   [40] .   T hi s   a u xi l i a r y   m a s k  p r e di c t i o n   h e a d   e n a b l e s   p r e c i s e   ob j e c t   b o un da r i e s ,   a n d   t h us   M a s k  R - CN N   i s   m o s t   s u i t a b l e   i n  a r e a s   t ha t   r e qu i r e   a c c u r a t e   de t e c t i o n   i n  a ddi t i o n   t o   f i n e   ge o m e t r i c   de t a i l s   a b o ut   i n s t a n c e s .     2. 3 . 4.   T r an s fo r m e r - b as e d   an d   fo u n d ati o n   mo d e l s   O n e   o f   t h e   m a i n  c o m po n e nt s   i n  t ra n s f o r m e r - b a s e d  s e gm e nt a t i o n  m o de l s   i s   s e l f - a t t e nt i o n  t ha t   f a c i l i t a t e s   t h e   e xt ra c t i o n  o f   gl ob a l   c o n t e xt ua l   de pe n de n c i e s   i n  i m a ge s   [41] .   S uc h   m o de l s   a s   v i s i o n   t r a n s f o r m e r   (V i T )   di v i de   i m a ge s   i n t o   pa t c h e s   a n d  e n c o de   t h e m   a s   s e qu e n c e s   of   t o ke n s   t o   ov e r c o m e   t h e   l o c a l   r e c e pt i v e   f i e l d  l i m i t a t i o n s   o f   CN N s ,   t h a t   e na b l e   t h e m   t o   c o m p r e h e n d   i m a ge s   a s   a   w h o l e   i n  t e rm s   o f   bo t h  s e m a nt i c s   a n d   s pa c e   [42].   T h e   r i c h   a n d  c o n t e xt - aw a r e   f e a t ur e s   a r e   e xt ra c t e d  by   a   t ra n s f o r m e r  e n c o de r   a n d  s e n t   t o   a   s pe c i a l   de c o de r   t o   ge n e r a t e   pi xe l - l e v e l   s e gm e nt a t i o n  m a s ks .   A   go od  e xa m pl e   o f   t h i s   a pp r o a c h  i s   S A M ,   a   t hr e e - pa r t   de c o upl e d  a r c hi t e c t u r e   i n t e n de d   t o   b e   a   h i g h - pe r f o r m a n c e   a n d   r e a l - t i m e   s e gm e n t a t i o n   m o de l .   It s   c o r e   i s   a   pow e r f ul   i m a ge   e n c o de r   t h a t   i s   b a s e d  o n  a   V i T   p r e - t ra i n e d   w i t h  m a s ke d  a ut o e n c o de r s   (M A E )  t e c hni que s   t ha t   e n c o de   h i g h - r e s o l ut i o n   i m a ge s   i n t o   a   s m a l l   e m b e ddi n g  t ha t   c a n   b e   s t o r e d  i n   m e m o r y   t o   be   r e us e d  i n   t h e   f ut ur e .   T hi s   e m b e ddi n g  i s   t h e n  pa i r e d  w i t h  a   p r o m pt   e n c o de r ,   w hi c h  p r o j e c t s   s pa r s e   i n p ut s ,   l i ke   po i n t s ,   bo un di ng  b o xe s ,   o r   t e xt ,   i n t o   a   c o m m o n  f e a t u r e   s p a c e .   L a s t l y ,   t h e r e   i s   a   l i g ht w e i gh t   m a s k   de c o de r   t h a t   us e s   a   t w o - w a y   c r o s s - a t t e n t i o n   t o   c o m b i n e   t h e   i m a ge   a nd  p r o m p t   d a t a .   T o   c o pe   w i t h   t h e   a m b i gu i t y   of   a   s i n g l e   po i n t ,   t h e   de c o de r   i s   s pe c i a l l y   c r e a t e d  t o   p r o v i de   m ul t i pl e   v a l i d   m a s ks   a t   t h e   s a m e   t i m e   t o   e f f e c t i v e l y   r e pr e s e n t   t h e   hi e ra r c h y   b e t w e e n   t h e   s ub - pa r t s   a n d   t h e   e nt i r e   o bj e c t   [43].   M a s ke d - a t t e nt i o n  m a s k - f o r m e r   ( M a s k2F o rm e r )   i s   a   s t a t e - of - t h e - a rt   s e gm e n t a t i o n   f ra m e w o r k  t ha t   c o m b i n e s   i n s t a n c e ,   s e m a nt i c   s e gm e n t a t i o n ,   a n d  pa n o pt i c   s e gm e n t a t i o n   i n t o   a   s i ngl e   f ra m e w o r k  [44].   It   i s   b a s e d  o n   t h e   t r a n s f o r m e r - b a s e d  M a s kF o rm e r  a r c h i t e c t u r e   by   h a v i n g   a   s e t - b a s e d  gl o b a l   l o s s   a n d  m a s ke d   a t t e n t i o n  t o   di r e c t l y   p r e di c t   a   f i xe d  s e t   o f   s e gm e n t a t i o n  m a s k s   a nd   t h e i r  c o rr e s po n d i n g   c l a s s   l a b e l s .   It   i s   b a s e d  o n   a   po w e r f ul   b a c kbo n e ,   s uc h  a s   R e s N e t   o r   S w i n   T r a n s f o r m e r ,   t o   e xt r a c t   f e a t u r e s ,   a n d  i t s   t r a n s f o r m e r  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   975 - 989   980   de c o de r   pa rt   t ra i n s   o n   l e a rn a b l e   que r i e s   t o   p r o duc e   m a s k  e m b e ddi n gs   [45] .   T hi s   s i ngl e   a r c h i t e c t u r e   m a ke s   i t   e a s i e r   t o   t ra i n  a nd  i n f e r ,   a nd  t o   pe r f o r m   w e l l   o n  a   v a r i e t y   of   s e gm e n t a t i o n  t a s ks .   A l t h o ug h  t h e r e   i s   a   v a s t   s e l e c t i o n  o f   de e p  l e a rni n g - b a s e d  s e gm e n t a t i o n  m o de l s   t ha t   ha v e   s uc c e s s f ul l y   b e e n   us e d  t o   a dd r e s s   t r e e   s e gm e nt a t i o n   t a s ks ,   t h e   m a j o r i t y   of   c urr e nt   r e s e a r c h  i s   c e n t e r e d   o n   t r a d i t i o n a l   CN N   m o de l s ,   i n s t a n c e   s e gm e nt a t i o n  m o de l s   l i ke   M a s k  R - CN N   a nd  Y O L O - S e g,   o r  m o r e   r e c e n t l y ,   t r a n s f o r m e r - b a s e d  m o de l s   s uc h  a s   S A M   a n d   M a s k2F o r m e r.   A l t h o ug h   s u c h  m e t h o ds   h a v e   p r o v e n   t o   b e   v e r y   e ffe c t i ve   i n  t e r m s   o f   s e gm e n t a t i o n  a c c ura c y   (S A )   a n d   ge n e ra l i z a t i o n ,   t h e y   c a n  b e   c o m put a t i o na l l y   c o m pl e x  a n d   ha v e   hi g h  p r o c e s s i n g   de m a n ds .   V a r i a nt s   t ha t   a r e   e f f i c i e nt ,   e . g . ,   E f f i c i e n t V i T - S A M ,   ha v e   p r o v e n   t o   b e   a   pr o m i s i n g  d i r e c t i o n   a s   t h e y   c o m b i n e   t h e   po w e r f ul   ge n e ra l i z a t i o n   p r o pe r t i e s   o f   fo un da t i o n   m o de l s   w i t h  l i g ht w e i gh t   a nd  c o m put a t i o na l l y   e ff i c i e n t   de s i g n s .   N e v e r t h e l e s s ,   r e c e nt   r e s e a r c h  i ndi c a t e s   t ha t   l i t t l e   ha s   b e e n   do n e   r e ga r di ng  t h e   us e   o f   E ff i c i e n t V i T - S A M   i n  t h e   d i s t i n c t   t a s k   o f   t r e e   s e gm e nt a t i o n,   e s pe c i a l l y   w i t h    s t r e e t - l e v e l   i m a ge s .   It   l a c ks   t h e   s pe c i f i c   r e s e a r c h   o n   i t s   e ff e c t i v e n e s s ,   t r a de - o ff s   be t w e e n   r o b us t n e s s   a nd  e ff i c i e n c y   c o m pa r e d  w i t h  e xi s t i n g   m e t h o ds .   It   u n de r s c o r e s   a n  i m po r t a n t   r e s e a r c h  g a p   a n d   e n c o ur a ge s   f u r t h e r  i n v e s t i ga t i o n  o f   E f f i c i e n t V i T - S A M   t o   pe r f o r m   t h e   u r b a n   t r e e   s e gm e n t a t i o n   t a s k ,   pa rt i c u l a rl y   i n  t h e   c o n t e xt   o f  a   s i t ua t i o n   t h a t   m us t   b e   hi g h l y   a c c ura t e   a n d   o pe r a t e   i n  r e a l - t i m e   a nd  w i t h i n  t h e   f ra m e w o r k  o f   a   s m a r t   c i t y .     2. 4 .     D atas e t   an d   tr a i n i n g   a n al ys i s   T h e   f i e l d  o f   t e a c hi n g   a   m a c h i n e   l e a rni n g  o r   de e p  l e a rni n g   m o de l   t o   c o r r e c t l y   c l a s s i fy   e ve r y   pi xe l   i n  a n   i m a ge   i s   c a l l e d  d a t a   t r a i n i ng,   w h e r e   p a t t e rn s   i n  a   s e t   o f   a nn o t a t e d  t ra i ni n g   da t a   a r e   l e a rn e d.   T hi s   i s   us ua l l y   a   da t a s e t   c o n s i s t i ng   o f   i m a ge   a nd   g r o und   t r u t h  m a s k   pa i r s ,   w i t h  e a c h   pi xe l   c l a s s i f i e d   by   i t s   c a t e go r y ,   s uc h  a s   r o a d ,   t r e e ,   a n d   b ui l d i n g   [46] .   P o pul a r  s e m a nt i c   s e g m e nt a t i o n  t ra i n i n g   d a t a s e t s   c o n s i s t   o f   A D E 20K ,   Ci t y s c a pe s ,   a n d  M a p i l l a r y   V i s t a s ,   c o m m o nl y   us e d  i n   a c t i v i t i e s   l i ke   c o m put i ng  t h e   GVI   i n  c i t i e s   [4 7].   I n  t h e   m e a n t i m e ,   da t a s e t s   s uc h  a s   J e ky l l   da t a s e t   a r e   s pe c i f i c a l l y   c r e a t e d  t o   s e gm e nt   i n d i v i dua l   t r e e s ,   t h us   m a ki n g   i t   a pp r o pri a t e   t o   pe r f o r m   f i n e - g ra i n e d   a na l y s i s   of   ve ge t a t i o n  [4 8].     2. 4 . 1.   C i tys c ap e s   T h e   Ci t y s c a pe s   da t a s e t   i s   a   l e a d i n g  s t a n d a r d  i n  s e m a nt i c   u rb a n   s c e n e   pe r c e pt i o n ,   p r o v i di ng  a   w i de   ra n ge   o f   5, 000  h i g h - r e s o l ut i o n   i m a ge s   of   s t r e e t s   i n   50   E ur o pe a n   c i t i e s .   D e v e l o pe d  i n i t i a l l y   by   G e r m a n  s c i e n t i s t s ,   i t   a i ds   i n  s t u dy i n g  u r b a n  e n v i r o n m e nt s   i n  a   p r e c i s e   m a nn e r  by   r e c o r di n g   t h e m   c o n s i s t e n t l y .   S i n c e   t h e   i m a ge ,   a l o n g   w i t h  p r e c i s e   l a b e l s   o n  30   t y pe s   of   ob j e c t s ,   i s   p r o v i de d,   t h e   a na l y s i s   of   g r e e n  s pa c e s   b e c o m e s   e xt r e m e l y   a c c ura t e .   R a t h e r  t ha n  m e r e   b ui l d i n gs   o r  w a l ki ng   p a t h s ,   t h e r e   a r e   p l a nt s   a nd  l a nd   s u r f a c e s   i n  t h e   s pri n g,   s u m m e r ,   a nd   f a l l   m o nt h s .   T hi s   s e a s o na l   di s t ri b ut i o n  m a ke s   i t   m o r e   us e f ul   i n  f o r m i ng   m o de l s   t o   d i v i de   v i s ua l   i n f o r m a t i o n   i n t o   s i g n i f i c a nt   s e c t i o n s .   D ue   t o   c l e a r   l a b e l i n g  w o r k,   i n v e s t i ga t o r s   m a y   s ub di v i de   l a r ge   gr o ups ,   s uc h   a s   v e ge t a t i o n ,   i n t o   s m a l l e r   g r o ups ,   s uc h  a s   b us h e s   o r   f o r e s t   s t a nds .   T hi s   de t a i l   p r o v i de s   a ve n ue s   i n t o   a  g r e a t e r  u n de r s t a n di ng  o f   t h e   d i s t r i b ut i o n   o f   pl a nt s   i n  u rb a n   r e g i o n s   [49] .     2. 4 . 2.   A D E20 K   T h e   A D E 20K   d a t a s e t   i s   a   ri c h   s o u r c e   of   s e m a n t i c   k n o w l e d ge ,   w i t h  m o r e   t h a n  27 , 000  pi c t u r e s   t ha t   c ove r   a   v a ri e t y   of   i n do o r   a nd  o ut do o r   s e t t i n gs ,   s uc h  a s   c i t y s c a pe s .   It   i s   h i g h l y   e ff e c t i v e   i n   m e a s u ri n g  G V I   a n d   a l s o   a na l y z i n g   t h e   qua l i t y   of   t h e   l a nds c a pe s   by   off e r i n g   v a r i o us   l a n ds c a pe   s ub c l a s s e s ,   i n c l ud i n g   t r e e s ,     gra s s ,   a n d   r i v e r s ,   w i t h   pi xe l - l e v e l   a nn o t a t i o n s   o f   150  d i f fe r e n t   s e m a n t i c   c a t e go ri e s ,   w h i c h   m a ke s   i t   h i g hl y   e ffe c t i ve   [50] .   T h e   d a t a s e t   i s   a l s o   t h e   f o un da t i o n   o f   t h e   M I T   s c e n e   pa r s i n g  b e n c h m a r k  (S c e n e P a r s e 150)  t h a t   off e r s   a n   e s t a b l i s h e d  pl a t f o r m   t o   t r a i n   a n d  t e s t   c o m pl e x  s c e ne   pa r s i n g   a l go r i t hm s .   B e c a us e   of   t h e   p r e s e n c e   of  ob j e c t -   a n d   p a r t - l e v e l   s e gm e nt a t i o n,   m o de l s   t ha t   ha v e   b e e n   t r a i n e d   us i n g   A D E 20K   c a n  b e   po s t - p r o c e s s e d  t o  i s o l a t e   c e r t a i n  g r e e n   o b j e c t s   o r   o t h e r   e l e m e n t s   o f   t h e   e n v i r o nm e nt ,   a l l o w i n g  de t a i l e d  a n d   a dv a n c e d  l a n ds c a pe   a r c hi t e c t u r e   a n a l y s i s   i n  a   v a ri e t y   of   s e t t i n gs .     2. 4 . 3 .   M ap i l l ar y  V i s tas   T h e   M a pi l l a r y   V i s t a s   da t a s e t   i s   a   m a s s i v e   a n d   v a r i e d   d a t a s e t   o f   25, 00 0   h i g h - r e s o l ut i o n  s t r e e t - l e v e l   s h o t s   t h a t   i s   i n t e n de d   t o   e nha n c e   k n o w l e dge   a b o ut   u r b a n  e n v i r o nm e n t s ,   s e l f - d r i v i n g ,   a n d   s m a rt   c i t y   de s i g n .   T h e   da t a s e t   i s   u n i que   i n  i t s   w o r l dw i de   v i e w   a n d  r e p r e s e nt s   i m a ge r y   of   s i x  c o n t i n e nt s   t a ke n   i n  di v e r s e   s e a s o n a l ,   w e a t h e r ,   a n d   l i g ht i ng   c o n di t i o n s .   It   ha s   a   hi g h - d e n s i t y   a n d   f i n e - g ra i n e d   a nn o t a t i o n  o f   66   o b j e c t   c l a s s e s   w i t h  s pe c i f i c   po l y g o n s ,   a n d   i n s t a n ce - s pe c i f i c   l a b e l l i n g   o f   37   c l a s s e s   [51 ].   T h e   de t a i l   i t   p r o v i de s   r e n de r s   i t   a   c r uc i a l   w o r k  t o w a r ds   t h e   c r e a t i o n  o f   s t r o n g   c o m put e r  v i s i o n  m o de l s   t h a t   c a n  m a n e uv e r  a nd  a n a l y z e   v a r i o us   c o m pl i c a t e d  r e a l - w o r l d   s c e na r i o s .     2. 4 . 4.   J e k yl l   d atas e t   T h e   J e k y l l   da t a s e t   i s   a   l a rge   c o l l e c t i o n   o f   ur b a n  t r e e   da t a ,   w h i c h  i s   a   c o l l e c t i o n   o f   ove r   3 , 000  hi g h   r e s o l ut i o n  R G B   i m a ge s   o f   t r e e s   t a ke n   us i n g   m o b i l e   de v i c e s   i n   t e n  c i t i e s   i n  C hi na .   T h e   da t a s e t   i n c l ude s   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       R e c e n t   a dv an c e s   i n   c om put e r   v i s i on  s e gm e n t at i on   f or   ur ban   t r e e   de t e c t i on  …   ( Muham m ad   F ar e e z   R as hda n )   981   i m a ge s   t a ke n   i n   e a c h   o f   t h e   f o ur   s e a s o n s ,   s p r i ng,   s u m m e r,   a ut u m n ,   a nd  w i n t e r ,   i n   o r de r   t o   c a pt u r e   s e a s o na l   v a r i a t i o n,   a n d   i s   s y s t e m a t i c a l l y   di v i de d  i nt o   s e pa r a t e   s ub s e t s   t o   s up po r t   a   v a ri e t y   of   a ppl i c a t i o n s   i n  c o m put e r   v i s i o n .   T h e s e   s ub di v i s i o n s   a r e   a   s t e m   ge n e r a   s ub s e t   t h a t   c o m po s e d  7, 675   i m a ge s   a nn o t a t e d   w i t h  28   s pe c i e s ,   a   t r e e   s e gm e n t a t i o n   s ub s e t   t ha t   c o n s i s t s   o f   3, 949  i m a ge s   a nn o t a t e d  w i t h   p i xe l - l e v e l   b i n a r y   m a s ks ,   a n d  a   s t e m   s e gm e n t a t i o n   s ub s e t   w h e r e   t h e   de l i n e a t i o n  o f   i n d i v i dua l   s t e m s   i s   do n e   us i n g   L a b e l M e   s of t w a r e   [52].   T h e   da t a s e t   c a n  b e   us e d  t o   de v e l o p  do m a i n - s pe c i f i c   m o de l s   t h a t   c a n  i de n t i fy   t r e e s   w i t h  hi g h  p r e c i s i o n  a nd  m a p  ur b a n  f o r e s t s   w i t h  h i g h   f i de l i t y   due   t o   i t s   ge n us - l e v e l   t a xo n o m i c   l a b e l i n g   a n d   po l y g o n - b a s e d  a nn o t a t i o n.   A   c o m pa r a t i v e   s t udy   of   c o m m o n l y   us e d  da t a s e t s   i n  t r e e   s e gm e nt a t i o n  i s   p r o v i de d  i n  T a b l e   1 .   U n l i ke   ge n e ra l   u r b a n  s c e n e   da t a s e t s ,   i . e . ,   C i t y s c a pe s ,   A D E 20K ,   a n d   M a pi l l a r y   V i s t a s ,   t h e   J e k y l l   da t a s e t   i s   b e t t e r  s ui t e d  t o   s i n gl e   t r e e   s e gm e n t a t i o n   due   t o   i t s   s pe c i a l i z e d  c r e a t i o n   a nd  hi g h - r e s o l ut i o n  a nn o t a t i o n s .   T h o ug h   t h e   a f o r e m e n t i o n e d  da t a s e t s   p r o v i de   pi xe l - l e v e l   s e m a nt i c   l a b e l s   t h a t   i n c l u de   ge n e r a l   c a t e go ri e s   l i ke   v e ge t a t i o n,   t e rra i n ,   a n d   l a n ds c a pe   f e a t u r e s ,   t h e   c a t e go ri e s   a r e   a g g r e ga t i o n s   o f   pl a nt   l i f e ,   t h us   f a i l i n g   t o   d i s t i ngui s h  b e t w e e n   i ndi v i du a l   t r e e s   a nd  o t h e r   v e ge t a t i v e   f e a t ur e s .   T h e y   t h e r e f o r e   s ui t   m o r e   a ppl i c a t i o n s   l i ke     G V I  c o m put a t i o n ,   w h i c h   f o c us e s   o n   m e a s u ri n g  t o t a l   v i s i b l e   gr e e n  c ov e r ,   a s   o ppo s e d  t o   de t e r m i n i ng  i n di v i du a l   t r e e   o c c ur r e n c e s .     In  c o m pa ri s o n,   t h e   J e k y l l   da t a s e t   i s   d i r e c t l y   a da p t e d  t o   u r b a n  t r e e   a na l y s i s   a n d   o f fe r s   g r a nul a r  b i na r y   m a s ks   a nd   po l y g o n - b a s e d  a nn o t a t i o n s   t ha t   c a n  p r e c i s e l y   de s c r i b e   di s c r e t e   p a r t s   o f   t r e e s ,   s uc h  a s   b o t h   c a n o py   a n d  t r u n k   s t r uc t u r e s .   I t s   s pe c i e s - l e ve l   da t a   a n d   m u l t i - s e a s o na l   i m a ge r y   a l s o   i n c r e a s e   i t s   po t e nt i a l   t o   pe r f o r m   f i n e - g r a i n e d  a na l y s i s ,   e . g. ,   t r e e - l e v e l   s e gm e n t a t i o n ,   s t r u c t ura l   e v a l u a t i o n ,   a nd  s pe c i e s   i de n t i f i c a t i o n .   Co n s e que n t l y ,   t h e   J e ky l l   da t a s e t   i s   a   b e t t e r   s t a rt i n g   po i nt   t o   fo r m u l a t e   a nd   t e s t   m o de l s   t h a t   c a n  b e   us e d  t o   s e gm e n t   i n d i v i dua l   t r e e s   w i t h   hi g h  p r e c i s i o n .   T h e   o t h e r   da t a s e t s ,   o n  t h e   o t h e r  ha n d ,   a r e   m o r e   s u i t e d  t o   ge n e r a l   v e g e t a t i o n  m a p pi n g   a nd  G V I - b a s e d  a c t i v i t i e s .       T a b l e   1 .   Co m p a r i s o n  o f   t r e e   s e gm e n t a t i o n  da t a s e t s   D a t a s e t   N o .   o f   i m a g e s   S c e n e   t y p e   A n n o t a t i o n   t y p e   N o .   o f   c l a s s e s   T re e - s p e c i f i c   d e t a i l   S u i t a b l e   a p p l i c a t i o n   K e y   s t r e n g t h s   Ci t y s c a p e s   5 , 0 0 0   U r b a n   s t r e e t   (E u ro p e )   P i x e l - l e v e l   (f i n e   a n d   c o a r s e )   30   L o w   (v e g e t a t i o n   g ro u p e d )   G V I ,   u rb a n   s e g m e n t a t i o n   H i g h - q u a l i t y   a n n o t a t i o n s ,   c o n s i s t e n t   c o n d i t i o n s ,   b e n c h m a rk   d a t a s e t   A D E 2 0 K   2 7 , 0 0 0   In d o o r  a n d   o u t d o o r  s c e n e s   P i x e l - l e v e l   +   p a rt - l e v e l   150   M o d e ra t e   (i n c l u d e s   t r e e   c l a s s )   G V I ,   s c e n e   p a r s i n g ,   l a n d s c a p e   a n a l y s i s   L a rg e   d i v e rs i t y ,   ri c h   s e m a n t i c   c a t e g o ri e s ,   d e t a i l e d   a n n o t a t i o n s   M a p i l l a ry   V i s t a s   2 5 , 0 0 0   G l o b a l   s t r e e t - l e v e l   P o l y g o n - b a s e d   +   i n s t a n c e   l a b e l s   6 6   (3 7   i n s t a n c e - l e v e l )   M o d e ra t e   G V I ,   u rb a n   a n a l y t i c s ,   a u t o n o m o u s   d ri v i n g   G l o b a l   d i v e rs i t y ,   v a ri e d   c o n d i t i o n s ,   f i n e - g ra i n e d   a n n o t a t i o n s   J e k y l l   d a t a s e t   3,   949   U r b a n   t r e e - fo c u s e d   P i x e l - w i s e   m a s k s   +   p o l y g o n   (L a b e l M e )   2 8   S p e c i e s   H i g h   (i n d i v i d u a l   t re e s ,   t ru n k s )   In d i v i d u a l   t re e   s e g m e n t a t i o n ,   s p e c i e s   a n a l y s i s   T re e - s p e c i f i c   d e s i g n ,   m u l t i - s e a s o n a l   d a t a       2. 5 .     Ev al u ati o n   m e tr i c s   an al ys i s   T h e   e v a l ua t i o n   s t a ge   r e f e r s   t o   t h e   p r o c e s s   of   m e a s u r i ng   t h e   a c c u r a c y   of   a   s e gm e nt a t i o n  m o de l   by   c o m pa ri n g  t h e   s e gm e nt a t i o n   m a s ks   i t   p r e di c t s   t o   t h e   g r o und  t r u t h   l a b e l s   [53] .   T h i s   c o m pa ri s o n   e na b l e s   t h e   m e a s u r e m e nt   o f   h o w   a c c ur a t e l y   t h e   m o de l   c l a s s i f i e s   e a c h   p i xe l   i nt o   i t s   r e s pe c t i v e   c l a s s ,   t h e r e by   pr o v i di ng  a n   ob j e c t i ve   a s s e s s m e n t   o f   s e gm e nt a t i o n  qua l i t y .   T hi s   i s   do ne   w i t h  qua nt i t a t i v e   m e a s u r e s   o f   t h e   qua l i t y   of    pi xe l - w i s e   c l a s s i f i c a t i o n.     2. 5 . 1.   I n te r s e c ti o n   o v e r   u n i o n   T h e   i nt e r s e c t i o n  o v e r   u n i o n  (Io U )  i s   a   pe r f o r m a n c e   m e a s ur e   t ha t   i s   w i de l y   ut i l i z e d  i n   i m a ge   s e gm e n t a t i o n  a nd  o b j e c t   de t e c t i o n .   I t   m e a s u r e s   h o w   w e l l   da t a   i s   p r e d i c t e d  by   t h e   ra t i o   o f   t h e   a r e a   o v e r l a p   b e t w e e n   t h e   p r e d i c t e d  s e gm e n t a t i o n   m a s k   a nd  g r o u n d   t r u t h  m a s k  [ 54],   e xp r e s s e d  a s   (1) ,   w h e r e   T P   i s   t h e   n u m b e r   o f   pi xe l s   c o r r e c t l y   pr e di c t e d  t o   b e   pa r t   o f   t h e   o b j e c t ,   F P   i s   t h e   num b e r   o f   pi xe l s   i n c o rr e c t l y   pr e di c t e d  t o   b e   pa rt   o f   t h e   o b j e c t   b ut   b a c kgr o u n d ,   a n d   F N   i s   t h e   n u m b e r   o f   pi xe l s   t ha t   a r e   c o rr e c t l y   pa rt   o f   t h e   o b j e c t   b ut   a r e   p r e di c t e d   a s   b a c kgr o u n d.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   975 - 989   982    =  (  +  +  )   (1)     2. 5 . 2.   M e an   ab s o l u te   e r r o r   M e a n  a b s o l ut e   e rr o r  (M A E )   i s   a n  a na l y s i s   m e a s u r e   t ha t   i s   us e d  t o   c a l c ul a t e   t h e   m e a n  o f   a b s o l ut e   di f fe r e n c e s   b e t w e e n   t h e   e s t i m a t e d  v a l ue s   a nd  t h e   r e a l   g r o u n d   t r ut h  o n e s   [55] .   I n   i m a ge   s e gm e nt a t i o n,   M A E   i s   of t e n   us e d  i n  r e gr e s s i o n - b a s e d  s e gm e n t a t i o n   t a s ks   o r  w h e n  e v a l ua t i ng  c o n t i n uo us - v a l ue d  o ut put s ,   s uc h  a s   s a l i e n c y   m a ps ,   de p t h  m a ps ,   o r  v e ge t a t i o n  i n d i c e s   l i ke   t h e   G V I  [5 6] ,   a s   c a l c ul a t e d   i n  (2) ,   w h e r e     i s   t h e   gr o u n d   t r u t h   v a l ue   f o r   a  p i xe l ,   ŷ   r e f e r s   t o   t h e   p r e di c t e d   v a l ue   f o r   a  p i xe l ,   a nd    i s   t h e   t o t a l   n u m b e r   o f   pi xe l s .     = 1 ∑ | − ŷ | = 1   (2)     2. 5 . 3.   S e gm e n tat i o n   ac c u r ac y ,  o v e r - s e gm e n tati o n   r ate ,   an d   u n d e r - s e gm e n tati o n   r at e   S A   qu a n t i f i e s   h o w   w e l l   t h e   a l go r i t h m   c o rr e c t l y   i de n t i f i e s   a n d   de l i n e a t e s   o bj e c t s   c o m pa r e d  t o   a   pe r f e c t   g r o un d - t r u t h   s e gm e nt a t i o n  a s   c a l c ul a t e d   i n  (3) .   M e a n w h i l e ,   t h e   o v e r - s e gm e n t a t i o n  ra t e   (O R )  i ndi c a t e s   w h e n   a   s i n g l e ,   t r ue   o b j e c t   i s   i n c o rr e c t l y   s pl i t   i nt o   m u l t i pl e   s m a l l e r   s e gm e n t s ,   a n d   t h e   u n de r - s e gm e n t a t i o n  r a t e   (U R )  r e f e r s   t o   i n s t a n c e s   w h e r e   s e ve r a l   di s t i n c t   o b j e c t s   a r e   w r o n gl y   m e r ge d  i nt o   a   s i n gl e   s e gm e n t   [57] ,   a s   c a l c ul a t e d   i n  (4)   a nd  ( 5),   r e s pe c t i v e l y .     SA = 1 − |   −   | × 100%   (3)      = +   (4)      = +   (5)     W h e r e     is   t h e   g r o u n d   t r u t h ,    i s   t h e   a r e a   s e gm e nt e d ,  | – |   i s   t h e   nu m b e r   o f   pi xe l s   t h a t   w e r e   i n c o rr e c t l y   s e gm e n t e d ,    i s   t h e   n u m b e r  o f   pi xe l s   t ha t   w e r e   w r o n g l y   i n c l u de d  i n  t h e   s e gm e n t a t i o n  r e s ul t   b ut   s h o ul d   n o t   ha v e   b e e n ,   a n d     i s   t h e   n u m b e r   o f   pi xe l s   t ha t   w e r e   i n c o rr e c t l y   e x c l ude d  f r o m   t h e   s e g m e nt a t i o n  r e s ul t   b ut   s h o ul d  ha v e   b e e n   i n c l ude d.     2. 5 . 4.   G r e e n   v i e w   i n d e x   G V I  i s   a n  e n v i r o n m e n t a l   m e t ri c   t ha t   m e a s u r e s   t h e   v i s i b l e   pr o po r t i o n   o f   gr e e n e r   v e ge t a t i o n ,   e s pe c i a l l y   t r e e s ,   s hr ub s ,   a n d  g r a s s e s ,   i n   s t r e e t - l e v e l   i m a ge ry   [58].   A l s o   us e d  e xt e n s i v e l y   i n   u r b a n  s t ud i e s ,   e n v i r o n m e n t a l   a na l y s i s ,   a n d  c i t y   pl a nni n g ,   G V I  a s s e s s e s   t h e   pe r c e pt i b l e   v e ge t a t i o n   i n   u r b a n   s e t t i n gs   f r o m   a   pe de s t r i a n   pe r s pe c t i v e ,   a s   e s t a b l i s h e d  b y   (6),   w h e r e   t h e   g r e e n   p i xe l s   a r e   t h e   i m a ge   s e gm e nt a t i o n  o f   pa rt s   o f  t h e   i m a ge   t ha t   a r e   p l a nt s ,   s uc h   a s   t r e e s   o r   g ra s s .   W h e r e a s ,   t he   t o t a l   p i xe l s   r e f e r   t o   t h e   n um b e r   o f   pi xe l s   i n  t h e   s t r e e t - l e v e l   i m a ge ,   e xc l udi ng  s ky   a n d  di s t a n t   b a c kg r o un d ,   gi v e n   t h e   a pp r o a c h  t a ke n .     =             × 100%   (6)     B a s e d  o n   t h e   e v a l ua t i o n  m e t r i c s   p r e s e n t e d,   t h e   Io U   pr o v e s   t o   b e   m o r e   e ff e c t i v e   i n  i ndi v i du a l   t r e e   s e gm e n t a t i o n ,   w h e r e   i t   m e a s u r e s   t h e   e xt e nt   o f   s pa t i a l   a g r e e m e nt   b e t w e e n   t h e   p r e di c t e d  a n d   r e f e r e n c e   m a s ks   by   c o m pa ri n g   p i xe l s   b e t w e e n  t h e   e s t i m a t e d   a nd   r e f e r e nc e   m a s ks .   W h e r e a s   c o n t i nui t y   o r  p r o po r t i o n a l   v e g e t a t i o n  da t a   i s   b e t t e r   c a p t u r e d  by   M A E   a n d  G V I,   t h e   s e n s i t i v i t y   n e e de d  i n   a l i g n m e n t   o f   bo un da ri e s   t o  a c c o m m o da t e   c o m pl e x  ur b a n  c a n o p y   s h a pe s   a nd  o c c l us i on s   i s   o ff e r e d  by   t h e   Io U .   A l t h o ug h  m e a s u r e s ,   i n c l udi ng  S A ,   O R ,   a n d   U R ,   pr o v i de   c l ue s   o n  t h e   e rr o r s   i n  pa r t i c ul a r  c a t e go r i e s ,   i n c l u di n g   f ra g m e nt a t i o n  o r   m e r g i n g ,   t h e y   do   n o t   p r o v i de   t h e   b a l a n c e   o f   a   h o l i s t i c   Io U   t h a t   s i m u l t a n e o us l y   t a ke s   i n t o   c o n s i de r a t i o n  m i s s e d  a r e a s   a nd  f a l s e   po s i t i v e s   t o   gua r a nt e e   p r o pe r   o b j e c t - l e v e l   l o c a l i z a t i o n.       3.   R ES U LTS   A N D   D I S C U S S I O N   R e c e n t   s t udi e s   ha v e   de m o n s t ra t e d  s ub s t a nt i a l   p r o g r e s s   i n   t r e e   s e gm e n t a t i o n   t e c hni que s   t ha t   l e v e r a ge   s t r e e t - v i e w   i m a ge r y .   T h e   m a j o r i t y   of   t h i s   r e s e a r c h  ha s   c o nc e n t r a t e d  o n  e s t i m a t i n g   t h e   G V I   a s   a   m e a n s   o f  qua n t i fy i n g   u r b a n  g r e e n e r y   f r o m   a   pe de s t r i a n - l e v e l   p e rs pe c t i v e .   In  c o n t ra s t ,   r e l a t i v e l y   f e w e r   s t udi e s     ha v e   s pe c i f i c a l l y   a dd r e s s e d  t h e   m o r e   c h a l l e n gi ng  t a s k  o f   s e gm e nt i ng  i ndi v i dua l   t r e e s   w i t hi n   s uc h   i m a ge r y .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   A dv   A ppl   S c i     IS S N :   2252 - 8814       R e c e n t   a dv an c e s   i n   c om put e r   v i s i on  s e gm e n t at i on   f or   ur ban   t r e e   de t e c t i on  …   ( Muham m ad   F ar e e z   R as hda n )   983   T a b l e   2  p r o v i de s   a   c o n c i s e   s um m a r y   of   t h e   ke y   m e t h o do l ogi c a l   de v e l o pm e n t s   a nd  r e p r e s e n t a t i v e   w o r ks   i n  bo t h  r e s e a r c h   di r e c t i o n s .       T a b l e   2 .   O v e r v i e w   of   s e gm e n t a t i o n  t e c hni que s   f o r   u r b a n  t r e e   de t e c t i o n   f r o m   s t r e e t - l e v e l   i m a ge r y   A u t h o r   M o d e l / m e t h od   D a t a s e t   P e r fo r m a n c e   L i m i t a t i o n   A i k o h     e t   a l .   [5 9 ]   D e e p L a b   (v s .   m a n u a l   P h o t o s h o p )   Ci t y s c a p e s   a n d   Im a g e N e t   H i g h   c o rre l a t i o n   w i t h   m a n u a l   G V I   (r   =   0 . 9 7 ,   0 . 9 5 );   f a s t   p ro c e s s i n g   (~ 5 1 s   v s   3 0   m i n );   a n d   s t ro n g   a g re e m e n t   w i t h   G S V   (r   =   0 . 9 6 6 )   S e n s i t i v e   t o   v i e w p o i n t   d i ffe r e n c e s ,   s e a s o n a l   v a ri a t i o n ,   a n d   i m a g e   re s o l u t i o n   X i a   e t   a l .   [6 0 ]   D e e p L a b V 3 +   Ci t y s c a p e s   H i g h e r  m I o U   (7 8 . 3 7 % ),   l o w e r  R M S E   (2 . 7 5 % ),   a n d   f a s t e r  (0 . 2 9   s )  t h a n   P S P N e t   A ffe c t e d   b y   s e a s o n a l   v a ri a t i o n ,   s a m p l i n g   d i s t a n c e ,   a n d   l a c k   o f   t i m e - s e ri e s   d a t a   K i   a n d   L e e   [6 1 ]   F CN 8 s   (T e n s o r F l o w )   Ci t y s c a p e s   A c c u ra c y   =   0 . 8 4 5 6 ;   e ffe c t i v e   fo r  l a r g e - s c a l e   G V I;   c a p t u r e s   3 D   g r e e n e r y ;   a n d   l i n k s   t o   w a l k i n g   b e h a v i o r   S e g m e n t a t i o n   e r ro r s ,   t e m p o ra l   i n c o n s i s t e n c y   i n   G S V ,   a n d   m i s s i n g   e n v i r o n m e n t a l   v a ri a b l e s   S á n c h e z   a n d   L a b i b   [6 2 ]   M a s k 2 F o r m e r  (T ra n s fo r m e r - b a s e d )   CO CO ,   Ci t y s c a p e s ,   A D E 2 0 K ,   a n d   M a p i l l a ry   V i s t a s   m I o U :   5 7 . 4 %   ( s m a l l ),   5 9 . 0 %   (m e d i u m / l a rg e )   a n d   s c a l a b l e   g l o b a l   a n a l y s i s   Im a g e   a v a i l a b i l i t y ,   q u a l i t y   v a ri a b i l i t y ,   s e a s o n a l / c l i m a t e   d i ffe r e n c e s ,   a n d   N D V I   m i s m a t c h   Y a n g   e t   a l .   [6 3 ]   Y O L O - S e g N e t   (Y O L O v 8   +   S e g F o r m e r)   D a t a s e t   J e k y l l   m I o U   =   9 2 . 0 % ;   p i x e l   a c c u ra c y   =   9 5 . 9 % ;   a n d   s t r o n g   a c ro s s   s p e c i e s   A v e ra g e   m e t r i c s   m a y   n o t   r e f l e c t   s p e c i e s - s p e c i fi c   p e r f o r m a n c e   L u m n i t z   e t   a l .   [6 4 ]   M a s k   R - CN N   +   d e p t h   +   t ri a n g u l a t i o n   CO CO   a n d   CO CO   S t u ff   > 7 0 %   d e t e c t i o n   a n d   l o c a t i o n   e rr o r   =   4 – 6   m   E rro r s   i n   o c c l u s i o n ,   o v e rl a p p i n g   t r e e s ,   s m a l l / s h a d o w e d   o b j e c t s ;   a n d   l i m i t e d   t ra i n i n g   d i v e r s i t y   M o   e t   a l .   [3 4 ]   M IS F   ( S E M D   +   m u l t i - v i s i o n   +   S U RF )   P ri v a t e   d a t a s e t   E rro r s   =   1 . 8 9 %   ( h e i g h t ),   2 . 4 2 %   (D BH ),   a n d   3 . 1 5 %   (c r o w n   w i d t h )   S e n s i t i v e   t o   o c c l u s i o n   a n d   c a m e ra   c a l i b ra t i o n   e rr o r s   Z h o u   e t   a l .   [3 5 ]   D u a l - e n c o d e r   +   g ra p h   re a s o n i n g   d e c o d e r   D a t a s e t   J e k y l l   + 4 . 3 %   m Io U   a n d   + 5 . 7 %     F - s c o r e   i m p r o v e m e n t   Re d u c e d   p e r fo r m a n c e   fo r  d i s t a n t   t r e e   b ra n c h e s   Y a n g   e t   a l .   [6 5 ]   A d a p t i v e   m e a n   s h i f t i n g   +   i m a g e   a b s t ra c t i o n   N o n e   > 9 2 %   s e g m e n t a t i o n   a c c u ra c y   P e r fo r m a n c e   d r o p s   fo r  d i s t a n t   t re e s   a n d   c o m p l e x   e n v i ro n m e n t s   T i l k i   e t   a l .   [6 6 ]   G ro u n d e d   S A M   (G ro u n d i n g   D IN O   +   S A M )   SA - 1B   Io U   ≈   0 . 5 0   f o r   t r e e s ;   m u l t i - t a s k   d e t e c t i o n   +   s e g m e n t a t i o n   D i ffi c u l t y   i n   c o m p l e x   u rb a n   v e g e t a t i o n   s e g m e n t a t i o n       3. 1 .     S tu d i e s   o n   gr e e n   v i e w   i n d e x   e s ti m ati o n   A   num b e r   o f   s t udi e s   h a v e   us e d  de e p  l e a rn i ng - b a s e d  s e m a n t i c   s e gm e n t a t i o n   t o   pr e d i c t   t h e   G V I   us i n g   s t r e e t - l e v e l   i m a ge s .   A i ko h  e t   a l .   [59]   c o m pa r e d   t h e   c a l c ul a t i o n   o f   G V I   m a n u a l l y   i n  A do b e   P h o t o s h o p  w i t h  a n   a ut o m a t e d  m e t h o d  b a s e d  o n  D e e pL a b   a nd  f o un d   e xt r e m e l y   hi g h  c o rr e l a t i o n s ,   w hi c h  g i v e s   r e a s o n  t o   b e l i e ve   t h a t   de e p  l e a rn i ng  c a n   g i v e   a n   a pp r o xi m a t i o n   o f   m a n u a l   re s ul t s .   O t h e r   m o de l s   l i ke   P S P N e t ,   S e gN e t ,   a n d     F CN - 8s   h a v e   b e e n   r e po rt e d  t o   h a v e   s i m i l a r ly   h i g h   c o rr e l a t i o n s .   D e s pi t e   t h e   f a c t   t h a t   s o m e   c a s e s   o f   m i n o r  m i s c l a s s i f i c a t i o n  w e r e   o b s e r v e d ,   l i ke   t ha t   o f   r e f l e c t i o n s ,   s h a do w s ,   o r   m a n - m a de   o bj e c t s ,   t h e   e f f e c t   w a s   m i ni m a l .   T h e   a u t o m a t e d   m e t h o d  p r o v e d  t o   be   f a r  m o r e   e f f i c i e nt   a n d   w a s   i n  go o d  a g r e e m e n t   w i t h   GSV   da t a .   H ow e ve r ,   o t h e r  f a c t o r s   c o ul d   a f f e c t   a c c u r a c y ,   l i ke   d i v e r ge n t   o pi ni o n s ,   s e a s o n ,   a n d   i m a ge   r e s o l ut i o n ;   t h e r e f o r e ,   m o r e   v a l i da t i o n  i s   n e e de d  i n   c o m pa ri s o n  t o   h u m a n  pe r c e pt u a l   s t a nda rds .   X i a   e t   al .   [60]   s h o w e d  h o w   D e e pL a b V 3+   i s   e f f e c t i v e   a t   s e m a n t i c   s e g r e ga t i o n  o f   s t r e e t - l e v e l   i m a ge r y   t o   e v a l ua t e   u r b a n   g r e e n e r y   a n d  c a l c ul a t e   t h e   G V I .   T e s t i n g  o n   t h e   Ci t y s c a pe s   da t a s e t   s h o w e d  t ha t   D e e pL a b V 3+   o ut pe r f o r m s   P S P N e t .   B a s e d   o n  t h e s e   r e s ul t s ,   t h e   c u rr e nt   r e s e a r c h  p r o po s e s   a   pe de s t ri a n  v i s i b l e   gr e e n  v i e w   i n de x  (P V G V I)   f r a m e w o r k,   w h i c h   us e s   pa n o ra m i c   s t r e e t   v i e w   a n d   h i g h - p r e c i s i o n   s e m a n t i c   s e gm e n t a t i o n   t o   b e t t e r   r e p r e s e n t   u r b a n   g r e e n e r y   a s   s e e n   f ro m   a   pe de s t r i a n   v i e w po i n t ,   t h us   a dd r e s s i n g   t h e   ov e r e s t i m a t i o n  t ha t   c o m e s   w i t h  t ra di t i o n a l   G V I   f r a m e w o r ks .   T h e   f ra m e w o r k  a l l o w s   s c a l a b l e   a n d  a ut o m a t e d  a n a l y s i s   t hr o ug h   a   c o nn e c t i o n   t o   a   s t r e e t   v i e w   A P I  t ha t   a l l o w s   c r o s s - c i t y   c o m pa r i s o n  a n d  a l l o w s   h i g h e r - o r de r  a ppl i c a t i o n s .   A l t h o ug h  t h e s e   b e n e f i t s   a r e   p r e s e nt ,   s e v e r a l   s ho r t c o m i n gs   s t i l l   e xi s t ,   s uc h  a s   l e s s   r e l i a b i l i t y   of  s e gm e n t a t i o n   i n   d i f fe r e nt   s e a s o n a l   c o n d i t i o n s ,   r e l i a n c e   o n  t h e   de n s i t y   of   s a m pl i n g   i nt e r v a l s ,   a n d  l i m i t e d  a c c e s s   t o   l o n gi t u di na l   s t r e e t   v i e w   i m a ge s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2252 - 8814   Int   J   A dv   A ppl   S c i ,  V o l .   15,   N o .   3 ,  S e pt e m b e r   202 6 :   975 - 989   984   T h e   g r e e n e r y   at   t h e   s t r e e t   l e v e l   h a s   p r o v e n   t o   h a v e   a n   i n f l u e n c e   o n   t h e   pa t t e rn   o f   h u m a n  b e h a v i o r.   T h e   F CN - 8s   m o d e l   i s   us e d  i n   t h e   f ra m e w o r k  o f   t h e   T e n s o r F l o w   s y s t e m   by   K i   a n d   L e e   [61],   w h i c h   us e s   s e m a n t i c   s e gm e n t a t i o n  o f   G S V   t o   e xt ra c t   v e ge t a t i v e   c o m po n e nt s   a n d   c a l c u l a t e   t h e   G V I.   T h e   Ci t y s c a pe s   da t a s e t   w a s   us e d  t o   t ra i n  t h e   m o de l .   T h e   f i n di ngs   i n d i c a t e   t ha t   G V I   i s   a   m o r e   po l i s h e d   a nd    pe r c e pt i o na l l y - dr i v e n   c i t y   v e g e t a t i o n  i nde x  t ha n  t ra di t i o n a l   o n e s .   T h e   s t udy   a l s o   r e v e a l s   t ha t   t h e   a s s o c i a t i o n  b e t w e e n   g r e e n   s pa c e s   a n d  w a l k i n g  i s   m e di a t e d  by   t h e   g r e e n   s p a c e   a s s e s s m e n t   m e t h o d,   w h i c h ,   a c c o r di n g  t o  G V I,   i s   m o r e   s t r o n gl y   a s s o c i a t e d  w i t h   ut i l i t a ri a n  w a l ki ng  a s   o ppo s e d  t o   c l o s e n e s s   t o   pa r ks .   It   s h o ul d  b e   m e nt i o n e d  t ha t   s o c i o e c o n o m i c   di s p a r i t i e s   a r e   r e f l e c t e d  i n   t h e   f a c t   t ha t   t h e   l o w e r - i n c o m e   gr o ups   a r e   m o r e   s us c e pt i b l e   t o   G V I.   T h e s e   r e s ul t s   e m p ha s i z e   t h e   n e c e s s i t y   t o   i m p l e m e n t   s t r e e t - l e v e l   g r e e n  i n f r a s t r uc t u r e ,   pa r t i c ul a rl y   i n  di s a dv a n t a ge d  a r e a s ,   a nd  t o   t a ke   i nt o   a c c o un t   m e t h o do l o gi c a l   c o n s t ra i nt s   s uc h   a s     po t e n t i a l   m i s c l a s s i f i c a t i o n  o f   pi c t u r e s   by   s e gm e n t a t i o n,   t i m e   de l a y s   of   G S V   da t a ,   a n d   t h e   l a c k  o f   c r uc i a l   e n v i r o n m e n t a l   v a r i a b l e s .   T r a n s f o r m e r - b a s e d  m o de l s   ha v e   a l s o   b e e n  e nha n c e d  a s   w e l l ,   a n d   s e m a n t i c   s e gm e nt a t i o n  i s   m o r e   pr e c i s e   r e ga r d i n g   t h e   a na l y s i s   of   ur b a n  g r e e n  s pa c e .   S á n c h e z   a n d   L a b i b   [62]   a p pl i e d   M a s k2F o r m e r   t o   p r o j e c t   M a pi l l a r y   s t r e e t - l e v e l   i m a ge r y   t o   m a p   G V I   a t   t h e   g l o b a l   l e v e l ,   w h i c h  s h o w e d  e xc e l l e n t   r e s ul t s   i n   h e t e r o ge n e o us   c i t i e s .   R i di n g   o n  t hi s   a dv a n c e m e nt ,   t h e   c u rr e n t   s t udy   us e s   o pe n - a c c e s s   M a pi l l a r y   da t a   t o   c o r r e s po n d   t o   F A IR   p r i n c i pl e s   t ha t   e n s u r e   f i n d a b i l i t y ,   a c c e s s i b i l i t y ,   i n t e r o pe r a b i l i t y ,   a nd   r e us a b i l i t y ,   a n d   fo s t e r   r e p r o duc i b l e   r e s e a r c h,   s ugge s t i n g   a   ge o gra p h i c a l l y   f l e xi b l e   a n d   s c a l a b l e   f r a m e w o r k  o f   G V I  c o m put a t i o n .   U n l i ke   t r a d i t i o na l   t o p - dow n   r e m o t e   s e n s i n g  m o de l s ,   t h i s   m o de l   m o de l s   v e r t i c a l l y   o r i e nt e d,   h u m a n - pe r c e i v e d  v e ge t a t i o n   a n d   c o m b i n e s   G V I  w i t h   t h e   n o rm a l i z e d  di f f e r e n c e   v e ge t a t i o n   i n de x  (N D V I)   t o   b r i dge   t h e   d a t a   g a ps .   T h e   t ra n s p a r e n c y   of   t h e   m e t h o do l o g y   i s   gi v e n   p r i o r i t y ,   w h i c h   i s   e s pe c i a l l y   i m po r t a n t   i n  t h e   c a s e   o f   u n de rr e p r e s e n t e d   u r b a n  s e t t i n gs .   H ow e ve r ,   c o n s t r a i nt s   e xi s t ,   s uc h  a s   u n e v e n   s p a t i a l   c ov e r a ge   o f  i m a ge r y ,   i m a ge   qu a l i t y   v a ri a b i l i t y   a s   a   r e s ul t   o f   c r o w d - s o ur c e d  c o l l e c t i o n ,   a n d   t e m po ra l   v a r i a b i l i t y   t hr o ug h  s e a s o n a l   a n d   c l i m a t i c   v a r i a t i o n s .   M o r e o ve r ,   a l t h o ug h   N D V I   i n t e g r a t i o n   a i ds   i n   da t a   i m put a t i o n,   i t   c a n   c r e a t e   i n a c c ura c i e s   s i n c e   i t   h a s   a n   a e ri a l   v a nt a ge   po i nt   a n d   do e s   n o t   m a t c h  g r o und - l e v e l   m e a s u r e m e n t s ,   w hi c h  hi g h l i g ht s   t h e   n e c e s s i t y   of   f ur t h e r  m e t h o do l o gi c a l   de v e l o pm e nt   a n d   e m pi ri c a l   v e r i f i c a t i o n .     3. 2 .     S tu d i e s   o n   i n d i v i d u al   tr e e   s e gm e n tati o n   A l t h o ug h   t h e r e   a r e   m a n y   s t udi e s   t ha t   h a v e   f oc us e d  o n   a p p r o xi m a t i n g   v e ge t a t i o n   c o v e r ,   t h e r e   i s   a   de a rt h  o f   r e s e a r c h  s t ud i e s   t ha t   h a v e   f o c us e d  t h e i r  a t t e nt i o n  o n  t h e   r e c o gn i t i o n  o f   i n d i v i dua l   t r e e s   us i n g     s t r e e t - l e v e l   i m a ge s .   Y a n g   e t   al .   [6 3]  i n t r o duc e d  a   h y b r i d  a rc h i t e c t ur e ,   Y O L O - S e gN e t ,   b a s e d  o n   t h e   us e   o f  Y O L O v 8,   w hi c h  de t e c t s   o b j e c t s ,   a nd   s e gm e nt a t i o n  t ra n s f o r m e r  ( S e gF o rm e r ) ,   w hi c h  s e gm e nt s   s e m a n t i c a l l y ,   w i t h   a   p r o m i s i n g  m Io U   a n d   m e a n  pi xe l   a c c ura c y ,   w h i c h   i s   a   s i g n i f i c a n t   e x a m p l e   o f   s t r o n g  pe r f o r m a n c e   i n   t h e   i s o l a t i o n   o f   i n d i v i dua l   t r e e s   i n   a n   u r b a n   e n v i r o nm e nt .   T h o ug h   s uc h   a gg r e ga t e   m e a s u r e s   a r e   i n di c a t i v e   o f   g oo d   ov e r a l l   s e gm e n t a t i o n   po t e nt i a l ,   t h e y   c a n  m a s k  d i f fe r e n c e s   i n   m o de l   e ff e c t i v e n e s s   i n  t r e e   s pe c i e s .   T h i s   r e s e a r c h  pa pe r   b ui l ds   o n   t hi s   a na l y s i s   by   pr o v i di n g   a   s pe c i e s - b a s e d  e xpe r i m e nt   o n   v a l i da t i o n  a n d   t e s t   s e t   r e s ul t s   o n   s e g m e nt a t i o n,   s h o w i n g   t ha t   Y O L O - S e gN e t   c a n  a c h i e v e   h i g h e r  Io U   s c o r e s   o n   a   v a ri e t y   o f   t a xa   o f  s t r e e t   t r e e s   t h a n  o t h e r   m o de l s .   L um ni t z   e t   al .   [64]   a p pl y   t h e   M a s k  R - CN N   t o   de t e c t   a nd  s e gm e nt   s i ngl e   t r e e s   i n   GSV   a n d  M a pi l l a r y   i m a ge s .   T h e   i n v e s t i ga t i o n  o f   296  f a i l u r e   c a s e s   r e v e a l s   t ha t   m o s t   m i s c l a s s i f i c a t i o n s   o c c ur   i n  t h e   p r e s e n c e   of  de n s e   t r e e s ,   o ve r l a ppi ng  t r e e s ,   o r  t h o s e   t h a t   a r e   i n   s h a do w   o r   a r e   i n  l e a f - o ff   ph a s e s ,   m a i nl y   be c a us e   of   t h e   l a c k  o f   c ov e r a ge   i n  t h e   t ra i n i n g   d a t a .   T h e s e   r e s ul t s   hi g hl i g ht   t h e   di f f i c ul t i e s   t ha t   e xi s t   i n  s e pa ra t i n g   a m o rp h o us ,   v i s ua l l y   u n s t r uc t u r e d   o b j e c t s .   N e ve r t h e l e s s ,   t h i s   c a n  b e   ov e r c o m e   t hr o ug h  c o m b i n i ng   v a ri o us   s t r e e t - l e v e l   v i e w p o i n t s   b y   pr ov i di n g  c o m pl e m e n t a r y   v i e w s   o n   o bs c ur e d  b ui l di n gs .   A l s o ,   f a l s e   po s i t i v e s ,   e s pe c i a l l y   h e dge s ,   a n d   f a l s e   n e ga t i v e s   i n  u n de rr e p r e s e n t e d   c a t e go r i e s   s pe c i f i c a l l y   a ff e c t   pr e di c t i o n s   w i t h   s m a l l   s e gm e n t a t i o n   m a s ks ,   s h o w i n g  t h e   n e e d  t o   us e   h e t e r o ge n e o us   t ra i ni n g   s e t s   a n d   m u l t i - v i e w   i m a ge s   t o   i m p r o v e   t h e   de t e c t i o n   pe r f o r m a n c e .   T h e   M IS F   f r a m e w o r k  p r o po s e d  by   M o   e t   al .   [ 34]  i s   f oc us e d  o n   t h e   e s t i m a t i o n   o f   s t r uc t u ra l   pa r a m e t e r s   o f   s t a n d i n g   t r e e s   b a s e d  o n  t h e   p ri n c i pl e   o f   m ul t i - v i e w   i m a ge   s e gm e n t a t i o n  a nd  i n t e g ra t i o n  o f  s pa t i a l   c o o r di na t e s .   M IS F   us e s   t h e   S E M D   de e p  l e a rni n g  m o de l   o f   m ul t i - s c a l e   f e a t u r e   f us i o n   t o   i n c r e a s e   e dge   pr e s e r v a t i o n   a n d   b e t t e r   f e a t u r e   po i n t   l o c a l i z a t i o n.   T h e   t hr e e - v i e w   c a m e r a   m e a s u r e m e n t s   o f   t r e e   h e i g ht ,   D B H ,   a n d  c r o w n   w i dt h  gi v e   l o w   r e l a t i v e   e rr o r s .   T h e   i m po r t a n t   d e ve l o pm e n t s   o f   M IS F   a r e   i m p r o v e d  a c c ur a c y   o f  m e a s u r e m e nt s ,   m u l t i - v i e w   i m a ge   pr o c e s s i n g  w i t h   a   b e t t e r  s pe e de d - up  r o b us t   fe a t ur e s   ( S U R F )   m a t c h i ng  a l go ri t hm ,   a n d   t h e y   h a v e   p r o ve n   e f f e c t i v e n e s s   i n  r e a l - l i f e   c ont e xt s .   T o   a c hi e v e   a   m o r e   c o nt i n uo us   b ra n c h i n g   s t ruc t u r e   i n  s e gm e nt e d  o ut pu t s ,   Z h o u   e t   a l .   [ 35]   i nt r o duc e d  a   d ua l - e n c o de r  m o de l   w i t h  a   g ra p h  r e a s o ni n g   de c o de r   b l o c k .   T h e   r e s ul t   o f   t h i s   a pp r o a c h  i s   a n  i n c r e a s e   i n  m Io U   a n d   F - s c o r e   o v e r   p r e v i o us   m o de l s ,   b ut   t h e   pe r f o r m a n c e   de c r e a s e s   i n   d i s t a l   b r a n c h e s   a t   f urt h e r  d i s t a n c e s   f r o m   t h e   i m a g i ng  s o u r c e .   A t   t h e   s a m e   t i m e ,   c l a s s i c a l   m e t h o ds   o f   s e gm e n t a t i o n   a re   s t i l l   u nde r  s t udy .   Y a n g   e t   a l .   [65]   i n t r o duc e d  a   t e c hn i que   c o m b i n i ng  a da p t i v e   m e a n  s h i f t i n g   w i t h   i m a ge   a b s t ra c t i o n  t o   s e pa r a t e   t r e e s   i n  t h e   Evaluation Warning : The document was created with Spire.PDF for Python.