I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 7 ,   No .   2 ,  Feb r u ar y   20 2 5 ,   p p .   1 18 3 ~ 1 2 0 0   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 3 7 . i 2 . pp 1 18 3 - 1 2 0 0           1183     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   M o dified - v ehicle   detec tion a nd loc a liza tion mo del f o r  a utono mo us v ehicle t ra f fic  sy ste m       Am it   J uy a l 1 ,   Sa chin Sh a rm a 2 ,   Sh uchi  B ha du la 2   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   G r a p h i c   Er a   D e e me d   t o   b e   U n i v e r s i t y ,   G r a p h i c   Er a   H i l l   U n i v e r si t y ,   D e h r a d u n ,   I n d i a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   G r a p h i c   Er a   D e e me d   t o   b e   U n i v e r s i t y ,   D e h r a d u n ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Mar   25 ,   2 0 2 4   R ev is ed   Sep   20 ,  2 0 2 4   Acc ep ted   Sep   30 ,   2 0 2 4       Th e   m o d ifi c a ti o n   o f  v e h icle s  fo r  fin a n c ial   g a in   is  a n   e v o lv in g   ten d e n c y   o b se rv e d   in   I n d ia.   Re c o g n izin g   a n d   d e tec ti n g   o f  th e se   m o d ifi e d   il l icit  c a rs  is   a n   imp o rtan t   b u t   c rit ica l  tas k   i n   a u t o n o m o u s   v e h icle s   (AV ) .   I t  is  a lwa y s   p o ss ib le f o r  a   c y c li st o r  p e d e stria n   to   trav e rse   o b sta c les   o r  o t h e r  fix e d   o b jec ts   th a t  a p p e a r  in   fr o n t   o f   a n y   m o v i n g   v e h icle .   Ve h icle s  th a t   a re   a u to n o m o u s   o r   se lf - d riv i n g   re q u ire  a   d iffere n t  sy ste m   to   q u ick l y   i d e n ti f y   b o th   sta ti o n a ry   a n d   m o v in g   o b jec ts.  A  d e e p   lea rn i n g   m o d e l  n a m e d   y o u   o n l y   l o o k   o n c e   v e rsio n   5   ( YO LOv 5 ) - c o n v o lu ti o n a l  b l o c k   a tt e n ti o n   m o d u le  ( CBAM )   is  p r o p o se d   h e re   fo r  t h e   I n d ia n   traffic   s y ste m   wh i c h   is  b a se d   o n   YO LOv 5 m .   T h e   p ro p o se d   a lg o rit h m ,   YO LOv 5 - CBAM,   h a s   th re e   m a jo r  c o m p o n e n ts.   T h e   firs t  m o d u le,   th e   b a c k b o n e   m o d u le  is  e m p l o y e d   fo r  fe a tu re   e x trac ti o n .   T h e   se c o n d   m o d u le   is  to   d e tec t  sta ti c   a s  we ll   a s  d y n a m ic  o b jec ts  a t  th e   sa m e   ti m e   a n d   th e   t h ir d   CBAM  m o d u le  is  a d o p ted   in   th e   b a c k b o n e   a n d   n e c k   p a rt,   w h ic h   m a in l y   fo c u se s  o n   t h e   m o re   p ro m in e n t   fe a tu re s.  Two   c ro ss   sta g e   p a rt ial   ( CS P )   m o d u les   we re   u se d   a fter  e v e ry   c o n v o lu ti o n a l  la y e r  re su lt in g   in   a n   a d d it i o n a l   h e a d   to   t h e   p r o p o se d   m o d e l.   F o u r   h e a d   m o d u les   e q u i p p e d   with   a n c h o r  b o x e s   p e rfo rm e d   t h e   fin a l  d e tec ti o n .   F o r  th e   p re se n t  d a tas e t,   t h e   p r o p o se d   m o d e l   sh o we d   9 8 . 2 %   m e a n   a v e ra g e   p re c isio n   ( m AP ) ,   9 8 . 4 %   p re c isi o n ,   a n d   9 4 . 8 %   re c a ll   a s c o m p a re d   to   t h e   o ri g in a l   YO LOv 5 m .   K ey w o r d s :   Au to n o m o u s   v eh icle   C B AM   C SP   YOL O   YOL Ov 5 - C B AM   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Am it Ju y al   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E n g in ee r in g ,   Gr a p h ic  E r a  Dee m ed   to   b e  Un iv er s ity   Gr ap h ic  E r a  Hill Un iv er s ity   Deh r ad u n ,   I n d ia   E m ail:  am itju y al2 6 @ g m ail. co m       1.   I NT RO D UCT I O N   Self - d r iv in g   is   an   in tellig en t   au to n o m o u s   d r iv in g   f ea tu r e   th at  im p r o v es  s af ety   an d   c o n v en ie n ce   b esid e  th e  co n tr o ls .   So m e  in ter n atio n al  au to m a k er s   h av e  alr ea d y   lau n ch e d   an d   ar e  o p er atin g   s elf - d r iv in g   au to m o b iles .   T esla,  W ay m o ,   Z o o x ,   an d   C r u is e  ar e  a  f ew  ex am p les.  C o m p ar ed   to   d e v elo p ed   n atio n s ,   tr af f ic   co n d itio n s   ar e  m o r e  d if f ic u lt  in   em er g in g   n atio n s .   I n d ia   is   th e  m o s t   p o p u lo u s   an d   d ev elo p in g   n atio n .   Au to n o m o u s   v eh icles  ( AV)   ar e  th e  m o s t  ch allen g in g   t ask s   in   th e  p r esen t  I n d ian   tr af f ic  s ce n ar io .   I f   au to m ak er s   ar e   s u cc ess f u l  in   m an u f ac tu r in g   AV   wh ile   co n ce n tr atin g   o n   th e   tr af f ic  c o n d i tio n s   in   I n d ia,   th e n   o th er   n atio n s   ca n   s im p ly   em b r ac e  v eh icles  as  well.   T h e  cu r r en t  s tu d y   aim s   to   ass es s   th e  s u cc ess   o f   AV   in   th e  I n d ian   tr a f f ic  s ce n ar io .   T o   a ch iev e  s af e  an d   tr u s tab le  au t o n o m o u s   d r iv in g   m an y   in tellig en t  s o f twar e  an d   d if f er en t   h ar d war e  h av e   b ee n   d ev elo p e d   to   d ate   an d   s o m eti m es   f o r   b etter   d r iv i n g   ac cu r ac y ,   th e   in teg r atio n   o f   in tellig en t  s o f twar e  an d   h ar d war e  is   n ee d ed .   T h e  o v e r all  in tellig en t  d r iv in g   s y s tem   in cl u d es  C am er as,   r ad io   d etec tio n ,   a n d   r an g i n g   ( R ADAR ) ,   an d   lig h t  d etec tio n   a n d   r an g in g   ( L iDAR )   as  th e   p r i m ar y   s en s o r s   t h at   ar e  u s ed   to   co llect  d ata   ab o u t  n ea r b y   t r af f ic  as   d ep icted   in   Fig u r e  1 .   T h e  v is u al   in f o r m atio n   is   p r o v id ed   b y   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 18 3 - 1 2 0 0   1184   ca m er a,   th e   d is tan ce   a n d   v elo cities  o f   o b jects   ar e   d eter m in ed   b y   R ADAR,  an d   th e   th r ee - d im en s io n al  ( 3D )   p o in t  clo u d s   o f   n ea r b y   tr af f ic   ar e  p r o d u ce d   b y   L iDAR .   So f twar e  b ased   o n   d ee p   lear n in g ,   m ac h in e  lear n in g ,   p o s e - esti m atio n - b ased   m o d els,  etc  f u r th er   p r o ce s s es  th is   in f o r m atio n   to   esti m ate  th e  o b je ct  an d   in ten tio n   o f   th e  o b s er v e d   o b ject.   B ased   o n   th ese  o u tp u ts ,   AV  co n tr o ls   its elf .     Alth o u g h   ca r   m a n u f ac t u r er s   in   I n d ia  h av e   alr ea d y   d e p lo y ed   ad v an ce d   d r i v er   ass is tan ce   s y s tem   ( ADAS ) ,   f u lly   AV   s till   r eq u ir e  s ig n if ican t  im p r o v em en ts   in   th e  co m p licated   s y s tem   o f   AV .   On   I n d ian   r o ad s ,   a  wi d e  v ar iety   o f   v eh icles  a r e  in   u s e.   Peo p le  m o d if y   th e ir   v eh icles  to   m ee t   th eir   s p e cif ic  r eq u ir em e n ts .     Fig u r e  2   d em o n s tr ates  th e  m o d if ied   v e h icles  th at  ca n   n o t   b e  ea s ily   r ec o g n is ed   as  an   i llu s tr atio n   o f   s u ch   v eh icles  is   s ee n   in   Fig u r e s   2 ( a)   a n d   2 ( b ) .   T h er ef o r e,   an   i n tellig en t  v e h icle  s y s tem   th at   ca n   r ec o g n ize  an d   d etec t a ll c ateg o r ies o f   v eh icle s ,   is   n ec ess ar y   f o r   s af e  d r iv i n g   in   AV .           Fig u r e  1 .   I n tellig en t sy s tem   in   AV  f o r   s af e  d r i v in g           ( a)   ( b )     Fig u r e  2 .   Dis p lay s   th e  m o d if ie d   au to m o b iles   th at  ar e  d if f icu l t to   r ec o g n ize,   as seen   in   th e  i m ag es ;   ( a)   an d   ( b )   illu s tr ate  ex am p les o f   m o d if ie d   v eh icles  b y   attac h i n g   th e   ca r r ier   to   th e  m o to r cy cle ,   tr an s f o r m ed   in to   a  ca r g o   o r   tr an s it v eh icle       T h e  s af e  o p er atio n   o f   an   a u to n o m o u s   v eh icle  d e p en d s   o n   th e   ac cu r ate  d etec tio n   o f   f ix ed   a n d   m o v in g   o b jects  as  ill u s tr ated   in   Fig u r e  3 .   T h e  illu s tr atio n   s h o ws  th at  AV  is   f o llo win g   its   p r ed eter m in e d   p ath .     T h e  AV ’ s   p lan n ed   r o u te  m ay   in clu d e  c r o s s r o ad s .   Fix e d   o b je cts  lik e  b ar r icad es  an d   tr a f f ic  co n es  m ay   b e   u s ed   to   r estrict  o n e  o r   b o th   s id es  o f   th e   in ter s ec tio n .   B ar r ica d e s   an d   tr a f f ic  c o n es  ca n   r estri ct  th e  f l o w  o f   ca r s ,   tr u ck s ,   b u s es,  an d   o t h er   v eh icles,  b u t  c y clis ts   an d   p e d estrian s   ca n   b y p ass   th ese   o b s t ac les.  C y clis ts   an d   p ed estrian s   ca n   cr o s s   in   f r o n t  o f   an   AV  b y   g o in g   o v er   p er m an en t  b ar r ier s   lik e  b ar r icad e s   an d   tr af f ic  co n es .   Acc id en ts   m ay   o cc u r   d u e   to   th is   cir cu m s tan ce ,   co n s eq u e n t ly ,   in   AV  f ix ed   an d   m o v in g   o b ject  d etec tio n   is   ess en tial f o r   s af e  d r iv in g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Mo d ified - ve h icle  d etec tio n   a n d   lo ca liz a tio n   mo d el  fo r   a u to n o mo u s   ve h icle  tr a ffic sys tem   ( A mit J u ya l )   1185       Fig u r e  3 .   C r o s s r o ad s   with   two   s id es b lo ck ed   b y   f ix e d   o b ject s   s u d d en ly   ap p ea r ed   i n   th e  r o u te  o f   th e  AV       T h e  o b ject  d etec tio n   ch allen g e  in v o lv es  id en tify in g   an d   lo ca tin g   m an y   o b jects  in   a  d ig ital  im ag e.     T o   r eso lv e  th e   is s u e  o f   o b ject  d etec tio n   till   n o w  v a r io u s   m ac h in e  lear n in g   an d   d ee p   lear n in g   tech n iq u es  h av e   b ee n   ap p lied .   An   im p o r tan t  c o m p u ter - v is io n   is s u e   is   r ea l - tim e  o b ject  d etec tio n ,   esp ec ially   wh en   it  co m es  to   AV s   o r   au to n o m o u s   d r i v in g .   C o m p ar ed   to   co n v en tio n al  tech n iq u es,  co n v o lu tio n al  n eu r al  n etwo r k     ( C NN ) - b ased   tech n iq u es  with   g o o d   m ea n   a v er ag e   p r ec is io n   ( m AP )   a r e  b ei n g   f o cu s ed   o n   r ea l - tim e   tr af f ic   d etec tio n   in   au t o n o m o u s   d r i v in g .   T h e   o b ject  d etec tio n   m eth o d   is   o f   two   t y p es:  two - s tag e  d etec tio n   an d   o n e - s tag e  d etec tio n .   T h e  m eth o d s   l ik e  R - C NN  b ased   o n   th e  C NN   p er f o r m   d etec tio n   in   two   s tep s ,   with   f ir s t  r eg io n   p r o p o s als  ar e  g e n er ated   u s in g   s eg m en tatio n   an d   s elec tiv e  s ea r ch   a n d   s ec o n d ,   it  tr ies  to   f in d   th e   o b jects  in   ea ch   r eg io n .   So m e  t wo - s tag e  d etec to r   m o d els  th at  h av e  b ee n   u s ed   in   a u to n o m o u s   d r iv in g   co u ld   b e  d escr ib ed   as:   −   R eg io n - b ased   C NN  ( R C NN)   [ 1 ] :   i t  is   a  two - s tep   d etec t o r   th at   u s es  th e  s elec tiv e  s e ar ch   f o r   r eg io n   p r o p o s al,   C NN  ex tr ac ts   th e  f ea tu r e  m ap s   an d   f in ally   li n ea r   SVM  ca lcu lates  th e  weig h ts   f o r   ea ch   la y er   in   o b ject  class if icatio n .     −   Fas t  R - C NN   [ 2 ] :  t o   cr ea te  a  f ea tu r e  m ap ,   th e  co m p lete  im a g e  with   th e  r eg i o n   o f   in ter est  ( R OI )   was  f ed   in to   n u m er o u s   co n v o lu tio n al  l ay er s .   T h e n ,   u s in g   a n   R OI   p o o lin g   lay e r ,   a   f ix e d - len g t h   v e cto r   o f   f ea t u r es  was p r o d u ce d   f r o m   th e  f ea t u r e   m ap   f o r   ea ch   r eg io n   p r o p o s al.   −   Fas ter   R C NN  [ 3 ] :  i ts   wo r k in g   is   lik e  f ast  R C NN  ex ce p t  th at  it  g en er ates  r e g io n   p r o p o s als  m o r e  q u ick l y   u s in g   a  s ep ar ate  r e g io n   p r o p o s al  n etwo r k .   B ec au s e  o f   th e  two   s tag es  in   o b ject  d etec tio n ,   R C NN  f am ily   m eth o d s   ar e  co n s id er ed   s lo w  in   r ea l - tim e  o b ject  d etec tio n .   T o   s p ee d   u p   th e  d etec tio n ,   o ne - s tag e  d etec tio n   m eth o d s   s u ch   as YO L O  [ 4 ]   an d   SS D  [ 5 ]   ar e  p r ef er r ed .   YOL O  an d   SS D  ar e  co n s id er ed   f aster   th an   two - s tag e  r eg i o n - b ased   C NN  m eth o d s   as  th e y   tr an s f o r m   th e  d etec tio n   p r o b le m   in to   a  u n if ied   r eg r ess io n   p r o b lem .   So m e  o n e - s tag e  d etec t o r   m o d els  th at  ar e   b ein g   u s ed   i n   Au to n o m o u s   d r i v in g   co u ld   b e   d escr ib ed   as :    −   SS D:  in   SS D,   th e  v is u al  g eo m etr y   g r o u p   ( VGG) - 1 6   [ 6 ]   n etw o r k   p r o ce s s es  all  th e  im ag es  to   cr ea te  f ea tu r e   m ap s .   C o n v o lu tio n al  lay er s   u tili ze   th ese  f ea tu r e  m ap s   af t er war d ,   p e r f o r m in g   th e  ac t u a l  d etec tio n   an d   p r o d u cin g   m u ltip le  b o u n d in g   b o x es f o r   ea ch   o b ject.   −   YOL O:  a n   o b ject  d etec tio n   m eth o d   ca lled   “ y o u   o n ly   lo o k   o n ce ”   was  f ir s t  p u t  o u t  b y   R ed m o n   et   a l .   [4 ].     T h e  en tire   im ag e   is   s p lit  in to   a  g r id   b y   YOL O  an d   th e n   g e n er ates  th e  an c h o r   b o x es  f o r   ea ch   g r i d   ce ll.  I t   is   th e  f astes t  m eth o d   in   r ea l - tim e  o b ject  d etec tio n   [ 7 ] .   YOL O  is   a  well - k n o wn   o b ject  d etec tio n   m eth o d   b ec au s e  o f   th e  way   it q u ick ly   an d   p r ec is ely   d etec ts   o b jects.  Usi n g   th e  Py to r ch   f r am ewo r k ,   J o ch er   et  a l.   [ 8 ]   u n v eiled   YOL Ov 5   .   T h e  ex is tin g   YOL Ov 5   ar ch itectu r e  is   s h o wn   in   Fig u r e  4 .   YOL Ov 5   au to m atica lly   ex tr ac ts   f ea tu r es  f o r   o b ject  d etec tio n   f r o m   in p u t  im ag es.  T h ese  f ea tu r es  ar e  th en   p ass e d   to   a  p r ed ictio n   s y s tem   to   f o r m   b o x es  ar o u n d   o b jects  to   r ec o g n ize  th eir   clas s es.  T h e  YOL O  is   th e  f ir s t  en d - to - en d   o b ject  d etec tio n   n etwo r k   th at  ca n   p r e d ict  b o u n d in g   b o x es in   ad d itio n   to   class   lab els.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 18 3 - 1 2 0 0   1186       Fig u r e  4 .   Or ig i n al  YOL Ov 5   ar ch itectu r e       T h e  YOL Ov 5   n etwo r k   is   co m p r is ed   o f   th r ee   cr itical  co m p o n e n ts .   C NN s   an d   o p tim ized   s p atial  p y r am id   p o o lin g   ( SP PF )   g en er ate  v is u al  f ea tu r es a t v ar io u s   g r an u lar ities   is   th e  b ac k b o n e.   N ec k ,   s ev er al  lay er s   th at  in teg r ate  a n d   m i x   v is u al   f ea tu r es  b e f o r e  p ass in g   th e m   f o r   p r e d ictio n .   T h e  h ea d   p ar t  o f   th e  n etwo r k   p r o ce s s es  th e  f ea tu r es  f r o m   th e  n ec k   to   p er f o r m   b o u n d in g   b o x   p r ed ictio n   with   class   lab els.  Ho wev er ,   in   r ea l - tim e  d etec tio n   s y s tem s   lik e  in   AV ,   m o r e   ac cu r ate   an d   ag ile   d etec tio n   is   r e q u ir e d   f o r   s af e  d r iv in g .   T h e   p r esen t  s tu d y   f o cu s es  o n   d ev elo p i n g   a  d ee p - lear n i n g   m o d el  th at  ca n   d etec t  b o th   s tatio n ar y   an d   m o v in g   o b jects  f o r   s af er   d r iv i n g .   Seco n d ly ,   th e   s tu d y   aim s   t o   d etec t  th e  i n ten t io n   o f   cy clis ts   o r   p ed estrian s   to   cr o s s   th e  r o ad .   B ased   o n   th e  liter atu r e  r ev ie w  o f   p r ev io u s   wo r k ,   th e  p r e s en t  s tu d y   s u g g ested   th e  u s e  o f   an   im p r o v is ed   YOL Ov 5   m o d el.   I t   h as  b ee n   r ep o r ted   t h at  th e   o r i g in al   Y OL Ov 5   h as  3   h ea d s   f o r   d ete ctio n ,   wh ile  i n   th e   im p r o v is ed   YOL Ov 5 - c o n v o lu tio n al  b lo ck   atten tio n   m o d u le   ( C B AM )   m o d el  1   an o th er   h ea d   h as  also   b ee n   ad d ed   in   th e   p r esen t  wo r k   f o r   b etter   d etec tio n   o f   id e n tical  an d   s m all  o b jects.  O th er   im p r o v is atio n s   co n tr ib u ted :   i)   B ased   o n   th e  ar ch itectu r e  o f   Y OL Ov 5 ,   an   im p r o v ed   m o d el  h as  b ee n   p r esen ted   to   d etec t  1 8   d if f er en t  ty p es  o f   o b jects.   ii)   A  co m p lex   s elf - d r iv in g   I n d ian   v eh icle  d ataset  with   1 8   ty p es  o f   d y n am ic  an d   f ix ed   o b ject  im ag es  is   p r esen ted .   iii)   C r o s s - s tag e  lo ca l  n etwo r k   ( C SP )   [ 9 ]   an d   atten tio n   m o d u le  C B AM   [ 1 0 ]   ar e  ad d e d   to   en h an ce   th e   p r ed ictio n s   o f   an ch o r   b o x es.   T h e  p r esen t  s tu d y   ela b o r ate d   o n   th e  d ev elo p m en t,  f u n c tio n in g ,   an d   o u tc o m es  o f   i m p r o v is ed   /en h an ce d   YOL Ov 5 - C B AM .   T h e  o b s er v atio n s   d escr ib ed   th at  th e  u s e  o f   im p r o v is ed   m o d els  th at  h av e   b ee n   im p lem en ted   o n   th e   cu s to m   d ataset  p r o d u ce s   b etter   r esu l ts   f o r   f ix ed   an d   d y n am ic   I n d ian   tr af f ic  o b ject   d etec tio n .   Ho wev er ,   it  is   m o r e  ch allen g in g   to   r ec o g n ize  th e  o b jects,  esp ec ially   to   ev alu a te  th e  in ten tio n s   o f   m u lticlas s   o b jects  lik e  v eh icles,  b ar r ier s ,   tr af f ic  co n es,  cy clis ts ,   an d   p ed estrian s ,   as th ey   all  b elo n g   to   d if f er en t   class es.  So   th e  s tu d y   co n tin u e d   with   t h e  u s e   o f   th e   PAF  m o d el  alo n g   with   an   im p r o v is ed   d ee p - lear n i n g   m o d el   f o r   b etter   d etec tio n .       2.   RE VI E W  O F   L I T E RA T UR E   R ec en tly ,   th e  f ield   o f   ar tific ial   in tellig en ce   in   au to n o m o u s   d r iv in g   h as  s ee n   a   lo t  o f   s tu d y   in ter est  in   th e  p r o b lem   o f   m u lti - o b ject  i d en tific atio n .   T h e  o n e - s tag e  YOL O  tech n iq u e  was  in itially   d ev elo p ed   to   tack le   o b ject  d etec tio n   as  a  r eg r ess io n   p r o b lem .   On e   o f   th e  m o s t  r ec en t  d ev elo p m en ts ,   YOL O ,   ca n   d etec t  o b jects  with   a  g o o d   co n f id en ce   s co r e,   b u t  th e  m o d el ’ s   s p a tial  co n s tr ain t  r ed u ce s   th e  n u m b er   o f   o b jects  th at  m ay   b e  p r ed icted .   T o   p r ed ict  th e   m o t io n   o f   n ea r b y   tr a f f ic  o b jects,  [ 1 1 ]   p r esen ts   a  GAM M  m o d e l  f o r   AV  v eh icles.  T h e  m o d el  is   ca p ab le   o f   f o r e ca s tin g   tr af f ic   ag en ts ’   m o v e m en ts   u n d er   v ar io u s   r estrictio n s   lik e   k in em atics,   g eo m etr ic,   a n d   b eh av i o r al.   Ha n   et  a l.   [ 1 2 ]   co m b in e   L iDAR   an d   co l o r   im a g es  f o r   o b ject  d etec tio n   to   im p r o v e   th e  YOL O  m o d el.   YOL O  is   im p r o v e d   to   d etec t  lo w - in te n s ity   o b jects  lik e  p ed estrian s   an d   f ix ed   o b jects.  Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Mo d ified - ve h icle  d etec tio n   a n d   lo ca liz a tio n   mo d el  fo r   a u to n o mo u s   ve h icle  tr a ffic sys tem   ( A mit J u ya l )   1187   Or ig in al  YOL O  was  tr ain ed   to   g et  im p o r ta n t  p ar am eter s .   C o l o r   im ag es  an d   d ep th   i m ag es  ar e  u s ed   to   im p r o v e   ac cu r ac y .   Dr eo s s i  et  a l.  [ 1 3 ]   p r esen ted   C NN - b ased   f r am e wo r k   t o   class if y   v eh icles.  T h e  f r am ew o r k   u s es  a n   im ag e  g en e r ato r   f o r   s y n t h etic  im ag es  wh ich   is   u s ed   to   v alid ate  th e  C NN  m o d el.   Fas ter   YOL O  b y   [ 1 4 ]   co m b in es  th e  p r o p o s ed   r an d o m   k er n el  co n v o lu tio n al   n etwo r k   with   au to - e n co d er   h id d en   lay er s   n etwo r k   f o r   f ea tu r e  ex tr ac tio n .   Z h an g   et  a l.  [ 1 5 ]   in tr o d u ce   a n   o b s tacle - d etec tio n   alg o r ith m .   YOL O  co m b in es  lig h t  f ield   ca m er a  im ag es  th at  co n tain   d ep th   im ag es  an d   h ig h - r eso l u tio n   im ag es.  YOL O  tak es  r ed ,   g r ee n ,   an d   b lu e   ( R GB )   im ag es  as  in p u t  a n d   g en er ates  o b ject  d etec tio n   i n f o r m atio n   u s in g   a   d ep th   m ap .   An   o b ject  d etec tio n   s y s tem   f o r   AV  u s in g   m o d if ied   YOL O  with   s ev en   co n v o lu tio n al  lay er s   was p r o p o s ed   [ 1 6 ] .   An o th er   r esear ch e r   p r o p o s ed   a  YOL O  v 3 - liv e  m o d el  f o r   r ea l - tim e  o b ject  d e tectio n   [ 1 7 ] .   Fo r   f ea t u r e  ex tr ac tio n ,   m u lti - s ca le   r ec ep tiv e  f ield s   wer e  u s ed .   T h e  o v er all  m o d el  was  co n s tr u cted   b y   m o d if y in g   th e  s tr u ctu r e  an d   n etwo r k   p ar am eter s .   W o n g   et  a l.  [ 1 8 ]   i n tr o d u ce   YOL O  Nan o   f o r   o b j ec t  d etec tio n .   T h e   n etwo r k   ar c h itectu r e  o f   YOL O   N an o   is   b ased   o n   s in g le - s h o t  o b ject  d etec tio n   n etwo r k   ar ch itectu r e.   W ith   a  h ig h ly   co m p a ct  n etwo r k   d esig n ,   YOL O  n an o   ac h iev ed   6 9 . 1 %  m AP.  I n   an o th er   s tu d y ,   m u l tis p ec tr al  im ag es  f o r   o b ject  d etec tio n   wer e  u s ed   [ 1 9 ] .   Mu ltis p ec tr al  im ag es  c o n tain   m u ltil ater al  in f o r m ati o n   th at  ca n   h elp   d etec t   o b je cts  th at  ca n n o t  b e   v is u alize d   in   n o r m al  R GB   im ag es.  T h e  p r o p o s ed   m u ltis p ec tr al  en s em b le  d etec tio n   p ip elin e  is   d iv id ed   in t o   two   s in g le  s p ec tr al  d etec tio n   m o d els  an d   an   e n s em b le  p a r t.  Sq u ee ze Det  wh ich   is   a  f u lly   C NN   f o r   o b je ct   d etec tio n   was a ls o   p r o p o s ed   i n   a  s tu d y   [ 2 0 ] .   Featu r e  m a p ,   cl ass   p r o b ab ilit y ,   an d   b o u n d in g   b o x   wer e  g e n er ated   u s in g   co n v o lu tio n al  la y er s .         3.   M E T H O D   R ea l - tim e  d etec tio n   o f   f ix e d   o b jects  as  well  as  m o v in g   o b jects  is   an   im p o r ta n t  task   f o r   s a f e  d r iv i n g .   T h e  p r im a r y   r is k   co n ce r n   f o r   s elf - d r iv in g   i n   r ea l  tr a f f ic  s ce n ar io s   is   th e  d etec tio n   o f   m u l ticlass   o b jects  lik e   d y n am ic  o b jects  ( cy clis ts ,   p ed estrian s ,   an d   v ar i o u s   ty p es  o f   v eh icles)  as  well  as  s tati c  o r   f ix e d   o b jects   ( b ar r icad es,  tr a f f ic  co n es).   Mu lticlas s   ob ject  lo ca lizatio n   ( MO L )   is   an   ess en tial  p r o b lem   in   c o m p u te r   v is io n   co n tain in g   n u m er o u s   ap p licatio n s   li k e  s elf - d r iv in g   ca r s ,   s ec u r ity   s y s tem s ,   X - r ay s ,   an d   m a n y   o th er s .   T h e  c h allen g e  d er iv ed   f r o m   th e   ab o v e   d is cu s s io n s   is   k n o wn   as   MO L   an d   it  p lay s   an   im p o r ta n t  r o le  f o r   th e   au to n o m o u s   v eh icle  b ec a u s e  d u e  to   th is   t ec h n iq u e   v ar i o u s   o b jects  p r e s en t  in   th e   s u r r o u n d in g s   o f   th e  v e h icle  ca n   b e   d etec ted ,   class if ied ,   an d   lo ca te d   in   ter m s   o f   th eir   ex ac t  p o s itio n .   Fig u r e  5 ,   d is p lay s   th e   en tire   d iag r am   o f   th e   s u g g ested   f r a m ewo r k   f o r   th e   d etec tio n   o f   m u lticlas s   d y n am ic  a n d   f ix ed   o b jects  in   r ea l  tr af f ic  s ce n a r io s .   I n   th e  f ir s t  s tep   m o v in g   an d   f ix e d   o b jects  ar e  d etec ted   u s in g   an   im p r o v ed   YOL Ov 5 - C B AM   m o d el.   T o   e n ab le  AV   to   o p er ate  s af ely ,   th e   n ex t   s tag e  is   to   d etec t  th e   o b jects   th at  h av e  b ee n   m o d i f ied .   Ad d itio n ally ,   r ec o g n izin g   s tatio n ar y   o b jects  lik e  tr af f ic  co n es,  b ar r icad es,   an d   tr af f ic  s ig n s   is   cr u cial  f o r   s elf - d r iv in g   a u to m o b iles .           Fig u r e  5 .   T h e  o v er all  f u n ctio n ality   o f   th e  s u g g ested   tech n iq u e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 18 3 - 1 2 0 0   1188   Alth o u g h   b ar r icad es  an d   tr a f f i c  co n es  a r e  u s ed   as  f ix ed   item s   to   co n tr o l  t r af f ic,   it  h as  b ee n   o b s er v e d   th at  p ed estrian s ,   c y clis ts ,   an d   two - wh ee ler   r id er s   o f ten   d is r eg ar d   th ese  ty p es  o f   b ar r ier s   an d   ca n   em e r g e   ab r u p tly   in   f r o n t o f   an y   ca r .   As a  r esu lt,  in   th e  I n d ian   tr af f ic  s ce n e,   p ed estrian s ,   cy clis ts ,   an d   two - wh ee ler s   ar e  s ee n   as  p o ten tial  ac cid en t  ca u s es.  T h er ef o r e,   it  is   cr u cial  f o r   s af e  d r iv in g   to   d etec t  p ed estrian s ,   cy clis ts ,   an d   two - wh ee ler s .     3. 1 .     I m pro v ed  m o del   T h e  o r i g in al  YOL Ov 5   o b ject   d etec tio n   n etwo r k   n o r m ally   c o m p r is es  th e  n ec k ,   t h e  b ac k b o n e,   an d   th e   d etec tin g   h ea d .   T h e  f ea tu r es  r etr iev ed   in   th e  m id d le  n etwo r k   ar e  n o ticea b ly   lo w,   wh ich   ca u s es  th e  d etec tio n   r esu lts   o f   YOL Ov 5   f o r   th e  I n d ian   tr af f ic  s ce n es  to   b e  less   t h an   o p tim al.   E v e n   th o u g h   th e   o r ig in al  YOL Ov 5   c an   d etec t  a n d   id en tify   au to m o b iles   in   v e h icle  im ag es  with   g o o d   ac cu r ac y ,   it   o n ly   r eq u ir e s   a  s m all  n u m b er   o f   p ar am eter s   to   s u it  th e  in f o r m atio n   b ec au s e   th er e  a r e  s im ilar   v eh icle   im ag es  th at  ca n   b e   d etec ted   with   f ewe r   p ar am eter s .   T h e  tech n iq u e ’ s   k ey   g o al  is   to   en h an ce   r ec o g n itio n   o f   b o th   s tatic  an d   m o v in g   I n d ian   v eh ic u lar   tr af f ic  item s .   YOL Ov 5   h as  b ee n   m o d if ied   to   in cr ea s e  ac cu r ac y   w h ile  co n s id er in g   th e  n ee d   f o r   less   co m p u tatio n .   C er tain   ch an g es h av e  b ee n   m a d e  in   t h e  o r ig in al  YOL Ov 5   to   p r o p o s e  o u r   im p r o v is ed   m o d el   YOL Ov 5 - C B AM   f o r   th e  p r esen t  s tu d y .   T h e   p r o p o s ed   YOL Ov 5 - C B AM   m o d el  ad d r ess es  th e  in ad e q u ac i es  o f   th e  YOL Ov 5   m o d el  in   th e   v eh icle  d etec tio n   jo b ,   an d   p r o v id es th r ee   m ajo r   co n tr ib u tio n s   as f o llo ws:     3 . 1 . 1 .   I nc lus io n   o f   CSP  net w o rk   As  s h o wn   in   Fig u r e   6 ,   a   cr o s s - s tag e  lo ca l  n etwo r k   ca lled   C SP   is   em p lo y ed   to   in teg r ate   a n d   g en er ate   im ag e  f ea tu r es  o n   m an y   lig h t weig h t  C NN s   f o r   b etter   ad ju s tin g   th e  d ep th   o f   th e  n etwo r k .   T h e  b ase  lay er ’ s  f ea tu r e  m a p   is   s p lit  in to   two   p o r tio n s   u s in g   th e   C SP   ap p r o ac h ,   wh ich   th en   in teg r ates  th e m   u tili zin g   a   cr o s s - s tag e  h ier ar ch y .   Un lik e   th e  YOL Ov 4   n etwo r k ,   th e   YOL Ov 5   - C B AM   n etwo r k   s tr u ctu r e  h as  two   C SP   s tr u ctu r es,  C SP 1   an d   C SP 2 ,   with   th e  f ir s t  ty p e   m o s tly   u til ized   th r o u g h o u t  th e   b ac k b o n e   an d   th e   o th e r   o n e   b ein g   p r im ar ily   u s ed   th r o u g h o u t  th e   Nec k .   T h e   YOL Ov 5 - C B AM   n etwo r k   p r o d u ce s   4   o u tp u t   f ea tu r e   m ap s   h av in g   v ar io u s   s izes in   co m p a r is o n   to   th e  YOL Ov 5   n etwo r k .   C SP : -   th e  C SP   n etwo r k   is   a   tech n iq u e  c o m m o n ly   u s ed   i n   C NN  s p ec if ically   in   ef f ici en tn et  to   im p r o v e   th e   p er f o r m a n ce   o f   t h e  n etwo r k   t h r o u g h   s eg m en tat io n   an d   f u s io n   o f   f ea tu r e   m a p s .   T h e  C SP   n etwo r k   ad d r ess es  th e  p r o b lem   o f   v an i s h in g   g r ad ien t,  a  p r o b lem   witn ess ed   in   a  n eu r al  n etwo r k   w h er e  th e  g r ad ien ts   o f   th e  lo s s   f u n ctio n   co n ce r n i n g   t h e  p ar a m eter s   r ed u ce   to   in s ig n if ican t  am o u n ts   ar e   th e  g r ad i en ts   ar e  tr an s p o r ted   b ac k war d s   th r o u g h   th e  n etwo r k   d u r in g   th e   o p tim izatio n   s ta g e  o f   g r ad ien t   d escen t.  C o m p u tin g   e f f icien cy   is   also   in cr ea s ed   th r o u g h p u t  i n   p r o ce s s in g   o n ly   th e  p ar titi o n ed   p ar t.  T h e  C SP   ca n   b e  m ath e m atica lly   ex p r ess ed   as:     A n  i m ag e   r ep r esen ted   b y   f ea tu r e  v ec to r   I   is   an   in p u t f ea tu r e   m ap .     ∈         { = ℎ   , = ℎ , = ℎ  ℎ }   ( 1 )     T o g eth er   t h e  ch an n el  d im en s i o n   d iv i d es th e  in co m in g   f ea tu r e  m ap   in to   two   p ar ts :                      ,  = 2       w h er e   ∈ 2           an d    ∈ 2         .   E x ec u te  a  s eq u e n ce   o f   c o n v o l u tio n al  o p e r atio n s   ( ƒ 1 )   o n   I a.     1 =   ƒ1   (  ∶   1 )   ( 2 )     I d en tity   m ap p in g :  r etain   th e  v alu e  o f   X2   with o u t a n y   ch an g es.     2 =    ( 3 )     C o n ca t  ( 1 )   an d   ( 2 ).     =   1   ( + )   2   ( 4 )     ∈                 T r an s itio n :  n ex t,  p r o ce e d   with   th e  ap p licatio n   o f   an   ad d itio n al  co n v o l u tio n al  lay er   to   th e  c o m b in ed   o u tp u t.     =   ƒ2   ( ∶   2 )   ( 5 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Mo d ified - ve h icle  d etec tio n   a n d   lo ca liz a tio n   mo d el  fo r   a u to n o mo u s   ve h icle  tr a ffic sys tem   ( A mit J u ya l )   1189   W h er e  t h e  tr a n s itio n   co n v o l u tio n al  lay e r   is   r e p r esen ted   b y   ƒ 2 ,   wh ich   h as  p a r am eter s   d en o te d   b y   .   C SP   b lo ck   as a n   en tire ly   is   d en o te d   as.     = ƒ2 ( ( ƒ1 (  ( ) :   1 )   +   ( ) ) : 2 )   ( 6 )     3 . 1 . 2.   I nc lus io n   o f   CSP  net w o rk   T h e  ef f icien c y   with   wh ic h   th e   in ter m ed iar y   lay er s   e x tr ac t  th e  cr u cial  d ata   d eter m in es  t h e  s u cc ess   o f   o b ject  d etec tio n .   T h e  YOL Ov 5   b ac k b o n e  m o d u le  ex tr ac t s   th e  im ag e ’ s   f ea tu r es  an d   u s es  th em   to   d etec t   o b jects  in   th e  d ig ital  im ag e .   Fro m   th e  ex t r ac ted   f ea tu r es,  s o m e  f ea tu r es  h a v e  a  g r ea ter   in f lu en ce   o n   t h e   o u tco m es th an   o t h er s .   As a  r esu lt,  we  r eq u ir e  a  m o d u le  th at  c an   s o lely   co n ce n tr ate  o n   k ey   f ea tu r es.  T h er ef o r e,   we  h av e   ad d e d   a n   atten tio n   c o m p o n en t  in   YOL Ov 5 m   to   f o cu s   o n   m o r e  im p o r tan t   f ea tu r e s .   Fo r   th e   atten tio n   m o d u le,   th e  C NN   d is tr ib u tes  h ig h er   weig h ts   to   m o r e  im p o r tan t  f ea tu r es  an d   lo wer   weig h ts   to   le s s   e s s en tial   in f o r m atio n .   T h e  weig h ted   d at a  is   th en   co m b in ed   an d   ev alu a ted .   T h r ee   ca teg o r ies  ca n   b e  u s ed   to   class if y   th e   co m m o n   atten tio n   m o d u les,  th e  h y b r id   atten tio n   m o d u le  [ 2 1 ] ,   th e  s p atial  atten tio n   m o d u le,   an d   th e  ch a n n el   atten tio n   m o d u le.   T h e  h y b r i d   atten tio n   m o d u le  is   a  lig h tweig h t  atten tio n   m o d u le  th at  g en er ates  a  ch an n el   atten tio n   m ap   an d   u s es  th is   in f o r m atio n ,   to   g en er ate  a  f in al  f in e - tu n e d   f ea tu r e  in   th e  s p atial  atten tio n   m o d u le.   I n   th e  c h an n el   atten tio n   m o d u le,   ea ch   o f   th e  c h an n els  o f   a  f ea tu r e   m ap   is   v iewe d   lik e  a   f e atu r e  d etec to r ,   th at   co n ce n tr ates  o n   “ wh at ”   is   im p o r tan t  g iv en   an   in p u t  im ag e,   an d   th e  s p atial  atten tio n   m o d u le  is   r esp o n s ib le  f o r   allo ca tin g   weig h ts   f o r   t h e  s p a tial  d ata.   T h e   C B AM ,   wh ich   is   m ad e  u p   o f   th e   ch an n el  an d   s p atial  atten tio n   m o d u les  C AM   an d   SAM  r esp ec tiv ely ,   is   th e  atten tio n   m o d u le  th at  is   ad d ed   to   t h e  Y OL Ov 5 m   n etwo r k   ar ch itectu r e.   I n   th e   I m p r o v e d   YOL Ov 5   C B AM ,   th e  C B AM   lay er   is   ad d ed   i n   t h e  b ac k b o n e  af ter   ev er y   C SP 1   lay er ,   an d   in   th e  Nec k   p ar t,  it  is   ad d ed   af ter   ev er y   C SP 2   lay er   s o   th at  th e  n etwo r k   c an   f o cu s   o n   m o r e   im p o r tan t  f ea t u r es.  T h e  p r im a r y   m o tiv atio n   f o r   u tili zin g   C B AM   in   th e  im p r o v ed   YOL Ov 5   C B AM   i s   th at  it  is   an   im p r ess iv e  atten tio n   m o d u le  f o r   C NN  th at  ca n   ef f icien tly   ex tr ac t  in f o r m atio n   ab o u t  ch an n el  an d   s p atial   atten tio n .   T h e   C B AM   m o d u le   is   an   ea s y - to - i n teg r ate,   less   co m p u tatio n al   co s t  co m p o n e n t  o f   C NN s .   C B AM   tr ain in g   h as  m in im al  o v er h ea d s   an d   ca n   b e  tr ai n ed   en d - to - en d   to g eth e r   with   th e   n etwo r k   b ac k b o n e.   E v er y   C SP   m o d u le  is   f o llo wed   b y   t h e  ad d itio n   o f   C B AM ,   wh ich   ass ig n s   h ig h er   weig h ts   to   f ea tu r es  th at  ar e  m o r e   cr u cial  to   co n ce n tr ate  o n   f ea t u r es  th at  ar e  cr u cial  f o r   im p r o v in g   th e   ac cu r ac y   o f   c o m p a r ab le  tr af f ic  o b ject  d etec tio n .   C B AM :  a   r elativ ely   s m all  lig h tweig h t  m o d u le  ca lled   th e   C B AM .   C NN,   in   p ar ticu lar ,   ca n   ea s ily   in co r p o r ate  C B AM   as  a  ty p e  o f   n eu r al  n etwo r k .   I t  is   a  s tr o n g   e n h an ce m en t  s tr ateg y   t h a t  ca n   h elp   ac h iev e   m o r e  im p o r tan t   an d   r elev a n t  f ea tu r es  o n   th e   ch an n el  an d   i n   th e  s p atia l  d o m ain .   C B AM   an d   DSAM  m ain ly   h av e  two   s tr u ctu r es n am ely   C AM   an d   SAM.   I n   ( C AM )   th e  g lo b al  av er ag e  p o o lin g   ( GAP)   an d   g lo b al  m ax   p o o lin g   ( GM P)  p r o p o s ed   ar e  u s ed   o n   th e  in p u t  f ea tu r e  m a p   an d   o n   th e  ch an n el  o n   s p atial  in f o r m atio n   wh ich   co n tain s   m o r e   ef f ec tiv e   f ea tu r es.  E x tr ac ted   f ea tu r es  f r o m   GAP  an d   GM P  ar e  th en   d is p atch ed   to   th e  s h ar ed   m u lti - lay er   p er ce p tr o n   ( ML P) .   T h ese  f ea tu r es   ar e  p ass ed   th r o u g h   th e   v ar i o u s   h i d d en   lay e r s   o f   ML P  an d   p r o d u ce   two   f ea tu r e  m ap s   as  its   o u tp u t.   T o   o b tain   th e  f i n al  c h an n el  atten t io n   m a p ,   th e   o b t ain ed   m ap s   a r e  s u m m e d   o v er   ch an n els  a n d   t h en   p ass ed   th r o u g h   th e  s ig m o id   ac tiv atio n .   Fin ally ,   th e  m o s t  s ig n if ican t  ch an n els  ( f ea tu r e  m ap s )   ar e  o b tain ed   f r o m   th e  m u ltip licatio n   o f   th e  ch an n el  atten tio n   m ap   an d   th e  o r ig in al  in p u t  f ea tu r e  m ap .   Ma th em atica lly   C AM   is   r ep r esen ted   in   ( 7 ) .      ( ) = (   ( ( ) )   +     ( ( ) )   ( 7 )     W h er e  ch an n el  atten tio n   m ap ,   is   d en o ted   b y   C m ap   ( F),   Sm l p   is   a  s h ar ed   m u lti - lay er   p er c ep tr o n   a n d   s ig m o id   f u n ctio n   is   d e n o ted   b y   σ .   T h e  m o tiv atio n   b eh in d   th e   s p atial  atten tio n   m o d u le  is   s im p ly   to   d r aw  a   f o c u s   o n   im p o r tan t  ar ea s   o f   th e  f ea tu r e   m ap .   T h e n ,   a v er a g e  p o o lin g   an d   m ax   p o o lin g   o p er atio n s   a r e  ap p lied   ac r o s s   ch an n el  d im en s io n s   s o ,   we  h av e  two   2 D  m ap s .   T h ese  m ap s   ar e  co n ca ten ated   an d   p ass ed   th r o u g h   a  co n v o lu tio n al  lay er   f o llo wed   b y   a   s ig m o id   ac tiv atio n   to   o b tain   a  s p atial  atten ti o n   m ap .   T h e   s p atial  atten tio n   m ap   is   th en   elem en t - wis e  m u ltip lied   b y   th e  f ea tu r e  m ap   wh ich   h as  alr ea d y   p ass ed   th r o u g h   c h an n el   atten tio n   i n   o r d er   to   f u r th er   en h a n ce   th e  r elev an t a r ea s .   Ma th e m atica lly   SAM  is   r ep r esen ted   in   ( 8 ) .       ( )   =     ( ƒ7 7   ( [     +     ] ) )   ( 8 )     W h er e  s p atial  atten tio n   m o d u l e  is   Sm ap ( F),   σ   is   s ig m o id   f u n ctio n ,   ƒ 7 X7   7 X7   f ilter   co n v o lu tio n   o p e r atio n ,   +   is   co n ca ten ati on.   I n   th e  p r o p o s ed   im p r o v e d   Y OL Ov 5 - C B AM ,   th e  b ac k b o n e  an d   n ec k   p ar t  o f   th e  m o d el  ar ch itectu r e  in clu d ed   C SP   an d   C B AM   m o d u les  to   en h a n ce   t h e  m o d el ’ s   ac cu r ac y .   T h e   ad d itio n   o f   C SP   an d   C B AM   in   b ac k b o n e  is   m ath em atica lly   r e p r esen ted   in   th e   ( 9 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 18 3 - 1 2 0 0   1190   = (  ( − 1 ) )   ( 9 )     I n   ( 3 ) ,   f o r   th e  it h   C SP   b lo ck ,    ,   is   th e  r ep r esen tatio n   o f   t h e  i th   C SP   b lo ck   with   C B AM .   X i - 1   is   th e  o r ig in al  f ee d - f o r war d   in p u t to   th is   b lo ck   is   th e  in p u t f ea tu r e  m ap .   T h e  ad d itio n   o f   C SP   an d   C B AM   in   Nec k   is   m ath em atica lly   r ep r esen ted   in   th e   ( 1 0 ) .      = (  (  ) )   ( 10 )     I n   ( 4 ) ,   f o r   th e  jth   n ec k   lay er ,    ,   is   th e  r ep r esen tatio n   o f   th e   jth   Nec k   lay e r   with   C B AM ,    ,   is   th e   f ea tu r e  m ap   f r o m   th e  b ac k b o n e,   wh ich   is   th e  co r r esp o n d i n g   f ea tu r e  m ap   h er e  f o r   th e   in p u t  im ag e.           Fig u r e  6 .   Pro p o s ed   YOL Ov 6 - C B AM   m o d el  f o r   r ea l - tim e  I n d ian   tr af f ic  o b ject  d etec tio n       3 . 1 . 3 .   I nclus io n o f   hea d   I n   th e  p r esen t  s tu d y   we  h av e   ad d ed   a n   ex tr a   h ea d   in   th e  i m p r o v e d   YOL Ov 5   C B AM   to   g en er ate   m o r e  f ea tu r es.  YOL Ov 5 - C B AM   with   f o u r   h ea d s ,   i n   Y OL Ov 5 ,   wh ich   was  o r ig in al ly   d ev el o p ed ,   th r ee   d etec tio n   h ea d s   m ak e   it  p o s s ib le  to   d etec t  o b jects  o f   d if f er e n t  s izes.  I n   t h e  im p r o v e d   YO L Ov 5 - C B AM   th er e  ar e  f o u r   h ea d   d etec tio n   lay e r s ,   r eg ar d in g   o b ject   d etec tio n ,   th e  n u m b er   o f   d etec tio n   h e ad s   is   eq u al   to   th e   n u m b er   o f   f ea tu r e  m ap s /s ca les  o n   wh ich   th e  p r ed ictio n s   a r e  m ad e.   T h e  s izes  o f   o b jects   in   im ag es  ca n   b e   r eg u lated   i n   a  l a r g e  r an g e.   T h u s ,   in tr o d u cin g   o n e   m o r e  h ea d   with   th e  o th er   th r ee   d etec tio n   h ea d s   will  im p r o v e   th e  d etec tio n   ca p ab ilit y   o f   th e   m o d el,   an d   th e  m o d el  ca n   ef f ec tiv ely   p r ed ict  s m aller   o b je cts  as  well  as   lar g e  o b jects.  T h e  d etec tio n   h ea d   is   u s ed   to   p r ed ict  t h e  b o u n d in g   b o x es,  wh ich   m ea n s ,   t h e  r e g io n s   o f   in ter est  o f   th e   o b ject  an d   t h e  class   p r o b ab ilit i es a t sev er al  s ca les.          ,      = (  )   ( 11 )     I n   ( 11 ) ,       ,        is   th e   o u tp u t  o f   p r ed ictio n s   ( b o u n d in g   b o x es,  c lass   s co r es)  f r o m   th e   ith   d etec tio n   h ea d ,      is   th e  f ea tu r e  m ap   f r o m   th e  p r ev io u s   m o d u le  Nec k .   I n   th e  m o d if ied   YOL Ov 5   C B AM ,   th e  f ea tu r e  g r ap h   ex tr ac t ed   af ter   th e  f ir s t  C SP 1 _ 1   is   co n ca t  alo n g   with   an   u p s am p le  f ea tu r e  f r o m   C SP 2 _ 1   in   th e  Nec k   p ar t  wh ich   co r r esp o n d s   to   an   ad d itio n al  1 6 0 × 1 6 0 × 2 5 6   f ea tu r e  d etec tio n   h ea d   1 .   T h e  r ed esig n ed   n etwo r k   in clu d es  f o u r   p r e d ictio n   h ea d s   w ith   d im en s io n s   o f   20 × 20 × 2 5 5 ,   4 0 × 40 × 2 5 5 ,   8 0 × 80 × 2 5 5 ,   an d   1 6 0 × 1 6 0 × 2 5 5   f o r   d etec tio n .   Ad d itio n ally ,   we  u s e  co n ca ten atio n   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         Mo d ified - ve h icle  d etec tio n   a n d   lo ca liz a tio n   mo d el  fo r   a u to n o mo u s   ve h icle  tr a ffic sys tem   ( A mit J u ya l )   1191   co m b in e  a  p r ev io u s   n etwo r k   f ea tu r e  m ap   with   o u r   u p s a m p led   f ea tu r es.  T h is   allo ws  u s   to   o b tain   m o r e  s ig n if ican t  s em an tic  in f o r m atio n   b ased   o n   th e   u p s am p le d   f e atu r es  as  well  as  f in er - g r ain e d   in f o r m atio n   f r o m   th e  p r e v io u s   f ea tu r e   m ap .   W h ich   h elp s   th e  n etwo r k   to   d if f e r en tiate  b etwe en   s im ilar   v eh icl es  ( m o d if ie d   lo a d er   v eh icles  u s in g   m o to r c y cles) .   T h en ,   u s in g   th is   m er g ed   f e atu r e  m ap ,   we   p r o ce s s   it  wit h   a  f ew  ad d itio n al  co n v o l u tio n al  lay er s   an d   f in all y   p r ed ic t a   c o m p a r ab le  ten s o r .     3 . 2 .    E s t im a t io n o f   t he  po s e  inte ntio n o f   a   cy clis t   a nd   a   pe des t ria n   I n   th is   s ec tio n ,   b ased   o n   th e  d etec tio n   o f   b o t h   cy clis ts   an d   p ed estrian s ,   th e  tec h n iq u e   o f   u s in g   p o s e  esti m ate  as  th e  p r im ar y   in f o r m atio n   to   ascer tain   wh eth er   t h e  cy clis t  an d   p ed estrian s   will  cr o s s   th e  b lo c k ed   r o ad   u s in g   f ix e d   o b jects  is   in v esti g ated .   I n   th e  p r o p o s ed   m o d el,   t h e  in ten tio n   r ec o g n itio n   alg o r ith m   is   in teg r ated   with   th e   o b ject  d et ec tio n   alg o r ith m   to   a n ticip ate  th e  in ten tio n   o f   d etec ted   cy cli s ts   an d   p ed es tr ian s .   Fig u r e  7   s h o ws th e  f l o w  o f   o b j ec t d etec tio n   alo n g   with   p o s e  esti m atio n   u s in g   th e  PAF m eth o d .   T o   co n s tr u ct  a   2 D   p o s e   f o r   b o th   th e   p e d estrian   a n d   t h e  c y clis t,  th e  f ir s t  s tep   is   to   u s e  YOL Ov 5 - C B AM   to   d etec t  a  p ed estrian   an d   th en   i n p u t   th at  lo ca tio n   in to   th e  p ar t  a f f in ity   f ield s   ( P AFs )   m eth o d   [ 2 2 ] .   T h e  o r ien tatio n   an d   p o s itio n   o f   p ed estrian   lim b s   ar e  r ep r esen ted   b y   2 D  v ec to r   f ield s   o f   PAF.  T h e  PAF   ar ch itectu r e  is   u s ed   in   th e  p o s e  esti m atio n   p r o ce s s   to   ac q u ir e  th e  2 D  f ea t u r es  o f   th e   in d iv id u al  p r esen t  in   Fig u r e  8 .           Fig u r e  7 .   Po s e  esti m atio n   an d   d etec tio n   m eth o d   u s in g   p r o p o s ed   YOL Ov 5 - C B AM   with   PA F m eth o d           Fig u r e  8 .   Po s e  esti m atio n   u s in g   th e  PAF m eth o d       T h e  PAF  n etwo r k   is   d iv id ed   i n to   two   b r an c h es,  with   th e  t o p   b r a n ch   p r ed ictin g   th e  c o n f id en ce   m ap s   an d   th e  b o tto m   b r an c h   p r ed ic tin g   th e  af f in ity   f ield s .   T h e  f i r s t  s tag e  o f   ea ch   b r an c h   r ec ei v es  a  s et  o f   f ea t u r e   m ap s   th at  wer e  p r o d u ce d   as   a  r esu lt  o f   th e  c o n v o lu tio n a l  n etwo r k ’ s   a n aly s is   o f   th e   p ictu r e  ( wh ic h   was  in itiated   b y   th e  f ir s t  1 0   lay er s   o f   th e  VGG - 1 9   [ 2 3 ]   an d   th en   f in etu n ed ) .   E v er y   PAF  r elate s   to   a  l im b   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   2 ,  Feb r u a r y   20 2 5 :   1 18 3 - 1 2 0 0   1192   co n s is ts   o f   two   s ig n als(c h an n els),   o n e  b ein g   th e  x - co o r d in ate  an d   t h e  o t h er   b ein g   th e  y - co o r d i n ate  o f   th e   in v o lv ed   v ec to r .   Fo r   th e  i n p u t  im ag e  I ,   f ir s t  o b tain   th e  c o n f id en ce   m ap   f o r   ea c h   b o d y   p ar t  p .   Mp   ( x , y )   illu s tr ates  th e  co n f id en ce   m ap   o f   k ey   p o in t   p   i n   th e   b o d y   o r   jo in t.  Fo r   ea c h   lim b   p o i n t  ty p e  c,   T h e   PAF   is   Vc   ( x , y ) = ( Vc  ( x , y ) ,   Vc  ( x , y ) ) .   Vc   ( x , y ) ,   Vc  ( x , y )   ar e  2 D  v ec to r s   at  p ix el   ( x , y ) .   T h e  C NN  h as  two   b r an ch es:  o n e   f o r   th e  co n f id e n ce   m ap s   an d   o n e  f o r   th e  PAFs .   T h ese  n et wo r k s   will  h av e  a  s im ilar   s tr u ctu r e,   an d   th ey   will  co n s is t  o f   th r ee   lay e r s .   Af ter   co n f id en t   m ap s   an d   PAFs   ar e  cr ea ted ,   th e   m atch   g r ap h s   b e twee n   th e  d etec ted   b o d y   p ar ts   an d   h u m an   s k el eto n s   ar e  o b tain ed   b y   u s in g   a  b ip a r tite  m atch in g   s ch e m e.   No n - m ax im u m   s u p p r ess io n ,   o n   th e  co n f id en ce   m ap s   ( Mp ) ,   is   ap p lied   to   d etec t  k ey   p o in ts   f o r   ea c h   o f   th e  b o d y   p ar ts   p .   C an d id ate  co n n ec tio n s   ar e  cr ea ted   b etwe en   th e  k ey   p o in ts   f o r   ea c h   b o d y   p ar t  ( m , n )   b a s ed   o n   PAFs   Mp ,   wh ich   is   co n n ec ted   b y   lim b   ty p e  c.   T o   ca lcu late  th e  s co r e  o f   ca n d id ate  co n n ec tio n   is   s co r ed   b y   in teg r atio n   o f   PAF v alu es c o r r esp o n d in g   to   t h e  lin e  s eg m en t c o n n ec tin g   p m   an d   p n .      (  ,  ) = ∫   Mp   ( pm + t ( pn − pm ) ) 1 0 . pn − pm ‖ pn − pm ‖          Fin ally   b ip ar tite  m atch in g   alg o r ith m   is   u s ed   to   g en er ate  th e   g r ap h   wh ich   ass o ciate s   th e  d i tecte d   k ey p o i n ts   to   th e  lim b s .   I t is cle ar ly   s h o wn   i n       3 . 3 .     Cus t o m ized  da t a s et   f o r  t esting   a nd   t ra ini ng   o f   im pr o v ed  m o del   YOL Ov 5   alr ea d y   h as  g o o d   p er f o r m an ce   in   v eh icle  d etec tio n .   T h e  u n ce r tain ty   in   I n d i a ’ s   tr af f ic   s ce n ar io   m ak es  it  m o r e  ch al len g in g   f o r   YOL Ov 5   in   r ea l - tim e  tr af f ic  o b jects.  Fig u r e  9 ,   d em o s tr ates  th e  m o d if ied   v e h icles  th at  ar e  d et ec t  wr o n g ly   as  Fig u r e s   9 ( a )   to   9 ( c) ,   c lear l y   illu s tr ates  th at  YOL Ov 5   p r o d u ce s   f alse  r esu lts   d u e   to   a  lack   o f   I n d ian   v eh icle   in f o r m atio n .   I n   Fig u r e   9 ( a ) ,   YOL Ov 5   p r ed ic ted   th e   o b ject   as  a   “ Mo to r cy cle ”   b u t  it  is   a  m o d if ied   v eh icle  wh ich   is   b u ilt  u s i n g   an   o ld   m o t o r cy cle.   Similar ly   in   Fig u r e s   9 ( b )   an d   9 ( c ) ,   YOL Ov 5   wr o n g ly   p r ed icted   o b jects  as  “ T r u ck ”   al th o u g h   in   r ea l  b o t h   ar e  I n d ian   v eh icles  “ Vik r am ”   an d   “ E - R ick Sh a ”   r esp ec tiv el y .   Fo r   th e   p r esen t   s tu d y ,   th e   cu s to m   d ataset  is   r eq u ir ed   s o   th at   o u r   p r o p o s ed   YOL Ov 5   b ased   m o d el  ca n   d etec t  n o r m al  I n d ian   v e h icle s   b u t  also   m o d if ied   a u to m o b iles .   T o   ass es s   th e   ef f ec tiv en ess   o f   o u r   s u g g ested   m eth o d o lo g y ,   we  cr ea te d   an   e n tire ly   n o v el  s et  o f   I n d ian   tr af f ic  o b jects.  I m a g es  o f   v eh icles  an d   s tatio n ar y   o b je cts  f r o m   I n d ian   tr af f ic  s itu atio n s   h av e  b ee n   co llected   in   Deh r ad u n ,   I n d ia.   2 , 7 4 0   co lo r   im ag es h a v e  b ee n   g ath er ed .   T h e  d ata  au g m en tatio n   p r o ce s s   is   d o n e  to   in c r ea s e  th e  n u m b er   o f   im ag es  in   th e  d ataset.   Af ter   d ata  au g m en tatio n   im ag e   co u n t  in cr ea s es  f r o m   2 , 7 4 0   to   5 , 0 9 8   im ag es.  B y   u tili zin g   d ata  au g m en tatio n   m eth o d s ,   th e  m o d el  is   im p r o v ed   a n d   m o r e  ac cu r ate  b ec au s e  th e  d ata  is   p len tifu l  an d   en o u g h .   Data   au g m en tatio n   m eth o d s   r o tatio n ,   g r a y s ca le,   s atu r atio n ,   b lu r ,   n o is e,   etc  wer e   u s ed .   I n   r o tatio n   9 0 °  clo ck wi s e  an d   9 0 °  c o u n ter - clo ck wis e  im ag es  wer e  r o tated .   I m a g es  wer e  c o n v e r ted   f r o m   R GB   to   g r ay s ca le  in   2 5 %  o f   im ag es,   b etwe en     - 2 5 %  an d   + 2 5 %  s atu r atio n   w as  d o n e,   an d   i m ag es  wer e  b l u r r ed   u p   to   2 . 5 p x ,   f r o m   th e  to t al  p ix els  5 %  p ix els  n o is e  was  ad d ed   in   th e  im ag e.   T h e  d ataset  i s   d iv id ed   in to   tr ain in g ,   v alid atio n ,   an d   test in g .   T h er e  ar e  a  to tal  o f   1 8   class es  in   th e  d ataset.   T h e  v eh icles  an d   o th e r   s tatic  o b jects  ar e  m an u ally   an n o tated   as  s h o wn   in   Fig u r e  1 0 .   C las s   n am es:  [ ‘ am b u lan ce ’ ,  ‘ au to ’ ,  ‘ b ar r ier ’ ,  ‘ b u s ’ ,  ‘ car ’ ,  ‘ cy clis t ’ ,  ‘ e - r ik s h aw ’ ,  ‘ illeg al  v eh icle ’ ,  ‘ l o ad er ’ ,  ‘ m o to r b ik e ’ ,  ‘ p ed estrian ’ ,  ‘ s co o ter ’ ,  ‘ tr ac to r ’ ,  ‘ tr a f f ic  c o n e ’ ,  ‘ tr af f ic  p o lice  s tan d ’ ,  ‘ tr u ck ’ ,  ‘ v ik r am ’ ,  ‘ p ed estrian ’ ] .             ( a)   ( b )   ( c)     Fig u r e  9 .   T h e  o r i g in al  YOL Ov 5 ,   wh en   ap p lied   to   d etec t th e  m o d if ied   v eh icles th en   it is   ab le  to   d etec t th e  v eh icle  b u t in ac c u r ately   class if ies th em ,   f o r   illu s tr atio n ,   ( a)   m o d if ied   v eh icle  is   r ec o g n ize d   as m o to r c y cle,   I n d ian   p u b lic  tr a n s p o r t v e h icle  “ Vik r am ”   is   m is id en tifie d   as ( b )   tr u c k   an d   E - R ik s h aw  is   r ec o g n ized   as ( c)   tr u ck   Evaluation Warning : The document was created with Spire.PDF for Python.