I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   1 6 ,   No .   2 A p r il   20 2 6 ,   p p .   863 ~ 872   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 1 6 i 2 . pp 8 6 3 - 8 7 2           863       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   Integ ra ted  d eep l ea rning  appro a ch f o r re a l - time ob j ect  detec tion a nd col o r ana ly sis       Srini v a s   D ib bu r   B y ra pp a 1 ,   K us ha l G a j endra 1 ,   Ro hith H o lena ra s ipu ra   P utt a ra j u 1 ,     T um a k a la ha lli   N a g a ra j   M a li ni 2   1 D e p a r t me n t   o f   I n f o r mat i o n   S c i e n c e   a n d   E n g i n e e r i n g ,   N i t t e   M e e n a k sh i   I n st i t u t e   o f   T e c h n o l o g y ,   B a n g a l u r u ,   I n d i a   2 D e p a r t me n t   o f   M a n a g e me n t   S t u d i e s,  N i t t e   M e e n a k s h i   I n st i t u t e   o f   Te c h n o l o g y ,   B a n g a l u r u ,   I n d i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   May   17 2 0 2 5   R ev is ed   Dec   3 2 0 2 5   Acc ep ted   J an   15 2 0 2 6       Ob jec id e n ti fica ti o n   is   o n e   o f   th e   m a jo a p p li c a ti o n   a re a o d e e p   lea rn i n g   th a p r o v id e sig n ifi c a n tl y   b e tt e r   fe a tu re   e x trac ti o n   a n d   re p re se n t a ti o n   th a n   m o re   c o n v e n t io n a m e th o d o re c o g n it i o n .   Driv e n   b y   t h e   g ro win g   sig n ifi c a n c e   o c o n ju n c ti o n   o o b jec ts  d e tec ti o n   a n d   c o lo i n terp re tatio n   in   c o n tem p o ra ry   c o m p u ter  v isio n   sy ste m s,  th e   c u rre n w o rk   p r o p o se a n   in teg ra ted ,   re a l - ti m e   d e e p   lea rn i n g   sy ste m   t h a c o m p lete t h e   tas k   o o b jec t   lo c a li z a ti o n   a n d   c o l o a n a ly sis.   It  is  s u g g e ste d   t h a t h e   p ro p o se d   sy ste e m p lo y s   a   fa ste re g i o n - b a se d   c o n v o lu ti o n a l   n e u ra n e two r k   ( F a ste R - CNN with   b a c k b o n e   o f   Re sN e t - 5 0   a n d   su p p lem e n ted   wit h   a   fe a tu r e   p y ra m id   n e two rk   t o   p e rfo rm   m u lt i - sc a le  fe a tu re   a g g re g a ti o n .   Th e   m o d e w a train e d   a n d   tes ted   u sin g   t h e   P a sc a VO C   2 0 1 2   d a tas e a n d   i sh o we d   g o o d   re su lt s   with   t h e   a v e ra g e   p re c isio n   o f   0 . 8 1 1 4 ,   F 1   o f   0 . 6 2 3 2   a n d   I o o f   0 . 7 0 9 6 .   Th e   larg e   se o e x p e rime n ts  o n   d if fe re n lea rn i n g   ra tes   a n d   trai n in g   e p o c h s   a ll o we d   o p ti m izin g   t h e   d e tec to t o   wo rk   we ll   in   a   v a riet y   o c o n d it io n s .   To   e n h a n c e   e v e n   m o re ,   v isu a li z a ti o n   h isto g ra m   o o rien ted   g ra d ien ts  ( HOG )   a n d   g ra d ie n t - we ig h ted   c las a c ti v a ti o n   m a p p in g   ( G ra d - CAM)  w a u se d   to   g a in   a   m o re   p ro f o u n d   u n d e rsta n d in g   o f   th e   si g n if ica n c e   o fe a tu r e a n d   th e   lo g ic  b e h in d   a   m o d e l .   Th is  st u d y   c o m p lem e n ts  ima g e   p e rc e p ti o n   with   c o l o b y   c o m b in in g   o b jec re c o g n it i o n   a n d   c o lo r   in   a   sin g le  a rc h it e c tu re ,   wh ic h   c a n   re su lt   in   fr u it f u a p p li c a ti o n s   in   a re a o a u to n o m o u v e h icle s,   in d u strial  a u to m a ti o n ,   a n d   m e d ica ima g i n g .   K ey w o r d s :   C o n v o lu tio n al  n eu r al  n etwo r k s   Featu r p y r am i d   n etwo r k   Gr ad ien class   ac tiv atio n     His to g r am   o f   o r ien ted   g r ad ien ts   Ob ject  d etec tio n   Pas ca l V O C   R eg io n   p r o p o s al  n etwo r k   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Srin iv as Dib b u r   B y r ap p a   Dep ar tm en t o f   I n f o r m atio n   Scien ce   an d   E n g in ee r i n g ,   Nitte  Me en ak s h i I n s titu te  o f   T ec h n o lo g y   6 4 2 9 ,   NI T T E   Me en a k s h i Co lleg R d ,   B SF   C am p u s ,   Yela h an k a,   B en g alu r u ,   Go v in d ap u r a,   Kar n atak 5 6 0 0 6 4 ,   I n d ia   E m ail:  s r in iv as.d b @ n m it.a c. in       1.   I NT RO D UCT I O N   Ob ject  d etec tio n   is   o n o f   th e   m o s im p o r tan t   an d   o n e   o f   th e   m o s p o p u lar   task s   o f   c o m p u ter   v is io n   an d   a   f u n d am e n tal  f ield   o f   ar tific ial  in tellig en ce .   I t   p r o v id es  b asis   f o r   v ar iety   o f   p r ac tical  ap p licatio n s ,   s u ch   as  au to n o m o u s   n av ig ati o n ,   in d u s tr ial  q u ality   co n tr o l,   r o b o tics ,   an d   m e d ical  d iag n o s tics .   Ov er   th last   f ew  y ea r s ,   d ee p   lear n i n g ,   p a r ticu lar ly   co n v o lu tio n al  n e u r al   n etwo r k s   ( C NNs)  h av h ad   m u ltip le  p r o f o u n d   im p licatio n s   o n   o b ject  d etec tio n ,   in clu d in g   au t o m ated   le ar n in g   o f   f ea tu r es  an d   p r o v id in g   v er y   r o b u s class if icatio n   an d   lo ca lizatio n   p er f o r m a n ce .   C o n v en tio n a co m p u te r   v is io n   m eth o d s   wer in ten s iv o n   s tatis t ical  m o d els  lik ely   to   f ail  in   th p r esen ce   o f   v ar ia b ilit y   in   th ap p ea r an ce   o f   o b jects,  lig h tin g ,   an d   co m p lex ity   o f   th b ac k g r o u n d .   W ith   th em er g en ce   o f   d ee p   lear n in g ,   C NNs  [ 1 ] ,   [ 2 ]   h a v e   s o   f ar   tr an s f o r m ed   o b ject  d etec tio n   b y   a u to m atic ally   ac q u ir in g   h ier a r ch ical  f ea tu r r ep r esen tatio n s   u s in g   r aw   im ag in p u ts .   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   8 6 3 - 872   864   s tate - of - th e - ar o b ject  d etec tio n   m o d els  lik th e   Fas t er   R - C NN  m o d el  [ 3 ] y o u   o n ly   lo o k   o n ce   ( YOL O )   [ 4 ] ,   [ 5 ] .   T h e   p r o p o s ed   m o d el  in   [ 6 ]   is   ca r r ied   o u u s in g   less   m em o r y   an d   less   p r o ce s s in g   p o wer   an d   p r o ce s s in g   m ass   d ata  u s in g   Pas ca VOC  an d   Mic r o s o f t   C OC d atasets .   Qu ick   d etec tio n   alg o r ith m   c an   d is cr im in ate  th e   o b ject  in   0 . 8 2   a n d   ab o v s ec o n d s .   Ho wev er ,   th er is   cr itical   g ap   in   ex is tin g   liter atu r th at  h as  n o b ee n   f u lly   u s ed ,   i.e . ,   th u s o f   in tr in s ic  o b ject  attr ib u tes,  e. g .   co lo r   in f o r m atio n   in   th ese  d e tectio n   p ip elin es.  T h cu r r e n m o d els  ar m ain ly   b ased   o n   f ea tu r es  o f   s p ac an d   s h ap with o u m u ch   f o cu s   o n   co l o r   f ea tu r es  wh ich   ar e   e s s en tial  in   v ar io u s   p r ac tical  s itu atio n s .   T o   d em o n s tr ate,   o n o f   th m ai n   d is tin ctio n s   in   th u s o f   co lo r   is   in   tr af f ic  s ig n al  d etec tio n ,   s o r tin g   o f   f r u its   in   a g r icu ltu r e,   o r   th s ca n n i n g   o f   d ef ec ts   o n   i n d u s tr ial  p r o d u cts.  T h f ail u r to   p ay   atten tio n   to   co lo r   m a y   r esu lt   in   m is class if icatio n s   in   s itu atio n s   wh er c o lo r   co d ed   o b jects  o r   ap p ea r an ce   s im ilar   o b jects  ar s ep ar ate d   p r im ar ily   b y   co lo r .   Mo r e o v er ,   th s ec o n d   s ig n if ica n d r aw b ac k   o f   th e   s tate - of - th e - ar is   th in ab ilit y   to   in t er p r et  d ee p   lear n in g   m o d els.   E v en   th o u g h   C NN - b ased   d etec to r s   ar h ig h ly   p er f o r m in g ,   th e y   ar b lack   b o x es,  wh ich   m ea n s   th at  en d - u s er s   in   s af ety - cr itical  s y s tem s   ( au to n o m o u s   v eh icles  o r   m ed ical  d ev ices)   ca n n o r ely   o n   m o d el  o u tp u u n less   th er is   an   in ter p r etab ilit y   m ec h an is m .   T o   o v er co m e   th em ,   we  in tr o d u ce   n ew  h y b r i d   f r a m ewo r k   th a will  in v o lv C NN - b ased   o b j ec d etec tio n   ( Fas   R - C NN  with   R e s Net5 0 - f ea tu r p y r am id   n etwo r k   ( FPN )   b ac k b o n e) ,   co lo r   an al y s is   with   th k - m ea n s   clu s ter in g   alg o r ith m   a n d   e x p lain ab le  ar tific ial  in tellig en ce   ( AI )   m eth o d s   th r o u g h   g r a d ien t - weig h ted   class   ac tiv atio n   m ap p i n g   ( Gr a d - C AM )   an d   h is to g r am   o f   o r ien te d   g r ad ien ts   ( HOG )   [ 7 ] .   T h r em ai n d er   o f   th is   ar ticl is   s tr u ctu r ed   as :   Sectio n   2   p r o v id es  a   b r ief   o v er v iew   o f   r elate d     wo r k .   Sectio n   3   o u tlin es  t h m eth o d .   I n   s ec tio n   4   r esu lts   a r d is cu s s ed ,   an d   f i n ally   s ec tio n   6   co n clu d es  th e   ar ticle.       2.   RE L AT E WO RK   R ec en ad v an ce s   in   o b ject  d et ec tio n   tech n o lo g ies  h av e   b ee n   s ig n if ican tly   im p r o v e d   in   v ar io u s   f ield s   an d   ar ch itectu r e .   Stu d ies  [ 8 ]   h av s h o wn   th at  in teg r atin g   R e s Net - 5 0   with   d etec tio n   with   tr an s f o r m er s   ( DE T R )   ( tr an s f o r m e r - b ased   m o d el)   ac h iev ed   ap p r o x im atel y   9 0 b etter   r esu lts   th an   tr ad itio n al  C NNs,  wh ile   tr an s f o r m er s   co m b in ed   with   C NNs  ac h iev ed   an   av er ag p r ec is io n   ( AP)   o f   2 0 . 6   f o r   s m al o b jects  [ 9 ] .   Fas ter   R - C NN   h as  b ee n   ef f ec tiv in   n ich ap p licatio n s   s u ch   as  m an g ch ar ac ter   an d   tex d etec tio n ,   ac h iev in g   m etr ics  as  h ig h   as  0 . 8 1 6   a n d   0 . 8 9 8 ,   r esp ec tiv ely   [ 1 0 ] .   Sate llit im ag er y   an aly s is   [ 1 1 ]   u s i n g   cu s to m   C NN  ap p r o ac h   ac h iev ed   an   ac c u r ac y   o f   9 4 . 6 5 to   d etec v eh icles,  b u ild in g s ,   an d   tr ee s .   T r af f ic  s ig n   d etec tio n   with   two - s tag F aster   R - C NN  m o d el  ac h ie v ed   a   d etec tio n   p r ec is io n   o f   8 8 . 9 9 [ 1 2 ] ,   wh ile  s p ec ialized   ap p licatio n s   s u ch   as  u n m an n ed   ae r ial  v e h icle  ( UAV)   d etec tio n   s h o wed   b etter   r esu lts   with   L SL  Net  [ 1 3 ] Dete ctio n   o f   h o u s eh o ld   o b jec ts   u s in g   R esNet5 0   an d   s u p p o r v ec to r   m ac h in e   ( SVM )   is   p r esen ted   in   [ 1 4 ] C NN  i s   u s ed   to   d etec o b ject s ,   R e s Net5 0   is   u s ed   to   cla s s if y   th im ag es  in to   o b jects,  an d   th en   th SVM  is     u s ed   to   tr ain   o b jects  an d   s to r ed   in   th e   o b ject   d atab ase.   A   two - p h ase  ap p r o ac h   c o m b in i n g   c o r r elativ e   f ilter   tr ac k in g   a n d   C NN  s h o wed   s ig n if ican im p r o v e m en ts   in   s t u d y   [ 1 5 ]   f o r   v a r io u s   s ce n ar i o s .   F aster   R - C N N   m o d el  with   r eg i o n al  p r o p o s al  n etwo r k   [ 1 6 ]   s h o we d   s tr o n g   r esu lts   o n   b en c h m ar k s ,   s u ch   as  MS  C O C an d   Pas ca l V O C   [ 1 7 ]   T h o b ject  id en tific atio n   alg o r ith m   b ased   o n   th c h ar ac ter i s tic  co lo r   with   th e   YUV  co lo r   s p ac is   p r esen ted   in   s tu d y   [ 1 8 ] .   A   s tu d y   -   ex p an s io n   alg o r ith m   to   o b tain   th s p atial  d is tr ib u ti o n   o f   th c o m p atib le   o b ject  co lo r   c h ar ac ter is tic.   T h im ag es  co n tain in g   C C T f ac es  ar s eg m en ted   in   s tu d y   [ 1 9 ] ,   ex p er im en ts   wer ca r r ied   o u o n   s in g le  f ac im ag in   m ask   d etec tio n ,   r esu ltin g   in   a n   ac cu r ac y   o f   9 7 . 3 3 %.  Similar ly ,   th er m al  im ag e   d etec tio n   r ep o r ted   m ea n   AP  ( m AP)   o f   2 6 . 5 [ 2 0 ] .   I n   o th er   a p p licatio n s ,   an   m ask ed   im a g m o d elin g   ( MI M ) - p r etr ai n ed   v an illa  v is io n   tr an s f o r m er   ( ViT )   [ 2 1 ]   en c o d er   ac h ie v ed   an   AP o f   5 1 . 5 ,   a n d   v is io n   tr an s f o r m er s   d em o n s tr ated   p r o m is in g   o p e n - v o ca b u la r y   d etec tio n ,   ac h iev i n g   a n   AP  o f   3 1 . 2 o n   th L VI S   v 1 . 0   d ataset  [ 2 2 ] .   Sp ec ialized   u n d er wate r   d etec tio n   m o d els  f o r   lo w - p o wer   s y s tem s ,   s u ch   a s   th R asp b er r y   Pi,   d em o n s tr ated   b y   u s in g   m u lt i - s ca le  f ea tu r lear n in g   to   i m p r o v e   co m p u tatio n al   ef f ici en cy   [ 2 3 ] .   I m ag es  ca p tu r ed   f r o m   r o a d s   o r   h illy   r eg io n s   o f ten   s u f f er   f r o m   p o o r   v is ib ilit y   d u to   h az [ 2 4 ] .   R em o v in g   th is   h az e   ca n   s ig n if ican tly   en h a n ce   co l o r   r ec o g n itio n .   T h e   p r o p o s ed   s y s tem   ad d r ess es  th is   b y   in teg r atin g   two   k e y   tech n iq u es:  f ir s t,  it  em p lo y s   th d ar k   c h an n el  p r io r   m eth o d   to   elim in ate  h az e;  n e x t,  it  u tili ze s   C NN  f o r   f ea tu r e   lear n in g .   On ce   t h f ea tu r es  a r ex tr ac ted ,   an   ef f ec tiv clas s if icatio n   m eth o d ,   s u ch   as  th SVM,   is   u s ed   to   p er f o r m   th e   f in al   class if icati o n .   Py th o n - O p en C [ 2 5 ]   h as  p r o v en   ef f ec tiv e   in   R GB   co lo r   r ec o g n itio n   f o r   co lo r   d etec tio n   in   co m p u ter   v is io n .   Gu p ta  et  a l.   [ 2 6 ]   h ig h lig h h o th m o d el  u tili ze s   d ee p   lear n in g   an d   n atu r al  lan g u a g p r o ce s s in g   tech n iq u es  to   g e n er ate  co n cis d escr ip tio n s   o f   in p u im ag es.  C o m p r eh en s iv r ev iew  o f   r ec en ad v an ce s ,   m eth o d s ,   c h allen g es,  an d   f u tu r d ir ec tio n s   in   o b ject  d etec tio n   an d   c o lo r   id en tific atio n ,   f o cu s in g   o n   d ee p   lear n in g   an d   p r ac tical  ap p lic atio n s   [ 2 7 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n teg r a ted   d ee p   lea r n in g   a p p r o a ch   fo r   r ea l - time  o b ject  d etec tio n   a n d     ( S r in iva s   Dib b u r   B yra p p a )   865   3.   M E T H O D   T h f r a m ewo r k   as  illu s tr ated   in   Fig u r e   1   in tr o d u ce s   a   r ea t im o b ject  d etec tio n   a n d   c o lo r   an aly s is   o b ject  o f   r aw   im ag es  s y s tem .   I is   b ased   o n   a   Fas ter   R - C N f r am ewo r k   with   R esNet - 5 0   b ac k b o n a n d   a   FP th at  is   u s ed   to   d etec o b jects  with   h ig h   lev els  o f   r o b u s tn ess   an d   at  m u ltip le  s ca les.  T h in itial  s tag e   in v o lv es  p r e - p r o ce s s in g   an d   a u g m en tatio n   o f   th im ag es  a n d   th en   t h r o u g h   d etec tio n   n etwo r k .   A n   ex p e r co lo r   r ec o g n itio n   u n it  o p e r ates  o n   th id en tifie d   ar ea s   th r o u g h   an   a n aly s is   o f   clu s ter in g   to   f in d   th p r ev ailin g   co l o r s   an d   th eir   p e r ce n tag es.  T h s y s tem   ca n   v is u alize   th r esu lts   with   b o u n d ar ies,  co lo r   d etails,  an d   h ea tm ap s   o f   Gr ad - C AM ,   wh ich   h av c o n ti n u o u s   d y n am ic  u p d ates,  to   o f f er   b etter   u s er   e x p er ien ce .           Fig u r 1 .   Pro p o s ed   f r am ewo r k       3 . 1 .    F a s t er   R - CNN   Fas ter   R - C NN  ( A lg o r ith m   1 )   s er v es  as  th p r im ar y   d etec tio n   m o d u le  d u to   its   s tr o n g   ac cu r ac y   in   r eg io n - b ased   o b ject  lo ca lizati o n .   T h s y s tem   u s es  R esNet - 5 0   b ac k b o n e   with   an   FP to   ex tr ac r ich   m u lti - s ca le  f ea tu r es  s u itab le  f o r   d etec tin g   o b jects  o f   d i f f er en t   s izes.  r eg io n   p r o p o s al  n etwo r k   ( R PN )   th en   g en er ates  ca n d id ate  o b ject  r eg io n s   b y   e v alu atin g   an ch o r   b o x es  o f   v a r io u s   s ca les  an d   asp ec r atio s   an d   p r ed ictin g   o b ject  n ess   s co r es a n d   r ef in e d   co o r d in ates.  T h e   to p   p r o p o s als ar p r o ce s s ed   u s in g   r eg io n   o f   i n ter est  ( R OI )   alig n ,   wh ic h   p r o d u ce s   s p atially   co n s is ten t,  f ix e d - s ize  f ea tu r m a p s ,   en ab li n g   p r ec is class if icatio n   an d   b o u n d in g   b o x   r ef in em e n t.     3 . 2 .    Co l o re co g nitio n inte g ra t io n   T h in teg r atio n   o f   co l o r   r ec o g n itio n   in to   th Fas ter   R - C NN  f r am ewo r k   in v o lv es  an aly zin g   th R OI s   d etec ted   b y   th o b ject  d etec ti o n   m o d el  an d   p e r f o r m in g   d eta iled   co lo r   an aly s is   f o r   ea c h   id en tifie d   o b ject.   T h e   p r o ce s s   ( A lg o r ith m   2 )   s tar ts   b y   ex tr ac tin g   cir cu lar   r e g io n   f r o m   th ce n ter   o f   ea ch   d etec te d   o b ject' s   b o u n d in g   b o x ,   e n s u r in g   th an aly s is   f o c u s es  o n   th m o s r e p r esen tativ p ar o f   th o b ject  wh ile  m in i m izin g   b ac k g r o u n d   in ter f er en ce .   T h is   e x tr ac ted   r eg io n   is   t h en   s u b jecte d   to   k - m ea n s   clu s ter in g ,   an   ef f icien an d   wid ely   u s ed   alg o r ith m   f o r   id e n tify in g   d o m in an co lo r s   with in   im a g p atc h es  b y   g r o u p i n g   s im ilar   p ix el  co lo r s   in to   clu s ter s   b ased   o n   th eir   p r o x im it y   to   clu s ter   ce n ter s .   T h n u m b er   o f   clu s ter s   ( k )   ca n   b p r ed ef in ed ,   an d   th ce n ter   o f   ea ch   clu s ter   r ep r esen ts   a   d o m in an co l o r   f o u n d   in   t h o b ject  r eg io n .   T h is   m eth o d   e n ab les  r o b u s an d   au to m ated   c o lo r   id e n tific atio n   f o r   ea c h   d etec ted   o b jec t,  s u p p o r tin g   task s   th at  r e q u ir p r ec is co l o r   in f o r m atio n   with in   o b ject  d ete ctio n   p ip elin es.     3 . 3   Vis ua liza t io n   T h f r a m ewo r k   in teg r ates  ex p lain ab le  AI   m eth o d s   HOG  a n d   Gr a d - C AM   to   im p r o v tr a n s p ar en cy   an d   in ter p r eta b ilit y   in   o b ject  d etec tio n   an d   co l o r   an aly s is .   HOG  p r o v id es  tr ad itio n al,   h an d - c r af ted   v is u al   ex p lan atio n   b y   m a p p in g   ed g o r ien tatio n s   an d   g r ad ie n ts ,   em p h asizin g   s h ap es a n d   c o n to u r s   th at  s u p p o r o b jec t   r ec o g n itio n .   I allo ws  co m p ar is o n   b etwe en   co n v en tio n al   f ea tu r ex t r ac tio n   a n d   n e u r al  r ep r esen tatio n s .     Gr ad - C AM   co m p lem en ts   th i s   b y   v is u alizin g   m o d el  atten tio n   u s in g   g r ad ien t - b ased   h e atm ap s   f r o m   d ee p   n etwo r k s   lik R esNet - 5 0   with   FP N.   T h ese  m ap s   h ig h lig h t h im ag r e g io n s   m o s in f lu e n tial  in   th m o d el’ s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   8 6 3 - 872   866   class if icatio n   an d   lo ca lizatio n   d ec is io n s ,   r ev ea lin g   h o t h n etwo r k   f o cu s es  o n   s p ec i f ic  s p atial  f ea tu r es   d u r in g   d etec tio n .     ( , ) = ( ( ) )      = 1        ( 1 )     T h e   p i x e l s   wi t h i n   t h e   i d e n t i f ie d   r e g i o n   a r e   u s e d   a s   i n p u ts   t o   t h e   k - m e a n s   a l g o r it h m   ( A lg o r i t h m   3 )   wh ich   clu s ter s   th em   i n to   a   s p e cif ied   n u m b er   o f   clu s ter s   o f   c o lo r s   with   ( 1 )   ( E u clid ea n   d is tan ce )   as  th e   d is tan ce   m ea s u r e.   T h e   m eth o d   allo ws b r ea k in g   d o wn   n o o n ly   o n d o m in an co l o r   b u also   it  g iv es a n   allo ca tio n   o f   th e   m ajo r   co lo r s   th at  f o r m   i n   th o b ject.   T h m o s t r ep r esen tativ e   co lo r s   o f   a n   o b ject  ar e   th en   th ce n tr o id s   o f   ea c h   clu s ter .   T h ce n ter s   o f   th ese  clu s ter s   ar th m o s d escr ip tiv co lo r s   o f   th o b ject.   I h as  co lo r - n am in g   co m p o n en wh ich   m ap s   th R GB   v alu es  o f   clu s ter   ce n tr o id   to   th clo s est  n am ed   co l o r s   in   p r e - ex is tin g   c o lo r   s p ac e,   e. g .   C SS 3   co lo r   n am es  [ 2 8 ] ,   [ 2 9 ] .   T h is   ass i s ts   i n   co n v er tin g   co lo r s   o f   o b je cts  in to   h u m an   u n d er s tan d a b le  f o r m at,   wh ich   ca n   b u s ed   in   ca s es  wh er th ap p licatio n   r e q u ir es  th u s o f   n atu r al  lan g u a g co lo r s .     3 . 4 .     I m ple m ent a t io n   Fig u r 2   s h o ws  th im p lem en tatio n   o f   th p r o p o s ed   f r am ewo r k .   T h Py T o r ch   d ee p   lear n in g   f r am ewo r k   is   u s ed   in   th f r am ewo r k .   T h m eth o d s   u s ed   co n s is ted   o f   r an d o m   h o r izo n tal  f lip p in g   at     5 0   p er ce n f r e q u en c y ,   r an d o m   ap p licatio n   o f   th r o tatio n s   o f   ± 1 0   d eg r ee s   an d   b r ig h tn ess   an d   co n tr ast  m an ip u latio n .   T h p h o to s   wer r esized   to   8 0 0   p ix els  o n   t h s h o r ter   d im en s io n   k ee p in g   th o r ig in al  asp ec r atio   to   m ak s u r th at  th in p u is   as  h o m o g en eo u s   as  p o s s ib le  an d   th at  th s ig n if ica n v is u al  in f o r m atio n   is   n o lo s t.  T h s to ch asti g r ad ien d escen ( SGD)   alg o r ith m   was  u s ed   in   th tr ain in g   s tag wh er m o m en tu m   f ac to r   o f   0 . 9   an d   weig h d e ca y   r ate  o f   0 . 0 0 0 5   wer e   ap p li ed .   I n   th a n aly s is   o f   co l o r ,   k - m ea n s   clu s ter in g   alg o r ith m   is   u s ed   to   d eter m in th p r ev ailin g   c o lo r   p atter n s   in   th d etec ted   o b je ct  r eg io n s .   I was   ex p er im en tally   test ed   th at   th f iv e   clu s ter   ap p r o ac h   ( K= 5 )   o f f er ed   g o o d   b alan ce   b et wee n   co m p u tatio n   ef f icien cy   an d   ca p ac ity   to   d escr ib ad eq u ate  co lo r   v ar iab ilit y .   T o   m ak th s am p lin g   co n s tan an d   r ep r esen tativ e,   cir cu lar   r eg i o n   is   s am p led   o u o f   an y   g iv e n   o b s er v ed   o b ject,   an d   th r a d iu s   is   d ef in ed   as  a   q u ar ter   o f   th e   less er   s id o f   th b o u n d in g   b o x   o f   th o b ject.   T h s am p lin g   s tr ateg y   is   u n if o r m ,   wh ich   m ak es   th m eth o d   c o n s is ten in   an al y zin g   co l o r   in f o r m atio n   o f   o b je cts  o f   d if f er en t   s h ap es  an d   s iz es.   All  ex p er im e n ts   wer co n d u cte d   u s in g   Py th o n   3 . 1 0   with   th Py T o r ch   2 . x   d ee p   lear n in g   f r am ewo r k   o n   s y s tem   eq u ip p e d   with   an   1 2 th   g en   in tel( r )   co r e ( tm )   i5 - 1 2 5 0 0 ,   3 0 0 0   Mh 6   co r es,  1 2   th r ea d s ,   3 2   GB   R AM ,   an d   Ub u n tu   2 0 . 0 4 .           Fi gur e 2. Fl o w   c har t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n teg r a ted   d ee p   lea r n in g   a p p r o a ch   fo r   r ea l - time  o b ject  d etec tio n   a n d     ( S r in iva s   Dib b u r   B yra p p a )   867   Alg o r ith m   1 .   Ob ject  d etec tio n   u s in g   Fas ter   R - C NN   1: Feature Extraction   2: Extract features using ResNet50 backbone   3: Create multi - scale feature maps using FPN   4: Region  proposal network  (RPN)   5: Generate anchor boxes   6: Predict object proposals   7: Filter and refine proposals   8: Region of Interest (RoI) Processing   9: Align multi - scale feature maps with region proposals to get RoI features   10: Final Prediction   11: for each RoI do   12:   Classify the RoI   13:   Refine bounding box for the RoI   14: end for   15: Return Results     Alg o r ith m   2 .   C o lo r   an aly s is   p r o ce d u r e   Require: image, bounding box   Ensure: dominant color, color name, cluster centers, counts    1 :   Extract circular region from the bounding box.   2 :   Get dominant color:   3 :   Reshape images to 2D and remove black pixels.   4 :   if pixels are not empty then   5 :   Perform k - means clustering.   6 :   Calculate mean color.   7 :   Find closest centroid to the mean color.   8 :   Store dominant color, cluster centers, and counts.   9 :   end if   10 :   Return Results:   11 :   if dominant color is found then   12 :   Get color name from RGB value.   13 :   return dominant color, color name, cluster centers, counts.   14 :   else   15 :   return None, None, None, None.   16 :   end if     Alg o r ith m   3 .   k - m ea n s   clu s ter in g   p r o ce d u r e   Require: dataset D, number of clusters k, maximum iterations max iterations   Ensure: centroids, assignments   1: Initialize k centroids randomly   2: for iteration = 1 to max iterations do   3:   Assign each point in D to the nearest centroid   4:   Update centroids as the mean of the assigned points   5:   if centroids do not change then   6:   break    7:   end if    8: end for   9: return Final centroids, Cluster assignments       4.   RE SU L T S AN D I SCU SS I O N   The   p er f o r m an ce   o f   o u r   p r o p o s ed   f r a m ewo r k   is   tab u late d   in   T a b le  1 .   E x p er im en 1 0   ( lear n i n g     r ate  0 . 0 0 5   an d   ep o ch s   =   5 0 )   s h o ws  th h i g h est  m ea n   p r ec is io n   o f   0 . 8 1 %,  m AP 0 . 8 1 %,   an d   s o lid   F1   s co r e   o f   0 . 6 2 %,   in d icatin g   th at   m o r e   ep o ch s   ( 5 0 )   at   m o d er ate  le ar n in g   r ate  y ield   th b est  o v er all  p er f o r m a n ce .   E x p er im en ts   1   an d   6   also   s h o h ig h   p r ec is io n   an d   m AP  ( 0 . 7 7 an d   0 . 7 4 %),   s u g g esti n g   t h at  3 0   ep o c h s   with   0 . 0 0 5   o r   0 . 0 0 1   lear n in g   r ate  al s o   p er f o r m   well.   Similar ly ,   e x p er im en 7   ( lear n in g   r ate  0 . 0 0 0 1 ,   e p o ch s   2 0 )   h as  th lo west  p e r f o r m an ce   i n   all  m etr ics,   esp ec ially   with   an   e x tr em ely   lo F1   s co r e   ( 0 .   0 9 %)  an d   m AP    ( 0 .   1 5 %),   in d icatin g   th at  to o   lo lear n in g   r ate  with   f ewe r   ep o ch s   lead s   to   u n d er f itt in g .   E x p er i m en ts   2     ( 3 0   ep o c h s )   an d   8   ( 5 0   ep o ch s )   s h o s im ilar   m etr ic s ,   wh ic h   s h o ws  th at  h ig h er   ep o ch s   p r ev en f u r t h er   g ain   af ter   p o i n t,  d u e   to   ea r ly   co n v er g en ce .   T h Pas ca VOC   2 0 1 2   d ata s et  is   u s ed   f o r   ex p er im e n tal  p u r p o s es.  T h is   d ata   s et  co m p r is es  1   1 , 5 3 0   im a g es with   2 7 , 4 5 0   an n o tated   R OI s   an d   6 , 9 2 9   s eg m e n tatio n s   in   2 0   u n iq u o b ject  cl ass es.  T h p r o p o s ed   f r am ewo r k   e f f ec tiv ely   d etec te d   an d   lo ca lized   o b jects  in   v ar io u s   s ettin g s .   I n   Fig u r 3 ,   it  ac cu r ately   id en tifie d   a   h o r s with   h ig h   co n f id e n ce ,   c o r r ec tly   d r awin g   th b o u n d in g   b o x es.  T h m o d el  also   r ec o g n ized   th h o r s e’ s   d o m in an co at  co l o r   as  d ar k   s late  g r ay   ( R GB 5 4 ,   5 4 ,   5 2 ) ,   d em o n s tr atin g   its   ab ilit y   to   p r o v id d etailed   in f o r m atio n   ab o u d etec ted   o b jects.  Similar ly ,   th f r am ewo r k   d em o n s tr ated   s tr o n g   co w   im ag d etec tio n   in   Fig u r 4 ,   with   a   h ig h   co n f id e n ce   s co r o f   0 . 9 7 .   T h r esu lts   s h o th at   f ac to r s   s u c h   as  co p o s tu r e,   lig h tin g ,   an d   th e   ex ten t o   wh ich   th a n im al  o cc u p ies  th f r am ca n   s ig n if ican tly   in f lu en ce   th m o d el’ s   co n f id en ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   8 6 3 - 872   868   T h m o d el  co u l d   b im p r o v e d   to   p er f o r m   m o r co n s is ten tly   in   d if f er en v a r iatio n s   o f   th s am o b ject  class .   I ts   co lo r   an aly s is   s y s tem   p r o v id es  ac cu r ate  co lo r   in f o r m atio n ,   as  s h o wn   b y   co r r ec tly   id e n tify in g   th e   Sien n a   co lo r s .       T ab le  1 .   Per f o r m an ce   m etr ics ac r o s s   ex p er im en ts   Ex p .   Le a r n i n g   r a t e   Ep o c h s   M e a n   p r e c i s i o n   M e a n   r e c a l l   M e a n   F 1   sc o r e   M e a n   I o U   mA P   1   0 . 0 0 5   30   0 . 7 7 7 8   0 . 4 5 7 9   0 . 5 5 0 1   0 . 6 8 7 3   0 . 7 7 7 8   2   0 . 0 0 5   30   0 . 5 3 4 7   0 . 4 7 6 9   0 . 4 6 5 7   0 . 6 6 6 1   0 . 5 3 4 7   3   0 . 0 0 1   20   0 . 6 1 2 2   0 . 5 9 5 1   0 . 5 7 8 9   0 . 6 7 0 0   0 . 6 1 2 2   4   0 . 0 1 0   20   0 . 2 5 1 0   0 . 1 2 3 1   0 . 1 5 4 2   0 . 6 9 0 1   0 . 2 5 1 0   5   0 . 0 0 5   20   0 . 5 5 8 8   0 . 3 1 4 7   0 . 3 7 3 7   0 . 6 5 1 4   0 . 5 5 8 8   6   0 . 0 0 1   30   0 . 7 4 6 3   0 . 5 8 0 2   0 . 6 2 4 2   0 . 7 0 4 0   0 . 7 4 6 3   7   0 . 0 0 0 1   20   0 . 1 5 0 0   0 . 0 7 5 5   0 . 0 9 8 8   0 . 6 6 9 3   0 . 1 5 0 0   8   0 . 0 0 0 1   50   0 . 5 3 4 7   0 . 4 7 6 9   0 . 4 6 5 7   0 . 6 6 6 1   0 . 5 3 4 7   9   0 . 0 0 5   10   0 . 6 6 6 7   0 . 3 4 4 6   0 . 4 3 0 6   0 . 6 7 4 4   0 . 6 6 6 7   10   0 . 0 0 5   50   0 . 8 1 1 9   0 . 5 3 7 6   0 . 6 2 3 2   0 . 7 0 9 6   0 . 8 1 1 9           Fig u r 3 .   Ob ject  d etec tio n   an d   co lo r   id e n tific atio n   o f   h o r s e           Fig u r 4 .   Ob ject  d etec tio n   an d   co lo r   id e n tific atio n   o f   co w       HOG  is   wid ely   u s ed   f ea tu r d escr ip to r   in   co m p u ter   v is io n   an d   im a g p r o ce s s in g   f o r   o b ject   d etec tio n .   HOG  v is u aliza tio n s   p r o v id in f o r m atio n   ab o u h o an   im ag is   ch ar ac ter ized   b y   its   ed g e   o r ien tatio n s   an d   in ten s ities .   Fig u r es  5   an d   6   s h o HOG  v is u aliza tio n   o f   a n   air c r af an d   a   b u s ,   r esp ec tiv ely .   I n   Fig u r e   5 ,   s tr o n g   g r ad ien p atter n s   alo n g   th win g s ,   f u s elag e,   an d   tail  o f   th p lan h ig h li g h its   ae r o d y n am i c   f ea tu r es  an d   s h o th at  th f r a m ewo r k   f o cu s es  o n   s h ar p   e d g es  an d   co n to u r s .   Similar ly ,   th e   HOG  v is u aliza tio n   in   Fig u r e   6   h ig h lig h ts   s tr o n g   h o r izo n tal  a n d   v er tical  g r ad ien t s   ar o u n d   k e y   b u s   f ea tu r es  lik th win d s h ield   a n d   h ea d lig h ts .   T h is   in d icate s   th at  th f r am ewo r k   id e n tifie s   b u s es  b y   f o cu s in g   o n   g eo m et r ic  s h ap es  an d   e d g e   p atter n s ,   ef f ec tiv ely   u s in g   s tr u ctu r al  an d   a n g u lar   ch ar ac ter is t ics f o r   v eh icle  r ec o g n itio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n teg r a ted   d ee p   lea r n in g   a p p r o a ch   fo r   r ea l - time  o b ject  d etec tio n   a n d     ( S r in iva s   Dib b u r   B yra p p a )   869   Gr ad - C AM   v is u aliza tio n s   ar e   p o wer f u to o f o r   in ter p r e tin g   o u r   co n v o lu tio n al  n eu r al   n etwo r k ,   r ev ea lin g   wh ic h   ar ea s   o f   a n   i m ag ar e   th m o s in f lu en tial  in   th m o d el  p r ed ictio n s .   Gr a d - C AM   h ea tm ap   i n   Fig u r es  7   an d   8   s h o ws  th at  th m o d el  m ain ly   h ig h lig h ts   th e   co w’ s   b o d y   an d   h ea d .   T h f r am ewo r k   f o cu s es  o n   p ar ts   o f   th an im al  r ic h   in   ca t eg o r y - d ef in in g   f ea tu r es  an d   d em o n s tr ates  its   ab ilit y   to   ac cu r ately   id en tify   a n d   lo ca te  co ws  in   th im ag e.   T h is   v is u aliza tio n   s h o ws  th at  th m o d el  r elies  n o o n ly   o n   th o v er all  s h ap o f   th e   co w,   b u t a ls o   o n   v ar iatio n s   in   s u r f ac p atter n s ,   co l o r s ,   an d   tex tu r es wh en   m a k in g   its   p r e d ic tio n s .           Fig u r 5 .   HOG  v is u aliza tio n   o f   p lan e           Fig u r e   6 .   HOG  v is u aliza tio n   o f   b u s           Fig u r e   7 .   Gr a d - C AM   v is u aliza tio n   o f   c o w           Fig u r e   8 .   Gr a d - C AM   v is u aliza tio n   o f   c o w   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   8 6 3 - 872   870   5.   C O N C L U SIO N   Fin ally ,   th is   s tu d y   also   b r i n g s   co n tr ib u tio n   to   th e   in teg r at ed   ex am i n atio n   o f   o b ject  d ete ctio n   an d   co lo r   i n ter p r etatio n   b ec a u s o f   u s in g   lar g e - s ca le  d atasets ,   co m p le x   a u g m en tatio n   m et h o d s ,   an d   th e   m o s r ec en d ee p   lea r n in g   m o d els,   in clu d in g   Fas ter   R - C NN  wi th   R esNet - 5 0   b ac k b o n an d   f ea tu r p y r am i d   n etwo r k s .   T h p r o p o s ed   s y s tem   h as  h ig h   q u an titativ p er f o r m a n ce   with   m AP  o f   0 . 8 1 1 9   o n   th Pas ca l   VOC   2 0 1 2   d ataset  an d   s h o ws r esil ien ce   in   v ar iety   o f   o b jec ca teg o r ies  an d   d em a n d in g   v i s u al  s ettin g s   d u to   th in teg r atio n   o f   k - m ea n s   clu s ter in g   to   ex tr ac t   d o m i n an c o lo r s   an d   ex p lain ab le  AI   s o lu ti o n s   lik HOG   an d   Gr ad - C AM .   T h ca p ab ilit y   o f   th e   m o d el   to   g iv ac c u r ate  o b ject  lo ca lizatio n   alo n g   with   s em an tically   d escr ip tiv co lo r   f ea tu r es  m ak es  it  u s ef u to o in   r ea l - wo r ld   a p p licatio n s   in   s u ch   f ield s   as  in d u s tr ial   in s p ec tio n ,   a u to n o m o u s   s y s te m s   an d   m ed ical   im ag in g .   Gen er ally ,   th e   wo r k   p r esen ts   v al u ab le  a n d   d ev elo p ed   f r am ewo r k   th at  s titch es  th d is p ar ity   b etwe en   th eo r etica d ev elo p m en ts   an d   p r ac tical  asp ec ts   o f   co m p u ter   v is io n   n ee d s .   T h is   f r am ewo r k   will  b ex ten d ed   in   f u tu r d i r e ctio n s   to   f ac ilit ate  r ea l - tim p r o ce s s in g ,   ad ap tiv e   b eh av io r ,   d o m ain   g en e r aliza tio n   a n d   e x p lain ab ilit y   th u s   in c r ea s in g   its   ca p ab ilit y   to   b e   f u r th er   u s ed   in   p r ac tice   an d   r ea l - life   s itu atio n s .       F UNDING   I NF O R M A T I O   T h is   r esear ch   d id   n o t r ec eiv e   a n y   g r a n ts   f r o m   a n y   f u n d in g   a g en cies.       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Srin iv as Dib b u r   B y r ap p a                               Ku s h al  Gaje n d r a                               R o h ith   Ho len ar asip u r Pu ttar aju                               T u m ak alah alli N ag ar aj  Ma lin i                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   d ec lar n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   T h e   d a t a   t h a t   s u p p o r t   t h e   f i n d i n g s   o f   t h i s   s t u d y   a r e   a v a il a b l e   o n   r e q u e s t   f r o m   t h e   c o r r e s p o n d in g   a u t h o r .       RE F E R E NC E S   [ 1 ]   R .   L .   G a l v e z ,   A .   A .   B a n d a l a ,   E .   P .   D a d i o s ,   R .   R .   P .   V i c e r r a ,   a n d   J .   M .   Z .   M a n i n g o ,   O b j e c t   d e t e c t i o n   u s i n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k s ,   i n   T E N C O N   2 0 1 8   -   2 0 1 8   I E E E   R e g i o n   1 0   C o n f e r e n c e ,   O c t .   2 0 1 8 ,   p p .   2 0 2 3 2 0 2 7 ,   d o i :   1 0 . 1 1 0 9 / T E N C O N . 2 0 1 8 . 8 6 5 0 5 1 7 .   [ 2 ]   G .   C h a n d a n ,   A .   J a i n ,   H .   J a i n ,   a n d   M o h a n a ,   R e a l   t i m e   o b j e c t   d e t e c t i o n   a n d   t r a c k i n g   u si n g   d e e p   l e a r n i n g   a n d   O p e n C V ,   i n   2 0 1 8   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n v e n t i v e   Re s e a r c h   i n   C o m p u t i n g   A p p l i c a t i o n ( I C I R C A) ,   Ju l .   2 0 1 8 ,   p p .   1 3 0 5 1 3 0 8 ,   doi 1 0 . 1 1 0 9 / I C I R C A . 2 0 1 8 . 8 5 9 7 2 6 6 .   [ 3 ]   A .   K ö r e z   a n d   N .   B a r ı ş ç ı ,   O b j e c t   d e t e c t i o n   w i t h   l o w   c a p a c i t y   G P U   s y s t e ms  u s i n g   i m p r o v e d   F a st e r   R - C N N ,   Ap p l i e d   S c i e n c e s v o l .   1 0 ,   n o .   1 ,   p .   8 3 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 0 0 1 0 0 8 3 .   [ 4 ]   H .   D e sh p a n d e ,   A .   S i n g h ,   a n d   H .   H e r u n d e ,   C o m p a r a t i v e   a n a l y s i o n   Y O LO   o b j e c t   d e t e c t i o n   w i t h   O p e n C V ,   I n t e r n a t i o n a l   j o u r n a l   o f   rese a r c h   i n   i n d u st r i a l   e n g i n e e ri n g ,   v o l .   9 ,   n o .   1 ,   p p .   4 6 6 4 ,   2 0 2 0 .   [ 5 ]   H .   G o n g   e t   a l . ,   S w i n - t r a n sf o r mer - e n a b l e d   Y O LO v 5   w i t h   a t t e n t i o n   me c h a n i sm   f o r   sma l l   o b j e c t   d e t e c t i o n   o n   sat e l l i t e   i ma g e s,   Re m o t e   S e n s i n g ,   v o l .   1 4 ,   n o .   1 2 ,   p .   2 8 6 1 ,   J u n .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / r s1 4 1 2 2 8 6 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       I n teg r a ted   d ee p   lea r n in g   a p p r o a ch   fo r   r ea l - time  o b ject  d etec tio n   a n d     ( S r in iva s   Dib b u r   B yra p p a )   871   [ 6 ]   M .   A .   S h e h a b ,   A .   A l - G i z i ,   a n d   S .   M .   S w a d i ,   Ef f i c i e n t   r e a l - t i me   o b j e c t   d e t e c t i o n   b a s e d   o n   c o n v o l u t i o n a l   n e u r a l   n e t w o r k ,   i n     2 0 2 1   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ap p l i e d   a n d   T h e o ret i c a l   El e c t r i c i t y   ( I C ATE) ,   M a y   2 0 2 1 ,   p p .   1 5 ,   d o i 1 0 . 1 1 0 9 / I C A TE4 9 6 8 5 . 2 0 2 1 . 9 4 6 5 0 1 5 .   [ 7 ]   H .   M o u j a h i d   e t   a l . ,   C o m b i n i n g   C N N   a n d   G r a d - C A M   f o r   C O V I D - 1 9   d i sea se   p r e d i c t i o n   a n d   v i s u a l   e x p l a n a t i o n ,   I n t e l l i g e n t   Au t o m a t i o n   &   S o f t   C o m p u t i n g ,   v o l .   3 2 ,   n o .   2 ,   p p .   7 2 3 7 4 5 ,   2 0 2 2 ,   d o i :   1 0 . 3 2 6 0 4 / i a sc . 2 0 2 2 . 0 2 2 1 7 9 .   [ 8 ]   E.   S u h e r ma n ,   B .   R a h ma n ,   D .   H i n d a r t o ,   a n d   H .   S a n t o so ,   I mp l e m e n t a t i o n   o f   R e sN e t - 5 0   o n   e n d - to - e n d   o b j e c t   d e t e c t i o n   ( D E TR )   o n   o b j e c t s,   S i n k rO n ,   v o l .   7 ,   n o .   2 ,   p p .   1 0 8 5 1 0 9 6 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 3 9 5 / s i n k r o n . v 8 i 2 . 1 2 3 7 8 .   [ 9 ]   C. - L.   L i n ,   Y . - L.   C h e n ,   a n d   Y . - C .   L i n ,   S m a l l   o b j e c t s   d e t e c t i o n   u s i n g   t r a n sf o r m e r - C N N ,   S S R N   El e c t ro n i c   J o u rn a l ,   2 0 2 2 ,   d o i :   1 0 . 2 1 3 9 / ssr n . 4 2 3 2 8 5 0 .   [ 1 0 ]   H .   Y a n a g i sawa ,   T.   Y a m a sh i t a ,   a n d   H .   W a t a n a b e ,   A   st u d y   o n   o b j e c t   d e t e c t i o n   m e t h o d   f r o m   m a n g a   i ma g e s   u si n g   C N N ,   i n   2 0 1 8   I n t e r n a t i o n a l   W o rks h o p   o n   A d v a n c e d   I m a g e   T e c h n o l o g y   ( I WA I T ) ,   Ja n .   2 0 1 8 ,   p p .   1 4 ,   d o i :   1 0 . 1 1 0 9 / I W A I T. 2 0 1 8 . 8 3 6 9 6 3 3 .   [ 1 1 ]   S .   A .   N   a n d   S .   M .   N ,   C l a ss i f i c a t i o n   a n d   o b j e c t   d e t e c t i o n   o n   sa t e l l i t e   i mag e u s i n g   c u st o m   C N N   a r c h i t e c t u r e ,   I n t e r n a t i o n a l   J o u rn a l   o f   I n n o v a t i v e   Re s e a r c h   i n   C o m p u t e r   a n d   C o m m u n i c a t i o n   E n g i n e e r i n g ,   v o l .   1 2 ,   n o .   0 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 5 6 8 0 / i j i r se t . 2 0 2 3 . 1 2 0 7 1 9 0 .   [ 1 2 ]   E.   G ü n e y   a n d   C .   B a y i l mi s ,   A n   i m p l e me n t a t i o n   o f   t r a f f i c   si g n a n d   r o a d   o b j e c t d e t e c t i o n   u si n g   f a s t e r   R - C N N ,   S a k a ry a   U n i v e rsi t y   J o u r n a l   o f   C o m p u t e r   a n d   I n f o rm a t i o n   S c i e n c e s ,   v o l .   5 ,   n o .   2 ,   p p .   2 1 6 2 2 4 ,   2 0 2 2 .   [ 1 3 ]   P .   D so u z a ,   D e t e c t i o n   o f   sma l l   o b j e c t u s i n g   C N N ,   I n t e rn a t i o n a l   R e se a rc h   J o u r n a l   o f   Mo d e rn i za t i o n   i n   E n g i n e e ri n g   T e c h n o l o g y   a n d   S c i e n c e ,   v o l .   5 ,   n o .   5 ,   p .   6 8 1 8 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 5 6 7 2 6 / I R JM ETS 4 0 3 4 3 .   [ 1 4 ]   S .   V a t c h a l a ,   S .   S a si d e v i ,   D h a n a l a k s h mi   R ,   a n d   S a i R a m e sh   L ,   S mart   h o u s e h o l d   o b j e c t   d e t e c t i o n   u s i n g   C N N ,   A d v a n c e i n   Pa r a l l e l   C o m p u t i n g   A l g o ri t h m s,  T o o l s a n d   P a ra d i g m s ,   v o l .   4 1 ,   p .   4 6 4 ,   2 0 2 2 ,   d o i :   1 0 . 3 2 3 3 / A P C 2 2 0 0 6 5 .   [ 1 5 ]   F .   M .   T .   R .   K i n a si h ,   C .   M a c h b u b ,   L.   Y u l i a n t i ,   a n d   A .   S .   R o h ma n ,   Tw o - st a g e   mu l t i p l e   o b j e c t   d e t e c t i o n   u si n g   C N N   a n d   c o r r e l a t i v e   f i l t e r   f o r   a c c u r a c y   i mp r o v e men t ,   H e l i y o n ,   v o l .   9 ,   n o .   1 ,   p .   e 1 2 7 1 6 ,   J a n .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . h e l i y o n . 2 0 2 2 . e 1 2 7 1 6 .   [ 1 6 ]   S .   R e n ,   K .   H e ,   R .   G i r s h i c k ,   a n d   J .   S u n ,   F a s t e r   R - C N N :   t o w a r d s   r e a l - t i me   o b j e c t   d e t e c t i o n   w i t h   r e g i o n   p r o p o sa l   n e t w o r k s,”   I EE E   T ra n s a c t i o n o n   Pa t t e rn   A n a l y s i s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   3 9 ,   n o .   6 ,   p p .   1 1 3 7 1 1 4 9 ,   J u n .   2 0 1 7 ,   d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 6 . 2 5 7 7 0 3 1 .   [ 1 7 ]   K .   T o n g   a n d   Y .   W u ,   R e t h i n k i n g   P A S C A L - V O C   a n d   M S - C O C O   d a t a set   f o r   s mal l   o b j e c t   d e t e c t i o n ,   J o u rn a l   o f   Vi s u a l   C o m m u n i c a t i o n   a n d   I m a g e   Re p res e n t a t i o n ,   v o l .   9 3 ,   p .   1 0 3 8 3 0 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j v c i r . 2 0 2 3 . 1 0 3 8 3 0 .   [ 1 8 ]   J.  S u i ,   L.   Y a n g ,   Y .   W a n g ,   a n d   Z .   H u a ,   A n   o b j e c t   c o l o r   r e c o g n i t i o n   a l g o r i t h b a s e d   o n   st u d y - e x p a n si o n   m e t h o d ,   i n   2 0 0 9   9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E l e c t r o n i c   Me a su reme n t   & I n st r u m e n t s ,   A u g .   2 0 0 9 ,   p p .   4 205 ,   d o i :   1 0 . 1 1 0 9 / I C EM I . 2 0 0 9 . 5 2 7 4 1 0 6 .   [ 1 9 ]   R .   P .   S i d i k   a n d   E.   C o n t e ssa   D j a ma l ,   F a c e   mas k   d e t e c t i o n   u si n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k ,   i n   2 0 2 1   4 t h   I n t e r n a t i o n a l   C o n f e re n c e   o f   C o m p u t e a n d   I n f o rm a t i c s   E n g i n e e r i n g   ( I C 2 I E) ,   S e p .   2 0 2 1 ,   p p .   8 5 89 ,   d o i :   1 0 . 1 1 0 9 / I C 2 I E5 3 2 1 9 . 2 0 2 1 . 9 6 4 9 0 6 5 .   [ 2 0 ]   Y u h a n d r i ,   M u s l i   Y a n t o ,   a n d   Ek a   N a u f a l d i   N o v r i ,   A p p l i c a t i o n   o f   o b j e c t   mask   d e t e c t i o n   u si n g   t h e   c o n v o l u t i o n   n e u r a l   n e t w o r k   ( C N N ) ,   J u rn a l   RE S T I   ( Re k a y a s a   S i s t e m   d a n   T e k n o l o g i   I n f o rm a s i ) ,   v o l .   7 ,   n o .   4 ,   p p .   9 2 2 9 2 9 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 2 9 2 0 7 / r e st i . v 7 i 4 . 5 0 5 9 .   [ 2 1 ]   Y .   F a n g ,   S .   Y a n g ,   S .   W a n g ,   Y .   G e ,   Y .   S h a n ,   a n d   X .   W a n g ,   U n l e a sh i n g   v a n i l l a   v i s i o n   t r a n sf o r mer  w i t h   m a s k e d   i ma g e   mo d e l i n g   f o r   o b j e c t   d e t e c t i o n ,   i n   2 0 2 3   I E EE/ C VF  I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t e V i si o n   ( I C C V) ,   O c t .   2 0 2 3 ,   p p .   6 2 2 1 6 2 3 0 ,   d o i 1 0 . 1 1 0 9 / I C C V 5 1 0 7 0 . 2 0 2 3 . 0 0 5 7 4 .   [ 2 2 ]   M .   M i n d e r e r   e t   a l . ,   S i m p l e   o p e n - v o c a b u l a r y   o b j e c t   d e t e c t i o n ,   i n   E u r o p e a n   c o n f e re n c e   o n   c o m p u t e r v i si o n ,   2 0 2 2 ,   p p .   7 2 8 7 5 5 .   [ 2 3 ]   C. - H .   Y e h   e t   a l . ,   L i g h t w e i g h t   d e e p   n e u r a l   n e t w o r k   f o r   j o i n t   l e a r n i n g   o f   u n d e r w a t e r   o b j e c t   d e t e c t i o n   a n d   c o l o r   c o n v e r s i o n ,   I EEE   T ra n s a c t i o n o n   N e u ra l   N e t w o rk a n d   L e a r n i n g   S y s t e m s ,   v o l .   3 3 ,   n o .   1 1 ,   p p .   6 1 2 9 6 1 4 3 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / TN N LS. 2 0 2 1 . 3 0 7 2 4 1 4 .   [ 2 4 ]   K .   S .   A a r a t h i   a n d   A .   A b r a h a m ,   V e h i c l e   c o l o r   r e c o g n i t i o n   u s i n g   d e e p   l e a r n i n g   f o r   h a z y   i ma g e s ,   i n   2 0 1 7   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n v e n t i v e   C o m m u n i c a t i o n   a n d   C o m p u t a t i o n a l   T e c h n o l o g i e s   ( I C I C C T ) ,   M a r .   2 0 1 7 ,   p p .   3 3 5 3 3 9 ,   d o i 1 0 . 1 1 0 9 / I C I C C T. 2 0 1 7 . 7 9 7 5 2 1 5 .   [ 2 5 ]   P .   R a g u r a ma n ,   A .   M e g h a n a ,   Y .   N a v y a ,   S .   K a r i sh ma,   a n d   S .   I sw a r y a ,   C o l o r   d e t e c t i o n   o f   R G B   i ma g e u si n g   P y t h o n   a n d   O p e n C v ,   I n t e rn a t i o n a l   J o u r n a l   o f   S c i e n t i f i c   Re s e a r c h   i n   C o m p u t e S c i e n c e ,   E n g i n e e r i n g   a n d   I n f o rm a t i o n   T e c h n o l o g y   p p .   1 0 9 1 1 2 ,   2 0 2 1 ,   d o i :   1 0 . 3 2 6 2 8 / C S EI T2 1 7 1 1 9 .   [ 2 6 ]   S .   C .   G u p t a ,   N .   R .   S i n g h ,   T .   S h a r m a ,   A .   T y a g i ,   a n d   R .   M a j u m d a r ,   G e n e r a t i n g   i ma g e   c a p t i o n s   u s i n g   d e e p   l e a r n i n g   a n d   n a t u r a l   l a n g u a g e   p r o c e s si n g ,   i n   2 0 2 1   9 t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   Re l i a b i l i t y ,   I n f o c o m   T e c h n o l o g i e a n d   O p t i m i z a t i o n   ( T re n d a n d   Fu t u r e   D i r e c t i o n s)   ( I C RI T O ) ,   S e p .   2 0 2 1 ,   p p .   1 4 ,   d o i :   1 0 . 1 1 0 9 / I C R I TO 5 1 3 9 3 . 2 0 2 1 . 9 5 9 6 4 8 6 .   [ 2 7 ]   K .   G a j e n d r a   a n d   S .   D .   B y r a p p a ,   R e c e n t   a d v a n c e me n t s   a n d   c h a l l e n g e s   i n   o b j e c t   d e t e c t i o n   a n d   c o l o r   i d e n t i f i c a t i o n :   a   s u r v e y ,   H i g h   T e c h n o l o g y   L e t t e rs ,   v o l .   3 0 ,   n o .   5 ,   2 0 2 4 .   A c c e s sed :   M a y   1 7 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / d r i v e . g o o g l e . c o m / f i l e / d / 1 N 8 O i _ x k y M mn n k _ e W f w 5 e 0 - y Y s B s v a 0 R 7 / v i e w   [ 2 8 ]   J.  v a n   d e   W e i j e r ,   C .   S c h mi d ,   J .   V e r b e e k ,   a n d   D .   L a r l u s,  Le a r n i n g   c o l o r   n a mes  f o r   r e a l - w o r l d   a p p l i c a t i o n s,   I E EE  T ra n s a c t i o n s   o n   I m a g e   Pro c e ss i n g ,   v o l .   1 8 ,   n o .   7 ,   p p .   1 5 1 2 1 5 2 3 ,   J u l .   2 0 0 9 ,   d o i :   1 0 . 1 1 0 9 / TI P . 2 0 0 9 . 2 0 1 9 8 0 9 .   [ 2 9 ]   J.  v a n   d e   W e i j e r ,   C .   S c h m i d ,   a n d   J.   V e r b e e k ,   Le a r n i n g   c o l o r   n a mes   f r o m   r e a l - w o r l d   i m a g e s,   i n   2 0 0 7   I EE C o n f e re n c e   o n   C o m p u t e r   Vi s i o n   a n d   P a t t e r n   Re c o g n i t i o n ,   J u n .   2 0 0 7 ,   p p .   1 8 ,   d o i :   1 0 . 1 1 0 9 / C V P R . 2 0 0 7 . 3 8 3 2 1 8 .       B I O G RAP H I E S O F   AUTH O RS       S r in iv a Dib b u r   B y r a p p a           re c e iv e d   h is  P h . D .   d e g re e   in   c o m p u ter  a n d   in fo rm a ti o n   sc ien c e fro m   Visv e sv a ra y a   Tec h n o lo g ica Un i v e rsity ,   In d ia,  in   2 0 1 9 .   He   i s   c u rre n tl y   a   p ro fe ss o r   in   th e   De p a rtme n o I n fo rm a ti o n   S c ien c e   a n d   E n g i n e e rin g   a Nitt e   M e e n a k sh In stit u te  o Tec h n o lo g y ,   Ba n g a lo re ,   I n d ia.  His   re se a rc h   in tere sts  a re   in   p a ra ll e l   c o m p u ti n g ,   c lo u d   c o m p u ti n g ,   g rid /clu ste c o m p u ti n g ,   a n d   c o m p u ter  v isio n .   He   c a n   b e   c o n tac ted   a e m a il srin i v a s.d b @n m it . a c . in .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   1 6 ,   No .   2 Ap r il   20 2 6 :   8 6 3 - 872   872     K u sha G a je n d r a           p u rs u in g   M . Tec h .   in   d a ta  sc ien c e   a Nitt e   M e e n a k sh In stit u te   o Tec h n o l o g y ,   Ba n g a lo re ,   In d ia  a n d   c o m p lete d   h is  Ba c h e lo r   o f   E n g i n e e rin g   in   e lec tro n ic   a n d   c o m m u n ica ti o n   fro m   Visv e s v a ra y a   Tec h n o lo g ica Un i v e rsity   in   2 0 2 2 .   His  re se a rc h   in tere st   in c lu d e re a l - ti m e   o b jec d e tec ti o n   a n d   e x p lai n a b le  AI  m o d e ls.  He   c a n   b e   c o n tac ted   a e m a il :   k u sh a l k o ws h @ g m a il . c o m .         Ro h ith   H o lena r a si p u r a   Pu tta r a ju           c o m p lete d   m y   M . Tec h .   (CS E)  fro m   M . S .   Ra m a iah   In stit u te  o Tec h n o lo g y ,   c u rre n tl y   wo r k in g   a a n   a ss istan p ro fe ss o i n   th e   De p a rtme n o I n fo rm a ti o n   S c ien c e   a n d   En g in e e rin g He   is   p u r su in g   m y   P h . D .   i n   n a tu ra l   lan g u a g e   p ro c e ss in g   fr o m   VTU.  His   a re a o in tere st  a re   a rti f icia in telli g e n c e ,   m a c h in e   lea rn in g   a n d   c o m p u ter  n e two r k in g .   He   c a n   b e   c o n tac ted   a e m a il r o h it . h p @n m it . a c . i n .         Tu m a k a l a h a ll i   Na g a r a j   Ma l in i           is  c u r re n tl y   wo r k i n g   a a   p r o fe ss o a th e   De p a rtme n o f   M a n a g e m e n S tu d ies ,   Nitt e   M e e n a k sh i   In st it u te   o Tec h n o l o g y ,   Ba n g a l o re ,   h o l d in g   1 9   y e a rs  o tea c h i n g   a n d   re se a rc h   e x p e rie n c e   in   o rg a n iza ti o n a l   b e h a v io r ,   h u m a n   re so u rc e   m a n a g e m e n t,   su p p ly   c h a in   a n d   lo g isti c m a n a g e m e n t,   ima g e   p r o c e ss in g   a n d   c o m p u ter v isio n S h e   c a n   b e   c o n t a c ted   a e m a il m a li n i. tn @ n m it . a c . in .     Evaluation Warning : The document was created with Spire.PDF for Python.