T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   1 Feb r u ar y   20 26 ,   p p .   1 26 ~1 41   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 1 . 27 448          126     J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Perf o r m a nce  enh a nce m e nt  o f  e m b edded obj ect  det e ction v ia   neura l hardw a re accelera tion       Alw in H a rt o no   L i m a ra n,  Ag un g   Wica k s o no ,   P a t a h H er wa nto   D e p a r t me n t   o f   I n f o r mat i c En g i n e e r i n g ,   F a c u l t y   o f   I n f o r mat i o n   T e c h n o l o g y ,   S T M I K   I n d o n e si a   M a n d i r i ,   B a n d u n g ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   4 2025   R ev i s ed   Oct   24   2 0 2 5   A cc ep ted   Dec   8 2 0 2 5       T h is  p a p e p re se n ts  th e   f irst  b e n c h m a r k in g   o f   y o u   o n ly   lo o k   o n c e   v e rsio n   1 1   (YO L O1 1 o n   t h e   Ro c k c h i p   RK3 5 6 6   n e u ra p r o c e ss in g   u n it   (N P U)  w it h in   th e   Ora n g e   P 3 p latf o rm .   P e rf o rm a n c e   wa c o m p a re d   b e tw e e n   th e   q u a d - c o re   A RM   Co rtex - A 5 5   CP a n d   th e   in teg ra ted   NP u sin g   th e   COCO 2 0 1 7   d a tas e t,   e v a lu a ti n g   late n c y ,   e n e rg y ,   a n d   a c c u ra c y .   NP a c c e lera ti o n   a c h ie v e d   > 8 0 %   late n c y   re d u c ti o n   a n d   ≈  9 4 %   lo w e p e r - i n f e re n c e   e n e r g y   c o n su m p ti o n ,   w it h   sp e e d u p   o f   u p   to   1 6 . 7 ×   w h il e   m a i n tain i n g   a c c u ra c y   w it h in   0 . 0 3   m e a n   a v e ra g e   p re c isio n   ( m A P )   o f   th e   b a se li n e .   Av e ra g e   p o we re m a in e d   n e a rl y   c o n sta n t   (3 . 6 0   W   c e n tral  p ro c e ss in g   u n it   ( CP U )   v s.  3 . 5 9   W   N P U),   in d ica ti n g   th a t   t h e   e ff ici e n c y   g a in ste m   f ro m   re d u c e d   i n f e re n c e   ti m e   ra th e th a n   lo w e w a tt a g e .   L i m it a ti o n in c lu d e d   u n sta b le  INT 8   q u a n ti z a ti o n   d u e   t o   u n su p p o r ted   o p e ra to rs  a n d   c a li b ra ti o n - ra n g e   m is m a t c h ,   a w e ll   a m in o C P U - sid e   o v e rh e a d   in   p re p ro c e ss in g   a n d   n o n - m a x i m u m   su p p re ss io n .   T h e   f in d in g c o n f irm   th a th e   RK3 5 6 6   N P d e li v e rs  su b sta n ti a e ff icie n c y   g a in w it h o u a c c u ra c y   lo ss ,   e n a b li n g   c o m p a c a n d   l o w - c o st  p l a tf o r m to   su sta in   m o d e rn   o b jec t - d e tec ti o n   w o rk lo a d s.  T h is  d e m o n stra tes   th a a ff o rd a b le  NP Us   c a n   p ro v id e   re li a b le,  re a l - ti m e   a rti f icia in telli g e n c e   ( AI )   in f e re n c e   f o e m b e d d e d   v isio n ,   i n tern e o f   th in g s ( Io T ) ,   a n d   r o b o ti c s   a p p li c a ti o n s.   K ey w o r d s :   E n er g y   e f f icie n c y   L o w - laten c y   i m a g in f er en ce   Or an g P i 3 B   R K3 5 6 6   NP U   YOL O1 1   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r   th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   A l w in   Har to n o   L i m ar an   Dep ar t m en t o f   I n f o r m atic s   E n g in ee r i n g ,   Facu lt y   o f   I n f o r m at io n   T ec h n o lo g y   ST MI I n d o n esia M an d ir i   B elitu n g   Stre et  No .   7 ,   Me r d ek a,   Su m u r   B an d u n g ,   B an d u n g ,   W est J av a,   I n d o n esia   E m ail:  al w i n . h ar to n o @ p r o to n m ail. co m       1.   I NT RO D UCT I O N   Ob j ec t d etec tio n   h as b ec o m a   ce n tr al  co m p o n en t o f   m o d er n   co m p u ter   v is io n ,   p o w er i n g   ap p licatio n s   in   s u r v eil lan ce ,   r o b o tics ,   au t o n o m o u s   v e h icles,  a n d   th e   i n ter n et  o f   th i n g s   ( I o T )   [ 1 ] .   Am o n g   t h av ailab le   ap p r o ac h es,  th y o u   o n l y   lo o k   o n ce   ( YO L O)   alg o r it h m   [ 2 ]   is   w id el y   u s ed   b ec au s it  b ala n ce s   ac c u r ac y   w i t h   co m p u tatio n al  ef f icie n c y .   U n lik r eg io n   p r o p o s a l - b ased   m et h o d s   th at  o p er ate  in   m u l tip le  s tag es,  YO L O   p r o ce s s es  an   en t ir i m ag e   in   s i n g le   p ass   [ 3 ] ,   [ 4 ] ,   s i m u lta n eo u s l y   p r ed ictin g   b o u n d i n g   b o x es,  co n f id en ce   s co r es,  an d   class   lab els.  T h is   d esig n   en ab le s   lo w - la ten c y   i n f e r en ce ,   ev en   o n   r eso u r ce - li m ite d   p latf o r m s .   YOL O1 1   e x ten d s   th is   li n o f   d ev elo p m en t   w it h   s e v er al  i m p r o v e m e n ts .   I i n tr o d u ce s   f as ter   in f er en c e   o p tim ized   f o r   lo w - p o w er   d ev i ce s ,   in teg r ate s   g lo b al  s ce n a w ar en ess   f o r   m o r p r ec is b o u n d in g   b o x   p r ed ictio n s   [ 5 ] ,   [ 6 ] ,   an d   o f f er s   b u ilt - i n   s u p p o r f o r   em b ed d ed   ac ce ler atio n   o n   n e u r al  p r o ce s s in g   u n its   ( NP Us)  [ 7 ] ,   [ 8 ] .   T h ese   f ea t u r es  p o s iti o n   YO L O1 1   as   s tr o n g   ca n d id ate  f o r   d ep lo y m e n in   ed g e n v ir o n m e n ts   w h er late n c y   a n d   en er g y   e f f icien c y   ar cr itica l.  T h p r esen s t u d y   r estricte d   its   s co p to   lo w - late n c y ,   p er - i m ag e   in f er e n ce   o n   s tatic  i m a g es  a n d   is o lated   co m p u te - b ac k en d   e f f ec ts   ( ce n tr al  p r o ce s s in g   u n it  ( C P U )   v s .   R K 3 5 6 6   N P U)   o n   p er - i m a g laten c y   a n d   en er g y   at  m atch ed   ac cu r ac y s e q u e n tial o r   te m p o r al  p r o ce s s in g   w a s   ex cl u d ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           P erfo r ma n ce   en h a n ce men t o emb ed d ed   o b ject  d etec tio n   via   n eu r a l h a r d w a r ..  ( A lw in   Ha r t o n o   Lima r a n )   127   P r ev io u s   s t u d ies  h a v s u r v e y e d   YOL v er s io n s   an d   d e m o n s tr ated   th p o ten tial  o f   ea r lier   m o d el s   o n   af f o r d ab le  p latf o r m s   s u c h   a s   t h R asp b er r y   P [ 9 ] ,   [ 1 0 ]   an d   NVI DI A   J etso n   Nan o   [ 1 1 ] .   A li   an d   Z h a n g   [ 1 2 ]   p r o v id ed   a   co m p ar ativ r ev ie w   o f   YO L v er s io n s   1   th r o u g h   1 1 ,   w h er ea s   Z ag i to v   et  a l.   [ 1 3 ]   be n ch m ar k ed   YOL O v 5 v 8   o n   e m b ed d ed   b o ar d s ,   s h o w i n g   th i m p o r tan c o f   h ar d w ar ac ce ler atio n   a n d   q u an t izatio n   f o r   s u s tai n in g   i n f er e n ce   p er f o r m an ce .   Ho w e v er ,   to   th b est  o f   o u r   k n o w led g e,   YO L O1 1   h as  n o y et  b ee n   s y s te m a ticall y   e v al u ated   o n   th R o ck ch ip   R K3 5 6 6   NP w i t h in   co s t - e f f ec t iv s i n g le - b o ar d   co m p u ter   s u ch   as   th Or an g P i 3 B .   T h i s   i s   th e   f i r s t   s tu d y   t o   b e n ch m a r k   Y OL O 1 1   o n   t h e   O r an g e   Pi   3 B   ( R K 3 5 6 6   N PU )   a n d   t o   c o m p a r e   C PU - b a s e d   an d   N PU - b a s e d   e x e cu t io n s   u n d e r   r e p r es en t a tiv e   r e a l - w o r l d   s c en a r i o s .   W e   ev al u a t e d   e n d - to - en d   l at en cy ,   i n cl u d i n g   p r e p r o c e s s in g ,   in f e r e n c e ,   an d   p o s t p r o c es s i n g ,   a l o n g   w it h   p e r - in f e r e n c e   en e r g y   an d   m o d e l   a cc u r a cy .   N PU   a c c e l e r at i o n   r e d u c e d   in f er e n c e   l a t en cy   b y   8 2 9 4 %   a n d   p e r - in f e r en c e   en e r g y   b y   8 0 9 4 % ,   w h i le   a c cu r a cy   r em ai n e d   w i th in   0 . 0 2 6 0 . 0 3 0   m e an   av e r ag e   p r e c is i o n   ( m A P )   o f   t h e   Ul t r a ly ti cs   b a s e lin e   [ 1 4 ] .   T h e s e   f in d i n g s   c o n f i r m   th a t   c o m p a c t ,   af f o r d ab l e   p l a t f o r m s   c an   s u s t a in   m o d e r n   o b je c t   d e t e c t i o n   w o r k l o a d s   w it h o u t   s u b s t an t i a a c c u r ac y   l o s s ,   s u p p o r t in g   c o s t - e f f e ct iv e   d e p l o y m en t   in   s u r v e i ll a n ce ,   r o b o t i c s ,   a n d   I o T   a p p l i ca t i o n s   [ 1 5 ]       2.   MET H O D   YOL O1 1   i n co r p o r ates  s ev er al   n e w   m o d u le s ,   in c lu d i n g   cr o s s   s tag e   p ar tial   w it h   k er n el  s ize  2   ( C 3 K2 ) ,   s p atial  p y r a m id   p o o lin g - f ast  ( SP P F)  [ 1 6 ] ,   [ 1 7 ] ,   an d   th co n v o l u tio n al  b lo c k   w it h   p ar al lel  s p atial  atte n tio n   ( C 2 P SA ) .   T h ese  co m p o n e n ts   s tr ea m li n co m p u tatio n   an d   ac ce ler ate  d etec tio n   w it h o u t   r eq u ir in g   h i g h - e n d   p r o ce s s o r s .   B u ild in g   o n   th e s im p r o v e m e n t s ,   th p r esen s t u d y   e x a m i n es  YO L O1 1 s   p er f o r m an ce   w h e n   p air ed   w it h   a n   Or an g P 3 B   Fig u r 1   an d   th R o ck c h ip   R K3 5 6 6   NP U,   w i th   p ar ticu lar   e m p h as is   o n   s p ee d   an d   en er g y   co n s u m p tio n .   T h s tu d y   also   in tr o d u ce s   d ed icate d   YOL O 1 1   p o r f o r   th R K3 5 6 6   p latf o r m ,   d e m o n s tr ati n g   th at  co m p ac t,  a f f o r d ab le  h ar d w ar ca n   s til d eliv er   p r ac tical ,   lo w - late n c y   i m a g i n f er e n ce   p er f o r m a n ce   at  t h ed g e.           Fig u r 1 .   Or an g P i 3 B   w ith   R o ck ch ip   NP R K3 5 6 6       As  s h o w n   i n   Fi g u r 2 ,   th ese  n e w   m o d u les  w er in te g r ated   in to   th YO L O1 1   p ip elin to   r ef in f ea tu r e   ex tr ac tio n ,   i m p r o v s e n s iti v it y   ac r o s s   o b j ec t   s ca les,  an d   en h an ce   s p atial  atte n tio n .   T h C 3 K2   b lo ck   r e p lace h ea v ier   la y er s   w it h   l ig h t w ei g h 3 ×3   co n v o lu t io n s ,   en ab li n g   th m o d el  to   m ai n tai n   d etec t io n   ac cu r ac y   w h il e   r ed u cin g   co m p u ta tio n al  lo ad   an d   ac ce ler atin g   th o v er al l p r o ce s s .   T h e   SP P m o d u le  s tr ea m li n e s   t h p o o lin g   s ta g to   ca p t u r e   in f o r m atio n   f r o m   m u ltip le  s c ales  m o r e   ef f icien tl y ,   t h er eb y   i m p r o v i n g   th d etec tio n   o f   b o th   s m all   an d   lar g o b j ec ts .   I n   p ar allel ,   th C 2 P SA   b lo c k   ap p lies   d u al  s p atial  a tten tio n   p ath s   th at   h i g h li g h th m o s t   in f o r m ati v r eg io n s ,   e n ab li n g   th n et w o r k   to   r e f i n e   o b j ec t b o u n d ar ies an d   i m p r o v lo ca lizatio n   ac cu r ac y .   I n   ad d itio n   to   th ese  m o d u le s ,   YOL O1 1   u p d ates it s   b ac k b o n w it h   li g h ter   b lo ck s ,   s u ch   a s   C 3 K2   an d   a   cr o s s - s tag p ar tial  b lo ck   w i th   a   3 ×3   k er n el  ( C 3 K) .   C o m p ar ed   w it h   t h ea r lier   co ar s e - to - f in ( C 2 F)  d esig n ,   t h es e   s tr u ct u r es  r ed u ce   r ed u n d a n o p er atio n s   w h ile  p r eser v in g   f ea tu r r ich n ess ,   g iv in g   t h n et wo r k   lean er   p ath   f o r   tr ain i n g   a n d   in f er e n ce .   T o   em p h asize  t h i s   r ef i n e m en t,  Fi g u r 3   d ir ec tly   co m p ar e s   t h C 2 b l o ck   w ith   th n e w er   C 3 K2 /C 3 s tr u ctu r e s ,   illu s tr at in g   h o w   ef f icie n c y   is   i m p r o v e d   w it h o u t sacr i f ici n g   r ep r esen t atio n al  p o w er .   An   NP is   s p ec ialized   ac ce l er ato r   f o r   d ee p - lear n i n g   w o r k l o ad s   [ 1 8 ] - [ 2 0 ] ,   d esig n ed   to   p er f o r m   lar g e   m atr i x   o p er atio n s   m o r e f f icie n tl y   t h an   C P Us  o r   g r ap h ic s   p r o ce s s in g   u n its   ( GP Us).   I ts   e f f i cien c y   d er iv es f r o m   p ar allel  d ataf lo w   ar ch itectu r e s ,   o n - c h ip   m e m o r y ,   an d   lo w - p o w er   cir cu itr y ,   m ak in g   it  s u itab le  f o r   en er g y - co n s tr ain ed   ed g d ev ices s u c h   as s m ar tp h o n es a n d   s i n g le - b o ar d   co m p u ter s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   1 Feb r u ar y   20 26 1 26 - 1 41   128       Fig u r 2 .   YOL O1 1   a r ch itect u r e           Fig u r 3 .   C o m p ar is o n   o f   C 2 an d   C 3 K2   b lo ck s       T h is   s tu d y   e v alu a ted   YOL O1 1   p er f o r m a n ce   o n   th Or an g P 3 B   b y   co m p ar in g   C P p r o ce s s in g   w it h   NP ac ce ler atio n   f r o m   th R K3 5 6 6   ch ip .   T h an aly s is   co n s i d er ed   th r ee   s tag es  o f   d etec ti o n .   I n   p r ep r o ce s s in g ,   r a w   i m a g es  w er r es ized ,   n o r m alize d ,   an d   r e f o r m atted   to   m ee in p u r eq u ir e m e n t s .   I n f er en ce   th e n   ex ec u ted   t h e   tr ain ed   YO L O1 1   n et w o r k ,   s c an n ed   ea c h   i m a g e,   ex tr ac ted   f ea tu r es,  an d   p r ed icted   b o u n d in g   b o x e s   w it h   clas s   lab els,  p r o ce s s   d o m i n ated   b y   lar g m atr ix   m u ltip licat io n s   co n s tit u ti n g   m o s o f   th co m p u tatio n a lo ad   [ 2 1 ] Fin all y ,   p o s tp r o ce s s i n g   ap p lie d   n o n - m a x i m u m   s u p p r ess io n   ( NM S)  to   f ilter   o v er lap s   a n d   g en er ate  f i n al  o b j ec class es a n d   co n f id en ce   s co r es.     2 . 1 .     H a rdwa re   pla t f o rm   T h Or an g P 3 B   s in g le - b o ar d   co m p u ter   is   b u ilt  o n   t h R o ck ch ip   R K3 5 6 6   s y s te m - on - c h ip   ( So C )   [ 2 2 ] ,   lo w - p o w er   AR M - b ase d   p latf o r m   d esi g n ed   f o r   e m b ed d ed   an d   ar tif icial  in telli g e n c o f   th i n g s   ( A I o T )   ap p licatio n s .   T h So C   in te g r at es  q u ad - co r AR M   C o r tex - A 5 5   C P [ 2 3 ] ,   a   Ma li - G5 2   GP U,   an d   an   R K3 5 6 6   NP o f f iciall y   r ated   at  0 . 8 1   t er o p e r atio n s   p er   s e co n d   ( T OP S)  [ 2 4 ] ,   [ 2 5 ] ,   d ep en d in g   o n   ar ith m etic  p r ec is io n .   I n   p r ac tice,   th is   co r r esp o n d s   to   ap p r o x i m atel y   0 . 8   T O P f o r   1 6 - b it  in teg er   ( I NT 1 6 )   p r ec is i o n   [ 2 6 ]   an d   1   T O P f o r   8 - b it  i n te g er   ( I NT 8 )   p r ec is io n   [ 2 7 ] .   Ho w ev er ,   s u c h   p ea k   r atin g s   ar t h eo r etica a n d   d o   n o al w a y s   r ef lec t   r ea p er f o r m an ce ,   p ar ticu lar l y   u n d er   th f lo ati n g - p o in ( FP 3 2 )   [ 2 8 ]   w o r k lo ad s   u s e d   in   th i s   s tu d y .   T h b o ar d   in cl u d es  L P DD R 4   m e m o r y   a n d   2 5 6   G B   n o n - v o latile  m e m o r y   ex p r es s   ( NVM e)   M. 2   s o lid - s tate  d r iv ( SS D)   as  p r i m ar y   s to r a g e.   T h ese  s p ec if icatio n s   o f f er   s u f f ic ien b a n d w id t h   an d   ca p ac i t y   f o r   m o d er n   o b j ec d etec tio n   m o d el s   w h i le  m ai n tai n i n g   c o m p ac d esi g n   an d   lo w   p o w e r   co n s u m p t io n ,   m a k i n g   t h p latf o r m   s u itab le  f o r   ed g ar tif icial  i n tel lig e n ce   ( AI )   ex p er i m en t s .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           P erfo r ma n ce   en h a n ce men t o emb ed d ed   o b ject  d etec tio n   via   n eu r a l h a r d w a r ..  ( A lw in   Ha r t o n o   Lima r a n )   129   2 . 2 .     So f t w a re   env iro nm e nt   A ll  e x p er i m e n ts   w er co n d u ct ed   o n   Or an g P OS  1 . 0 . 8   ( U b u n t u   J a m m y )   w it h   th L in u x   5 . 1 0 . 1 6 0 - R o ck c h ip - RK 356 X   k er n e l,  r u n n i n g   o n   6 4 - b it  AR ar ch it ec tu r e.   T h w o r k f lo w   u s ed   P y th o n   3 . 1 0 . 1 2 ,   w i th   P y T o r ch   2 . 8 . 0   an d   T o r ch Vis io n   0 . 2 3 . 0   as  th p r im ar y   d ee p - le ar n i n g   f r a m e w o r k s .   YOL O1 1   w a s   d ep lo y ed   u s in g   th Ultr al y tics   lib r ar y   [ 2 9 ]   ( v er s io n   8 . 3 . 2 0 2 ) .   T h p y co co to o ls   p ac k ag ( v er s io n   2 . 0 . 1 0 )   e n s u r ed   co m p lia n ce   w it h   th C OC ev a lu a t io n   p r o to co l.  Su p p o r tin g   lib r ar ies  in clu d ed   Nu m P y   2 . 2 . 6 ,   Sci P y   1 . 1 5 . 3 ,   P illo w   1 1 . 3 . 0 ,   an d   Op en C 4 . 1 2 . 0   f o r   p r e p r o ce s s in g   an d   n u m er ical  co m p u tatio n .   Dep lo y m e n o n   t h R K3 5 6 6   NP u s ed   R o ck c h ip s   r o ck ch ip   n e u r al  n e t w o r k   ( R KNN ) - T o o lk it  L ite2   ( v er s io n   1 . 6 . 0 ) ,   in s talled   f r o m   t h o f f icial   aa r ch 6 4   w h ee l,  s u p p o r tin g   p r etr ain ed   m o d el  i m p o r f r o m   P y T o r ch ,   T en s o r F lo w ,   an d   o p en   n e u r al   n et w o r k   ex c h a n g ( ONNX )   f o r m at.     2 . 3 .    M o del c o nv er s io n wo rkf lo w   YOL O1 1   m o d els  w er o b tain ed   as o f f icia l p r etr ain ed   w e ig h ts   f r o m   Ultr al y tics ,   tr ai n ed   o n   th C OC O   d ataset.   C o n v er s io n   u s ed   th Ultr al y tic s   ex p o r u tili t y   w it h   th co m m an d   “y o lo   ex p o r m o d el= m o d el_ n a m e. p t   f o r m at= r k n n   n a m e= r k 3 5 6 6 , ”  w h ic h   f ir s t g en er ated   an   ONN m o d el  b ef o r p r o d u cin g   th e   R KNN  f o r m a t.  T h co m m a n d   ex p o r ted   th P y T o r ch   m o d el  to   ONNX   a n d   th e n   co n v er ted   it to   R KNN  u s in g   R KNN - T o o lk it L ite2 .   T h is   in ter m ed iate  s tep   w as a u t o m a ted   w i th i n   t h Ultr al y tics   l ib r ar y ,   en ab li n g   ex ec u tio n   a s   a   s in g le  co m m a n d .   A ll  m o d el s   w er m ai n tai n ed   at  FP 3 2   p r ec is io n   w it h o u p r u n in g   o r   q u an ti za tio n   to   p r eser v b aselin e   ac cu r ac y .   Dete c tio n   o u tp u t s   w er r e f in ed   u s in g   cla s s - a g n o s tic  NM a an   I o th r es h o ld   o f   0 . 4 5 .   T h ex p er i m e n ts   w er r u n   w ith   b atch   s ize  o f   1 ,   an d   th m a x i m u m   d etec t io n s   ( m ax _ d et)   w er l i m ited   b y   th 8   GB   s y s te m   R A M.   A lt h o u g h   t h R K3 5 6 6   N P s u p p o r ts   I N T 8   an d   I N T 1 6   in f e r en ce ,   s ev er al  I NT 8   co n v er s io n   tr ials   o n   C OC Val2 0 1 7   ( 5 0 0 5 0 0 0   i m ag e s )   p r o d u ce d   in v alid   r esu lts   d u to   q u an tizat io n   n o is e.   P r u n in g   w a s   also   ex clu d ed   to   av o id   co n f o u n d i n g   ef f ec ts .   FP 3 2   p r ec is io n   w a s   th er ef o r m ai n t ai n ed   th r o u g h o u t to   en s u r th at  t h e   m ea s u r ed   C P U NP d if f er en ce s   r ef lecte d   th h ar d w ar e f f i cien c y   a lo n e.     2 . 4 .    Da t a s et   T h Mic r o s o f C OC 2 0 1 7   d ataset  w as  u s ed   to   ev alu ate  d etec tio n   ac cu r ac y .   I d ef in es   8 0   o b j ec t   ca teg o r ies  a n d   p r o v id es  1 1 8 , 2 8 7   tr ain in g   i m a g es   ( tr ain 2 0 1 7 ) ,   5 , 0 0 0   v alid atio n   i m a g es   ( v a l2 0 1 7 ) ,   an d   4 0 , 6 7 0   u n lab eled   tes t i m a g es d i v id ed   in to   test - d ev   a n d   test - ch alle n g [ 3 0 ] ,   [ 3 1 ] .   T h v alid atio n   s et   w as  u s ed   f o r   m A P   ev alu a tio n ,   co n s i s te n w it h   th Ultr al y tics   YO L O1 1   b en ch m ar k .   A cc u r ac y   w as  co m p u te d   u s in g   p y co co to o ls   an d   th C OC p r o to co at  co n f id en ce   t h r es h o ld   o f   0 . 0 0 1 .   F o r   Or an g P 3 B   in f er en ce ,   0 . 2 5   th r esh o ld   f i lter ed   lo w - co n f id en ce   p r ed ictio n s .   L aten c y   an d   e n er g y   b en c h m ar k i n g   w er co n d u cted   o n   f i v r a n d o m   I n ter n et   i m a g e s   r ep r esen tin g   d i v er s v is u al  co n d itio n s .   T h is   e n s u r ed   ac cu r a c y   ali g n ed   w it h   t h o f f icia b en ch m ar k ,   w h er ea s   h ar d w ar p er f o r m a n ce   w as a s s es s ed   i n d ep en d en tl y   o f   lar g e - s ca le  d ataset  p r o ce s s in g .     2 . 5 .     P r o ce s s ing   pip eli ne   T h w o r k f lo w   w as  m ea s u r ed   in   th r ee   s tag e s   Fi g u r 4 p r ep r o ce s s i n g   ( r esize,   n o r m aliza t io n ,   an d   ten s o r   r ef o r m atti n g ) ,   in f er en ce ,   a n d   p o s tp r o ce s s in g   ( NM S).   I n   t h e   C P b aselin e,   al s ta g es  r a n   o n   th C P U.   I n   t h NP co n f ig u r atio n ,   in f er en ce   r an   o n   th R K3 5 6 6   NP U   ( d e v ice) ,   w h er ea s   p r ep r o ce s s in g   an d   p o s tp r o ce s s in g   r an   o n   th C P ( h o s t) h o s t→ NP an d   NP U→h o s te n s o r   tr an s f er s   w er in cl u d ed   in   t h laten c y   an d   en er g y   to tals .   Stag ti m e s   w er s u m m ed   f o r   en d - t o - e n d   laten c y ,   an d   p o w er   d r a w   w a s   lo g g ed   co n tin u o u s l y   w it h   d ig ital  DC   a m m eter   to   co m p u t en er g y   p er   in f er en ce .   Static,  s in g le - i m ag i n p u t s   w er u s ed   in   th ev alu atio n s   to   is o late  th C P v s .   NP ef f ec ts   at  m atc h ed   ac cu r ac y .     2 . 6 .     E v a lua t i o m et rics   YOL O 1 1   o n   t h Or a n g e   P 3 B   w as  e v al u ated   u s in g   t h r ee   in d icato r s p r o ce s s in g   t i m e,   p o w er   co n s u m p tio n ,   an d   d etec tio n   ac cu r ac y .   P r o ce s s in g   ti m w as   o b tain ed   f r o m   m illi s ec o n d - le v el  ti m e s ta m p s   f o r   p r ep r o ce s s in g ,   i n f er e n ce ,   an d   p o s tp r o ce s s in g ,   w i th   th to tal  as  th ei r   s u m .   P o w er   co n s u m p t io n   w as  m ea s u r ed   in li n o n   th e   5   USB - C   s u p p ly   u s i n g   a   HiDa n ce   t y p e - C   p o w er   m eter   ( D C   4 . 5 5 0   V,   0 6   A   co n ti n u o u s ) .   Vo ltag an d   cu r r en w er lo g g ed   in   r ea ti m e,   an d   in s ta n ta n eo u s   p o w er   w as  ca lc u lated   as  th eir   p r o d u ct.   P er - i m a g m e a n   p o w er   w as  d er iv e d   b y   av er ag i n g   r ea d in g s   ac r o s s   ea ch   in f er en ce   in ter v al.   Dete ctio n   ac cu r ac y   w a s   r ep o r ted   as  m A P @ [ 0 . 5 :0 . 9 5 ]   u n d er   th C OC p r o to co l,  w ith   m A P   at  0 . 0 0 1   co n f id en ce   th r esh o ld   ( as  in   Ultr al y tic s   YO L O)   an d   d ep lo y m en t in f er en ce   at  0 . 2 5 .   A d d iti o n al   in d icato r s   i n cl u d e d   th r o u g h p u t   ( i m a g es  p er   s ec o n d   at  b atch   s ize  1 ) ,   en er g y   p er   im a g e   ( av er ag p o w er   ×  in f er e n ce   d u r atio n ) ,   p er f o r m a n ce   p er   w at t,  an d   C P U NP s p ee d u p   an d   en er g y - r ed u c tio n   r atio s .   T h r esu lts   ar r ep o r ted   as p er - i m a g av er a g es,  w it h   d is t r ib u tio n s   p r o v id ed   w h er r elev an t.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   1 Feb r u ar y   20 26 1 26 - 1 41   130       Fig u r 4 .   C P v s .   NP p r o ce s s i n g   p ip eli n e       2 . 7 .     E x peri m ent a l scena rio s   Fiv p r ac tical  s ce n ar io s   w er d ev elo p ed   to   ev alu ate  h o w   Y OL O1 1   ad ap ts   to   d if f er en en v ir o n m en tal   co n d itio n s   o n   t h Or an g P 3 B .   T h r ep r esen tat iv f r a m e s   s h o w n   i n   Fig u r e s   5 ( a) ( e)   ca p tu r v ar iatio n s ,   in cl u d in g   d iv er s li g h ti n g   co n d itio n s ,   m o tio n   lev e ls ,   an d   o b ject  s izes.   T h ese  s ce n ar io s   w er s p ec i f ica ll y   d esig n ed   to   p r o b e   YOL O1 1 s   p er f o r m a n ce   u n d er   v ar io u s   r ea l - w o r ld   co n d itio n s .     C las s r o o m   ( I m a g e   1 Fig u r 5 ( a)   -   q u iet  class r o o m   w it h   eig h t   s tan d in g   s u b j ec ts   u n d er   u n if o r m   li g h ti n g it   ev alu a tes t h s tab ilit y   o f   m u lti - p er s o n   d etec tio n   o n   s in g le  f r a m e.     Ur b an   s tr ee cr o s s in g   ( I m a g e   2 Fig u r 5 ( b)   -   b u s y   cr o s s w al k   w it h   p ed estrian s   an d   cy clis ts it  te s ts   d etec tio n   u n d er   cr o w d i n g   an d   o cc lu s io n .     W ar eh o u s o p er atio n s   ( I m a g e   3 Fig u r 5 ( c)   -   lo ad in g - d o ck   C C T w it h   aisl es  an d   clu t t er it  ass ess es  r o b u s tn es s   ag a in s t o cc lu s io n   a n d   v is u all y   s i m i lar   class e s .     P ar k in g   lo m o n ito r i n g   ( I m a g e   4 Fig u r 5 ( d)   -   m id - a f t er n o o n   lo w i th   v e h icle s   an d   p ed e s tr ian s s tr o n g   s h ad o w s   a n d   h i g h   co n tr ast ch a llen g th s ep ar atio n   o f   ad j ac e n t o b j ec ts .     Nig h tti m s tr ee s ce n ( I m ag e   5 Fig u r 5 ( e)   -   d i m   u r b an   s tr ee w i th   la m p s   a n d   h ea d li g h ts ;   it  p r o b es  lo w   lig h t,  g lar e,   an d   n o is ef f ec t s   o n   d etec tio n .                 ( a)   ( b )   ( c)   ( d )   ( e)     Fig u r 5 .   B en ch m ar k   i n p u t sc en es  u s ed   f o r   test i n g   YO L O1 1   p er f o r m a n ce   ac r o s s   d iv er s e n v ir o n m e n t s   ( a)   class r o o m   s etti n g ,   ( b )   u r b an   s tr ee t c r o s s i n g ,   ( c)   w ar eh o u s o p er atio n s ,   ( d )   p ar k in g   lo m o n ito r in g ,   an d     ( e)   n ig h tti m s tr ee t sce n e       T h ese  s ce n ar io s   p r o v id ed   co m p le m en tar y   b en c h m ar k s   f o r   co m p ar i n g   C P U - o n l y   a n d   NP U - a cc eler ated   in f er en ce .   T h m ea s u r e m en ts   in cl u d ed   p r ep r o ce s s in g ,   in f er en ce ,   p o s tp r o ce s s in g ,   an d   to t al  p er - i m a g ti m es.   Fiv s ce n ar io s   ca p tu r ed   r ea l - w o r ld   co n d itio n s ( i)   li g h tin g   f r o m   b r ig h o u td o o r   to   lo w - li g h n ig h tt i m e,     ( ii)  m o tio n   f r o m   s tat ic  in d o o r   to   cr o w d ed   s tr ee ts ,   an d   ( iii)  o b j ec s i ze s   an d   d en s ities ,   i n c lu d in g   p ed estrian s ,   v eh ic les,  an d   w ar e h o u s g o o d s .   So u r ce   im a g es  also   v ar ie d   in   f ile  s iz ( h u n d r ed s   o f   k ilo b y te s   to   s ev er al   m eg ab y tes)  a n d   r eso lu tio n   ( 7 2 3 0 0   D P I ) ,   en h an ci n g   in p u t d i v er s it y .     T o g eth er ,   th ese  s elec t io n s   e n s u r ed   th at  t h e v alu a tio n   r e f l ec ted   r ea lis tic,   ch alle n g in g   d ep lo y m e n w it h o u ad d itio n al  d ata s ets.  T h m eth o d o lo g y   also   o u t li n ed   th Or a n g P 3 B   h ar d w ar e,   C OC 2 0 1 7   d ataset  w it h   lo ca v alid atio n   s u b s et s ,   m o d el  co n v er s io n ,   p ar am eter   s etti n g s ,   an d   p er f o r m a n ce   m et r ics.  A cc u r ac y   an d   ef f icien c y   w er r ep o r ted   th r o u g h   m AP   s co r es,  p r o ce s s in g   ti m es,  a n d   p o w er   m ea s u r e m en t s   f o r   C P an d   NP r u n s .   W ith   t h p r o ce d u r es  estab lis h ed ,   th n ex s ec tio n   p r esen ts   t h e x p er i m e n tal  r e s u lt s   a n d   d is cu s s es   YOL O1 1   p er f o r m a n ce   u n d er   e m b ed d ed   ed g e   h ar d w ar co n s tr ain t s .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           P erfo r ma n ce   en h a n ce men t o emb ed d ed   o b ject  d etec tio n   via   n eu r a l h a r d w a r ..  ( A lw in   Ha r t o n o   Lima r a n )   131   3.   RE SU L T S AN D I SCU SS I O N   T h is   s ec tio n   co m p ar es  YO L O 1 1   o n   th C P a n d   o n   t h R K3 5 6 6   NP u n d er   m atc h ed - ac c u r ac y ,   s tat ic - i m a g co n d itio n s .   W ev al u ate  p er - i m ag late n c y d ec o m p o s ed   in to   p r ep r o ce s s in g ,   in f er en ce ,   an d   p o s tp r o ce s s in g   a n d   en e r g y ,   a n d   q u an ti f y   e f f icie n c y   a s   p er ce n tag c h a n g e.   T ab le  1   co n s o lid ates  th r es u lts   b y   j u x tap o s in g   C P T ab le  1 ( a )   an d   NP T ab le  1 ( b )   w all - clo ck   ti m es   an d   r ep o r tin g   ac ce ler atio n   as  p er ce n tag e   r ed u ctio n .       T ab le  1 .   Vis u al  co m p ar is o n   o f   YOL O1 1   d etec tio n   p er f o r m a n ce   ac r o s s   t w o   p latf o r m s   ( a)   C P U - b ased   in f er e n ce   u s i n g   P y T o r ch   M o d e l   P i c t u r e   P r e p r o c e ss  ( ms)   I n f e r e n c e   ( ms)   P o st p r o c e ss  ( ms)   T o t a l   t i me   ( ms)   D e t e c t i o n   r e su l t   Y O L O 1 1 n   I mag e   1   4 2 . 1 0   1 , 5 9 7 . 2 0   1 9 . 8 0   1 , 6 5 9 . 1 0   8   p e r so n s   Y O L O 1 1 n   I mag e   2   4 4 . 3 0   1 , 6 2 2 . 5 0   1 0 . 6 0   1 , 6 7 7 . 4 0   1 2   p e r so n s,   3   c a r s ,   a n d   3   t r a f f i c   l i g h t s   Y O L O 1 1 n   I mag e   3   2 8 . 4 0   1 , 4 2 8 . 1 0   9 . 8 0   1 , 4 6 6 . 3 0   4   p e r so n s   a n d   2   t r u c k s   Y O L O 1 1 n   I mag e   4   2 7 . 2 0   1 , 4 3 1 . 8 0   9 . 8 0   1 , 4 6 8 . 8 0   1 9   c a r s   a n d   7   t r u c k s   Y O L O 1 1 n   I mag e   5   1 8 . 4 0   1 , 6 3 5 . 2 0   1 0 . 5 0   1 , 6 6 4 . 1 0   p e r so n s   a n d   4   c a r s   Y O L O 1 1 s   I mag e   1   3 6 . 4 0   5 , 1 2 2 . 2 0   1 0 . 2 0   5 , 1 6 8 . 8 0   8   p e r so n s   Y O L O 1 1 s   I mag e   2   4 1 . 3 0   5 , 1 1 0 . 2 0   1 0 . 6 0   5 , 1 6 2 . 1 0   1 3   p e r so n s,   2   c a r s ,   2   t r a f f i c   l i g h t s ,   3   h a n d b a g s,  1   t i e ,   a n d   1   c u p   Y O L O 1 1 s   I mag e   3   2 5 . 9 0   4 , 4 8 4 . 8 0   9 . 9 0   4 , 5 2 0 . 6 0   8   p e r so n s   a n d   1   t r u c k   Y O L O 1 1 s   I mag e   4   2 5 . 0 0   4 , 4 4 5 . 0 0   1 0 . 3 0   4 , 4 8 0 . 3 0   1   p e r so n ,   3 0   c a r s ,   a n d   5   t r u c k s   Y O L O 1 1 s   I mag e   5   1 6 . 0 0   5 , 1 3 0 . 8 0   1 0 . 2 0   5 , 1 5 7 . 0 0   7   p e r so n s,  2   c a r s,  a n d   1   h a n d b a g   Y O L O 1 1 m   I mag e   1   3 6 . 2 0   1 6 , 9 5 2 . 7 0   1 0 . 6 0   1 6 , 9 9 9 . 5 0   8   p e r so n s   a n d   1   t i e   Y O L O 1 1 m   I mag e   2   4 0 . 8 0   1 6 , 8 6 8 . 2 0   1 0 . 9 0   1 6 , 9 1 9 . 9 0   1 5   p e r so n s,   3   c a r s ,   3   t r a f f i c   l i g h t s ,   a n d   5   h a n d b a g s   Y O L O 1 1 m   I mag e   3   2 5 . 0 0   1 4 , 6 2 5 . 4 0   9 . 8 0   1 4 , 6 6 0 . 2 0   5   p e r so ns   Y O L O 1 1 m   I mag e   4   2 5 . 3 0   1 4 , 7 7 1 . 4 0   1 0 . 8 0   1 4 , 8 0 7 . 5 0   1   p e r so n ,   2 6   c a r s ,   a n d   5   t r u c k s   Y O L O 1 1 m   I mag e   5   1 6 . 7 0   1 6 , 8 8 5 . 9 0   1 0 . 8 0   1 6 , 9 1 3 . 4 0   7   p e r so n s,  2   c a r s,  1   b a c k p a c k ,   a n d   1   b a se b a l l   g l o v e   Y O L O 1 1 l   I mag e   1   3 5 . 5 0   2 1 , 2 0 1 . 7 0   1 0 . 3 0   2 1 , 2 4 7 . 5 0   8   p e r so n s   a n d   1   t i e   Y O L O 1 1 l   I mag e   2   3 9 . 2 0   2 1 , 3 2 6 . 4 0   1 1 . 1 0   2 1 , 3 7 6 . 7 0   1 6   p e r so n s,   3   c a r s ,   3   t r a f f i c   l i g h t s ,   a n d   5   h a n d b a g s   Y O L O 1 1 l   I mag e   3   2 5 . 5 0   1 8 , 5 0 0 . 1 0   9 . 9 0   1 8 , 5 3 5 . 5 0   6   p e r so n s   a n d   1   b a c k p a c k   Y O L O 1 1 l   I mag e   4   2 5 . 6 0   1 8 , 4 0 6 . 1 0   1 0 . 4 0   1 8 , 4 4 2 . 1 0   1   p e r so n ,   2 5   c a r s ,   6   t r u c k s,   a n d   2   t r a f f i c   l i g h t s   Y O L O 1 1 l   I mag e   5   1 7 . 0 0   2 1 , 2 5 7 . 1 0   1 0 . 4 0   2 1 , 2 8 4 . 5 0   7   p e r so n s   a n d   2   c a r s   Y O L O 1 1 x   I mag e   1   3 5 . 8 0   4 2 , 6 7 2 . 2 0   1 0 . 3 0   4 2 , 7 1 8 . 3 0   8   p e r so n s   a n d   1   t i e   Y O L O 1 1 x   I mag e   2   3 6 . 6 0   4 2 , 7 0 1 . 1 0   1 0 . 8 0   4 2 , 7 4 8 . 5 0   1 4   p e r s o n s ,   3   c a r s ,   1   t r a f f i c   l i g h t .   4   h a n d b a g s , an d   1   c u p   Y O L O 1 1 x   I mag e   3   2 5 . 6 0   3 6 , 7 4 1 . 2 0   9 . 7 0   3 6 , 7 7 6 . 5 0   6   p e r so n s,  1   t r u c k ,   a n d   1   d i n i n g   t a b l e   Y O L O 1 1 x   I mag e   4   2 4 . 9 0   3 6 , 7 5 7 . 6 0   1 0 . 0 0   3 6 , 7 9 2 . 5 0   1   p e r so n ,   2 1   c a r s ,   6   t r u c k s,   a n d   2   t r a f f i c   l i g h t s   Y O L O 1 1 x   I mag e   5   1 6 . 5 0   4 3 , 1 4 4 . 6 0   1 0 . 3 0   4 3 , 1 7 1 . 4 0   7   p e r so n s,  2   c a r s,  1   a i r p l a n e ,   a n d   1   t i e     ( b )   R K3 5 6 6   NP U - b ased   in f er e n ce   u s in g   R KNN    M o d e l   P i c t u r e   P r e p r o c e ss  ( ms)   I n f e r e n c e   ( ms)   P o st p r o c e ss  ( ms)   T o t a l   t i me   ( ms)   D e t e c t i o n   r e su l t   Y O L O 1 1 n   I mag e   1   3 5 . 9 0   2 6 6 . 1 0   1 2 . 9 0   3 1 4 . 9 0   8   p e r s o n s   Y O L O 1 1 n   I mag e   2   4 9 . 0 0   2 7 0 . 1 0   1 3 . 1 0   3 3 2 . 2 0   1 2   p e r s o n s ,   3   c a r s ,   a n d   4   t r a f f i c   l i g h t s   Y O L O 1 1 n   I mag e   3   3 3 . 9 0   2 7 3 . 5 0   1 4 . 5 0   3 2 1 . 9 0   6   p e r s o n s   a n d   2   t r u c k s   Y O L O 1 1 n   I mag e   4   3 3 . 9 0   2 7 1 . 7 0   1 3 . 4 0   3 1 9 . 0 0   2 2   c a r s   a n d   7   t r u c k s   Y O L O 1 1 n   I mag e   5   2 1 . 2 0   2 8 0 . 1 0   1 4 . 4 0   3 1 5 . 7 0   7   p e r s o n s   a n d   4   c a r s   Y O L O 1 1 n   I mag 1   4 2 . 5 0   4 2 9 . 4 0   1 3 . 0 0   4 8 4 . 9 0   8   p e r s o n s   Y O L O 1 1 n   I mag e   2   4 8 . 5 0   4 3 4 . 3 0   1 3 . 4 0   4 9 6 . 2 0   1 2   p e r s o n s ,   2   c a r s ,   1   t r a f f i c   l i g h t ,   3   h a n d b a g s ,   1   t i e ,   a n d   1   c u p   Y O L O 1 1 n   I mag e   3   3 3 . 6 0   4 3 7 . 4 0   1 3 . 2 0   4 8 4 . 2 0   8   p e r s o n s   a n d   2   t r u c k s   Y O L O 1 1 n   I mag e   4   3 4 . 1 0   4 3 5 . 9 0   1 3 . 9 0   4 8 3 . 9 0   1   p e r s o n ,   2 9   c a r s ,   a n d   4   t r u c k s   Y O L O 1 1 n   I mag e   5   2 1 . 4 0   4 4 4 . 1 0   1 3 . 1 0   4 7 8 . 6 0   7   p e r s o n s ,   2   c a r s ,   a n d   1   h a n d b a g   Y O L O 1 1 m   I mag e   1   3 7 . 4 0   9 4 6 . 6 0   1 3 . 0 0   9 9 7 . 0 0   8   p e r s o n s   a n d   1   t i e   Y O L O 1 1 m   I mag e   2   4 9 . 0 0   9 5 2 . 2 0   1 3 . 9 0   1 , 0 1 5 . 1 0   1 7   p e r s o n s ,   3   c a r s ,   4   t r a f f i c   l i g h t s ,   a n d   5   h a n d b a g s   Y O L O 1 1 m   I mag e   3   3 3 . 4 0   9 5 5 . 4 0   1 3 . 0 0   1 , 0 0 1 . 8 0   5   p e r s o n s   Y O L O 1 1 m   I mag e   4   3 4 . 1 0   9 5 6 . 1 0   1 4 . 1 0   1 , 0 0 4 . 3 0   1   p e r s o n ,   2 9   c a r s ,   a n d   5   t r u c k s   Y O L O 1 1 m   I mag e   5   2 0 . 7 0   9 5 9 . 9 0   1 3 . 0 0   9 9 3 . 6 0   7   p e r s o n s ,   2   c a r s ,   1   b a c k p a c k ,   a n d   1   b a s e b a l l   g l o v e   Y O L O 1 1 l   I mag e   1   3 5 . 8 0   1 , 1 5 3 . 1 0   1 3 . 0 0   1 , 2 0 1 . 9 0   8   p e r s o n s   a n d   1   t i e   Y O L O 1 1 l   I mag e   2   4 9 . 0 0   1 , 1 5 8 . 5 0   1 3 . 7 0   1 , 2 2 1 . 2 0   1 7   p e r s o n s ,   4   c a r s ,   3   t r a f f i c   l i g h t s ,   a n d   5   h a n d b a g s   Y O L O 1 1 l   I mag e   3   3 3 . 6 0   1 , 1 6 0 . 5 0   1 4 . 1 0   1 , 2 0 8 . 2 0   7   p e r s o n s   Y O L O 1 1 l   I mag e   4   3 3 . 9 0   1 , 1 6 0 . 4 0   1 3 . 7 0   1 , 2 0 8 . 0 0   1   p e r s o n ,   2 9   c a r s ,   7   t r u c k s ,   a n d   2   t r a f f i c   l i g h t s   Y O L O 1 1 l   I mag e   5   2 1 . 1 0   1 , 1 6 8 . 8 0   1 3 . 2 0   1 , 2 0 3 . 1 0   7   p e r s o n s   a n d   2   c a r s   Y O L O 1 1 x   I mag e   1   4 2 . 5 0   2 , 5 2 5 . 1 0   1 3 . 0 0   2 , 5 8 0 . 6 0   p e r s o n s   a n d   1 t i e   Y O L O 1 1 x   I mag e   2   4 9 . 1 0   2 , 6 4 2 . 0 0   1 3 . 5 0   2 , 7 0 4 . 6 0   1 4   p e r s o n s ,   3   c a r s ,   1   t r a f f i c   l i g h t ,   a n d   5   h a n d b a g s   Y O L O 1 1 x   I mag e   3   3 3 . 8 0   2 , 6 4 6 . 8 0   1 3 . 2 0   2 , 6 9 3 . 8 0   6   p e r s o n s ,   1   t r u c k ,   a n d   1   d i n i n g   t a b l e   Y O L O 1 1 x   I mag e   4   3 3 . 7 0   2 , 6 4 4 . 2 0   1 3 . 5 0   2 , 6 9 1 . 4 0   1   p e r s o n ,   2 2   c a r s ,   6   t r u c k s ,   a n d   2   t r a f f i c   l i g h t s   Y O L O 1 1 x   I mag e   5   2 1 . 4 0   2 , 6 1 2 . 4 0   1 3 . 0 0   2 , 6 4 6 . 8 0   7   p e r s o n s   a n d   2   c a r s       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   1 Feb r u ar y   20 26 1 26 - 1 41   132   Af ter   r ec o r d in g   p r ep r o ce s s in g ,   in f er en ce ,   p o s tp r o ce s s i n g ,   an d   to tal  elap s ed   ti m f o r   ea c h   i m ag e,   we   co m p u ted   th m ea n   f o r   ea ch   Y OL O1 1   v ar ia n t.  T h r esu l ts   ar r ep o r ted   f o r   b o th   C P an d   N P ex ec u tio n s .   T h d ata  w er o r g an ized   b y   m o d el  ty p a n d   p r o ce s s in g   p at h ,   p r o v id in g   an   i n ter p r etab le  v ie w   o f   wo r k lo ad   tr an s latio n   f r o m   g en er al - p u r p o s to   h ar d w ar e - ac ce ler ated   en v ir o n m en t s .   T h ar it h m etic  m ea n   f o r   ea ch   p ip elin s ta g w as  ca lc u lated   u s i n g   th s tan d ar d   d ef i n itio n ,   ex p r ess ed   ( 1 ) - ( 4 ) :      .    =   (   )               ( 1 )      .     =   (   )             ( 2 )      .      =   (      )                ( 3 )      .      =   (      )                ( 4 )     T h e   ev a lu a ti o n   r e s u l t s   o f   YOL O 1 1   o n   C PU  an d   N PU  a r e   p r e s en t e d   in   T a b l e   2   an d   F ig u r e s   6 ( a ) ( d ) ,   w h ic h   c o m p a r e   ex e cu ti o n   tim es   f o r   p r e p r o c e s s in g   [ 3 2 ] ,   i n f e r en c e   [ 3 3 ] ,   [ 3 4 ] ,   a n d   p o s t p r o c e s s i n g   [ 3 5 ] .   T h e   N P U   c o n s i s t e n t l y   o u t p e r f o r m e d   t h e   C P U ,   p a r t i c u l a r l y   d u r i n g   i n f e r e n c e ,   w h e r e   h a r d w a r e   a c c e l e r a t i o n   p l a y e d   t h e   d o m i n a n t   r o l e .   F o r   Y O L O 1 1 n ,   i n f e r e n c e   t i m e   d e c r e a s e d   f r o m   1 , 5 4 2 . 9 6   m s   o n   t h e   C P U   t o   2 7 2 . 3 0   m s   o n   t h e   N P U ,   r e p r e s e n t i n g   a n   8 2 . 4 %   r e d u c t i o n .   R eg ar d i n g   lar g er   m o d els,  f o r   YO L O1 1 i d r o p p ed   f r o m   2 0 , 1 3 8 . 2 8   to   1 , 1 6 0 . 2 6   m s   ( - 9 4 . 2 %),   w h er ea s   f o r   YOL O1 1 x ,   t h la r g est  v ar ian t,  it  d ec r ea s ed   f r o m   4 0 , 4 0 3 . 3 4   to   2 , 6 1 4 . 1 0   m s   ( - 9 3 . 5 %).   E n d - to - en d   to tal  ti m also   f ell  s h ar p l y f o r   YOL O1 1 s ,   it  d ec r ea s ed   f r o m   4 , 8 9 7 . 7 6   to   4 8 5 . 5 6   m s   ( - 9 0 . 1 %),   an d   f o r   YOL O1 1 m ,   i d r o p p e d   f r o m   1 6 , 0 6 0 . 1 0   to   1 , 0 0 2 . 3 6   m s   ( - 9 3 . 8 %).   L aten c y   d i f f er e n ce s   i n   p r ep r o ce s s in g   an d   p o s tp r o ce s s in g   w e r r elati v el y   s m all,   i n d icati n g   t h at  i n ter f ac o v er h ea d   an d   o p ti m izatio n   r o u tin e s   h ad   m in i m al   i m p ac o n   t h ese  p h a s es.  I n f er e n ce   th u s   r e m a i n ed   th d o m i n a n co m p o n e n o f   o v er all  laten c y   an d   b en e f ited   m o s t   f r o m   NP ac ce ler atio n .   F ig u r e   6 ( d )   p r o v i d e s   a   h e atm a p   o f   ex e cu ti o n   t im e   p a tt e r n s   ac r o s s   a ll   v a r i an t s   ( ,   a n d   ) ,   w h e r e   d a r k e r   s h a d es   c o r r e s p o n d   t o   s h o r te r   d u r a t i o n s ,   p ar t i cu l a r ly   in   N PU  r u n s .   N PUs   en a b l a c c el e r a t i o n   o f   u p   t o   7 2 4 ×   c o m p a r e d   w ith   s o f tw a r e - o n ly   m ic r o c o n t r o l le r   im p l em en t at i o n s ,   a s   r e p o r te d   b y   M an o r   an d   G r e e n b e r g   [ 3 6 ] ;   o u r   r e s u l ts   c o r r o b o r a t e   t h is ,   d em o n s t r a tin g   s u b s t an t i al   in f e r en c e   l a te n cy   r ed u c t i o n   a t   th e   e d g e .   E n e r g y   c o n s u m p ti o n   w as   m ea s u r e d   in   r e a t im w ith   d ig i t al   a n a ly ze r   th at   l o g g e d   i n s t an t an eo u s   v o l t ag e ,   cu r r e n t ,   a n d   p o w e r   d u r in g   m o d el   ex e cu t i o n   o n   th e   O r an g e   Pi   3 B   ( R K 3 5 6 6 ) ,   e n s u r in g   a c cu r a te   c a l cu l at i o n s .       T ab le  2 .   A v er ag ti m ca lc u la tio n   r esu l ts   P r o c e ssi n g   s t a g e   Y O L O 1 1 n   Y O L O 1 1 s   Y O L O 1 1 m   Y O L O 1 1 l   Y O L O 1 1 x   C P U   N P U   C P U   N P U   C P U   N P U   C P U   N P U   C P U   N P U   P r e p r o c e ss (m s)   3 2 . 0 8   3 4 . 7 8   2 8 . 9 2   3 6 . 0 2   2 8 . 8 0   3 4 . 9 2   2 8 . 5 6   3 4 . 6 8   2 7 . 8 8   3 6 . 1 0   I n f e r e n c e   ( ms)   1 , 5 4 2 . 9 6   2 7 2 . 3 0   4 , 8 5 8 . 6 0   4 3 6 . 2 2   1 6 , 0 2 0 . 7 2   9 5 4 . 0 4   2 0 , 1 3 8 . 2 8   1 , 1 6 0 . 2 6   4 0 , 4 0 3 . 3 4   2 , 6 1 4 . 1 0   P o st p r o c e ss  ( ms)   1 2 . 1 0   1 3 . 6 6   1 0 . 2 4   1 3 . 3 2   1 0 . 5 8   1 3 . 4 0   1 0 . 4 2   1 3 . 5 4   1 0 . 2 2   1 3 . 2 4   T o t a l   t i me   ( ms)   1 , 5 8 7 . 1 4   3 2 0 . 7 4   4 , 8 9 7 . 7 6   4 8 5 . 5 6   1 6 , 0 6 0 . 1 0   1 , 0 0 2 . 3 6   2 0 , 1 7 7 . 2 6   1 , 2 0 8 . 4 8   4 0 , 4 4 1 . 4 4   2 , 6 6 3 . 4 4       E lap s ed   ti m w a s   m ea s u r ed   with i n   t h e x ec u tio n   s cr ip t,  w i th   ea ch   co n d itio n   r ep ea ted   s ev er al  ti m e s   to   co n f ir m   r ep ea tab ilit y   a n d   ac c u r ac y .   T h r esu lts   ar s u m m a r ized   in   co m p ar ativ tab le s   c o n tr asti n g   C P an d   NP ex ec u tio n s ,   f r o m   w h ich   m ea n   v al u es  w er e x tr ac ted ,   h i g h l ig h ti n g   th s p ee d   g ain s   f r o m   NP ac ce ler atio n   an d   r ed u c tio n s   i n   to ta l p r o ce s s in g   t i m e.   A lt h o u g h   NP ac ce ler atio n   d r asti ca ll y   r ed u ce d   in f er en ce   ti m e,   p r e p r o ce s s in g   [ 3 7 ]   an d   p o s tp r o ce s s in g   laten cie s   in cr ea s ed   m o d estl y   ( ap p r o x i m atel y   8 3 0 %)  co m p ar ed   w ith   t h o s i n   C P U - o n l y   e x ec u tio n .   P o s tp r o ce s s in g ,   d o m i n ated   b y   C P U - e x ec u ted   NM w it h   q u ad r a tic  co m p lex it y ,   r e m ai n e d   s m all  i n   ab s o l u te  ter m s   r elati v to   th i n f er en ce   s p ee d u p .   T h in cr ea s ar is es  b ec au s o n l y   i n f er en ce   is   o f f lo ad ed   to   th R K3 5 6 6   NP U,   w h er ea s   p r ep r o ce s s in g   ( r esize,   n o r m aliza tio n ,   r ef o r m atti n g )   [ 3 7 ]   an d   p o s tp r o ce s s i n g   ( n o n - m ax i m u m   s u p p r ess io n ,   b o u n d in g - b o x   ad j u s t m e n t)   [ 3 8 ] - [ 4 0 ]   r em ai n   o n   th C P U.   Ho s t - de v ice  te n s o r   t r an s f er s   ( C P U↔NP U)   in cl u d in g   i n p u u p lo ad   an d   o u tp u d o w n lo ad   in tr o d u ce   in ter f ac la ten c y ,   m e m o r y   co p ies,  an d   f o r m at  co n v er s io n s   t h at  ac co u n f o r   m o s t   o f   th r esid u al  o v er h ea d   ( co s t) .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           P erfo r ma n ce   en h a n ce men t o emb ed d ed   o b ject  d etec tio n   via   n eu r a l h a r d w a r ..  ( A lw in   Ha r t o n o   Lima r a n )   133   D e s p i te   th es e   t r a d e - o f f s ,   d e t ec ti o n   q u a li ty   is   p r es e r v e d .   T a b l e   3   c o m p a r es   m A P @ 0 . 5 : 0 . 9 5   b e tw e en   th o f f i c ia l   b en ch m a r k   an d   th e   O r an g e   Pi   3 B   r e s u lt s .   T h e   5 0 0 - im ag e   s u b s e t sh o w s   l a r g e r   f lu ctu a ti o n s   ( Δ     - 0 . 0 1 0   t o   - 0 . 0 7 4 ) ,   w h e r ea s   th e   f u ll   5 , 0 0 0 - im ag e   ev alu a t i o n   is   c o n s is t en t,   w ith   d e v i a t i o n s   o f   a p p r o x im a te ly   - 0 . 0 2 6   t o   - 0 . 0 3 0   acr o s s   Y OL O 1 1   v a r i an t s .   T h es e   f in d in g s   c o n f i r m   th at   R K NN   c o n v e r s i o n   p r e s e r v e d   b as e l in e   a c cu r a cy   w i th in   n a r r o w   m a r g in   o f   th e   Ul t r aly t i cs   b e n c h m a r k   w h i l e   d el iv e r in g   s u b s t an t i al   ef f i c ie n cy   im p r o v em e n ts   [ 4 1 ] .           ( a)   ( b )           ( c)   ( d )     Fig u r 6 .   C P v s .   NP p er f o r m an ce   co m p ar i s o n : ( a)   p r ep r o ce s s i n g ,   ( b )   in f er en ce ,   ( c)   p o s tp r o ce s s in g ,   a n d     ( d )   ex ec u tio n   ti m h ea t m ap   ac r o s s   YOL O1 1   v ar ian t s .   X - a x is   m o d el  v ar ia n t ( YO L O1 1 n YOL O1 1 x )   Y - a x is   e x ec u tio n   ti m ( m s )       T ab le  3 .   C o m p ar is o n   o f   YO L O1 1   m A P   r esu lts   ( o f f icial  U ltra l y tic s   v s .   Or a n g P i 3 B ,   C OC O2 0 1 7   v al2 0 1 7 )   M o d e l   O f f i c i a l   mA P 5 0 95   O n - d e v i c e   mA P   ( 5 0 0 )   O n - d e v i c e   mA P   ( 5 , 0 0 0 )   Δ o n - d e v i c e   - 500   Δ o n - d e v i c e   - 5 , 0 0 0   Y O L O 1 1 n   0 . 3 9 5   0 . 3 6 1   0 . 3 6 9   0 . 0 3 4   0 . 0 2 6   Y O L O 1 1 s   0 . 4 7 0   0 . 4 2 7   0 . 4 4 1   0 . 0 4 3   0 . 0 2 9   Y O L O 1 1 m   0 . 5 1 5   0 . 5 0 5   0 . 4 8 7   0 . 0 1 0   0 . 0 2 8   Y O L O 1 1 l   0 . 5 3 4   0 . 4 8 8   0 . 5 0 4   0 . 0 4 6   0 . 0 3 0   Y O L O 1 1 x   0 . 5 4 7   0 . 4 7 3   0 . 5 1 7   0 . 0 7 4   0 . 0 3 0   N o t e :   o n - d e v i c e   mA P   r e f e r t o   t h e   a c c u r a c y   me a su r e d   d i r e c t l y   o n   t h e   O r a n g e   P i   3 B   p l a t f o r m,  w h e r e a t h e   o f f i c i a l   mA P   d e n o t e t h e   b e n c h mar k   r e p o r t e d   b y   U l t r a l y t i c s o n   t h e   C O C O 2 0 1 7   v a l i d a t i o n   se t .       Af ter   co n f ir m i n g   co n s i s te n t   d etec tio n   ac cu r ac y   ac r o s s   YOL O1 1   v ar ia n ts   w it h   m in i m al  m AP   d ev iatio n s   ( - 0 . 0 2 6   to   - 0 . 0 3 0 ) ,   w e x a m in ed   e n er g y   ef f icie n c y .   T ab le  4   p r esen ts   n ea r l y   id en tical  av er ag p o w er   co n s u m p tio n   f o r   C P ( 3 . 6 0   W )   an d   NP ( 3 . 5 9   W ) ,   d if f er in g   b y   le s s   th a n   0 . 3 %.  Ho w e v er ,   th e   m u c h   lo w er   in f er en ce   late n c y   o f   t h NP ( 8 2 9 4 f aster )   s h ar p l y   r ed u ce d   en er g y   p er   in f er en ce YOL O1 1 x   co n s u m ed   1 4 5 . 5 9   J   o n   th C P v er s u s   9 . 5 6   J   o n   th NP U,   9 3 . 4 r ed u ctio n .   T h ese  r es u lt s   co n f ir m   t h NP as  th m o s en er g y - e f f icie n t p r o ce s s o r   f o r   YOL O1 1   w o r k lo ad s   o n   t h Or an g P i 3 B .   NP Us  allo w   ed g d e v ice s   s u c h   as  t h Or a n g P 3 B   to   p er f o r m   s u b s tan t iall y   m o r i n f er e n ce   p ass e s   w it h i n   t h s a m p o w er   b u d g et ,   an   ad v an ta g f o r   p latf o r m s   p o w er ed   b y   b atter ies o r   o th er   lo w - w atta g s o u r ce s .   T h b en ef it  co m es  n o o n l y   f r o m   t h r o u g h p u b u al s o   f r o m   s h ar p l y   r ed u c ed   laten c y   at  n ea r l y   co n s ta n a v er ag e   p o w er .   T h is   en h a n ce s   t h f e asib ilit y   o f   en er g y - i n ten s i v A I   w o r k lo ad s   an d   s u p p o r ts   n ea r - r ea l - ti m d ee p   lear n in g   i n   lo w - p o w er   n et w o r k s .   Ver if icatio n   co n f ir m ed   th at  ac ce ler atio n   o n   th R K3 5 6 6   NPU  d id   n o d eg r ad d et ec tio n   q u alit y   [ 4 2 ] E v alu a tio n s   u s ed   t h C OC O2 0 1 7   v alid atio n   s et  ( v al2 0 1 7 ) .   T h o f f icia YO L O1 1   r es u lt s   wer b ased   o n   t h f u ll   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   1 Feb r u ar y   20 26 1 26 - 1 41   134   5 , 0 0 0 - im a g s et,   w h er ea s   Or a n g e   P 3 B   test s   e m p lo y ed   b o t h   r a n d o m   5 0 0 - i m ag e   s u b s et   an d   t h f u ll  s e o f   5 , 0 0 0   im a g es to   e n s u r co n s i s t en c y .   T ab les  4 ( a)   an d   ( b )   d etail  th r ec o r d ed   v o ltag e,   cu r r en t ,   an d   p o w er   d u r in g   d etec t io n .   T ab le  5   th e n   co n s o lid ates  late n c y ,   s p ee d u p ,   p er - in f er e n ce   en er g y ,   a n d   ac cu r ac y   d ev ia tio n   ac r o s s   YO L O1 1   v ar ian ts .   T h e   r esu lt s   s h o w   t h at  av er a g p o w er   co n s u m p tio n   w a s   n ea r l y   id en tical  b et w ee n   C P an d   NP ex ec u tio n s .   Ho w e v er ,   th e   NP co n s i s te n t l y   ac h ie v ed   5 1 7 ×  f aster   in f e r en ce   an d   ~8 0 9 4 lo w er   en er g y   p er   in f er en ce   [ 4 3 ] ,   [ 4 4 ] ,   w h i le  m ai n tai n i n g   ac cu r ac y   w it h i n   - 0 . 0 3   m A P   o f   th o f f icial  b aseli n e.   E n er g y   p er   in f er en ce   w a s   ca lcu lated   as a v er ag p o w er   m u ltip lied   b y   to tal  late n c y .       T ab le  4 .   R ec o r d e d   v o ltag e,   cu r r en t ,   an d   p o w er   co n s u m p tio n   d u r in g   th YO L O1 1   ex ec u tio n   o n   t h t w o   p latf o r m s   ( a)   C P U - b ased     ( b )   NP U - b ased   M o d e l   P i c t u r e   A v e r a g e   p e r   p i c t u r e   A v e r a g e   p e r   mo d e l   V o l t a g e   (V)   C u r r e n t   ( A )   P o w e r   ( W )   V o l t a g e   ( V )   C u r r e n t   (A)   P o w e r   ( W )   Y O L O 1 1 n     I mag e   1   5 . 3 7   0 . 6 8   3 . 6 7   5 . 3 8   0 . 6 6   3 . 5 7   I mag e   2   5 . 3 8   0 . 6 6   3 . 5 9   I mag e   3   5 . 3 8   0 . 6 5   3 . 5 4   I mag e   4   5 . 3 8   0 . 6 5   3 . 5 3   I mag e   5   5 . 3 8   0 . 6 5   3 . 5 0   Y O L O 1 1   I mag e   1   5 . 3 8   0 . 6 6   3 . 5 6   5 . 3 8   0 . 6 5   3 . 6 1   I mag e   2   5 . 3 8   0 . 6 6   3 . 7 6   I mag e   3   5 . 3 8   0 . 6 5   3 . 7 2   I mag e   4   5 . 3 8   0 . 6 5   3 . 5 2   I mag e   5   5 . 3 8   0 . 6 4   3 . 4 8   Y O L O 1 1   I mag e   1   5 . 3 8   0 . 6 8   3 . 6 7   5 . 3 8   0 . 6 6   3 . 5 4   I mag e   2   5 . 3 9   0 . 6 4   3 . 4 7   I mag e   3   5 . 3 8   0 . 6 5   3 . 5 3   I mag e   4   5 . 3 9   0 . 6 4   3 . 4 8   I mag e   5   5 . 3 8   0 . 6 6   3 . 5 7   Y O L O 1 1 l     I mag e   1   5 . 3 8   0 . 6 7   3 . 6 0   5 . 3 8   0 . 6 5   3 . 5 0   I mag e   2   5 . 3 8   0 . 6 5   3 . 4 8   I mag e   3   5 . 3 8   0 . 6 4   3 . 4 5   I mag e   4   5 . 3 9   0 . 6 4   3 . 4 6   I mag e   5   5 . 3 9   0 . 6 5   3 . 5 1   Y O L O 1 1 x   I mag e   1   5 . 3 8   0 . 6 7   3 . 6 0   5 . 3 8   0 . 6 6   3 . 5 7   I mag e   2   5. 38   0 . 6 6   3 . 6 1   I mag e   3   5 . 3 9   0 . 6 6   3 . 5 5   I mag e   4   5 . 3 8   0 . 6 5   3 . 5 0   I mag e   5   5 . 3 8   0 . 6 6   3 . 5 6     M o d e l   P i c t u r e   A v e r a g e   p e r   p i c t u r e   A v e r a g e   p e r   mo d e l   V o l t a g e   (V)   C u r r e n t   (A)   P o w e r   ( W )   V o l t a g e   (V)   C u r r e n t   (A)   P o w e r   ( W )   Y O L O 1 1 n     I mag e   1   5 . 3 5   0 . 6 8   3 . 6 9   5 . 3 5   0 . 6 6   3 . 5 8   I mag e   2   5 . 3 5   0 . 6 5   3 . 5 3   I mag e   3   5 . 3 6   0 . 6 5   3 . 5 1   I mag e   4   5 . 3 5   0 . 6 6   3 . 5 4   I mag e   5   5 . 3 5   0 . 6 7   3 . 6 5   Y O L O 1 1   I mag e   1   5 . 3 4   0 . 7 1   3 . 8 1   5 . 3 5   0 . 6 9   3 . 7 2   I mag e   2   5 . 3 5   0 . 7 0   3 . 7 5   I mag e   3   5 . 3 6   0 . 7 0   3 . 7 6   I mag e   4   5 . 3 5   0 . 6 6   3 . 5 8   I mag e   5   5 . 3 5   0 . 6 8   3 . 6 9   Y O L O 1 1   I mag e   1   5 . 3 6   0 . 6 6   3 . 5 9   5 . 3 5   0 . 6 8   3 . 6 7   I mag e   2   5 . 3 4   0 . 6 9   3 . 7 2   I mag e   3   5 . 3 5   0 . 6 8   3 . 6 8   I mag e   4   5 . 3 5   0 . 6 7   3 . 6 4   I mag e   5   5 . 3 5   0 . 6 9   3 . 7 1   Y O L O 1 1 l     I mag e   1   5 . 3 5   0 . 6 8   3 . 6 9   5 . 3 5   0 . 6 7   3 . 6 2   I mag e   2   5 . 3 5   0 . 6 9   3 . 7 3   I mag e   3   5 . 3 6   0 . 6 4   3 . 4 9   I mag e   4   5 . 3 5   0 . 6 6   3 . 5 9   I mag e   5   5 . 3 6   0 . 6 6   3 . 5 8   Y O L O 1 1 x   I mag e   1   5 . 3 3   0 . 6 7   3 . 5 9   5 . 3 5   0 . 6 7   3 . 6 2   I mag e   2   5 . 3 6   0 . 6 6   3 . 5 9   I mag e   3   5 . 3 5   0 . 6 7   3 . 6 2   I mag e   4   5 . 3 5   0 . 6 8   3 . 6 6   I mag e   5   5 . 3 5   0 . 6 7   3 . 6 3   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l           P erfo r ma n ce   en h a n ce men t o emb ed d ed   o b ject  d etec tio n   via   n eu r a l h a r d w a r ..  ( A lw in   Ha r t o n o   Lima r a n )   135   T ab le  5 .   Un if ied   s u m m ar y   o f   C P v s .   NP p er f o r m an ce   f o r   YOL O1 1   v ar ian ts ,   i n clu d i n g   laten c y ,   e n er g y   p er   in f er en ce ,   an d   ac cu r ac y   M o d e l   C P U   t i me   ( ms)   N P U   t im ( ms)   S p e e d u p   ( × )   C P U   p o w e r   ( W )   N P U   p o w e r   ( W )   C P U   e n e r g y   ( J)   N P U   e n e r g y   ( J)   En e r g y   s a v i n g   ( %)   O f f i c i a l   Y O L O 1 1   mA P   O n - d e v i c e   mA P   ( 5 , 0 0 0 )   Δ mA P   Y O L O 1 1 n   1 , 5 8 7 . 1 4   3 2 0 . 7 4   4 . 9 5   3 . 6 0   3 . 5 9   5 . 7 1   1 . 1 5   7 9 . 8   0 . 3 9 5   0 . 3 6 9   - 0 . 0 2 6   Y O L O 1 1 s   4 , 8 9 7 . 7 6   4 8 5 . 5 6   1 0 . 0 9   3 . 6 0   3 . 5 9   1 7 . 6 3   1 . 7 4   9 0 . 1   0 . 4 7 0   0 . 4 4 1   - 0 . 0 2 9   Y O L O 1 1 m   1 6 , 0 6 0 . 1 0   1 , 0 0 2 . 3 6   1 6 . 0 2   3 . 6 0   3 . 5 9   5 7 . 8 2   3 . 6 0   9 3 . 8   0 . 5 1 5   0 . 4 8 7   - 0 . 0 2 8   Y O L O 1 1 l   2 0 , 1 7 7 . 2 6   1 , 2 0 8 . 4 8   1 6 . 7 0   3 . 6 0   3 . 5 9   7 2 . 6 4   4 . 3 4   9 4 . 0   0 . 5 3 4   0 . 5 0 4   - 0 . 0 3 0   Y O L O 1 1 x   4 0 , 4 4 1 . 4 4   2 , 6 6 3 . 4 4   1 5 . 1 8   3 . 6 0   3 . 5 9   1 4 5 . 5 9   9 . 5 6   9 3 . 4   0 . 5 4 7   0 . 5 1 7   - 0 . 0 3 0       T h ese  f in d in g s   s u p p o r r ea l - ti m o r   n ea r - r ea l - ti m d ep lo y m e n o f   m o d er n   o b j ec t   d et ec tio n   o n   af f o r d ab le  e m b ed d ed   p latf o r m s ,   w h ic h   h a s   p r ac tical  s i g n i f ica n ce .   T h R K3 5 6 6   NP e n ab les  5 1 7 ×  f aster   in f er en ce   at  co m p ar ab le  ac cu r ac y   ( Δ m AP     - 0 . 0 3 )   w i th   ~8 0 9 4 lo w er   en er g y   p er   i n f er en ce ,   in cr ea s in g   t h e   f ea s ib ili t y   o f   ap p licatio n s   i n   s u r v eil lan ce ,   r o b o tics ,   an d   I o T   ed g w o r k lo ad s .         ( × )       =               ( 5 )            ( )      =         1000     ( 6 )             ( )      =         1000     ( 7 )            ( % )             ( % )   =        100     ( 8 )               =           5 , 000             ( 9)     T o   ex p lain   th o r i g in   o f   late n c y   r ed u ctio n s ,   T ab le  6   r ep o r ts   th e   r elat i v ch a n g es  i n   p r ep r o ce s s in g ,   in f er en ce ,   an d   p o s tp r o ce s s in g   ti m es  w h en   s h i f ti n g   f r o m   C P to   N P U,   s h o w i n g   t h at  m o d est  C P U - b o u n d   o v er h ea d s   ar o u t w ei g h ed   b y   d o m i n a n t in f er e n ce   ac ce ler ati o n .       T ab le  6 .   R elativ ch a n g i n   p r o ce s s in g   ti m w h en   s h i f ti n g   f r o m   C P U   to   NP ( Δ   t i m in   % ,   r elativ to   C P ex ec u t io n )   M o d e l   P r e p r o c e ss Δ  t i me   ( %)   I n f e r e n c e   Δ  t i me   ( %)   P o st p r o c e ss Δ  t i me   ( %)   T o t a l   t i me   Δ (%)   Y O L O 1 1 n   +   8 . 4 0   -   8 2 . 3   +   1 2 . 9   -   7 9 . 8   Y O L O 1 1 s   +   2 4 . 5   -   9 1 . 0   +   3 0 . 1   -   9 0 . 1   Y O L O 1 1 m   +   2 1 . 3   -   9 4 . 0   +   2 6 . 7   -   9 3 . 8   Y O L O 1 1 l   +   2 1 . 4   -   9 4 . 2   +   3 0 . 0   -   9 4 . 0   Y O L O 1 1 x   +   2 9 . 5   -   9 3 . 5   +   2 9 . 6   -   9 3 . 4       T ab le  5   s u m m ar izes  th a g g r eg ate  p er f o r m a n ce   late n c y ,   e n er g y   p er   in f er en ce ,   a n d   ac cu r ac y   ac r o s s   YOL O1 1   v ar ian ts .   Ho w e v er ,   th ese  m etr ic s   d o   n o ca p tu r s ce n e - s p ec if ic  b eh av io r s .   T ab le   6   p r o v id es  s tag e - w i s b r ea k d o w n ,   s h o w i n g   t h a p r ep r o ce s s in g   a n d   p o s tp r o ce s s i n g   i n c u r   m o d est  i n cr ea s e s   ( 8 3 0 %),   w h er ea s   in f er en ce   d o m i n ates  ac ce ler ati o n   w it h   r ed u ctio n s   o f   8 2 9 4 %.  T h is   v ie w   clar i f ies  t h s o u r ce   o f   laten c y   g ai n s   in   T ab le  5 .     T o   c o n tex t u alize   t h ese  q u a n ti t ativ r es u lt s ,   Fi g u r 6   p r esen t s   r ep r esen tativ d etec tio n   s ce n ar io s .   T h ese   q u alitati v ca s s tu d ie s   ill u s tr ate  h o w   t h late n c y   a n d   ac cu r ac y   p atter n s   i n   T ab le  5   ap p e ar   in   r ea i m ag e s ,   h ig h li g h ti n g   lo ca lized   v ar iatio n s   u n d er   d iv er s e   co n d itio n s .   I n   t h w ar e h o u s s ce n e,   as   s h o w n   i n   Fi g u r 7 ( a) ,   C P in f er e n ce   r eq u ir e d   1 , 4 6 6 . 3   m s   a n d   d etec ted   f o u r   p er s o n s   an d   t w o   tr u c k s ,   w h er ea s   th NP co m p leted   in f er en ce   in   3 2 1 . 9   m s   an d   d etec ted   s ix   p er s o n s   an d   t w o   tr u ck s ,   in clu d i n g   o n ad d itio n al  p er s o n   at  co n f i d en ce   o f   0 . 2 8 .   B o th   co n f i g u r atio n s   o cc asio n all y   m is cla s s i f ied   s tac k ed   b o x es a s   tr u ck s .       Evaluation Warning : The document was created with Spire.PDF for Python.