I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   43 ,   N o .   2 A ugus t   20 26 ,   pp .   555 ~ 567   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 43 .i 1 . pp 555 - 567             555     Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   L o w - c o st   r e a l - t i m e   c a m p u s a ssi st i v e   n a v i g a t i o n   d e v i c e   f o r   t h e   v i su a l l y   i m p a i r e d :   T h e   U n i v e r si t y   o f   I l o r i n   c a se  st u d y       M ah m u d   H afe e z   O w o l ab i 1 ,   I d aj i l i   Jo h n   O jo c h e gb e 1 ,   A yi n l S h e h u   Lu k m an 1   Ji m o h - M ah mu d   A i s h at  O l ad ayo 2 ,   Y u s u A b d u l r ah m an   O l al e k an 1 ,   O l ao gu n   Je r r O l u w ajo m i l o j u 1   1 D e p a rt m e n t   o f   C o m p u t e r   E n g i n e e ri n g ,   F a c u l t y   o E n g i n e e ri n g   a n d   T e c h n o l o g y ,   U n i v e r s i t y   o Il o ri n ,   Il o ri n ,   N i g e ri a   2 D e p a rt m e n t   o f   T e l e c o m m u n i c a t i o n   S c i e n c e ,   Fa c u l t y   o C o m m u n i c a t i o n   a n d   In fo r m a t i o n   S c i e n c e s ,   U n i v e r s i t y   o f   I l o r i n ,   Il o ri n ,   N i g e ri a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e M a 3 ,   20 26   R e v i s e J un   19 ,   2026   A c c e pt e J un  27 ,   2026       N a v i g a t i ng   dy na m i c   e nv i r o nm e nt s   r e m a i ns   a   s i g ni f i c a n t   c ha l l e ng e   f o r   v i s ua l l y   i m pa i r e d   i ndi v i dua l s   due   t o   l i m i t e s pa t i a l   a w a r e n e s s ,   w hi c h   r e s t r i c t s   t he i r   m o bi l i t y ,   i nde pe nd e nc e ,   a nd  s a f e t y .   T r a d i t i o na l   a i d s   s uc a s   w hi t e   c a n e s   a nd   g ui d e   do g s   p r o v i de   phy s i c a l   s uppo r t   but   l a c c o nt e xt ua l   f e e dba c k.   W hi l e   r e c e n t   a dv a nc e s   i n   a r t i f i c i a l   i nt e l l i g e nc e   ( A I )   a nd  c om put e r   v i s i o ( C V )   ha v e   e na b l e r e a l - t i m e   s e ns i ng ,   m a ny   a s s i s t i v e   s y s t e m s   r e m a i n   c o s t l y ,   c o m pl e x,   a nd  d e pe nde n t   o c o nt i n uo us   ne t w o r c o nne c t i v i t y .   T hi s   st udy   i n t r o duc e s   a   l o w c o s t ,   po r t a b l e   c a m pus   a s s i s t i v e   na v i g a t i o ( C A N )   de v i c e   t h a t   d e l i v e r s   r e a l t i m e   pe r c e p t i o a nd  o f f l i n e   g ui d a nc e .   T h e   s y s t e m   e m pl o y s   a   c us t o m   da t a s e t ,   a o pt i m i z e d   Y O L O v 11  m o de l ,   a n a   P i   C a m e r a   f o r   c o nt i nuo us   o bj e c t   d e t e c t i o n,   s uppo r t e d   by   a H C S R 0 4   ul t r a s o ni c   s e n s o r   f o r   o bs t a c l e   a v o i da nc e   a n a udi t o r y   a l e r t s .   T r a i n i ng   a nd   v a l i da t i o c o n f i r m e d   r o bus t   c o nv e r g e nc e ,   w i t h   pr e c i s i o n   ~ 0. 95,   r e c a l l   n e a r   1 . 0 ,   a nd   m A P @0. 5   e xc e e di ng   0 . 9,   w hi l e   m A P @0 . 5: 0. 95   r e m a i ne d   a b o v e   0. 8 ,   de m o ns t r a t i ng   r e l i a b l e   de t e c t i o a nd  g e n e r a l i z a t i o n   unde r   s t r i c t   t hr e s ho l ds .   F i e l t e s t s   f ur t he r   r e po r t e c o nf i de nc e   s c o r e s   o f   0. 74 0 . 8 4,   98 %   a c c ur a c y   i di s t a nc e   m e a s u r e m e n t ,   a nd   G P S   l o c a l i z a t i o n   w i t hi ± 1 . 5   m .   R e a l t i m e   a udi t o r y   a nd   ha pt i c   f e e d ba c k   v i a   B l ue t o o t h   he a dpho ne s   e nh a nc e d   m o bi l i t y   a nd  s a f e t y .   T he   C A N   de v i c e   o f f e r s   a   s c a l a b l e ,   a f f o r da bl e   s o l ut i o f o r   a ut o no m o us   na v i g a t i o i c a m pu s   e nv i r o nm e n t s .   Ke y w or d s :   Ca m p us   a s s i s t i v e   n a v i ga t i o n   Co m put e v i s i o n   GPS   O ff l i n e   na v i ga t i o n   R a s pbe rr y   P i   4   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   M a h m u H a f e e z   O w o l a b i   D e pa rt m e n t   o f   Co m put e E ngi n e e ri n g ,   F a c ul t y   of   E n gi n e e ri ng  a nd  T e c hn o l o g y ,   U n i v e r s i t y   of   Il o r i n   P . M . B .   1515 ,   I l o r i n,   N i ge r i a   E m a i l :   m a h m ud. h o @ u ni l o r i n. e du. ng       1.   I N TR O D U C TI O N   V i s ua l   i m p a i rm e n t   r e f e r s   t o   a   pa rt i a l   o c o m pl e t e   l o s s   o f   v i s ua l   f u n c t i o t ha t   l i m i t s   t h e   a b i l i t y   t pe r c e i v e   a n i n t e r p r e t   t h e   s u rr o un d i n e n v i r o nm e nt ,   c o m m o n l y   c a us e d   by   un c o r r e c t e r e f r a c t i v e   e rr o r s ,   c a t a ra c t s ,   a nd   gl a uc o m a   [1] ,   [2] .   I t   r e m a i n s   a   m a j o g l o b a l   he a l t c o n c e rn  w i t p r o f o un s o c i a l   a nd   e c o n o m i c   i m p l i c a t i o n s .   C u rr e n t   s t a t i s t i c s   i ndi c a t e   t ha t   m o r e   t ha b i l l i o pe o pl e   w o r l dw i de   a r e   a f f e c t e d,   a nd  t h i s   n u m b e r   i s   p r o j e c t e t o   e xc e e 3. 5   b i l l i o n   b y   2050   [3] .   T h e   r e s ul t i ng  r e duc t i o i e n v i r o n m e n t a l   a w a r e n e s s   m a ke s   n a v i ga t i o di f f i c ul t   a n d   o f t e r e s t r i c t s   a c c e s s   t o   e duc a t i o n ,   e m p l oy m e n t ,   a n d   s o c i a l   p a r t i c i pa t i o n,   pa r t i c ul a rl y   i r e s o ur c e - l i m i t e r e g i o n s   [ 4] .   T h e s e   c h a l l e n g e s   h i g h l i g h t   t h e   n e e f o r   a f f o r da b l e ,   i nt e l l i ge nt   a s s i s t i v e   t e c hn o l o gi e s   t ha t   s uppo rt   i n de pe n de nt   m o b i l i t y   a m o n g   v i s ua l l y   i m pa i r e pe r s o n s .   Co n v e n t i o n a l   m o b i l i t y   a i ds ,   s uc h   a s   w h i t e   c a n e s   a n d   gui de   d o gs ,   r e m a i e s s e n t i a l   i da i l y   n a v i g a t i o n   b ut   a r e   c o n s t ra i n e i n   f u n c t i o na l i t y .   W h i t e   c a n e s   of fe r   t a c t i l e   gui d a n c e   o n l y   w i t h i a   s h o r t   de t e c t i o n   ra n ge   of  a pp r o xi m a t e l y   1 m   a n d   c a nn o t   i de n t i fy   a b ove - gr o un d   o ra pi d l y   m o v i n ha z a r ds .   G u i de   do gs   a s s i s t   w i t Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 555 - 56 7   556   pa t f o l l ow i n a nd  o b s t a c l e   a vo i da n c e ,   b ut   do   n o t   c o m m u ni c a t e   de t a i l e s pa t i a l   i n f o r m a t i o n,   o b j e c t   c o n t e xt ,   o r   e n v i r o n m e nt a l   c h a nge s   t o   t h e   us e r .   T h e i pe r f o r m a n c e   m a y   a l s o   v a r y   w i t t r a i n i ng  qua l i t y ,   f a t i gue ,   a nd  e n v i r o n m e n t a l   d i s t r a c t i o n s ,   w hi l e   t h e   c o s t   a n d   m a i nt e n a n c e   r e qui r e m e n t s   r e n de t h e m   i n a c c e s s i b l e   t o   m a n y   i n di v i du a l s .   Co n s e que n t l y ,   b o t h   t o o l s   pr o v i de   r e a c t i v e ,   ra t h e r   t ha n   p r e di c t i v e ,   a w a r e n e s s   a n d   r e l y   h e a v i l y   o n   pri o f a m i l i a r i t y   w i t t h e   e n v i r o nm e n t .   T h e s e   l i m i t a t i o n s   ha v e   a c c e l e r a t e t h e   de v e l o pm e n t   o f   t e c hn o l o g y - e n a b l e a s s i s t i v e   s o l ut i o n s   t ha t   i nt e gra t e   a rt i f i c i a l   i nt e l l i ge n c e   (A I) ,   c o m put e r   v i s i o n   ( CV ),   a nd  e m b e dde s e n s i n t o   e nha n c e   na v i ga t i o n   a u t o n o m y   [5] .   R e a l - t i m e   pe r c e pt i o n   s y s t e m s   c a e xt e nd  a w a r e n e s s   b e y o n d   ph y s i c a l   c o n t a c t ,   o ff e r i n g   s e m a nt i c   u n de r s t a ndi ng  o f   s ur ro un di n gs   [ 6] .   H ow e v e r ,   m a n y   e xi s t i n de v i c e s   r e m a i e xpe n s i v e ,   c o m put a t i o na l l y   i n t e n s i v e ,   a nd  de pe n d e n t   o n   c o nt i n uo us   i n t e rn e t   c o nn e c t i v i t y ,   w h i c h   l i m i t s   t h e i po rt a b i l i t y   a n us a b i l i t y   a c r o s s   di v e r s e   e n v i r o nm e n t s .   S e ve r a l   A I - d ri v e n   a s s i s t i v e   t e c hn o l o gi e s   f o r   pe o pl e   w i t di s a b i l i t i e s   a n d   v i s ua l   i m pa i r m e n t s   ha v e   e vo l v e t hr o ugh  r e s e a r c h   f o c us e o n   e nh a n c i n g   m o b i l i t y   [7] ,   [8]   a n d   o i m p r o v i ng  s o c i a l   a n d   f o r m a l   e n ga ge m e nt   [9] ,   [10] .   E a r l y   s y s t e m s ,   s uc a s   [ 11] ,   [12] ,   us e t a c t i l e   g ra p hi c s   a nd   l o w - l i ght   e nha n c e m e n t   b ut   r e l i e d   o c l i e n t s e r v e r   s e t ups ,   w h i c l i m i t e po r t a b i l i t y .   I n t r o duc e d   a   l o c a l   o b s t a c l e   de t e c t i o n   m o de l ,   w h i c s t i l l   r e qui r e i nt e rn e t   a c c e s s   fo r   ke y   f un c t i o n s ,   r e duc i n i t s   ut i l i t y   i n   l o w - b a n dw i dt h   e n v i r o n m e nt s .   A   s t u d y   e m pl oy e s i n gl e   s h o t   m ul t i b o de t e c t o r   ( SSD ) - b a s e o b j e c t   de t e c t i o w i t di s t a n c e   e s t i m a t i o n,   t h o ug l o w - l i g ht   pe r f o r m a n c e   r e m a i n e d   a   c h a l l e n ge   [13 ] .   Y o o n l y   l o o o n c e   ( Y O L O i s   a   s i n gl e - p a s s   de t e c t i o m o de l   [1 4]   t ha t   i m p r o v e s   e ff i c i e n c y   ov e r   t r a d i t i o n a l   s c a nn i ng.   T hi s   w a s   l e v e r a ge i n   s o m e   w e a ra b l e   de v i c e s   w i t h   s e n s o r s ,   v o i c e   i n t e ra c t i o n ,   a n d   a ugm e nt e r e a l i t y   (A R ),   b ut   i t s   de pe n de n c e   o n   c o n s t a nt   c o nn e c t i v i t y   h i nde r e r e m o t e   us e .   S t ud i e s   [15]   a n d   [16]   de v e l o pe of f l i n e   Y O L O v 3 - b a s e s y s t e m s   w i t di s t a nc e   s e n s o r s   fo r   na v i ga t i o n   a n d   t e xt   r e c o gn i t i o n ;   h o w e ve r ,   t h e   m i ni m a l   a ud i o   f e e d b a c l i m i t e d   s i t ua t i o na l   a w a r e n e s s .   [17]   us e Y O L O v i s m a rt   gl a s s e s   f o r   ob j e c t   de t e c t i o n ,   b ut   l a c ke na v i ga t i o s u ppo r t .   I a a dv a nc e w o r k   t ha t   c o m b i n e d   CV   a n d   v o i c e   gui da n c e ,   r e l i a nc e   o ge ne ri c   d a t a s e t s   re duc e d   a c c u ra c y   i i de nt i f y i n g   k e y   f e a t u re s   s uc a s   c r o s s i ngs   a nd   do o r w a y s   [ 18 ] .   R e s e a r c i nt o   a f f o rd a b l e   a s s i s t i v e   de v i c e s   ha s   e x pl o re d   s m a rt   gl a s s e s   w i t o p t i c a l   c ha ra c t e re c o g ni t i o (O CR ) ,   G P S ,   f a c i a l   r e c o g ni t i o n,   a nd   u l t ra s o ni c   s e ns o r s   [1 9 ] - [2 1] .   H o w e v e r ,   t h e i c o m p l e x i t y   ra i s e d   c o n c e rns   a b o u t   po w e us a ge   w i t h o u t   i m p r o v e d   na v i g a t i o n.   I nn o v a t i o ns   l i ke   s m a rt   g l a s s e s   a nd   s h o e s   a d de d   g r o u nd - l e v e l   ha z a rd   de t e c t i o n,   b ut   a   l i m i t e d   ra ng e   r e duc e d   t h e i e f f e c t i v e ne s s   i re duc i ng   re a c t i o t i m e   [ 2 2] .   A   s t u dy   us e d   Y O L O v 3   w i t v o i c e   a l e rt s   f o o b s t a c l e   de t e c t i o [ 23 ] .   H o w e ve r,   i t   s t ru g g l e d   t o   a d a p t   a c r o s s   i ndo o a nd   o u t do o r   s e t t i ngs   w i t i n c o ns i s t e nt   r e c o g ni t i o n.   I a dv a nc e d   s t u d i e s ,   t he   f i e l d   w a s   e nha nc e d   w i t Y O L O - i n s i g ht ,   w hi c i nt e g ra t e s   a   Y O L O   m o de l ,   O C R ,   u l t ra s o ni c   s e ns o r s ,   m u l t i l i ng u a l   t e x t - to - s pe e c h   ( T T S ) ,   a nd   na t u ra l   l a ng u a ge   p r o c e s s i ng   (N L P )   [ 24 ] ,   [ 25 ] .   H o w e v e r,   t he   i m pl e m e nt a t i o i s   e xpe ns i v e   d ue   t o   hi g ha rdw a re   r e qu i r e m e nt s ,   a nd  r e l i a nc e   o ge ne ri c   d a t a s e t s   i m p a i r s   t he   r e c o g ni t i o o f   ke y   na v i g a t i o na l   e l e m e nt s .   Co l l e c t i v e l y ,   t h e   r e v i e w e s t udi e s   r e v e a l   a   ga p :   t h e   n e e f o r   a   po rt a b l e ,   l o w - c o s t   s y s t e m   t h a t   o ff e r s   a c c ur a t e ,   c o n t e xt - a w a r e   de t e c t i o n   a nd  n a v i g a t i o n   w i t h o ut   i n t e rn e t   de pe n de n c e .   T o   a dd r e s s   t h e s e   c h a l l e n ge s ,   t h i s   s t udy   pr o po s e s   a   l o w - c os t ,   po rt a b l e   c a m pus   a s s i s t i v e   n a v i ga t i o (CA N )   s y s t e m :   a   c o m pa c t ,   R a s pb e rr y   P i   4 b a s e w e a r a b l e   t h a t   i nt e g r a t e s   a   P i   c a m e r a ,   u l t ra s o n i c   s e n s o r s ,   a n d   a   N E O - 6M   G P S   m o dul e   f o v i s i o n ,   pr o xi m i t y   s e n s i n g ,   a nd  l o c a t i o n   t r a c ki ng.   A   c us t o m   Y O L O 11 - m o de l ,   t ra i n e o n   na v i ga t i o n - c r i t i c a l   o b j e c t s   s uc h   a s   c r o s s i n gs ,   do o r w a y s ,   a n d   s t a i r c a s e s ,   e n a b l e s   e ff i c i e nt ,   l o w - pow e r   i n f e r e n c e   di r e c t l y   o n   t h e   de v i c e .   O ff l i n e   O pe n S t r e e t M a p   d a t a   e n s u r e s   r e l i a b l e   i ndo o r   a n d   o ut do o r   na v i ga t i o a c r o s s   t h e   U ni v e r s i t y   o f   Il o r i c a m pus ,   w h i l e   a udi o   gu i da n c e   a n d   h a p t i c   f e e db a c v i a   B l ue t oo t h   A i r P o ds   e nh a n c e   s i t u a t i o na l   a w a r e n e s s .   S uppo r t e by   e n e r gy - e ff i c i e n t   c o m po n e n t s   a n d   a   20, 000  m A po w e r   b a n f o r   e xt e n de o f f l i n e   us e ,   t h e   CA N   s y s t e m   c o m b i n e s   a f f o r da b i l i t y ,   po r t a b i l i t y ,   a n r e a l - t i m e   pe r c e pt ua l   i nt e l l i ge n c e ,   a dv a n c i n i n c l us i v e   m o b i l i t y   s o l ut i o n s   i a l i g n m e n t   w i t h   s us t a i na b l e   de v e l o pm e nt   go a l s   ( S D Gs)   10  a n 1 1.   T h e   c o n t ri b ut i o n s   o t h i s   s t udy   a r e :   i )   l ow - c o s t ,   po rt a b l e   na v i ga t i o s y s t e m :   I n t ro duc t i o n   o f   a   CA N   de v i c e   a n d   a   R a s pb e rr y   P i   4   w e a ra b l e   t ha t   i n t e g ra t e s   a   c a m e ra ,   ul t r a s o ni c   s e n s o r s ,   a n G P S   fo r   v i s i o n ,   p r o xi m i t y ,   a n l o c a t i o n   t r a c ki ng   i i )   o ff l i n e   ge o s pa t i a l   i n t e g ra t i o n :   u t i l i z a t i o n   o f   O pe n S t r e e t M a p   da t a   t o   e n a b l e   r e l i a b l e   i n do o a nd   o ut do o r   na v i ga t i o n   w i t h o ut   c o n t i n uo us   i n t e rn e t   c o nn e c t i v i t y ;   i i i )   m ul t i m o da l   f e e db a c f o r   a w a r e n e s s :   p r o v i s i o n   of  a udi o   gui d a n c e   a n d   ha pt i c   c ue s   v i a   B l ue t o o t h   A i r P o ds   t o   e nh a n c e   us e s a f e t y   a n d   i nt e r a c t i o n ;   i v e n e rgy - e ff i c i e n t   e xt e n de o pe ra t i o n :   i n c o r po ra t i o n   o f   l o w - p ow e r   c o m po n e n t s   a n d   a   2 0, 00 m A po w e r   b a n k   t s uppo r t   p r o l o n ge o f f l i n e   us e   i r e a l - w o r l c o n t e x t s .       2.   M ET H O D   T h e   CA N   s y s t e m   f r a m e w o r i nt e gra t e s   ha r dw a r e   a nd  s o f t w a r e   i nt o   a   u ni f i e s t r uc t u r e   c o m p r i s i n g   t hr e e   ke y   f un c t i o n s o b j e c t   r e c o gn i t i o n,   o b s t a c l e   de t e c t i o n   w i t h   d i s t a n c e   m e a s u r e m e nt ,   a n r o ut e   na v i ga t i o n a s   i l l us t ra t e in   F i g u r e   1.   A   R a s pb e r r y   P i   a c t s   a s   t h e   c e n t ra l   p r o c e s s o r ,   c oo r di na t i n i n pu t s   f r o m   a   P i   c a m e ra ,   u l t ra s o n i c   s e n s o r s ,   a n d   t h e   G P S   m o dul e .   T h e   c a m e ra   s t r e a m s   v i de o   fo r   A I - b a s e o b j e c t   r e c o gn i t i o n,   w h i l e   t h e   ul t r a s o ni c   s e n s o r s   de t e c t   ha z a r ds   b e y o n t h e   c a m e ra s   v i e w   a nd  m e a s u r e   d i s t a n c e s   up   t o   m .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L o w - c os t   r e a l - t i m e   c am p us   as s i s t i v e   nav i gat i on   de v i c e   f or   t h e   v i s ua l l y     ( Mahm ud  H a f e e z   O w ol abi )   557   G P S   s uppo r t s   n a v i g a t i o n .   P r o c e s s e i n f o r m a t i o i s   de l i v e r e t o   t h e   us e t hr o ug T T S   a n d   ha pt i c   f e e d b a c k,   e n a b l i ng  r e a l - t i m e   s i t u a t i o n a l   a w a r e n e s s   a nd  e n s u r i ng  s a f e   m ob i l i t y .           F i gu r e   1 .   CA N   f ra m e w o r k       2 . 1 .     D ata   c o l l e c t i o n ,   p r e p r o c e s s i n g ,   an d   au gm e n tati o n   T h e   o bj e c t   r e c o gn i t i o n   s y s t e m   b e ga n   w i t h   b ui l d i n a   c us t o m   d a t a s e t   t a i l o r e t o   t h e   U n i v e r s i t y   of  Il o r i c a m pus .   I m a ge s   w e r e   c a p t u r e a t   v a r i o us   l o c a t i o n s ,   fo c us i n o ke y   ob s t a c l e s   t ha t   po s e   s i gni f i c a n t   na v i ga t i o na l   c h a l l e n ge s   f o v i s ua l l y   i m p a i r e i n d i v i dua l s ,   s u c a s   c a r s ,   pe de s t r i a n s ,   po t h o l e s ,   s t a i r c a s e s ,   a nd  e n t ra n c e s .   T o   i n c r e a s e   di v e r s i t y ,   c o n t e xt ua l l y   r e l e v a nt   i m a g e s   f r o m   t h e   i nt e rn e t   w e r e   a d de d.   A   t o t a l   o f   896  i m a ge s   w e r e   ga t h e r e d,   s pa nni n g   15   o b j e c t   c a t e go r i e s ,   i n c l u di n a   s t o s i g n,   pe r s o n,   b i c y c l e ,   b us ,   t r uc k ,   c a r,   m o t o r b i ke ,   r e f l e c t i ve   c o n e ,   a s h c a n ,   w a rni n g   c o l um n ,   s p he r i c a l   r o a db l o c k,   po l e ,   do g,   t ri c y c l e ,   a n f i r e   h y dr a nt .   T h e   d a t a s e t   w a s   upl o a de d   t o   R o bof l ow   f o r   p r e p ro c e s s i n g,   a s   i l l us t r a t e i F i gu r e   2 .   T hi s   s t a ge   i n v o l ve c l e a n i ng,   a nn o t a t i n g ,   a ug m e n t i n g,   a n d   r e s i z i n g   i m a ge s   t o   e n s u r e   c o m pa t i b i l i t y   w i t Y O L O 11 - n .     T h e   da t a s e t   w a s   pa rt i t i o n e d   i nt o   t r a i n i ng,   v a l i da t i o n,   a n d   t e s t   s ub s e t s   i a 80 : 10: 10  s p l i t .   A ugm e nt a t i o t e c hn i q ue s   s uc h   a s   r a ndo m   r o t a t i o n s ,   f l i ppi ng,   s c a l i ng,   b r i g ht n e s s   a dj us t m e n t s ,   a nd  n o i s e   i n j e c t i o n   e xpa n de d   t h e   t r a i n i ng  da t a s e t   f r o m   716  t o   2, 398  s a m p l e s ,   i n c r e a s i ng  f e a t ur e   di v e r s i t y   a n r e duc i n g   s e n s i t i v i t y   t v a r i a t i o n s   i n   i l l u m i na t i o n ,   po s e ,   a nd  s c a l e .           F i gu r e   2 .   B o un di ng  b o a nn o t a t i o n   f o r   o b j e c t   la b e l i n g       2 . 2 .     M o d e l   t r ai n i n g ,   fi n e - tu n i n g,   an d   o u tp u c l as s i f i c at i o n   T h e   Y O L O 11 - n   w a s   a do pt e d   a s   t h e   de t e c t i o m o de l ,   p rov i di n g   s upe ri o a c c ura c y ,   s pe e d,   a n d   e ff i c i e n c y   c o m pa r e d   t o   p r i o r   Y O L O   a r c h i t e c t ur e s   [2 6] .   T h e   c o n vo l ut i o n a l   n e u r a l   n e t w o r k   (C N N i s   a   ge n e r a l   de e l e a rni n g   a r c h i t e c t ur e   us e f o r   i m a ge   p r e p r o c e s s i n g ,   f e a t u r e   de t e c t i o n ,   s e gm e n t a t i o n ,   3D   r e c o n s t r uc t i o n ,   ob j e c t   r e c o gn i t i o n,   a nd   m o t i o n   a na l y s i s   [27] ,   t h e   m o de l   i s   t ra i n e d   o ra w   da t a ,   c a pi t a l i z i n g   o i t s   a b i l i t y   t o   pr o c e s s   t i m e   s e r i e s   a n d   a u t o n o m o us l y   e xt r a c t   c o m pl e p a t t e rn s   t hr o ug c o n v o l ut i o n a l   a n d   po o l i ng  l a y e r s   [9],   [10] ,   w h e r e a s   Y O L O   i s   a   CV   m o de l   w i t a   s pe c i a l i z e d   o b j e c t   de t e c t i o n   a l go ri t hm   b ui l t   o n   CN N   p ri n c i pl e s .   T h e   m o de l   w a s   f i n e - t u n e o t h e   c us t o m   o b j e c t - de t e c t i o n   d a t a s e t   f o l l ow i n g   t ra n s f e r   l e a rni n g.   T r a i ni n g   w a s   pe r f o r m e us i n g   t h e   U l t r a l y t i c s   f r a m e w o r k,   w h i c i nt e gra t e s   a o pt i m i z e d   p i pe l i n e   w i t i m p r o v e d   a ugm e nt a t i o n s   a n d   m o r e   s t a b l e   c o n v e r ge n c e   b e h a v i o r   o n   Y O L O v 11  t h a e a rl i e r   Y O L O   r e l e a s e s .   T h e   m o de l   w a s   t r a i n e a t   a   r e s o l ut i o o f   640 × 6 40   f o r   10 0   e po c h s ,   w i t a   b a t c s i z e   o f   32   a nd   a   l e a rni ng  ra t e   o f   0. 00 1.   P e r f o r m a n c e   w a s   t r a c ke v i a   l o s s   c ur v e s ,   p r e c i s i o n ,   r e c a l l ,   a n d   m e a a v e ra ge   p r e c i s i o n   (m A P m e t ri c s ,   a l l   of  w h i c h   s h o w e c o n s i s t e nt   i m p r o v e m e n t s   i de t e c t i o n   a c c ura c y .   A f t e r   t ra i ni n g ,   t h e   m o de l   w a s   e xpo r t e f r o m   P y T o r c h   t o   t h e   o pe n e u r a l   n e t w o r e xc ha n ge   (O N N X )   f orm a t ,   t h e c o n v e r t e t o   t h e   n o v e l   c o n v o l ut i o n a l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 555 - 56 7   558   n e u r a l   n e t w o r (N CN N f o r m a t   f o r   o pt i m i z e d   de pl oy m e n t   o n   e m b e dde h a r dw a r e ,   s uc h   a s   t h e   R a s pb e rr y   P i ,   e n a b l i ng  f a s t e r   i n f e r e n c e   a nd  r e duc e m e m o r y   us a ge .   T h e   f i ne - t u n e m o de l   w a s   de p l o y e o t h e   e d ge   de v i c e   a nd   i nt e g ra t e i a   P y t h o n   s c ri pt   (o b j e c t _de t e c t i o n. py )   t o   p r o c e s s   l i v e   v i de o   f r o m   t h e   P i   c a m e ra .   I t   ge n e ra t e d   b o u nd i ng   b o xe s   a nd   l a b e l s   pe f ra m e ,   w i t us a b i l i t y   e nha nc e m e nt s :   de t e c t i o n s   b e l o w   50 %   c o n f i de n c e   w e r e   d i s c a rde d ,   a s   i l l u s t ra t e d   i T a b l e   1 ;   a   c a p   o f   t hre e   o b j e c t s   pe f ra m e   m i ni m i z e d   c o g ni t i v e   l o a d ;   a nd   a   T T S   m o d u l e   de l i v e r e d   r e a l - t i m e   a u d i o   de s c ri pt i o n.       T a b l e   1 .   F a c t o r s   a f fe c t i n g   t h e   c h o i c e   of   c o n f i de n c e   t hr e s h o l d   Co n f i d e n c e   ra n g e   ( % )   O b j e c t s   d e t e c t e d   p e s e c o n d   Co n f i d e n c e   l e v e l   K e y   ri s k   0 29   1 5   L o w   M i s l e a d i n g   fe e d b a c k ,   s a fe t y   c o m p r o m i s e d   30 49   1 0   L o w   U s e m i s l e d   d u e   t o   p o o r   re l i a b i l i t y   50 59   ≤5   H i g h   A c c u ra t e ,   b a l a n c e d   fe e d b a c k ;   a v o i d s   o v e rl o a d   60 79   1 2   V e r y   h i g h   M i s s e d   o b s t a c l e s     c o l l i s i o n   ri s k   80 1 0 0   ≤1   E x t r e m e l y   h i g h   D e l a y e d   s c a n n i n g     c o l l i s i o n   ri s k       2 . 3   D i s tan c e   m e as u r e m e n (o b s tac l e   av o i d an c e m o d u l e   T h e   H C - S R 04  s e n s o o pe r a t e s   b y   t ra n s m i t t i n g   a u l t ra s o n i c   pul s e   a n d   m e a s u r i ng  t h e   t i m e   i nt e r v a l   b e t w e e n   t h e   t ra n s m i s s i o n   a nd  t h e   e c h o s   r e t u rn   t o   de t e r m i n e   di s t a n c e   a s   e xp r e s s e i n   (1) .   D u r i ng  c a l i b r a t i o n ,   ra w   di s t a n c e s   i c e nt i m e t e r s   m e a s u r e b y   t h e   s e n s o r,   a s   g i v e n   i n   (2),   w e r e   c o m pa r e w i t h   a c t ua l   d i s t a n c e s   m e a s u r e w i t h   a   m e a s u ri n g   t a pe .       =   × 2   (1)     H e r e ,     i s   t h e   s pe e o f   s o un i a i (≈   343   m / s ).   I p ra c t i c e ,   t hi s   i s   i m pl e m e n t e d   a s   i (2) .        (  ) =           17150   (2)     U s i ng   t h e   e qu a t i o o f   a   s t ra i g ht   l i n e   a s   e x p re s s e d   i ( 3 ) ,   w h e re     i s   t he   u n c a l i b ra t e d   s e n s o o u t p u t   d i s t a nc e ,     i s   t h e   re a l   d i s t a nc e   us i ng   a   m e a s u ri ng   t a pe ,   ̂   i s   t h e   s l o pe   de f i ne d   i ( 4) ,   a nd   ̂   i s   t he   i nt e r c e p t   a s   de f i n e d   i ( 5) .     =   ̂ +   ̂   (3)     ̂   =    ( ) 2 2 = 0 . 957977     (4)     ̂   =    2 ( ) 2 2 =   0 . 82879   (5)     T h e   c a l i b r a t e s e n s o r   o ut pu t ,   ̅   i s   t h us   e xp r e s s e a s   i (6)   f r o m   (3 a n d   r e a rra n ge i n   ( 7)  b y   s u b s t i t ut i ng  (2),   (4),   a n d   (5) .     ̅ = Y   ̂ ̂   (6)     ̅ = ( 17902 . 309   ×       ) + 0 . 86514423   (7)     In  (7) ,   t h e   di s t a n c e   s e n s o r   o ut pu t   i s   de r i v e f r o m   ( 2) - ( 6 a n d   i m pl e m e nt e i t h e   ha r dw a r e   i n t e g ra t e de ve l o pm e n t   e n v i r o nm e n t .   T h e   di s t a n c e   i s   m e a s u r e i c m .   T o   m i ni m i z e   us e c o gn i t i v e   l o a d ,   s e n s o d a t a   w e r e   p r e p r o c e s s e d:   ob j e c t s   b e y o n 300  c m   w e r e   i g n o r e d,   a s   t h e y   po s e   n o   i m m e di a t e   ri s k,   w h i l e   t h o s e   b e t w e e n   100 300  c m   t ri gge r e s pe e c h e s   di s t a n c e   a l e r t s   ( A o bj e c t   i s   1   m   a n d   35   c m   i n   f r o n t   o f   y o u” ).     F o r   o b j e c t s   c l o s e r   t h a 100   c m   b ut   m o r e   t ha 50   c m ,   t h e   s y s t e m   a c t i v a t e d   a   5   H z   p r o xi m i t y - b a s e b e e pi n g ,   w h i l e   t h e   f r e que n c y   i n c r e a s e t o   10  H z   w i t t h e   o bj e c t s   di s t a n c e   l e s s   t ha 50  c m .   T h e   di s t a n c e   a l e rt   ( A   i s   m a t h e m a t i c a l l y   e xpr e s s e i n   (8 ).     A = { 0  ( )  ( 5      )  ( 10      ) |                                      > 300     :   100    <   300         50    < 100                                                 50    }   (8)   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L o w - c os t   r e a l - t i m e   c am p us   as s i s t i v e   nav i gat i on   de v i c e   f or   t h e   v i s ua l l y     ( Mahm ud  H a f e e z   O w ol abi )   559   2 . 4   O f fl i n e   m ap   e x tr ac t i o n   an d   p r o c e s s i n g   T o   s uppo r t   o f f l i n e   us e ,   t h e   n a v i ga t i o n   s y s t e m   ut i l i z e s   a   s t r e a m l i n e d   O pe n S t r e e t M a (O S M )   d a t a s e t   fo c us e s o l e l y   o n   t h e   U n i v e r s i t y   of   Il o r i c a m pus ,   a s   s h o w i F i gu r e   3 .   T h e   da t a s e t   w a s   s o ur c e f r o m   a nd  r e f i n e d   us i ng   t h e   O S M   e xpo rt   t o o l ,   m i n i m i z i n g   f i l e   s i z e   a n d   o pt i m i z i ng   pe r f o r m a n c e .   A   da t a b a s e   o f   G P S   c oo r di n a t e s   f o r   ke y   c a m pus   l a ndm a r ks ,   s uc a s   a d m i ni s t ra t i v e   off i c e s ,   l e c t u r e   ha l l s ,   t h e   l i b r a r y ,   h o s t e l s ,   a nd  r e l i gi o us   a nd  r e c r e a t i o n a l   c e n t e r s ,   us i ng  f i e l d   da t a   f r o m   a   N E O - 6M   G P S   m o dul e   a n d   v a l i da t e a ga i n s t   O S M   t o   e n s u r e   a c c u r a c y ,   e s pe c i a l l y   fo r   t h e   v i s ua l l y   i m pa i r e d.   T h e   na v i ga t i o g r a p i s   b ui l t   o ge o gr a p hi c   c oo r di n a t e s ,   w i t l a n d m a rks   a s   n o de s   a nd   c o nn e c t i n g   pa t hs   ( r o a ds   a n d   w a l kw a y s a s   e dge s .   E a c e dge   i s   w e i ght e by   ph y s i c a l   di s t a n c e   b e t w e e n   n o de s ,   c o m put e us i n g   t h e   H a v e r s i n e   f o r m ul a   g i v e n   i (9)   t o   de t e r m i n e   g r e a t - c i r c l e   d i s t a n c e s   o t h e   E a r t h.           F i gu r e   3 .   U ni v e r s i t y   of   Il o r i o ff l i n e   m a w i t m a j o r   l a n d m a r ks       = 2R   si n 1 ( 2 ( ø 2 )     +   c o s 1   c o s 2   2 ( λ 2 ) )   (9)     T h e   H a v e r s i n e   f o r m ul a   i (9)   c a l c ul a t e s   t h e   d i s t a n c e     b e t w e e n   t w o   po i n t s   us i ng  E a rt h s   r a d i us   (R   ≈  6 371  km ),   l a t i t u de   ( ),   a nd  l o n gi t ude   ) .   T h i s   di s t a n c e - w e i gh t e gra p e na b l e s   D i j ks t ra s   a l go r i t h m   t o   c o m put e   o pt i m a l   r o ut e s   f r o m   t h e   us e r s   l o c a t i o t o   a   t a r ge t   de s t i na t i o n.   D u ri n g   na v i ga t i o n,   r e a l - t i m e   G P S   c oo r di na t e s   a r e   m a t c h e w i t h   r e f e r e n c e   n o de s   t o   ge n e r a t e   s t e p - by - s t e i ns t ruc t i o n s ,   s uc h   a s   P r o c e e 30  m   f o r w a r d,   t h e t u rn  n o rt t o w a r ds   t h e   l i b r a r y .   F i gu r e   di s pl a y s   t h e   o ff l i n e   m a p   o f   t h e   U ni v e r s i t y   of   Il o ri n ,   hi g h l i g ht i n g   ke y   l a n d m a rks   a c r o s s   t h e   c a m pus   t o   e s t i m a t e   t h e   d i s t a n c e   b e t w e e t w o   l o c a t i o n s .     2 . 4 . 1.   R o u te   d e fi n i t i o n   an d   o p ti m al   p ath fi n d i n g   N a v i ga t i o n   f r o m   a   us e r - de f i n e s t a rt   t o   t h e   de s t i na t i o n   w a s   p e r f o r m e us i n D i j ks t r a s   A l go r i t h m   o n   t h e   c a m pus   g r a p t o   c o m put e   t h e   s h o rt e s t - w e i gh t   p a t h,   a s   p r e s e nt e i (10) .   T h e   s y s t e m   t h e t ra n s l a t e d   t hi s   o pt i m a l   r o ut e   i n t o   s t e p - by - s t e di r e c t i o n s ,   s i m i l a t o   s t a n d a r d   G P S   p r o m pt s   (e . g . ,   A f t e r   20   m ,   t ur n or t h ).     [ ] = mi n   ( [ ] , [ ] + ( , ) )   (10)     W h e r e   n o de   (v i s   t h e   c u rr e n t   s h o r t e s t   k n o w n   c a m pus   r o ut e   f r o m   t h e   s o ur c e   t o   t h e   de s t i na t i o n,   n o de   (u)   i s   t h e   s h o rt e s t   k n o w n   c a m pus   r o ut e   t o   a   l o c a t i o (e . g . ,   h o s t e l s ,   l e c t ur e   ha l l s ,   l i b r a r y ),   a n w e i g h t   (w i s   t h e   di s t a n c e   b e t w e e n   t w o   po i n t s ,   c o m put e d   us i n g   t h e   H a v e r s i n e   f o r m u l a .   N a v i ga t i o b e gi n s   w i t t h e   us e s t a rt i n g   a   de s t i na t i o v i a   t h e   S P H 0645L M 4H   m i c r o p h o n e .   T h e   s pe e c h   i s   t r a n s c r i b e by   V os k,   a o f f l i n e ,   R a s pb e rr y   P i - f r i e ndl y   s pe e c h - to - t e xt   e n g i n e   i n c l ude i n   t h e   s y s t e m s   di r e c t o r y .   T h e   s y s t e m   t h e m a ps   t h e   r e c o gn i z e d   l o c a t i o n   t o   c a m pus   c o o r di na t e s   a n d   f e e ds   t h e m   i n t o   t h e   pa t h f i n di ng  a l go r i t h m   t o   c o m put e   t h e   o pt i m a l   r o ut e .   A f t e r w a r ds ,   t h e   n a v i g a t i o n   i n s t r uc t i o n s   a r e   f i r s t   ge n e ra t e d   a s   t e xt   (e . g . ,   P r o c e e s t r a i g h t   f o r   50   m ,   t h e t u rn  l e f t )   a nd   c o n v e r t e t o   s pe e c h   us i n g   t h e   e S pe a TTS   e n gi n e ,   de l i v e r e v i a   e a r p h o n e s .   T o   a v o i o v e r w h e l m i n g   t h e   us e r,   upd a t e s   a r e   t r i gge r e d   i n c r e m e nt a l l y   b a s e o n   G P S   (N E O - 6M )   l o c a t i o c ha n ge s ,   p r o m pt i n t h e   n e xt   i n s t r uc t i o n   a f t e r   e a c h   p a t s e gm e n t   i s   c o m pl e t e d.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 555 - 56 7   560   2 . 5   Th e   C A N   p r o to typ e   d e v e l o p m e n t   T h e   CA N   p r o t o t y pe s   h a r dw a r e ,   s h o w n   i F i gu r e   4 ,   i s   b ui l t   a r o u n d   t h e   R a s pb e rr y   P i   m o de l   B   w i t 8G B   of   R A M ,   s e l e c t e fo r   i t s   l o w - pow e r   A I   p r o c e s s i n c a p a b i l i t i e s .   K e y   pe r i p h e r a l s   i n c l ude   a   P i   c a m e r a   v 2,   a n   H C - S R 04  ul t ra s o n i c   s e n s o r ,   a   s pe a ke r,   a n a   G P S   m o dul e ,   e n a b l i n g   o b j e c t   de t e c t i o n ,   o b s t a c l e   de t e c t i o n ,   a udi o   f e e db a c k,   a n d   o ff l i n e   na v i ga t i o n.   Co m po n e n t s   w e r e   s e l e c t e f o r   a f fo r da b i l i t y ,   e ff i c i e n c y ,   a n d   po r t a b i l i t y ,   s ui t a b l e   f o r   w e a r a b l e   t e c hn o l o g y .   T h e   s y s t e m   i s   e s t i m a t e t o   c o n s um e   a b o ut   14. W / h o u r   a nd  i s   pow e r e by   a   20  A h,   63  W b a t t e r y ,   e n s u r i ng  a t   l e a s t   4   h o ur s   o f   c o n t i nuo us   us e .           F i gu r e   4 .   CA N   de v i c e   c i r c ui t   i m pl e m e nt a t i o n       U po a c t i v a t i ng   t he   CA N   de v i c e ,   t he   us e s pe c i f i e s   t h e   de s t i na t i o n.   T he   c a m e ra   s c a n s   t he   s u rr o u nd i ngs ,   a nd   ne a r b y   v i s u a l s   a re   v o c a l i s e d   v i a   t he   s pe a ke b e f o r e   na v i g a t i o b e g i ns .   A s   t he   us e m o v e s ,   t h e   s y s t e m   de t e c t s   o b s t a c l e s   i re a l   t i m e   a nd   p r o v i de s   a ud i o   c ue s   a t   G P S   c h e c kpo i nt s   t o   e ns u re   r o ut e   a l i g nm e nt ,   a s   o ut l i n e d   i t he   f l o w c ha rt   i n   F i g u r e   5 .   F i g u r e   6   s h o w s   t h e   CA N   de v i c e   p r o t o t y pe ,   h o us e d   i l i g ht w e i g ht ,   e a s y - to - s ha pe   f o a m b o a rd   f o w e a ra b l e   us e .   I t s   de s i g e ns u r e s   c o m f o rt ,   w i t a   f i t   s i m i l a t o   a   f a c e   m a s k .           F i gu r e   5 .   F l o w c h a r t   o f   CA N   de v i c e   pr o c e s s e s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L o w - c os t   r e a l - t i m e   c am p us   as s i s t i v e   nav i gat i on   de v i c e   f or   t h e   v i s ua l l y     ( Mahm ud  H a f e e z   O w ol abi )   561       F i gu r e   6 .   P a c k a gi ng  o f   t h e   CA N   de v i c e   pr o t o t y pe       3.   R ES U LTS   A N D   DISCUSSIO N   T h e   CA N   de v i c e   w a s   e v a l ua t e o n   t hr e e   ke y   f un c t i o n s :   o bj e c t   r e c o gn i t i o n ,   o b s t a c l e   di s t a n c e   m e a s u r e m e nt ,   a n d   n a v i g a t i o n .   E a c h   m o dul e   w a s   t e s t e s e pa r a t e l y ,   t h e n   c o m b i n e d   a n d   a s s e s s e a s   a   c o m pl e t e   w e a ra b l e   s y s t e m .   T h e   t ra i ni n g   p r o c e s s   s uppo r t i n g   t h e   o b j e c t   r e c o gn i t i o m o dul e   w a s   c o n f i gu r e w i t 1 00  e poc h s ,   a   b a t c h   s i z e   o f   32,   a nd  a   l e a rni n g   r a t e   o f   0. 001,   e n s u ri n s t a b l e   c o n v e r ge n c e   a n r e l i a b l e   pe r f o r m a n c e   a c r o s s   t h e   e v a l ua t i o n   t a s ks .     3. 1 .     O b j e c t   r e c o gn i t i o n   p e r fo r m an c e   T h e   Y O L O 11‑ m o de l ,   t ra i n e d   o t h e   U ni v e r s i t y   of   Il o ri da t a s e t ,   de m o n s t ra t e d   s t r o ng  pe r f o r m a n c e   i n   b o t t ra i ni n g   a n d   t e s t i n g .   A s   s h o w n   i F i gu r e   7 ,   t h e   c o n s i s t e n t   de c l i n e   i l o s s   v a l ue s   a l o n gs i de   r i s i n g   m A P   r e f l e c t s   e ffe c t i ve   l e a rn i ng  a n d   ge n e ra l i z a t i o n .   I t s   a c c u r a c y ,   e ff i c i e n c y ,   a n d   r a pi d   c o n v e r ge n c e   hi g h l i g ht   i t s   s ui t a b i l i t y   f o r   e dge   de pl o y m e n t   o t h e   R a s pb e rr y   P i   4 ,   e n s u ri n g   p r e c i s e   de t e c t i o a n d   r o b us t   pe r f o r m a n c e   o n   un s e e d a t a .   D uri n t r a i n i ng,   Y O L O 11 - n   e x hi b i t e c o n s i s t e nt   c o n v e r ge n c e   a c r o s s   a l l   l o s s   f un c t i o n s .   T h e   b o l o s s   (F i g u r e   7 ( a ) box ( ) d r o ppe f r o m   ~ 0. 0 t o   ~ 0. 01,   s h o w i n i m p r o v e bo un di n g - b o l o c a l i z a t i o n   a s   e xpr e s s e i (11) .   T h e   o b j e c t n e s s   l o s s   ( F i gu r e   7 ( b ) obj ( ) de c re a s e f r o m   ~ 0. 0 25   t o   ~ 0. 00 5,   r e f l e c t i n g   s t r o n ge c o n f i de n c e   i o b j e c t   de t e c t i o n   a s   s h o w n   i ( 12 ).   T h e   c l a s s i f i c a t i o l o s s ,   a s   de pi c t e d   i (1 3)    (F i gu r e   7 ( c ) c ls ( ) f e l l   f r o m   ~ 0. 02  t o   < 0 . 002 ,   i n di c a t i n g   e nha nc e l a b e l i n g   p r e c i s i o n .   E a c h   l o s s   f un c t i o n   de c r e a s e s   m o n o t o n i c a l l y   a s   t h e   t ra i ni n g   p r o gr e s s e s .     box  < 0 ,                 b o x ( ) : 0 . 08 0 . 01           (11)         obj  < 0 ,               o b j ( ) : 0 . 025 0 . 005     (12)     c l s  < 0 ,                     c ls ( ) : 0 . 02 0 . 002   (13)     T h e   t o t a l   t r a i n i ng  o b j e c t i v e   c o m b i n e s   t h e s e   co m po n e n t s ,   a s   e xpr e s s e i (14 ):     to tal ( ) = b o x ( ) + o b j ( ) + c ls ( )   (14)     w h e r e   , ,   a r e   w e i ght i n g   c o e ff i c i e n t s   b a l a n c i ng   l o c a l i z a t i o n ,   de t e c t i o n   c o n f i de n c e ,   a nd  c l a s s i f i c a t i o n   a c c ur a c y .   A s   t ra i ni n p r o gr e s s e s ,   t h e   t o t a l   l o s s   c o n v e r ge s   a s   s h o w n   i (15 ) .     l i m   to tal ( ) m in     (15)     Y O L O 11 - de m o ns t ra t e d   s t r o ng   t ra i ni ng   a nd   ge n e ra l i z a t i o n   p e r f o rm a nc e .   F i gu re   7 ( d ) pr e c i s i o n   r e a c he d   ~ 0 . 95 ,   i nd i c a t i ng   f e w   f a l s e   po s i t i v e s ,   a s   e x p r e s s e d   i ( 16 ) ,   w hi l e   F i g u re   7 ( e ) re c a l l   a pp ro a c h e d   1 . 0 ,   c o n f i rm i ng   m i ni m a l   m i s s e d   de t e c t i o n s ,   a s   e x p r e s s e d   i ( 17 ) w h e re   T P ,   F P ,   a nd  F N   de n o t e   t ru e   po s i t i v e ,   f a l s e   po s i t i v e ,   a nd   f a l s e   ne g a t i v e   de t e c t i o n s ,   r e s pe c t i v e l y .   O t he   v a l i d a t i o d a t a ,   F i g u r e   7 ( f )   s h o w s   t ha t   t h e   b o l o s s   de c re a s e d   f r o m   0 . 0 25   t o   < 0 . 01 ,   a nd   F i g u r e   7 ( g )   s h o w s   t ha t   t he   o b j e c t n e s s   l o s s   de c re a s e d   f ro m   0 . 0 17   t o   ~ 0 . 00 5 ,   i nd i c a t i ng  r e l i a b l e   l o c a l i z a t i o n   a nd   de t e c t i o o u ns e e s a m p l e s ,   a s   s ho w n   i ( 1 8 )   a nd   ( 19 ) ,   r e s pe c t i v e l y :     =   +  0 . 95     (16)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 555 - 56 7   562   =   +  1 . 0     (17 )     v a l, b o x  < 0 ,                   v a l, b o x ( ) : 0 . 025 0 . 01     (18)     v a l, o b j  < 0 ,                   v a l , o b j ( ) : 0 . 017 0 . 005     (19)     T h e   t o t a l   v a l i da t i o o b j e c t i ve ,   ob t a i n e by   c o m b i n i ng  (1 8)  a n d   (19) ,   i s   g i v e n   by   (20).   A s   t r a i n i ng  p r o g r e s s e s ,   t h e   t o t a l   l o s s   o n   t h e   v a l i d a t i o d a t a   c o n v e r ge s ,   a s   s h o w n   i (2 1) .     v a l, to t a l ( ) = v a l, b o x ( ) + v a l, o b j ( )     (20)     l i m   v a l, to tal ( ) m in     (21)     Y O L O 11 - n - na n o v a l i d a t i o pe r f o r m a n c e   c o n f i rm s   r o b us t   c l a s s i f i c a t i o a nd  de t e c t i o a c c ur a c y .   T h e   v a l i da t i o c l a s s i f i c a t i o n   l o s s   ( F i gu r e   7 ( h ) v a l, c ls ( ) s h o w s   a   f l uc t ua t i n g   b ut   do w n w a r t r e n d ,   s t a b i l i s i ng  n e a 0. 002 ,   i n d i c a t i ng  r e l i a b l e   c l a s s i f i c a t i o n   o n   u n s e e n   d a t a ,   a s   e xpr e s s e i (22) .   T h e   m A P   a t   i n t e r s e c t i o n   o v e r   uni o n   (Io U 0. 5   (F i g u r e   7 ( i ) m A P 0 . 5 qui c kl y   e xc e e ds   0. 9,   a s   s h o w n   i (23) ,   r e f l e c t i n g   h i g h   de t e c t i o a c c ur a c y   un de r   l e ni e n t   o ve r l a r e qu i r e m e nt s ,   w h i l e   ( F i g u r e   7 ( j ) ,   s t ri c t e r   m A P @ 0. 5: 0 . 95)   s t a b i l i s e s   a r o u n d   0. 8   a n a b ov e ,   a s   e xpr e s s e d   i n   ( 24),   de m o n s t r a t i n g   s t r o ng  l o c a l i z a t i o n   a n d   c l a s s i f i c a t i o n   e v e n   u n de r   c ha l l e n g i n g   t hr e s h o l ds .     v a l, c ls  < 0 ,               v a l, c ls ( ) 0 . 002     (22)     m A P 0 . 5 > 0 . 9     (23)     m A P 0 . 5 : 0 . 95 0 . 8 +     (24 )         (a )   (b )   (c )   (d)   (e )               (f )   (g)   (h )   (i )   (j )     F i gu r e   7 .   Y O L O 11 - t ra i ni n g   g r a p h   s h o w i n g   pe r f o r m a n c e   m e t r i c s   a c r o s s   e poc h s ( a )   t ra i ni n g   b o l o s s ,   (b t r a i ni n g   o b j e c t n e s s   l o s s ,   (c t ra i ni n g   c l a s s i f i c a t i o l o s s ,   (d)   p re c i s i o n ,   (e )   r e c a l l ,   (f v a l i da t i o n   b o l o s s ,   (g)   v a l i da t i o o b j e c t n e s s   l o s s ,   ( h v a l i d a t i o n   c l a s s i f i c a t i o n   l o s s ,   ( i m A P @ 0 . 5 ,   a n d   (j m A P @ 0 . 5: 0 . 95 .       In  s um m a r y ,   Y O L O 11‑ n n a n o   l e a rn e a n ge n e r a l i z e d   w e l l ,   w i t h   s m o o t h l y   c o n v e r gi n g   l o s s e s   a n d   n o   o v e r f i t t i n g.   P r e c i s i o n   ( ~ 0 . 95) ,   r e c a l l   ( ~ 1. 0),   a nd  c o n s i s t e nt l y   h i g m A P   s c o r e s   (> 0. a t   Io U   0. 5,   > 0. 8   a t   s t ri c t e t hr e s h o l ds )   c o n f i rm   r o b us t   l o c a l i z a t i o n   a nd  c l a s s i f i c a t i o n,   a n d   r e l i a b l e   r e a l ‑t i m e   de t e c t i o n   i n   c h a l l e n gi ng  c o n d i t i o n s .   F i gu r e   8   s h o w s   l a b e l e d   de t e c t i o n s   di s pl a y e o n   a   m o ni t o r   v i a   R a s pb e r r y   P i ,   w hi l e   F i gu r e   9   i l l us t ra t e s   s uc c e s s f ul   o bj e c t   r e c o gn i t i o n   a t   55%   c o n f i de n c e   i l o w - l i g h t   c o n di t i o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       L o w - c os t   r e a l - t i m e   c am p us   as s i s t i v e   nav i gat i on   de v i c e   f or   t h e   v i s ua l l y     ( Mahm ud  H a f e e z   O w ol abi )   563       F i gu r e   8 .   R e a l ‑t i m e   o b j e c t   de t e c t i o n   o n   R a s pb e rr y   P i   w i t b oundi n g   b o xe s   a n d   c l a s s   l a b e l s   i n   b ri g h t   c o n di t i o n s           F i gu r e   9 .   R e a l ‑t i m e   o b j e c t   de t e c t i o n   o n   R a s pb e rr y   P i   w i t b oundi n g   b o xe s   a n d   c l a s s   l a b e l s   i l o w ‑l i g h t   c o n di t i o n s       3. 2 .     O b s ta c l e   d i s t an c e   m e as u r e m e n t   T h e   H C - S R 04  ul t ra s o n i c   s e n s o r   w a s   c a l i b ra t e d   w i t h   m i ni m a l   e rr o r   ( < 2%)   a n c l o s e l y   m a t c h e t a pe - m e a s u r e di s t a n c e s   (F i gu r e   10) .   A c c ura t e   r e a d i n gs   a r e   v i t a l   f o r   o b s t a c l e   a vo i da n c e .   D u r i n g   t e s t s ,   t h e   f e e d b a c s y s t e m   f un c t i o n e d   r e l i a b l y :   s pe e c h   a l e rt s   a nn o u n c e o b j e c t s   de t e c t e a t   di s t a n c e s   o f   100  t o   30 c m ,   w h i l e   o b s t a c l e s   c l o s e r   t ha 100   c m   a c t i v a t e v a r i a b l e - f r e que n c y   be e ps   i n   r e a l   t i m e .           F i gu r e   10 .   D i s t a n c e   m e a s u r e m e n t s   c o m pa ri s o b e t w e e n   t h e   m e a s u r i n g   t a pe   a n d   t h e   s e n s o o ut put     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   43 ,   N o .   2 ,   A ugus t   20 26 555 - 56 7   564   3. 3   N av i gati o n   as s i s tan c e   L i v e   t e s t s   s h o w e t h a t   t h e   N E O - 6M   G P S   m o dul e   a c h i e v e d   a   ± 1. 5   m   a c c u r a c y ,   w h i c i s   s uf f i c i e n t   fo gui d i n g   us e r s   b e t w e e n   c a m pus   l a n d m a rks .   e S pe a k - ge n e r a t e v o i c e   c o m m a n ds   l i ke   P r o c e e 30  m   fo r w a r d ,   t h e t u rn  n o rt h ,   o ff e r e c l e a r,   s t e p - by - s t e n a v i ga t i o w i t h o ut   o v e r l o a d.   T hi s   c o n f i rm s   t h e   e ffe c t i ve n e s s   of   off l i n e   m a p r e p r o c e s s i n a n d   l i g h t w e i ght   s pe e c h   s y n t h e s i s   f o r   r e l i a b l e ,   i n t e rn e t - f r e e   na v i ga t i o n.   U s i ng  c us t o m   O pe n S t r e e t M a p   da t a   f o r   t h e   U ni v e r s i t y   of   Il o r i n,   l a ndm a r ks   w e r e   m a ppe a s   g ra p n o de s ,   e n a b l i ng  e f f i c i e n t   r o ut i n g   v i a   D i j ks t r a s   A l go r i t hm .   F i gu r e   11   i l l us t r a t e s   s a m pl e   p a t h s ,   w i t h   r e d   l i n e s   m a r k i n g   pe de s t ri a r o ut e s .   A s   us e r s   m o v e d,   G P S   po i nt s   w e r e   l o gge i t h e   R a s pb e r r y   P i s   m e m o r y   a n d     l a t e v i s ua l i s e a s   s h o w n   i F i gu r e   1 1.   T h e   f i n a l   p r o t o t y p e   i n t e g ra t e a l l   m o dul e s   i n t o   a   c o m pa c t     w e a ra b l e   u n i t   po w e r e by   a   2 A U S B   pow e r   b a n k   ( F i gu re   6).   I f i e l d   t e s t s ,   i t   r e l i a b l y   de t e c t e ob s t a c l e s ,   de l i v e r e r e a l - t i m e   a l e r t s ,   a n d   gui de us e r s   w i t c l e a r   a u di o   p r o m pt s ,   b o os t i ng  s a f e t y   a n d   i nd e pe n de n t   na v i ga t i o n.           F i gu r e   11 .   P e de s t r i a n   pa t h s   a t   di f f e r e n t   i n s t a n c e s   o f   t e s t i n g       4.   C O N C LU S I O N   T h e   CA N   s y s t e m   e ffe c t i ve l y   a c h i e v e i t s   o b j e c t i ve s   of   r e a l - t i m e   o b j e c t   de t e c t i o n ,   a d a pt i v e   ob s t a c l e   a v o i da n c e ,   a nd  o f f l i n e   na v i ga t i o n   f o v i s ua l l y   i m p a i r e d   us e rs .   I t s   c o m pa c t ,   w e a ra b l e   de s i g de m o n s t r a t e s   t h e   f e a s i b i l i t y   of   a a f f o r da b l e ,   i nt e rn e t - f r e e   a s s i s t i v e   s o l ut i o n,   l a y i n a   s o l i f o un d a t i o f o r   f ut u r e   de v e l o pm e n t .   H ow e ve r ,   c ha l l e nge s   r e m a i n.   O b j e c t   de t e c t i o n   a c c ura c y   d r o ppe i l o w   l i g h t   due   t o   c a m e ra   l i m i t a t i o n s ,   a nd  G P S   pe r f o r m a n c e   w a s   u nr e l i a b l e   i ndo o r s .   T h e   l a c o f   f i e l t e s t i n g   w i t v i s ua l l y   i m pa i r e us e r s   l i m i t s   i n s i g h t s   i n t o   r e a l - w o r l d   us a b i l i t y .   F ut u r e   i m p r o v e m e n t s   s h o ul d   i n c l ude   l o w - l i g h t   c a m e ra s ,   m o r e   c o m pa c t   ha r dw a r e ,   a n d   e nh a n c e d   n a v i g a t i o us i ng   G P S   c o m b i n e d   w i t i n e rt i a l   m e a s u r e m e nt   u ni t s   (IM U s o i n do o po s i t i o n i n g   m e t h o ds   s uc h   a s   b l ue t o o t h   l o w   e n e r gy   ( B L E ) ,   W i F i ,   o r   l i g ht   de t e c t i o n   a n d   r a ngi n g   ( L i D A R ) .   I n c o r po ra t i n g   na t u ra l - l a ngua ge   a u di o   f e e d b a c a n d   c o n duc t i n g   us e r   t r i a l s   w i l l   b e   e s s e n t i a l   t o   r e f i ni n g   t h e   s y s t e m   a n d   bo os t i n g   i t s   e f fe c t i ve n e s s .   A dd i t i o n a l l y ,   t h e   de v i c e   n e e ds   i m p r o v e m e n t s   i s i z e ,   w e i g h t   b a l a n c e ,   a n d   po w e r   e ff i c i e n c y   fo r   p r o l o n ge d   us e .       F U N D I N G   I N F O R M A TI O N   A ut h o r s   s t a t e   n o   f un d i n g   i n v o l v e d.         Evaluation Warning : The document was created with Spire.PDF for Python.