T E L KO M N I KA  T e lec om m u n icat ion ,   Com p u t i n g,   E lec t r on ics   an d   Cont r ol   Vol.   18 ,   No.   4 Augus t   2020 ,   pp.   1904 ~ 1916   I S S N:  1693 - 6930,   a c c r e dit e F ir s G r a de   by  Ke me nr is tekdikti ,   De c r e e   No:   21/E /KP T /2018   DO I 10. 12928/ T E L KO M NI KA . v18i4. 14318     1904       Jou r n al  h omepage ht tp: // jour nal. uad . ac . id/ index . php/T E L K OM N I K A   S of t w a r e   e n gi n e e r in m od e b ase d  sm a r t  i n d oor     lo c al iz at io n  syste m  u si n g d e e p - le a r n in g       Z ain ab   M oh am m e d   Re s an ,   M u ayad   S ad i k   Cr o oc k   Co mp u t er  E n g i n eer i n g   D e p art me n t U n i v ers i t y   o T ec h n o l o g y - Iraq ,   Bag h d a d ,   Iraq       Ar t icle   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e ived   Oc 12 2019   R e vis e F e 12,   2020   Ac c e pted  M a r   18,   2020       D u r i n g   t h l a s t   fe w   y e ar s ,   t h a l l o c a t i o n   o f   o b j e c t s   o p ers o n s   i n s i d e   a   s p e c i f i building  is   highly   r e qui r e d .   I t   is   we ll   known   th a t   the   glob a l   positioning   syste m   ( G PS c a n n o t   b a d o p t e d   i n   i n d o o e n v i r o n m e n t   d u t o   t h l ac k   o s i g n a l s .   T h e r ef o re,   i t   i s   i m p o r t a n t   t o   d i s c o v er   a   n e w   w a y   t h a t   w o r k s   i n s i d e.     T h e   p r o p o s e d   s y s t em   u s e s   t h d ee p   l e ar n i n g   t e c h n i q u e s   t o   c l a s s i f y   p l ac e s   b a s e d   o n   c a p t u r i n g   i m a g e s .   T h e   p r o p o s e d   s y s t em   c o n t a i n s   t w o   p a r t s :   s o f t w a re   p a r t   a n d   h a r d w a re   p a r t .   T h s o f t w a re  p ar t   i s   b u i l t   b a s e d   o n   s o f t w a re  e n g i n e er i n g   m o d e l   t o   i n cr ea s t h r e l i a b i l i t y ,   f l e x i b i l i t y ,   a n d   s c al a b i l i t y .   I n   a d d i t i o n ,     t h i s   p a r t ,   t h e   d a t a s e t   i s   c o l l e c t e d   u s i n g   t h e   R a s p b e rr y   P i   I I ca me ra   a s   t r a i n i n g   a n d   v a l i d a t i n g   d a t s e t .   T h i s   d a t a s e t   i s   u s e d   a s   a n   i n p u t   t o   t h p r o p o s e d   d ee p   l e a r n i n g   m o d e l .   I n   t h h ar d w ar p ar t ,   R a s p b e rr y   P i   I II   i s   u s e d   f o r   l o a d i n g     t h p r o p o s e d   m o d e l   a n d   p r o d u c i n g   p r e d i c t i o n   re s u l t s   a n d   ca me ra  t h a t   i s   u s e d   t o   c o l l ec t   t h i ma g e s   d a t a s e t .   T w o   w h ee l s ’  ca i s   ad o p t e d   a s   a n   o b j e c t     f o i n t r o d u c i n g   i n d o o r   l o c a l i z a t i o n   p r o j ec t .   T h o b t a i n e d   t r a i n i n g   a cc u ra c y     i s   9 9 . 6 %   f o t ra i n i n g   d a t a s e t   a n d   1 0 0 %   f o v a l i d a t i n g   d a t as e t .   K e y w o r d s :   C NN   De e lea r ning   GPS     I ndoor   loca li z a ti on   R a s pbe r r P i     R oboti c   c a r   S of twa r e   e nginee r ing   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i ce n s e .     C or r e s pon din A u th or :   Mu a ya S a dik  C r ooc k,     De pa r tm e nt  of   C omput e r   E nginee r ing,   Unive r s it of   T e c hnology - I r a q,   Als inaa   S tr e e t,   B a ghda d,   I r a q.   E mail:   M ua ya d. S . C r ooc k@uotec hnology. e du. iq       1.   I NT RODU C T I ON     L oc a li z a ti on  s ys tems   a r e   r e c e ntl a ppe a r e d   to   pr ovide  the   inf o r mation   of   loca ti on   of   di f f e r e nt   objec ts ,   s uc a s   pe ople,   a nim a ls   a nd  thi ngs .   L oc a ti on  f indi ng  is   nor mally   a c quir e by   us in global   pos it ioni ng  s ys tems   ( GPS )   f or   outdoor   e nvir onm e nts .   S ince   GPS   ha s   a   lac o f   the  s ight   li ne   to  s a telli te    a nd  a   lot   of   other   obs tac les ,   it   is   not  wo r king  f or   i ndoor   e nvir onments   [ 1 ] .   T he   loc a li z a ti on   is   ve r y   i mpor tant  f or   the  pa r a lyze pe ople,   a nd  their   f a mi li e s   a s   it   e a s e s   the  li ve   f or   them  a nd  dis plac e s   their   c onc e r ns .     I a ddit ion,   it   s a ve s   ti me  of   s e a r c hing  f or   the  dis a bled  pe r s ons   if   they   we r e   los f o r   a ny   r e a s on.   I [ 2 ] ,   the  a uthor s   s tudi e f inger   pr int ing - ba s e indoor   loca li z a ti on  in  c omm od it 5 - GHz   Wi - F ne twor ks .   T he p r opos e a   s ys tem  c a ll e B iL oc ,   whic us e s   bi - modalit de e lea r ning  f or   loca li z a ti on    in  the   indoor   e nvir on ment  us ing   of f - the - s he lf   W i - F de vice s .   T he   e xpe r im e ntal   r e s ult s   va li da ted   the   s upe r ior   pe r f or manc e   of   B iL oc   ove r   s e ve r a be nc hmar s c he mes .   I [ 3] ,   the  a utho r s   de s igned  a indoor   loc a li z a ti on  s ys tem  ba s e on  c r owe s our c ing ,   whic h   c a c ons tr uc the  map  of   W iF i   r a dio  us ing   it s   da ta,   the  map     of   indoo r   loca ti on   is   tu r ne to   indi c a ti ve   map,   t he   a uthor s   s how  r e s ult s   that  their   p r opos e ne t wor c a mi nim ize   the  va r it pr oblems   c a us e by  c ha ngi ng  e nvir onment.   I [ 4] ,   a   c onvolut ional  ne u r a ne twor ( C NN )   model   f or   indoor   loca li z a ti on   in  mu lt i - f l oor   buil dings   wa s   pr oduc e us ing   W iF r e c e ived  s ignal  s tr e ngth  va lues .   T he s e   va lues   ha ve   be e tak e f r om  the  a c c e s s   point s   in  wir e les s   L A N.   T he   r e s ult s   f or   t his   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         Soft w ar e   e nginee r ing  mode bas e s mar indoor   lo c ali z ati on  s y s tem   ( M uay ad  Sadik  C r ooc k )   1905   model  s howe a c c ur a c f or   tr a ini ng   model   a bout  100% .   I [ 5] ,   the   a uthor s   us e pe r va s iv e   W i - F   a nd  a t tr a c ti ve   f i e l d   da ta   f or   in do o r   l im i tat i on .   E x p lo r a to r y   o utc o mes   d e m ons t r a ted   th a t   pr o f o un n e t wo r m o de ls   c o ns o li da ti ng   a tt r a c ti ve   f ie ld   a nd   W i - F f i ng e r   p r in t in gs   im p r o ve in do o r   lo c a li z a t i on   p r e c is i on .     T h e   t r a in in g   p ha s e   o f   d e e pos it i on in wa s   c om pu tat i on a l ly   in tens i ve ,   t he   t e s t in ph a s e   wa s   f a s t   a n d   s u it a b le   f o r   r e a l   t i me   i nd oo r   l oc a l iza ti on .   I n   [ 6] ,   the   a u th or s   de s i gne d   W iF i   de e p ,   w hi c h   wa s   a   W i - Fi   - b a s e d   in do o r   f i ng e r p r in ti ng   lo c a li z a ti on   s ys t e m   t ha t   c a n   a c hi e v e   r o bus t   a nd   h ig h   a c c u r a c y   t r a c ki ng   i n   t he   pr e s e nc e   o f   de vi c e   h e t e r o ge n e i ty .   T he   s ys te m   e mp lo ye a   m ode l   r e gu la r iza t io n   t e n a b le   t he   ne t wo r k   t ge ne r a li z e   a n d   a vo id    o ve r - f i t ti ng ,   lea di ng   t o   a   m or e   r ob us t   a nd   s tab le   m o de ls .   T he   r e s u lt s   s ho we d   tha t   t he   W I   de e p   c om e s   w it   a   l oc a l iza t io n   a c c u r a c y   b e t te r   t ha n   t he   s t a t e - of - t he - a r t   s ys te ms   b y   a t   le a s t   5 3%   a nd   2 9 . 8 %   i n   the   l a r ge   a n d   s ma l e nv i r o nm e n ts   r e s pe c ti ve ly .   I n   [ 7 ] ,   the y   p r op os e d   a   m o de l   t ha t   l e a r ns   p r o f o un d   lea r ni ng   s c e n e   a c kn ow le dg me nt  t e c hn iq ue .   T his   d e pe nds   o n   l i mi ta ti on   i mp r ov e me nt   u t il iz in g   the   t e c h ni qu e   f o r   e x c ha ng e   lea r n i ng   on   in c e pt io V ne tw o r k .   M o de f e a t u r e   i n f o r mat i on   wa s   a dd e d   to   a s s is in   s c e ne   r e c o gn it io n   [ 8 ] .   I [ 9 ],   T he   a ut hor s   uti li z e a a dva nc e mobi le  phone - ba s e moveme nt  a c knowle dgment  f or   indoo r   r e s tr iction   uti li z ing  a   c onv olut ional  ne ur a s ys tem.   T he s e   e xe r c is e s   c a be   uti li z e a s   the  tour is s pots   f or   indoo r   loca li z a ti on.   T he s e   e xe r c is e s   c ould  be   uti li z e d   a s   the   tour is t   s pots   f or   indoor   c o nf ineme nt.   Anothe r   c onvolut ional   ne ur a l   s ys tem  h a s   be e int e nde to  be c ome  f a mi l iar   with   the  be s pos s ibl e   f e a tur e s   c ons e que ntl y.                     I n   thi s   a r ti c le,   a n   indoor   objec t   loca li z a ti on  model  is   p r opos e ba s e on   de e lea r ning   [ 10   a nd  de e C NN   [ 11 ] .   T he   p r opos e model  c on tains   two  leve ls .   F ir s leve l,   or   s of twa r e   leve l,   is   us e   f or   c oll e c ti ng  the  im a ge s   da tas e t,   done   us ing  r a s pbe r r pi  I I I   c a mer a .   T his   c a mer a   is   f ixed  on  a   s im ple  r obot  of   two  whe e ls   c a r .   T he   da tas e is   c oll e c ted  a nd  p r e pa r e by  ga ther ing   a nd  pr e - ha ndli ng  im a ge s   inf o r mation.   I us e s   a s   input   f or   the  p r opos e model.   T he   mode is   tr a ined  unti it   r e a c he s   to  a   s a ti s f ying  a c c ur a c f or   both   tr a ini ng  a nd   va li da ti ng  da tas e t.   T he the   model  is   s a ve d.   I n   the  s e c ond  leve l,   or   c a be   c a ll e a s   h a r dwa r e   leve l,   is   us e f o r   ga ther ing   a nd  c ontr ol li ng  the   e lec tr ic  r obot  c a r   that  c a r r ies   on  the   r a s pbe r r pi   I I I   a nd  it s   c a mer a .   T his   c a mer a   is   no t   only   us e f o r   pr e pa r in the   da tas e t,   it   is   a ls o   us e to   take   a   r e a ti me   im a ge   whe a   c e r tain  c ondit ion   ha ppe ne or   whe a a utho r ize us e r   is   a s king  a bout  a n   objec t's   plac e .   I t his   c a s e ,     the  r a s pbe r r y   pi   I I I   c a ptur e s   the   im a ge   a nd   s e nd  it   to   the   p r opos e ins ide  the   R a s pbe r r P i.     T he n,   the   pr opos e s ys tem  wa it s   f o r   the   r e s pon s e .   T he   p r e dict ion  o f   the   model  wi th  c e r tain   a c c ur a c is   s uppos e to  be   the  pr e diction   of   the   plac e   it s e lf   [ 5 ,   12]   a nd    [ 13 ] .           2.   P ROP OS E D   S OF T WAR E   E NGI NE E R I NG   M ODE L   I is   we ll   known  that  the  pr ovided  a lgor i thm s   a r e   r e quir e to  be   mor e   r e li a ble  a nd  ha ve   a ll   the  a bil it y   o f   be ing  e xpa nding  a nd   f lexible.   I n   thi s   wor k ,   a   s of twa r e   e nginee r ing  model   is   pr opos e a s   a   ba s e   s tr ictur e   f or   the  uti li z e a lgor it hm .   T h is   is   to  e ns ur e   th e   r e li a bil it y,   s c a labili ty  a nd  f lexibil it y   of   the   p r opos e d   a lgor it hm.   T he   mentioned  a lgo r it hm  is   c onc e pts   of   pe r f or mi ng   the  s ugge s ted  method  of   de tec ti ng   the  a f f e c ted  a r e a s   in  the  br a in .   F igur e   1   s hows   the  block  d iagr a of   p r opos e model  that   e xplains   s tage s   of   met hod  a s   a   wor f low .             F igur e   1.   B lock  diagr a m   of   the  de s igned  s of twa r e   e nginee r ing  model   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   4 Augus 2020 :    1904   -   1916   1906   I t   i s   s h o w n   f r o m   F i g u r e   1   t h a t   t h e   s y s t e m   r e q u i r e m e n t s   a r e   c o l l e c t e d   b y   t h e   f i r s t   r o u n d   f o r   p r e p a r i n g     t h e   s t r u c t u r e   o f   t h e   d e s i g n e d   a l g o r i t h m .   A t   t h e   s e c o n d   r o u n d ,   t h e   i n i t i a l   d e s i g n   o f   t h e   s u g g e s t e d   a l g o r i t h m     i s   p e r f o r m e d   b a s e d   o n   t h e   s y s t e m   r e q u i r e m e n t s .   D i f f e r e n t   l e v e l s   o f   d e v e l o p m e n t s   h a v e   b e e n   d o n e   i n   t h e   t h i r d   r o u n d   d e p e n d i n g   o n   t h e   i n i t i a l   d e s i g n   o f   t h e   p r o p o s e d   a l g o r i t h m   i n   i t e r a t i o n   w a y .   T h e   l a s t   v e r s i o n   o f   t h e   p r o p o s e d   a l g o r i t h m   i s   t e s t e d   i n   t h e   l a s t   r o u n f o r   e n s u r i n g   t h e   r e l i a b i l i t y ,   e x p a n d a b i l i t y   a n d   f l e x i b i l i t y   o f   t h e   i t .       3.   P ROP OS E D   S Y S T E M   As   mentioned  e a r li e r ,   the  pr opos e s ys tem  c lea r ly  c ontains   two  dif f e r e nt  pha s e s ,   de s igned  ba s e on  the  pr opos e s of twa r e   e nginee r ing   model .   T he   f ir s one ,   c a be   c a ll e d   a s   the  o f f li ne   pha s e ,   whic c o ntains   a ll   the  pr ogr a mm ing  a lgo r it hms   s tar ti ng  with  c r e a t ing  the  da tas e a nd  pr oc e s s ing  it ,   e nding  with  s a ving  a     we ll - tr a ined  model.   T he   s e c ond  pha s e ,   or   the  onli ne   pha s e ,   in  whic h ,   a   r e a ti me   im a ge s   a r e   take n,   s e c ur it whe r e   loca li z a ti on  c a s igni f ica ntl im p r ove   s e c ur it c ondit ions   the  wo r ld  ove r .   C li e nt  ve r s a ti li ty  e xa mpl e s   a nd  c omm unica ti on  c a be   uti li z e to  dis ti nguis c onc e ivable   da nge r s   that  may  pr e s e nt  s e c ur it r is ks .   S im il a r ly,   in  wa r   z one ,   the  mi li tar c a f ol low  it s   a dva ntage s   thr ough  a   r e s tr iction  f r a mew or that  c a im pr ove   the   ge ne r a l   tas a nd  inc r e ment  the   odds   of   f r uit f u a c ti vit y .   T he   f inal   c las s if ica ti on  is   then   a s s igned   to  it s   e s ti mate loca ti on.   As   s hown  in  F igu r e   2   [ 2] .           F igur e   2 .   P r opos e s ys tem  block  diag r a [ 2 ]       3. 1.   P r op os e d   m e t h od ology   I th is   s e c ti on,   the   da tas e is   c oll e c ted  a nd   pr e pa r e d.   I t   a ls o   int r oduc e s   the   C NN   model   a lgor it hm   a nd  tr a ini ng  pr oc e dur e .   M or e ove r ,   thi s   s e c ti on  pr ovides   the  we bs it e   de s ign  that  ia  ba s e on  the  pr opos e a lgor it hm.   At   the  o ther   s ide,   the   objec t   loca li z a ti on   s ys tem  is   int r oduc e with   the   r e late d   pr opos e a lg or it hms   a nd  f lowc ha r ts .   T he   pr opos e ove r a ll   s ys tem  is   s tar ted  with  the  s of twa r e   pa r a nd   f oll owe by   the  ha r dwa r e   pa r a s   s hown  in  F igu r e   3 .   T he   f oll owing   s teps   de s c r ibe  the  method   us e to  buil d   the  model   br ief ly:     S tar ti ng  the   c oll e c ti on  of   a   da tas e f or   tr a ini ng   the  model.   T h is   da tas e mus c ove r   a ll   the  de s ir e a r e a s   that  is   wa nted  to  be   a dde to   the  c las s if ica ti on  model .       P r e p a r i ng   th is   da tas e t   by   a d di ng   t he   ne c e s s a r y   o pe r a t io ns ,   s u c h   a s   c r op pi ng   t he   im a ge s   t o   b e   a l l   o f   th e   s a me  s ize .   M o r e o ve r ,   a dd i ng   a   f il l ipe d   c op y   o f   th e   s a m e   im a g e s   f o r   inc r e a s in g   t he ir   nu mb e r   i n   e a c h   c las s .     De s igni ng  the  C NN   laye r s   of   the  model  with  K e r a s   li br a r y.   T he n ,   the  s ys tem  tr a ins   the  model  unti r e a c hing  the  de s ir e a c c ur a c a nd  s a ve   them  in   the   R a s pbe r r P i   f or   late r   us e .     T he   s of twa r e   pa r e nds   with   c r e a ti ng  a   s im pl e   we bs it e   that  c ontains   the  c ontr oll ing  butt on s   on    the  ha r dwa r e   pa r ts .   T his   we bs it e   is   buil by   us ing  t he   HT M L ,   P HP,   C S S   a nd   python  s c r ipt s .     T he   f ir s s tep  in  the   ha r dwa r e   pa r c ontains   ga the r ing  a nd  buil ding  a   s im ple  p r otot ype   of   a   r oboti c   two  whe e ls   c a r   with  it s   ba tt e r a nd  mo tor   d r iver .     C ombi ning  the  R a s pbe r r P a nd   r e late a c c e s s or ies   that  include   c a mer a ,   L E Ds ,   br e a dboa r d,   volt a ge   s tep  r e gulator ,   two  ult r a s onic  s e ns or s .   All  thes e   c o mponents   a r e   c onne c ted  togethe r   a nd  plac e in  a   blac box   f or   a r r a nge ment.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         Soft w ar e   e nginee r ing  mode bas e s mar indoor   lo c ali z ati on  s y s tem   ( M uay ad  Sadik  C r ooc k )   1907     T he   R a s pbe r r P is   the  c or e   of   c ontr oll ing  the  h a r dwa r e   pa r t.   I is   c onne c ted  by  W iF to  the  we bs it e .   W he the  s e a r c butt on  is   c li c ke in  the  we b,   a   c e r tain  pr oc e dur e   is   f oll owe by  movi ng  th e   c a r     a nd  c a ptur ing  r e a l   ti me  im a ge s .   T his   p r oc e dur e   is   i ntr oduc e in  de tails   in   the  ne xt   s e c ti ons .     T he   las s tep  is   f indi ng  a a ppr opr iate   c las s if ica ti on  a c c ur a c a nd  a s s igni ng  it   to  it s   c las s   that  is   r e late to  it s   c or r e s ponding  c las s if ied  i ndoor   loca ti on .             F igur e   3 .   T he   pr opos e s ys tem  methodology  f lowc ha r t       3. 1. 1 .   Dat as e t   c oll e c t in g   T he   da tas e is   c hos e ve r c a r e f ull y,   with  not if ying  the  a ngle  of   c a ptur ing  the  im a ge s   a nd     the  number   of   im a ge s   that   c ove r s   the   include a r e a s   that  a r e   ne e de to   be   c las s if ied.   I n   thes e   im a ge s ,   dif f e r e nt  s it ua ti ons   a nd  dif f e r e nt  pos it ions   a r e   take in  c on s ider a ti on,   a s   s hown  in  T a ble  1.   I thi s   pa r t,     the  da ta  s e t   c oll e c ti on  a nd   c hoos ing  a r e   dis c us s e d.   M or e ove r ,   a s   we ll   a s   the  p r e pr oc e s s ing  ope r a ti ons ,   s uc a s   c utt ing,   z oomi ng ,   a nd  s he a r ing  a r e   a ls in tr oduc e d.   T he   c a mer a   is   loca ted  a bout   20   c f r om   gr oun d   on  the   r oboti c   c a r   with   ve r ti c a a ngle  of   15  de gr e e s .   A f t e r   a ll   da tas e ts   a r e   c oll e c ted,   e a c c las s   is   a s s igne to  one   r oom.   T his   is   to  r e duc e   the  c ompl e xit a s   it   is   no s e ns or to  include   a ll   wa ll s   in  the  da tas e be c a us e   s ome   im a ge s   in  the  c oll e c ted  da ta s e a r e   take in   a   wa t ha c ove r s   mor e   than   o ne   c or ne r   ins ide  the  r oom .       T a ble  1 .   Ove r view   of   the  c oll e c ted  da tas e t   L oc a ti on ( W a ll )     N o.   C or r e s ponding     R oom Na me   N umbe r  of     T r a in in g da ta s e t   N umbe r  of     V a li da ti ng da ta s e t   S iz e  O f  I ma ge s     ( w id th  x  he ig ht )   L oc a ti on 1   M e e ti ng R oom   264   60   480 x 270   L oc a ti on 2   M e e ti ng R oom   268   61   480 x 270   L oc a ti on 3   E a ti ng R oom   255   59   480 x 270   L oc a ti on 4   E a ti ng R oom   260   60   480 x 270   L oc a ti on 5   A dmi n R oom   208   54   480 x 270   L oc a ti on 6   A dmi n R oom   202   60   480 x 270   L oc a ti on 7   A dmi n R oom   298   67   480 x 270   L oc a ti on 8   E a ti ng R oom   267   61   480 x 270       3. 1. 2 .   Dat as e t   p r e p ar in g   T he   ne xt  s tep  is   to  pr e pa r e   thes e   da ta s e ts   to  be   r e a dy  f or   us e   in  the  tr a ini ng  model.   T he   da ta  a ugmenta ti on  is   us e a s   a   tool   that  is   a va il a ble  i a ny  de e lea r ning  tool box .   I is   done   with   Ke r a s   li br a r Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   4 Augus 2020 :    1904   -   1916   1908   us ing  a   c las s   c a ll e im a ge   da ta  ge ne r a tor   [1 4 ] .   T his   c las s   a ppli e s   a   r a ndom  invar ianc e ,   s uc a s   im a ge s   c r opping,   s c a li ng,   s he a r ing,   a nd   f li pping   a s   s hown  in  T a ble  2 .       T a ble  2 .   Ove r view   of   the  us e da ta  a ugmenta ti on   t e c hniques   N a me   V a lu e   S c a li ng   ( 1. / 255)   Z oomi ng   20%   F li ppi ng   H or iz ont a l   C r ops   224*224       3. 1. 3 .   M od e t r ain in g   T he   model  is   tr a ined  f r om  s c r a tch,   be c a us e   ther e   is   no  pr e - tr a ined  model  us e f or   ini ti a li z a ti on.     T he   main  s our c e   of   da ta  is   the  im a ge s   a va il a ble  with  R a s pbe r r P c a mer a .   T he   pr opos e C NN   with  de e lea r ning  is   de s igned  to   tr a in   a   number   of   im a ge s   a nd  tes other s   [ 15 a nd   [ 16 ] .   E a c e nter e im a ge     to  the  C NN   model  pa s s e s   thr ough  many  leve ls   of   c onvolut ion  laye r s .   S ome  o f   them  c ontains   a   f il ter s     a nd  pooli ng,   while  the  other s   include   f ul ly  c onne c ted  laye r s .   F inally ,   s uc a im a ge   pa s s e s   thr ough  a   s of t   max  f il ter   [ 1 7 ] .   T he   f oll owing  s teps   il lus tr a te  the   b uil ding  of   the  C NN   model:       I the  f ir s c onvolut ional   laye r ,   20   f il ter s   o f   s iz e   5x5  pixels   a r e   a ppl ied  to  the  input   im a ge   of   s ize   224x224,   f oll owe by   a   r e c ti f ied  li ne a r   uni ( R e L U) .   A   max   pooli ng   laye r   is   us e f o r   ta king   the  maximal  va lue  of   2x2   r e gions   with  s tr ides   of   2x 2 .       T he   output   of   the  pr e vious   laye r   is   then  pr oc e s s e by  the  s e c ond  c onvolut ional  laye r .   I t   c ontains   50  f i lt e r s   of   a   s ize   5x5  p ixels .   Aga in,   that  is   f oll owe by   a   R e L a nd  a   max  pooli ng  laye r .     T his   c onvolut ional  laye r 's   output   is   pa s s e to  a   f ul ly  c onne c ted  laye r   a nd  c ontains   500  ne ur ons ,   f oll o we by  a   R e L U.       At  las t,   the  y ield  of   the  las c ompl e tely  a s s oc iate laye r   is   nour is he to  a   s of t   max  laye r   that  a ppo int s   a   li ke li hood  f or   e a c c las s   of   8   c las s e s .   T he it   a s s igns   the  c la s s   number   to  it s   c or r e s pon ding  loca ti on  in  one   of   the  thr e e   r ooms   mentione e a r li e r ,   with  a   pr oba bil i ty  goe s   f r om  0   to  100 % .   As   s hown  in  F igu r e   4 .   T r a ini ng  the  C NN   model  is   the  ne xt  s tep,   s e e   T a ble  3,   it   take s   a   ti me  r a nge s   f r om  88  to   94  s e c ond  f or   e a c e poc h.   T his   is   be c a us e   the  de e lea r ning   model  tr a ini ng   r e quir e s   a   high  a bil it GPU .   T he   p r opos e model  is   t r a ined  onli ne   in   Google   C olab,   whic h   gives   a   f r e e   GPU   on  a   f r e e   c loud   s e r vice   f o r   de ve lopi ng   a ppli c a ti ons   of   de e lea r ning   [ 18]   a nd  [ 19] .   T hi s   is   done   by  loading  the  da tas e to  the  Google   dr ive  f or   ope ning  the  Google   C olab  a nd   making  the   model .   T r a ini ng   tr ies   a r e   done   with  di f f e r e nt   number   of   c las s e s   f r om  4   to   8,   in  bo th  laptop   a nd  onli ne   on  Google   C olab,   but  the r e   is   no   ne e to   mention  the  r e s ult s   of   thes e   tr ies .   T he   im po r tant  thi ng  to   know  is   that,   it   h a s   be e r e a c he to  a   point   in  whic only  s mall  number     of   e poc hs   is   e nough   to   tr a in   thi s   model  wi th  s a t is f ying  r e s ult s .   T he r e f or e ,   only   5   e poc hs   a r e   tak e e a c   of   whic p r oduc e s   dif f e r e nt   a c c ur a c a nd  los s   metr ics   f or   both   tr a ini ng   a nd  va li da ti ng   da tas e t.             F igur e   4 .   C NN   a r c hit e c tur e   o f   the   pr opos e model       T a ble  3 .   M ode tr a ini ng   r e s ult s   c or r e s ponding  to   e a c e poc h   E poc hs   T im e  i s e c onds   T r a in in g   V a li da ti on   A c c ur a c y   L os s   A c c ur a c y   L os s   1   94s   0.7923   0.7252   0.9146   0.2176   2   89s   0.9836   0.0785   1.0000   0.0301   3   90s   0.9960   0.0276   1.0000   0.0180   4   88s   0.9965   0.0170   1.0000   0.0096   5   90s   0.9965   0.0152   1.0000   0.0145   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         Soft w ar e   e nginee r ing  mode bas e s mar indoor   lo c ali z ati on  s y s tem   ( M uay ad  Sadik  C r ooc k )   1909   3. 1. 4 .   We b s it e   d e s ign   Af ter   the   model   ha be e t r a ined  a nd   r e a c he to   a   s a ti s f ying  a c c ur a c r e s ult s ,   whic wa s   99 . 6%   f or   tr a ini ng  da tas e a nd  100%   f or   va li da ti on   da tas e t.   T his   model  is   s a ve to  the  R P i   I I I   memor y   to  be   us e in    the  ha r dwa r e   leve l.   T he   s a ve model  c a nnot  be   us e d   dir e c tl f or   pr e dictions ,   be c a us e   it   is   s a ve a s   a   python  s c r ipt .   S o,   a int e r f a c ing  mec ha nis mus be   a dde f or   the  us e r   to  be   a ble  to  c ontac with  the  model  in  s ome  wa y.   F igur e   5   s hows   a   f lowc ha r t   f or   the   de s igned  we bs it e ,   whic c ontains   the  s teps   that   mus be   f oll owe to   ope r a te  thi s   s ys tem.           F igur e   5 .   W e bs it e   f lowc ha r ts       T he   f oll owing   s teps   a r e   de s c r ibed  in  the   ne xt  li ne s :     s im ple  we pa ge   is   c r e a ted  ins ide  the   R P i.   F or   s e c ur it r e a s ons ,   thi s   we pa ge   c ontains   a   logi butt on  a t   the  s tar ti ng  home  pa ge .     W it hout  logi n ,   the   nor mal   us e r   c a nnot  s e e   mor e   th a s im ple  de s c r ipt ion   on  the   pr ojec t   a nd   the  c opy   r ight s   a nd  the  ye a r   o f   modi f ica ti on.     W he the  us e r   f il ls   up  the  logi f o r m,   a nd  he /s he   is   a uthor ize to  e nter   to   thi s   we b.   T he   we then  m ove s   the  us e r   to  the   indoor   loca li z e r   pa ge .     T he   indoor   loca li z a ti on  pa ge   c ontains   number   o f   pe r s ons   li s ted,   a nd  f o ll owe by   two  butt ons ;   the  s e a r c a nd  s howing  butt ons .     T he   us e r   s hould  s e lec one   objec a a   t im e   to  s e a r c f or   it s   plac e .   I thi s   pa pe r ,   onl y   one   obj e c is   a va il a ble  but  f or   the  f utur e   wo r k,   thi s   pr ojec t   c a c ove r   lar ge   number   of   them.       Af ter   c hoos ing  the  pe r s on's   na me,   the   us e r   s ho uld  c li c on   s e a r c loca ti on   butt on ,   whic h   c on tains     the  ha r dwa r e   c ontr oll ing  a nd  model   pr e diction   r e s ult s .     T he   o ther   butt on,   loca ti on  butt on,   dis plays   the  c a ptur e im a ge s   that  ha be e int e r r e to  the  model    f or   tes ti ng  r e a s ons .     3. 2.   H ar d war e   i n t e gr at io n   l e ve l   T his   s e c ti on  c lar if ies   how   the  e quipm e nt   pa r ts   a r e   ga ther e d,   a s s oc iate a nd  uti li z e togethe r   a s     a   tot a wor king  f r a mew or f o r   indoor   it e r e s tr iction  r obot .   I t   c ontains   two  leve ls ,   the  ini ti a l   s e gment     is   c onne c ted  f o r   s tr uc tur e   the  ve hicle   s e gments ,   whi le  the   s ubs e que nt  leve is   in   c ha r ge   of   the   c o ntr oll ing   s ys tem  f or   the  ve hicle   a nd   the  r e s s e gments .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   4 Augus 2020 :    1904   -   1916   1910   3. 2. 1 .   Car   p ar t s   gat h e r in g   an d   ar r an ge m e n t     T he   pr inciple  s e gments   uti li z e f o r   s e tt ing  up   th e   mec ha nica ve hicle   a r e   a ppe a r e in  F igu r e   6 T he s e   pa r ts   a r e   R a s pbe r r y   P i   I I I   model   B ,   t he   L 2 98N  mot or   d r iver ,   t he   ult r a s onic  s e ns or ,   t he   vol tage   s teps   down  r e gulator ,   t he   L i - P ba tt e r y ,   a nd  t he   R P c a m e r a   [ 20 - 25] .           F igur e   6 .   T he   ha r dwa r e   r e quir e ment  f or   c a r   modul e       3. 2. Ro b ot ic  c ar   m ove m e n t   an d   ob s t ac les   d e t e c t ion   T wo  ult r a s onic  s e ns or s ,   f ixed  a t   the  f r ont  a nd   ba c of   the  c a r ,   a r e   us e to  de tec the  obs tac les   in     the  c a r 's   pa s s a ge   wa y.   T he   de tec ti on  is   a c c ompl is h e by  mea s ur ing  the  d is tanc e   be twe e the  c a r   a nd  t he   f a c e obs tac les .   I is   im po r tant   to   note  that   thel   s of twa r e   a lgor it hms   a r e   de s igned  ba s e on  the  p r opos e s of twa r e   e nginee r ing  model.   T he   pr opos e a lgor it hm   of   c a r   moveme nt  a nd   obs tac les   de tec ti on  is   s hown   a s   a   f l owc ha r in  F igur e   7   a nd  the   ne xt  li ne s   de s c r ibe  it   in   de tails :     F or   f or wa r moveme nt,   the  R P f u ll s tops   the  c a r ,   if   the  mea s ur e dis tanc e   is   s maller   than  or   e qua to  ( 100  c m) .   T he   c a r   is   ke pt   wa it ing  f or   s e c onds   ( s e c s ) .       Af ter   s e c s ,   a ga in  i c he c ks   if   the   mea s ur e di s tanc e   is   incr e a s e d.   T his   mea ns   that  the  obs tac les   a r e   moved,   then   the  R a s pbe r r y   P i   or de r s   the   c a r   to   dr i ve   a ga in,   un ti the  mea s ur e dis tanc e   is   s maller   th a or   e qua to  ( 100   c m) .     I c a s e   of   the   s e c onds   a r e   pa s s e a nd  the  dis tan c e   s ti ll   the   s a me,   thi s   mea ns   that  thi s   obs tac le  ma be     a   wa ll   or   a ny  s table   ob jec t.       Now ,   the  c a r   is   s topped,   a nd   it   s tar ts   the   pr oc e dur e   of   c a ptur ing  a nd  c las s if ying  the   im a ge s .       I f   the  mea s ur e dis tanc e   is   s maller   than  ( 80  c m) ,   thi s   mea ns   that  the  r oboti c   c a r   is   too  c los e   to  the  wa ll ,     is   to  take   a im a ge   in  a   c lea r   wa the  c a r   mu s dr ive  ba c a lea s f or   20  c m ,   whic c a be   e quippe by  movi ng  the  c a r   ba c kwa r f or   ( 1   s e c ) .     F or   ba c kwa r moveme nt,   T he   R a s pbe r r P f u ll s tops   the  c a r ,   if   the  de s ir e ti me  f or   ba c k wa r moveme nt  is   pa s s e d,   or   i f   the   mea s ur e dis tanc e   is   be low  than  o r   e qua to   ( 30   c m) .       3. 2. 3 .   Clas s if yin i m age s   p r oc e d u r e   Af ter   the   r oboti c   c a r   ha s   be e r e a c he to  the  wa ll   s uc c e s s f ull y,   the  R a s pbe r r P i   s tar ts   in  c a ptur ing   im a ge s .   T his   pr oc e dur e   is   s hown  in  F igu r e   8   a s   a   f lowc ha r that  e xplains   the  p r opos e a lgor it hm .   T h e   im a ge   c las s if ica ti on  a lgor it hm  is   pr opos e ba s e on  t he   s of twa r e   e nginee r ing  model.   T he   f oll owing  li ne s   a r e   pr e s e nted  to  de s c r ibe  thi s   a lgor it hm   in  de tails :     T he   f ir s s tep  in  thi s   pr oc e dur e   is   to  load  the  pr e v ious ly  s a ve model  in  the  R P a s   a   python  s c r ipt ,   by  a   s pe c ial  P HP  f or mul a   in  the  we bs it e .   Af ter   the   us e r   c li c ke on   the  s e a r c loca ti on  bu tt on,   a nd  the   r o boti c   c a r   f ound  a   wa ll   ( o r   a s   it   thi nks ,   it   is   a   wa ll ) .     T he   R P o r de r s   the  c a mer a   to   take   the   f ir s t   im a ge   a nd  s a ve   it   in  ga l ler f il e   ins ide  it .     T he it   tur ns   the  c a r   to   the   lef t   with   a   15   de gr e e   f o r   c ha nging   the  im a ge   a ngle,   a nd  a ga in   the  c a mer a   t a ke s   a nother   im a ge   a nd  s a ve   it   with  the   f ir s t   one .       Aga in,   the  R P tur ns   the  c a r   ba c to  i ts   or igi n a loca ti on  by  tu r ning  it   to  the  r ight   with  the   s a me     de gr e e   ( 15) .       T he it   moves   the  c a r   to   the  r ight   with   the  s a me  mentioned  de gr e e ,   f o r   taking   the  las im a ge   in  a n other   dif f e r e nt  c o r ne r .     At  thi s   point   the  s ys tem  ha s   th r e e   dif f e r e nt  i mage s   f or   d is ti nc c or ne r s .   T he s e   im a ge s   e nter   to   the  lo a de model  a s   r e a ti me   tes im a ge s .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         Soft w ar e   e nginee r ing  mode bas e s mar indoor   lo c ali z ati on  s y s tem   ( M uay ad  Sadik  C r ooc k )   1911     E a c im a ge   is   pa s s e thr ough  the  loade model  a nd  r e a c to  a   c e r tain  c las s if ica ti on  a c c ur a c y.     T he   obtaine th r e e   a c c ur a c ies   f or th r e e   im a ge s   a r e   c ompar e with  e a c othe r .   T he   maximu a c c ur a c of   thes e   a c c ur a c ies   is   c hos e a s   the  a c tual  r e s ult   of   the  c las s if ica ti on.     I the  p r opos e a lgor it hm ,   a   de s ir e a c c ur a c is   c ons ider e to  be   70% .     I f   the  r e s ult ing  im a ge   c las s if ica ti on  a c c ur a c is   e qu a or   higher   than  thi s   de s ir e a c c ur a c y,     then  the  c las s if ica ti on  is   a c c e pted  a nd  the  im a ge   is   a a c tual  wa ll .   T he thi s   im a ge   s hould  be   a s s i gne   to  the  c or r e s ponding  r oom  a nd   take s   it   a s   the   f inal  r e s ult .   Othe r wis e ,   the  R P o r de r e the   c a r     to  tur to  a no ther   wa ll .   T his   is   done   by  movi ng  it   t the  lef with  90   de gr e e s .   T he the  p r oc e dur e   is   s tar ted  f r om  the   be ginni ng,   s tar ti ng  f r om   r oboti c   c a r   move ment  a nd  obs tac les   de tec ti on.                 F igur e   7 .   R oboti c   c a r   move ment  a lgor i thm   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   18 ,   No .   4 Augus 2020 :    1904   -   1916   1912       F igur e   8.   C a ptur ing  a nd   c las s if ying  im a ge s   a lgor it hm       4.   T HE   E XP E RM E N T AL   RE S UL T S   T de ter m ine  the   e f f icie nc y   of   the   pr opos e s ys tem,   many  e xpe r im e nts   a r e   int r oduc e on   dif f e r e nt   c a s e   s tudi e s .   As   pr e vious ly  mentioned,   the  s ys te c ontains   a   we bs it e ,   in  whic h,   the  us e r   int e r f a c e s   with     the  pr opos e a lgor it hms .   I n   thi s   s e c ti on,   di f f e r e nt   c a s e   s tudi e s   of   dif f e r e nt   s it ua ti ons   a nd  dif f e r e nt  l oc a ti ons   a r e   dis c us s e in  de tails .   T he   f ir s s tep  in  a ll   thes e   c a s e   s tudi e s   i s   to  logi to  the  s ys tem  thr ough  the  lo gin  pa ge ,   f or   a uthor it c onf i r mi ng ,   s thi s   s tep  is   int r oduc e f ir s f ol lowe by  the   c a s e   s tudi e s .     4. 1 .   A u t h or izat ion   c h e c k in g   T he   us e r   s hould  be   a uthor ize to  be   a ble  to  e nter   to  the  pa ge   of   loca li z a ti on  in  the  we bs it e .   Othe r wis e ,   the  us e r   c a nnot  do  a nythi ng  with  we bs it e   e xc e pt  s e e ing  the  inf or mation  that  a r e   s hown  in    the  home  pa ge .   T he r e f or e ,   a nd  a s   a   be ginni ng  in  t he   loca li z a ti on  pr oc e dur e ,   a ny  e xpe r im e nt  or   c a s e   s tudy  in   the  pr opos e s ys tem  pa s s e s   thr ough  the  f oll owing  l ines :     I n   t he   s ta r t in g   o f   t he   w e bs it e ,   a   lo gi n   b ut t on   is   a pp e a r e d .   T h e   us e r   s h ou ld   c l ic k   o n   i t   to   vi e w   th e   l og in   f o r m .   I t   ha s   be e n   n ot ice d   t ha t   t he r e   is   n s i gn   in   b ut t on .   F o r   s e c u r it a n d   p r iva c y   pu r p os e s ,   no   one   c a n   s ig i n   t t he   s ys te m   w it ho ut   a u th o r iz a t io n .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         Soft w ar e   e nginee r ing  mode bas e s mar indoor   lo c ali z ati on  s y s tem   ( M uay ad  Sadik  C r ooc k )   1913     A f te r   f i ll i ng   the   us e r   na me   a nd   pa s s wo r d   wi th   a n   a u t ho r ize a c c ou n t ,   a n t he n   c l ic ki ng   o n   t he   lo gi bu t to n .   I f   t he   a c c o un t   i s   a u th o r i z e d ,   th e   us e r   s ho ul d   s e e   t he   lo c a li z a t io n   p a g e ,   e ls e   t he   w e bs it e   w il l   r e t ur n   to     t he   ho me   pa ge   w i th   lo gi n   e r r o r   mes s a ge .       I n   t his   s t e p ,   t he   us e r   mus t   s e le c t   o ne   pe r s o n   f r o m   the   i nt r od uc e d   li s t ,   in   t he   p r o pos e d   s ys t e m   o nl y   one   pe r s on   i s   a c t i ve .   B u in   t he   f u tu r e ,   o th e r   pe r s o ns   wi l be   a c ti ve   a ls o .   I t   s h ou l be   no t ice th a t   o nl on e   pe r s o s h o uld  b e   s e lec te d   a t   a ny   ti me .     A f te r   c ho os i ng   th e   na me   o f   t he   p e r s on   to   s e a r c h   f o r ,   th e   us e r   s ho ul d   c li c k   o n   t he   s e a r c h   lo c a ti on   but t on .   T h e n   t he   p r o c e d u r e   o f   c o nt r ol li ng   t he   r ob o ti c   c a r   by   t he   R a s pb e r r y   P i ,   c he c ki ng   f o r   obs ta c l e s ,   a nd   c a ptu r in g     t he   i ma ge s   th a t   p a s s e s   th r ou gh   d if f e r e n t   a l go r it hm s   to o .   T h e   e va lua t io n   o f   t he m   w i ll   be   i nt r od uc e d   in    t he   f ol lo wi ng   s e c ti ons   wi t h   d if f e r e n t   c a s e   s tu dies .       T h e   f i na l   r e s u l ts   a r e   s ho wn   a s   a   t e x t   i n   t he   we bs i te .       I f   t he   us e r   c li c ke d   o n   the   s ho w   l oc a t io n   b ut to n ,   the   las t   th r e e   ta ke n   i ma ge s   a r e   s h ow n   i n   t he   ga l le r y   we bp a g e .     4. 2.   Cas e   s t u d on e   T he   f ir s t   e xpe r im e nt,   whic c a be   na med  a s   the  n or mal  c a s e   s tudy  with  d is tanc e   les s   than  or   e qua l   to  100  c m   is   int r oduc e d.   He r e ,   a f ter   the   us e r   s e lec ts   the  r e quir e d   pe r s on  to   s e a r c f o r ,   the   f oll owi ng  s teps     a r e   f oll owe d:   a.   T he   R a s pbe r r y   P i   or de r s   the   r oboti c   c a r   to   move   f o r wa r d.   T he   two   blue   L E Ds   a r e   on ,   indi c a te  the   f o r wa r movi ng,   a s   s hown  in   F igur e   9   (a ) .   b.   T he   c a r   moves   f or wa r a nd  c he c ks   the  dis tanc e ,   whe it   be c a me  les s   than  or   e qua to  100  c a nd  mor e   than  80  c m ,   a s   the   a lgor it hm   s a ys ,   the   R a s pbe r r P or de r s   the  c a r   to   s top   a nd  wa it   f o r   5   s e c .   T he n,   a ga in   the  dis tanc e   is   mea s ur e d,   if   it   c ha nge s ,   the  c a r   c onti nue s   to  move  f or wa r a nd  wa it   the  dis tanc e   to  be c ome  les s   than  or   e qua to  100c a s   s hown  in  F igur e   9   (b ) .   Othe r w is e   a nd  a s   s hown  in  F igur e   10,     the  R a s pbe r r P i   s tar ts   c a ptur ing   th r e e   tes im a ge s   in  thr e e   dif f e r e nt  a ngles ,   with   15   de gr e e s   be twe e e a c h   c or ne r .   T he the  c a r   r e tu r ns   to  it s   o r igi na loca ti on.   c.   T he s e   im a ge s   a r e   s e nt  to  the  we bs it e   to  be   us e ins ide  the  pr ogr a of   c las s if ica ti on.   T he   c las s if ica ti on  pr oc e dur e   take s   a bout  3 - s e c .   T he   r e s ult s   a r e   s ho wn  in  the  we b   pa ge   a s   a   text  a c c or ding   to  F igur e   1 1.             ( a )   ( b)     F igur e   9 .   ( a )   T he   c a r   is   mov ing  f o r wa r d ,   ( b )   T he   n e a r e s wa ll   is   on  90  c m   dis tanc e           F igur e   10 .   T he   pr oc e dur e   o f   c a ptur ing   im a ge s   Evaluation Warning : The document was created with Spire.PDF for Python.