I AE S In t er na t io na l J o urna l o f   Ro bo t ics a nd   Aut o m a t io ( I J RA)   Vo l.  11 ,   No .   1 , M a r ch   20 22 ,   p p .   33 ~ 42   I SS N:  2722 - 2 5 8 6 DOI 1 0 . 1 1 5 9 1 /i jr a . v 11 i 1 . pp 33 - 42           33     J o ur na l ho m ep a g e h ttp : //ij r a . ia esco r e. co m   Person  f o llo wing   co ntrol for a mo b ile robo ba sed o n  colo inv a ria nce corres po nding  t o  va ry ing  illumina tion       Sh in s uk O h - ha ra 1 ,   K a o ru  S a it o 2 ,   At s us hi F ujim o ri 1   1 D e p a r t me n t   o f   M e c h a n i c a l   E n g i n e e r i n g ,   F a c u l t y   o f   E n g i n e e r i n g ,   U n i v e r si t y   o f   Y a m a n a sh i ,   K o f u ,   J a p a n   2 M e c h a n i c a l   C o .   Lt d . ,   Y a m a n a sh i ,   Ja p a n         Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   7 ,   2 0 2 1   R ev is ed   Dec   2 9 ,   2 0 2 1   Acc ep ted   J an   4 ,   2 0 2 2       In   t h is   p a p e r,   we   p re se n a   m e th o d   o p e rso n   f o ll o win g   c o n tr o fo r   a   m o b il e   ro b o u sin g   v is u a i n fo rm a ti o n .   Co lo in f o rm a ti o n   is  o ften   u se d   fo o b jec t   trac k in g .   Co l o in f o rm a ti o n   o o b jec ts  v a ries   g re a tl y   u n d e il l u m in a ti o n   c h a n g i n g   e n v ir o n m e n t.   In   s u c h   c o n d i ti o n s ,   t h e   ro b o c o n tr o ll e d   b y   v isu a l   in fo rm a ti o n   m a y   lo se   sig h o a   p e rso n .   In   th is  p a p e r,   we   c o n sid e a   ro b u st   p e rso n   f o ll o win g   m e th o d   b y   c o l o r   in v a rian c e   a n d   ima g e - b a se d   c o n t ro l.   C o lo r   in v a rian c e   sh o w s   r o b u st  fe a tu re o c o lo re d   o b jec ts  in   term o f   c h a n g i n g   il lu m in a ti o n   c o n d i ti o n s .   At  f irst,   we   e stim a t e   th e   lo we st  p o siti o n o b o t h   fe e o a   trac k e d   p e rso n   th r o u g h   p a rti c le  fil ters   b a se d   o n   c o l o i n v a ria n c e s .   Th e n ,   we   c o n tro th e   v e l o c it y   o t h e   ro b o t o   trac k   th e   p e rso n   b y   u sin g   t h e   ima g e - b a se d   c o n tr o ll e r.   E x p e rime n tal  re su lt u sin g   a n   a c tu a r o b o d e m o n stra te  th e   e ffe c ti v e n e ss   o th e   p ro p o se d   m e t h o d .   K ey w o r d s :   C o lo r   in v ar ian ce   I m ag r ec o g n itio n   Mo b ile  r o b o t   Par ticle  f ilter   Per s o n   f o llo win g   c o n tr o l     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sh in s u k Oh - h a r a   Dep ar tm en t o f   Me ch an ical  E n g in ee r in g ,   Facu lty   o f   E n g in ee r in g ,   Un iv er s ity   o f   Yam an ash i   Ko f u ,   Yam an ash i,  J ap a n   E m ail:  s o h h ar a@ y am an ash i.a c. jp       1.   I NT RO D UCT I O N   R ec en r o b o tics   tech n o lo g y   is   ex p an d i n g   n o o n ly   in   s p ec ial  en v ir o n m en ts   s u ch   as  m a n u f ac tu r in g   a n d   s p ac b u t   also   in   v ar io u s   f ield s   s u ch   as  m ed ical   tr ea tm en t,   wel f ar e ,   a n d   en ter tain m e n t,  b ec a u s o f   its   r e m ar k a b le  p r o g r ess   [ 1 ] [ 3 ] .   E x am p les  o f   s er v ice  r o b o ts   in clu d ca r ts   th at  au to m atica lly   f o llo cu s to m er s   in   s u p er m ar k ets  an d   th at  ca r r y   n u r s in g   ca r p r o d u cts  f o r   ca r eg iv e r s .   Su ch   r o b o ts   r eq u ir f u n ctio n s   th at  id en tify   th tar g et  p er s o n   an d   tr ac k   it a u to m atica lly .   I n   o r d e r   to   id en tify   a n d   au t o m atica lly   tr ac k   p er s o n ,   it  is   im p o r tan to   r ec o g n ize  th p er s o n   an d   esti m ate  th p o s itio n   an d   d ir ec tio n ,   s u ch   as  th d is tan ce   b etwe en   th at  p er s o n   an d   th r o b o t.  So m r esear ch er s   ar e   im p lem en tin g   s u ch   r ec o g n i zin g   an d   tr ac k in g   f u n ctio n s   b y   u s in g   d is tan ce   s en s o r s   s u c h   as  laser   r an g f in d er   ( L R F)  [ 3 ] [ 4 ] ,   an d   ca m e r [ 5 ] [ 7 ] .   Ok u s ak o   et  a l.   [ 3 ]   esti m ated   th f o o p o s itio n   o f   p er s o n   b y   co m p a r in g   th e   d ata  o b tain ed   f r o m   a n   L R with   th tem p lates  co n s is tin g   o f   th ar r an g em e n d ata  o f   th f o o p r ep ar e d   b ef o r e h an d .   L eig h   et  a l.   [ 4 ]   p r o p o s ed   t h m eth o d   f o r   r o b u s d etec tin g   p er s o n s   le g   u s in g   an   L R in   in d o o r   an d   o u td o o r   en v ir o n m en ts .   C am er a - b ased   p er s o n   tr ac k i n g   te ch n iq u es  h av e   b ee n   ac tiv ely   ca r r ied   o u in   th e   f ield   o f   im a g r ec o g n itio n   [ 5 ] [ 7 ] .   Per ez   et  a l [ 5 ]   m ad e   c o lo r   m o d el  o f   an   o b ject   f r o m   co l o r   in f o r m atio n   o f   a n   im ag ca p tu r e d   b y   ca m er a n d   p r o p o s ed   m eth o d   f o r   t r ac k in g   th e   o b ject  b ased   o n   th m o d el.   R in co n   et  a l.   [ 6 ]   p r o p o s ed   m eth o d   f o r   esti m atin g   th p o s itio n   an d   p o s tu r o f   p e r s o n   u s in g   p a r ticle  f ilter   b ased   o n   im a g e   in f o r m atio n   o b tain e d   f r o m   a   ca m er a.   Ah m a d   et  a l.   [ 7 ]   d ev elo p ed   t h p er s o n   tr ac k in g   alg o r ith m   u s in g   a   co n v o l u tio n   n eu r al  n etwo r k   f o r   o v er h ea d   v iew  ca m er a.   Fro m   th d ev elo p m e n ts   in   im ag r e co g n itio n ,   ca m e r a - b ased   p er s o n   f o llo win g   r o b o ts   h av e   b ee n   wid el y   s tu d ied   in   m an y   p u b licatio n s ,   s u ch   as  m o n o cu lar   ca m e r [ 2 ] Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   11 ,   No .   1 M a r ch   20 22 :   33 - 42   34   [ 8 ] [ 9 ]   s ter eo   ca m er a   [ 1 0 ]   r e d   g r ee n   b l u e ,   an d   d ep th   ( R GB - D )   ca m er [ 1 1 ] .   Mo r eo v er ,   Ko id et  a l.   [ 1 2 ]   d ev elo p e d   p er s o n - f o llo win g   r o b o b ased   o n   t h f u s io n   o f   c am er an d   L R F.    Nak an o   et  a l.   [ 2 ]   p r o p o s ed   a   m eth o d   f o r   r ec o g n izin g   th b o th   f ee o f   ta r g et  p e r s o n   b ased   o n   im ag e   in f o r m atio n   an d   m a k in g   it  f o l lo th r o b o t.   I n   th is   m eth o d ,   o n ly   th f ee n ee d   to   b e   r ec o g n ized ,   s o   it  is   n o t   n ec ess ar y   f o r   th ca m e r to   b e   m o u n ted   h i g h .   T h u s ,   th e   d is tan ce   b etwe en   t h tr ac k e d   p e r s o n   an d   th r o b o t c an   b r ed u ce d ,   a n d   s af ety   t o   th u s er   is   en s u r ed   b y   lo wer in g   th ce n ter   o f   g r av ity   o f   th r o b o t.  I t h as si m p licity   o f   u s er   an d   en v ir o n m e n lear n in g   s u ch   as  in e x p en s iv en ess   b y   in tr o d u cin g   c o m m er cial   ca m er an d   id en tific atio n   o f   p er s o n   o n ly   b y   co lo r   in f o r m atio n   o f   th f ee t.  I n   th is   p ap e r ,   we  p r o p o s e d   m eth o d   to   r ec o g n ize  th p er s o n s   f ee t f r o m   t h im ag i n f o r m atio n   o f   ca m er a.   Nak an o   et  a l.   [ 2 ]   c o n v e r f r o m   th im a g p o s itio n   o f   th r ec o g n ized   f ee to   th th r ee - d i m en s io n al  p o s itio n   in f o r m atio n   an d   u tili ze   th p o s itio n   f o r   th c o n tr o l.  Su ch   a   co n tr o m eth o d   u s in g   th r ee - d im en s io n a l   p o s itio n   o b tain ed   f r o m   th e   im ag in f o r m atio n   is   ca lled   th e   p o s itio n - b ased   m e th o d .   T h e   p o s itio n - b ased   m et h o d   is   ea s y   to   im p lem en th co n t r o law.   Ho wev er ,   it  is   k n o w n   th at  th r ee - d im en s io n al  r esto r atio n   f r o m   ca m er a   im ag es  is   v u ln er ab le   to   m o d e er r o r s   in   ca m er p ar am eter s   an d   is   also   s u s ce p tib le  to   im ag q u a n tizatio n .   I f   th er is   s u ch   an   er r o r   in   th ca m er p ar am eter s ,   th p o s itio n - b ased   m eth o d   ca n n o k ee p   th d is tan ce   to   th e   p er s o n   p r o p er l y ,   an d   th er is   a   p o s s ib ilit y   th at  th tr ac k in g   f a ils .   T h o u g h   p er s o n   o r   o b ject  r ec o g n itio n   b ased   o n   th co lo r   in f o r m atio n   o f   th ca m e r im ag e   is   ea s y   to   im p lem en t,  th ap p ar en co l o r   o n   th s cr ee n   c h an g es  wh e n   th illu m in atio n   b r ig h tn ess   o f   th en v i r o n m e n ch an g es,  an d   lar g d if f er en c o cc u r s   f r o m   th o r i g in al  co l o r   in f o r m atio n   o f   th tr ac k i n g   o b ject.   T h is   ca u s es   th m o b ile  r o b o t to   m is tak en ly   lo s s ig h t o f   th p er s o n   to   b t r ac k ed .   I n   th is   p a p er ,   we   co n s id er   p er s o n   tr ac k in g   co n tr o b as ed   o n   a n   im a g e - b ased   m eth o d   an d   co l o r   in v ar ian ce   [ 1 3 ] [ 1 5 ] .   T h e   im ag e - b ased   m et h o d   is   o n e   o f   t h v is u al  f ee d b ac k   c o n tr o ls   a n d   u tili ze s   th e   s tate   v ar iab les  o n   t h e   ca m er im a g e   p lan e.   B y   d ir ec tly   c o n tr o llin g   th f ea tu r es  o f   th tar g et  o n   th im ag e,   it  b ec o m es  u n n ec ess ar y   to   ca r r y   o u t th th r ee - d im en s io n al  r esto r atio n ,   a n d   it h as th r o b u s tn ess   f o r   th e   m o d el  er r o r   o f   th ca m er p ar am ete r   [ 1 6 ] [ 1 8 ] .   T h co lo r   in v ar ian c e   also   g iv es  r o b u s f ea t u r q u an tity   ag ai n s ap p ar en ch a n g es  s u ch   as  illu m in atio n   lig h tn ess   an d   s h ad o w.   I n   th is   p ap er ,   we  ex tr ac th f ea tu r es   o f   p er s o n   b ased   o n   th co l o r   in v ar ian ce   an d   u tili ze   t h em   f o r   tr ac k i n g   co n tr o b y   a   m o b ile   r o b o t .   T h e   ef f ec tiv e n ess   o f   th p r o p o s ed   m eth o d   is   e v alu ated   th r o u g h   in d o o r   e x p er im en ts .   I n   th ex p er im en t,   o n ca m er a   is   m o u n te d   o n   m o b il r o b o to   r ef lect  th f ee o f   th tr ac k ed   p er s o n ,   an d   b o th   f ee t   ar esti m ated   f r o m   two   in d e p en d e n p ar ticle  f ilter s   f r o m   t h ca m er a   im ag e.   E x p er im en tal  ev alu atio n s   ar e   ca r r ied   o u b y   t h m o b ile  r o b o in   an   in d o o r   e n v ir o n m e n t.  W d em o n s tr ate   th ef f ec tiv e n ess   o f   th p r o p o s ed   m eth o d   b y   m ea s u r in g   tr ac ea b le  illu m in an ce   v al u es  u s in g   an   illu m in an ce   s en s o r .       2.   I M AG E - B A SE CO N T RO L   WI T H   M O B I L E   RO B O T   T h is   p ap er   p r esen ts   m o d el  o f   two   wh ee l - t y p m o b ile  r o b o eq u i p p ed   with   ca m er a n d   r e alize s   tr ac k in g   co n tr o b y   im ag e - b as ed   m eth o d   f o r   th r o b o b ased   o n   [ 1 7 ] .     2 . 1 .   M o delin g   f o m o bil ro bo t s   wit h c a m er a   Fig u r 1   s h o ws  th m o d el  o f   t h m o b ile  r o b o t.  I n   th is   m o d el,   it  is   a s s u m ed   th at  th ca m er is   m o u n ted   h o r izo n tally   o n   t h ce n ter   o f   t h lef an d   r ig h t   wh ee ls   to war d   th tr av elin g   d ir ec ti o n   o f   th m o b ile  r o b o t.  v   d en o tes  th tr an s latio n al  s p ee d   o f   th m o b ile  r o b o an d     d en o tes  th r o tatio n al  s p ee d .   Als o ,   we  ass u m th a th ca m er co o r d in ate  s y s tem     with   th ce n ter   o f   th wh ee as  th o r ig in .   Her e,   if   th ca m er is   m o u n ted   h o r izo n tally   at  th ce n ter   o f   th wh ee l,  th ca m er m u s t b p lace d   in   h ig h   p o s itio n   in   o r d e r   to   v i ew  th f ee o f   th p er s o n .   T h er ef o r e,   in   th is   p ap er ,   we  co n s id er   t h at  th ac tu al  ca m er is   attac h ed   to   th f r o n o f   th r o b o a n d   t ilted   d o wn war d   as  s h o wn   in   Fig ur 2 .   T h is   ca m e r a - co o r d in ate  s y s tem   is   ass u m ed   to   b e    T h im ag co o r d i n ate  s y s tem   f o r   th ca m er co o r d in ate  s y s tem     an d      is   d ef in ed   as  an d          r esp ec tiv ely .   T h o r ig i n   o f   ea ch   im ag co o r d in ate  s y s tem   s h all  b th im ag e   ce n t er .   T h co o r d in ate  s y s tem      o f   th ca m er tilt ed   d o wn war d   ca n   b co n v er ted   t o   th ca m er co o r d in ate  s y s tem     o n   th e   ce n ter   o f   th wh ee l   b y   ap p ly i n g   t r an s latio n   v ec t o r   an d   r o tatio n   m atr ix .   Fo r   th e   s ak o f   s im p licity ,   co n s id er   th k in em atic  m o d el   in   t h h o r iz o n tal  ca m er co o r d in ate   s y s tem   .   T ar g et  p o in t   P   is   ass u m ed   to   b alwa y s   o n   t h g r o u n d .     Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6       P ers o n   fo llo w in g   co n tr o l fo r   a   mo b ile  r o b o t b a s ed   o n   co lo r   i n va r ia n ce   co r r esp o n d in g     ( S h in s u ke   Oh - h a r a )   35       Fig u r 1 .   Mo b ile  r o b o m o d el         Fig u r e   2 .   m o b ile  r o b o t e q u i p p ed   with   ca m er an d   im ag p lan es       T h k in em atic  m o d el  o f   p o i n = [ , , ] w ith   r esp ec t to   th m o b ile  r o b o is   ex p r ess ed   b y   ( 1 ) .      [ ] = V Ω × [ ]   ( 1 )     W h er e   = [ 0 0 ]   an d   Ω = [ 0 0 ] .   I n   ad d itio n ,   s in ce   P   is   o n   th g r o u n d ,   ( 1 )   ca n   b ex p r ess ed   as   ( 2 ) .      [ ] = [ 0 1 ] [ ]   ( 2 )     I n   th im a g e - b ased   m et h o d ,   th co n tr o is   p er f o r m ed   u s in g   th co o r d in ates  o n   t h im ag e .   Nex t,   we   tr an s f o r m   P   in   th e   co o r d in ate  s y s tem     to   th tar g et  p o in t   o n   th im ag p l an e T h v ec to r   [ ] o f   P   o n   th im a g p lan e   ar o b tain ed   b y   th f o llo win g .     [ ] = [ ]   ( 3 )     W h er e   f   is   th f o ca l le n g th   o f   t h ca m er a.   Su b s titu tin g   th tim e - d if f er e n t iated   ( 3 )   in to   ( 2 ) ,   th e   m o tio n   o f   th ta r g et  v ec to r   o n   th i m ag p lan e   ca n   b ex p r ess ed   b y   ( 4 ) .       ̇ =    ( 4 )     W h er e ,     = [ ] , = [          2 + 2 2   ]         , = [ ]   T h e   v ec t o r   s   is   t h co n tr o lled   v ar iab le.   I n   t h is   p ap e r ,   we   r ef er   to   th v ar iab le  s   as  th im a g f ea tu r e   p o in t .   T h m atr ix   J   c o n tain in g   th co m p o n e n ts   o f   s   is   ca lled   th im ag J ac o b ian   m atr i x   an d   is   r eg u la r   m atr ix   u n less     is   0 .     2 . 2 .   I m a g e - ba s ed  t ra c k ing   co ntr o l   In   th is   p ap er ,   we  c o n tr o l   th m o b ile  r o b o s o   th at  t h im a g f e atu r p o in t   o n   t h im ag e   p lan e   co in cid es  with   th tar g et  p o in t .   L et    b t h tar g et   v alu e   f o r   t h tilt ed   c am er im ag e   co o r d in ates   s y s t em    .   T h co n tr o er r o r   e   ca n   b e   ex p r ess e d   as  ( 5 ) .     =   ( 5 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   11 ,   No .   1 M a r ch   20 22 :   33 - 42   36   T h en let    b th e   er r o r   c o n v e r ted   to   t h h o r izo n tal  ca m er co o r d in ate   s y s tem   W h en   is   d if f er en tiated   with   r esp ec t to   t im e ,   we  ca n   o b tain   ( 6 )     ̇ =    ( 6 )     T h m atr ix   J   is   r eg u lar   m atr i x   as  lo n g   as   0 .   T h at  is ,   if   P   is   n o at  th s am h eig h as  th e   ca m er a,   J   is   r eg u lar .   I n   o ur   p r o b lem   s ettin g ,   if   th e   ca m er a   tilt ed   d o wn   ca n   r ec o g n ize  t h tar g et  P   in   th i m a g e,   J   is   alwa y s   r eg u lar   an d   t h in v e r s m atr ix   ex is ts .   T h er ef o r e,   th f o llo win g   co n t r o law  is   u s ed   f o r   th s p ee d   c o n tr o l   o f   th m o b ile  r o b o t.     = 1 = [ 0 0 ] 1   ( 7 )     W h er e     an d     ar p o s itiv f ee d b ac k   g ain s   r elate d   to   s p ee d   an d   an g u lar   s p ee d ,   r esp ec tiv ely .   Fr o m   th ab o v e,   th clo s ed - lo o p   s y s tem   o f   th m o b ile  r o b o t is ex p r ess ed   as f o llo ws:     ̇ =    ( 8)     I t c an   b s ee n   th at  it c a n   b s ta b ilize d   b y   th e   co n tr o l la o f   ( 7 ) .   I n   t h is   p ap er ,   we  d etec t th e   lo wer   e n d   p o s itio n s   o f   b o th   f ee o f   p e r s o n   f r o m   th im ag o f   th e   ca m er an d   t h en   d ete r m i ne   th av er ag o f   th two   p o s itio n s   as   th e   im ag f ea tu r p o in s .   T h im ag J ac o b ian   m atr ix   is   ca lcu lated   f r o m   th p o in t   s   in   r ea l - tim e,   an d   th p er s o n   tr ac k in g   is   r ea l ize d   b y   th e   co n tr o l la o f .   ( 7 ).       3.   F E E T   RE CO G N I T I O AN T RACK I NG   O F   P E RSO N   B AS E O CO L O I NV ARIANC E   3 . 1 .   Co lo inv a ria nce   T h e   co lo r   in v ar ian ce   [ 1 3 ]   is   r o b u s to   ap p ar e n ch an g es  s u c h   as  s h ad o ws  an d   illu m in atio n   lig h tn ess .   B y   d er iv in g   s p ec tr al   d er i v ativ es  f r o m   th e   p h y s ical  m o d el  o f   th e   r ef lecte d   lig h t   s p ec tr u m   o f   Ku l b elk a - Mu n k ,   two   in v ar ian ce s ,   H   a n d   C ,   ar e   ca lcu la ted .   I n   ad d itio n ,   th i n v ar ian ce s   H   an d   C   ar ca lcu la ted   f r o m   th lin ea r   tr an s f o r m atio n s   o f   R GB   co lo r   in f o r m atio n   o f   th e   im ag es   an d   th d if f e r en tial  co e f f icien ts   o f   t h r ef lecte d   s p ec tr a   as  ( 9 )   an d   ( 1 0 ) .     = 0 . 30 + 0 . 04 0 . 35 0 . 34 0 . 60 + 0 . 17   ( 9 )     = 0 . 30 + 0 . 04 0 . 35 0 . 06 + 0 . 63 + 0 . 27   ( 1 0 )     T h in v ar ian ce   H   is   th am o u n d u s o lely   to   th c o lo r   o f   t h o b ject 's   s u r f ac e,   an d   C   is   t h am o u n with   r esp ec to   n o n - g l o s s y   o b j ec ts .   I f   th v alu es  o f   H   an d   ar co n s tan t,  th ey   r e p r esen p lan o f   R GB   s p ac e.   Si n ce   th v al u es  o f   H   a n d   C   c an   b e   in f in ite,   we  u s th f o llo win g   in v e r s tr ig o n o m e tr ic   f u n ctio n s   f o r   H   an d   C   to   f in ite  th em .     { = ta n 1 = ta n 1   ( 11)     Fig u r 3   s h o ws th im ag e   o b ta in ed   b y   co n v er tin g   th o r ig in a l o n e   wh e n   th e   lig h t is tu r n ed   o f f   with   H   an d   an d   d is p lay in g   it o n   g r ay s ca le.   Fig u r e .   3 ( a)   s h o ws th im ag ca p t u r ed   in   an   illu m in ated   r o o m .   W ca n   clea r ly   r ec o g n ize  th co lo r   a n d   th p atter n   o n   th co v er   o f   t h o b ject.   On   th o t h er   h a n d ,   Fig u r e .   3 ( b )   s h o ws  th im ag t ak en   in   th r o o m   w ith   lig h ts   o f f .   I is   d if f icu lt  to   r ec o g n ize  th co lo r   a n d   th p att er n   f r o m   th im ag e .   T h i m ag e   co n v er ted   b y   H   in   Fig u r e . 3 ( c)   ca n   b e   s ee n   t h at  t h ch ar ac te r is tics   o f   th o b ject   b ec o m e   clea r er .   O th o th e r   h an d ,   C   s h o wn   in   Fig u r e .   3 ( d )   s h o ws  a   s m all  c h an g e   in   t h wh o le  im a g e,   wh ich   o b s cu r es  th e   ch ar ac ter is tics   o f   th o b ject  f r o m   th im ag e   co n v er ted   b y   H .   T h is   s u g g est s   th at  th u s o f   C   to g eth er   m ay   r e d u c e   th r ec o g n itio n   o f   th e   tar g et,   s o   it  i s   ef f ec tiv to   u s e   H   p r o ac tiv ely .   Ho wev er ,   th e r e   is   a   p r o b lem   th at   H   ca n n o d is tin g u is h   its   o p p o s ite  co lo r   f o r   g iv en   co l o r ,   an d   Ko b a y ash et  a l .   [ 1 4 ]   h av m ad th o p p o s ite  co lo r   co r r esp o n d   to   d if f er en v alu b y   d iv id in g   th v alu o f   H   b ased   o n   C .   I n   th is   p ap er ,   th e   f o llo win g   in v a r ia n ce     is   o b t ain ed   b y   u s in g   t h in v ar ian 0 = 0 . 01   as th s tan d ar d   in   th s a m way   as  [ 1 4 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6       P ers o n   fo llo w in g   co n tr o l fo r   a   mo b ile  r o b o t b a s ed   o n   co lo r   i n va r ia n ce   co r r esp o n d in g     ( S h in s u ke   Oh - h a r a )   37       ( a)     ( b )       ( c)   ( d )     Fig u r 3 .   E x am p les o f   tr an s f er r ed   im ag es u s in g   c o lo r   i n v ar ia n ce   ar e   ( a)   o r ig i n al  im ag wit h   lig h t ( b )   o r ig in al  im ag with out   lig h t ( c)   c o lo r   i n v ar ian ce   H ( d )   c o lo r   i n v ar ia n ce   C       = {         1 2 ( )   ( 0 , 0 ) 1 2   ( 0 , < 0 ) 1 2   ( < 0 , 0 ) 1 2 ( + )   ( < 0 , < 0 )   ( 1 2 )     I n   th is   p ap er ,   t h in v ar ia n ce     o f   ( 1 2 )   is   u tili ze d   as  f ea tu r q u an tity   o f   th f o o o f   tr ac k i n g   p er s o n .   T h er is   h u as  an   in d e x   to   ex p r ess   th ch an g o f   co lo r ,   an d   it  s h o ws  r o b u s p r o p er ty   f o r   illu m in atio n   lig h tn ess   an d   s o   o n .   Usi n g   t h is   p r o p e r ty ,   R an d   Fu jim o t o   [ 1 9 ]   p r o p o s ed   a   p er s o n   tr ac k in g   m eth o d   th at  f u s es   h u a n d   l o ca tio n .   Ho wev er ,   c o m p ar ativ e   s tu d y   b y   Ma ts u m o to   et  a l.   [ 1 5 ]   s h o ws  th at  th e   in v ar ian c   is   m o r e   r o b u s to   illu m in atio n   c h an g es   th an   th e   h u e .   T h e r ef o r e ,   in   t h i s   p ap er ,   we   u s th c o lo r   i n v ar ian ce     f o r   p er s o n   tr ac k in g .     3 . 2 .   P er s o t ra ck ing   ba s ed  o pa rt icle  f ilte r   Fig u r 4   s h o ws  b lo ck   d iag r a m   o f   p er s o n   tr ac k in g   in   th is   p ap er .   I n   t h is   p ap er ,   b ased   o n   t h m eth o d   o f   [ 2 ]   we  im p lem en in d e p en d en two - p ar ticle  f ilter s   o n   b o th   f ee o f   tr ac k e d   p er s o n .   T h f o l lo win g   s h o w s   th e   p r o ce d u r o f   th p e r s o n   tr ac k in g   b y   u s in g   ca m er a.           F ig u r 4 .   B lo ck   d iag r am   o f   th p r o p o s ed   m eth o d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   11 ,   No .   1 M a r ch   20 22 :   33 - 42   38   3 . 2 . 1 .   Det er m ina t io n o f   a   t r a ck ed   perso n   First ,   m o b ile  r o b o is   k ep o n   s tan d b y ,   an d   wh e n   p er s o n   i n tr u d es  in   f r o n o f   th ca m er a,   tr ac k in g   p er s o n   is   d ec id ed   b y   b ac k g r o u n d   d if f er en ce .     3 . 2 . 2 .   L ea rning   f ea t ure  o f   t he   t ra c k ed  perso n   T h e   co l o r   i n f o r m atio n   o b tain e d   f r o m   th im a g o f   t h tr ac k ed   p e r s o n   is   c o n v e r ted   i n to   in v ar ian ces   H   an d   C ,   a n d   th e   in v a r ian ce     is   ca lcu lated   b ased   o n   ( 12 ) .   W e   also   cr ea te  a n d   n o r m alize   h is to g r am   o f   th e   in v ar ian ce    to   tak e   ad v a n tag o f   th is   f o r   t h lik elih o o d   o f   p a r ticle  f ilter s .   Alo n g   with   th is ,   t h p ar ticle  f ilter s   ar in itialized .       3 . 2 . 3 .   Sea rc bo un di ng   lin f o bo t f ee t   B ased   o n   th m eth o d   o f   [ 2 ]   t h lik elih o o d   o f   th p ar ticles  o f   ea ch   p a r ticle  f ilter   is   p r o j ec ted   an d   ac cu m u lated   in   t h x - a x is   d ir e ctio n   as  ( 1 3 ) .      ( ) = ( ) 1 2  ( ( ( ) ) 2 2 ) = 1 + ( ) 1 2  ( ( ( ) ) 2 2 ) = 1   (1 3)     W h er N   is   th n u m b er   o f   th p ar ti cl e,   ( )   is   th s tate  an d   ( )   is   th co r r esp o n d in g   lik elih o o d   o f   th e   n - th   p ar ticle  o f   ea ch   p a r ticle  f ilter ,   r esp ec tiv ely .   T h s u b s cr ip ts   l   an d   r   d en o te  f o r   th lef an d   r ig h f o o t,  r esp ec tiv ely ,   First,  we  f in d   th e   two   ce n te r s   o f   g r av ity   o f   all  p ar ticles  f o r   e ac h   p a r ticle  f ilter .   T h en ,   th e   x - v alu wh e r A cc ( x)   is   th m in im u m   b etwe en   t h x - v alu es o f   ea c h   ce n ter   o f   g r av i ty   is   u s ed   as th d iv id in g   lin e.       3 . 2 . 4 .   Sea rc hin g   f o t he  lo west   po ints o f   bo t h f ee t   W d eter m in th lo west  p o s it io n s   o f   b o th   f ee o n   an   im ag b y   u tili zin g   b o th   f o o d iv id i n g   lin es  an d   th lik elih o o d   o f   p a r ticles.  T h x - co o r d in ate  o f   t h ce n ter   o f   g r av ity   o f   t h p ar ticles  f o r   ea c h   f ilter   is   u s ed   as  th x - co o r d in ate  o f   t h lo west  p o s itio n .   I n   th is   s y s tem ,   th lik e lih o o d   o f   p a r ticle  with   n e g ativ y - co o r d in ate   tr en d   is   h ig h   b ec a u s th f o o i s   p r o jecte d   ab o v t h im ag p l an e.   T h er ef o r e,   we  ex am i n th lik elih o o d   o f   ea c h   p ar ticle  f r o m   th u p p er   p ar o f   th im ag e   p lan e,   if   p ar ticle  is   in   T ab le   th e   s et  th r esh o l d ,   we  r eg a r d   t h y - co o r d in ate   o f   th e   p ar ticle  as   th lo west  p o in t   o f   th e   f o o t.   Fig u r 5   s h o ws  th e   r esu lt  o f   s ea r ch i n g   th e   lo west  p o in t   o f   b o th   f ee o b tain ed   b y   th is   m eth o d .   T h e   g r ee n   d o ts   ar e   th b o t to m   p o in o f   b o th   f ee t,   th b ar s   o n   b o th   s id es   o f   th im ag in d icate   th m ag n itu d o f   th lik elih o o d   in   th y - ax is   d ir ec tio n   o f   ea ch   p ar ti cle,   an d   th b ar s   o n   th b o tto m   in d icate   th m ag n itu d o f   th lik elih o o d   in   th x - a x is   d ir ec tio n .   B lu is   th r ig h f o o t,  an d   r ed   is   th lik elih o o d   o f   th lef f o o t.           Fig u r 5 .   E x am p le  o f   th f ea tu r p o in ts   ex tr ac ted   b y   t h p r o p o s ed   m eth o d       3 . 2 . 5 .   T ra ck ing   co ntr o l by   a i m a g e - ba s ed  m et ho d   T h av er a g v al u o f   th o b tai n ed   lo we st   p o s itio n s   o f   b o th   f e et  is   s et  as  th f ea tu r s ,   a n d   s   is   co n v e r ted   in to   th co o r d in ates  o f   t h h o r izo n tal  ca m er im ag c o o r d in at s y s tem   .   T h s tate  v ar iab le  is   ap p lied   to   th co n tr o l la in   ( 7 ) .     3 . 2 . 6 .   P a rt icle  f ilte up da t e   I n   th e   p ar ticle  f ilter   u p d ate,   th r esam p lin g   o f   th p ar ticles  is   p er f o r m ed .   T h p r o ce s s   r etu r n s   to   th e   two - leg   d iv id i n g   lin e   s ea r ch   in   th p r o ce d u r e   ( 3 . 2 . 3 ) .   I n   th is   p ap er ,   we  ass u m a   co n s tan v elo city   m o tio n   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6       P ers o n   fo llo w in g   co n tr o l fo r   a   mo b ile  r o b o t b a s ed   o n   co lo r   i n va r ia n ce   co r r esp o n d in g     ( S h in s u ke   Oh - h a r a )   39   as  m o d el  o f   th e   p ar ticle  f i lter .   T h m o b ile  r o b o t   is   co n tr o lled   to   f o llo th e   p er s o n   b y   r e p ea tin g   th ese   p r o ce d u r es.   T h p ar ticle  n u m b er   o f   ea ch   f o o p a r ticle  f ilter   in   th is   p ap er   is   1 2 0 0 .   T h n u m b e r   o f   b i n s   in   th e   h is to g r am   f o r   th in v ar ian ce    is   1 0 0 0 ,   an d   th e   th r esh o ld   o f   t h lik elih o o d   f o r   d ete r m in in g   th lo we st   p o in t   is   s et  to   1 0 - 5 T h tar g et  v alu f o r   p er s o n   tr ac k i n g   co n tr o l   is   s et  at  th ce n ter   o f   th tilt ed   ca m er im ag e,   th at  is ,   th o r ig in .   T h g ain     an d     in   th co n tr o l ler   o f   th ( 7 )   a r s et  to   0 . 6   a n d   1 . 8 ,   r esp ec tiv ely .   I n   th e   tr a ck in g   p r o ce d u r ( 3 . 2 . 4 ) ,   Nak a n o   et  a l.   [ 2 ]   ex tr ac te d   th lo wer   e d g es  f r o m   th p o s itio n   o f   th e   ce n ter   o f   g r av ity   o f   th p a r ticles,  th en   d eter m in e d   th lo west  p o in ts   b y   ed g d etec tio n .   Ho we v er ,   in   th is   m eth o d ,   th f o o im ag is   b lu r r ed   d u to   th f ast  m o v em en o f   th f o o an d   th ch an g o f   th illu m in atio n   b r ig h tn ess ,   an d   it  b ec o m es  d if f icu lt  to   f in d   th lo west   p o in b y   th ed g d ete ctio n .   T h er ef o r e,   th p o in is   ex tr ac ted   at  p o s itio n   d if f e r en f r o m   th ac t u al  f o o t,   an d   it b ec o m es im p o s s ib le  to   k ee p   th d is tan ce   b etw ee n   th p er s o n   an d   th r o b o p r o p er ly .   O n   th o th er   h an d ,   th lik elih o o d - b ased   m eth o d   in   t h is   p ap er   m a k es  it  p o s s ib le  to   f in d   th e   en d p o i n ts   ev en   f o r   b lu r r ed   im ag es.       4.   E XP E R I M E N T A L   E VA L U AT I O N S   Pio n ee r   3 DX  [ 2 0 ]   was  f itted   with   u n iv er s al  s er ial  b u s   ( U SB )   E L E C OM   C o r p o r atio n   Un iv er s id ad   C ató lica  San   An to n io   d M u r cia  ( UC AM ) - C   0 2 2 0   to   r ef lec th f ee t   o f   p e r s o n ,   s ee   Fig u r e   6 .   Dell  latitu d e   3 5 5 0   ( 4   GB )   lap to p s   an d   Mic r o s o f v is u al  C ++   2 0 1 0   e x p r e s s   wer u s ed   to   im p lem en th p r o p o s ed   m eth o d ,   an d   Op en C V - 2 . 1   was  u s ed   to   p r o ce s s   im ag es.  T h p r o p o s e d   p ar ticle  f ilter s   wer im p lem en ted   b ased   o n   th e   co n d en s atio n   al g o r ith m   [ 2 1 ]   in   Op en C V.   T h illu m in an ce   s en s o r   Gr ap h tec  GS - L XUV  was  m o u n ted   t o   m ea s u r e   th am b ien t illu m in atio n   d u r in g   ex p er im e n ts .           Fig u r 6 .   Mo b ile  r o b o p io n ee r   3 DX       T h ex p er i m en ts   wer ca r r ied   o u in   an   i n d o o r   en v ir o n m en t.  T h p er s o n   wen s tr aig h to   th h allway   wh er th lig h ts   wer tu r n ed   o f f   wh en   th e   p er s o n   s tar ted   walk in g .   Fig u r 7   s h o ws an   e x am p le  o f   th r esu lts   o f   m ea s u r em en u s in g   a n   illu m i n an ce   m ete r   in   a n   ex p e r im en t .   T h e   ex p e r im en tal  e n v ir o n m en ch an g es  f r o m   a   m ax im u m   illu m in a n ce   o f   2 7 . 4   [ lx ]   to   a   m in im u m   illu m in an c o f   1 . 8   [ lx ] .           Fig u r 7 .   I ll u m in atio n   c o n d iti o n   in   th e   ex p er im e n tal  en v ir o n m en t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   11 ,   No .   1 M a r ch   20 22 :   33 - 42   40   T h p r o p o s ed   m eth o d   is   co m p ar ed   with   th R GB   co lo r   in f o r m atio n   m eth o d   f o r   tr ac k in g   p er s o n ' s   f ee t.  T h m eth o d   o f   Nak an o   et   a l.   [ 2 ]   is   b ased   o n   R GB   co lo r   in f o r m atio n .   W s h o th p r o ce s s   o f   tr ac k in g   p er s o n   b y   u s in g   th e   o n b o ar d   ca m er wh e n   u s in g   th e   R GB   co lo r - b ased   m eth o d   an d   th p r o p o s ed   m et h o d ,   r esp ec tiv ely .   T h e   lig h tn ess   o f   ea ch   im ag e   is   p r o ce s s ed   to   m ak it  ea s ier   to   s ee   th e   ex p e r im en t.  No te  t h at  th e   ac tu al  im ag es a r d ar k er   th a n   t h em .   Fig u r 8   s h o ws  th e   R GB   co lo r - b ased   m eth o d   in   wh ich   p ar ti cles  ar d is p er s ed   in   th s h a d o ws  o f   th f ee as  th illu m in atio n   in ten s ity   d ec r ea s es.  I n   Fig u r e   8 ( a) ,   t h r o b o s p ec if ied   th ta r g et  p er s o n   b ased   o n   th e   b ac k g r o u n d   d if f e r en ce   a n d   d e ter m in ed   th l o west  p o s itio n s .   I n   Fig u r es   8 ( b )   a n d   ( c) ,   th r o b o r ec o g n ized   th e   f ee o f   th p er s o n   a n d   f o ll o wed   it  s in ce   th lig h tin g   in   th h a llway   was  b r ig h t.  T h p ar ticle s   b eg an   to   d is p er s ev en   to war d   t h s h ad o o f   th e   f o o f r o m   Fig u r e   8 ( d ) ,   an d   th e   d is tan ce   b etwe en   th p er s o n   a n d   th r o b o b eg an   to   in cr ea s e.   B ec au s th c o lo r   o f   th e   p e r s o n ' s   p an ts   was  d ar k   b lu e,   th e   p ar ticles  in   th s h a d ed   ar ea   wer g iv en   lik elih o o d .   I n   Fig u r e   8 ( e) ,   t h s h ad o ws  o f   b o th   f ee wer ex tr ac ted   as  th lo wer   en d p o in ts ,   e v en   th o u g h   th e   f ee wer ca p tu r ed   b y   th ca m er a.   T h r o b o lo s s ig h o f   th f ee an d   co u ld   n o tr ac k   th p e r s o n   in   Fig u r e   8 ( f ) .   T h e   illu m in an ce   in   Fig u r e   8 ( f )   was  7 . 2   [ lx ] ,   wh e r th f o o c o u ld   n o b r ec o g n ized   an d   tr ac k in g   b ec am im p o s s ib le  f r o m   th e   im ag es sh o wn   in   Fig u r e   8 ( f )   an d   later .   I n   th p r o p o s ed   m eth o d   s h o w n   in   Fig u r 9 ,   th p ar ticles  d i d   n o d is p er s in   th s h ad o ws  o f   th f ee ev en   in   s itu atio n s   wh er b o th   f ee wer d if f icu lt  to   r ec o g n ize  d u to   th d ar k n ess .   Fig u r 9   s h o ws  th at  th co lo r   in v ar ian ce   is   r o b u s ag ai n s s h ad o ws.  I n   Fig u r 9 ( a) ,   th r o b o s p ec if ied   th e   tar g et  p er s o n   b y   th e   b ac k g r o u n d   d if f er en ce   a n d   d eter m in ed   th l o west  p o s itio n s .   I n   Fig u r 9 ( b ) ,   it  was  eq u iv alen to   th b r i g h t n ess   wh en   tr ac k in g   f ails   u s in g   a   co lo r   in f o r m atio n - b as ed   m eth o d .   I n   th e   p r o p o s e d   m eth o d ,   g r o u p   o f   h ig h l y   li k elih o o d   p a r ticles   was d is tr ib u ted   ar o u n d   b o th   f e et,   an d   th lo wer   en d p o in ts   o f   b o th   f ee t w er ac cu r ately   d ete cted .   Fro m   Fig u r es  9 ( c) ,   ( d ) ,   an d   ( e ) ,   th r o b o r e co g n ized   b o th   f ee an d   tr ac k e d   th p er s o n ,   ev e n   th o u g h   th p er s o n   was  walk in g   in to   th e   d ar k er   co r r i d o r .   I n   Fig u r 9 ( f ) ,   th e   lo wer   en d p o in ts   o f   b o th   f ee t w er e   co r r ec tly   e x tr ac ted   in   th d ar k est  p lace .   T h illu m in an ce   at  Fig u r 9 ( f )   was  2 . 0   [ lx ] ,   wh ich   was   in   d ar k er   en v ir o n m en th an   i n   th ca s o f   co lo r   in f o r m atio n .   I n   th is   e x p er im e n t,  a   co lo r   in f o r m atio n - b ased   m et h o d   an d   th p r o p o s ed   m eth o d   wer e   p e r f o r m ed   5 0   tim es  ea ch ,   an d   th r esu lts   we r m ea s u r ed   b y   an   illu m in a n c m eter .   T ab le  1   s h o ws  th m ea n   an d   s tan d ar d   d ev iatio n   o f   m in im u m   illu m in atio n   wh er th r o b o t c o u l d   f o llo th p er s o n .             ( a)       ( b )   ( c)           ( d )     ( e)   (f)   Fig u r 8 .   Scen o f   tr ac k in g   b a s ed   o n   R GB   co lo r   in f o r m atio n   ar ( a)   T = 0 . 0   [ s ] ,   ( b )   T =6 . 8   [ s ]   ( c)   T =1 2 . 2   [ s ] ,   ( d )   T =1 5 . 8   [ s ] ,   ( e)   T =2 3 . 5   [ s ] ,   ( f )   T = 2 8 . 7   [ s ]       Evaluation Warning : The document was created with Spire.PDF for Python.
I AE I n J   R o b   &   A u to m   I SS N:   2722 - 2 5 8 6       P ers o n   fo llo w in g   co n tr o l fo r   a   mo b ile  r o b o t b a s ed   o n   co lo r   i n va r ia n ce   co r r esp o n d in g     ( S h in s u ke   Oh - h a r a )   41         ( a)       ( b )   ( c)           ( d )   ( e)   (f)     Fig u r 9 .   Scen o f   tr ac k in g   b a s ed   o n   co lo r   in v a r ian ce   ar ( a)   T =0 . 0   [ s ] ( b )   T =1 0 . 3   [ s ] ,   ( c)   T =4 0 . 9 [ s ]   ( d )   T =4 7 . 5   [ s ] ,   ( e)   T =5 4 . 7   [ s ] ,   ( f )   T =5 8 . 3   [ s ]       T ab le  1 .   Min im u m   illu m in atio n     M i n i m u m   i l l u mi n a t i o n   [ l x ]   R G B   c o l o r   sp a c e   7 . 2   ± 0 . 4   C o l o r   i n v a r i a n c e   2 . 0   ± 0 . 1       5.   CO NCLU SI O N     I n   th is   p ap er ,   we  co n s id er   th e   r ec o g n itio n   o f   th p e r s o n 's   f ee an d   tr ac k in g   co n tr o b y   ca m er m o u n ted   o n   a   m o b ile  r o b o u n d er   illu m in atio n   v ar iatio n .   I n   t h is   p ap er ,   we  p r o p o s e d   an   im ag e - b ased   tr ac k i n g   co n tr o l m eth o d ,   wh ich   is   r o b u s v is u al  f ee d b ac k   co n t r o l.  Fu r th er m o r e ,   in   o r d e r   to   c o r r esp o n d   to   th c h an g e   o f   th lig h tin g   en v ir o n m e n t,  th c o lo r   in f o r m atio n   o f   th im a g is   co n v er ted   to   th e   co lo r   in v a r ian t,   an d   th p er s o n   tr ac k in g   m eth o d   u s in g   it  is   p r o p o s ed .   T h e f f ec tiv en ess   o f   th p r o p o s ed   m eth o d   was  ev alu a ted   b y   ex p er im en ts   with   an   ac tu al  m o b ile  r o b o t .   T h m ea s u r em en o f   th illu m in an c v alu b y   th illu m in an ce   s en s o r   was  also   ca r r ied   o u in   th ex p er im e n t,   an d   it  was  s h o wn   th at  th p er s o n   co u ld   b tr ac k e d   ev en   in   th en v ir o n m e n in   wh ich   th lig h tin g   b r ig h tn ess   was lo b y   th p r o p o s ed   tech n iq u e.       ACK NO WL E DG E M E NT S   T h is   wo r k   was  s u p p o r ted   b y   jo b - s h o p   s ch ed u lin g   p r o b lem s   ( J SP S )   KAKE NHI   g r an t - in - aid   f o r   y o u n g   s cien tis t s   ( B )   1 5 K2 1 0 3 3 .       RE F E R E NC E S   [ 1 ]   N .   M a t s u h i r a     H .   O g a w a     a n d   T .   Y o sh i mi     L i f e   s u p p o r t   r o b o t t h a t   c o e x i s t   i n   h a r m o n y   w i t h   p e o p l e   ( i n   Ja p a n e se)    T O S H I BA   Re v . v o l .   6 0 ,   n o .   7 ,   p p .   1 1 2 -- 1 1 5 ,   2 0 0 5 .   [ 2 ]   H .   N a k a n o     Y .   S h i m o w a k i     T .   Y a m a n a k a     a n d   M .   W a t a n a b e     P e r s o n   f o l l o w i n g   sy s t e f o r   t h e   a u t o n o m o u s   m o b i l e   r o b o t   b y   i n d e p e n d e n t   t r a c k i n g   o f   l e f t   a n d   r i g h t   f e e t   ( i n   Ja p a n e s e )     J .   R o b o t .   S o c .   J a p a n ,   v o l .   2 5 ,   n o .   5 ,   p p .   7 0 7 7 1 6 ,   2 0 0 7 ,   d o i :   1 0 . 7 2 1 0 / j r s j . 2 5 . 7 0 7 .   [ 3 ]   S .   O k u sa k o   a n d   S .   S a k a n e     H u ma n   t r a c k i n g   w i t h   a   m o b i l e   r o b o t   u si n g   a   l a ser  r a n g e - f i n d e r   ( i n   J a p a n e se)    J .   R o b o t .   S o c .   J a p a n v o l .   2 4 ,   n o .   5 ,   p p .   6 0 5 6 1 3 ,   2 0 0 6 ,   d o i :   1 0 . 7 2 1 0 / j r sj . 2 4 . 6 0 5 .   [ 4 ]   A .   Le i g h ,   J.  P i n e a u ,   N .   O l m e d o ,   a n d   H .   Z h a n g ,   P e r so n   t r a c k i n g   a n d   f o l l o w i n g   w i t h   2 D   l a s e r   sca n n e r   i n   2 0 1 5   I E EE  I n t e r n a t i o n a l   C o n f e re n c e   o n   R o b o t i c s   a n d   A u t o m a t i o n   ( I C RA) ,   2 0 1 5 ,   p p .   7 2 6 7 3 3 ,   d o i :   1 0 . 1 1 0 9 / I C R A . 2 0 1 5 . 7 1 3 9 2 5 9 .   [ 5 ]   P .   P é r e z     C .   H u e     J .   V e r ma a k     a n d   M .   G a n g n e t     C o l o r   b a s e d   p r o b a b i l i s t i c   t r a c k i n g     i n   Eu r o p e a n   C o n f e re n c e   o n   C o m p u t e Vi s i o n 2 0 0 2 ,   p p .   6 6 1 6 7 5 .   [ 6 ]   J.  M .   d e l   R i n c ó n ,   D .   M a k r i s ,   C .   O .   U r u ñ u e l a ,   a n d   J. - C .   N e b e l     Tr a c k i n g   h u ma n   p o s i t i o n   a n d   l o w e r   b o d y   p a r t u si n g   k a l m a n   a n d   p a r t i c l e   f i l t e r s c o n s t r a i n e d   b y   h u ma n   b i o me c h a n i c s     I E EE  T ra n s.  S y st .   Ma n ,   C y b e r n .   P a rt   B ,   v o l .   4 1 ,   n o .   1 ,   p p .   2 6 3 7 ,   F e b .   2 0 1 1 ,   d o i :   1 0 . 1 1 0 9 / TSM C B . 2 0 1 0 . 2 0 4 4 0 4 1 .   [ 7 ]   M .   A h ma d     I .   A h me d     F .   A .   K h a n     F .   Q a y u m   a n d   H .   A l j u a i d     C o n v o l u t i o n a l   n e u r a l   n e t w o r k   b a se d   p e r so n   t r a c k i n g   u s i n g   o v e r h e a d   v i e w s ”   I n t .   J .   D i st r i b .   S e n s.  N e t w o rks ,   v o l .   1 6 ,   n o .   6 ,   p .   1 5 5 0 1 4 7 7 2 0 9 3 4 7 3 ,   Ju n .   2 0 2 0 ,   d o i :   1 0 . 1 1 7 7 / 1 5 5 0 1 4 7 7 2 0 9 3 4 7 3 8 .   [ 8 ]   A .   E.   G u e v a r a     A .   H o a k     J.  T.   B e r n a l     a n d   H .   M e d e i r o s   V i s i o n - b a se d   sel f - c o n t a i n e d   t a r g e t   f o l l o w i n g   r o b o t   u s i n g   b a y e si a n   d a t a   f u si o n     i n   I n t e r n a t i o n a l   S y m p o si u m   o n   V i su a l   C o m p u t i n g ,   2 0 1 6 ,   p p .   8 4 6 8 5 7 .   [ 9 ]   K .   K o i d e     J.   M i u r a     a n d   E.   M e n e g a t t i     M o n o c u l a r   p e r s o n   t r a c k i n g   a n d   i d e n t i f i c a t i o n   w i t h   o n - l i n e   d e e p   f e a t u r e   s e l e c t i o n   f o r   p e r s o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 7 2 2 - 2 5 8 6   I AE I n J   R o b   &   A u to m Vo l .   11 ,   No .   1 M a r ch   20 22 :   33 - 42   42   f o l l o w i n g   r o b o t s     Ro b .   A u t o n .   S y s t . ,   v o l .   1 2 4 ,   p .   1 0 3 3 4 8 ,   F e b .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . r o b o t . 2 0 1 9 . 1 0 3 3 4 8 .   [ 1 0 ]   B .   X .   C h e n     R .   S a h d e v     a n d   J.   K .   T so t s o   P e r so n   f o l l o w i n g   r o b o t   u s i n g   s e l e c t e d   o n l i n e   a d a - b o o st i n g   c a mer a     i n   2 0 1 7   1 4 t h   C o n f e re n c e   o n   C o m p u t e a n d   R o b o t   Vi si o n   ( C RV) ,   2 0 1 7 ,   p p .   4 8 5 5 ,   d o i :   1 0 . 1 1 0 9 / C R V . 2 0 1 7 . 5 5 .   [ 1 1 ]   M .   M u n a r o   a n d   E .   M e n e g a t t i     F a st   R G B - D   p e o p l e   t r a c k i n g   f o r   ser v i c e   r o b o t   A u t o n .   R o b o t s ,   v o l .   3 7 ,   n o .   3 ,   p p .   2 2 7 2 4 2 ,   O c t .   2 0 1 4 ,   d o i :   1 0 . 1 0 0 7 / s1 0 5 1 4 - 0 1 4 - 9 3 8 5 - 0.   [ 1 2 ]   K .   K o i d e   a n d   J.   M i u r a     I d e n t i f i c a t i o n   o f   a   s p e c i f i c   p e r so n   u si n g   c o l o r     h e i g h t     a n d   g a i t   f e a t u r e f o r   a   p e r s o n   f o l l o w i n g   r o b o t     R o b .   Au t o n .   S y st . ,   v o l .   8 4 ,   p p .   7 6 8 7 ,   O c t .   2 0 1 6 ,   d o i :   1 0 . 1 0 1 6 / j . r o b o t . 2 0 1 6 . 0 7 . 0 0 4 .   [ 1 3 ]   J. - M .   G e u s e b r o e k ,   R .   v a n   d e n   B o o m g a a r d     A .   W .   M .   S me u l d e r s     a n d   H .   G e e r t   C o l o r   i n v a r i a n c e     I EEE  T r a n s .   P a t t e r n   A n a l .   Ma c h .   I n t e l l . ,   v o l .   2 3 ,   n o .   1 2 ,   p p .   1 3 3 8 1 3 5 0 ,   2 0 0 1 ,   d o i :   1 0 . 1 1 0 9 / 3 4 . 9 7 7 5 5 9 .   [ 1 4 ]   M .   K o b a y a ss h i   a n d   K .   K a me y a m a     A   c o mp o s i t e   i l l u m i n a t i o n   i n v a r i a n t   c o l o r   f e a t u r e   a n d   i t s   a p p l i c a t i o n   t o   p a r t i a l   i mag e   m a t c h i n g     I EI C T r a n s .   I n f .   S y st . ,   v o l .   E 9 5 . D ,   n o .   1 0 ,   p p .   2 5 2 2 2 5 3 2 ,   2 0 1 2 ,   d o i :   1 0 . 1 5 8 7 / t r a n si n f . E 9 5 . D . 2 5 2 2 .   [ 1 5 ]   W .   M a t s u m o t o   a n d   K .   K a me y a ma    C o mp a r i s o n   o f   h u e   f e a t u r e   a n d   i l l u mi n a t i o n   i n v a r i a n t   c o l o r   f e a t u r e   h   i n   p a r t i a l   i m a g e   r e t r i e v a l   ( i n   J a p a n e se)    I EI C T e c h .   Re p o r t ;   I EI C T e c h .   Re p ,   v o l .   1 1 2 ,   n o .   3 3 5 ,   p p .   4 1 4 6 ,   2 0 1 2 .   [ 1 6 ]   S .   H u t c h i n s o n     G .   D .   H a g e r     a n d   P .   I .   C o r k e     A   t u t o r i a l   o n   v i su a l   s e r v o   c o n t r o l     I E EE  T r a n s.  Ro b o t .   A u t o m . ,   v o l .   1 2 ,   n o .   5 ,   p p .   6 5 1 6 7 0 ,   1 9 9 6 ,   d o i :   1 0 . 1 1 0 9 / 7 0 . 5 3 8 9 7 2 .   [ 1 7 ]   K .   K u r a s h i k i     J .   N a g a t a     a n d   T.   F u k a o     I mag e - b a s e d   S t a b i l i z i n g   C o n t r o l   o f   a   N o n h o l o n o mi c   M o b i l e   r o b o t   n o t   t o   g o   b e y o n d   t a r g e t s   ( i n   J a p a n e se)    T r a n s.  I n st .   S y st .   C o n t ro l   I n f .   E n g . ,   v o l .   2 5 ,   n o .   4 ,   p p .   7 5 8 3 ,   2 0 1 2 ,   d o i :   1 0 . 5 6 8 7 / i sc i e . 2 5 . 7 5 .   [ 1 8 ]   Y .   R i   a n d   H .   F u j i m o t o     I mag e   B a s e d   V i s u a l   S e r v o   A p p l i c a t i o n   o n   V i d e o   Tr a c k i n g   w i t h   M o n o c u l a r   C a mer a   B a se d   o n   P h a s e   C o r r e l a t i o n   M e t h o d     i n   I EE J   I n t e r n a t i o n a l   W o rks h o p   o n   S e n s i n g ,   Ac t u a t i o n ,   Mo t i o n   C o n t r o l ,   a n d   O p t i m i z a t i o n ,   2 0 1 7 .   [ 1 9 ]   G.   M .   Y .   I so b e   a n d   K .   U me d a     R o b u s t   t a r g e t   d e t e c t i o n   f o r   h u m a n   f o l l o w i n g   w i t h   a   mo b i l e   r o b o t   u n d e r   v a r y i n g   i l l u mi n a t i o n   e n v i r o n m e n t ( i n   J a p a n e se)    i n   Pro c e e d i n g o f   2 0 1 4   J S PE   Au t u m n   C o n f e r e n c e ,   2 0 1 4 ,   p p .   1 6 3 1 6 4 ,   d o i :   h t t p s : / / d o i . o r g / 1 0 . 1 1 5 2 2 / p sc j sp e . 2 0 1 4 A . 0 _ 1 6 3 .   [ 2 0 ]   A c t i v M e d i a   I n c .     P i o n e e r   3   o p e r a t i o n s ma n u a l     v e r si o n   2     i n   A c t i v Me d i a   I n c . ,   2 0 1 5 .   [ 2 1 ]   M .   I sard   a n d   A .   B l a k e     C o n d e n sa t i o n   c o n d i t i o n a l   d e n si t y   p r o p a g a t i o n   f o r   v i s u a l   t r a c k i n g     I n t .   J .   C o m p u t .   Vi s. ,   v o l .   2 9 ,   n o .   1 ,   p p .   5 2 8 ,   1 9 9 8 .       B I O G RAP H I E S O F   AUTH O RS       S h in suk e   O h - h a r a           re v ise d   th e   P h . D.  d e g re e   in   m e c h a n ica e n g in e e rin g   fr o m   Os a k a   Un iv e rsit y   in   Ja p a n   in   2 0 0 6 .   S in c e   2 0 0 9 ,   h e   h a b e e n   wo rk i n g   a U n iv e rsit y   o f   Ya m a n a sh a a n   As sista n t His  re se a rc h   in terre sts  in c lu d e   v isu a l   fe e d b a c k   c o n tr o a n d   m o b il e   ro b o c o n tro l .   He   c a n   b e   c o n tac ted   a e m a il :   so h h a ra @y a m a n a sh i. a c . jp         K a o ru  Sa it o           re v ise d   th e   M a ste d e g re e   in   m e c h a n ica e n g in e e rin g   fo rm   Un iv e rsity   o f   Ya m a n a sh i   (Ja p a n )   in   2 0 1 6 .   S i n c e   Ap ril   2 0 1 6 ,   h e   h a b e e n   wo r k in g   a A u tec   M e c h a n ica Co .   Lt d .   He   c a n   b e   c o n tac ted   a e m a il a h . r. so ra @g m a il . c o m         Ats u shi   Fu ji m o r i           re c e iv e d   th e   P h . D.  d e g re e   in   a e ro n a u t ics   fro m   Na g o y a   Un iv e rsity   i n   Ja p a n   i n   1 9 8 9 .   S i n c e   1 9 9 0 ,   He   h a d   wo r k e d   a S h izu o k a   Un iv e rsity   in   Ja p a n   a s   a n   As so c iate   P r o fe ss o r.   S i n c e   2 0 0 6 ,   He   h a v e   b e e n   wo r k in g   a U n iv e rsity   o Ya m a n a sh i   a a   P ro fe ss o r.   His   c u rre n t   re se a rc h   in tere sts  a re   in   fiel d o sy ste m   i d e n ti fica ti o n ,   fli g h t   c o n tr o l   a n d   m o b il e   ro b o ts.   He   c a n   b e   c o n tac ted   a e m a il a fu ji m o ri@y a m a n a sh i. a c . jp     Evaluation Warning : The document was created with Spire.PDF for Python.