Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   10 ,  No.   3 ,  June 2020, p p.   3022~3 034   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v10 i 3 . pp3022 - 30 34     3022       Journ al h om e page :  http: // ij ece.i aesc or e.c om/i nd ex .ph p/IJ ECE   Effici ent  and  s ecure r eal - time  m ob ile robots c oope ration us ing  visual se rvoing       So umi a  B ou d ra 1 , N as r - Ed d ine B errache d 2 , A mi ne  Dah an e 3   1, 2 Inte lligen t  S y s te m s Re sea r ch  L abor at or y ,   El e ct r onic s Depa r tmen t,     Univer sit y   of   Sc ie nc es  and   Tech nolog y   of  Or an   US TO - MB ,   Alger ia   3 Resea rch   L abor at or y   in  Industr i al   Com puti ng   an d  Networks (RII R),     Univer sit y   of   Or an  1  Ahm ed  B en   Bella, Alge r ia        Art ic le   In f o     ABSTR A CT   Art ic le  history:   Re cei ved   A pr   13 , 201 9   Re vised  N ov  2 7 ,   2019   Accepte d  Dec  10, 201 9     Thi s  pape r   de al s   with  th e  ch al l en ging  proble m   of   navi ga ti on  in  fo rm at ion  of  m obil es  robots  fle e t.   For  tha t  pu rpose,   a  sec ur e  appr oac h  is  used  base d  on  visual   servo ing   to  cont rol   velocit i es  (l ine ar   a nd  angular)  of  the   m ult ip l e   robots.   To  construc t  our   s y st em,  we  dev el op  th e  intera ct ion   m at rix  whic h   combines  the   m om ent s  in  the   i m age   with  robot s  vel ocitie s  and  we  esti m ate  the   dept h  be twe en  ea ch  robot  a nd  the   ta rg e te d  obje c t.   Thi s  is  done  wi thout  an y   comm unic at ion  bet we en  th e  robots  which  el iminate  the   proble m   of    the   infl uen ce   of   ea ch  robot  err ors  on  the   who le .   For  a  succ e ss ful  visual   servoing,   we   pr opose  a  powerf ul  m ec han ism   to  execut e   safe l y   the   robo ts   navi ga ti on,   exploiti ng  a  robo t  acci den t  rep ort ing  s y stem  using  raspbe rr y   Pi 3 .   Thi s  rep ort ing  s y stem  te stb ed  is  u sed  to   sen d  an  a cc id ent   noti ficat ion,   in  the   form   of  a  spec ifica l  m essage .   Expe r imental  result s  are   pre s ent ed  using   nonholonomic  m obil es  robots  with  on - b oar d  r ea l  t ime  ca m er as,   to  s how   the   eff e ct iv ene ss   of   th e  proposed   m et hod.   Ke yw or d s :   Kinem at ic s  m o delin g   Mult i robo ts  syst e m   Secu re  nav i gation   Visu al  se r vo i ng   Copyright   ©   202 0 Instit ute of   Ad v ance d  Engi ne eri ng  and  Sc ie n ce .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Soum ia    Bou dr a ,    In te ll igent  Syst e m s Resea rch   Lab or at ory , El ect ronics D e pa rtm ent,   Un i ver sit y o f S ci ences a nd Te chnolo gy  of Or an UST O - MB,   El M naou r,  BP  1505, B ir El  D j ir  3100 0 Or a n, Alge ria .   Em a il :  so um ia . boudra @univ - us to .d z       1.   INTROD U CTION   Roboti cs   is  a  com plex  en gine erin g  fiel d  be cause  as so ci at es  dee p  knowl edg e   of   se ve ra l  discipli nes  su c h  as  el ect ronic,  m echan ic   and   s of t war e  e ng i neer i ng.  Th is  com plexity  i s  com po unde d  with  the  transit ion   to   m ul ti - ro bot  sy stem s.   The  co op e rati ve  Mult i  R obot  Con t r ol  S yst em s   ( MR CS)   has  gro wn   co ns ide r ably   in    the  la st  decad e ,  due  to  the  ex te ns ive  nee d  to   su ch  te c hnology  in  dif fer e nt   fiel ds   m a inly :   bio m edical   sc ie nce ,   rescu e i ng ,  dis placem ent  of   heav y  it em s ,   su r veill ance  f or   e xam ple  cat ch ing   i nv a de r s  unde r  sur ve il la nce   areas  [ 1],  se nsor  netw orks  a nd  co operati ve  t ran s port .  T he  i dea  is  that  aut onom ou s,  c ollaborat ive  r ob ot s   can  achieve  bette r  resu lt s   the n  each  rob ot  separa te ly   [2 ] .Coop erati on   m eans  that  robo ts  m us t  co m m un ic at e  to   exch a nge in f orm at ion  and c oor din at e t heir  a ct ion s i n order   to accom plish  a   com m on   ta sk  [ 3,   4] .    Howe ver,  buil ding  a  c ontrol   syst e m   fo r  a   gro up   of   aut onom ou s  r obots   is  a  ver y  com plex  wo r k.  Am on g  the  ad van ta ges  of  th e  MRCS ,  we  can  ci te :  1)   The   syst e m   can  react  qu ic kly  to  exter nal  interf eren ce   du e  t o  the  r obots  div isi on   of  la bour   ba sed  on   e nv i ronm ent  sh arin g,   sin ce   the  lim it at ion   of   the  fiel d  of  visio n  of   eac h   ind i vi du al   m ob il e  m akes  alm os t   i m po ssible  the  pe rcep ti on   of   the  r obot   entire  env ir onm ent;   2)  The  t rainin g  of  MR CS  m ai ntains  a  s pec ific   at ta ck  on   t he   ou tsi de   that   c an  e nh a nce  def e ns e  ca pa bili ti es;   3 )  It c a n  im pr ove the  ro bu st ne ss and e ff ic ie nc y of t he  syst e m .   In   the  pr ese nt   stud y,  we  wa nt  to  i m ple m e nt  a  colla borat ive   co ntro l   sy stem   fo r  a  gro up   of   non - ho l onom ic   m o bile  robo ts ,  usi ng   cam eras  aimi ng   at   tracking   obj ect s  a nd  perform ing   ta sk s  ba sed  on   visu a l  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       Eff ic ie nt a nd s ecure re al - ti me  mob il e r obots  cooper atio n us ing  vis ual serv oing   ( So um i a   Bo ud r a )   3023   inf or m at ion   in  real - ti m e   con tr ol. T he  ap plica ti on s  of   m achine  vision   te c hn i qu e s  can  ge ne r al ly   be   cat ego r iz ed  into  tw o  cl ass es  base d  on  t he   re qu i rem ent  of  real - ti m e  processin g ;   Non - Tim e - Crit ic a l   Visio n  A pp li c at ion s   (N TC VA)  a nd   Tim e - Crit ic a l   Visio n  A pp li cat ion s  (TC V A) .   NTCV A   don ’ t  re quire  visu al   fee db ac k  for   highb a nd  widt h  real - tim e  con t ro l.  E xam ples  inclu de  obj ect   rec ogni ti on   an din s pe ct ion   of   packagin g    qu al it y   [5 - 7] .  TCVA   re quire s   r eal - ti m e  visu al   fee dback .  Exam ples  include   visi on - g ui ded  pic k - a nd - place,   al ign m ent  and   inse rtio n  [ 8].  T he   intr oductio n  t o  3 - Dco m pu te r  vi sion   te c hn i ques  helpe d  t o  m ake    the  te chn i que m or e  so phist ic at ed  [ 9] .  A  sta nd a r d  intr oduc ti on   to v isual  s ervoin g  te ch ni qu e s  we re  al so  of  g reat   interest   [ 10 ] .  Seve ral  public at ion s  hav e   ap pear e d  in   rece nt  ye ars  do c um enting   diff e r ent   aspects  t o  cl assify     the v is ual se rvoin g  syst em s  [11 - 13]   as  sho w n  in   T a ble   1.       Table  1.  Cl assi ficat ion   of v is ua l servoin g sy stem s w it h  res pe ct  to  se ver al  a sp ect s   1.   The p o sitio n  of  the  ca m e ra  as e y e - in - h an d  and  ey e - to - h a n d   2.   The f eedb ack repr esen tatio n   m o d e p o sitio n - b ased ,  i m a g e - b ased ,  an d  hybr id  vis u al servo in g   3.   The co m b in atio n  of  vis io n  sen s o r  an d  con troller of  the j o in t - d y n a m ic loo k - an d   m o v e sy ste m   an d  direct vis u al servo  sy ste m   4.   The  u se  o f   th e  v isu al  in f o r m atio n   ( co n trol   m o d el )  d istin g u ish es  two   ty p es  o f   v isu al  serv o in g   syste m s:  k in e m atics - b ase d   v isu al sev o in g  an d  dyna m ic  vis u al se rvo in g       Gr eat   ef forts  ha ve  bee n  devo te d  to  num ero us   ap plic at ion s   of   visu al   ser voin g  in  r obotic s   in  the  la st   decad e .  It  can  be  us e d  as  soo n  as   a  visio n  sens or   is  avail able  and   a  ta sk   is  assigne d  to  a  dynam ic   s yste m   to   con t ro l  it s  m otion .  Nowa days,  visua l  servo ing   is  wi dely   us e d  in  dif fer e nt  fiel ds   m ai nl y;   g aze  con tr ol   for   ta rg et  tracki ng,  n avigati on   of   a  m ob il e ro bot t o  fo ll ow a w al l using  a n  om nid irect ion al  v is ion  se ns or,  gr a sp in g  a  ball  with  a  hum ano id  r obot ,  assem bly  of   m ic ro el ect ro m echan ic al   syst e m   (MEM S)   an d  film   of   a  dia logue   within  t he  c onstrai nts  of   a   s cript  in   anim atio n.  Vi si on - ba sed  rob ot  co nt ro l  m et ho d  use s   the  visu al   da ta   to   con t ro l  t he  m otion   of  dynam i c  syst e m s.  A  c on t ro l  la w  has  to  be  co ns ide r ed  that  the  m e asur em ents  s( t )   reach     a  desire d  val ue   s * ,  def i ning  e xa ct   reali zat ion   of  the  ta s k.  T he   obj e ct ive  is  t o  m ini m iz e  the   dif fer e nce  bet ween  the  curre nt  an d  wa nted  c onf igurat ion s .O ne   of   the  ce ntral   qu est io ns   that   m us t  be  proc essed  in  m ulti - r obot  syst e m ,  reg ar dl ess  of  the  a pp li cat ion   dom ain ,  is  how   to  c oope rate  ef fecti vely   an d  a utom at ic ally  m an y  robo t s   to  e xecu te   a  c om m on   ta sk .   Be cause  t he  sta bili ty   of   t he  visu a l  ser vo i ng  syst e m   [14 ,  1 5 ] ,  w e  m us t  bu il t  op tim a l  visu al   c har act e risti cs.  O ur   pro po sit io n  s houl d  sat isfy   se veral   crit eri a  m a inly ;  sta bili t y  of   the  dy nam ic   sy stem ,  rob us tness  to  cal ibrati on,  loc al   m ini m a  avo idan ce,  non - si ngularit y  and   m axi m al   deco up li ng  an d  li ne ar  li nk  betwee n  the  v isual  char act er ist ic s  and   the  degrees  of  f re edo m .  W e  de velo p ed  a   c ontrol  la w  to  c al culat e   the  velocit y  co m po nen ts  of  th e  r obots  pro vidi ng  ex pone ntial   decay  of  the   error.  T w o  m ain   as pects  ha ve  gr ea t   i m pact  on   the  beh a vio r  of  an y  visu al   ser vo i ng   sc hem e;   th e  sel ect ion   of  the  v is ual   featu res  us e d  as  in put  of   the  con t ro l  la w   and   the  f or m   of   the  co ntr ol  schem e.  Visu al   info rm at ion   obta ined  from   t he  i m age  pr oc essin g  can  be  us e d  to  extracti ng  2D  featur e s.  It  can   al so   be  us e d  f or   est im ating   pose  pa ram et ers  by  e m plo yi ng  po s e   est i m ation   al gorithm   fr om   c om pu te r  visio n.   T he  est im a t ed  pose  is  tra ns f or m ed  into   the  3D   featu r es  an d   the   2D  a nd/o r  3D  feat ur es   ar e  then   use d  in   the  c on t ro l  sc hem e   [16] .  He nce,  o pti m iz at i on  te ch niques,   rob ot   dynam ic   and   r obot  kin em at ics  are   us e d  in   t he   m od el ing   of  t he  c ontrol   sche m es.  The   ai m s  of  the   prese nt  s tud y   are  fi rstly ,  desi gn  an d  de velo p  a  ne w  sec ur e   synopti c  base d  on  the  a ppr oa ch  of  the  visua l  servoin g  t o  con t rol   li near   a nd  a ngula r  velocit ie s  of  m ulti ple  rob ots.  Sec on dly,  to   s ho w  cl early   th e  int erest  of   t he  a cci den t   repor ti ng  syst em , esp eci al ly  i n  the  outd oor  e xp e rim ents.   The  rem ai nin g  sect ion s  a re  outl ined  as   f ollow s:  In  sect io n  2  we  presen t  a  br ie f   s ur ve y  of   relat ed   works   on  vis ua l  servoin g  sche m es.  S ect ion   3,  is  devoted  t o  introd uce  an d  e xp la in  t he  r ob otic  visu al   se rvoin g  syst e m ,  an  em ph a sis  is  pu t   on  th e  im ple m e ntati on  of  t he  pro po se d   syst em   enco m passi ng  se ver al   m od ule s .   Sect ion   4,  we   pr ese nt  an  il lustrati on  of  th e  resu lt s  obta ined  in  order   t o  achieve  our   ultim at e   go al   wh il e  con cl us io ns  a nd  per s pecti ves   are  offer e d  in  s ec ti on   5.       2.   RE LATE D  W ORKS   The  inter est   in  us in g  MR CS   is  d ue  to  their  cha racteri sti cs  reali zed  with  dif fer e nt   ty pes  of   auto no m ou s  ve hicle s  su ch  as  gro und  m ob il e  ro bots,  un derwate r  ve hicle s  [17],  unm ann ed  aerial   veh ic l es,  and  ai rcr aft.  M ulti - r obot  co ordi nation   pur pos e   is   to  le t   ro bots   s har i ng   any  inf or m at ion   bet ween  them .   Fo r  e xam ple, a   ro bot p os it ion   can b e sh a red   with o the rs  in o r der  to  com pute   m or e p recise other  robot p osi ti on  and  av oid  colli sion .   I n  t he  co ntext  of   c om pu te r  visio n  f ra m ewo r k,   vis ua l  servoin g te ch niques  ca n  be  us e d   t o  adjust  the   tra je ct or ie s  of   t he   m ob il e  ro bot s  fleet .  T he  present  w ork   c on sist s  of   de fi ning  a  m et hod  that  com bin es  v is ua l  ser vo i ng  an d  c ontrol,   to   tr ack  a   gr oup  of   m ob il e  ro bots.  The  be hav i or  of   the  loop  syst e m   dep e nds  on  the   cho ic e  of   visua l  inform atio n  and   t he  ass ociat ed  co ntr ol  la w .  The re  is  a  la rg e  num ber   of  visu a l   pr im itive inf orm at ion scat egor iz ed  into  tw o m ai n  gro up s , t hat  that ca n be  us e d  in  v is ual s ervoin g  ta s k s :   Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &   C om p  En g,   V ol.  10 , No .  3 ,  J une  2020 :   30 22  -   3034   3024   The   first  cat eg or y  us es  m easur em ents  co ntained  i n  the   im age  plane   an d  will   be  re fere nced  un de r     the  acr on ym   IBV S   (I m age - Ba sed  Visu al   Ser vo i ng).   T he  c on tr ol  la w  is  cal culat e d  f r om   i m age  error ,   so   that  the  be hav i or   in  3D   sp ace  is  no t  di rectl y  con stra ined.   T his  ty pe  of   co ntr ol  is  robu st  to  s um m ary   cal ibrati on   of  the  intrinsic  c a m era  par am eter s.  Geo m et ric  pr im itives,  suc h  as  points ,  segm ents,  li nes  an d  el li ps es,  wer e  t he  fi rst  to  be  s tud ie d.  [ 18 ]   Propose d  a  co ntr ol  schem e  based   on  sig n  det ect ion   al gorith m s   fo r  m ob il e  ro bot  pl at fo rm   us ing   Harris  co rn e r  po i nt  detect or  with  ei ge nval ue s  dec om po sit ion s  t o  trac k  th e  path.   Accor ding  to  [19],  Me ba rk i   p r opos e d  m ome nt’s   i m age  al lowing   acc eptable  res ults   in  the  2D  a nd   3D  beh a viors  for  bi nar iz ed  im ages.  A  m et ho d  f or  co ntr olli n g  four  d e gr ees o f  f reedom   has  be en  pr opos e d  by  [20],   requirin g  im age  processin g  a nd   ta king  into  account  the  pi xe l  value  of  the  i m age.  H om ography   was  inte gr at e d  in  the  con tr ol  s chem e  to  con tr ol  the  six  degr ees  of   f reedom   of   rob ot   [21] .  In s pire d  by  this  wor k,  plan ni ng   was   pro po se d  to  e nsure  r obus tne s s  to  cal ibrati on   error s  f or   la r ge   ca m era  m ov e m ents   [22] .  I n  order   t o  av oid   these  i m age  processi ng  ste ps,  s uch  as  segm en ta ti on  or  pr im itive  tracki ng,  [ 23 ]   stud ie d  a   "di rect"  vis ual  se rvoin g   schem e,   ta kin g  into  acc ount  the  pix el   val ue s  of   the  curre nt  and   de sire d  i m ages  as  pr im itive .   Kadhi m   an d   Abd ulsahi b  [ 24]   desig n e d  a  veh ic le   as  rob ot - m ou nte d  se ns ors  ca pa ble  of   ca rr yi ng  the   sens or s  of  the   m et al  and   ob sta cl e.  In   or der   to  im pr ov e  the  accuracy  of  ide ntific at ion   of  obj ect   in  dif fe ren t  il lum inatio n  a nd   backg rou nd   c onditi ons,  howe ver   a uthor s  do  no t  stu dy  the  ki nem a ti c  m od el s  of   a  r obot  w hich  help  to  va li date   or   ve rify  by  cal culat ion   the  m echan ic al   pe rfor m ances  of   a  syst e m .   Lat e rone ,   m utu al   i nfor m at ion   betwee n   the  cu r re nt  im age  a nd  the   de sired  im age  was  pro po s ed   in  or der   t o   i nc rease  rob us tne ss  to  occ ultat ion  an d  changes   of  il lum inati on   [ 25] .  A no t her  crit erio n  base d  on  t he  diff e re nc e  bet ween  th e  cu rr e nt  im a ge  a nd   the  ref e re nce  im age,  update d  accor ding  to  i ll u m inati on   of   t he  cu rr e nt  im age ,  was  pro po s ed   t o  m anag e   any   changes  in  li gh ti ng  a nd  m ult   i m od al ity [26] .   The  sec ond  a ppr oac h,   PB VS   (positi on - base d  vis ual  ser vo i ng)  use s  pose  est i m atio n  afte r  local iz at ion   al gorithm   [2 7] .  T he  3D  s pac e  is  well   c onst raine d ,  howe ve r   this   is  n o  lo ng e r  t he  case   for  t he  im age  sp ace,   wh ic h  m ay  lead   to  o utput  pri m it ive  i m age.  Furthe rm or e ,  to  properly   do  the  3D  w or k,   it   is  i m po rtant  to   accuratel y  cal ibrate  the  c am era.  T he  m a in   pro blem   of   the   PB VS   ap proach   is  t hat  th e  geo m et ric  m od el   of    the  obj ect   s hould   be  kn own   for  pose  est im at ion ,   w hic h  m akes  it   a  “ m od el - based ”   m et ho d  c o m par ed  t o   the  im age - base d  m et ho d.  T he   cam era  cal ibrati on   is  requir ed  to   obta in   th e   unbiase d  Ca r te sia n  posit io ni ng   t o  ov e rc om e  the   sensiti vity   of   th e  ca m era  cal ibrati on   e rror . H y br i d   ap proac he s  com bin ing   2D  an d  3D   pri m it ives  associat ion   the ir  adv a ntages  t o  be nef it   from   a  bette r  3D   be hav i or   [ 28]   or   to   keep   the   p ri m itives  in  the  fiel d  of  view  [ 22] .  Sel ect i ng   go od   vi su al   cha racteri sti c  is  a  cru ci al   aspect  of   vis ual  ser vo i ng   a s  it   is  nece ssary  for  achievin g  opti m al   velocit ie s   an d  in creasi ng  accu racya nd  reli abili ty   of  im age  m easur em ents ,  aff ect s   perform ance an d   r obus t ness of vis ual ser vo ing   [ 29 ] .    Im aging   m eas ur em ents  are  ei ther  use d  di rectl y  in  the  con t ro l  lo op  or   us e d  for  r el at ive  po s e   es tim ation .  T he   nu m ber   of   de gr ees  of   f ree do m   (D OF)  to   be  con tr olled   by  the  e m plo ye d  con t ro l  sc hem e   determ ines  the   m ini m u m   num ber   of   i nd e pe nd e nt  feature s  re qu ir ed .V is ual  feat ur es   ca n  be  sel ect ed   in  2D   i m age  sp ace  as  po int  co or din at es,  par am et ers  represe nting   strai ght  li nes  or  el li ps es,  reg i on   of   interest   and  co ntour s  [30,   31] .  T he se  featu res  a r e  def i ne d  f rom   i m age  m ea su rem ents  [ 32] .  In   ca se  of  i m age    po i nts,  Ca rtesi an   c oor din at es   are  ge ner al ly   us e d   howe ve r ,  it   is  possi ble  to  us e  t heir  pola r  a nd  cy li ndrical   coor din at es  [33]. In  ge ner al ,  al l  par am et ers  def i ning the  int ern al  cam era c al ibrati on are  re qu i red.    Im age  m o m ents  can  al so   be   us ed  i n   vis ual  ser vo i ng   [34]  giv es  be tt er  resu lt s  co m par ed  to     the  cl assic al   visu al   servoin g   schem e .  I m age  m o m ents   al lo w  ge ner ic   re presentat ion   a nd  are  able  to  ha nd l e   si m ple  geo m etr ic al   pr im it ives   and   al so   co m plex  ob j ect s   with   unknow n  sh a pes.   It  is  sh own   that  m o m ent   inv a riants  can  be  us e d  to  des ign   decou pled  2D   visu al   ser voin g  schem e  and   t o  m ini m ize  the  nonlinea r it y  of     the  interact io n  m at rix  relat ed  to  the  sel ec te d  visua l  fea tures   [ 35] .  Ge ner a ll y,  ob j ect   m od el   an d  im age  m easur em ents  are  us ed   to  cal culat e   or   the   r el at ive  pose  be tween  o bj ect   a nd  cam era  fr a m es  in  the  Ca r te sia n   sp ace ,   or   t o  re const ru ct   the  3D  co ordinates .   Ther e fore,  an   adv a nce d  kn owle dge  ab out  the  cam era  cal i br at io n  par am et ers  are  require d   [36] .   In   t his  sect ion,   we  re view  s om e  visu al s  asp ect s   and   pr im itives  inf orm ation   that  can  be  use d  in  visu al   servoin g  ta s k .   A lso  we  st udy  so m e  m ulti   ro bot  sce na rio s   desig n  and   analy sis.   W e  ca n  e num erate   the contri bu ti ons  of our p ape r  as foll ows:     Pr op os al   of  a  MR CS  based   on  vis ual   servoin g,   in cl ud in g  the  desig n  an d  de velo pm ent  of    an  e xp e rim ent al   protoc ol  al lowi ng   t he  c ollaborat io n  bet w een  m ob il e  robo ts  fo ll ow i ng  a  m ast er  ro bo t  that i s b ase d at  f irst  on the   d et erm inati on  of e ach  rob ot co m pu te d  posit i on .       The   syst e m   is  able  to  al lo w  m ul ti   ro bots  na viguati ng  in  form ation   usi ng  t he  kin em at ic   m od el   of   m ob il e   rob ot s   an d  a  c a m era   to  c onstruct  a   com m a nd  l aw .   As  vis ual  pri m i ti ves  in  the   ser voin g  lo op,   we   use     the m o m ents ex tract ed  fro m  the c urren t i m age.     Our   wor k  is  well - su it ed   f or  real  a pp li cat ion s   as  it   is  robu st ,  a nd  le ad s  to  a  fast  im plem entat ion   of    the m ulti  r obots  vis ual ser vo c on t ro l i ss ue .     It sho ws   cl earl y t he  interest  of a   rob ot acci de nt d et ect io n r eporti ng syst e m .   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       Eff ic ie nt a nd s ecure re al - ti me  mob il e r obots  cooper atio n us ing  vis ual serv oing   ( So um i a   Bo ud r a )   3025   3.   R OBOT I C VI SUAL SE RVOIN G S YS TE M   We  de velo pe d  an  ex per im ental   pr oto c ol  to   con tr ol  a  gro up   of   r obots  base d  on  the  inf or m at ion   pro vid e d  by  c a m eras  m ou nted  on  eac h  robo t.  A  desire d  value  i n  the  i m age  is  deter m ined  f or   eac h  r obot   ind e pende ntly   of   the  ot her   r obot.  The  vis ual  servoin g  a i m   is  to   con trol   the  current   value  by  fo ll ow i ng   the  desire d  val ue  in  the  im ag e  by  est i m a ti ng   the  de pth   Z  betwee n  the  obj ect   an d  th e  c a m era.  The  f ollow in g  Figure  1  s hows  the  diag ram  o f  our vis ual ser voin g  syst em .           Figure  1.  Sc he m at ic  o f  r oboti c v is ual ser voing  syst em       An  IB VS   co nt ro ll er  is  m ai nl y  i m po rtant  to  con ti nuously   adjust  the  w he el   velocit ie s  a nd   the refore   adjust  the  r obot  to  m ov e  th e  i m age  coo r di nates  of   the  tracke d  ob j ect   to  the  desire d  po sit io n  in  the   i m age  plane.   T he  des ired  posit ion   m us t   be  def ine d  as  (ud,vd).  We  then  get  an  error   e qu at io n  for  our  im age  plane   coor din at es:     d d uu e vv      (1)     3.1.    Visu al  fe at u res    The  inf or m at i on   c ollec te d  by   the  vision   sens or   dec rease s  the  sta bili ty  pro blem s   if  th e  m ov em ent  carried   out  by   the  r obot   is   com plex.   T he refor e ,  sel ect ing   t he  a ppr opriat e  in form a ti on   is  im po rt ant  to  accuratel y  ap pl yi ng   the  re quired  ta s k.   Wh il e  sever al   c ho ic es  of  s   e xis t,  we  ha ve  c hose n  in  the  presen t  wo r k  the  inv a riant  m o m ents,  as  vi su al   inf or m at i on.  Im age  m o m ents  can  be  com pu te d  f rom   a  set   of   po ints  or   a  well - se gm ented  re gion  in  t he  im age.   The   ge om et ric  m o m ents  of   a   2D   distrib utio n  f un ct io n  f( x,y)   can  be   expresse d  as:     ( , ) pq pq R m x y f x y d x d y    (2)     w ith   f( x,  y )   ≥  0  be  real  bo unde d  f un ct io n  with  s uppor t  on   com pact  reg i on   R . R   is  the  area  occ upie d  by   the  obj ect   in  th e  i m age  and   p ,  q   is  the   m o m e nt   order.  In   thi s  pap e r,   bi nar y   i m age  fu nctio ns   (i.e f( x,  y)   ca n  only   ta ke  0  or   1  val ue )  or   im age  reg io n s,   def i ne d  by  cl os e d  c o ntours  a re  co nsi der e d.   I nvari ance   to  tra ns la ti on   an d  scal ing  ca n be  com pu te d from  m o m ents ( 2) a s foll ow s:     ( 2 ) / 2 00 pq pq pq m    (3)   Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &   C om p  En g,   V ol.  10 , No .  3 ,  J une  2020 :   30 22  -   3034   3026   Fo r  ce ntered m om ents µ pq is  def ine d by:     ( ) ( ) ( , ) pq p q g g R x x y y f x y d x d y    (4)     w he re :     1 0 0 1 0 0 0 0 gg mm x a n d y mm    (5)     x g   and   y g   rep re sent the co or din at es o f  the gr avity  center,  an d  m 00 =a= n   is t he  obj ect  area.  T he  m a in o rie ntati on   is o btained  from   the seco nd  orde r  ce ntere d m o m ents   [37] :     11 2 0 0 2 2 1 a r c t a n 2       (6)     Fr om  ell ipse param et ers,  w e  can e xpress  the  centere d  m ome nts  o f o rd e r 2,  w e  ha ve:     2 2 2 2 2 0 0 0 1 2 2 2 2 2 0 2 0 0 1 2 2 2 2 1 1 0 0 1 2 ( ( ) / 4 ( 1 ) ) ( ( ) / 4 ( 1 ) ) ( ( ) / 4 ( 1 ) ) m a a t t m a t a t m t a a t   (7)     3.2.    N onhol onomic  m ob il e  robot     The  un ic yc le   m ob il e  ro bot  a s  show n  i n  Fi gure  2  is   ty pical ly   a  nonholon om ic   syst e m   [3 8]   an d  ca n  be   descr i bed  by  t he  nonhol onom ic   con strai nt s.  T her e  are  t wo  ty pes  of  c on st raints:  the   ro ll in g  a nd  the   sli ding  const raint s .           Figure  2 .  U nic yc le   m ob il e robo t       The  sta te   ve ct or   q =( x,y, )  de no te s   t he   po s ture  of   t he  r obot.   ( x,y )  repr esents  the  m ass  center   of     the  r obot.   is  t he  or ie ntati on   of   t he  rob ot  ac cordin g  t o  the   horizo ntal  axis .   ν ( t )   an d  ω ( t )   are  t he  tra ns l at ion   vel ocity   and   t he  an gu la r  vel ocity ,  wh ic h  a re  us e d  as  the   con tr ol  inputs .  The  no nholono m ic   con strai nt  for     the m ob il e rob ots is  giv e n by:     ( ) s i n ( ) ( ) c o s ( ) ( ) 0 x t y t t     (8)     A  gen e ral  k i nem at ic   m od el   of   t he  m ob il e  rob ot  obta ine d  from   the  nonho l onom ic   const raints  is  gi ve n  by   the foll owin g  e qu at io n:     ( ) c o s ( ) 0 () ( ) s i n ( ) 0 () ( ) 0 1 x t t t y t t t t      (9)   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       Eff ic ie nt a nd s ecure re al - ti me  mob il e r obots  cooper atio n us ing  vis ual serv oing   ( So um i a   Bo ud r a )   3027   3.3 .    C ontr ol law   The   ai m   of   the  con tr ol  schem e  is  to  eli m inate  the  err ors  bet ween   the  init ia l  and   the  desir ed  posit io ns   of f eat ures  on t he  im age p la ne .  T he  e xpressio n of t hese e rro r s is d e fine d  as:       (10)     s  is  the  vecto r of vis ual f eat ure. Mo del  of  t he  contr oller is  ve locit y con tr oller a nd it  can be  co m pu te d  a s:     * ˆ () s L s s    (11)     w he re           re pr e sents  the  veloc it y  vector   of   t he   cam era  including  tra ns la ti onal   an d   ro ta ti onal   com ponen t s  an d             is pse udo - in verse o f  the  app roxim a ti on  of im age Jac obia n m at rix .     3. 4 .    In tera c ti on  m atri x    We  ass um e   that  the  obj ect   i s  a  co ntin uous  su r face,  t her e fore,  t he   de pt h  Z   of  each  3D  point  is   expresse d  as  a  functi on  of  t he x   a nd  y   c oor din at es  of  it s  pro j ect ion i n t he  i m age.  Mo re  s pe ci fical ly , w e ha ve :     0 , 0 1 pq pq pq A x y Z    (12)     In the case  wh ere the  ob j ect  is p la nar   or  has a  surf ace  of the  p la na r  li m bs , its eq uation i n  t he  cam era  fr am e is expres sed by:     1 2 0 Z X Y Z    (13)     us in g  t he  e qu at ion s  of the   pe rs pecti ve pr oject ion     , XY xy ZZ    (14)     we  ca n deduce :     1 A x B y C Z   (15)     with:     12 0 0 0 1 ,, A B C Z Z Z     (16)     for  eac h po i nt  with c oor din at es  x =( x , y )  in  t he  i m age whose  corres pondin g 3 d po i nt h a s  de pth   Z ,   we ha ve :     x x L v   (17)     wh e re,  the i nteracti on m at rix  L x  is give n by:     2 2 1 / 0 / ( 1 ) 0 1 / / 1 x Z x Z x y x y L Z y Z y x y x      (18)     us in g (15 )  in  (18),  (17) ca n b e wri tt en  as:     2 2 ( ) . ( ) . . ( 1 ) . . ( ) . ( ) . ( 1 ) . . . xz x y z yz x y z x A x B y C v x A x B y C v x y w x w y w y A x B y C v y A x B y C v y w x y w x w   (19)   * ( ) ( ) e t s t s  s L ˆ s L ˆ Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &   C om p  En g,   V ol.  10 , No .  3 ,  J une  2020 :   30 22  -   3034   3028   In   t he  m at rix  Lx,   any  c on t rol   schem e  that  us es  t his  f or m   of   t he  inte racti on  m at rix  m us t  est i m at e  or  appr ox im at e the v al ue  of Z .   F ro m  this equat ion,  we ob ta in:     ( 2 ) 2 ( 2 ) 2 x z x y y y z x y x A v A x B y C v y w x w x y B v A x B C v y w x w y   (20)     we have :     1 1 ij ij f i x y x f j x y y   (21)     T he  i nteracti on  m a trix ass ociat ed  with  the  m om ent  m ij   can  then be  d et e rm i ned   by :     m i j v x v y v z w x w y w z L m m m m m m   (22)     w he re:     1 , 1 1 , 1 , 1 , 1 1 , , 1 , 1 , 1 1 , 1 , 1 , 1 1 , 1 () () ( 3 ) ( ) ( 3 ) ( 3 ) v x i j i j i j i j v y i j i j i j i j v z i j i j i j i j w x i j i j w y i j i j w z i j i j m i A m B m C m A m m j A m B m C m B m m i j A m B m C m C m m i j m j m m i j m i m m i m j m       (23)     Fr om   the  ge ne ral  form   giv en   in  ( 22),   we  de du ce  t he  inter a ct ion   m at rix  of  the  surface  of   the  ob j ect  m 00   ( we  c onsid er  i=j = 0),  a nd  the  intera ct ion     m at rix  relat ed   to  t he  c oor dina te s   x g   a nd  y g   of  the   gravit y   center   of   a n  ob j ect   in  the  i m age. The  visu al   se rvoin g  al go rit hm   that  we  prese nt  bel ow   is  base d  on   the  ideas  pr opos e d  by [1 4 ,  23 ,  35]   with m od ific at ion s  m ade f or  our  a ppli cat ion .     Algori th m     Be gin    1:   Set t he  p a ra m et ers  us e d;// λ=0.6   2:  Co nn ect  t o  t he  m ast er r ob ot  an d C li ent 1 a nd Cl ie nt 2 ;   3:  Determ ine c a m era p ar am eter s  (cali br at io n);     4:  Ac quirin g  a n  im age;   5:  Im age d is play ;   6:  Creat e the  s urface to  foll ow ( t he  ta r get);   7:  Ca lc ulate  th e m o m ents in  the im age;   8:  Determ ine the c oor din a te s  of the  desire d  t arg et  t o  f ollo w (f or each  robot );   9:  Ca lc ulate  th e interact io n  m at rix  L x =S xd ;   10:  Determ ine ( Z/Z* );   // Z*: t he desire d dep t h of t he fo rm  i s learne d  a nd e qu al  t o  the      init ia l dep th;   11:  Ca lc ulate      // Tran s form at io n of t he  cam era f ra m e to the   eff ect or  of the   m ob il e ro bot,      this tran sf or m at ion  m akes it p os sible t o  cal c ulate  the  veloci ti es expresse d  i n  the  end    eff ect or  fr am e into th e  cam era f ram e;   12:   F or ( i= 0   ;i <=n   ; i ++)// n   :  is t he nu m ber   of im ages in  th e v ide o   13:         F or (x= 1; x <=y ;  x++)  //  y:  is the num ber o f  se rv e r robo ts        Be gin               Be gin   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       Eff ic ie nt a nd s ecure re al - ti me  mob il e r obots  cooper atio n us ing  vis ual serv oing   ( So um i a   Bo ud r a )   3029   14:            A cq ui rin g  a n  im age;   15:            Ca lc ul at e the ar ea t o fo ll ow; (cal c ul at ing  the  m o m ents in  the im a ge)   16:            U pdat e the c urren t  x  featur e s;   18:            U pdat e the inte racti on m at rix;   19:            U pdat e the  global er r or(s - s *);   20 :            Ca lc ul at e fo r  eac h  se rv e r rob ot the c on t ro l l a w: V = - λ*(L * c V e * e J e ) + *error(s - s *) ;   2 1:            Se nd t he veloci ti es to  the  rob ot;            E nd F or            E nd F or        End .       4.   E X PERI MEN TAL RES ULTS   The  e xper i m ents  wer e   p e rfo r m ed  with   tw o   rob ots  Pio nee r   3 - AT   an d  Pio neer  3 - D X  e quip ped  with     a  cam era .  The  i m age  reso l ution  in  th e  ex pe r i m ents  was  640x480.  All  co m pu ta ti on s,  e xc ept  f or  the  lo w - le vel  con t ro l,  wer e  perform ed  on   a  la pto p  with  2.5  G Hz  In te l   Core  (T M)  i 5 - 4200U   CPU ,  with  4 - GB  RAM.   The  na viga ti on  ex per im ent  was  pe rfo rm e d  onli ne.   O ur syst e m   is  i m p l e m ented  unde r  Vis ual  S tud i o  with     the  hel p  of  A r ia   and  O pe nC V  li brary.  H oweve r ,   the  r obot  re portin g  sy stem   is  i m ple m ented  wit h   P yt ho n  3.     The  ex pe rim en ts  wer e   pe rfo r m ed  in  an  in door  en vir onm e nt   inside  a  la borat or y  an d  a  corrid or   with  λ  =  0.6.  The  pionee r  3DX   an d  3AT  m ob il es  ro bots   are  unic yc le s  non - ho l onom i cs  with   dif fe r entia l  dr i ve  W MR .     P3 - D X  has  2  ind e pende nt  dri ving  w heels,   t hat  ca n n o’ t  be  ste ere d   on   the  sam e  axis  an d  fr ee   sw ing i ng     off - ce nter  w he el .  The  w ho le   syst e m   su m m a rize  in  F ig ure  3.   W e  dev el ope   a  serv er  ap pl ic at ion   us in g  the  C+ +   pro gr am m ing   la nguag e  wh ic h  is  instal le d  in  the  robo t   PC.  It  per f or m s   the  sever a l   fu nctio ns ,  m ai nly:   m anag in g   the  com m un ic at ion   to  and   from   the  m edial  serv e r  by  sen din g  in form at io n  ab ou t  the  sta te   of    the  r obot  a nd   receivin g  in str uctions  f ro m   the  use r ,   c ontr ol li ng   t he  m ob il e  ro bot  m ov e m ents  and   m anag i ng    the m ob il e rob ot se ns ors.   The  de velo pe d  sys tem   con s ist s  of   acci de nt  repor ti ng   s yst e m .  Fo rthe   reali zat ion   of  our  syst e m ,    we use d  the  foll ow in g  e quipm ent num ber ed   as sho wn in Fi gure  3  a nd F i gure  4 :    (1)  P ower  sup pl y 5V .   (2)  P ushbutt on .   (3)  Accele r ome te r  MPU 6050 .   (4)  GP S  m od ul e GY - NE O6 M .   (5)  Se nsors   ( S ho c k, flam e).     (6)  F TD I  c onve rter.   (7)  A  Ra s pb e rry  Pi 3  ca r d.   (8)  S IM8 08  G SM m od ule.   (9)  P ower  sup pl y 12   V.           Figure  3 .  Gl obal  v ie w  of the   pro po se d  s che m e   Evaluation Warning : The document was created with Spire.PDF for Python.
                IS S N :   2088 - 8708   In t J  Elec  &   C om p  En g,   V ol.  10 , No .  3 ,  J une  2020 :   30 22  -   3034   3030   Ba sed  on  the  RPi   3  wh ic h  i s  us ed  to  c omm un ic at e  with  a  GS M  and   a   glo bal  posit io ning  syst e m   ( GPS )   m od ule   us in g  the  U A RT  li nk ,  di ff e r ent  sens or s   we re  us e d  to  e nsure  the  detect ion   of   th e  acci den t.     The  G PS prov i des  a  three  di m ension al   posi ti on   as  well   as  current  ti m e   and   date  an d  is  a vaila ble  eve ry  wh e re.   [39 , 40 ]   Using   GP S ,  G PRS  a nd   GS M  Tech no l og y  for  si m ple  acci de nt  de te ct ion   but  in   our  case ,  our  syst e m   pro po se d  A D RS   ( Accide nt  Detect ion   Re portin g  Syst e m )   al lowing  t he  rob ots  na vig at ing   s afely ,thin g  that     rem ai ns   a  chall eng in g  ta sk   i n  m any  research   w orks .  Th e  dev el op e d   s yst e m   was  at t ached   t o  the  t op   of   th e   r obots  i n  or der   t o  detect   a cci den t  in   the  re al   tim e ,  reco r d  the  accu rate  lo cat ion   of   t he  a cci den t   a nd  s e nd   an   autom at ic  alert  m essage to  the  em erg ency ce nter   [41] .           Figure  4 .  Ro bot acc ident  dete ct ion   repor ti ng syst e m  test bed (ADRS )       The  syst em   was  powe rin g   up   an d   dif fe ren t  sens ors   wer e  te ste d.   Each  of  sens or   com m and s    the  Ra spbe rr y  Pi3  to   gen e rat e  a  s pecific  S MS  al ert  with  the  ty pe  of  the   acci de nt.  T he   te stbed   detect s  tw o  cases  of   re ve r sal :  Ri gh t  turno ve r,   Le ft  turnov e r  as  show n  in  F ig ure  5.   We  us e d   the  a ccel ero m et er  data  to   cal culat e  the  incli natio n  of  the   ro bot  al ong  th e  X  axis.   The   value  > =  46 °  ind ic at es  that  th e  ro bot  is  ov e rturne d  on the  rig ht.   If  the incli natio n al ong  the  X axi s is <=  - 70° , thi s i m plies t hat the  rob ot is ove rturne d  to  the  left.   We  us e d  a  li ghte r  to  li ght  fire,  the  flam e  sens or   w as  che cked   us in g  norm l   li gh te r  an d  the  se ns or   su cces fu ll   dete ct ed  and   repo r te d  the  fire  to  the  Ra sp be rr y  Pi3   Fig ur e  6.   The   la tt er  will   gen e rate  a  war ni ng   m essage  in dicat ing   that  a  fire  has  occurre d.  The  s hock  sen so r  was  te ste d  by  creati ng  sm al l  ob sta cl e  to  report   the  colli sio n  ( Figure  7 ) .   T he   sens or s   w he r e  able  to  dete ct   and  re port  the  prob le m s  in  ti m e  no t  ex ceed ing   20   seco nds .  T he   rob ot  m ast er  P3 - A T  ca rr ie s  a  plana r  ob j ect   ( F ig ur e   8 ) .   Aft er  the  bl ob  de te ct ion ,  the  c onto ur   of   the  intere ste d  reg i on  is  ob t ai ned   to  f ur t he r  acq uire  the  centr oid ,  wh ic h  will   be   con du ct ed  in  each  con t ro l   loop. T he  m o m ents  are  c om pu te d  at   the  vide o  rate  a fter  bin arizat io n  of  t he  im age,  the  resu lt s  ar e  sho wn   a s     F ig ure  9,   we  s uc cess fu ll y  detect   the  con to ur .  The  im age  ac qu i red   at   the  de sired  cam er a  po sit io n  is  dis play e d  in  Fig ur e  10 .  The  r obot  tra je ct or y  is  sat isf act or y  us i ng  the  vis uals  feat ur es ,  in  our  c ontrib utio n  we  hav e  t o  est i m at e the d epth  Z   for  eac h  i te rati on .           Figure  5 .  Ri gh t  turn ov e r  te st, l eft turn ov e r  te s t   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g   IS S N: 20 88 - 8708       Eff ic ie nt a nd s ecure re al - ti me  mob il e r obots  cooper atio n us ing  vis ual serv oing   ( So um i a   Bo ud r a )   3031         Figure  6 .  Flam e senso r  te st         Figure  7 .  S ho c k  se nsor  te st         Figure  8 .  N on  sy m m e tric al  p la nar o bject  tra ckin g             Figure  9. Re su l ts of detect in g t he  bl ob cont our     Figure  10. Des ired  im age       The  ef fecti ve ne s s  of   t he  de ve lop e ds yst em   d epends  on   t he  pr eci sio n  of   m at ching   betwee n  the  cu rrent   and  de sired   posit ion   of  the  vi su al   in form at io n,   a s  s how n  in   F igure  11(a )  a nd  F ig ure  12(a )  wh ic h  c onfir m   that  the  syst em   is  sta ble  an d  co nv erg es   to   the   de sired   val ues .T he   cal culat ed   er ror  betwee n  th e  cur re nt  inf orm at ion   and  the   de sire d  i nfor m at ion   (fo r  x  a nd  y )  is  relat ively   unc hangin g  duri ng  the   first   3m s,  this  is   du e   to   the  non - holo no m ic   natur e  of   t he  r obots .  H oweve r,   at   32 - 37m s  the  syst e m   con ve rg e d  to  the  rig ht   p os it ion   an d  the  fi nal  er ror   was  0.0 1. In  this  stu dy,  we  discusse d  t he  m ot ion   c on t ro l   pro blem   and  visua l  ser voing  of   non - holo nom ic  wh eel e d  m ob il es  ro bots. We   pr ese nted  kinem at ic   m od el   of   th e  r obot  in  ad diti on   t o  their   con t ro l  pr op e rt ie s.  The  sim ul at ion   res ult s  sh ow  that  the  de velo ped   c ontr ol  la w  co ntr ols  the  velocit ie s  of   al l   us e d  r obots  i n  a  rob us t  an d  preci se  way .  T he   de velo ped   c on t ro ll er  is  a bl e  to  dri ve  a   se t  of   wheel ed  m ob il e   rob ots  to  a  ta rget   obj ect   un ti l  the  cam eras  ob s erv e  the  desire d  vis ual  char ac te r ist ic s   as  sh own  in  Fig ur e  11( b ) - Figure  12( b) .   Evaluation Warning : The document was created with Spire.PDF for Python.