Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   9 , No .   5 ,  Octo ber   201 9 , pp.  3504 ~ 35 11   IS S N:  20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v 9 i 5 . pp3504 - 35 11           3504       Journ al h om e page :  http: // ia es core .c om/ journa ls /i ndex. ph p/IJECE   Obstacl e avoid ance and di stance m easur ement for un mann ed  aeri al veh icles  us ing mon oc ul ar vision       Aswi ni N . ,  U ma  S .   V .   Depa rt m ent   o f  E le c troni cs  and  C om m unic at ion,  RNS   Inst it ute of Te chno log y ,   Ind ia       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   J a n   3 , 201 9   Re vised  Ma r   2 2 , 2 01 9   Accepte d  Apr   9 , 2 01 9       Unm anne d  Aeri al   Vehicle s  or  c om m only   known  as  drone s  are   bet t er  suite d   for  "dull,   dirty ,   or  dange rous"   mi ss ions  tha n  m an ned  ai rcr aft.  The  drone   ca n   be  e it her   remote l y   cont ro lled  or   it   ca n   tra v el   as  per   pr ede fin ed  pat h  usin g   complex  aut om a ti on  al gori thm.   To  m ake   it   completel y   aut onom ous,  the   m ost   cha l le nging   pro ble m   faced  b y   UA Vs   is  obstac le   avoi dan ce.  In   thi s  pap er,   fron ta l   obstacles   are  detec te d   using  m onocul ar  v i sion  b y   ex tra c ting  feature s   using  Com pute r  Vision  al gorit h m s  li ke  Scal e  Inva ria n t  Feat ure   Tra nsform   (SIF T)   and  Spe ed ed   Up  Robust   Feat ur e  (SU RF ) .    Distan ce  of  t he  obsta cl e   from   ca m era  is  ca l cul a te d   b y   m ea suring  t he   pix el   var iation  in  c onsec uti v e   vide o  fr ames.  T o  m ee t  th e  de fin ed  object ive s,  d e signed  s y st em  is  te sted   with   self - develope d   v ide os whic h   ar e ca ptur ed  b y   DJ I   Phantom 4  pro.   Ke yw or d s :   Dista nce  m easur em ent    Ob sta cl e  a void ance    Scal e  i nv a riant   f eat ure  t ran s form  ( SI F T)   Sp ee ded  u p  r obus t   f eat ures  (S UR F)   Un m ann e d  a e rial   v ehicl e   Copyright   ©   201 9   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Asw i ni N,    Dep a rtm ent o f El ect ro nics  and C omm un ic ation   En gin ee rin g,   RNS  In sti tute  of Tech nolo gy,   Dr .  V is hnuva r dh a na  R oa d,  R  R N a gar P os t,  Chan nasa ndra,  Ban galor e ,  560098 - India .   Em a il : shij ia swin i@ gm ai l.c om       1.   INTROD U CTION     Un m ann e d  A er ia l Veh ic le s , c omm on ly  k nown  a s dr on es   a re no w  ve ry m uch   popula r  i n bo t h  m ilit ary   and  ci vil  a ppli cat ion s.  UAVs  ha ve  gro wn  sig nifica ntly   cov e rin g  va rio us   a pp li ca ti on s  rangi ng  from   su r veill ance  in   m ilit ary  to  com m ercial   app li cat ion s  li ke,   pr oduct  deli ver y,   firef i gh ti ng,  preci sion   far m ing   et c.   Th ey   ha ve  un li m it ed  po te ntial s.  The   gro wth  of   U AV s  has  be en  rem ark a ble  and  in  the  c om ing   ye ars,   t he y  are   go i ng   t o  be  a  bi g  su ccess .  T he   var io us   a ppli cat ion s  of  dron e s  and   t heir  gr owin g  dem and   i n  f uture  is  sho wn   i n   F igure   1.            Figure  1.  G row ing   dem and   of  dro nes  in  the  f uture   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Ob st acle  avo i dance  an d dist ance  measure m ent for  un man ne d aerial   ve hic le s u sin g  m onoc ula r   ...   ( Aswi ni  N )   3505   As  in  [ 1],  the re  are  te n  le ve ls  of   aut onom ou s  m issi on   con tr ol  ra ng i ng   from   automa ti c  m issi on   con t ro l  ( rem otely   gu ide d  ai r craft)  to  pa rtia l  autonom ous  m issi on   co nt ro l  ( UAV  eq uipped  with  f ai lure  adap ta ti on  al gorithm s)  to  f ul ly   autonom ou s   syst e m s  (UAV   fr ee   f ro m   hu m an  ope ra tor).   T he  c omm ercial  app li cat io ns   re qu i re  the  sm a l l  UA Vs  to  fly   at   lower   al ti t ud e  or   ope rati ng   insi de  buil dings,  w he re  they   are  expose d  to  m any  haza rd s  a nd  obsta cl es.  C urren t  UAV  te chnolo gy  in  a uto m at ic ally  s ensin g,   detec ti ng,  an d  avo i ding  fixe d  ob sta cl es  su c h  as  power   li ne ,  bu il di ng,  to wer,  tree,  an d  m ov ing   obsta c le s  su ch  as  bir ds ,  an d  oth e r  ai rc raf t  i s  sti ll   i m m at ur e  com par ed   to   m ann ed  ae rial   ve hicle .  S o,   t her e   is  a  gr eat   sco pe  of  rese arch  in   e m bed di ng  Se ns e - A vo i d  Det ect   al go rithm s  on   boar d  UAV .   By   acqu i rin g  the  sen sin g  m echan ism ,  op ti m u m   routin g of   U A V  as i n [2 ]  ca n be  ver y e ff ect i ve.   The  li m i ta ti on s  of  car ryi ng  heav y  weig ht,  costly   eq uip m ents  li ke  Ra da r,   Li dar   et c  in   com m ercial  dro nes  ca n  be  ov e rc om e   by   usi ng  cam eras  f or  obsta cl e  se nsi ng.     T o  a ddr ess  the  pro ble m s  of   vis ual  tr ackin g,   obj ect   rec ognit ion   a nd   a vo i da nce,  the  c on c e pt  of   e xtracti ng  key  points  is   app li ed  in  t his  pap e r.   I n  sect ion   2,  relat ed  w orks   on   visio n - base d  obsta cl e  a vo i dan ce   are  disc us se d.   T he  us e   of   c om pu te r  vi sion   al go rith m s  is  a   prom isi ng   so l ut ion   for  easi e r   obsta cl e  de te ct ion   i n  r eal   ti m e  vid e o  proc essing.    Acc uracy   perf or m ance  in   visio n - base d  na vig at io n  de pe nd s  on  ob j ect   tracki ng   a nd  pe rfor m ance.  Fea ture  de scri pto r   al go rit hm s  in cl ude   S pee ded   U p  R obus t  Feat ur es   (S UR F)   [3 ]   a nd   Scal e  I nv a r ia nt  Feat ur e  Tr ansfo rm   (S IF T )   [ 4].   Alth ough  S IF T   has  pro ven  to   be  ve ry  ef fici ent  in  obj ec t  recog niti on   app li cat io ns ,  i t  requires   a  l arg e   com pu ta ti on a l   com plexity   wh ic h  is  a   m ajo r  draw bac k  especial ly   for   real - ti m e  app li cat ion s.  S pee d  up   R obus t  Feat ur e   (S UR F)   te c hn i qu e ,  w hich  a ppr oxim a te s  SI FT,  perform s  faster  than   SIF T  with ou t  r ed uc ing   the   qual it y  of   the   detect ed  point s .  These  t wo  robust  featu r e  descr i ptors  are  inva riant  to  scal e  changes,  blur,  r ot at ion ,   il lu m inati on   changes  a nd  af fine  tra ns f orm at ion .   In   t he  existi ng   w ork s,  va rio us   te c hn i qu e s  f or   f eat ur e  extracti on  an d  hen ce   detect ion   of  obsta cl es  are  e xp la in ed.   In   our  w o r k  wh ic h  is  giv e n  in  sect i on   3,   after  extr act in g  featu res,   we   are  m easur ing   the  ap pro xi m at e  distance  bet wee n  the  ca m era  and   obsta cl e   by  cal culat in g  the  pix el   var ia ti on   from   c on secuti ve  vid e o  f ram es.  The  resu lt s  giv en  in  s ect ion   4  sho ws   that  the pr opos e d m et ho d  is  an ef fici ent w ay  t o avo i d obst acl es in th e  p at h of  UAV.       2.   RELATE D  W ORKS   Abd ulla Al - Ka ff  et.al  [ 5] prop os e d  a real - tim e colli sion  avoidan ce a nd   obj e ct  d et ect ion  alg or i thm  f or   UAV.   A  sin gula r  m on oc ula r  cam era  is  mo unte d  on  ve hi cl e  to  captur e   the  i m age.  SIFT  an d  Br ute  Fo r ce   al gorithm   is  us ed  f or   ge ne rati ng   a nd   m at ching   keyp oin ts.  Pr oc essin g  tim e  required   is  52. 4m s  with  62 - degree   Fiel d  of  View  (FO V) .  In t his  work they  ca n  detect  ob j ect s  within  90 to  12 0  cm  r an ge.   Leve nte  Kova cs  et .al  [6 ]   pr opose d  a  dec onvo l ution   te ch ni qu e  to  disc ove r  the  obj ect   re gion  to  ta ke  ou t  feat ur es  of  that  obj ect   an d  to  create   feat ur e  m ap  wh ic h  is  us ually   cal l ed  as  D - m ap.   Monoc ular  ca m era  is   e m plo ye d   to  ca pture  obsta cl e  with  lo w  c olli sion   rati o  a nd   frequ e ntly   us e d  i n  va rio us   e nvir on m ents.  I n  F ut ur e,   in they need  to  f us e the f eat ur e (Map)  w it h o ther  featu res  of  i m age.   Me thodo l og y use d  in  this w ork  is he lpf ul   in n a vig at i on s yst e m , s urveil la nce,  m il it ar y,  m app in g  a nd odo m et ry.    Om id  Esraf il ia n  et .al  [7 ]   pro po s ed  a  c olli sion   a vo i dan ce   schem e  fo r  Aer ia l  Q ua dro tor  ( Dro ne).  Vide o  stream s   recorde d  usi ng  f rontal   cam era  an d  the  na vig at io n  data   m easur ed  by  Aer ia l  Q uadr otor  is  transm itted  to  groun d  sta ti on   th r oug h  w irel ess  netw ork  co nn ect i on.   Si m ultaneou s ly   Locali zat ion   an d  Ma pp i ng   ( SL AM)  is  help ful   in  nav igati on  an d  m app ing .  The  nav i ga ti on   data  recei ved   is  proces s ed  by  Or ie nted  Fast  and   R otate d  B rief  ( ORB)  a nd  SL AM  to  c om pu te   3D   m aps  an d  three - dim ension al   po si ti o n  of   rob ot.  The  scal ing   par am et er  of   m on oc ular  SLA M  is  fig ur ed  out  us i ng   li near   filt ering.  Kalm an  Fil te r  (K F )  is  us e d  f or  f us in g  sens or  in  m onocu la r  cam era  of   Ae rial   Q uadro t or .   F or   c ontrolli ng  th ree - di m ension al   posit io n  of   obsta cl e,  Propo rtion al   In te gr al   D eriv at ive   (P I D)  co ntr oller  is  desi gn e d.     The  deisg n  of   a  PID  co ntr oller  f or   AR. Dr one is  gi ven  i n [8 ] .    Jak ob   En gel  e t.al   [9 ]   e xp la i ned  an   U A V  nav i gation  m eth od  i n  Global   Po sit io ning  S yst e m   (G PS )   enab le d  s urrou nd i ngs.  T he  Q uadr ocopter  ba sed  syst em   includes   SL AM  Algorithm ,  Ext end e d  Kalm an  Fil te r   (EKF)   f or  f us i ng  the   sen sor.   PID  offer  ste erin g  c omm and ,  t o  c ontrol   a nd  di rect  acc urat ly .  EKF  c om pu tes   scal e  m ap  up   t o  ±  1.7%  if   va lue  is  tr ue.  Thi s  syst em   is  app li cable  f or  outdoor   surr ound ing s   ha ving  a ve rage   locat i on   acc ur acy   18.0   cm ,  indo or   e nvir on m ent  with  aver a ge  posit ion   accu racy  of   4.9cm ,  havi ng   a n  acce ptable  del ay   of   400m s.  This  syst e m   of fe rs  rob us tnes s  against  vis ual  trackin g  loss,  it   el i m inate s  odom et ry   flo w du e  to SL AM,  pro vid es   accurate  na viga ti on  esti m ati on.   Yuki  Sa kai  et . al   [ 10]   h as   pr opos e d  obj ect   detect ion   an d  trackin g  syst e m bu sing   S IFT   an d  S URF   m et ho ds.  I n  th is  m e tho d  the   accuracy  f ound  for  m at ched   key  points   usi ng  S URF  al gorithm   is  hig he r   w hen  com par ed  to  SI FT .  I n  the  f uture,   this  te c hnology  of  de te ct ing   a  sp ec ific   obj ect   in  vid e o  or  im ages  are   exp ect e d  to  further   e xpan d  t o  a  wi de   ra ng e  of   a ppli cat ion s,  li ke  ca r  de te ct ion   f un ct io ns   f or   ITS  a nd   oth e r   syst e m s.  Sy m m et rical   SU RF  detect or  is  i ntrod uced  by  J un  Wei  H sie h  e t.al   [11]  t o  det erm ine  the  obje ct   of  interest   f or   vehi cl es  on   r oa d.   I n  this  m et ho d,   the  SU RF   al gorithm   is  us ed  to  extr act   ve hicle   featur es .  For   real - Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   Int   J  Elec  &  C om p  En g,   V ol.  9 , N o.   5 ,  Oct ober   201 9   :   3 5 0 4   -   3 5 1 1   3506   tim e   app li cat i on s ,  S URF  is  eff ic ie nt  an d  al ong  with  i t  el i m inate s  back gr ound  subtract io n.   H oweve r,   the  am big uity   issue s  res ulti ng  f ro m   veh ic le s  hav i ng   sim ilar  sh a pes  pose d  a  m ajo r   chal le ng e.  To  a ddr ess  the   a m big uity   issu es  giv e n  im age  is  sect or e d  i nto   se ve ral  gri ds .  Histo gr am   of   G rad ie nt  ( HOG )   an d  S U RF  is  app li ed   on  t he  sect or e d  gr i d  t o  e xtract  nu m erical   featu res.   Finall y ,   Sup port  Vect or   Ma c hin e  (SVM)  cl assifi er   is use d  to  class ify  v e hicle  cate gory.   Ah le m   W al ha  et .al  [1 2]  has  pro po se d  an  obj ect   detect io n  and   vide o  sta bili zat ion   syst em .   The  data   pro vid e d  by  a erial   su r veill an ce  syst e m   su ffers  va riat ion s  du e  t o  the  m otion   of  t he  cam era .  T o  sta bili ze  the   aerial   su r veill ance  vid e o  a nd   to  detect   the  m ov ing   obj ect ,   Kalm an   filt ering  an d  S IF T   a re  use d.  A   m atch in g  al gorithm   is  us ed  f or   fe at ur e  m at ching   pur pose.  Ra ndom   Sam ple  Con sensus  (RA NSA C)  est i m at e  do m inant   obj ect   m otion   and  pr ov i de  outl ie r  to  m at ch  key  points .  F or   obj ect   detect ion,   a n  a da ptiv e  cl us te ri ng  al gorithm   is  us e d.  O nce  m ov ing   ob j ect   is  detect ed,   to  t rack   t he  obje ct   and   t o  sm oo th en  the  m ov em ent,  Kalm an  filt ering  is use d.   Desire d  m otion  is  ret ai ned   us i ng m e dian fil te rin g.     Hail ing   Zh ou  et .al  [13]  pres ents  a  veh ic le   trackin g  syst e m   in  UAV  vide os .  A  gr a ph  c ut  m et ho d  is   us e d  to  e xtract   the  sp eci fie d   ro a d  in  R OI   ( Re gion  of  I nte rest).  Fast  feat ur e  te c hn i qu e  is  us ed  t o  coll ect   the   nu m erical   featur es  a nd  Kanade - L ucas - T om asi   ( KLT )  f eat ur e  trac ke r   is  app li e d  to   est i m at e  the  m ot ion .   RANSAC  est im at or   is  pr e ferred  t o  outl ine  the  valid  key  point’s  featu res.  The  p re ferred   syst e m   per for m anc e   is  analy zed   wi th  dr ift  e rro r  and  zi gza g  c onto ur  pr ob le m s.  E xperim ent al   res ults  sho w   th at ,  this   te chn i qu e  pro vid es   a n  ef f ect ive   so luti on   to  two  pro ble m s  in  UAVs  i. e.  w hen   t he  vid eo   is  ca pture d  at   low  al ti tud es  a nd  with  high s pee ds .   Pour ia   Sa de ghi - Teh ran   et .al  [14]  has  desig ned   a n  a uton om ou s  tem plate  m at ching   bas ed  ob j ect   trackin g  m od e l.  This  ap proa ch  was  te s te d  us in g  pre - rec orde d  vi deo s  wh ic h  are  ta ke n  by  AR  D r on e .   Key  feat ur e   points  a re  detec te d  usi ng  F AST  detect or.   He re  te m plate   m at ching  is  perf or m ed  by  m at chin g  featur e s   of th e  ref e ren ce   fram e w it h  sea rch f ram e. Bru te  forc e algori thm  is  u se d  f or init ia l fea tu re m at chi ng of   key  points.  R ANSAC  est im at or   c om pu te   f undam ental   H  m at rix.   RA NSAC  fin d  i nlier s  an d  the  outl ie rs  get   el i m inate d during H  m at rix  co m pu ta ti on .   A  co ntext - a wa re  m otion   desc riptor  (CMD )  is  desig ne d  by  Tao  Che n  et   al   [15]  for  detect ing   obj ect - lve l  m otion   usi ng   m ov in g  ca m eras.  They  c al culat e  the  co ntextual  i nform at ion   li ke  op ti cal   flow   of  th e  i m age  backg rou nd  surroun ding  the  o bject of  i ntere st.  The   inc on si ste ncy  of  the   hi stog ram s  betw een  the   ob j ect  an d  the   su r rou nd i ngs is  m easur ed.   W il ber t  G.   A gu il a r   et .al  [ 16]   has  pro pos ed  real - tim e   m ic ro   aerial - ba sed  obj ect   de te ct ion   an d  colli sion   av oi dan ce  syst em .   In   this  m e t hod,   S URF  de scripto r  extr ac ts  the  ob st acl e  featur e  po i nts .   These  e xtracte d  feat ur es  get  com par ed  bet ween   t he  im a ges  f ro m   the  database  with ou t  inc rem entin g  t he   com pu ta ti on al   cost.  T o  av oid   an  obsta cl e ,  a  con t ro l  la w  is  i m ple m ented.   T his  m et ho d  is  te ste d  in  real  ti m e  on   low - cost   U AV  and the  res ult s hows  t hat it  ef f e ct ively  d et ect s and a voids t he  co ll isi on.    Trun g  Nguyen  et.al   [17]  ha s  pro posed   th ree - dim ension al   vi su al   na vi gation  te chn i qu e s o n  fun nel  la ne   theo ry  f or  qu ad  ro t or  ve hic le ,  to  overc om e  dr a wb ac ks  of  KLT  feat ur e .  T o  de velop  f unnel  la ne   theo ry  nav i gation  on  t he  qua d  r otor  and   t o  im pr ove  the  syst e m   ro bust ness,   S U RF  featu re  is  use d.   It  is  m or e  rob us t  and  le ss  c om pu ta ti on al   tha n  KLT  featu re.  Feat ur es   are  t r acked  us i ng  f eat ur e  m at ching .  R obot  Op e r at ing   Syst e m   and   G azebo   sim ulator  are   em plo ye d  for  sim ulatio n.  In   fu t ur e ,   this   m et ho d  ad dre sses   the  pro ble m   of   visu al   obsta cl e av oid a nce  dur ing   path  foll ow ing  a nd im pr ov e the self - local iz at ion  pr ob le m .   Jag deep  K au r  et .al  [1 8]  has  pro posed  vid e o  sta bili zat ion   an d  m ov ing   ob j e ct s  detect ion   m odule.  S IF T   and   SU R F  are  us e d  as  de scri pt or s.  Wh il e  est i m ating   par am et ers  of  cam era,  this  m et ho d  te nd s  t o  fi nd   m ov i ng  obj ect   usi ng  K alm an  filt ering.  Re ferred  m od ule  recog nizes   the  ob j ect   an d  rea rr a nges  m otion   of  m ov in g  th e   obj ect   int o  a  st abili zed   posit ion.  He re  S IF T   is  us ed   f or   sta bi li zi ng   vid e o  a nd   t o  detect   m ov i ng   ob j ect .  F eat ur e  extracti on  a nd  desc riptor  m at ching  al gorit hm   are   us ed   for  cam era  m otion  est i m at i on.  I n  fu t ur e  work,   this  m e tho d  t ries  to  im ple m e nt  vid e o  sta bili zat ion   te ch niques  w hic h  will   us e  m or e  fr a m es  or   m assive  vide o  siz e a nd e xtre m el y qu ic k pro cessi ng s peed.       3.   RESEA R CH MET HO D   The  databa se   is  create d  by  “ DJI  Ph anto m   4  pro ”  [19]  dro ne  w it h  1920x108 0  fr am e  res olu ti on .   The  dron e  is  m ade  to  fly   6  f eet   above  f ro m   the  earth  with   1  Me te r/sec  s peed.  Co ns ide r ing   the  dif fer e nt   sta te   of   t he  obj ect   m ul ti ple   vid eo s  are  ca ptured .   The  data  base   has  bee n  gen e rated  by  usi ng  sta ti c  and   m oving   ca r   in  the   fiel d  of   view   of  qua dc op te r.   For  ea ch  database ,  t he  a ngle   of  vi ew  is  70 0  an d  co ver e d  dista nce  is  appr ox im at ely  30  Me te r .  The   m ini m u m   d iffe ren ce   m ai ntained   bet ween  dron e   a nd  t he   sta ti c / m ov ing  ob je ct   is   ≅   3.5   to   4.5   M et er.  T he   res ol ution  of  the   Vide os   ca pt ured  a re  ve ry  hi gh   f or  in di vidual  f ram e  analy sis,   hen ce  it   is  nec essary  to  re duc e  or   c onve rt  th e  fr am e  rate  and   pictu re  re so l ution   t o  sp e ed  up   t he  analy sis   rate.   An  “A powe rs oft   Vi deo  Co nverter  St ud i o  t ool”   [ 20]   is  us e d  to   co nvert  hi gh  res olu ti on  and  hi gh  f ram e  rate   vid e o  data  int o  acce pta ble  vide o  se quence s  ( 640x48 0).  T he   gi ven  RGB 24  vid e o  fr am e  is  conve rted  i nto  a  2D  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Ob st acle  avo i dance  an d dist ance  measure m ent for  un man ne d aerial   ve hic le s u sin g  m onoc ula r   ...   ( Aswi ni  N )   3507   gr ay scal e   le vel ,  w hic h  m akes  the  f ram e  analy sis  si m ple  and   ef fecti ve.  T he   le vel  of p re - proces sin g  is  e xt end e d  to  one  m or e  ste p  to  sm oo th  obj ect   e dges  in  the  fr am e   us in g  filt erin g  co nc ept.  T he  m edi an   filt er  is  ap pl ie d  to   each   histo gr am   eq ualiz ed   vide o  se quences   to  sm oo th  it s  e d ge   co ntent.   T he  sig nal  t o  no ise   rati o  var ia ti on  f or   var i ou s  ty pes  of   noise   was  a naly sed  an d  it   is  seen  that  m e dian  filt er  is  a  bette r  ch oice  as  sh ow n  in  Fig ur e  2 .  The fu rthe r  a ppr oac h used t o detec t t he o bs ta cl e and cal cul at e d ist ance t o t he  cam era is as f ollow s:     Al go rit hm  1:  Ob st acle  Detect ion and M eas urement    Inpu t :   I nput  V ideo.   Out p ut :  Obsta cl e is detect ed .   Step 1.   Gen e ra te  vi deo frame s.   Step 2.   Ap ply H ist ogr am e qualizati on  and me dian fi lt eri ng  t o  re move u nwanted  noise.   Step 3.   Ext ra ct   key  points  of  eac h  fr ame  us i ng   SIFT   and  SU R F  des cri pto r.  ( Se par ately   done  to  c omp ar e   perform an ce)   Step 4.   Match  key  po i nts  of ea c h  fr ame  us in g  Fe at ur e M atchi ng  Met ric  Algo rit hm.   Step 5.   Th e c onvex   hu l l i s app li ed  a r ound  m atche d  k ey p oin ts t o  cre ate a  re gion   of  intere st.   Step 6.   if  cu rrent fr am e co nvex  hu ll  s ize  is g re a te r t han  t he  pr evi ous   fr am e  the n ob st acle is  det ect ed   Step 7.   Esti ma te   ch an ge  in  po sit io n  of  pr evi ous  w it h  respect  to  the  curre nt   fra me  in  pixel   unit   us ing  Eucli de an d ist an ce .   Step 8.   Cali br ate  dista nce  betwe en o bject  and ca me ra .   End of  Algori th m           Figure  2. Sig na l t o  N oise Rat i o  cal culat e d wit h  an d wit hout  add e d n oise       Fo r  featu re  ext racti on  f r om   c on s ecuti ve  fr a m es,  we  ha ve  trie d  with both  SI FT  a nd  SU R F  al gorithm s.  The  va rio us   ste ps   f ollow e d  in  SI FT  a nd   S UR F  descr i ptor  al gorithm   fo r  the   detect ion   of  ke y  po ints  is  give n  in   F igure  3   a nd  F i gure  4.           Figure  3. SIFT  A lg ori thm  ste ps   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   Int   J  Elec  &  C om p  En g,   V ol.  9 , N o.   5 ,  Oct ober   201 9   :   3 5 0 4   -   3 5 1 1   3508     (a)     (b)     Figure  4 .   (a )   S URF in te rest  point  detect ion ,  (b)  S URF  desc riptio n of  i nter est  points       On ce   the  key  po i nts  are   dete ct ed,   nex t  ste p  is  to  cal culat e  the  distance  of   obje ct   f ram e.  T he  x,  y   coor din at es  of  both  c urren t  and  previ ous  f ram es  m a tc hed   key  points  are  ext racted  f or   pix el   c o  ordinat e   diff e re nce calc ulati on .            −        . =   √ (  −  ) 2 +   (  −  ) 2     (1)     w he re (Xc, Yc )  are c o  ordi nat es o f  c urre nt f r a m e and  (Xp,  Yp)  of  pr e viou s f ram e. Th is cal culat ion  is re peated   for  the  entire   m at ched   key  po int’ s  coor di nates  (i.e.  bo th  current  an d  pr e vi ous  fr a m e).  The  co ordinates  diff e re nce  vec tor  siz e  equal s  the  nu m ber  of   m at ched   key  po i nts  in   bo th  fr am es.  The  m a the m at ic al  represe ntati on   is give n  i n  E quat ion   (2).          −        .     =   1    .  ℎ          (2)     On ce  the  diff e r ence  vecto r  is  fo rm ed,   a  m ean  of   the  dif fer e nc e  vector   is  est i m at ed  app r ox i m at ely  the  pix el   dif fer e nc e  between   s ucc essive  fr am e s.  This  is  m easure d  in  te rm s  of   pix el   dif fer e nc e  and   this  dif fe ren ce   is  directl y  pro portio nal  to   cha ng e   in  obj ect   s ta te .  Ma them a t ic al   equ at io n  i nvolv e d  i n  a pproxim ating   the   pix e l   diff e re nce (Dif f. )  b et ween m a tc hed   key  po i nt s is shown i n Eq uation ( 3).          . =  (      −      . )   (3)     This  pix el   di fference  betwee n  the  m a tc hed  key  po ints  of  bo th  c urren t  to  the  pr e viou s  fr am e  is   us ed  to   m easur e the  d i sta nce  betwee n o bj ect  a nd  UAV.     The  basic  pri nc iple  involve d  in  di sta nc e  m easur em ent  be tween  t he  m ov in g  ob j ect   an d  cam era  is  sh ow n  in  Fig ure  5.   Co ns ide r  the  m ov ing   ob je ct   ‘ N ’  with  he igh t  ‘ H ’.   Assu m e  that  the  initial   distance  between  the  m ov ing   obje ct   and   cam era  is  ‘ P ’.   At  dista nce  ‘ P ’  the  im age  hei gh t  for m ed  is  ‘ A ’,  si m il arly ,   after  cov e rin g  a  distance   the  im age  heigh t  w il l  be  ‘ B ’.   Fr om   Figu re  4,   c ha ng e  in   im age  heig ht  will   be  directl y  pr op ort ion al   to the  distance   cov e re d by a  physi cal   obj ect .       H e i g h t   ( H ) ‘ N ’   O b j e c t H e i g h t ( H ) P r e v i o u s   D i s t a n c e   ( P ) M o v e d   D i s t a n c e   ( M ) C u r r e n t   D i s t a n c e ( C ) P r e v i o u s   H e i g h t   o f   t h e   o b j e c t   ‘ A ’ C u r r e n t     H e i g h t   o f   t h e   o b j e c t   ‘ B ’ F o c a l   L e n g t h L e n s     Figure  5. Dista nce m easur em ent       This  pri nci ple  is  app li e d  to   the   propose d   syst e m   to  m easur e  the  distance be tween  a nd   m oving  o bject .   Fr om   the  cam era  cal ibrati on,  we   cal culat ed  that  a ppr ox i m at ely   3. 31 985  Pi xel  dif fere nce  of   c urre nt  t o  pr e vious  f ram es  denotes  the   1  Me te r  change  in  obsta cl e  sta te .  The  anal ysi s  is  per for m ed  us in g  key   po ints   extracte d  by  S IF T  a nd  S UR F  al gorithm s.  So   t he  pix el   va riat ion   is   us e d  to   cal culat e  the  ch an ge  i n  ob sta cl e   sta te  in  m et ers.   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Ob st acle  avo i dance  an d dist ance  measure m ent for  un man ne d aerial   ve hic le s u sin g  m onoc ula r   ...   ( Aswi ni  N )   3509   4.   RESU LT S   A ND AN ALYSIS     The  ti m e  ta ken  for  feat ur e  e xtracti on   i n  the  case  of   SU RF  an d  SI F T  are  giv e n  in  Ta ble   1.   Fi gure  6  sh ows  t he  ext r act ed  key po i nts  for  c on sec uti ve  f ram es  us in g  S URF  descr i ptor.  F ro m   the  Table  ,   S URF   took  bit  m or e  tim e  t o  e xtract  feat ure  com par ed   to  SI FT   but  the   r at io  of  m at ched   key  points  i n  i th   and  i th +15  f ram es   are  m axi m u m   with  resp ect   t o   SI F T.  D ue  to   the  ext racti on   of  the  st ron ges t   key  points   f r om   bo th  t he  fra m e,   syst e m  accur ac y i s incr ease d  i n fin ding the  p i xel d i ff e ren ce   betwee n  c urrent  an d p re vious  vid e o fr am es.       Tabel  1 .   SI F T  and S URF  perf or m ance co m par iso n   Alg o rith m   Ti m e  T ak en  f o r  Featu re  Extractio n  in  i th   Fra m e   Ti m e  T ak en  f o r  Featu re  Extractio n  i th +1 5   Fra m e   Extracted K ey   Po in ts f o r  i th   Fra m e   Extracted K ey   Po in ts f o r  i th   +1 5   Fra m e   Matched  Ke y   p o in ts b etween  i th   an d  i th +5  f ra m e   SIFT   0 .01 4 8 3 4  Sec   0 .01 3 0 1 5  Sec   1792   1664   5   SURF   0 .01 0 1 0 6 Sec   0 .01 3 1 7 7  Sec   40   37   14           Figure  6.  (a)   SURF   key   poin ts   at   previous   f ram e ;   (b)   SURF   key   p oints   at   c urrent   fram e ;   (c)   Mat c hed   key   points   a nd   c onv e x   hull   in   both   previo us   a nd curre nt   fr a me     Figure  7  a nd  Figure  8  giv es   the  var i ou s  st ages  of  dista nc e  m easur em e nt  for  sta ti c  and   dynam ic   obj ect s.  T his  m et ho d  of   det ect ion   an d  cal culat ion   of   ob sta cl e  distance   us in g  m on oc ular  visi on   ca n  be  inco rpor at e d  on  bo a r d  the   U AV.  It  is  a  bette r  op ti on  i n  te r m s   of   siz e,  wei gh t  a nd  c os t.   A  high - s pee d  Gr a phic   Pr oc esso r U nit (GPU )  ca n d o t he  ope rati on a t a trem end ous  sp ee d  f or the  s afe  nav i gation  of UAV s       Perfo rm ance an al ysi s ( car  is  s ta ti c and   dro ne   m ov ing  t ow a r ds  ca r)                     (a)   (b)   (c)     Figure  7 .   (a )  P r evio us  a nd  c urren t  fr am e ;   (b )   Ma tc hed   key  points ;    (c)  Mea s ured   di sta nce b et wee n  sta ti c  ob j ect   and UA V     Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   Int   J  Elec  &  C om p  En g,   V ol.  9 , N o.   5 ,  Oct ober   201 9   :   3 5 0 4   -   3 5 1 1   3510   Perfo rm ance Analy sis (Car  and  Drone m ov in g  to wa rd s  each  o the r)               (a)   (b)   (c)     Figure  8 .   (a )  P r evio us  a nd  c urren t  fr am e ;   ( b)  Ma tc hed   key  points ;    (c)  Mea s ured   di sta nce b et wee n dynam ic   obje ct  an d U A V       5.   CONCL US I O N     In   t he  propose d  w ork ,  S URF   desc riptor  al gorithm   eff ect iv el y  cal culat es  the  key  points  of   i nterest  at   a  faster  rate  t ha n  S IF T.  Usi ng  cam era  cal ibrati on   te c hn i ques  a nd   pix el   diff e re nce  cal culat ion ,  t he  distance  betwee n  cam e ra  an d  ob sta cl e  is  m easur ed .   The  wh ole  pr ocess  ta ke s  le ss  than  one  se cond,   w hich  is   ver y   eff ic ie nt  i n  re al   tim e  ob sta cl e  avo i dan c e  point  of  vie w.   The  furthe r  w ork  is  t o  inc or porate  Co nvol ution al   Neural  Net wor ks   (C N N)   base d  detect ion   of  ob sta cl es  w hich  are   ap proac hi ng   from   sideways  an d  m aneu ve r   the dr on e  acco rd i ng ly .       REFERE NCE S     [1]   M.   Suresh  and  D.  Ghos e,   “ Role   of  informati on  a nd  comm unic at i on  in  red efi n ing   UA V  aut onom o us  cont rol  le v el s , ”   Proc.   I Me ch E, Par t -   G:   Journal   of  A erospace   En gine ering ,  v ol .   2 24 ,  pp .   171 - 197 ,  2010.      [2]   A .   Fadavi,  et  al . ,   “ Offine /Onl ine  Optimum   Routi ng  of  a   UA V  using  Auxiliar y   P oint s , ”   Inte rnat i onal  Journal   of  El e ct rica l  and   C omputer  Engi n e ering  ( IJE CE) ,   v ol /i ss ue:   7 ( 1 ) ,   pp .   392 - 401 ,  Feb   2 017 .   [3]   H .   Ba y ,   et   a l . ,  “ Speede d - Up  Robust  Feat ure s  (SU RF ) , ”   Comp ute r  Vi sion  and  Image  Unders t anding,   v ol / issue :   110 (3),   pp .   346 - 359 ,  2008 .   [4]   D .   G .   Lowe ,   “ Distinc ti v e  Im a ge  feature s  fro m   sca le   inv ari a nt  Ke y Po int s, ”   Inte rnational   Jo urnal  of  Computer   Vi sion ,  v ol / issue:   60 ( 2 ) ,   pp.   91 - 1 10,   2004 .   [5]   A .   Al - Kaff,   et   al . ,  “ Monocula r   Vision - Based  Obs ta cl e  Det ec t ion/ Avoidan c e  f or  Unm anne d  Aeri al   Vehi cl es , ”   Inte lligen t  V ehic le s Sy mpos ium  ( IV) ,   IEEE ,   2016.   [6]   L .   Kovác s,  “ Visual  Monocula r   Obs ta cl e  Avoi dan ce   for  Sm al l   Unm anne d  Ve hic l es , ”   Proc ee d ings  of  the   IEEE   Confe renc e  on   C omputer  Vi sion   and  Pattern  R ecogniti on  Workshop ,   pp .   59 - 66 ,   2 016.   [7]   O .   Esra fil i an  an d  H .  D.  Ta ghirad,  “ Autonom ous   Flight   and  Obs ta c le   Avoidan ce  of  A  Quadrot or  b y   Monocular  SLAM , ”  i n   Rob oti cs  and   Me cha tronic s ( ICROM) ,   4th  Int ernati o nal  Conf ere nce  on  IEEE ,   pp .   24 0 - 245,   2016 .     [8]   A .   Pra y i tno,   e t  a l . ,   “ Fuzz y   Gain  Schedul ing  PID   Control   for  Pos it ion  of  the   AR.  Drone , ”   Int ern a t iona l   Journal  of   El e ct rica l  and   C omputer  Engi n e ering  ( IJE CE) ,   v ol /i ss ue:   8 ( 4 ) ,  pp .   1939 - 1946 ,  Au g  2018 .   [9]   J .   Enge l,   et   al . ,   “ Camera - Based  Naviga t ion  of  A  Low - Cost  Quadroc opte r , ”  Int el l i gent   Robot s  and   Syste ms   ( IROS ),   IEE E /R SJ   Int ernati onal  Con fe ren ce   on   IE EE ,   201 2.     [10]   Sakai   and  Yuki ,   “ An  Objec t  Trac king  S y stem  Bas ed  on  SIF T  and  S URF   Feat ure   E xtra c ti on  Metho ds , ”   i n   N et work - Based   Informati on  Syste ms   ( NBI S) ,   2015  18th  In t ernati onal   Confer enc e  on ,   pp .   56 1 - 565 ,   2015 .   [11]   J .  W .   Hs ie h,   et   al . ,   “ Sy m m et ri c al   SU RF   and  Its   Applic at ions  to   Vehic le   Det ec t i on  and  Vehi cl e  Make   and  Model   Rec ognition , ”   I E EE   Tr ansacti ons   on  Int el l ige n t  Tr anspor tat ion   Sys te ms ,  v ol /i ss ue:   15 ( 1 ) ,   pp .   6 - 20 ,   2014.   [12]   A .   W al ha,  et   al . ,   “ Video  Stabi liz at ion  wi th  Movi ng  Objec t  D et e c ti ng  and  Tracki n g   for  Aeri a l  Vid eo  Surveillance , ”   Mult imedi a   Tool s and  Applicatio ns,  Springer ,  v ol /i ss ue:   74 ( 17 ) ,   p p.   6745 - 6767 ,   2 015.   [13]   H .   Zhou,   et   a l . ,   “ Eff ic ie n t  Roa d  Dete c ti on  and   Tra ck i ng  for  Unm anne d  Aeri al  Vehic l e , ”   IE EE  Tr ansacti ons  on   Inte lligen t  Tr anspor tat ion  S yste m s ,  v ol / issue:   16 ( 1 ) ,  pp .   297 - 309 ,   2 015.   [14]   P .   S .  Te hra n  an d  P .   Angelov,   “ ATDT:  Autonom ous  Te m pla te - Based  Dete c ti on   and  Tra cki ng  o f  Objec ts  from   Airborne   Camer a , ”   i n   Intelli g ent  Syste ms ,   Spring e r ,   pp.   555 - 565,   2 014.   [15]   T .   Ch en  and  S .   Lu,   “ Obje ct   le v el   m oti on   detec t ion  from   m oving  ca m er as , ”  IEEE  Tr ansacti ons  on  Cir cui ts   and   Syste ms   for Vide o  Technol og y ,   v ol /i ss ue:   27 (11),   pp.   2333 - 2343 ,   Nov 2017.   [16]   W .   G.  Aguila r ,   e t  al . ,   “ Obs ta c le   Avoidanc e  fo r  L ow - Cost  UA V s , ”  i n   S emantic  C omputing  ( ICSC ) ,   2017  IEE E  11 th   Inte rnational   Co nfe renc e  on ,   pp .   503 - 508 ,   2017 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N:  20 88 - 8708       Ob st acle  avo i dance  an d dist ance  measure m ent for  un man ne d aerial   ve hic le s u sin g  m onoc ula r   ...   ( Aswi ni  N )   3511   [17]   T .   Ngu y en ,   et al . ,   “ Vision - Based  Quali t at iv e  Path - Following  Contr ol  of  Quadrot o r  Aeri al  Vehicle   with  Speede d - Up   Robust Fea tur es , ”  i n   Computer  a nd  Robot V ision   ( CRV ) ,   Canadian  Confe ren ce on   IEEE ,   pp.   321 - 3 27,   2014 .   [18]   J .   Kaur  and  A .   K .   Bat hla,  “ Video  Stabi li z ation  for  an  Aeri al   Surveil l an c e  S y ste m   using  SIF TS  and  SU RF , ”   i n   Next   Gene ration  Com puti ng  Te chnol o gie s ( NGCT) ,   IE EE   2nd   Int ernational  Conf ere nce ,   pp .   742 - 747 ,   2 016.   [19]   htt ps:// ww w.dj i . com/phant om - 4 - pro/i nfo   [20]   htt ps:// ww w.a po wersoft. com/fa q / vide o - conv ert e r - studio - guide.ht m l .       BIOGR AP H I ES   OF  A UTH ORS          N  As w ini   is  a  rese arc h  schola r ,   i n  Depa rtment  of  El ec tron ic s  and  Com m unic at ion,  RNS  Instit ute   of  Te chnol og y ,   Banga lor e,   Indi a.   She  has  done   her   Master s  in  VLSI  Design  and  Embedde d  s y stems   and  has   m ore   tha n  10   y e ars  of  expe ri e nce   in   t ea ch ing.  She  has  guid e d  var ious  post  gra duate  and  un der   gra du at e  stu dent   proj ec ts .   Her  ar ea   of  r ese ar ch  is  Obs ta c le   se nsing,  detec ti o n   and  avoi dan ce   f or  Unm anne d  Aeri al   Vehi cl es   under   Visvesv aray a  T ec hno lo gic a l  Univer sit y,   Karna ta k a, I ndi a .     S  V   Uma   is   p rese ntly   workin g  as  Associ at e   profe ss or  in  Depa rtment  of  El e ct roni cs  and  Com m unic at ion,  RNS   Instit ute   o f  te chno log y ,   B anga lor e  Indi a.   She  has  done  he r  Doctor ate  in   the   area  ‘Cong esti on  cont ro l  a nd  Im prove d  Q oS  in  m ult imedia   net works   fro m   Banga lore   Uni ver sit y .   She   has  nea rl y   2 0  y e ars  of  tea chi ng  exp eri en c e  and  her   int e rests  inc lud e  Com m unic at ion, Net work Se cur i t y ,   Sign al ,   and   I m age   Proce ss ing .     Evaluation Warning : The document was created with Spire.PDF for Python.