TELKOM NIKA , Vol.14, No .2, June 20 16 , pp. 692~6 9 8   ISSN: 1693-6 930,  accredited  A  by DIKTI, De cree No: 58/DIK T I/Kep/2013   DOI :  10.12928/TELKOMNIKA.v14i1.3461    692      Re cei v ed  Jan uary 5, 2016;  Re vised Ap ril  21, 2016; Accepte d  May 6 ,  2016   Features Deletion on Multiple Objects Recognition       Samuel Alv i n Hutama, Sapta d i Nugr oho, Darma w a n  Utomo*   Electron ic and  Comp uter Engi neer ing F a c u lt y, Sat y a W a ca na Chr i stian U n iversit y ,   Jala n Dip on eg oro 52 – 6 0  Sal a tiga 5 0 7 11, (+ 622 98) 3 118 84   *Corres p o ndi n g  author, e-ma i l : du88 @ y ah oo .com      A b st r a ct  T h is pap er pr esents a  multi p le o b jects re c ogn ition  met hod us ing th e  SURF  and the SIF T   alg o rith m. Bot h  al gorith m s  are  use d  for fi nd in g featur es by detectin g   k e yp oints and   extra c ting descri p to rs  on ev ery obj e c t. T he rando mi z e d KD-T re e alg o rith m is  then us ed for  match i n g  thos e descri p tors. T h e   prop osed  met hod  is de leti o n  of certai n fe atures afte r a n  ob ject h a s  bee n reg i stere d  an d rep e titio n  of  successful rec ogn ition. T he  meth od is  exp e cted to rec o g n i z e  a ll of the r egister ed o b jec t s w h ich are sh ow n   in an  i m ag e. A  series of tests  is don e in  ord e r to un dersta nd the c haract e ristic of  the re cogn i z a b le o b j e ct  and th e  meth o d  cap abi lity to  do the r e co g n itio n. T he tes t  results show  the accur a cy  of the pr opos ed  meth od is 9 7 %  using SU RF  and 88.7 %  usi n g SIF T .       Ke y w ords : mu ltiple  obj ect recogn ition, SURF , SIFT , randomi z e d  KD-T re e         Copy right  ©  2016 Un ive r sita s Ah mad  Dah l an . All rig h t s r ese rved .       1. Introduc tion  Obje ct recog n ition  can  be   accompli sh ed  usi ng fe ature - ba sed  alg o rit h ms. T h e  pro c e s s is  divided into t w o p a rts, feat ure d e tectio n  and featu r e  matchin g . Fe ature d e tectio n is a p r o c e s s of  detectin g  ke ypoints of a n  obje c t and  extracting  t hem into d e s cripto rs  so  that they ca n be   matche d. Thi s  process ca n be solve d  usin g many   algorithms ,  suc h  as  SURF [1], SIFT  [ 2 ], or  Zerni k e mo m ents [3]. There are two p hases of  feat ure dete c tion , training ph ase a nd testi ng  pha se [4]. All obje c ts feat ure s  d e tecte d  in t he traini ng ph ase a r e  saved i n  d a taba se. Fe atu r e   matchin g  is  a proce s s of  comp ari ng fe ature s  det ect ed in the t r ai ning p h a s e  with the feat ure s   detecte d in the testing ph a s e. Obje ct re cog n it ion a c cura cy depe nd s on the d e te cted keypoint s,   extracted d e scripto r s, and the matchi ng  pro c e ss [5].   Multiple obje c t recognitio n  can be a c hieve d  usin g many method s, su ch as u s i n g   different obje c t detecto rs simultan eou sl y [6],  segme n ting image  usin g the SLIC sup e rpixe l s  method [7], sliding win d o w  method, or a hiera r ch ical  pyramid stru cture [8] whi c h almost wo rks  the same  way as th e  sli d ing  wind ow method.  An other  differe nt method  such  as in  crowd   cou n ting al so  can b e  u s ed  by applying  Linea r Interp olation for  ca mera di sto r tio n  calib ratio n  [9],  while multipl e  brand s in im age s ca n be  done u s in g sli d ing wi ndo w method [10].   The m o st  problem  while  impleme n ting  slidi ng  win d o w i s  that th e recognition  time s  become  slo w er afte r ea ch  image  divisio n . In this  pap er, we  p r op o s e a  sim p le r  method  whi c h is  done by just  deleting featu r es of recogni zed o b ject s in  one image p r oce s sing an d  then repe atin g   the recognitio n  based on th e keypoi nts wit hout any rep eated imag e segm entation s .   From th e o r ig inal SIFT o r   SURF,  we  on ly c an  get  ke ypoints  of on e imag e. To f i nd on e   inquiry o b je ct (I) in o ne im age (S ), both  image s n e e d  to be p r o c e s sed to yield  keypoi nts. Th en   by matchi ng I - keyp oints to  the S-keypoi nts u s in g  Ra ndomi z ed  KD-tree  [11], si milarity bet ween   two obje c ts  can be rea c he d. From the l a st proces sin g , it turns ba ck one of thre e re sults n a m e ly  a true recogn ition, false re cog n ition, or  not f ound. If there  are t w o  obje c ts I in S, both SIFT and   SURF  only shows o ne m a tche d. To  solve this  p r o b lem, we  pro pose a te chn i que to recog n ize   multiple obje c ts that fast and also  can id ent ify multiple identics obje c ts that lay on S.      2. Rese arch  Metho d   An obje c t is reco gni zed if the features  matc hin g  p r o c e ss  gives a  true recogniti on re sult .   In this  experi m ent, forty o b ject s fro m  v a riou s  produ ct bran ds with  different  ch a r acte ri stics  such   as  size,  sha p e , and patte rn differen c e  are u s e d  in  this te st. Every brand im ag e (I) is  pro c e s sed   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Features  Del e tion on Multi p le Obje cts  Reco gnition (S am uel Alvin Hutam a )  693 one  by on e  usin g SIFT  a nd S URF  alg o rithm  and   their dete c ted  and  extra c te d keypoint s  are   saved  in  dat aba se. To  id entify multiple obj ect s   in   an ima ge  (S), every I-key points is mat c he d  with S-keyp oi nts. Th e follo wing  sectio ns de scribe  ho w the  multipl e  obj ect s  recognition s   wit hout   and with feat ure s  deletio n.    2.1. Multiple Object  Recognition  Multiple different-obj ect  (n on ide n tics)  reco gni tion  sh own i n  Figu re 1 is  a p r ocess that   only one  obj ect of the  sa me brand i s   recogni ze d  regardle ss  of their o c curre n ce s in  an in put   image. Ho we ver if in one image (S ) con t ains non id e n tics b r an ds,  almost all of the bra n d s  will  be   found. This i s  one of the ch ara c teri stics  of  the original  SIFT and SURF algo rithm s .       Figure 1. Multiple different -obje c ts re co g n ition       To identify multiple identi c s and  non id entics  obje c ts, we pro p o s e  an idea a s   shown in   Figure 2, that  is by del etin g keyp oints l o cate d  in the  found-obje c t  area  after first loop searchi ng.  The process is then repeat ed by feature matching  again until no feature is left.  T he next secti o n  will discu s s how thi s  ide a  wo rks fast  and witho u t repeatin g re cog n ition pro c e ssi ng from  the   begin n ing.         Figure 2. Multiple identi c s-o b ject s re cog n i tion  Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 2, June 20 16 :  692 – 69 8   694 2.2. Featur es  deletion   From S e ctio n 2.1 h a ve  been  de scrib ed that  m u ltiple  obj ect s  reco gnition co nsi s ts of   multiple different-obj ect s  recognition and multiple  iden tics-obje c ts  reco gnition. In  orde r to reali z e  the multiple identics-obje c ts re cognitio n  proces s, the  followin g  step s are n eed ed  to be done.   1.    Object s which will b e  re cogni zed  are  regi ste r ed  by saving th e d e tected  keyp oints a nd th e   extracted d e s cripto rs in the databa se.  Figur e 3 sh ows the key points of a chosen obje c t   regi stered in  databa se.           Figure 3. The  detected  key points of the  obje c t  regi ste r ed in data b a s e are re pre s ented in dot s      2.    Feature s   of an inp u t ima ge can  be fo und by   dete c ting keyp oint s an d extra c t i ng de scri ptors  usin g SURF or SIFT. Figu re 4 shows a n  exampl e of the input ima ge.  The presented imag e i s   made ne gative just to make it clear. Th e image  co nsists of two id entics obje c ts which n eed   to be re cogni zed.        Figure 4. Two  identics obje c ts in the inp u t image.      3.    Descri ptors i n  the in put im age a r e  co m pare d  to  th e  descri p tors of  the regi stere d  obje c ts.  Th e  original SIFT/SURF al gorit hm will only recogni ze one object regardles s how m any times the  pro c e s s is re peated. Fi gu re 5  sho w s th at only t he  se con d  o b ject i s  recogni ze d  becau se m o st   of the  keyp oi nts of  this ob ject a r e  mat c hed  with   the keypoi nts of the  ide n tics obje c t  in   the   databa se.         Figure 5. The  process only  reco gni ze s the  se co nd on ject, even if it  is rep eated   Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Features  Del e tion on Multi p le Obje cts  Reco gnition (S am uel Alvin Hutam a )  695 4.    Figure 6  sho w s the  regi o n  of intere st (ROI)  marke d  in white a r ea. Features  locate d in this  R O I belong to the  s e c o nd objec t. Ther efor e, they  w ill be deleted s i nc e they have been  matche d in the first-lo op re cog n ition pro c e ss.         Figure 6. The  keypoint s col l ection of the  se con d  obje c t are locate d in ROI and  su rro und ed  within the whi t e area.        5.    The features in the ROI ar e deleted by  nullifying the  descri p tors. It can  be  seen  from Figure  7  that there  are  no featu r e s  i n  the  ROI. T hen, by r epe ating ste p  three, the first o b ject i s  finally   recogni ze d. Figure 8  sho w s that after de le ting feature s  and repe ating the third st ep.        Figure 7. The  ROI without feature s         Figure 8. The  first obje c t is finally reco gni zed.       6.  Steps 3-5 a r e repe ated u n til there is  n o  recogni ze d obje c t in the input image.         Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 2, June 20 16 :  692 – 69 8   696 3. Results a nd Analy s is  The obj ect  chara c te risti c s and the  syst em pe rform a nce te sts  are  run o n  a la ptop u s ing   Intel® Core™  i5-420 0M CP U @ 2.50 GHz Pro c e s sor a nd 2.00 GB o f  RAM.    3.1. Objects  Char acteristi cs   Obje ct  ch ara c teri stics can be  cl assified  as  size, sh ap e, and p a ttern of the o b je ct. These   cha r a c teri stics give diffe rent num ber  of detec te d  keypoi nts. Di fferent num b e r of d e tect ed   keypoi nts  will  affect the fe ature s  mat c h i ng re sult. A  true recogniti on is  a  condi tion wh ere  a n   obje c t in the testing p h a s e  is re cog n ized  base d  on the  identical o b je ct in the traini ng pha se.   The 10  regi stered o b je cts sho w n in  T able 1 a r e  chosen ba se d  on their  differen c e i n   cha r a c t e ri st ic s.   Th ey are t e sted  30  tim e s i n  o r d e r t o  find th e mi nimum  numb e r  of keypoin t s  need ed to obt ain the true reco gnition rate above 80%.       Table 1. Obje cts with diffe rent cha r a c teri stics give different nu mbe r  of keypoints  O b ject Number  O b jects  Number of  detect ed ke y points   SURF  SIFT   1 Chocolatos  135  348  2 Pejo y  323  1085   3 Semn y light   14  186  4 Y o   44  248  5 Tango   75  229  6 Raspicam  133  506  7 Formula   174  304  8 Wonderland   533  1700   9 Gofruit   59  488  10 Ger y saluut   39  190          Figure 9. Tru e  recognitio n  on 10 cho s en  object s  usi n g  SURF an d SIFT algorithm s      Figure 9 sho w s that obj e c t numbe r 4 has a tru e  reco gnition ra te above 80 %. From  Table 1, this  obje c t has 4 4  keypoi nts. This  con c lud e s that the succe ss fa ctor is not limited  o n   the numb e r  of keypoint s.   For exampl e ,  object num ber o ne ha s  135 dete c ted  keypoint s using   SURF  but th e re cog n ition  result is b e l o w tha n  50% . It can be u nderstoo d th at external fa ctor  su ch a s  lig ht reflectio n  on  the obje c t al so affect the true re co gnitio n  rate. Fig u re  10 sho w s th at   some  p a rt  of the  obje c t n u mbe r  o n e  is hi dde n  b e cause of  light  refle c tion, th erefo r e  ma ki n g   feature s  dete c tion ina c cu rate. In gene ral, the  re cog n ition re sult  above 80%  can be  rea c h e d  if  the keypoi nts are mo re tha n  44 and o b je ct not giving too much refle c tion.     3.2. The Method Perform a nce   From th e 40  regi stered o b j ects, 1 0  of t hem a r e  ran domly put in  a sin g le ima g e  for 3 0   times test. Therefo r e, total  numbe r of objects in all image s is 300 ( ). The result can be see n  i n   Table 2.     Evaluation Warning : The document was created with Spire.PDF for Python.
TELKOM NIKA   ISSN:  1693-6 930       Features  Del e tion on Multi p le Obje cts  Reco gnition (S am uel Alvin Hutam a )  697     Figure 10. Ob ject numb e r o n e       Table 2. Re sult of the method pe rform a nce te st  Number  of trul y  r e cognized  objects   Number of capt u r ing an image using  SURF   Number of capt u r ing an image using  SIFT  ( )   (ti m es )      (ti m es )     6 0  0  1  6  7 1  7  3  21  8 1  8  7  56  9 4  36  7  63  10 24  240  12  120  Total 30  291  30  266  True Re cog n iti o n (  )    = 97 %     = 88.7 %   Misdete c tio n  (  )  3%  1 1 . 3%       TR and M D  i n  Table 2 a r e  calculated u s ing the followi ng equ ation.          ∑     100%    (1)          ∑      100%    (2)        100% %    (3)     In the Table 2, 10 obje c ts ( ) ca n be re cog n ized well 24 ( ) an d 1 2  ( )  time s  u s ing  SURF  an d  SIFT algo rith m co nsecutively. Mo reov er, from  30 0  obje c ts, S U RF give s  97 %  su ccess re co gnition. This i s  8.3% better than SIFT.            Figure 11. Multiple obje c t recognitio n  u s ing featu r e s  deletion meth od   Evaluation Warning : The document was created with Spire.PDF for Python.
                             ISSN: 16 93-6 930   TELKOM NIKA   Vol. 14, No. 2, June 20 16 :  692 – 69 8   698 Figure 11  shows the  re sult of  multi p le obje c t re cog n ition s  u s ing fe ature s  deletion  method. T o   make  the  re sult cle a r, th e i m age i s   sh o w n i n  n egativ e, the bl ack-b o x re ctangl es are  befall on th e  origin al recta ngle results,  and the t w o  ellips  are  add ed to sho w  the un re cog n i z ed   obje c ts.  The eight  re co gni zed obje c ts can  be se en within  the bol d  bla ck re cta ngle s .  Whil e two  obje c ts  can n o t be re co gni zed  be cau s e  of reflectio n s  as in  obje c t n u mbe r  on e a nd sm all num be r  of keypoint s as in obj ect n u mbe r  three.        4. Conclusio n   Multiple obje c ts  re co gniti on can   be  reali z ed  u s in g the  features  deletio n  method.   Features in t he testing p h a se a r e  com pare d  to a ll feature s  in th e training p h ase. Fe ature s  in  recogni ze d o b ject  are d e l e ted b e fore t he  re co g n ition p r o c e s s is re peate d . Hi gher n u mbe r  of   keypoi nts  will  gives hig h e r  true  recogni tion rate.  External  fa ctor  su ch  as light  refle c tion  al so  affec t  the true rec o gnition rate. The t e s t  res u lt s in  this expe ri ment sh ow t hat an obj ect is  recogni za ble  if there i s   a fixed part  of the  obje c t  whi c h h a s  more th an 4 4  keyp oints.  The   accuracy  of t he p r op osed  method  ba se d 40  registe r ed o b je cts  an d 30  time s te st is 97%  u s i ng  SURF a nd 88 .7% using SIFT.      Referen ces   [1]  H Ba y ,  A Ess,  T   T u y t ela a rs, LV Gool. SU R F : Speede d U p  Ro bust F eat ures.  Co mpute r  Vision  an d   Imag e Un derst and ing . 2 008;  110( 3): 346- 35 9.  [2]  DG Lo w e . Di stinctive Ima g e  F eatur es fr om Scal e-Inva riant K e ypo i nt s.  Internatio na l Jour na l of   Co mp uter Visi on . 200 4; 60(2) : 91-110.   [3]  Saptad i Nu gro ho, Darma w a n  Utomo. Rotati on In vari ant In de xi ng F o r Ima ge Usi ng Z e rn i k e Moments  and R – T r ee.  TELKOMNIKA Telec o mmun icat ion C o m puti ng  Electron ics an d Contro l.  201 1; 9(2): 335- 340.   [4]  M Murai, S T ade. Mu lti-vie  obj ect recog n it ion  usin g F e a t ure detecti on  & descri p tor  alg o rithms.   Internatio na l Journ a l of Eng i n eeri ng,  Educ ati on an d T e chn o l ogy (ARDIJEE T ) . 2015; 3(2).  [5]  PM Panch a l, SR Panch a l,  SK S hah. A C o mparis on  of SIFT  and SURF .  Internation a l Jour na l of   Innovativ e Res earch i n  Co mp uter and  C o mmu n ic ation En gin eeri ng (IJIRCCE) . 201 3; 1(2): 323-3 27.   [6]  K Khur ana,  R  A w a s thi. T e ch niq ues for  Obj e ct Re c ogn itio n in  Imag es a nd Mu lti-Obj e c t  Detectio n.  Internatio na l J ourn a l  of Adv ance d  R e se ar ch i n  C o mp uter En gin eer ing  & T e ch no log y  (IJARCET ) .  201 3; 2(4): 138 3-13 88.   [7]  M Lop ez-de- la -Call e j a , T  Nagai, M Attami mi, MN  Mi yat a ke, HP Me an a. Object Det e ction  Usin g   SURF  and Su p e rpi x els.  Journ a l of Softw are Engi neer in g an d Appl icatio ns . 201 3; 6: 511-5 18.   [8]  D Schmitt, N M c Coy .  Object  Classification and Localizat ion  Using SURF Descriptors.  Cite s eer . 201 1.  [9]  H Z h a ng, H  Gao. L a rge  Cro w d  B a s ed  on Impr o v ed S URF   Algorit hm.  TELKOMNIKA  T e leco mmunic a tion C o mputi n g Electron ics a nd Co ntrol . 20 14; 12(4): 8 65- 874.   [10]  M Skocz y las.  Automatic R e c ogn ition  of Mu l t iple Br ands  in  Images o n  M obil e  D e vices.  Advanc es in   Co mp uter Scie nce Res earch .  201 3; 10: 81-9 7 .   [11]  Silp a-Ana n  C, Hartle y R.  Opti mised   KD -trees for fast im ag e descriptor matching.  Co mp uter Vis i on   and Patter n  Re cogn ition (CVP R) . 2008.     Evaluation Warning : The document was created with Spire.PDF for Python.