TELKOM NIKA Indonesia n  Journal of  Electrical En gineering   Vol.12, No.1, Jan uary 20 14 , pp. 286 ~   291   DOI: http://dx.doi.org/10.11591/telkomni ka.v12i1.3969            286     Re cei v ed  Jun e  23, 2013; Revi sed Aug u st  17, 2013; Accepted Sept em ber 16, 20 13   Sensitivity of Support Vector Machine Classification   to Various Training Features      Nanh ai Yang , Shuang Li*, Jing w e n Liu ,  FulingBian  Internatio na l Schoo l of Soft w a re, W uhan U n iversit y   # 37 Lu o y u R o ad, W uhan, C h ina,  43 00 79, F a x: + 86- 27-6 8 7 782 21    *corres pon di ng  author, e-mai l : lishu ang 12 9@ gmail.c o     A b st r a ct   Re mote se nsi ng i m a ge cl a ssificatio n  is one of  the  most i m p o rtan t techniq ues i n  imag e   interpr e tatio n , w h ich  ca n be u s ed  for   env iro n m e n tal  mon i tor i ng, eval uati on and   pre d icti on.   Many   al gorit h m have  be en  dev elo ped  for i m a ge cl assificati o n  in t he l i teratu re. Supp ort ve ctor machi ne ( SVM) is a ki nd  o f   superv i sed c l a ssificatio n  that  has b e e n  w i del y used  r e cently . T he classific a tion acc u racy p r oduc ed by  SV M   m a y sh o w  va ria t i o n  de pe nd i n g  o n  th e  ch o i ce  o f  tra i n i n g  fea t u r e s . In  th i s   p a p e r , SVM w a s u s e d  fo r land  cover c l assific a tion  usi n g  Quickbir i m ag es. Spectr a l   and  textura l  f eatures  w e re  extracted  for  th e   classificati on  a nd th e res u lts  w e re an aly z e d  thor oug hly.  Results s how e d  that th e n u m b e r of fe atur es  empl oyed i n  S V M w a s not the more the b e tter. Different  features ar e su itabl e for differ ent type of la n d   cover extracti o n . T h is study v e rifies th e effe ctiveness  and  robustn ess of  SVM in the cl a ssificatio n  of hi gh   spatia l resol u ti on re mote se n s ing i m ages.      Ke y w ords : Re mote s ensi ng, i m a ge cl assific a tion, su p port  vector mac h i n e ,  feature extraction         Copy right  ©  2014 In stitu t e o f  Ad van ced  En g i n eerin g and  Scien ce. All  rig h t s reser ve d .       1. Introduc tion  High  spatial  resol u tion remote se nsi ng image have played  an importa nt role in   mappin g u r b an  pl anni ng, defen se and  military,  land   use  an surv eys, an d m a n y  other area s [1 - 3]. As the im provem ent of  spatial  re sol u tion, sin g le l and  cover sh ows a lot of  different  spe c tral  value, whi c h i n creasing the probab ility of miscl assification. The simi lar spect r al characteristi c s of  different land  covers often lead to co nfusin in cl assificatio n , su ch a s  sh a dows an d water  bodie s , me ad ows a nd t r ee s, a r often  mixed in  spe c tral  value. T hus, it i s  ha rd to o b tain  hi gh  cla ssifi cation accuracy whe n   only  the sp ectral   in forma t ion is u s e d Comp ared  wi th the traditio nal  cla ssifi cation   method s, Su pport V e cto r   Machi ne  (SV M ) p o sse s se s the  me rits  of learning  with   small  sa mple s, hig h  anti - n o ise  pe rform ance, et c. M o reove r , SV M also h a s the a d vantag es  of  high lea r nin g  and promotio n efficien cy. Therefor e, S V M classification sh owed g ood pe rform a nce  in remote  sen s ing ima ge in formation extraction [4-6].  In this stu d y, SVM wa s u s ed fo r lan d   cover  cla s sification  of Wu han di stri ct in Chi n a   usin g Qui c kbird ima g e s . Variou s sp ectral  and  t e xtural featu r es  we re ex tracted fo SVM  cla ssifi cation   pro c e s s a nd  cla ssifi cation   perfo rman ce s we re  an alyzed tho r o ughl y. It shoul d b e   pointed o u t that the sel e ction of fe ature s  ha an effect on  the perfo rmance of SVM.  Determinatio n of th eir  o p timum  com b ination s  i s   rega rd ed  as critical  for  the succe ss of  cla ssif i cat i on.          2. Support V ector M achi n e Algorith m   Suppo rt vect or ma chi ne (SVM) is  sup e rvis e d  he uri s tic al gorith m  based on  st atistical  learni ng the o ry [7]. The aim  of SVM for cl assificati o n  is to determi ne  a hyper  plan e  that optimall y   sep a rate s two cla s ses. A n  optimum h y per pla ne  is determin ed  usin g trainin g  data set s  an d is  verified usi n g  test data set s Assu me dat a set  11 , , ..., , , ... , , , 1 , 1 ii N N i xy x y x y y , where  N is the  numbe r of sa mples,  i x is the training  sam p le,  i y is the cla s s label of  i x . Optimum hyper plane   is used to ma ximize the m a rgin b e twe e n  cla s ses. Th e hyper pla n e  is defined a s     Evaluation Warning : The document was created with Spire.PDF for Python.
    ISSN: 2302-4 046   TELKOM NIKA   TELKOM NIKA  Vol. 12, No . 1, Janua ry 2014:  286 – 2 9 1   287   0 wx b   (1)     whe r e x is a  poi nt lying on th e hype r plan e ,   w  determin e the ori entatio n of the hyp e r  plan e,  b is the  bias that indi cate s the di stan ce  betwe en hy per  plane  an d the o r igin.  For the  linea rly  sep a ra ble ca se, the hyper  plane i s  defin ed as     1 ii yw x b   (2)     The trai ning  data poi nts  on the hyp e r plane s a r parall e l to th e optimum  h y per pl ane.  The   sup port ve cto r sa re  define d  by the fun c ti on 1 i wx b  . If a hyper plane  exist s   and  sati sfies  Eq. (2), the  cl asse s are lin early  sepa ra b l e. Therefore,  the margin b e twee n the s e  plane s i s  eq ual  to 2/ w . Thus, the  optimum hyp e r pl a ne can  be found  by minimizi ng  2 w under th e con s traint  Eq. (2).  Determination of  o p timum hype r plane i s   e qui valent to solv e optimi z atio n problem  given  by:    2 1 mi n 2 w     (3)     As no nline a rl y sep a ra ble  data i s  the  case  in va riou cla ssifi catio n of re mote  sen s in g ima g es,  the SVM techniqu e can b e  extende d to allo w fo n online a r d e ci sion  su rfaces by introd uci n g   penalty para m eter  C  and sl ack variabl e   2 1 1 mi n 2 N i i wC     (4)     subj ect to co nstrai nts,      1 1 , 2 , ..., , 0 ii i i yw x b iN     (5)     whe r e pe nalt y  paramete r C allows stri king  a balan ce be tween two co mpeting crite r ia of margi n   maximizatio n  and  erro r mi nimizatio n , where a s the  sl ack va riable   i indicate the  di stan ce  of the  inco rrectly cl assified point from  the   o p t imal hype r pl ane. T he l a rg er th e C value, the hi ghe r the  penalty asso ciated to miscl assified samp les.   Whe n  it i s   no t possibl e to   define th e hy per pl an by  linear eq uatio ns, the  d a ta  may be  map ped  into a hig h e r   dimen s ion a l space through  som e  no nlin ear m appi ng  function . The  input poi nt  x can be rep r e s ente d   by  x in high-dimen s i onal  spa c e.  The time -con sumin g  com putation of   i x x  is  red u ce by usi ng  ke rn el fun c tion. T hus, th cla s sificatio n  d e ci sion  fun c tion  is  defined a s :       1 sg n N ii i i f xy K x x b      (6)   whe r sgn  is the sign fu ncti on,  K   is the kernel fu nctio n  and the m agnitud e  of  i  is  determi ned   by the p a ra meter C . The  widely  used  ke rnel  fun c tion in clud es linea ke rn el,  polynomial   ke rnel, sigm oid kernel and   G aussia n   radi a l  ba sis  k e rn el .  B y  cont r a st   t e st s,  t h e  line a r   kernel fun c tio n  obtaine d be tter results in  our stu d y.    Evaluation Warning : The document was created with Spire.PDF for Python.
ISSN: 2302-4 046                          Sensitivit y of Suppo rt Vector Ma chin e Classifi catio n  to Variou s Tra i ning Featu r e s  (Shu ang Li 288 3. Spectral a nd Textural Feature Extr action s   Many al gorit hms have  b een  develo p ed fo r ima g e  cla s sificatio n  u s ing  SVM . Several  factors (e.g. t r ainin g  features,  ke rn el function s, win d o w si ze s) ha ve significant  impact s  on t h e   cla ssifi cation  perfo rman ce,  which sh ould  be con s id er e d  carefully by the analyst. The sel e ctio n  of  approp riate t r ainin g  featu r es d epe nd on the  kn o w l edge  of land  cove r types pre s e n t in the  image by  g eograph ers. Thus,  trai nin g  features  selectio n play  an imp o rta n t role i n  the  cla ssif i cat i on  ac cur a cy  [ 8 ] .       3.1. Spectral  Featur e Extr action   The wi dely u s ed  sp ectral  feature i s  me an val ue a n d  the metri c  d e rived from spectral  value, i.e. Normali z e d  Dif f eren ce Ve g e tati on Index  (NDVI), Ratio Index (RI), Soil Adjust ed  Vegetation Index (SAVI), Normali z ed  Diff erence  Water Index (NDWI ) . The m e tric  is described i n   Table 1.       Table 1. The  spe c tral featu r es u s e d  in the study   Metric Equation  Description  NDVI   Re Re NI R d NI R d B and B a nd B and B a nd   It is used to extra c t vegetation, i.e. grassland.    RI  Re d N IR B and B and   It is used to extra c t high density  v egetation, i.e. tre e s.  SAVI   Re Re 1 NI R d NI R d B and B and L B and B and L     It is used to extra c t soil w i th low  v egetation cover.   NDWI  G r een N I R G r een N I R B a n d B and B a n d B and   It is used to extra c t w a te r from  land covers.      3.2. Textur al Features Ex traction   The G r ay L e ver  Co-occu r rence Matrix  (GLCM )  i s  p r o posed by  Ha ralick in  197 0s, whi c h   is a n  imp o rta n t tech niqu to analy z e im age textu r e.  The  GL CM i s  ba sed  on  th e second  ord e combi nation of  probability density  functi on, by calcul ating the  co rrelation between two  point s in  the e s timated  image s [9,10 ]. The texture  features  are  derived  from   GLCM,  i.e. Angula r  Se co n d   Moment (AS M ), Contrast,  En tropy and  Correlation.  Let  , Gi j  be the element in GL CM and   the size of the matrix be * kk , the metri c  are  descri bed in  Table 2.       Table 2. The  textural features u s ed in th e study   Metric Equation  Description  ASM      2 11 , kk ij Gi j   It denotes the im age gra y  uniform ity   and te xture   coarseness.    Contrast       1 2 || 0 , k ij n i nG i j   It reflects the text ure clarit y .   Entrop y      11 ,l g ( , ) kk ij Gi j G i j   It measures the  amount of inform ation contained in  the image.   Correl a ti on                     11 11 11 2 2 11 2 2 11 *, ,, , , , kk ij ij ij kk k k ij ij i j kk ii ij kk jj ij ij G i j U U SS Ui G i j U j G i j SG i j i U SG i j j U It describes the periodicity  of t e xtu r e element in a  certain positional relationship.      4. Experimental Re sults  and An aly z The test ima ge is from Q u ickbird sen s or, wi th the  spectral ba nd  rang es f r om  450nm to  900  nm. Th e  image  si ze  i s  4 00*4 00,  which  covers  water (W),  grasslan d (GL ) , bare la nd  (B L),  blue ro of (BlR), brown  ro of (BrR ), ce ment su rface  (CS) an d trees  (T). The  original ima ge is  s h ow n  in  F i gu r e  1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
    ISSN: 2302-4 046   TELKOM NIKA   TELKOM NIKA  Vol. 12, No . 1, Janua ry 2014:  286 – 2 9 1   289       Figure 1. The  test image wi th the size of  400*4 0 0       Five types of features are sele cted for t he SVM classificatio n . The cla s sifiers a r e   SVM_1 (fo u feature s : Me an valu e fo r t he fou r   ban d s ), SVM_ 2   (six feature s : f our mea n  val ue,  NDVI and SA VI), SVM_3 (eight features: four  mean value, NDVI,  RI, SAVI and NDWI), SVM_4  (twelve featu r es: fou r  me an value, m ean val ue a nd stan da rd  deviation of ASM, Contra st,  Entropy, Correlation), and SVM_5  (sixt een features:  four  mean   value, NDVI, RI, SAVI and   NDWI, mea n   value an d sta ndard deviati on of ASM,  Contra st, Entro p y, Correlatio n). The  num b e of training dat a is 60 (bl o ck) * 7 (cl a sse s ). The cla ssifie d  image s are sho w n in Fig u re 2.         (a) SVM_1     (b) SVM_2       (c ) SVM_3     (d) SVM_4     (e) SVM_5     Figure 2. The  classified im age s of the study area   Evaluation Warning : The document was created with Spire.PDF for Python.
ISSN: 2302-4 046                          Sensitivit y of Suppo rt Vector Ma chin e Classifi catio n  to Variou s Tra i ning Featu r e s  (Shu ang Li 290 From Fi gure  2, it can b e  se en that  t he SVM classifiers pe rform well on  image   cla ssifi cation.  The water,  blue ro of and bro w n ro of are dete c te d accurately. As it is hard to   disting u ish b e twee wate r and   sha dow, we  cl assi fy them  a s  a cl ass.  To  com pare   the   results  from different  SVMs, we  calcul ate the o v erall a c cura cy (OA )  an Kappa  coefficient by co nfu s ion  matrix, which is sh own in Table 3 to Tabl e 7. T he test data set s  we re formed u s in g rand om pixel  sele ction  st ra tegy with  pro porti on al n u m ber of  sam p les for ea ch  cla s s. A tota l num ber of  350   pixels are sel e cted fo r testi ng cla s sified i m age s.       Table 3. Co nfusio n matrix for SVM_1   SVM_1  G L  BL BlR  BrR  CS  W 33  GL  3  27  BL 0  43  BlR  12 0  1 0  BrR   0 13  1 0  CS 9  161 T 0  12 OA  86%   Kappa  0.8    Table 4. Co nfusio n matrix for SVM_2   SVM_2 W G L BL BlR  BrR  CS  W 33 GL  3  27  BL 0  42  BlR  12 0  1 0  BrR   0 0  13 1  CS 9  161  T 0  12  OA  86%   Kappa  0.8      Table 5. Co nfusio n matrix for SVM_3   SVM_3  G L  BL BlR  BrR  CS  W 34  GL  3  27  BL 0  48  BlR  12 0  1 0  BrR   0 12  1 0  CS 9  167 T 0  12 OA  89%   Kappa  0.84    Table 6. Co nfusio n matrix for SVM_4   SVM_4 W G L BL BlR  BrR  CS  W 34 GL  3  27  BL 0  45  BlR  12 0  1 0  BrR   1 0  12 1  CS 9  164  T 0  12  OA  87%   Kappa  0.82          Table 7. Co nfusio n matrix for SVM_5   SVM_5  G L  BL BlR BrR  CS  W 34  GL  3  27  BL 0  49  BlR 0  12  BrR   0 0  13 1  CS 9  167 T 0  12 OA  90%   Kappa  0.85        Figure 3. The  accura cy tre nd for re sult s image     To comp are   the overall a c cura cy a nd  kap pa  coefficients fo r e a ch cl assified i m age more o b viou sly, the trend is given in Fig u re 3. Fr o m  Figure 3, it can  be see n  that the accuracy  of  SVM_1 and SVM_2 is the same. Ho we ver, the numb e of feature s  used in SVM_2 is larg er th an  SVM_1. It indic a tes  that  the NDVI and  SAVI in SVM _2 do not help to increas e   the c l ass i fication  accuracy. Th e accu ra cy from SVM_3 i s  larg er th an S V M_2. It indicates that th RI and  NDWI in  SVM_3 incre a se the  cla s si fication a c curacy. The a ccura cy for SVM_4 de crea ses, which m e ans  the texture f eature s   are  not as goo as the  sp e c tral index, i.e. RI, NDWI.  The a c curacy for  SVM_5 i s  the  high est,  whi c h i s   1% hi g her than  t he  result of SV M_3. It me an s that  the tex t ure  adde d in the cla ssifie r s d o  not signifi cant ly  improve the cla ssifi catio n  accuracy.      Evaluation Warning : The document was created with Spire.PDF for Python.
    ISSN: 2302-4 046   TELKOM NIKA   TELKOM NIKA  Vol. 12, No . 1, Janua ry 2014:  286 – 2 9 1   291   5. Conclusio n   Cla ssifi cation  of remote  sen s in g im age s is a n  importa nt appli c ation f o r ima ge  interp retation.  Suppo rt vect or ma chi ne (SVM) hav e b een recently use d  for ma n y  classificatio n   probl em s. Althoug h it is re ported  that S V M pro d u c more  accu rat e  cla s sificatio n  re sult s tha n  the  conve n tional  method s, the sele ct ion of optimum trai ning features  is one of the most import ant  issue s  that   affect thei r p e rform a n c e.  In this  stu d y, five types  of features a r used i n  t h e   cla ssifie r s. F r om the exp e r iment s, sev e ral im po rtan t con c lu sion s can  be  dra w n. Firstly, the  numbe of fe ature s  i s   not  the mo re th e  better for th e cl assificatio n  a c curacy, i . e. SVM_3 a n d   SVM_5. Secondly, the RI and NDWI feature s  pe rfor m better than  the texture feature s , incl u d ing   ASM, Entropy, Contras t  and Correlation. This   co ncl u sio n s ma de here a r e ba sed on the limited  tests. More comprehensiv e tests  will be conducted in the future.      Ackn o w l e dg ement  This  re sea r ch wa su pp orted  by a  grant f r om  973 p o rj ect  in China  (Grant  2012 CB71 99 01)      Referen ces   [1]    F ood y GM, Mathur A. A rel a tive eva l u a tio n  of  multiclas s  image cl ass i ficatio n  b y  s u pport vector   machi nes.  IEEE Transactions  on Geoscie n c e  and R e mote  Sensi n g . 20 04;  42: 133 5-13 43 [2]    Han F ,  Li H, W en C, Z hao  W .  A Ne w  Incr ementa l  Sup p o r t Vector Machine Al gorit hm.  TEL K OMNIKA  Indon esi an Jou r nal of Electric al Eng i ne eri n g .  2012; 1 0 : 117 1-11 78.   [3]    Yu Y, Z hou L. Acoustic Emission Si gn a l  Classific a tio n  base d  on  Supp ort Vector Machi n e .   T E LKOMNIKA Indon esi an Jou r nal of Electric al Eng i ne eri n g .  2012; 1 0 : 102 7-10 32.   [4]    Shao Y, Lu nett a  RS. Compar i s on of sup port vect or machi n e ,  neural  net w o r k , and CART  algorithms fo r   the lan d -cov er classificati on u s ing lim ited trai nin g  data p o int s ISPRS Journal of Phot ogr ammetry a n d   Rem o te Sensing . 201 2; 70: 7 8 -87.   [5]    Otukei J, Bl asc h ke T .  Lan d co ver ch ang as sessment  usin g d e cisi on tre e s , supp ort vect or mac h in es   and ma ximum  likel ih ood cl as sificatio n  alg o ri thms.  Internationa l Jour nal of  Appli ed Earth  Observati o n   and Geo i nfor mation . 20 10; 12 : S27-S31.   [6]    Mountrak i s G, Im J, Ogole C. Supp ort vect or machi nes i n  re mote sensi ng:  A revie w ISPRS Journal of   Photogr a m met r y and Re mote  Sensin g . 201 1 ;  66: 247-2 59.   [7]    Vapn ik VN. A n  overvi e w   of statistical  le arni n g  the o r y IEEE  T r ansactio n on N eur al N e t w orks . 1999;   10: 988- 99 9.  [8]    Kavzog l u T ,  C o lkes en I. A  k e rne l  functi ons  an al ysis  for  supp ort vector  mach ines  for  la nd c o ve r   classification.  I n ternati o n a l Jo urna l of Ap pli e d Ea rth Obs e rvation  an d Ge oinfor mation 2 009; 1 1 : 35 2- 359.   [9]    Haral i ck RM,  Shanm ug am  K, Dinstei n  IH. T e xtural  features for  imag e cl ass i ficatio n IEEE  T r ansactio n s o n  Systems, Ma n and Cy ber ne tics . 1973; 61 0 - 621.   [10]    Dell'Acq ua F, Gamba P.  T e xture- bas ed c haracter i zatio n  of  urban env ironme n ts  on satellit SA R   imag es.  IEEE  Transactio n s o n  Geoscie n ce  and R e mote S ensi n g . 20 03; 41: 153- 15 9.    Evaluation Warning : The document was created with Spire.PDF for Python.