Indonesi an  Journa l  of El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   10 ,  No.   1 ,  A pr il   201 8 , p p.  154 ~ 167   IS S N:  25 02 - 4752 , DO I: 10 .11 591/ ijeecs . v 10 .i 1 .pp 154 - 167           154       Journ al h om e page :  http: // ia es core.c om/j ourn als/i ndex. ph p/ij eecs   Multi - Level  of F eatur e Ex traction  and Clas sificatio n for X - Ray  Medic al Image       M.M  Ab d ulra zz aq 1 , I m ad  F T Yaseen 2 ,  SA Noah 3 , M oayad  A. Fa dhil 4   1 ,2 Com pute r  Science   Dep art m ent,   Inte rn at ion al Isl amic  Univer si t y   Malay s ia,  IIUM ,   Malay si a   3 Facul t y   of  Infor m at ion  Sci ence &  T ec hnolog y ,   Univer siti   Keba ngsaa n  Mal a y s ia,  UK M,  Mal a y s i a   4 Facul t y   of  Infor m at ion  T ec hnolo g y ,   Univer si t y   of   Phila d el phi a, Jorda n       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   Ja n   9 , 201 8   Re vised  Ma r   2 ,  201 8   Accepte d  Ma r   18 , 201 8       The re   ha s  be en  a  rise  in  deman d  for  digitized  m edi ca l   images  over   th e  l ast   two  decade s.   Medical   images'  p ivot al  rol e  in   surgical  pl anni ng   is  al so  an   essenti a l  source   of  informati on  for  disea ses  and  as  m edi ca l  re f er enc e  as  wel l   as  for  th e  purpo se  of  r ese arc h   a nd  tr a ini ng.   Th e re fore ,   eff ective  techniques   for  m edi ca l  ima ge  re trieva l  and cl assifi ca t ion  are re quire d  to  prov ide   accurate   sea rc h  through  s ubstant ial  amount  of  imag es  in  a  ti m ely   m anne r .   Given   the  amount  of  images  tha t  are   re qu ir ed  to  de al   with ,   it   is  a  non - v i able   pra ctice   to  m anua lly   anno t at e  th ese   m edica l  imag es.   Additi ona lly ,   re tr ie ving  an d   inde xing  the m   with  image   vis ual   f ea tur e  ca n not  c apt ure   hig h  le v el   of   sem ant ic   conc ep ts,   which  are   n e ce ss ar y   for  ac cu ra te   re tr ie va l  an d  eff e ct i v e   cl assifi ca t ion  of   m edi ca l  imag e s.  The re for e,   a n  aut om at ic   m e cha nism   is   re quire d  to  addr ess  the se  li m it ations.  Address ing  thi s,  thi s  stud y   form ula te d   an  eff e ct iv e  class ifi cation  for  X - ra y   m edica l  images  using  diffe r ent   fe a tur e   ext ra ct ions  and  cl assifi ca t ion  t e chni ques.   Spec if ic a ll y ,   thi s   stud y   p roposed  per ti n ent   fe at ur e  ext ra ct ion  algorithm  for  X - ra y   m edica l  i m age s  and  det ermined  m achine   learni ng  m et hods  for  aut om at ic   X - ra y   m e dic a l  image   cl assifi ca t ion.   T his  stud y   al so  eva lu at ed  diff er ent   image  fe at u re s  (c hief l y   globa l ,   local ,   a nd  combined)   a nd  cl assifi ers.   Consequent l y ,   t he  obtained   re sults  from   thi s  study   improved  re sults  obtai ned  from   pre vious  re la ted   studie s.   Ke yw or d s :   X - ray m edical  i m age   SV M   K - NN   Feat ur e  Ex t racti on   Cl assifi cat ion   Copyright   ©   201 8   Instit ut e  o f Ad vanc ed   Eng in ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Moh am m ed  Muay ad A bdulra zzaq,   Com pu te r  Scie nce  Dep a rtm ent,    Ku ll iy ya h  of  I nfor m at ion  a nd Com m un ic at i on Tec hnology  ( K ICT ),   In te r natio nal Is lam ic  U niv er sit y M al ay sia     E - m ail: eng .al ob ay dee81 @g m ai l.co m       1.   INTROD U CTION     The  pro du ct io n  a nd   relat ive ly   strai gh tf orward  m anag e m ent  of   dig it a l  visu al   c on te nt  ha ve  bee n  increasin gly  in   dem and   ov e r  these  rece nt  ye ars.   Sp eci fical ly   in  the  m edical   do m ai n  f or  dig it al   inf orm a ti on ,   the  con ti nuous   dev el opm ent  of   m edical   i mages  su c h  as  X - ray,  Com pute d  Tom og ra phy  (CT)  sca ns,  and   Ma gn et ic   Re sonance  Im age  (MRI)  scans  c ontrib uted  s ubsta ntial   a m ou nt  of   im ages  daily .  Fo r  e xam ple,  the  Dep a rtm ent  of   Ra dio lo gy  in   Un ive rsity   H os pital   of  Ge nev a  pro du ce d  12, 000  to  15,00 0  im ag es   daily     in  20 02  [ 1].  T he  nu m ber   of  pro du ce d  a nd  store d  im ages  daily   for  t his  dep a rtm ent  con ti nu e d  t o  i ncrea se  t o  50,00 0  i m ages  in  2007   [2 ]   and   114,0 00   i m ages  in  2009  [ 3].  Essenti al ly ,  these  i mages  re veal  cr it ic al  inf or m at ion   of  visu al ly   inacce ssible  body   part s,  w hich  a re  e ssentia l  for  m e dical   diag nosis ,  m edical   edu cat ion ,   and m edical  st ud ie s .    Ther e f or e,   ef f ect ive  te ch niques  t o  na vig a te   and   search   su bs ta ntial   a m ou nt  of   m e dical   i m ages  accuratel y  are  necessa ry.  T he   co nv e ntio nal  im age  retrieval  syst e m   dep en d s  on  keyw ord  search ,  in   w hic h  th e   keyw ords  or   annotat ed  im a ge  desc riptio ns  are  m anu al ly   assigne d  f or  ind e xing  purpose.   Subse quently ,  Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Multi - Level   of  Feature  Extr ac ti on   and  Cl as si fi cation  f or  X - Ray   Me dical  Image  ( M. M A bdulr az z aq )   155   releva nt  i m ages  are  retrieve d  us in g  this  inde xing  syst em ,  wh ic h  is  know n  as  Text  Ba s ed  Im age  Re trie val  (TBIR) .  Howe ver,  the   TBIR   m e tho d  is  dis reg a rd e d  due  t o  the   pr ese nce   of  th ousa nd s   or  eve n  m il li o ns   of  i m age  in  the  database .  The   process  of  e nterin g  m et ad at a  to  each  of  these  i m ages  is  costly   and   tim e - consum ing  [4].   Con se quently ,  rather   tha n  de pe nd i ng   on   TBI R,  the  Con te nt   Ba se d  Im age  Re trie val  (CBIR)  m et hod  is  op te d,  in  w hi ch  the  i m age  retrieval  proces s  dep e nds  on  f eat ur es  ext racted  from   the  i mage  it sel f  (the  visu a l   con te nt  of  an  i m age) .  S pecif ic al ly ,  low - le ve l  featur es  s uc h  as  col or,  te xt ur e,  a nd  sh a pe   are  co ns ide r ed  as   featur e v ect ors ,  w hich  are  a ut om atical ly   extr act ed  in  the p r ocess  of   sea rchi ng   f or  sp eci fic  i m ages  with  r espec t   to  the  query  i m age.  Acc ordi ng ly ,  this  te ch nique  is  le ss  tim e - con s um ing   com par e d  to   the  te chn i qu e   that  dep e nds  on  te xts  f or  t he  pur po s es  of  in de xi ng  an d  retriev ing  [ 5] .  Howe ver,  CB IR   doe s  not  inte rpret  data  in   the  sam e   way  t hat  a  hu m an  does.  Additi on al ly ,  it  is  inexp e dient  f or   the  sy stem   to  el ucidate  hig h  pi xel  im ages   as  how  a  hum an  pe rceives  i m ages.  Su c h  l i m i t at ion   is  kn ow n  as  sem a ntic  gap   [6 ] ,  wh ic h  is   sp eci fical ly   def i ned   as  the  diff e re nce  bet ween   how  a  hum an  per cei ve s  an  i m age  bas ed  on  a  high - le vel  sem antic   con ce pt   and   how  a  c om pu te r  cl assifi es  an  im age  based   on  lo w - le ve l  featur es.  Ne ver t heless,  in  pract ic e,  CB IR  cannot   be  achie ved   ba sed  on  on ly   si m pl e  ind epe nd ent  vis ual  featur es .   Va rio us   m edical   i m age   cl assifi cat ion   m et ho ds  us in g  m achine  le arn in g  are  de velo ped   t o  re du ce  t he  issue s   of   sem antic   gap .  W it h  that,  t his  stu dy  f or m ulate d  an  e ff ect ive   cl assifi cat ion   syst e m   fo r   X - ray  m edical   i m ag es  bas ed   on   m ul ti - le vel  feat ure  e xtracti on,   f eat ur e   reducti on,  a nd  m ulti - cl assifi cat ion   te ch niques.  T he  e valuati on   of  this   integrati on  was  pe r form e d  us i ng   Im ageCLEF2005   database .   A tt e m pts  to  utili ze  glo bal  or  lo cal   featur es  wi th  ei ther  Suppor t  Vect or   Ma chin e   (S VM )  cl assi fi er  or  k - Nea re st  Neig hbor  ( k - NN)  cl assifi er  f or  X - ray  m edical   i m ages  we re  pe rfo r m ed  in  var i ou s  relat ed   stud ie s,  as  s umm arized  in   Table  1  [7] - [ 9] .  For  this  st ud y,  t he  eval ua ti on   wa s  bas ed  on  correct ness   rat e.  T he  c orrectness  rate,  as   s how n  in   E qu a ti on   1,   i s   the  resu lt   of  di vidi ng   t he  nu m ber   of   correct ly  classi fied  im ages b y  the total   nu m ber   of  im ages .                                                                                                                                      (1)       2.   ANALY SIS  AND PR OPO S ED SO L UTI ON   Re al ist ic ally,  it  is  a  chall en ge   to  re du ce   the  sem antic   gap   because   vis ual   featu res  of  im ages  do   not  pr ese nt  high - le vel  se m antic   c on ce pts  an d  in ste ad  of   util iz ing   the  co nte nt  of   im ages,  us ers  op t  f or   te xt - base d  qu e ry.  W it h  th at , th is has fur t her  in sti gated  s tud ie s to devel op  e ff ect ive m edical   i m age cl assifi cat ion  m e thods .   Howe ver,  the  fam i li arizat ion   process   with   the  sem antic  m od el   in  cl assify ing   im ages  an d  e nh a nci ng  th e   retrieval  perf orm ance is co m plex.   Conver sel y,  the  resu lt s  obta ined  from   the  pr e vious  stu di es  to  cl assify   X - ray  m edical  i m ages ,  as   sh ow n  in   Ta ble  1,   util iz ing   gl ob al   or   l ocal  f eat ur es  with  ei ther  S VM  or  k - N N  cl assifi er s   are  no t  regar de d  as   the  fi nest  s olu t ion s   to  t he  iss ue   of  reducin g  t he  sem antic   ga p.   Thes e  r esult s  rem ai ned   vary   from   on e  a nothe r.  Fo r   exam ple,  ref e rr in g  t o  T able  1,  R W T H - i 6  te am   ac hieve d  er r or   r at e  of   12.6%  wh il e  Mo ntrea l  te a m   achieve d  e rror  rate  of  55.0%   for  th e  sam e  dataset .  Me an wh il e,  M ueen  [10]   com bin ed   featu re  e xtrac ti on s  of  global,  local ,  a nd   pix el   f or   X - ray  m edical   i mage  cl assifi cat ion   a nd   a nnotat ion   usi ng  b oth   SV M  cl assifi er   and  k - NN  cl assifi e r.   The   res ultant  ou tc om e  of   this   com bine d  featu re  e xtracti on,  c onsist ing   of  57  cl asse s   (I m ageCLEF2 005  database )  rev eal e d  that  the  pe rfor m anc e  of   S VM  exc eeded   t he  pe rfor m ance  of   k - NN   i n  m os t  of   the  classes  (sp e ci fical ly ,   48   cl asses)  w hile  the  per f or m ance  of   k - NN   e xcee de d  the  pe rfor m ance  of   SV M  in  the  r e m ai nin g  nin e   cl asses  on ly .  W it h  that,  SVM   was  con si de red   f or   a nnot at ion   pur pose.   Thr ee  hierar c hical  le vels  of  im age a nnotati on w e re  appli ed  to  r e duce the  sem antic  g ap .   Ap a r t  f ro m   th at ,  in  a no t her  stud y  on  4,9 37   X - ray  m edical   i m ages,  Fes ha rak i  &  P our ghassem   [11 ]   achieve d  accu racy  rate  of   82. 8%  usi ng  fe at ur e  ext racti on  of  sh a pe  a nd  Ba ye sia n  cl assifi er.  Co nv ersely ,  Ghofra ni  [12]   achieve d  hi gh e r  accu racy  rate   (90.8%)  us in g  featu re  e xtract ion   of   s ha pe  and   e dges  as  w el l  as  SV M  cl assifi er   on   a  dataset   of  1,1 69   X - ray  m edical   i m ages.  The  acc ur ac y  rate  increased  to  94. 2%  wit h  the   integrati on  of   featur e  extract ion   of   s ha pe  a nd   te xture  an d  SV M  cl assifi er  ( rather  tha n  neural  cl assifi cat io n  te chn iq ue )  on  a  dataset   of   4,402  X - r ay   m e dical   i m ages  [13] .  Za re  [ 14 ]   util iz ed  feature   extracti ons  of  Gray   Level  Co - occurre nce  Ma trix   (G LCM ) ,  Ca nny,  pix el ,  B oW,  a nd  LPB d  as  well   as  S V M  and  k - NN   c la ssifie rs,  wh e re  SV M ac hieve d hig her  accurate  rate ( 90%) b ase d o n Im ageCLEF2 007 databa se.   In   c on cl us io n,   there  is  a  nee d  to  util iz e  an  eff ect ive  cl assif ic at ion   that  integrates  m ulti - l evel  featu re   extracti on  ( glo bal  an d  loc al   featur es)  a nd   m ulti - cl assifi cat ion   te ch niques  f or   X - ray  m edical  i m age   cl assifi cat ion .           Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vol .  10 , N o.   1 ,  A pr il   201 8   :   154   –   167   156   Table  1 .   Su m m aries o f rel at ed  work   Au th o r   Featu res   Clas sif ier   Databas e   Se m an ticg ap   Res u lts   RWT H - i6   IDM  with X3 2  thu m b n ails   sizes ,  So b el f ilter   1 - NN     I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   1 2 .6%   RWT H - mi   CC F and  I DM   1 - NN   I m ag eCL EF20 0 5   No t add ressed   Er ror   Rate   1 3 .3%   Ulg .ac. b e   1 6 X1 6  r an d o m ly   ex tracted patch es f ro m   i m ag es.   Decisio n  T ree   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   1 4 .1%   Gen ev a - g if t   Gab o r  Textu re  Filt ers   5 - NN   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   2 0 .6%   Inf o co m m   Textu re  f eatu res   SVM   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   2 0 .6%   MI RAC LE   weig h tin g  f u n ctio n  f o r  2 0 - NN   20 - NN   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   2 1 .4%   NTU   Gra y  valu es   1 - NN   2 - NN   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   2 1 .7%   NCTU - DBLAB   Scalin g   SVM   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   2 4 .7%   CEA   So b el f ilter   3 - NN   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   3 6 .9%   Mtho ly o k e   Ta m u r a textu re  f ea tu res  an d  Gabo r   k - NN   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   3 7 .8%   CINDI   Can n y  E d g e detect o r   SVM   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   4 5 .3%   Mon treal   F o u rier  sh ap e and   co n to u r  d escript o rs   -   I m ag eCL EF20 0 5   No t add ressed   Er ror  Rate   5 5 .7%   Qiu  &   Xu  ( 2 0 0 5 )   Blo b   Gra y  level t ex tu re  an d   co n trast   SVM   I m ag eCL EF20 0 5   No t add ressed   Accurac y :   89%   Mueen  ( 2 0 0 9 )   Textu re,  Shap e,  L o cal &  g lo b al f eatu res.   k - NN   SVM   I m ag eCL E F2 0 0 5   Ad d ressed   Accurac y :   8 2 % f o r  k - NN,  8 9 % f o r  SVM   Fesh araki   &  Po u rgh ass e m   (20 1 2 )   Sh ap e f eatu res   Bayesian   4 9 3 7  X - ray   No t add ressed   8 2 .87 %   Gh o f rani et al. ,  (20 1 2 )   ed g es an d  sh ap e   SVM   1 1 6 9  X - ray   No t add ressed   9 0 .88  %   Moh a m m ad i  et  al .,   (20 1 2 )   Sh ap e and  te x tu re   SVM,   Euclid ean  d istan ce,  an d   n eu ral  n etwo rk   4 4 0 2  X - ray   No t add ressed   8 8 .77  %   9 4 .2 %   Fesh araki &   Po u rgh ass e m   (20 1 3 )   Sh ap e and    tex tu re   k - NN and    n eu ral  n etwo rk   2 1 5 8  X - ray   Ad d ressed   9 3 .6%   Zar e   et al .,   (20 1 3 )   GLCM ,  Can n y   Pix el,  Bo W ,  LPB   SVM   k - NN   I m ag e CL EF20 0 7   No t add ressed   9 0 % f o r  SVM   8 6 % f o r  k - NN       3.   METHO DOL OGY   This  pr e sent  stud y  pro pose d  a  fr am ewo rk   t o  cl assify   X - r ay   m edical  i mages  base d  on   m ulti - le vel  featur e  e xtract ion   usi ng  the  Im ageCLEF2005   database .  I n  this  stud y ,  the  de velo pm e nt  of   the  pro pose d   fr am ewo r k  wa s  base d  on  f eat ur e  e xtracti on,  c om bin at ion  an d  sel ect ion,  a nd  cl assifi cat ion ,   w hic h  a re   sp eci fical ly  d is cusse d  in  the  f ollow i ng secti ons.     3.1   Fea tu re E xt r act i on   This  stu dy  extracte d,   c om bin ed,   an d  util iz e d  va rio us   featu res  to  ex plore  diff e re nt  aspec ts  of   X - ra y   m edical   i m age s.  As  pr ese nte d  in  Ta ble  1,   s ever al   feat ur e  extracti ons  we re  util iz ed,   where  gl ob al   feat ur e  a nd   local   featu re  w ere  c on si der e d  in  ce rtai n  stu dies.  Me a nwhi le ,  f or   t his  stu dy,  the   f ollo wing  feat ur e  e xtr act io n  al gorithm s  were  c onside re d:  ( 1)  gl ob al   featu re,  (2)  l ocal  fe at ur e,   ( 3)  pi xel  featu re,   an d  ( 4)  sp ee de d  up  rob us t   featur e s (SUR F) .   In   par ti cula r,   global  featu res   wer e  e xtracte d  from   each  im age  by  app l yi ng   featu re  te chn i qu e s  of   sh a pe  an d  te xt ur e ,  w hich  ge ne rated  282  feat ur es .   T hese  fe at ur es  incl ud e d  13 0  dim ension s  of  sh a pe  f eat ur es   and   152  dim en sion s  of   te xtu r e  featur es .  Th e   local   featur es ,   on   the  oth e r  ha nd,  we re  extr act ed  by  segm entin g  the  in pu t  im age  into  fou r  no n - overlap ping  blo c ks   of   pi xe ls,  res ulti ng   t o  the  e xtracti on   of   28 2  dim en sion s   from   each  patch.   T he  pix el   fe at ur e  was  e xtra ct ed  after  resiz ing   each  im age  to  15   x  15  p ix el s,  wh ic h  ge ne rated  225 feat ures.  S URF tec hn i qu e  subse qu e ntly  ex tract ed  15 0 f eat ur es  from  each  im age.    Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Multi - Level   of  Feature  Extr ac ti on   and  Cl as si fi cation  f or  X - Ray   Me dical  Image  ( M. M A bdulr az z aq )   157   3.2   Te xture F eature   Essentia ll y,  te xture  feat u res   ref e r  to  t he  unde rly ing  str uc tural  ar ra ng e m ent  of   t he  s urfaces  i n  the   input  i m age.  Ther e  a re  tw o  ty pes  of   te xtu re  featu res,   wh ic h  are  (1)   Gr ay   Le vel  Co - occurre nce   Ma trix   (G LCM )  a nd   ( 2)   W a velet   Tr ansfo rm   ( W T) .   GLCM  was  f irstl y  intro duc ed  by  [15] .  It  is  m ai nly   util i zed  to   com pu te   the  se cond - orde r  te xt ur e  c har act e risti cs  in  so l ving   the  issues   of  c at egorizat ion   e ff ic ie ntly .  F or   N  x  N   i m age,  it   inclu des  pix el s   with   gray   le vels   of  0,  1,  2,  ….   ( G  -   1)  an d  re pr es ented   by  m at rix                    w he re  e a c h  m at rix  el em en t   sta nds   f or  the   j oi nt  inci de nce   of   intensit y  le vels      a nd       with  pros pects  at   a  certai n  distanc e,  d  (which  r e fer s  to  the  r el at ed  d i sta nce  betwee n ea ch pair  of  pi xels a nd a r el at ed orie ntati on   ang le )  [ 16] .   In   order   t o  ob ta in  enh a nce d  ou t pu ts ,  seve r al   co - oc c urre nc e  m at rices  m us t  be  c on si de red ;  one  f or   each  relat ed  l ocati on  offer s   va rio us   te xture  fe at ur e s  or  si m il ar  featur e s  at   va rio us  s cal es.  Se ver al   te xtu re   m easur es  of  G LCM   co uld   be   directl y  cal culat ed  [15]   [ 17]   [ 18 ]   [19]   [ 20 ]   [21]   [ 22]   [23] .  Gen e rall y,  θ  i s   qu a ntize d  i nto  four d i ff e ren t  di recti on s:  0o, 4 5o, 90o,  and  135o.   In   t his  st ud y,   22  co - occurre nce  m at rices  fo r  each   of  the se  f our  directi on s   we re  obta ined,  w hi c h  include d  ( 1)   a uto c orrelat ion,   (2)  cl us te r  prom inence,  ( 3)  cl us te r  sh a de ,  ( 4)   co ntrast,   (5)  c orrelat io n,   ( 6)   diff e re nce  entr op y,  ( 7)  dif fere nce  va riance,   (8 )  dissim il arit y,  (9 )  ene rg y ,  (10)   e ntropy,   (1 1)  hom og e neity ,   (12)  in ver se   di ff e ren ce ,  ( 13)   inv e rse  dif fer e nc e  norm al iz ed,   (14 )  in ve rse  di ff ere nce  m ome nt  no rm alized,  ( 15)   inf or m at ion   m easur es  of   correla ti on   1,  (16)  inf orm a ti on   m easur es   of   c orrelat io n  2,  ( 17)  m axim u m   pro bab il it y,  ( 18)   m axi m u m   pr oba bili ty ,  (19 )  s um   aver a ge,  ( 20)  s um   entr op y,   ( 21)   su m   of  squa res,  an d  (22)  su m   var ia nce .  Con se quently ,  88  dim ensions   we re  ob ta in ed .  T he  fo ll owin g  sect io n  re vea ls  the  no ta ti on s  us e d  to  descr i be  the   var io us   feat ures  of   GLCM  a nd   e qu at io ns   ut il iz ed  fo r  te xt ur e  sta ti sti cs  in  i m ages,  as  sh own  in  Eq uations 2   –   23  [ 15]   [ 17 ]   [18]   [ 19 ]   [20]   [ 21]   [ 22 ]   [23] .     : i t rep re sents  the “e ntry in  a  norm al iz e d  GL CM ”   it  r epr e sents t he  gray  levels  num ber     for    k= 2,3,...,2 Ng   for    k= 0,1,...,N g  -   1   Me an of    Me an of p x  a nd  py r es pecti ve ly     They re present  the “sta nd a rd  dev ia ti ons  of px a nd p y” ,  r es pe ct ively ”   They re present  “the e ntr op ie s   of px a nd  py r e sp e ct ively ”         The follo wing  equ at io ns we re  u ti li zed to co m pu te  the pres ented  t wen ty - t wo textu re s ta t ist ic s:                     (2)                   (3)                   (4)   ,, th c i j i j g N 1 , g N x j c i c i j 1 , g N y i c j c i j ,: , xy i j i j k c k c i j  ,: , ij xy i j k c k c i j , c i j , xy  1 0 g N x y x y i ip i  , xy  , M H M Y 1 , l o g xy ij H X Y c i j c i c j  2 l o g x y x y ij H X Y c i c j c i c j  2 E n e r g y   =   , ij c i j  E n t r o p y   = , l o g , ij c i j c i j  D i s s i m i l a r i t y   = . c , ij i j i j  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vol .  10 , N o.   1 ,  A pr il   201 8   :   154   –   167   158                 (5)                   (6)                   (7)                   (8)                 (9)               (10)                 (11)                 (12)                     (13)                 (14)                 (15)                 (16)               (17)             (18)           (19)     Ma xim u m  Cor relat ion  C oeffi ci ent = ( sec on d l arg est  ei ge n v al ue  of  Q )0.5     (20)                   (21)                 (22)     2 C o n t r a s t   = . , ij i j c i j  c, C o r r e l a ti o n   =   xy ij i j i j xy     , H o m o g e n e i t y   = 1 ij c i j ij   A u t o c o r r e l a t i o n   = . , ij i j c i j  3 C l u s t e r   S h a d e   =   , ij i j x y c i j   4 C l u s t e r   P r o m i n e n c e   =   , ij i j x y c i j   M a x i m u m   P r o b a b i l i t y   =   m a x , , i j c i j 2 S u m   o f   S q u a r e s   =   , ij i c i j  22 0 S u m   A v e r a g e   =   G xy i i c i 2 22 0   S u m   A v e r a g e S u m   V a r i a n c e   =   xy Ng i ii c 22 0 S u m   E n t r o p y   =   l o g G x y x y i c i c i  2 0 D i f f e r e n c e   v a r i a n c e   =   x y x y i i c i  D i f f e r e n c e   E n t r o p y   =   - l o g x y x y i c i c i  1 I n f o r m a t i o n   M e a s u r e s   o f   C o r r e l a t i o n   1   =   m a x , E n t r o p y H X Y H X H Y I n f o r m a t i o n   M e a s u r e s   o f   C o r r e l a t i o n   2   =   1 - e x p 2 2 H X Y E n t r o p y    ,, W h e r e   Q ( i , j )   =   k xy c i k c j k c i c k , I n v e r s e   D i f f e r e n c e   N o r m a l i z e d   =   1 ij c i j ij   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Multi - Level   of  Feature  Extr ac ti on   and  Cl as si fi cation  f or  X - Ray   Me dical  Image  ( M. M A bdulr az z aq )   159           (23)     Me anwhil e,  on e  of   the  m os t  com m on ly   us ed  m e tho ds  for   m ulti - reso luti on   im age  descr ipti on  an d  analy sis  is  the   WT.  It  s pecific al ly   of fe rs  a n  e ff ic ie nt  set   of  t oo ls   f or  va rio us  ap plica ti on s   su c h  as   com pressi on  of   im ages  or   sign al s,  detect ion   of   obj ect s ,  i m pr ovem ent  of   im ages,  and   noise   rem ov al .  Wa velet s  ar e   functi ons ,  sat is fyi ng   a  li nea r  com bin at ion   of   var io us   c onve rsion  an d  scal ing   processe s  of  a  wa ve  f unct ion.  It   util iz es  wav el et   transf orm ,  sp eci fical ly   the  Haar   wa velet ,  to  extract  te xture  featu re.  Thi s  first  known  wav el et   is  con si der e d  as  the  sim ples t  wav el et   basi s ,  w hich  was  util iz ed  for  or thonorm al   wav el et   trans for m   wit h   com pact su pp ort  [24 ] .  Equati on  24 r e pr e sents  the  Haar f un ct ion  e quat io n us ing  a  step  fun ct ion ,         .                                                                                                                   (24)     The  Haa r  wa ve le t  wa s  app li e d  in  this  stu dy  since  it   is  the   m os t  eff ic ie nt  te chn iq ue  to  c al culat e  the   featur e  vecto r  [25] .  This  was   per f or m ed  by  app ly ing   the  Haar   wa velet   f or   f our  tim es  i n  orde r  to  div i de  the   input i m age in to  16 sub - im ag es, as  il lustrate d  in  Fig ure  2.           Fi gure  2 .   A pply ing   Haar  W a ve le t Four  Tim es       Each  im age  I  of   t he  siz e  of               was  init ia ll y  resized  int o  10 0  x  100  pix el s.   The  Haar  wa ve le t  was  su bse que ntly   app li ed   to  eac h  i m age  befor e  di vid in g  it   into  four   sub - im ages,  w her e   each   im age  has                      siz e  -   L1 0L 10, L 10H 10, H1 0L 10, a nd   H10 H10.   In  t he  s ub - im age o f  L 10L 10, low f r eq uen ci es  wer e  present in   bo t h  ho rizo ntal  directi on   a nd   ver ti cal   direct ion .  Sp eci fical ly ,  low  fr e qu e nc ie s  wer e  pr es ent  in  the  hori zon ta l   directi on  w hile  high  f reque ncies  we re  pr esent  in   the  ve rtic al   directi on.  Howe ver ,  i n  the  s ub - im a ge  of  H10L 10,  high  fr e qu e ncies  we re  pr ese nt  in   th e  horiz on ta l  di recti on  w hile  l ow  f reque ncies   we re  pr ese nt  i n  the   ver ti cal   directi on.  an d  i n  the   H10 H10  s ub - i m age,  there  a re  hi gh   fr e que ncies  in  bo t h  directi ons .  Fo l lowing   that,  the   Haa r  wav el et   was  a pp li ed   on   the  i m age  of  L 10L 10  with   the   siz e  of                      to  ob ta i n  four  ne w  sub - i m ages,  w her e   each  im age  ha s                      siz e  -   L 11L1 1,   L1 1H1 1,  H 11L 11,  a nd  H 11 H11.  Sim i la r  proces s  w as  rep eat e d  twic e   to  obta in  s ub - im age s  of                      and                     ,  res pecti ve ly ,  as  il lustra te d  in   Fig ure  2.  Additi on al ly ,  f our  feat ur es  w ere  com pu te d  f or   eac h  of  the  pr ese nted  f our  proce dures,   w hich  a re  ( 1)   e nt ropy,  (2)  e nergy,  (3)   m ean,  and  ( 4)  sta nd a r d  dev i at ion .  With  t ha t,  there  we re  64  feat ur es  c om pu te d  from   al l  su b - i m ages.  Figure   3  il lustrate s  a  sam ple  i m age  us e d  as  an  in put  for  the  Haa r   WT,   w hich  w as  ob ta ine d  f rom   the   Im ageCLEF2005 d at a base.         Figure  3 .   Im age sam ple f ro m  I m ageCLEF2005   2 , I n v e r s e   D if f e r e n c e   M o m e n t  N o r m a l iz e d   =   1 ij c i j ij   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vol .  10 , N o.   1 ,  A pr il   201 8   :   154   –   167   160   The  obta ine d  su b - im ages  after  app ly in g  the  seco nd ,  third,  and   f ourt h  Ha ar  wav el et   are  dep ic te d  i n  Figure  4,   base d  on  the  a f or e m entioned.   H a ar  wa velet   wa s  ap plied  f our   tim es  in  or de r  to  div ide  t he   input  i m age  into  16  su b - im ages  to  get  the   m os t  inf or m at ion   a bout   the  im age,  ap plyi ng  Haa r   wa velet   f or  th e  fiv e  tim e g et s the sub i m ages L1 3L 13 e qu al  t o  z ero, the refor e   was  a ppli ed onl y four  ti m es.           Figure  4 .   The   ob ta ine d su b - i m ages af te r  apply ing  t he  sec ond, thi rd, a nd fourth  H aa r wa velet       3.3   Sh ap e  Fe at u re   The  s ha pe  featur e   offe r s  ge om et rical   info r m at ion   co ncernin g  a n  im age  obj ect ,  w hich   do e s  no t  vary   with  the  va riat ion s  in  th e  or ie ntati on ,  scal e,  and   locat io n.   F or   this  pro cess,   the  sh ape  in form ation   of   a n  im age   was  ex plored  base d  on  ed ge s.  Th us ,  the  histogram   of   edge  te chn iq ues  a nd   S URF  te ch nique  we re  ap plied  in   this  stud y  to  e xtract  the  sha pe   featur e  of   im ages.  Histo gr a m   of   ed ge  was   util iz ed  to  expl or e  the  s hape  featu r e   for  each   im age .  I n  pa rtic ular,   bo t h  gra dient  hi stog ram   and   e dg e  ori entat ion  histo gr am   were  app li e d.   T he  firs t   e dg e   hist ogra m   te chn iq ue  was  util iz ed  to  e xtract  50  f eat ur es  from   each  im age  w hile  the  sec on d  e dg e   histo gr am  techn iq ue was  util iz ed wit h  a Ca nny fil te r  to  e xtr act  8 0 feat ur es   from  each  im a ge  [26] .    The  S URF  te chn i qu e  has  a  scal e  and   r otati on   in va riance  pr op e rty ,  wh ic h  facil it at es  obj ect   identific at ion  with  no  re gard s  to  the   im age's  resize  or  re presentat io n  of  ro ta ti on  ar ound  a  ce rtai n  a xi s  [ 27 ] .  Re al ist ic ally,  var ia nce  occ urs  becau se  no t   al l  inform at i on   c ou l d  be  c aptu red   f r om   a  sp eci fic  rec ordin g.   Invar ia nce   is  a n  esse ntial   pro per ty   of  im age  since  the  sim ilarity   m easur em ent  is  prob a bl e  based  on  the   feature   betwee n  tw o  im ages  that  can no t  be  du plica te d.   T hus,  the  S URF  te ch nique   was  ap plied  to   extract  15 0  fe at ur es   from  each  im a ge.       3.4   C omb in ati on   an d  Select io n   Com bin ed  featur e   re fer s   to   th e  com bin at ion  of  gl ob al   featu re,  l ocal  feat ure,  pi xel  featur e ,  an d  S UR F   into  one  vect or.  Figure  5   dep ic ts  the  ov erall   pr oce ss  of   feat ur e  e xtr act ion   as  well   as  co m bin at ion   a nd  sel ect ion . I n  or der   t o  e xtract p ixel  featu res,  im a ges  we re  re siz ed  to 15  x  15, which  c ontribu te d  a v ect or o f  22 5  pix el   featu res.  The  global  fea tures   re fer  to  t he  featu res  of  sh a pe  a nd  te xt ur e ,  wh ic h  were  extracte d  fro m   the   whole  i m age;  t hu s  the  resu lt a nt  ou tc om e  of   this  com bin ed  vecto r  was  28 2  featu res,   s pe ci fical ly   13 0  f eat ur es   from   the  ed ge  histo gr am ,  64  featur e s  from   t he  WT   an d  88   featu res   f ro m   the  GLCM.   Conve rsely ,  the   local   featur e s  wer e   extracte d  by  s egm enting  the   i m age  into   f our   no n - ov e rlap   patch es,  w hich  s har e d  sim ilar  282  featur e s.  T his  le d  to  1,1 28  f eat ur es,   com bin ed   in  one  loc al   featur e   vect or.  Me an w hile ,  15 0  feat ur es   were   ob ta ine d f or   t he  SU RF .       Figure  5 .   Feat ure e xtracti on, c om bin at ion  a nd selec ti on   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Multi - Level   of  Feature  Extr ac ti on   and  Cl as si fi cation  f or  X - Ray   Me dical  Image  ( M. M A bdulr az z aq )   161   As  a  res ult,  the   ov e rall   featur e   vector   dim ension al it y  fo r  eac h  im age  equ al s  to  1,785  feat ure  vecto rs.  Give n  the  s ubs ta ntial   nu m ber   of   featu re  vec tors  in volve d,   a  certai n  dim e ns io nalit y  red uc ti on   te ch niqu e  m us t   be  perform ed  to d ecrease   the f eat ur e   vect or s .  The   m os t  com m on ly   us ed  dim ension al it y  reducti on  te c hniq ue  i s   the  pri nci pal  com po ne nt  anal ysi s   (P CA )  [28] .  This  sim ple  te chn iq ue  e ff e ct ively   decr eas es  the  dim ensi on al it y   of   data.  W it h  t he  ap plica ti on   of   this  te ch nique,  the  feat ur e  vecto rs  we re  r edu ce d  f r om   1, 785  into  25,  50,  an d  100 o ne  to  stu dy  an d ch oose t he op ti m al  p recisi on   outc om e s.       3.5   Cla s sific ati on   The  cl assifi cat ion   of   im age  is   pr ese nted  as  the  m a in  aspect  of   this  pr e sent   stud y  with  res pect  to  the   obj ect ives   of  t his  stu dy.  Fou r  disti nct  feat ures  wer e   init ia ll y  extracte d  f ro m   the  in pu t   i m age,  w hich   wer e  global  feat ur e,  local  featu re,  pi xe l  featu re,  a nd  S URF.   Fo ll owin g  that,   thes e  extracte d  feat ur es   we re  c ombine d  into  one  featu r e  vector.  PCA  was  subse qu e nt ly   per form ed  t o  dec rease  the  dim ension al it y  of   featu re  vec tors.   The  de velo pe d  i m age  cl assifi cat ion   syst em   fr om   this  stud y  was  e va luate d  u si ng   the  Im ageCLEF2 005  database  [29] .  This  data base  was  segm ented   into  trai ning  s et   and   te sti ng   s et .  The  trai ning  set   was  cat eg or iz e d  into  57 kn own cl asses,  wh ic h were  pre - def i ne d.       4.   EVAL UA TI O N   A  series  of   e xperim ents  was  cond ucted  to  e valuate  the  pe r form a nce  of   the  pr op os e d  m e thod  in  this   stud y.  I n  pa rtic ular,   this  is  to  validat e  the  propose d  m e tho d  and   it s  sign ifi cance  for  X - ra y  m edical  i m a ge.   Th e   i m ple m entat io n  of  the  pro po sed  m et ho d  in cl ud e d  featu re  extracti on,  feat ur e   com bin at io n  a nd  re duct io n,   a nd  X - r ay   m edical   i m age  cl assifi c at ion   us i ng   S MV  and   k - N N   cl assifi ers,   w hi ch  wer e  e valu at ed  to  determ i ne  it s  perform ance  ba sed  on  the   res ults  of  acc ur ac y  rate. A s  a res ult,  f our  e xperi m ents  wer e   co nducted .  T he  s pecifi c   m et ho ds   a nd   s et ti ng s  of   thes e  exp e rim ents  ar e  desc ribe d  and   ob ta ine d  re su lt s  in  this  stud y  are  pr ese nt ed  an d  discusse d i n  t he  foll ow i ng sub - sect io ns.   Essentia ll y,  th e  Im ageCLEF200 5  database   was  util iz ed  in   this  stu dy  [29 ] ,  wh ic h  c onta ined  10, 000  X - ray  i m ages,  div ide d  int o  9, 000  trai ni ng  im ages  and   1 , 000  te sti ng  im a ges.   T hese  im a ges  we re  in  gray   scal e  with  dif fer e nt  reso l utions,  w hich  wer e  ob ta ined  us in g  dif f eren t  im aging   te chn iq ues .  Th ere  we re  57  cl asses ,   con ta ini ng   dif fer e nt  nu m ber  of   sam ple  i m ages.  Durin g  the  evaluati on   sta ge ,  the   trai nin g  da ta set   was  rand om l y  par ti ti on ed   into   tw o  set s.  The   fir st  dataset   was   div ide d  i nto   80%  of   t rainin g  i m ages  an d  20%  of  te sti ng   im ages  wh il e  the   sec ond  dataset   was   div i ded  into   90%  of  trai ni ng  i m ages  an d  10%  of  te sti ng  i m ages.  This  ens ur e d  that  each  cl ass  con ta ine d  t rain ing   im ages  and   corres pondin g  te st  i m ages.  The  first  datas et   was  sel ect ed  to  c om par e  with  th e  obta ined   res ults  from   pr e vi ou s  relat ed  st ud ie s  w hile  th e  seco nd  datas et   was   sel ect ed  in  that  sp eci fic  rati o  t hat  it   was  si m i la r  to  the  Im ageCLEF2 005  da ta base,  w he re  it   con ta ine d  sim il ar  per ce ntages   of  bo t h  trai ning  s et   (90% )  an d  t est ing   set   (10 %).   T he  num ber   of  trai ning  i m ages  an d  te st   i m ages  for  eac h  cl ass  in  these  t wo  dat aset s  was  ta ble d  in  Ta ble  3  ( 80:2 0)   a nd  Ta ble  4  ( 90:1 0)   (m entione d  i n  col um ns  with  fine da s he d  sty le ).   It s hould   be n oted  t ha t t he  se qu e nce  r efe rs  t o  the  cl ass num ber .       Table  3 .   N um ber   of  im ages, 8 0%  trai ning a nd  20% test ing   Clas s   No .  Of   I m ag es   80%   20%   Clas s   No .  Of   I m ag es   80%   20%   Clas s   No .  Of   I m ag es   80%   20%   1   336   269   67   20   31   25   6   39   38   38   8   2   32   26   6   21   194   155   39   40   51   41   10   3   215   172   43   22   48   38   10   41   65   52   13   4   102   82   20   23   79   63   16   42   74   59   15   5   225   180   45   24   17   14   3   43   98   78   20   6   576   461   115   25   284   230   57   44   193   154   39   7   77   62   15   26   170   136   34   45   35   28   7   8   48   38   10   27   109   87   22   46   30   24   6   9   69   55   14   28   228   182   46   47   147   118   29   10   32   26   6   29   86   69   17   48   79   63   16   11   108   86   22   30   59   47   12   49   78   62   16   12   2563   2050   513   31   60   48   12   50   91   73   18   13   93   74   19   32   78   62   16   51   9   7   2   14   152   122   30   33   62   50   12   52   9   7   2   15   15   12   3   34   880   70 4   176   53   15   12   3   16   23   18   5   35   18   14   4   54   46   37   9   17   217   174   43   36   94   75   19   55   10   8   2   18   205   164   41   37   22   18   4   56   15   12   3   19   137   110   27   38   116   93   23   57   57   46   11           Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vol .  10 , N o.   1 ,  A pr il   201 8   :   154   –   167   162   Table  4 .   N um ber   of  im ages, 9 0%  trai ning a nd  10% test ing   Clas s   No .  Of   I m ag es   90%   10%   Cl ass   No .  Of   I m ag es   90%   10%   Clas s   No .  Of   I m ag es   90%   10%   1   336   302   34   20   31   28   3   39   38   34   4   2   32   29   3   21   194   175   19   40   51   46   5   3   215   193   22   22   48   43   5   41   65   58   7   4   102   92   10   23   79   71   8   42   74   67   7   5   225   202   23   24   17   15   2   43   98   88   10   6   576   518   58   25   284   2 56   28   44   193   174   19   7   77   69   8   26   170   153   17   45   35   31   4   8   48   43   5   27   109   98   11   46   30   27   3   9   69   62   7   28   228   205   23   47   147   132   15   10   32   29   3   29   86   77   9   48   79   71   8   11   108   97   11   30   59   53   6   49   78   70   8   12   2563   2307   256   31   60   54   6   50   91   82   9   13   93   84   9   32   7 8   70   8   51   9   8   1   14   152   137   15   33   62   56   6   52   9   8   1   15   15   13   2   34   880   792   88   53   15   13   2   16   23   21   2   35   18   16   2   54   46   41   5   17   217   195   22   36   94   85   9   55   10   9   1   18   205   184   21   37   22   20   2   56   15   13   2   19   137   123   14   38   116   104   12   57   57   51   6       4.1   E xp eri me nt   1  -   Fe ature  Redu c tio n   This  e xperim e nt  was  c onduc te d  to   eval uate   an d  i nv e sti gate  the  per f or m ance  of   the  ou r   pr op os e d  syst e m   after  red uci ng   t he  nu m ber   of   feat ures  us in g  PC A,   wh ic h  wa s  ess entia l  to  deter m ine  the  accur acy   rate   of   t he  syst em .   Feat ure  vect ors  wer e   re du c ed  f r om   1, 785  featu res  int o  25  feat ur es ,  50  feat ur e s,  a nd  10 0  featur e s,  wh ic h  w as  te rm ed  as  PC1,  PC2   a nd  PC3 ,  re sp e ct ively .  The  re su lt s  of  acc ur a cy   rate  with  optim al  featur e   re duct ion  we re  obta ined   with   a nd  without  a   thre sh ol d  for  both   dataset s  c onta ining  s pecific  rati o  of   trai ning set a nd test in g  set   (80:2 0; 90:1 0) a nd  wer e  subse quently  co m pared am on g t hes e obtai ned va lu es.   The  PC A  is  c onside red  com petent  an d  ef fec ti ve  in  re duci ng  the   dim ension al it y  of   data.  Both  S V M   (w it h  RB F  kernel)  a nd  k - N N  (w it h  k  =  1)  w ere  em plo ye d  f or  each   e valuat ion   sta ge  i n  t his  ex per im ent.  Table   5  re veals  th e  ob ta ine d  res ults  us i ng   k - N N  cl assifi er  w hile  Table  6  re ve al s  the  obta ine d  re su lt s  us in g  SV M   cl assifi er.  C onseq uen tl y,  PC 2  ( 50  feat ur es )  a chieve d  t he  highest  acc ur acy   r at e.  Spec ific al ly ,  PC2   obta ine d  th e   highest  per ce ntages, wit h an d wit hout the  th r esh old   us in g b oth  classi fiers.   Ba sed on t his e xp e rim ent, P C2  was   consi der e d  f or   the  su bse que nt  experim ent s.  It  shou l d  be   no te d  that  unde niably,  it   is  essenti al   t o  ha ve   su f fici en t nu m ber  of f eat ur e s f or d isc rim inatio n  a nd f or h ig h  acc ur acy  r at e .  Ha ving f e w  f eat ur es  m igh t  l ead  to   low  accu racy  rate  an d  ina de qu at e   num ber   of  feat ur es   s ubse qu e ntly   affe ct s  the  discri m inati on   am on g  the   featur e s  of  ot he r  im ages.  Ne ve rtheless,   hi gh  accurac y  rate  i s  not  warrante d  with  high  nu m ber   of  feat ures  due  to  the  high  oc currence   of  c om m on   featu res ,  w hich  a ff ect s  the  disc rim i nation  am on g  the  featu res  of  oth e r  i m ages  as  well .  Con se quentl y,  PC2  wa s  pr ov e n  to  ac hiev e  the  highest  accuracy  rate ,  rather   t han   PC 1  ( 25  featur e s)  a nd P C3 (1 00 f eat ures).       Table  5 .   Acc uracy  r esults  for PC A by u sin g k - NN     80% - 20%   W ith  thresh o ld   80% - 20%   W ith o u t thresh o ld   90% - 10%   W ith  thresh o ld   90% - 10%   W ith o u t thresh o ld   PCA 1   6 0 .95 2   8 5 .90 1   8 4 .85 3   9 1 .62 0   PCA 2   6 1 .11 8   8 7 .01 1   8 7 .88 1   92 .13 8   PCA 3   6 0 .78 8   8 6 .50 3   8 6 .03 6   9 1 .73 1       Ta bl e  6 .   Ac cur a c y   re sul ts  for  PC A b y   using SVM     80% - 20%   W ith  thresh o ld   80% - 20%   W ith o u t thresh o ld   90% - 10%   W ith  thresh o ld   90% - 10%   W ith o u t thresh o ld   PCA 1   9 0 .04 7   9 1 .81 0   8 9 .89 9   9 4 .20 1   PCA 2   9 0 .45 0   99 .20 2   9 1 .92 4   9 5 .3 68   PCA 3   9 0 .29 0   99 .06 6   9 0 .76 1   9 5 .12 2       4.2   E xp eri me nt   2  -   Fe ature  Co m bina tio n    This  ex pe rim e nt  aim ed  to  inve sti gate  the  perform ance  of   a  sing le   feat ur e  e xtracti on  f ro m   each  of  the   four   featu res  ( global  featu re,   local   featur e ,   pix el   featu re,   and   S URF )  a n d  t he  com bina ti on   of  these   four  featur e   e xtract ion s .  T he  res ul ta nt  outc om e  of  this  e xperi m ent  was   cr uc ia l  in  te rm s  of  accu racy  ra te   an d   ind e xing.  T hes e  resu lt s  wer e  com par ed  with   tho se  of  relat e d  pre vious  stu dies  in  te rm   of  featu re  set s.  Most  of   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Multi - Level   of  Feature  Extr ac ti on   and  Cl as si fi cation  f or  X - Ray   Me dical  Image  ( M. M A bdulr az z aq )   163   the  m edica l  c on te nt - based   i m age  retrieval   syst e m s  utiliz e  global  featu res.   T he  m ai n   adv a ntage  of  global   featur e s  is  the  com pu ta ti on   s peed   w her e  th e  featur e  e xtra ct ion   an d  m at c hing  sim il arit y  are  com pu ta ti on al ly   faster.  H oweve r,   they   m ay   fai l  to  identify   per ti nen t  vi s ual  char act erist ic s.  The  cl assifi cat ion   process  of  global   featur e s  incl udes  tw o  ph a ses ,  w hich   are   tr ai nin g  a nd  te s ti ng .  I n  the   tr ai nin g  ph ase   of  this  st ud y,   global  featur e s  we re   extracte d  fro m   al l  trai nin g  i m ages  and   t he  cl assifi er  was  s ub se que ntly   trai ne d  on  these  extracte d  featu res  to  create   a  m od el .  In   ord e r  to  cl assify   th e  te st  i m ages,  featur e s  we re  init ia ll y  extract ed  in   the sam e w ay  as in  t he  trai ning  ph a se. T he  m od el   was  the n uti li zed to  clas sify t est  i m ages.   Howe ver,  loca l  featur es  a re  i nh e re ntly   r obust   against  tra nsl at ion .  I n  this  exp e rim ent,  local   featur es   wer e  e xtracted   fr om   fo ur  s quare  i m ages,  w hich  w ere  ta ke n  from   or igina l  on es  afte r  di vid in g  the  im a ge  int o  four   blo c ks .  Si m il ar  cl assifi c at ion   proces s  that  was  ap plied  f or   gl ob al   fe at ur es  wa s  sub seq uen tl y  app l ie d  for   local   featur e s,  excep t  that  loc al   featur es  were  extracte d  fro m   each  su b - im age.   T he  pi xel  value  c om par ison   is   al so   an  e ff ect i ve  ap proac h  to   seek  sim i la r  im ages  in  the  da ta base.  F or   m os t  ap plica ti ons,  this  ap proac h  is  not  feasible  beca u se  the  diff e rence   between   th e  pix el s  of   on e  i m age  to  an oth e r  is  no t  ev ident.  H oweve r,   it   is  feasible f or  the  p ixel value c om par ison  to  id entify  o nly o ne  sp eci fic obj ect  o f  eq ual size  an d  locat e d  at  sim il ar   po sit io n  (sim ilar  row  an d  col um n  of   an  im a ge  m a tri x)   bet ween   im ages  with  sm all  reso luti ons.  F or   t his  stud y,  Ex per im ent 2  a lso  util iz ed  pixe l i nfor m at ion .   The  S URF,  a  de scripto r  feat ure,  is  al so   a  scale  and   r otati on   i nv a riant  detect or.  The  scal e  and  r otati on   inv a riance  denotes  that  an  obj ect   co uld   be  ident ifie d  eve n  wh e n  it   is  scal ed  in  siz e  or  r ot at ed.   The  S U RF  was   app li ed  i n  this  exp e rim ent  as  well ,  but  it   was  no t  util iz ed  a s  on e  of   the  l oc al   featur es  giv en  t hat  the  ex tract ion  of   t hese  featu r es  is  a  ti m e - con su m ing   proce ss.  I n  t he  trai ni ng   phase,  al l  i m age s  wer e   r esi zed  to  100  x  100  pix el s,  w her e  the  res ultant  l arg e  featu re  ve ct or   c on ta i nin g  1,7 85  feat ures  was  re duc ed  to  25  f eat ures,  50  featur e s,  a nd   100  featu res  us i ng   PCA .  Re ferrin g  to  the  obta ined  resu lt   of  Ex per im ent  1,  PC2  ( 50  feat ures)   was  c onside red f or   Ex per im ent 2 .   Fo r  t he  ge ner a ti on   of  m od el ,  bo t h  SV M  cl as sifie r  an d  k - N N  cl assifi er  we re  com par ed .  The  S VM  i s   widely   use d  f or  sta ti sti cal   lear ni ng  an d  cl a ssific at ion .   P rim aril y,  the  S VM  deals  wit h  bin a ry  cl assifi cat io n  issues.  The re  are  prese ntly   two  m ul ti ple  cl assifi cat ion   appr oach es   in   us e,   s pecific al ly   on e - a gain st - one   appr oach   a nd   on e - a gainst - al l   appro ac h.   T he   on e - agai ns t - al l  app r oach   was  sp eci fical ly   con side red   f or   this  exp e rim ent  becau se  it   is  c om pu ta ti on al ly   faster  t han  the   oth e r  a ppr oac h.   Acc ordin g ly ,  the  RB F   kernel  wa s   app li ed  with  g  =  0.062 5,   a nd   a  trade - off  between   t he  trai ni ng   e rror   a nd  m arg i n,   c  =  8.  It  sh oul d  be  no te d  that   these  values   w ere  ob ta ine d  f r om   an  em pirical   stud y.   T he  s econd   m os t  widely   us e d  cl as sific at ion   m et ho d  is   the  k - N N  ( k  =  1),   w hich  was  us e d  f or   furthe r  com par iso ns   (d et ai ls  on  the  par am et ers  of   SV M  a nd   k - N N  a r e   furthe r  disc us s ed  f or   E xp e ri m ent  4) .  Re sul ts  wer e  cal cu la te d  after  pe r form ing   random   sa m pling   on  the  dataset  for 1 0  t i m es in o r de r  t o pro du ce  r el ia ble r es ults.   The  re su l ts  s hown   i n  Table  7  and   Table  8  re fer   to  t he  co rr e ct ness  rate  of   di ff ere nt  feat ur e   set s  us in g  bo t h  SV M  cl a ssifie r  an d  k - NN   cl assifi er ,  resp ect ively .  It   cou ld  be  obse rv e d  in  Table  8  that  in  the  X MIAR  prototype ,  the  com bin ed  f eat ur es   of  al l  f our   featu res  us i ng   the  S VM  cl as sifie r  achie ve d  the  hi ghest   ac cur acy   rate  (95.3 68%)   by  ap plyi ng   th e  second  set   of   evaluati on  ( 90 %  of   trai ning  im ages  an d  10 %  of   te sti ng  im ages)  without  a   thre sh ol d.  The   c om bin ed  featu r es  of  al l  fe at ures  c on ta i ned  pix el   i nfor m ation ,   gl obal   fe at ur es   (f eat ures  of   s ha pe  an d  te xt ure),  local   feat ures  ( featur e s  of  sh a pe  an d  te xture),  a nd  S URF.  T her e f ore,  the  app li cat io n  of   the  SV M  usi ng   c om bin ed  featur e s  outpe rfor m ed  the  ot her   a pp li cat io ns   us i ng  each   of   the   featur e  set s  se par at el y  as  fo l lows :  ( 1)   gl ob al   featur e  set ,  (2)  local   featu re  set ,  (3)  pi xe l  value  set ,  and   (4)   SU RF   set .  T he   com par iso n  of   these   disti nct  featur e s  al s o  re vealed   that  t he   us e   of  pixe l  fe at ur es   outpe rfo rm ed   the  us es  of   bo th  global  feat ures  an d  local   f eat ur es  f or  al l  evaluati on  set s   wh il e  the  loc al   featur es  pro vid e d  resu lt s  of h i gher acc ur acy   rate t han the  gl obal  f eat ures f or  al l evaluati on s et s.       Table  7 .   Acc uracy  r esults  of e xtracted  f eat ures b y  us in g k - NN     80% - 20%   with  thresh o ld   80% - 20%   with o u t thresh o ld   90% - 10%   with  thresh o ld   90% - 10%   with o u t thresh o ld   SURF   5 4 .27 6   8 4 .53 2   8 0 .65 2   8 6 .82 3   Glo b al   6 1 .11 1   8 2 .75 1   8 6 .31 7   8 8 .31 3   Local   6 1 .56 4   8 5 .59 0   8 7 .59 3   8 8 .86 8   Pix el   6 3 .88 7   8 7 .59 6   8 6 .67 9   9 1 .29 3   All f eatu res   6 9 .38 1   8 9 .32 7   8 7 .88 5   9 2 .71 2                 Evaluation Warning : The document was created with Spire.PDF for Python.