Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er   En gin eeri ng   (IJ E C E)   Vo l.   9 , No .   5 ,  Octo ber   201 9 , pp.  3584 ~3 590   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v9 i 5 . pp3584 - 35 90          3584       Journ al h om e page :  http: // ia es core .c om/ journa ls /i ndex. ph p/IJECE   Perform ance ev alu atio n  of di fferen t classifi ca ti on techni qu es  usin g different d atasets       Ab d ulka dir Ö z demi r, U ğur  Yavu z , F ares  Ab d ulha fidh Dael   Depa rtment  o f M ana gement Inf orm at ion  S y s te m s,  Atat urk   Unive rsit y ,   Turkey       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   N ov   27 , 201 8   Re vised  A pr   5 ,  201 9   Accepte d  Apr   14 , 201 9       Now aday s  data  m ini ng  bec om e  one  of  the   techn ologi es  that  paly  m aj or  eff ec t   on  business  int ellige n ce .   How ev e r,   to  be  ab le   to  u se  the   data  m ining  outc om e  the   user  should  go  through  m an y   proc esses   such  as  cl assifie d  da ta.   Cla ss ifi c at ion   o f  data  is  pro ces sing  dat a   and   orga ni ze   the m   in  spe ci fi c   ca t egor ize  to   be   use  in  m ost  eff ec t ive   and  eff ic i ent   use .   In  d at a   m ini ng  on e  te chn ique   is  not  appl i ca bl e  to  be  appl i ed  to  al l  th e  dat ase ts.  Man y  dat a  users   wasting   a  lot   of   ti m e  tr y ing  m a n y   class ifi c at ion   te chni qu es  in  orde r  to  find   the   m ost  an   ap propria t e  t ec hn i que  to   be   used .   Th is  pap er  sh owing  the  diffe ren ce  resul t  of  apply ing   diffe re n t  t ec hn i ques  on  th e  s ame  data.   Thi s  pape r  ev aluate s  the   per for m anc e  of  diffe r ent   class ifi catio n  te chni qu es  using  diffe r ent   d at ase ts.  In  thi s  st ud y   four   data  class ifi cation  te ch nique s  hav e   chose n.   They   ar e  as  foll ow,  Ba y esNet ,   Naiv eBay es,   Multi lay e r   per ce ptron   and  J48.  The   sel ec t ed  data  class ifi cation  techniqu es  per form anc e  t este d  unde r   two  par amete rs,   the   ti m e  ta k en   to  buil d  the   m odel   of  the   da tas et   and  th e   per ce n ta g e  of  a cc ura c y   to   c la ss if y   th e  da ta set   i n  the  cor re ct  class ifi cation .   The   exp eri m ent s   are   c arr ie d  ou t  using  W eka   3. 8  software .   Th e  re sults  in  the   pape r  demons trate  that  the   eff ici ency   of  Multi lay er  Per ce p tron  cl assifi er  in   over all  the   b est  ac cur acy   per form anc e  to   cl assif y   the  insta nce s ,   and  Naiv eBay e s  cl assifi ers  were   the   wors t   outc om e  of   ac cur acy   t o   cl assif y ing   the i nstanc e   for ea ch dat ase t.   Ke yw or d s :   Ba ye sNet   Cl assifi cat ion   Data m ining   J4 8   Mult il ay er p er ceptr on   NaiveBay es    Wek a     Copyright   ©   201 9   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Fares A bdulh a fid h Dael ,    Dep a rtm ent o f M anag em ent Inf or m at ion  Sys tem s,   Atat urk U niv er sit y,   Ün i ver sit e Ma halle si, A ta tü r k Ün i ver sit esi   Kam pü sü,  25030, E rzur um , Tu r key .   Em a il :  far esal ariqi@ gm ai l.com       1.   INTROD U CTION     Data  m ining   is  way  of   extr act   us efu l  kn owle dge  out  of  huge  volum e   of   data.  T he  disco ver i ng   knowle dge  co m e  through  m any  m ining   to   be  us e f ul  kn ow le dg e .  T o  c o nve rt  the  ra w  data  to  knowle dge   the  data  sho uld   be  inte gr at e d,  cl eaned,  cl assifi ed  or  cl us te r ed  an d  so   on.  To  util iz e  the  process  o f  e xtr act ing  data  m ining ,  m any  te chn iq ue s  an d  sta nd a r ds   s houl d  be  use d.   O ne  of   t he   process   of  da ta   m ining   is  how  t o  cl assify   the  da ta   and  orga niz e  them   in  the  correct   cat eg ori es  [1 ,  2].  Eve ry  data  has  it s   own  c ha racter ist ic s,   so m e  of   them   no m inal  data  and   oth e r  are  num erical   data  and   s o  f or t h.   Accor ding  to  the  data  cha rac te risti cs   the  data  sho uld  be  cl assifi ed .  Howe ver,  it   is  no t  r eseal able  to  be  c hec k  the  data  co ntain  li ne  by  li ne  to  cl assify   the  data.  I n  da ta   m ining   the r e  are  sever al   te chn i qu e s  to  be   us ed   to  cl as sify  the  data.  Howe ver   not  al l  the   te chn iq ues  ca n  cl assify   cor rec tl y  the  data  give   the  sam e  res ult  or   ou tc om e  of   the  data.  E ve ry  te chn i qu e  has  it s   own  m od el  a nd alg ori thm  an d  the  w ay   of  how  to  cl assi fy the  data [ 3 - 6] .   To  fin d  ou t  the  dif fer e nces   of   the  cl assif ic at ion   te chn i ques  an d  the  r easo ns   of  the   diff e ren ce s,   four   cl assifi ca ti on   te ch nique s  hav e  sel ect ed.   T hey  are   as  fo ll ow  Ba ye sNet,  Naiv eB ay es,  Mult i la ye r   per ce ptr on   a nd  J48.  T o  te st  the  diff e re nc es  of   the  four  sel ect ed  cl assifi cat ion   te ch ni qu es ,   three  diff e ren t   dataset s  hav e   colle ct ed,   C on gr essi onal   voti ng  rec ords ,  Ca r  e valuati on  a nd  C on t raceptiv e  m et ho d  c ho i ce.  T o  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       Perf orma nce e valu ation of  d if fe rent classif ic ation t ech niqu es  …  ( Fares  A bdulhafi dh  Dael )   3585   m easur e  the  ef fecti ven es s  of   t he  te chn i qu e s  two  par am et ers  hav e  te ste d,   th e  tim e  ta kin g  of  each  te chn i que  to   bu il d  the  m odel   fo r  the  sel ect ed  dataset ,   and   the  accu racy  of   cl assify ing   the  data  by  each  te chn iq ue .   Wek a  s of twa re  h as  selec te d  as  p la tf or m  o f  a pply ing  t he  cl as sific at ion  tec hniqu es  and t he d at aset s.   The  pap e r’s  fl ow   is  orga nize d  as  fo ll ows.  Sect ion   I  as  in tro du ct io n  of   t he  pa pe r.   Se ct ion   II  co vers   li te ratur e  re vi ew  of   data  m ining  an d  cl as sific at ion   te c hniq ues.   As   w el l  about  the  Wek a   s of twa r e  an d  m et ho dolo gy.  I n  the  sect io n  I I I  Re su lt s  an d  Discussi on  we re  il lustrate d.   I n  the  la st  sect ion   IV   C oncl us i on   a nd   su m m ariz ing   t he  c om par at ive r es ults.       2.   BACKG ROU ND    2.1 .    Data   mi nin g   Data  m ining   is  a  pr oce ssin g  of   the  ra w  da ta   to  get  of   the  us e f ul  inf or m at ion ,  or  to  disc ove r   the  kn ow le dg e   from   huge  da ta bases.   The  ou t pu t  of  the  data  m ining   is   the  patte rn   w hich  is  t o  ide ntif y   po te ntial ly   us efu l,   valid ,  ulti m at ely  under st and a ble  a nd  no vel  patte r n  i n  t he  m ining   data .  Mostl y  data  m ining  app ly in g  in  business ,  s o  th e  com pan ie s  can  m ake  eff ec ti ve  m ark et ing  strat egies  by   knowin g  w ha t  their   custom ers  wa nt   to  bu y.  Data  m ining   outc om e  dep en ds   on  the  way  of  c ollec ti ng   data  and   how  t he  da ta   are   processe d [1,   3 , 7 ] .     2.2 .    Data  w are ho u sing   Data  W are ho usi ng   is  a  cente r   of   m any  data  colle ct ion   f rom   m any  places .  The  c om pan ie s  or   sect or s   colle ct   their  da ta   from   diff ere nt  places  a nd  br a nc hes  in   on e  place  cal le d  data  wa reho us i ng.  T he  data  in  data  war e hous i ng   a re  integ rated  f ro m   al l  places ,  cl eaned   from   m issi ng   data  and   noise   data .  The  data  in  data   war e hous i ng ar e o r ga nized  a nd  pr e par e d for  fu t ur e  us e  or in  d em and  fr om  t he users . T he d at a w are hous e   us e d  to s upport  the   decisi on  of  m anag em ent m aki ng pr ocess [1].     2.3 .     Clas sific at i on   Cl assifi cat ion   in  data  m ining   are  so m e  te chn iqu es  us e  to  predict ,  cl assify   and   orga nized  the  data  in  their  s uitable   cat egories  [ 8 ] .   Each   cl ass  ha s  it s  ow n  r ul es  an d  al go rithm s.  So m e  of   th e   cl assifi c at ion  te chn iq ues   are   f ollow  decisi on  tree   r ules  s uch  as   J48,   s om e  oth er   cl ass es  are   f ollo wing  Ba ye sia n  N et wor k  su c h  as  Ba ye sNet  an d  Nai ve Ba ye s,  and   ot her   are  f ollo wing  A rtific ia l  intel li gen ce  a nd   Ne ur al   Net work.  Cl assifi cat ion   te chn iq ues  have  di ff e ren t  ap pl ic at ion s  and   wh ic h  dataset   sh o ul d  be  ap pl ie d  on.  I n  ad di ti on ,   al l  cl assifi cat io n  te ch niques  will   no t  be  abl e  to  predict   co rr ect ly   the  cl assifi cat ion   of   da ta   com par e  to  othe r   cl assifi cat ion   t echn i qu e s.  T o  fin d  ou t  t he  be st  cl assifi cat ion   te ch niq ues   f or  the  te sti ng  da ta ,  the  data  s houl d  be  a com patible  wi th the s el ect ed  classi ficat ion  t echn i qu e  rules,  algorit hm s etc [ 9 ].       2.4 .     J48   J4 8  cl assifi er  i s  an  op ti m iz e  ver si on   of  C4 . 5.   T he  J 48  is  base d  on  Deci sion   tr ee.  J 48  is  on e  of   the  data  cl assifi cat ion   te chn i ques  us e d  in  da ta   processin g  a nd   data  m ining.  The  J48  r ules   and   al gorithm s  are  us in g  decisi on  tree  te ch niques   w hich   co ntain s  of  m ai n  le af  and  bra nch e s.  Each  of  the   br anch  or  le a f  c onta in     a  decisi on  that l ead  to  di ff e rent   ou tc om e.  Som e  of   the d at aset s  hav e v ery b ig  tree  m od el   wh ic h  co ntains   m any  le afs  le ads  to   diff e ren t  resul t  co m par in g  to  fe w  le afs  of  decisi on  tree   wh e n  ap plyi ng  J48  cl assifi c at ion  te chn iq ue [ 10, 11 ].     2.5 .    Multila yer  pe rceptr on   Mult il ay er  Per ceptr on  cl assif ie r  is  based  on  Ar ti fici al   in te ll igence  an d  Ne ur al   Netw ork  with ou t   qu al ific at io n.   A  Mult i - Lay e r  Perce ptr on  ( MLP)  ha s  as   m ini m u m   as   th ree  la ye rs.  On e  la ye r  as   input,   the  seco nd  as  hidden   la ye r  a nd  the  la st  as  t he  ou t pu t  la ye r .  MLP  is  a  fee dforwa rd   ne ural   netw ork,   t he   hidde n  la ye r  can  be  on e  la ye r  or   m or e.  In   MLP  eac h  node  in  eac h  la ye r  are  co nn e ct ed  to  al l  la ye r’ s  nodes.   M ulti la ye r   per ce ptr on  is  on e   of  t he  dat a  cl assifi cat ion   te c hn i qu es   us e d  in   ne ural   netw ork ,  dee p  le ar ning  an d  oth e r   app li cat io ns   of d at a  processi ng  [ 12 ].     2 .6 .     Bay es Ne t   Ba ye sNet  cl assifi er  one  of   t he  cl assifi ers  in  W e ka  softw are.  The  Ba ye sNet  is  based   on   Ba ye sia n  Netw ork  w hich  is  based   on  Ba ye s  theor em .  The  Ba ye sia n  netw ork  is  m os tly  wo rk i ng  w hen   the re  m igh t  be    a p r ob a bili ty  o f  uncertai nty,  or com plexity  a n d (eve n  m or e i m po rtantl y) ca us al it y si tuati on .   Ba ye sia n ne twork   consi st  of   two  par ts:   A  set   of   co ndit ion al   pr oba bili ty   d ist ribu ti ons  an d  a  directed  a cy cl ic   gr aph   DAG .   Ba ye sia n  netw orks,   eac h  node   represe nts  a  Var ia ble.  A  va riable  m igh t  be  discrete  or  m igh t   be  co ntinuo us.   Ba ye sNet  cl assifi er  one  of   the  data  cl assifi cat ion   te chni qu es  a pp li ed   in  m any  areas  of   pro ba bili ty   or  un ce rtai nty co nd it io ns   [ 13 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  9 , N o.   5 ,  Oct ober  20 19  :   3 5 8 4   -   3 5 9 0   3586   2.7 .     Na i veBa yes   NaiveBay es  cl assifi ers  is  a   c ollec ti on   of  al gorithm s  that  sh are   com m on  pri nciples   bas ed  on  B ay es   The or em .  In   NaïveBay es  cl assifi ers  each   pair  of   featu res  cl assifi ed  is  ind epe ndent   fr om   oth er  pairs .   NaïveBay es  cl assifi ers  is   one   of  the   data  cl assifi cat ion   te c hn i qu e s  us ed   i n  Weka  s of t w are  or  can   be   us e d  in   oth e r  area s  of   processi ng d at a u si ng d if fe re nt s of twa re  [1 4,  1 5 ].     2.8 .     Data  mi nin g  p rocess   The  data m ining  pro ce ss brea ks  in  m any sta ges.  T he  fir st st age it’s call ed  the integ rati on   sta ge  w hic h  is  colle ct   the  data  from   m an y  so urces  as  r aw  data  with  diff e re nt  form at .  The  sec ond  sta ge  it ’s  cal le d  data   cl eaning   i n  thi s  sta ge  after  r ecei vin g  t he  da ta   fr om   the  first  sta ge  so m e  of   the  data  are  incom patible   or   inco ns ist ency  and   oth e r  data   are  m issi ng   va lue  and   oth e r   data  are  il log ic al   entered .  S o,  it   the  data  clean in g  sta ge  will   cl ean  al l  these  data.  Th e  thir d  sta ge   of   data  m ining   it   is  to  colle ct   the  cl eaning  d at a  in  one  pla ce  cal l   Data  War e housi ng.  I n  the  da ta   war e housi ng  m os tl y,  the  data  rea dy  t o  be  us e d  a nd  a naly zed.   H owe ver,  the   a m ou nt  of  t he data  in data  w a reho us in g  is h uge size  of  data to d eal   wit h  it  an d  a naly ze th e w hole  dat a at on ce ,   for  this  reas on  nex t  sta ge  is  presente d.   The  f ourth  sta ge  is  t he  sel ect io n  st age,  w hich  is  t o  sel ect   the  rel evan t  data  f ro m   data  war e hous i ng  that  will   work  on  it .  T he  la st  sta ge  of  data  m ining   is  a pply ing   the   al gori thm s  an d  te chn iq ues  of  data  m ining   to   get  the  patte r n,   th at   the  us e r  lo ok i ng   f or .   The  ou tc om e  of   t he  a pp ly in g  data  m ining  tec hn i ques  will  b e  represente d  as  gra ph or ta ble or  ot her   form at  o f ou t pu t  re pr ese ntati on   [ 1 ,  1 6 ].       3.   RELATE D  W ORKS    Ther e  a re  va riou s  relat ive  stud ie s  of   the  di ff ere nt  cl assif ic at ion   te chn i ques,  ye t  it   has  no t  bee n  disco ver e d  t ha t  on e   sin gle  m et ho d  is  sup erior  com par e d  to   ot her s .  I ssu es  li ke   acc ur acy ,  t rainin g  tim e,   scal abili ty   and   m any  oth ers  c on t rib ute  to  ch oo si ng  the  best  te chn iq ue  t o   c la ssify  data  f or  m ining .  T he  s earc h  for  best  te ch ni qu e  for  cl assifi cat ion   rem ai ns   a  researc h  sub je ct .  Cl assifi cation   is  a  data  m ining   te c hn i que  us ed   to  predict   group  m e m ber sh ip   for  data  insta nces.  The re  ar e  nu m erous  tr aditi on al   cl assi ficat ion   m et hods   li k e  decisi on  tree  ( DT)   i nductio n,  k - near est   neighb or   cl assifi e r,   Ba ye sia n  ne t work s ,  sup por t  vector   m achines,   ru le - base d  cl as sific at ion ,  case - base d  reasoni ng,  ge netic   al gorithm ,  fu zzy   l og ic   te c hn i qu e s,  r ough  set   ap proac h  and  oth er s.  Th e  basic   dif fer e nce  betwe e n  t he   al gorithm s  de pends   on  w he ther  t hey  are   l azy   le arn e rs  or  eage r   le arn er s [1 7 ] .    A  pre dicti ve  KNIME  m od e l  was  de velo pe d  an d  t hr ee  da ta   m ining   al gorithm s;  the  N aï ve  Ba ye s,  PNN  P red ic to r  an d  Decisi on  T ree  w ere  t raine d  usi ng  70%  of  the   total   sam ples  wh ic h   wer e  r andom ly  sel ect ed.   T he  knowle dge  ac qu i red  f ro m   the  trai ning  w as  ap plied  i n  pr e dicti ng  the   ty pe  of  s uppl y  that  pro du ce d  t he  r e m ai nin g  30%  of  the  m oto r   operati onal   data   sam ples.  The   pr e dicti ve  acc uracy   achie ved  i n  the  pap e r  is i nd ic at ive of t he  s uitabi li ty  o f data  m ining ap proac h f or  m oto r  p e rfor m ance m on it or i ng [1 8 ].   In   [ 8],  the  aut hor  points  out   about  Decisi on  Tree  ( DT )  or  J48,  that  ad va ntages  of   D T   are  easy   t o   unde rstan d,   ea sy  to  gen e rate  and   reduce  pro blem   capaci t y.  The  lim it a ti ons  of   DT  are:  R equ i r ed  se parat e  te st   set ,  trai ning  t i m e  is  so   ex pensi ve,   does   no t  ha nd le   con ti nu ous  va riab le   an d  s uffer   from   ov er fitt ing .   The  a ppli cat ion s t hat f it  DT a re: Text Cat e gorizat io n  a nd Im age Cla ssific at ion .   In  [ 1 9 ] ,   MSS QL  2005  data base  was   util iz ed  t o  gathe r  thr oug h  s urve ys  or  I nter net   an d  t o  st or e   inf or m at ion   order e d  under  31  crit eria  in  f our  m ai n  gro up s   co ntains  a  total   of   100  stu de nts  rec ei ving   vo cat io nal  trai ning  in  var i ous  energy  app li cat ion   fiel ds ,  who  are  al so   i n  the  process  of   vocat io nal  gu i dan ce .   This  pap e r   a pp li ed  al gorithm s  us e d  in   m any  cl assifi cat ion   t echn i qu e s  to   a  gro up   of  in div i du al s  w ho  are   in  the  process  of   vo c at ion al   guida nc e  and   c on cl uded  t hat  the  m os t  ap pro pr ia te   al go rithm   to  be  us e d  f or   st udie s  in  this  area  is  the  Naive  Ba ye s  al gorithm   der ived  fr om   a  s ta ti sti cal  est i m ation   m od el   that  is  cal le d  the  Ba ye s’  theo rem .  Since  us in g  m achine  le arn in g  (ML)   te chn iq ues  in  cl assifi cat ion   s tud ie s  res ults  in  accu rate  ou tc om e s   with  a  sign ific ant  savin g  in  te rm s  of   tim e  a nd   c os t,  it   is  re com m end ed  to   m ake  us e  of   t ho s e  al gorithm s  us ed   in d at a m ining  and m achine learn i ng tech niques  for  t he  s of t war e  to be  de ve lop e d  in  this  f ie ld.   In   [ 20 ] ,  the   data  set   us ed  in  t hi s  researc h  is  the  trai ni ng   data  set   of   the  K DD   C up   2009  or a nge  sm all   data  set .  T he  data  set   c on ta i ns   190  nu m eri c  featu res  a nd   40  no m inal  featur es.   O ut  of  these   19 0  num eric  featur e s,  16  a re  em pty  and   132  are  s parse  with  highe r  than  90%  m issi ng   rate.  The  aut hors  use   four  cl assifi cat ion   t echn i gu e s,  J 48 ,  Nai veBay es,  SV M  a nd  KNN.   The   aut hors   pointed ,  pro pose d  feat ur e   se le ct ion   m et ho d  re so l ve s  the  real - world  CR M  cl assifi cat ion   pro bl e m s  with  no is y  and   hi gh ly   im balanced  data  set .   The  var io us   cl assifi ers  are  use d  f or   cl assi ficat ion .  As  a  re s ult,  the  S VM  ha s  highest  acc uracy   an d  sen sit ivit y,  Naïve Bay es  ha s h i gh est  R O C an d  S pecific it y .           Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       Perf orma nce e valu ation of  d if fe rent classif ic ation t ech niqu es  …  ( Fares  A bdulhafi dh  Dael )   3587   4.   BACKG ROU ND    4.1 .     WEKA   The  We ka  s oft war e   is  a   m achine - le ar ni ng  platf orm   fo r   ap plyi ng  m achine  le ar ni ng .   Wek a   is   abbre viati on   of  W ai kat o  En vi ronm ent  fo r  Kno wled ge  A naly sis  ( W E K A) .  T he  W e ka ’s  nam e  al so   r efers   to   nam e  of   bir d  in  Ne w  Zeal an d.   Wek a  is  m a chine  le ar ning  wh ic h  it s  colle ct ion   of  m achine  le ar ning  al gorithm s  and  sta ndar ds   for  processi ng   data  m ining .  I n   Wek a   the  al gorithm s  and   t echn i qu e s  ca n  be  a pp li ed   f rom   inp ut   file   su ch  as  E xc el   file s,  Java  form at  and   ot he rs  or  can  be  a pp li ed  directl y  fr om   the  so ft war e  it sel f.   A s   sh ows  in  Fig ure   1.   T he  Wek a  E xpl or e r  wi ndow  div ide d  i n  to  6  ta bs,  each   ta b  ha s  di ff e re nt  ta sk s.   Tab   1  cal ls   Pr e process:  Pe r  proce ss’s  f unct ion   is  to  l oad  a  dataset   f ro m   diff e re nt  sour ces  an d  m anipu la te   the  data  i nto   a   desire  f orm .  T ab  2  cal ls  Cl assify :  is  to  sel ec t  a  cl assifi er  to  process  the  da ta set   that  has  sel ect ed  in  pr e proce s s   sta ge.   Tab   3  c al ls  Cl us te r:  is  to  sel ect   a   cl ust er  to   proce ss   the  dataset   th at   has  sel ect ed   in  pr e proces s  sta ge.    Tab 4 call s A s so ci at e:  is to r un ass ociat ion  a lgorit hm s r ules to  extract i nsi gh ts  from  d at aset . Tab   5  cal ls Sel ect   Attrib utes:  it   t o  r un   at trib ute  sel ect ion   al gor it h m s  on   datas et   to  sel ect   tho se  at tribu te s  th at   are  relevan t  to  the  desire  featu re t o pr e dict. Ta b 6 call s  Visu al i ze:  is to  visu al i ze the  relat ion s hip   betwee n  at t rib utes [ 21 ].           Figure  1.  W e ka  interf a ce e xplorer       4.2 .    Datasets  inf or mat i on   Fo r   this  pa per,  th ree  data  se t  hav e   sel ect e d.   Eve ry  data  set   ha s  it s  own   cha racteri s ti cs  and  the   par am et ers  tha t  dif fer e ntiat e  it   from   oth er   two  data   set s.   The  T able  1  il lustrate   t he  differences   betwe en  eac h  of   t he  dataset .   The  dataset s  hav e  te ste d  one  by  on e  with   sam e  setting s   in  W e ka  s of t war e  for  al l  da ta set s.   Each  on e  of  da ta set s  has  te ste d  agai ns t  the  four   cl assi fiers .  The  outp ut  de te rm ines  by  the  pa ram et ers  of   t he   tim e  ta ken   to  bu il d  t he  m od el   of   the  datas et   and   the  pe r centage  of   acc ur acy   to  cl assi fy  the   ta rg et   da ta set s.  Each  dataset   ha s test ed fo ur ti m es f or the  four classi fiers .       Table  1.   Illustr at e the d i ff e rence s b et ween ea ch of  the  datas et   Na m e  of  datas ets/  Para m eters   Co n g ressio n al Vot in g  Reco rds   Car E v alu atio n   Co n trace p tiv e M et h o d  Ch o ice   Data Set   Ch arac te r istics   Multiv ariate   Multiv ariate   Multiv ariate   Attribu te Ch arac te ristics   Categ o rical   Categ o rical   Categ o rical   Ass o ciated Task s   Clas sif icatio n   Clas sif icatio n   Clas sif icatio n   Nu m b e r  o f  I n stan c es   435   1728   1473   Nu m b e r  o f  Attr ib u tes   16   6   9   Missin g   Valu es   Yes   No   No           Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  9 , N o.   5 ,  Oct ober  20 19  :   3 5 8 4   -   3 5 9 0   3588   5.   RESU LT S  AND A N ALYSIS    A  com par iso n  of   eval uatio n  perform ance  of   cl assifi ers  for  diff e re nt  dataset s  based   on  the  accu rac y   of  each   cl assifi er  a nd  ti m e  ta k en  t o  bu il d  the  m od el .  Acc ur a cy   is  de fine d  a s  the num ber  of  insta nces   cl assifi ed   correct ly .  The  T able  2  s ummari ze  the  ou t put  o f  the  cl assifi cat ion   data  te chn i qu e s  for  the   three  dataset s  ba s e d  on   t he  ti m e  tak en  t o  buil d  t he   m od el .  It  is  ob s er ved   f or   t he  fir st  dataset   of   Ca r  Eval ua ti on   the  J 48  cl assifi er  giv e  the  best  r esult  of   the  ti m e  ta ken   to  bu il d  the  m od el .  In   the  sec ond  and   t he  thir d  dataset s  Con tr acepti ve   Me thod  Cho ic e  and   Co ngres sion al   V otin g  Re cords  res pe ct ively   sh ow s  NaiveBay es  cl assifi ers  gi ve  the  best   ou tc om e.  Ho wev e r,   the  M ulti la ye r  Percep tr on   cl assifi e r  is  the  lon ge s t  tim e  ta ken   to  bu il d  the   m od el   for  eac h datase t.       T able  2.  C om par iso n of t i m e t aken f or v a rio us cl assifi ers   Na m e  of  datas ets/  class if icatio n  techn iq u es   Co n g ressio n al  Vo tin g  Reco rds   Car  Evalu atio n   Co n trace p tiv e  Metho d  Ch o ice   BayesNet     0  Sec   0 .03  Sec   0 .03  Sec   Naiv eBayes   0  Sec   0 .03  Sec   0  Sec   Multilaye r  Pe rcept ron   0 .69  Sec   4 .49  Sec   3 .56  Sec   J4 8   0 .03  Sec   0 .01  Sec   0 .09  Sec       In   t he  T a ble  3  sh ow  t he  Com par is on  of  Acc ur acy   of  cl assifi ers  for  diff e r ent  dataset s.   From   F igu re  2  and  T a ble  2  It   is  obser ve d  t hat,  for  the   fir st  an d  the   sec ond  dataset   of  Ca r  E valuati on  a nd  Co ntrac eptive   Me thod  Ch oice  resp ect ively ,   the  Mult il ayer   Perce ptr on   cl assifi er  give   the  best  res ult  of   the  Ac cur ac y   com par e  to  othe r  cl assifi ers.   I n  the  third   dataset s  C on gressi on al   V otin g  Re cords  sho ws  J 48   cl assifi er  giv e  the   best  outc om e  of   acc ur a cy   to   cl assify ing   th e  instance.  H oweve r,   t he  Nai veBay es  cl assifi ers  wer e  t he  worst  ou tc om e o f  acc ur acy  t o  cl assif yi ng  the  insta nc e f or  eac h dat aset .       Table  3.  C om par iso n of t i m e t aken f or v a rio us cl assifi ers   Na m e  of  datas ets/  class if icatio n  techn iq u es   Co n g ressio n al  Vo tin g  Reco rds   Car  Evalu atio n   Co n trace p tiv e  Metho d  Ch o ice   BayesNet     9 0 .11 4 9  %   8 5 .70 6  %   5 1 .05 2 3  %   Naiv eBayes   9 0 .11 4 9 %   8 5 .53 2 4  %   5 0 .78 0 7  %   Multilaye r  Pe rcept ron   9 4 .71 2 6 %   9 9 .53 7  %   5 2 .34 2 2  %   J4 8   9 6 .32 1 8 %   9 2 .36 1 1  %   5 2 .13 8 5  %           Figure  2. G raphical  v ie w  of a ccur acy   for dif fer e nt classi fie rs on di ff e ren t  dataset s       6.   CONCL US I O N   This  pa per   s ho wed   t he  pe rform ance  evaluati on   of   dif fer e nt  data  cl assifi er s  te chn iq ues  on  dif fer e nt   dataset s.  It  f ou nd   t hat  the  out com e  of   the  da ta   te ste d  are  di ff e ren t  f r om   dataset   to  ano t he r.   T her e  a re  r easo ns   for  the d if fer e nt  o utput becaus e the d at aset s ch rem at ist ic s  are  diff er ent f r om  each  ano the r  d at aset .   Fact ors that   m ay   aff ect   the  cl ass ifie r’ s  perform ance  as  fo ll ow  1.  D at a  set ,  2.   N um ber   of   insta nce  an d  at trib utes,  3.   Com patibil i ty   of   t he  data  with  the   cl assifi er ,  4.  Ty pe  of   at tribu te s,   5.  Mi ssing  data  a nd   data  in structi ons,  6.  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       Perf orma nce e valu ation of  d if fe rent classif ic ation t ech niqu es  …  ( Fares  A bdulhafi dh  Dael )   3589   Syst e m   con fig ur at io n.   Mult il ay er  Percep t ron  cl assifi er  shows   in  ov e rall   the  best  accuracy  perform a nce  t o  cl assify   the  i nst ances,   an d  NaiveBay es  cl assifi ers  were  the  w orst  ou tc om e  of   acc ur a cy   to  cl assify i ng  the   instance  f or   e ach  dataset .   F uture  wor k  m ay   fo cus  on   s pecific  dataset s  that  wo r king  in  har m on y   with   cl assif ie rs  sho uld   be  sel ect ed .  The  f ut ur e  w ork  m ay   fo cus   on   im pr ovin g  the  perf or m ance  of   eac h  cl as sifie rs   by an al yz in g  t heir  al gorithm s  and the  rules.       ACKN OWLE DGE MENTS   We  w ould  li ke   to  express  our   gr at it ude  to  Wek a  s oft ware   dev el op e rs  a nd  m ake  it   as  a n  ope n  source  so ft war e  without  it   ou r  w ork  would  be  m uc h  dif ficult   to  achieve  the  ou t com e  of   this  pap er .  W e  al so   woul d  li ke  to  t hank  t he   creato r  of  “C on t raceptive   M et hod  C ho ic e”  dataset s  Mr.   T je n - Sien  Lim   (li m t@st at .w isc .ed u)  and  the   D onor:   Tj e n - Sien   Li m   (li m t@st at . wisc.e du )   with   res pect  to   the   or i gin al   s ource   of  the   1987  N at ion al   Ind on esi a  Co nt raceptive  P re valence  S urve y  fo r  s har in g  the  dataset s  and   m akes  it   a vaila ble  for  ev eryo ne.   We  al so   woul d  li ke  to  tha nk  the  cr eat or   of   “C a r  Eval ua ti on   Data base s”   dataset s  Mr .  Ma rko  Bo ha nec  an d   the  D onors:  Ma rko  Bo ha ne c  (m ark o.b ohanec@i j s.si) ,  and  Bl az  Zu pa n  ( blaz.z upa n@ i j s.si)   f or  sh ari ng   the d at aset s  an d  m akes it avai la ble for  e ve ryon e .       REFERE NCE S     [1]   Jiawe i  Han ,   Mi che l ine   Kam ber   and  Jian  Pe i ,   Data  Mini ng:  Conce pts  and  Techni ques,   3rd   edi t ion,   Morga n  Kaufm ann,   2011 .   [2]   Saouabi   Moham ed ,   Abdel la h  E z za t i ,   " A  dat a  m ini ng  proc ess  u sing  cl assificat i on  te chni qu es  for  emplo y ab il i t y   pre diction ,"   Ind onesian  Journal   of  E le c tric al   Engi ne ering  an d  Computer  Scienc e   ( IJE E C S ),   v ol.   14 ,   n o .   2 ,     pp.   1025 - 1029 ,   2019.   [3]   Akibu  Mahm ou d  Abdulla hi,   M okhai ri  Makht ar ,   Suhail an  Saf ie ,   " The   pat t ern s  of  ac c essing  le ar ning  m ana geme nt  s y stem  among  student s ,"   Indon e sian  J ournal  of   El e ct rica l  Eng in ee ring  and   Computer  Sc ie nc e   ( IJE ECS) ,   v ol .   13 ,    no.   1 ,   pp .  15 - 21 ,   2019.   [4]   Longa dge  R . ,   D ongre   S. ,   La t esh  Mali k ,   " Cl ass i m bal an ce   prob le m   in  data  m ini ng :   rev ie w , "  In te rna ti onal Journal  o f   Computer  Scien ce   and   Ne twork ( IJCSN ) ,   vol.   2,   no.   1 ,   Feb   2013 .     [5]   Alm oham m edi   Akram   A.,   Nor  K.  Noordin  and  Sabri  Saee d ,   " E val ua ti ng  th e  Im pac t  of   Tr ansm is sion  Range   on  t h e   Perform anc e  of  VA NET ,"   Inte rnational   Journal   of  El e ct rica l  and  Computer  Engi nee ring   ( IJE C E) ,   vol.   6 ,   no .   2 ,     pp.   800 - 809 ,   20 16 .   [6]   J abba r  W ahe b  A.,   e t  al .   "D esi gn  and  Im ple m ent at ion  o f  IoT - B ase d  Autom at io n  S y stem  for  Sm art   Hom e , "  2018   Inte rnational   Sy mpos ium  on  Networ ks,   Compute rs   and  Comm unic ati ons ( ISNCC) ,   IE EE ,   2018 .   [7]   Alm oham m edi   Akram   A.,   et   al . ,   " An  ac cur ate  p erf orm anc e  ana l y sis  of   h y brid  ef fic i ent   and  r elia ble   MA C  protocol  in  VA NET  und er  non - satura t ed   condi ti ons ,"   Inte rnational   Jou rnal  of  El ec tri c al  and  Comput er  Engi nee rin g   ( IJE CE) ,   vol.  7 ,   no.   2 ,   pp .  999 - 1 011 ,   2017 .   [8]   Mus ta kim  Mus ta kim,  Novia  Kum al a   Sari,  Jasril   Ja sril,   Ism u  Kus um ant o,   Nurul  G a y a tri  Inda h  R eza ,   " Ei g envalue   of   Anal y tic  Hier ar c h y   Proce ss   as  The   Dete rm ina nt  for  Cla ss   Ta rge t  on  Cla ss ifi cation   Algorit hm ,"   Indone sian  Journal  of  E le c tric al   En gine ering   and  C omputer  Scienc e   ( IJE ECS) ,   vol .   12,   n o .   3 ,   pp .   12 57 - 1264,   2018 .   [9]   Deulka r  M.  D.   S.  and   Deshmukh  R.   R. ,   " Da ta   Mining  Cl assific a ti on ,"   Imp erial   Journal  of   Inte rdisciplinar y   Re search ,  vol .   2 ,   no.   4,   2016.   [10]   Kaur  G.,   Chh abr a  A. ,   " Im prove d  J48  cl assifi ca t io n  al gori thm  for  t he  pre di ction  of  dia be te s ,"   Int ern ati onal  Journal  of  Computer  Ap pli cations,   vo l.  98 ,   no .   22 ,   2014 .   [11]   Koturwar  Praful, Shee tal  Gira se   a nd  Deba j y ot i  Mukhopadh y a y ,   " A surve y   of cl assific a ti on  t ec hn i ques  in  the a r ea   of   big  da ta ,"   IJ AF R C,   v ol .   1 ,   no .   11 ,   Nov 2014 .   [12]   Gardne r  M.  W .   and   Dorling  S .   R. ,   " Artif icial  ne ura l   n et works   (t he  m ult ila y er   pe rce ptron)   a  r evie w  of  appl i cation s   in  th e at m ospheric   sc ie nc es ,"   At m ospheric  en vi ron ment ,  vo l.  32 ,   no .   14 - 15 ,   pp .   262 7 - 2636,   1998 .   [13]   Vait hi y a nat h an  V.,   Rajesw ari   K. ,   Ta j ane   K.  and   Pita le   R . ,   " Com par ison  of  diffe r ent   class ifi c at ion   te chni qu es  using  diffe ren t  d at ase t s ,"   Inte rnatio nal   Journal  o f Adv a nce s in   Eng ine er ing  &   Technol ogy ,  vo l.  6 ,   no.   2,   p p.   764 ,   2013 .   [14]   Sharm a  A.  and   Kaur  B. ,   " A  rese arc h  r evi ew  on  compara ti v e   ana l y sis  of  data  m ini ng  tool s,   te chni qu es  and   par amete rs ,"   Int ernat ional J ourn al  of   Adv an ce d   Re search in Co mputer  Scienc e ,  vol.   8 ,   no .   7 ,   201 7.   [15]   Nur’A in  Maula t   Sam sudin,   Cik  Fere sa  bint i  M ohd  Fooz y ,   Na bil ah  Ali as,   Pal ani app an  Sham al a,   Nur  Fadzila h  Othm an,   W an  Isni  Sofiah  W an  Din ,   " Youtube  spam   det ec t ion  fra m ework  using  naï ve  ba y es  and  logi st ic   reg ression ,"   Indone sian  Journal  of  El ec tri cal   Engi ne ering  and  Computer  Sci enc e   ( IJE ECS) ,   vol.   14,   n o.   3,     pp.   1508 - 1517 ,   2019 .   [16]   Alal wan  S.   A.   D. ,   " Diab et i c  an aly tics:  Propos e d  conc ep tual  da t a  m ini ng  appr o a che s  in  t y pe  2  d ia be te s  da ta set ,"   Indone sian J our nal  of   Elec tric al   Engi ne ering  and   Computer  Sc ie n ce   ( IJEECS) .   v ol .   14 ,   no .   1 ,   p p .  92 - 99,   2019 .   [17]   K .   Sara n y a ,   " Su rve y   on  Cl assifi ca t ion  T ec hniqu es  Us ed  in  Da ta  Mining  and   th e ir  Re ce nt   Advan ce m ent s ,   I JSE T R ,   vol.   3 ,   pp .   2380 - 2385,   2014 .   [18]   Adekit an  A .   I. ,   Adewal e  Ade y i nka  and   Al ashir i  Olaitan ,   " Determ ini ng  the   op e rat ion al   sta tus  o f  a  Thr ee   Phase  Induc ti on  Motor   using  a  pre di ctive  da ta   m ini ng   m odel ,   Inte rna ti onal  Journal  of  Powe r  Elec tronic s  and  Dr ive   Syste ms   ( IJP ED S) ,   v ol.   10 ,   no .   1 ,   pp .  93 - 103 ,   20 19.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  9 , N o.   5 ,  Oct ober  20 19  :   3 5 8 4   -   3 5 9 0   3590   [19]   Bulbul   Hal il   Ibr ahi m   and  Özka n  Uns al ,   " Com par ison  of  c la ss if ic a ti on  t ec hn iqu es  used  in  m achine   l ea rn ing  as   appl i ed  on  voca t iona l  guida n ce   d at a ,"   2011  10th  Inte rnational   Co nfe renc e  on  Mac hine   Learning  and  Appl ic at ion s   and  Workshops ,   IEE E ,   2011 , v o l. 2.   [20]   Natc hi ar  S.  Um m ugult hum   and  S.  Baul kan i ,   " C ustom er  rel ation ship  m ana gement  class ifi cation  using  dat a  m ini n g  te chn ique s ,"   20 14  Inte rnationa l  Confe ren ce   o n  Sci en ce   Enginee ring  and  M anageme nt  R ese arch  ( ICSEMR ) ,     IEE E ,   2014 .   [21]   Jagta p  S.   B. ,   " C ensus  Data   m ining  and  d at a   anal y sis  using  W EK A ,"   Inte rnationa l  Confe ren ce  in  Eme rging  Tr ends  in  Sc ie nc e, Tec h nology   and   Man ageme nt - 2013 ,   S inga pore ,   2013 .       BIOGR AP H I ES   OF  A UTH ORS       As soc.   Prof.  Dr   Abdulkadi r   ÖZDEMIR,  Le ct ur e r  at   Atat urk  Univer sit y ,   Facu lty   of  Ec onom ic s  and   Adm ini strat ive  Scie nc es,   Dep ar tment  of  Man a gement  Inform a ti on  S y s te m s,  Turkey .   Area   of   rese arc h   intere st s  Com pute r  Hardware ,   Vir tua l izati on  and  Cloud   Com puti ng,   Co m pute r  Networks   and  Mana ge m ent ,   Dat aba se   Mana gement   Sy st ems ,   M ana gement  Inf orm at ion  S y ste m s.     htt ps:// ww w.ata uni. edu . tr/abdul kadi r - ozd emir ,   a bdulka dir@atau ni. edu . tr ,   /   +90   4 42  231  1961 .             Prof.  Dr  Uğur  Y AV UZ,   Lectu r er   at  Atat urk   Univ ersity ,   Facult y   o f  Ec onom ic s  and   Adm ini strat iv e  Scie nc es,   Depa r tment  of  Mana gement  Inform at i on  Sy st ems ,   Turkey .   Area   of  r ese arc h  in te r ests   Inform at ion  Te c hnologi es,   Mana gement  Scie nc e,  W eb  Design,   M ana gement  Infor m at ion  S y stems ,   Graphi c  D esign   and  Anim at ion ,   Artifi c ia l   Int el l i genc e .   h ttp ://www.ataun i.edu .tr /# p erso n el=u g u r - y av u z ,  u g u r@ atau n i.edu .tr  /  +9 0  44 2  23 1  5752 .            Fare s  Abdulhaf idh  Dae l ,   PhD   ca ndid at e   at   Atat urk  Univer sit y ,   Facu lty   of   Ec onom ic s  an d  Adm ini strat ive   Scie nc es,   Depa r tment  of  Mana gement  Inform at i on  Sy st ems ,   m aste r’s  degr ee   in  comm unic at ion  and  computer   E ngine er ing  from   UK M  Univer sity ,   Mal a y s ia .   Ba c hel or’s  degr ee   i n  comm unic at ion   engi n ee ring   f rom   IIUM   un ive rsit y   Ma lay si a.   Ar ea   of   re sea rch   int e rests  Mana gement  In form at ion  S y st ems ,   Artifi cial   int ellige n ce,  Radi o  comm unic a ti ons  W ire less   comm unic at ion,  Data   Ne twork  a nd  Com pute r. fa resa la r iqi @gm ail. com       Evaluation Warning : The document was created with Spire.PDF for Python.