Int ern at i onal  Journ al of Ele ctrical  an d  Co mput er  En gin eeri ng   (IJ E C E)   Vo l.   8 , No .   6 ,  Decem ber   201 8 , p p.   5425 ~ 5431   IS S N: 20 88 - 8708 ,  DOI: 10 .11 591/ ijece . v8 i 6 . pp 5425 - 54 31          5425       Journ al h om e page :  http: // ia es core .c om/ journa ls /i ndex. ph p/IJECE   Credit S coring U sing CA RT Alg orithm  and  Binary  Parti cle  Swarm  Optimi zation       Rez a  Fir sand aya M alik, He rmawan   Facul t y   of  Com pute r  Sc ie nc e, Uni ver sita s Sriwi jaya ,   Indon esia       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   A ug   18 , 201 7   Re vised  Ju n   1 8 , 201 8   Accepte d  J ul   1 5 , 2 01 8       Credi t  s cor ing  is  a  pro ce dur e  th a t  exi sts  in  eve r y   fina nc ia l   insti tution.  A  w a y   to  pre dic t  wheth er  the   debt or  wa s  qual ifi ed  to  be   give n  the   loa n  or  not  and  has  bee n  a  m aj o r  concern  in  the   over all  steps  of  t he  loa n   proc ess.  Alm ost  al l   banks  and  othe r  fina nc ia l  inst it ut ions  have   their  own  cre dit   scorin g  m et hods.   Now aday s,   data   m ini ng  appr oa c h  has  bee n   accepted  to   be  on e  of  the   we ll - known  m et hods.  Certainly ,   ac cur acy   was  al so  a  m aj or  issue  in   th is  appr oa ch .   Thi s  rese arc h   pr oposed  a  h y br id   m et hod  using  CART  al g or it h m   and  Binar y   Parti cle  Sw arm  Optimiza ti o n.   P erf orm anc e  ind i ca tors  that  ar e  used  i n   thi s   rese arc h   ar e   cl a ss ifi ca ti on   a cc ur acy ,   err or   ra te,  sensiti vity ,   spe c ifi cit y ,   an d   pre ci sion .   Expe r imenta l  resul ts  base d  on  the   publi c  dataset   sho wed  tha t  the  proposed   m et hod  ac cur a c y   is  78  %  and  87. 53  % .   In  compare   to  seve ral  popula r  al gor it h m s,  such  as  neu ral   net work ,   log isti c  reg r ession  and  support  vec tor   m ac hin e,  the   proposed   m e thod  show ed a n  outsta nding   per f orm anc e.     Ke yw or d:   CART   Credit Sc or i ng   Data M inin g   PSO   Copyright   ©   201 8   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Her m awan ,     Faculty  of Com pu te r  Scie nc e,   Un i ver sit as  Sr i wij ay a.   South  Su m at era  -   Ind on e sia   Em a il : her m aw an@ m dp .ac .id       1.   INTROD U CTION   Credit  sco rin g  is  a  par ti cular   j ob  of  loa n  li fecyc le   m anage m ent  that  had   bee n  a  big   chall enge.  It  pr e dicts  wh et he r  the   deb t or  is  qual ifie d  to  be   gi ven  a  l oan  or  no t.   Cre dit  sc or i ng  is  te rm   that  us ed   to   de s cribe   form al   m et ho ds  us e d  f or   cl a ssifiy ing   a pp li can ts  f or   c red i t  into  good  cr edit  or   bad   c r edit  cl asses.  I nd ee d,  wrong  pr e dicti on   will   be  a  gr eat   loss  to  ba nk s  a nd   finan ci al   ins ti tuti on .  T her e   are  two  ty pe s  of   m isc la ssific at i on   patte rn   w hi ch  is  cal le d  typ e  I  an d  ty pe  II   er ror   [1] .  T ype  I  error   oc cur s  wh e n  the  act ually  good  cre dit,  bu t  la te r  was  no t  acce pted  a nd   c la ssifie d  as  ba d  cre dit  wh ic h  will   red uce  t he   insti tuti on ’s  pro fit.  As  the  op po sit e, ty pe  I I  e rror  occurs  w hen th e act ually  b ad   cred it   bu t l at er  was  cl assifi e d as g ood  c re dit.  Th us ,  it   will   br ing   a  big   prob le m   and   seri ou s  dam a ge  to  the  i ns ti tuti on   [ 1] .  W it h  the  incr easi ng  i m po rtance  of  cred i t   scor i ng   t o  ba nk  an d  fina ncial   insti tuti on ,  th is  fiel d  has  i nvoke d  intere sts  to  m any  research e r  to  wor k  on   it .   This  researc h  area  has  been  cond ucted  by  m any  researc he rs  ov e r  ye ar s  with  s o  m any  m et ho ds.  On e   of  the   ver y  popula r  m et ho d  is   the  data  m ining   a ppr oac h.   Data  m ining   has  e nt ic ed  a  gr eat   im portance   of  i nterest  i n  the infor m at ion  industry in r e cent ye ars  that fo c us e d  on the ex tract io n  of h i dd e n  kn ow le dge from  v arious d at a  war e hous e ,  da ta   set ,  and   data  re po sit ori es  [2] .   T his   appr oach   is   a  big   help   to  ba nk   a nd  ot he r     fina ncial  instit utions.    So m e  po pula r  m et ho ds   that  ha d  bee n  use d  by   so m e   researc her   a re  cl assifi cat ion   an d  re gressi on   tree   (CART ),   S upport  Vecto r  Ma chine  ( SVM ),   A rtific ia l  Neural  Net work   (AN N),   Mult ivariat e  Ad a ptive  Re gr essi on  S plines  (M ARS) [ 3] .  P rev i ou sly ,   researc he rs  ha ve  us ed   pri vat e  dataset   to  e xplo re  cre dit  sc or i ng.  Fo r  e xam ple,  T.  S.  Lee,  Chi u,   Ch ou,  an d  Lu  ha ve  em pl oyed  CART  a nd   m ulti v ariat e  adap ti ve  re gressi on  sp li nes  (MAR S)   t o  pr i vate  c red it   ca rd  local   ba nk  in   Tai pe i,  Tai wa n.   Ex pe rim ental   sh owed   that  c om par ed   to   sever al   al go rithm s,  sti l l  CAR T  and   M ARS  hav e  a  bette r  overall   pe rfor m ance   [ 4] .  A no t her   e xam ple,  W.   Che n  Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8   :   5425   -   5431   5426   et   al   hav e  pro po s ed  hybr i d  m et ho d  S VM  +  CART  an d  SV M  +m ulti v ariat e  adap ti ve   regressio n  spl ine s   (MARS )  f or   t he ir  pr i vate  dat aset   bank  of   C hin a.  Thei r  res ults  showe d  a n  i m pr ovem ent  in  t erm   of   accuracy   us in g  hybri d  m et ho d  [ 5] .  A no t her  resea rc her   us e d  publi c  datase t  f or  t heir  e xperim ent.  J.  C hen  us e d  ger m an  cred it   dataset   and   Austral ia n  fr om   Un ive rsity   of   Ca li fo r nia  (U CI )  re po si tory.  He  propo sed  a  hybri d  m et hod  cal le d  SV M   +  wh it eni ng  s pac e.  His   m et ho d  sh owe d  a n  im pr ovem ent  com par e d  t o  S VM [ 6] .  Se ver al   ap proac h  us in g  e ns em bles  of  cl assi fier  has  bee n  a ppli ed  t o  c red it   sc ori ng,  su c h  a s  ba gg i ng,  boos ti ng,  rand om   su bs pa ce,   and   decorate . T he  base classi fier conside red in the ex per im ental  stud y al ong wit h  the en s e m bled  m et ho ds  are:  l og ist ic   re gr ess ion   (L og R ),   m ulti la ye r  per ce ptr on   (MLP ),   s upport  vecto r  m achines  ( SVM ),   C4 .5  decis ion   tr e e   (C4.5 )  an d  cre dal  decisi on  tr ee  (CDT).  Fro m   the  resu lt ,  cred it   decisi on  tree  as  the  bas e  cl assifi er  ha s  the   bette r  resu lt ,   wh e n  it   is   us e d    as  base  cl a ssifie r,   i n  a   en sem bled  sche m e  fo r   cre dit  scor i ng  assess m ent  [7] .  Alm os t  all  research e r  w orks  ha ve  f ocused  th ei r  researc h  on  increasin g  the   accuracy  of  cr edit  scor i ng,  suc h  a s   Yao   Pi ng,  Lu   Yonghe ng   w ho   pro p os e d  SV M  +  Neig hbor hood  Roug h  Set  and   c om par ed  it   wit h  LD A,  Lo gisti c  regres sion,  N eu ral  N et work.  Re s ult  show s  that  t he ir  pro pose d  m e thod  gain  a n  im pr ov em ent  in  te rm   of   acc ur acy   [8] .  So m e  research ers ,  f ocused  on   cat c hing  “b ad”  cre ditors  as  an  im po rtanc e  perform ance  issue ,   with  thei r  propose d  m et ho d  Kernel  F uzzifi cat ion   Pe nalty   -   MC OC [ 9] .  O ther  researc he r s,  f oc us e d  thei r  w ork   on tim e reducti on for cre dit sc or i ng, such  as  Ba ndhu & K um ar.  Thei r  w or k based  on a n appr oach cal le d  S VM  +  F  Sc or e  sam pling   t o  re duce d  com pu ta ti on al   tim e  fo r  cre dit  sco rin g  an d  com par ed  it   w it h  SV M  +  GA,  Ba ck   Pr opa gatio n  and   Gen et ic   Program m ing .I t  is  pr ove d  that  their  m et ho d  is  co m petit iv e,  in  the  view   of   it s  accuracy  a s  w el l  as  the  pro pose d  m et ho d  ha s  a  le ss   com pu ta ti on al   ti m e [10] .   A nothe r  i ssu e  is   an   im balance  dataset s  that  be ca m e  gr eat   c on ce r n  by  H onglian g  He  et   al ,  that  they   f oc us e d  their  res earch  on  a dap t ion   of  diff e re nt  i m b al ance  rati os   a nd   pro posed  t heir  novel  m e thod  to  ob ta i n  supe rio r  pe rfor m ance  an d  high   rob us tness [ 11 ] .    In  this  pa per,  we  pro po s ed   hy br id   Cl assifi cat ion   a nd  Re gressi on  T ree  (CART)   an d  Bi na ry  Pa rtic le   Sw arm   Op ti m i zat ion .  CART   is  well   kn ow n  sp eci fic  dec isi on   tree  al go rithm .  It  is  us ed  in  seve ral  kinds ’   app li cat io n  of  data  m ining ,  s uch   as  web   m ining,  ed ucati onal   m ining ,  m edical   m ining ,   and   c red it   sc or i ng.   Ma ny  resea rchers  hav e  em plo ye d  C ART  i n  their   in vestigat ion.  On e   of  their  stu dy  us in g  pr i vate  dataset   con cl ud e  that  com par e  to  som e  oth er  popu la r  intel li gen t  m et ho ds   s uch   as  SV M  an d  N eur al   Net work,   CART   sh ows  a  bette r  perform ance  in  cred it   sco rin g  in  te rm   of   AUC   m easur e [ 12 ] .  CART  has  be en  adm it te d  as  one   of   t op  10  data   m ining   al gorithm   and   one  of   t he  m os t  influ e ntial   data  m ining   al go rithm [13] .  I n  c ontrast ,   Bi nar y  Partic le   Sw arm   Op t i m iz ation   (BP SO )  a s  one  of   var ia nt  of   PSO   is  us e d  to  increase  ov e rall   perform ance o f  CART.     Partic le   Sw ar m   Op tim iz at io n  is  an  al gorithm ,  a  kin d  of   cal culat ion   m e thod  ba sed  on  the  theo ry  of   swar m  intel li gen ce, a nd  a  kind of m od el  in  the f ie ld  of   swa rm  intelli gen ce that  r et ai ns  a gl ob al  searc h  str at eg y   base d  on  po pula ti on   of  swa r m [14] .  W it h  P SO ,  t he  pro ble m   is  so lved  an d  ad dr e ssed  usi ng   s war m   of   par ti cl e  that  m ov e  ar ound   the  s wa rm ,  lookin g  f or   the   b est   possible  so luti on [ 15] .  T her e  a re  so m e  adv a ntage s  of  us in g  PSO   s uc h  as,   it   do es  not  nee d  di ff e ren ti at io n  unli ke  m any  tradit ion al   m eth od,  a nd  it   has   the  abili ty   to  escap e   from   lo cal   op tim i m u m .  Another   a dvanta ge s  are  PS O  ha s  flexibili ty   to  integrate  with  ot her   opti m i zat io n  te chn iq ues  in  order   to  dev el op   c om plex  too ls  and   it   can  be  us e d  f or   th e  obj ect ive  f unct ions  with  r andom   natu re,  sim i la r  to  the  case  th at   on e  of  the  optim iz at ion   var ia bles  is  rand om .  No t  to  m e ntion   t he  fact  tha  that  PSO  has   le ss  s ensiti vity   to  th e  obj ect iv e  f un ct ion ’s   nat ur e ,  wh ic h  m eans  it   has  c onve xity   or   c onti nuit y  [16] .  Bi nar y  PS O  i s  var ia nt  of  Partic le   Sw a r m   Op ti m iz at io n.   It  is  a  nat ur e  i ns pi red  a lgorit hm ,  as  well   as   m et aheu risti c  global  opti m izati on   al gorith m ,  or iginall y  pro posed  by  Ke nn e dy  a nd   E be rh a rt.  A   ty pe  of   bio - insp ire d  opti m i zat ion   al gorith m   insipired  by  m ov e m ent  of   bi rd s  an d  fis h  fl ock   wh il e  sear chin g  f or   f ood  [17] .  PSO   s ol ution   s wam   is  co m par ed  t o  the  bir d  swar m ,  the  bir ds ’  m ov in g  fro m   on e  place  to   ano t her   is  e qu al   to  the  de velo pm e nt  of   the  s olu ti on   s war m ,  good  inf or m at ion   is  equ al   to  the  m os t  op tim ist   so luti on,  a nd   t he  f ood  resou rce  is  equ al   to  the  m os t  op tim ist  so lu ti on   durin g  the   wh ole  co urse  [18] .T his  m et ho d  has  bee n  use d  to  sever al   resea rc h  are a.  It  is  use d  to   cl assify   high  dim ension al   ed ucati ona l  data  with   go od  pe rfor m anc e  res ult   com par e to se ve ral al gorithm s.  Ot her   resea rc her, em bed de d t his m et ho d  wi th S VM to  a nal yz e o pi nion m i ning  of  so ci al   m edia.Their   stu dy  s howe d  a good  r esult,  P SO  af fe ct s  the  acc ur ac y  of  S VM  after   the  hybri dizat ion  of   SV M - PS O  [ 19] ,  [20] .  Ba se d  on   li te ratu re  stud y,  t his  m e tho d  ca n  al so  b e u se d  to  im pr ove  ov e rall   perform ance  of CART al gor it h m .        2.   RESEA R CH MET HO D   Figure 1  s hows  f lowc har t  of  prop os ed resear ch  desi gn. Th e  fo ll owin g  fl owchar t co ns ist s  of  se qu e nc e   of   ste ps   a nd  m et hods   to   do  t he   resea rch.    It  exp la in s  the   pr ocess  of  co nduc ti ng   this  ex pe rim ental   research   in   m or e  detai ls.  Re searche rs  w il l  fo ll ow   t hes e  ste ps   wh il e  do i ng  resea rch  to  en sure  the   integrity   of  th e  w ho le   researc h proce ss.     Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       Credit  S c or in g Usin g  C ART  Algo rit hm  and  Bina ry  P ar ti cl e S w ar m  Opti miza ti on   ( Rez a Fi rsan da y a  M alik )   5427   S T A R T D a t a   C o l l e c t i o n   : G e r m a n . d a t a - n u m e r i c A u s t r a l i a n   d a t a s e t C l a s s i f i c a t i o n   T a s k   : 1 .   C A R T   a l g o r i t h m 2 .   C A R T   +   B P S O   a l g o r i t h m V a l i d a t i o n   a n d   E v a l u a t i o n   :   1 .   1 0   F o l d   V a l i d a t i o n   2 .   C o n f u s i o n   M a t r i x L i t e r a t u r e   R e v i e w   : C r e d i t   S c o r i n g A n a l y z e   R e s u l t   : 1 .   C o m p a r e   i n t e r n a l   r e s u l t 2 .   C o m p a r e   t o   o t h e r   m e t h o d E N D P e r f o r m a n c e   M e a s u r e m e n t   :   1 .   M e t r i c s   2 .   R O C   C u r v e     Figure  1.  Pro pose d  R esearc h Desig n       Re search  bega n  with  c ollec ti ng   li te ratu re  f r om   few   resource s.  A  li te rature  search  c ondu ct ed  befo re  procee ding  to  desig n  ex per i m ent.  This  ste p  pro vid es  fou nd at io nal  knowle dge  ab ou t  the  researc h  ar ea,  the   desig ns ,  in strum ents  us ed,   th e  procedure  a nd  the  fin d in gs .  The  inf orm ation   disc ov e red   duri ng   this  ste p  help s   the  resea rc her s   f ully   underst and  the  m agn it ud e   of  pro blem .  All  m at eria ls  wer e   capt ured  a nd  ext racted  in t o  researc h  m appi ng .  L at er,  we  decide d  to  us e   public  dataset .  Re al   world  c red it   dataset ,  Ger m an. d at a - num eri c   dataset   and   A ust rali an  dataset   are  us ed  as  a n  obj ect   to  our   researc h.   Co nsi der in g  the  fa ct   that  based   on  our   li te ratur e  rev ie w,   th os e  datas et s  wer e  gener al ly   us ed  by  research e r  in  th e  research   a re a.  The  Dataset s  are   avail able  fro m   the  Un ive rsit y  of   Ca li fo r nia  (U C I)   Re po sit ory   of  m achine  le a rn i ng   data bas es.Th e   Ger m an. data - num eric  dataset   con sist s  of   24   pr e dictor  at tri bu te s  a nd  1  ta r get  at tribu te [21] .    Total   num ber   of   instances  are  1000.  T her e  are  700  instan ces  are  la beled  as  cred it w or t hy,  and   300  instanc es  are  la bed e d  as  no t   cred it w or t hy.  Au st rali an  data set   con sist   of  14  predict or   at tr ibu te s  a nd   1  ta rg et   at trib ute.T her e  a re  total ly   690  instances  i n  A us tral ia n  datas et ,  co ns ist s  of   307  i ns ta nces   are  la bel d  cr editwo rthy,  a nd  383  in sta nc es  ar e   la beled  as  no t  cred it w or t hy  [21] .    Ta ble  1  f ur t her   desc ribe s  detai ls  of   these  dataset s.  Th e  wo r k  of  rese arch   is   con ti nue d  by  cond ucted  the  cl assifi cat ion   ta sk   with  C AR T  al gorithm   a nd   t he  pro pos ed  m et ho d  (C ART  +   BPSO ).   The   ex per im ental   pro cedures   will   be   car ried  out  in   this  phase .  T he n  10 - f ol d   valid at ion   a nd  c onf us io n  m at rix  are  use d  to  trai n  ou r  cred it   sco rin g  m od el .  So m e  m et rics  are  us e d  to  m eas ur e  perform ance  of  cl assifi er.  Me tric s  for  e valua ti ng cl assifi er  pe rfor m ance  ar e  accuracy,  e rror   rate,  sen sit ivit y,  sp eci fici ty ,  and  pr eci sio n.O veral l  per f or m ance  is  sh owe d  in   Re cei ver   O pe rati ng   C har act erist ic   (ROC)  Curve  an d  a re a  unde r   curve ( A UC)  of  ROC [ 22] ,  [ 23] .  At  la st, our  exp e rim ental   resu l t  is  analy ze d  a nd   c om par e d  to  t he  oth er   s i m i la r   m et ho d o f data  m ining .         Table  1.   Detai ls o f data set s   Dataset   No .  attribu t   No .  Ins tan ces   Ger m an .data - n u m eric   25   1000   Au stralian   15   690       Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8   :   5425   -   5431   5428   R a n d o m l y   i n i t i a l i z e   p o p u l a t i o n   p o s i t i o n s   a n d   v e l o c i t i e s E v a l u a t e   F i t n e s s   o f   P a r t i c l e   u s i n g   C A R T   A l g o r i t h m I f   p a r t i c l e   f i t n e s s   >   p a r t i c l e   b e s t   f i t n e s s U p d a t e   b e s t   p a r t i c l e I f   p a r t i c l e   f i t n e s s   >   g l o b a l   b e s t   f i t n e s s U p d a t e   g l o b a l   b e s t Y e s T e r m i n a t i o n ? N o U p d a t e   p a r t i c l e   v e l o c i t y U p d a t e   p a r t i c l e   p o s i t i o n O p t i m i z e d   P a r a m e t e r s   a n d   f e a t u r e   s u b s e t   Figure  2 .  Pro pose d  Me th od       Bi nar y  PSO   a ppr oach   is  us e d  as  featu re  se le ct ion   m e tho d  to  sel ect   best  su bs et   that  pr oduce  best   perform ance.    BPSO  is  an  ex te nd e d  al gorith m   of   Partic le   S war m   Op tim izati on   that  op e r at es  on   bin a ry  searc h  sp ace.   Each   pa rtic le   represe nts  posit ion  in  bi nar y  s pa ce  a nd   pa rtic le ’s  posi ti on   ca n  ta ke   on  the   bi nar y  va lue  0  or   1.  Fi gure  2  s hows  th e flowc har t  of   pro po se d  m et ho d.   It b e gin s  with r a nd om l y i niti alize  par ti cl e. Popul at ion  of   par ti cl es  ar e  create d,  an d  each  par ti cl e  is  correla te d  with  ge ne rated   so luti on.  All  par ti cl e’s  fitn ess  is   evaluate d.   Thi s  exp e rim ental  stud y  us ed  C ART  cl assifi cat ion   accu racy  as  the  fitness  f un ct io n.     Ba se d  on  the   resu lt ,  the  ne xt   ste p  is  to  ev al uate  par ti cl e’s  pbest   an d  gb e st.  Fo ll ow e d  by  update  pa rtic le   velocit y  an d  sigm oid   functi on.  Co ns tr uction   phase  le t  par ti cl es  m ov e  to  an oth e r  pote ntial   so luti on   base d  on  i ts  own   exp e rience  a nd  that  of  nei ghbor .  The  l oop  e nded  with  a  sto pp i ng   crit eria  in  te r m inati on   phas e  that  pr e determ ined bef or e [ 24 ] [ 25] .       3.   RESU LT S   A ND AN ALYSIS   Ex per im ental   resu lt   is  com par ed  i n  tw o  pha se  or  pa rt.  Firs t  ph ase ,  an   int ern al   e xp e rim e ntal  res ult  is  com par ed  eac h  ot her.  Pe rform ance  of   c re di t  scor in g  us in g  CART  al gor it h m   is  co m par ed  t o  cre dit  s cor i ng  us in g  CART+ PSO   al gorit hm.  Seco nd   ph as e,  we  com par e d  pro posed  m et hod  to  sim ilar  researc h.   T able  2  sh ows  the  first  ph a se c om par ison res ult.       Table  2 .  C om par iso n  Re s ult o f  CART  and C ART+B PS O   Metr ic   Ger m an .data - n u m eric  d ataset   Au stralian  datas et   CAR T   CAR T+BPSO   CAR T   CAR T+BPSO   Accurac y  ( %)   7 5 .2   78   8 5 .36   8 7 .53   Er ror  r ate  ( % )   2 4 .8   22   1 4 .64   1 2 .47   Sen sitiv ity  ( % )   8 9 .1   9 1 .71   8 4 .04   8 6 .97   Sp ecif icity  ( % )   4 2 .7   46   8 6 .42   8 7 .99   Precisio n  ( %)   7 8 .4   7 9 .85   8 4 .04   8 5 .30   AUC   0 .71 9 6   0 .73 9 2   8 7 .71   0 .90 3 4   No .  o f  Attr ib u te us ed   24   11   14   6         Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       Credit  S c or in g Usin g  C ART  Algo rit hm  and  Bina ry  P ar ti cl e S w ar m  Opti miza ti on   ( Rez a Fi rsan da y a  M alik )   5429   Table  3 .  C om par iso n resu lt  to  o the r researc hs   No .   Metho d s [ Ger m an . d ata - n u m eric  data  set]   Accurac y  %   1   Su p p o rt  Vector M achi n e ( SV M)   7 5 .98   2   SVM  +  W h iten in g  T rans f o r m atio n  ( W T )    7 6 .88   3   Linear  Disri m in an t Analysis   6 6 .60   4   Log istic Reg ressio n   7 2 .40   5   Neu ral  N etwo rk   7 5 .20   6   SVM  + Neigh b o rho o d  Ro u g h  Set   7 6 .60   7   Multi - Crite ria  Op tim i zatio n  Class if ier   (M COC )   73   8   Kernel Fu zzif icati o n  Penalty  –   MC O C   7 3 .40   9   SVM+  Genetic  Al g o rith m   7 6 .84   0   Back   Prop ag atio n   7 6 .69   1   Gen etic Pr o g ra m m in g   7 7 ,26   2   Decorate  + log R (e n se m b le )   7 7 .40   3   Bag g in g  +  SVM  ( e n se m b le )   7 6 .60   4   CAR T  + B PSO  (P rop o sed  M eth o d )   78             Figure  3 .  Acc uracy  co m par iso n  c har t       Table  2  sho w s  the  ov er al l  perform ance  of   pro po se d  m et hod  (BPS O+ CART)  com par ed  to  ba se   m et ho d  (CAR T).   It  is  cl ear   that  there  is  rem ark able  im pro vem ent  in  the  pro pose d  m et ho d.  Per f orm ance   sh ows   an   incre ase  in  te rm   of   accuracy,   the  a ccur acy   is  rais ed  f r om   75 . 2%   to  78 %   with   Ger m an. data - num eric  dataset   and   85. 36%  to  87.53 %  with  Austral ia n  dataset .  In   te rm   of   error   r at e,  propose d  m et ho d  s hows  a  bette r  perform ance.  Anothe r  in dicat or   of  i m pr ove m ent,  the  area  unde r  curve  ( AU C )  of   our  pro posed  m et ho d  valu e   is  0. 73 92   with   Ger m an. data - nu m eric  dataset   and   0.9 034  with  A us tral ia n  dataset ,  w hi ch  are  hi gh e r  than  the   base  le arn e r  m et hod.   Ex pe rim ental   resu lt   a lso  shows  that   featur e  sel ect ion   do es  a ff ect   ov e rall   perfor m ance.   Feat ur e sele ct ion  is an  im po rtance task to  im pro ve  th e p re di ct ion  accu racy of  the h y br i d  m od el . Classi fi cat ion  pro blem s  gen erall y  inv ol ve  a   nu m ber   of   fea tures  or   at tri bute .  Howe ver,  not  al l  of   t hese  featur e s  are   e qual ly   i m po rtant  for  c la ssific at ion   ta sk .  So m e  of  th ese  featu res  a r e  not  rele van t  and  re duda n.  O ur  pro po se d  m et ho d  search  f or  the  m os t   i m po rtan ce  featur es  f rom   the  search  sp ace  (all   featu res).  CART  +  BPSO  m et ho d  us ed  60.00 0% 62.00 0% 64.00 0% 66.00 0% 68.00 0% 70.00 0% 72.00 0% 74.00 0% 76.00 0% 78.00 0% Supp ort V ector  Machi ne SVM  + W hiten i n g Tran sfor mati on Li near  Disr i mi nant A na l y sis Log i sti c  R eg res sio n Neu ral  Ne twor k SVM  + Neig hbor hood Ro ugh Se t Mul ti-Cr i t eria  Opti miz ation C l a s si fie r Kern el  F u zzifi cat i on  Pen alty  - MC OC SVM+  G e netic  Alg orit hm BackP rop agat i on Ge net i c  Prog ram m in g De corate  + log R Bagg i n g +  S V M Clas sif i c ation  and R egres si on Tree CA RT +  Par ticle  Swa rm Op tim i za tion A ccurac y Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2088 - 8708   In t J  Elec  &  C om p  En g,   V ol.  8 , N o.   6 ,  Dece m ber  2 01 8   :   5425   -   5431   5430   on ly   11  from   24   at trib utes  and   6  from   14   at tribu te s.  T he   pr op os e d  m e t hod  ch oose  th e  best  at tribu te   that  con t rib ute  the  m os t  to  increase   ov e rall   per f or m ance.  N ot  to  fo r get,  the  aver a ge  ex ecuti on   ti m e   of   ou r   pro po se d  m et h od   is  ab out  te n  m inu te s.  Ter m   of   execu ti on   or   com pu ta ti onal   tim e   is  the  nex t  bi g  chall e ng e  to   our  resear ch ,  si nce  s pee d  has  a  great   im po rtance  i n  the   21st centu ry.  T he  le ss   com pu ta ti on al   tim e  m eans  m or e  eff ic ie nt a nd m or e  b e nef it  t o  t he ban k  a nd in du st ry.   The n  we  m easur e d  an d  c om par ed  our  ex pe r i m ent  resu lt   w it h  ano t her   si m il ar  m e tho d  and   researc h.   Figure  3  s how s  that  c om par e  to  se ver al   wel l - know n  arti fic ia l  intel li gen t  and  p opula r  al gorithm ,  our  pr opos e d  m et ho d  s hows   an  outst and i ng  res ult  with  78   %  acc ur ac y.  Accuracy   le vel  wh ic h  is  hig he r  tha n  Neural   Netw ork  al gorithm , G eneti c algori thm  an d S upport  Vecto r M achine.       4.   CONCL US I O N   In   this  cre dit  scor i ng   re sear ch,   we  e xp l ore  an  appro ac h  to  increase  th e  per f or m ance   of   our  ba se  le arn er  al gorithm .  CART  al go rithm   is  cho ose d  as  a  base  le arn e r,   since  it   is  on e  of  the  best  al gorithm s  that  is   m os tly  us ed  f or   t he  cl assifi cat ion   ta s k.   B inary  P a rtic le   Sw arm   Op ti m iz at ion   is  a dopted  t o  inc rea se  the   perform ance  of  CART   al gorit hm .  The   propo sed  m et ho d  is vali dated  with  r eal   pu blic  cre dit  dataset . The  res ult   sh ows  a n  over al l  i m pr ov em e nt  of   ou r  ex perim ent.  Ba sed   on   seve ral  ind ic at or s,  the  pro pose d  m e th od   s hows  a   bette r per form ance, suc h  as  a ccur acy ,  er ror r at e, sen sit ivit y,  sp eci fici ty  and  preci sion.   Com par ed  to  ano t her   resear ch,   our  pr opose d  m et ho d  al s o  sho ws  a n  ou tperfo rm   resu lt   with  78  %   accuracy,  22   %  err or  rate  w it h  Ger m an. dat a - num eric  dataset   and   85. 36  %  accuracy,  14. 64   %  er ror  r at e  with  Au st rali an  dat aset .  Be tt er  classificat ion   rat e  than  an oth e r   popu la r  cl assi ficat ion   al gorit hm   su ch  as  su pport  vecto r  m achine,  ne ur al   net w ork,   a nd   ge netic   al go rithm .  It  al so   con cl uded  the  fact  tha t  featur e  sel ect ion   a s   pr e processi ng  ste p of   data m i ning c ou l d  in cr ease pe rfor m ance.      Nex t  bi g  c halle ng e   is  to   inc r ease  the   sp ee d  of  e xecu ti on  of  the  pro pose d  m od el ,  due  to  the   lo ng  execu ti on  ti m e .  Since  s pee d  ha s  bec om e  a  prob le m ,  further  researc h  will   be   fo c us i ng   t o  i ncr ea se   the  s pe ed  of   execu ti on ti m e . Futu re s tu dies  m a y use a no t he r  feat ur e  selec ti on  m et ho d as  par t  of f it nes s fun ct io n  B PS O.       ACKN OWLE DGE MENTS   This  paper  is   pa rt  of  resea rch  w ork   f or  Ma ste r  of  Inf or m at ic s,  Faculty   of  Com pu te r  Scie nce ,  Un i ver sit as   Sr i wij ay a.       REFERE NCE S   [1]   X. - L.   Li,  “ An  O ver vie w  of  Personal  Credi t  Scor ing:   Techni ques  and  Future  W ork, ”  Int.   J.   Intell .   Sci . ,   vol.   02,   no .   24,   pp .   182 – 190 ,   2012.   [2]   S.  Hus sain,   N.  A.  Daha n,   F.  M.  Ba - al wi ,   and  N.  Riba ta,  “ Educ ational   Dat a  Mining  and  Anal ysis  of  Student s  ’  Aca demic   Perfor m anc e  Us ing  W EKA,”   In t. J .   E l ec tr.   Comput.   E ng. ,   vol. 9, no. 2, pp. 447 – 459,   20 18.   [3]   S.  M.  Sadat r asoul,   M.  Ghol amian,   M.  Si ami,   a nd  Z.   Ha ji m oha m m adi ,   “ Credi t   scoring  in  ban ks  and  fina nc ial   insti tutions   via  d at a  m ini ng   techn ique s:  A  l it er at ur e  rev ie w, ”  J .   AI   Data  Mini ngJou rnal  AI  Data  M i n. ,   vo l.   1 ,   no .   2,   pp.   119 – 129 ,   20 13.   [4]   T.   S.  L ee,  C.   C .   Chiu,   Y.  C .   Ch ou,   and  C.   J.  Lu ,   “ Mining  th e  cu stom er  cre dit   us ing  class ifi catio n  and  reg ression  tre e   and   m ult ivaria t e  ad aptive re gre ss ion  spline s, ”  Comput.   Sta t.  Data  Anal. ,   vol .   50,   no .   4 ,   pp .   11 13 – 1130,   2006 .   [5]   W .   Chen,   C.   Ma,   and  L.   Ma,   “ Mining  the   customer  cre di t  using  hy brid  support  ve ct or  m ac hine   t echnique , ”  Ex p ert   Syst.   Appl. ,   vol.  36,   no .   4 ,   pp .   76 11 – 7616,   2009 .   [6]   J.  Chen,   “ A  Method  of  Im proving  Credi t  Ev al u at ion  with  Supp ort  Vec tor  Mac hine s,”   2015  11t h  I nt.   Conf.   Nat .   Comput. ,   pp .   61 5 – 619,   2015 .   [7]   J.  Abell án  and  J.   G.  Caste ll ano ,   “ A  compara ti ve  stud y   on  base   cla ss ifi ers  in  ense mbl e  m et hods  for  cre di t  scoring,”   Ex pert   Syst .   App l. ,   vol .   73 ,   pp .   1 – 10,   2017 .   [8]   Y.  Ping  and  L .   Yongheng,   “ Nei ghborhood  rough  set  and  SV M  base d  h y brid  cr e dit   scoring  cl assi fie r,”  E xpe rt  Sys t.   Appl . ,   vo l. 38, n o.   9 ,   pp .   11300 – 11304,   2011 .   [9]   Z.   Zha ng ,   G.  Gao,   and  Y.  Shi,   “ Credi t  risk  eva luation  using  m ult i - cri t eria  opti m iz ation  class ifi er  with  ker n e l ,   fuz zi f ic a ti on   and   penalt y   fa c tors, ”  Eur.   J .   Oper .   R es. ,   vol. 237, no. 1, pp. 335 – 348,   2014.   [10]   A.  Bandhu  and  M.  Kum ar,   “ Com puta ti onal  t ime  red u ct ion   for  cre di t  scoring  :  An  int egr at ed   a pproa ch  b ase d  o n   support  vector  m ac hin e and  stra tified  sam pli ng   m et hod, ”  Ex pert   S yst.   Appl. ,   vol.   3 9,   no .   8 ,   pp .   677 4 – 6781,   2012 .   [11]   H.  He,   W .   Zh an g,   and  S.  Zha ng ,   “ A  novel   ense m ble   m et hod  for  cre di t  scoring :   ada pt ion  of  diff ere nt  imbala n ce  rat ios Hongl ia ng , ”  Ex p ert  S yst. Appl. ,   2018.   [12]   F.  N.  Koutanaei ,   H.  Saje d i,   and  M.  Khanba ba ei,  “ A  hy br id  da t a  m ini ng  m odel   of  fea tur e  sel ectio n  al gori thms   and  ense m ble   l ea rn in g  class ifi ers  for   cre di t  scoring , ”   J.   Retail.  Consu m.  Serv . ,   vol .   27 ,   pp.   11 – 23,   2015 .   [13]   X.  W u,   V.  Kum ar,   Q.  J .   Ross ,   J.  Ghos h,   Q.  Yan g,   H.  Motoda ,   G.  J.  McLachl a n,   A.  Ng,  B .   L i u,   P.  S.  Yu,  Z.   H.  Zhou,   M .   Ste inb ac h,   D.   J.  Hand ,   and  D.   Stei nb erg ,   Top 10   algorit h ms   in  data  min in g ,   vol .   14 ,   no .   1 .   2008.   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  Elec  &  C om p  En g     IS S N: 20 88 - 8708       Credit  S c or in g Usin g  C ART  Algo rit hm  and  Bina ry  P ar ti cl e S w ar m  Opti miza ti on   ( Rez a Fi rsan da y a  M alik )   5431   [14]   J.  He  and  H.  Gu o,   “ A  Modifie d  Parti cle  Sw arm  Optimiza ti o n  Al gorit hm , ”  Int .   J .   El e ct r.  Comput .   Eng. ,   vo l.   11 ,   no .   10,   pp .   6209 – 62 15,   201 3.   [15]   W .   A.  Shukur  and  K.  K.  Jabba r,  “ Inform at ion  Hiding  using  LSB  Te chn ique   base d   on  Deve lope d  PS O  Algorit hm , ”  Int.   J. Ele c tr.  Co mput.   Eng . ,   vol .   8,   no .   2 ,   pp .   115 6 – 1168,   2018 .   [16]   H.  Shahinz ad eh,  S.  M.  Nasr - az ad ani ,   and  N.  Jann esa ri,   “ Appli ca t i ons  of  Parti cle  Sw arm  Optimiza tion  Algorit hm   to   Solving  the   Ec o nom ic   Loa d  Dis pat ch  of   Units  in   Pow er  S y stems   with  Valve - Poin t  Eff e ct s, ”  Int .   J .   El e ct r.  Comput .   Eng. ,   vol .   4 ,   no .   6,   pp .   858 – 867 ,   2014.   [17]   R.   F.  Ma li k,   T .   A.  Rahman,   R .   Ngah,   S.  Za i ton,  and  M.   Hash im,  “ The   New  Mul ti point  Rela y s   Selecti on   in  OLS R   using Par ticle Sw arm Opti m iz at i on, ”  TEL KOMN IKA ,   vo l. 10, no. 2, pp. 343 – 352,   2012.   [18]   Q.  Bai,  “ Anal y si s of  Particl e  Sw a rm   Optimiza ti on   Algorit hm , ”   20 10.   [19]   A.  A.  Yah y a  a nd  A.  Os m an,   “ Cla ss ifi ca t ion  of  Hi gh  Dim ensiona l  Educat io nal   Data   using   Parti cle  Sw arm   Cla ss ifi c at ion , ”   pp.   34 – 41 ,   2014 .   [20]   A.  S.  H.   Basar i,  B.   Hus sin,  I .   G.   P.  Ananta,  and  J.   Ze n ia rj a,  “ Opinion  m ini ng  of   m ovie   r evi ew   usin g  h y b rid  m et hod   of  support  v ec to r  m ac hine a nd   p art i cl e   sw arm opt im iz ation, ”  Proce dia   Eng . ,   vol.  53,   pp .   453 – 462 ,   2013.   [21]   M.  Lichm an, “{U CI}  Mac hine L ea rning   Reposit o r y , ”  2013 .   [Onli ne] .   Available:  h tt p://ar chi ve . i cs. uci . edu/ m l.   [22]   H.  Jiawe i ,   M .   K amber,   J.   Han,  M.  Kam ber ,   and J .   Pei,  Data  Mining: Conc ep ts an d  Techni q u es .   20 12.   [23]   F.  Gorunescu,   “Cl assificat ion  Perform anc e  Ev aluati on , ”  in  Data   Mini ng.   Concepts,  Mode ls  and  Techni ques ,   vol .   12,   2011 ,   pp .   31 9 – 330.   [24]   S. - W .   Li n ,   K. - C .   Ying,   S. - C.   Ch en,   and  Z. - J.   L e e,   “ Particl e  sw ar m   opti m iz ation  for  par ame te r  d e te rm ina t ion  and   fea tur e  se le c ti on   of  support   vecto r  m ac hine s , ”   Expert  Syst .   Appl . ,   vol.   35 ,   no .   4 ,   pp .   1817 – 1824 ,   20 08.   [25]   S.  Talukder ,   “ Mathe m atical  Mod el li ng   and   Appli ca t ions  of  Part icle  Sw arm  Optimization,”  Schoo l   of  Eng ine e ring   Ble kinge Insti tute  of Te chnol o g y ,   2011.       BIB LIOGR A PHY  OF A UT HORS         Rez a  Firsand a y a   Mali k  was  born  in  Padang,   W est  Sum at era   in  19 76.   He  recei v ed  his  senior  high   school  in  SM AN   70  Bulunga n,   Jaka rt a  (1991  -   1994).   He  gr a duat ed  f rom   Instit ut  Sa ins  dan   Te knologi   Nasio nal   (ISTN ),   Jaka rta ,   as  S.T   (Ba ch el or  of  Engi ne ering)  in  2000  and  obta in ed  M.T   (Master   of  Te ch nique )  from   Instit ut  Te kno logi   Bandung   in  200 3.   He  rec e ive d  t he  PhD   degr ee   from   Univer siti   Te knologi   Malay s ia   (UTM)  in  2011,   where   he  inv esti gated  Routi n g   Optimiza ti o n  Sc hem e  in   W ire le s s Mesh Net works   using Par ticle  Sw arm Opti m iz at ion.   He  joi ned   Fa cult y   of  Com puter  Scie nce,   Univ ersit as  Sriwijaya   (UN SR I)  as  a  Le c ture r  in   Dec ember  2010.   He  al so  appoi nte d  as  m ember  of   Com m unic ation  Network  and  Secur i t y   (COM NETS)   Resea rch   L abor a t o r y   in  Fa cul t y   o f  Com pute r  Scie nce,  Univer sit a s  Sriwijay a.  During  complet i ng  Ph.D  stud y   i n   W ire le ss   Com m unic at ion  C en tre   (W CC)  (200 4  -   2006),   he   invol ved  in  W ire le ss   Campus   Project  –   Design   and  Deplo y m e nt  of  Hot - spot  IEE E  802 . 11g  W ire le ss   LAN,  col la bor at io n  bet wee n  W CC,   UTM  and  In dustr y .   He  wor ked  cl osel y   as  rese arc h er  in  Malay s ia   gov er nm ent   age nc ie s   such  as   Minist r y   of  Sci ence,   Te chno log y   and  Innova ti on   (MO STI)  and   Min istr y   of  Highe r  Edu ca t ion   (MO HE) M al a y s ia.   He  appoi nt ed  as   a  Co - Chie f  Ed it or  in   Com EngApp - Journal.   Th us,  as  m ember  of  Instit ute   of  El e ct ri ca l   and  Elec tron ic s  Eng ineers  (IE E E),   m oshara ka   for  res ea r ch  and  stud ie s  ( m oshara ka. ne t)  and   As socia t ion  of  Inform at ic s  a nd  Com pute r  Coll eg e  (AP TIKOM ).   His  expe ri e nce   in  journa l  m ana gement  as   a  rev ie wer   in   T EL KO MN IKA   Journal,   Journa l  of  Network  a nd  Com pute r  Applic a ti ons  (JN CA)   and  seve ral   Int ern a ti ona l  Confer e nce s  and  al so  as  Journal  Ed it o r   in   Com pute r  a nd  Engi ne eri n g  Applic a ti ons  ( Com EngApp )  and   Insti tut e   of  Advanc e d   Engi ne eri ng  and   Scie nc e  (IAES ).   In  UN SR I,   hi s  cur ren t  r ese ar ch  intere sts  in clude  computer   net works   and  so ft  computing .   He  al so  assigned  as  Hea d  of  Serv ic e  and  Appli cation  W orking   Group i n  Indon e sia  5G Forum .         Herm awa nis  a  m aste r  student   at   the   f ac u lty   of  computer   sci enc e  Univ ersity  of  Sriwij a y a ,   Pale m bang,   Sout h  Sum at era .   Cur ren tly   working  a s  a  le ct ur e  a t  inf orm at ion  s y stem   depa rtment  at   STMIK   GI  MDP,   Pale m bang,   South  Sum at era .   Pass iona te   about  la te st  t ec hnolog y ,   d eve lop ing   informati on  s y st em,  ana l y a z e  s y stem.  His  rese ar ch  int er est  area  in  so ftwa re  enginee ring ,   data  m ini ng,   da ta sci e nti st,   databa se   a nd  informati on   sy stem.       Evaluation Warning : The document was created with Spire.PDF for Python.