I AE S  I nte rna t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   9 ,   No .   1 ,  Ma r ch   2 0 2 0 ,   p p .   65 ~ 72   I SS N:  2252 - 8938 ,   DOI : 1 0 . 1 1 5 9 1 /i j ai. v 9 .i 1 . p p 65 - 72           65       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Cla ss ificatio n of  m ul ticlas s i m ba la nced data  usi ng   c o st - sens itive  decisio n t re e C5.0       M .   Aldi k i F ebria nto no 1 ,   Sh o leh H a di P ra m o no 2 ,   Ra h m a dw a t i 3 ,   G o ls ha h Na g hd y 4   1 De p a rtme n t  o f   El e c tri c a l  a n d   Co m p u ter E n g in e e rin g ,   Bra w ij a y a   Un iv e rsity ,   In d o n e sia   2, 3 F a c u lt y ,   De p a rtme n t  o f   El e c tri c a l  a n d   C o m p u ter E n g in e e rin g ,   Br a w ij a y a   Un iv e rsit y ,   In d o n e sia   4 S c h o o l  o f   El e c tri c a l,   Co m p u ter,  T e le c o m m u n ica ti o n   En g in e e rin g .   Un iv e rsit y   o f   W o ll o n g o n g ,   Ne w   S o u t h   W a les   A u stra li a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Sep t   5 ,   2 0 1 9   R ev i s ed   No v   2 5 ,   2 0 1 9   A cc ep ted   Dec   1 0 ,   2 0 1 9       T h e   m u lt icla ss   im b a lan c e d   d a ta  p ro b lem s  in   d a ta  m in in g   w e r e   in tere stin g   c a se s   to   stu d y   c u rre n tl y .   T h e   p ro b lem s   h a d   a n   in f lu e n c e   o n   th e   c l a ss if i c a ti o n   p ro c e ss   in   m a c h in e   lea rn in g   p r o c e ss e s.  S o m e   c a s e s  sh o w e d   th a t  m in o rit y   c las s  in   th e   d a tas e t  h a d   a n   im p o rtan t  i n f o rm a ti o n   v a lu e   c o m p a re d   to   t h e   m a jo rit y   c la ss .   W h e n   m in o rit y   c la ss   wa s  m isc l a ss i f ica ti o n ,   it   w o u ld   a ff e c t  th e   a c c u ra c y   v a lu e   a n d   c las sif ier  p e rf o r m a n c e .   In   th is  re se a rc h ,   c o st   se n siti v e   d e c isio n   tree   C5 . 0   w a s  u se d   to   so lv e   m u lt icla ss   i m b a lan c e d   d a ta  p ro b lem s.   T h e   f irst  sta g e ,   m a k in g   th e   d e c isi o n   tree   m o d e l  u se s  th e   C5 . 0   a lg o rit h m   th e n   th e   c o st   se n siti v e   lea rn in g   u se s  t h e   m e tac o st  m e th o d   t o   o b tai n   t h e   m in im u m   c o st  m o d e l.   T h e   r e su lt s  o f   te stin g   th e   C5 . 0   a lg o rit h m   h a d   b e tt e r  p e rf o r m a n c e   th a n   C 4 . 5   a n d   ID3   a lg o rit h m s.  T h e   p e rc e n tag e   o f   a lg o rit h m   p e rf o r m a n c e   f ro m   C5 . 0 ,   C 4 . 5   a n d   ID3   w e re   4 0 . 9 1 % ,   4 0 ,   2 4 %   a n d   1 9 . 2 3 %   K ey w o r d s :   C las s i f icatio n   Dec is io n   T r ee   C 5 . 0   Me taco s t   Mu lticla s s   P ar ticle  S w ar m   Op ti m at io n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC  BY - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   M.   A ld i k i Feb r ian to n o ,   R esear ch   Sch o lar ,     Dep ar t m en t o f   E lectr ical  an d   C o m p u ter   E n g in ee r i n g ,     B r a w ij ay a  U n i v er s it y ,   I n d o n e s ia   E m ail: a ld i k i f eb r ian to n o @ g m ail. co m       1.   I NT RO D UCT I O N   I n   th e  d i g ital  er a  n o w ad a y s ,   t h e  a m o u n t  o f   d ata  a v ailab le  i n   th e  d atab ase  is   in cr ea s in g   ti m e  b y   ti m e.   Ho w e v er ,   n o t  all  o f   t h e  d ata  c an   b e  u s ed   a n d   u tili ze d   e v en   t h o u g h   a  lo t  o f   d ata  h as  i m p o r tan t  i n f o r m atio n   a s   f u tu r e  k n o w led g e.   B ased   o n   class es ’   d is tr ib u t io n ,   t h e  d ata s et  is   d iv id ed   in to   t w o ,   n a m e l y   b in ar y   d ata  an d   m u lti - clas s   d ata  [ 1 ] .   B in ar y   d ata  o n l y   h as  t w o   clas s es  w h il e  m u lti - cla s s   d ata  h as  m o r e  t h an   t w o   class e s   [ 2 ] .   B in ar y   i m b ala n ce d   d ata  an d   m u lti - clas s   i m b alan ce d   d ata  ar e  p r o b lem s   th at   m u s t  b e  f a ce d   n o w ad a y s   [ 3 ] .     T h e  m aj o r ity   cla s s   i s   a  cla s s   th a t  h a s   a  r atio   n u m b er   o f   in s ta n ce s   m o r e  th a n   o t h e r   class es,  w h er ea s     th e  m in o r it y   cla s s   i s   o f te n   co n s id er ed   n o t  in f l u en t ial  in   t h e   m ac h i n e  lear n i n g   b ec au s e  it  o n l y   h as  les s   r atio   n u m b er   o f   in s ta n ce s   [ 4 ] .   I n   t h e  r ea l  w o r ld ,   m in o r it y   c lass   h as  an   i m p o r ta n t  i m p ac t  b ec a u s e  it  co n tai n s   u s e f u l  k n o w led g e  i n f o r m atio n   [ 5 ] ,   s u ch   a s   d iag n o s i s   t y p e s   o f   d is e ase  [ 6 ] ,   p r ed ictin g   cr ed it  w o r t h in e s s   o f   b an k   [ 7 ] ,   an d   telec o m   cu s to m er   ch u r n   p r ed ictio n   [ 8 ] .   I n   th e  class i f ica tio n   p r o ce s s   u s in g   m ac h in e  lear n in g ,   m i n o r it y   cla s s e s   ar e  o f ten   m i s clas s i f i ed   b ec au s e  m ac h in e  lear n i n g   p r io r itizes  m aj o r ity   cla s s e s   an d   i g n o r es  m i n o r it y   cla s s es  [ 9 ] .   T h er e  h av e  b ee n   m a n y   tech n iq u es  ca r r ied   o u t  b y   r e s e ar ch er s   to   s o lv e  p r o b le m s   in   i m b a lan ce d   d ata  [ 1 0 ] .   I n   class i f icatio n   p r o ce s s ,   th e   m u lti - clas s   i m b ala n ce d   d ata  h as   m o r e  d i f f icu lt  le v el   to   s o lv e  r at h er   t h an   b in ar y   i m b al an ce d   d ata  b ec au s e   m u lti - clas s   i m b ala n ce d   d ata  ca n   h a v e  m o r e  t h a n   o n e  m i n o r it y   cla s s es  [ 1 1 ] .   T h er e  ar e  m an y   w a y s   a n d   tech n iq u es   t h at  ca n   b e  u s ed   f o r   m u lt i - cla s s   i m b a lan ce d   d ata  p r o b lem s   [ 1 2 ] .   Ho w e v er ,   to   o b tain   o p ti m al  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   1 ,  Ma r ch   20 20 :   65   –   72   66   r esu lt s ,   it  n ee d s   n e w   d ev elo p m en t  tech n iq u e s .   E s p ec iall y ,   tech n iq u es  t h at  ar e  f o cu s   o n   th e  class i f ica tio n   o f   m i n o r it y   clas s es  w i th o u t ig n o r in g   t h e  m aj o r ity   cla s s e s .   On e  t ec h n iq u e  t h at  is   e f f ec ti v e  an d   ef f icie n t   to   h a n d le  t h e  i m b a lan ce d   d ata  p r o b le m   i s   co s t  s e n s i tiv e   d ec is io n   tr ee   [ 1 3 - 1 4 ] .   T h e  tech n iq u e  i s   t w o   m et h o d s   co m b in at io n ,   n a m e l y   co s t - s e n s i tiv e  lear n i n g   a n d   d ec is io n   tr ee .   T h e  tech n iq u e  w o r k s   b y   m a k i n g   a  d ec is io n   t r e e  m o d el,   in   w h ich   ca lc u late s   th e  m o s t  m i n i m u m   co s t  o f   m i s clas s i f icatio n   [ 1 5 - 1 6 ] .   T h u s ,   i m b ala n ce d   d ata  m is c lass if ica tio n   ca n   b e  m in i m ized   b y   u s i n g   co s t   s en s iti v e  lear n i n g   tec h n iq u es  in   t h e  d ec is io n   tr ee   m o d el.   T h er ef o r e,   it  n ee d s   n e w   d ev elo p m e n t  in   m a k i n g   a  d ec is io n   tr ee s   m o d el.   T h e  C 5 . 0   alg o r ith m   is   a  d ev elo p m en t   o f   th e  C 4 . 5   an d   I D3   alg o r ith m s   [ 1 7 ] .   T h e  C 5 . 0   alg o r ith m   w o r k s   b y   u s i n g   in f o r m at io n   g ai n .   I t  ca n   m a k e  t h e  d ec is io n   tr ee   m o d el  m o r e  ef f ec ti v e  an d   f a s ter   in   m ak in g   d ec is io n s   [ 1 8 - 2 0 ] .   I n   th is   r esear c h ,   w e  w ill  f o cu s   o n   h a n d lin g   m u lticlas s   i m b a lan ce d   d ata  p r o b lem s   b y   u s in g   co s t  s e n s i tiv e   d ec is i o n   tr ee   C 5 . 0 .   T h en ,   co s t  s en s i tiv e  lear n i n g   u s e s   m etac o s t  m eth o d .   T h e  m et h o d   w o r k s   b y   r e - lab elin g   an d   p r u n in g   o f   a  d ec is io n   tr ee   m o d el  to   b u ild   a  m in i m u m   co s t  m o d el.   T h e  d ec is io n   tr ee   m o d el  h as  an   i m p ac t  to   th e  p er f o r m an ce   a n d   r ate  o f   th e  f o r w ar d   class i f icatio n   p r o ce s s .   T h is   p ap er   aim s   to   co m p ar e  t h e  p er f o r m an ce   o f   C 5 . 0 ,   C 4 . 5   an d   I D3   alg o r ith m s   i n   d esig n i n g   th e  d ec is io n   tr ee   m o d el.         2.   RE S E ARCH   M E T H O D     2 . 1 .   Da t a s et   T h is   r esear ch   is   u s in g   d at asets   f r o m   U C I   Ma ch i n e  L ea r n i n g   R ep o s ito r y ,   n a m el y :  Gla s s ,   L y m p o g r ap h y ,   Vec h ile,   T h y r o id ,   an d   W in e.   T h e  r ea s o n   o f   ch o o s in g   th e s e  f i v e  d at asets   b ec au s e  t h at    th e  m u lti - clas s   i m b ala n ce d   d ata  is   o f ten   u s ed   i n   t h e  p r o b lem s   o f   c lass if ica tio n   r esear c h   [ 2 1 - 2 3 ] .     T h e  d escr ip tio n   o f   th ese  d ata s et  is   li s ted   in   T ab le  1 .   10 - f o ld   cr o s s   v alid atio n   i s   u s ed   i n   m ac h i n e  lear n in g   p r o ce s s   b ec au s e  it  h a s   b ec o m e  a  s tan d ar d   f o r   in cr ea s i n g   cl ass i f ier   r esu lts ,   w h er e  th e  d at aset  is   d iv id ed   in to   t w o ,   n a m el y   9 0 % f o r   tr ain i n g   an d   1 0 % f o r   test in g   [ 9 ].       T ab le  1 .   Descr ip tio n   o f   d atasets   No   D a t a se t   N u mb e r   o f   I n st a n c e s   N u mb e r   o f   A t r i b u t   N u mb e r   o f   C l a sse s   D e scri p t i o n   1   G l a ss   2 1 4   10   7   G l a ss i d e n t i f i c a t i o n   d a t a   2   L y mp o g r a f i   1 4 8   18   4   H e a l t h   R e so u r c e   D a t a se t   3   V e c h i l e   9 4 6   18   4   V e c h i l e   i d e n t i f i c a t i o n   d a t a   4   T h y r o i d   2 1 5   5   4   H e a l t h   R e so u r c e   D a t a se t   5   W i n e   1 7 8   13   3   W i n e   i d e n t i f i c a t i o n   d a t a       2 . 2 .   P re pro ce s s ing   P r ep r o ce s s in g   is   th e   p r o ce s s in g   o f   d atasets   b y   a n al y zi n g   a n d   i m p r o v in g   d ata  s o   t h at  it   ca n   p r o d u ce   n e w   d atase ts   t h at   ar e  g o o d   to   u s e   i n   t h e  n ex t   p r o ce s s .   T h e  w a y   to   h a n d le  t h e  p r o b le m   i s   b y   g o i n g   th r o u g h   s ev er al  s ta g es,  i n clu d i n g   ch a n g in g /cle a n i n g   d ata,   r ed u cin g   d ata  an d   tr an s f o r m in g   d ata  [ 2 4 ] .   T h e  n ex t  s tep   is   to   n o r m alize   m i n - m ax   b y   c h an g i n g   t h e  v alu e   o f   t h e  d ata s ets  b y   s ca li n g   0 - 1   w i th   th e   ai m   o f   w ei g h ti n g     th e  i n f o r m atio n   co n tai n ed   in   b alan ce d   d atasets   to   d o   th e  attr i b u te  s elec tio n   p r o ce s s .   Stated   b elo w   is   M in - m ax   n o r m aliza t io n   ( 1 ) .     m i n ( ) m a x ( ) m i n ( ) i xx y xx   ( 1 )     y   is   th e  r e s u lt  o f   s ca l in g   n e w   v al u es  ( 0 - 1 ) ,   x i   is   t h e  d at a  v alu e  th at  w an t s   to   b e  ch an g ed .   Mi n   ( x )   is     th e  m in i m u m   v al u e  o f   t h e  attr i b u te  ( x )   an d   m ax   ( x )   m a x i m u m   v al u e  o f   t h e  attr ib u te  ( x ).     2 . 3 .   P a rt icle  s wa r m   o pti m iz a t io n   P ar ticle  s w ar m   o p ti m izatio n   ( P SO)   is   a  m eth o d   o f   o p ti m izat io n   th a t  is   g o o d   at  i m p r o v i n g   p er f o r m a n ce   b y   s elec t in g   attr ib u tes  b ased   o n   th e  v al u e  o f   in f o r m atio n   w ei g h ts   i n   th e  d a tasets .   I n f o r m ati v e   an d   r elev an t  attr ib u te s   w ill  b e  clo s er   t o   1   w h ile  t h e  attr ib u tes  th at  ar e  n o t  n ee d ed   ar e  clo s er   to   0 .   T h er e  ar e  t w o   p ar a m eter s   in   d eter m in i n g   t h e  v alu e   o f   in f o r m atio n   w eig h t,  n a m el y   t h e  v elo cit y   v a lu e  a n d   p o s itio n   v al u e  [ 2 5 ] .   B elo w   ar e  th e  s tep s   o f   s elec t i n g   at tr ib u te s   u s in g   p ar ticle  s w ar m   o p ti m iz atio n :   Step   1 .   I n p u t th e  d ataset.   Step   2 .   T h e  v elo cit y   a n d   in itia l p o s itio n   o f   th e  at tr ib u te  ar e  d eter m i n ed   r an d o m l y .   Step   3 .   I n itial v elo cit y   a t p o s it io n   0   to w ar d s   o p ti m al  p o in t 1 .   Step   4 .   C alcu lati n g   th e  v elo cit y   o f   attr ib u te  i   i n   d   d i m e n s io n   u s i n g   th e  f o llo w in g   ( 2 ) :   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       C la s s i fica tio n   o f m u lticla s s   im b a la n ce d   d a t a   u s in g   c o s t - s en s itive  d ec is io n   tr ee   C 5 . 0   ( M.  A l d iki  F eb r ia n to n o )   67     1 1 1 2 2 kk i d i d i d i d i d i d V w V c r a n d P X c r a n d G X   ( 2 )     Step   5 .   C alcu lati n g   th e  p o s itio n   o f   i n d iv id u al  attr ib u te s   i  in   d   d im e n s io n s   u s in g   t h e  f o llo w i n g   ( 3 ) :     11 k k k i d i d i d X X V     ( 3 )     Step   6 .   Up d atin g   P b est an d   Gb est   to   g et  th e  m o s t o p ti m a l v e lo cit y   an d   p o s itio n   o n   ea ch   att r ib u te.   Step   7 .   A ttrib u tes  w h o s e  p o s it io n   an d   i n itial  v elo cit y   d o   n o t  ch an g e/ar e  w o r th   0   ( ze r o )   o r   h av e  s m all  v al u e  ar e  r e m o v ed   af ter   t h e  u p d ate  p r o ce s s   is   co m p le te.   w h er e,     V id     =  I n d iv id u al  v elo cit y   co m p o n en t  i   in   d   d i m e n s io n   X id     =  P o s itio n   o f   in d i v id u al  i   i n   d   d i m en s io n       =  I n er tia  w ei g h t p ar a m eter   12 cc       =  C o n s ta n t a cc eler atio n   ( lear n in g   r ate) ,   th e  v al u e  is   b et w ee n   0   an d   1   1 , 2 r a n d   =  R an d o m   p ar a m eter   b et w ee n   0   an d   1   id P     =  P b est ( lo ca l  b est)  in d iv id u a l  i   in   d   d i m en s io n   id G       =  Gb est ( g lo b al  b est)  in d iv id u al  i   in   d   d i m en s io n     2 . 4 .   Dec is io n  t ree   T h e  Dec is io n   T r ee   is   a  class if icatio n   m e th o d   in   d ata  m in in g   class i f icatio n   th at  ca n   b e  u s e d   to   s o lv e   class i f icatio n   p r o b lem s   b o th   b in ar y   clas s   an d   m u lt i - cla s s   [ 2 6 ] .   T h e  co n ce p t  o f   d ec is io n   tr ee   m o d el  is   a     to p   d o w n   s tr u ct u r e  th at  tu r n   d ata  in to   a  d ec is io n   tr ee   t h en   p r o d u ce   r u les.  T h e  d ec is io n   tr ee   r eq u ir es  alg o r it h m   f o r m u la  f o r   d eter m i n i n g   t h e  r o o t  n o d e,   in ter n a l  n o d e  an d   leaf   n o d e  to   m a k e  a   d ec is io n   tr ee   m o d el  [ 2 7 ] .   A l g o r ith m s   th at  ar e  o f te n   u s e d   to   s o lv e  class i f icatio n   p r o b le m s   ar e  I D3 ,   C 4 . 5   an d   C 5 . 0   [ 2 8 ] .   C o m p ar is o n s   o f   ea ch   alg o r it h m   ar e  s h o w n   in   T ab le  2 .       T ab le  2 .   C o m p ar is o n s   b et w ee n   d if f er en t d ec is io n   tr ee   alg o r i th m     I D 3   C 4 . 5   C 5 . 0     Ty p e   o f   d a t a     C a t e g o r i c a l     C o n t i n u o u s a n d   C a t e g o r i c a l   C o n t i n u o u s a n d   C a t e g o r i c a l ,   D a t e s,  T i me s,  T i me st a m p s   S p e e d   L o w   F a st e r   t h a n   I D 3   H i g h e st   P r u n i n g   No   Pre - p r u n i n g   Pre - p r u n i n g   B o o st i n g   N o t   su p p o r t e d   N o t   su p p o r t e d   S u p p o r t e d   M i ss i n g   V a l u e   C a n t ’ t   d e a l   w i t h   C a n t ’ t   d e a l   w i t h   C a n   d e a l   w i t h   F o r mu l a   U se   i n f o r mat i o n   e n t r o p y   U se   sp l i t   i n f o   a n d   g a i n   r a t i o   U se   i n f o r mat i o n   G a i n       2 . 5 .   C5 . 0   Alg o ri t h m   C 5 . 0   alg o r ith m   i s   a  d ev elo p m en t  o f   th e  p r ev io u s   al g o r ith m s ,   I D3   an d   C 4 . 5   [ 1 7 ] .   T h e  ad v an tag e s   o f   C 5 . 0   ar e  th at   it   is   lo w   m e m o r y   u s a g e,   f aster   in   m ak in g   d ec i s io n s   an d   m o r e  e f f ec ti v e  i n   b u ild in g   d ec is io n   tr ee   m o d el s   [ 1 8 ,   2 0 ] .   C 5 . 0   m o d el  w o r k s   b y   ca lc u lati n g   t h e  e n tr o p y   v alu e   an d   in f o r m atio n   g ai n   o n   ea ch   attr ib u te  [ 1 9 ] .   T h e  attr ib u te  th at   h a s   t h e  lar g est   in f o r m a t io n   g a in   v al u e  t h e n   b ec o m e s   t h e  r o o t n o d e.   T h en   th e  r o o t  n o d e  f o r m s   a  n e w   cr i t er ia  b r an ch   ca lled   th e  in ter n al  n o d e.   T h e  p r o ce s s   w ill  s to p   if   n o   n e w   cr iter io n   is   g en er ated .   T h e  d o w n   n o d e  t h en   f u n ctio n s   as   an   o u tp u t  ca l l ed   leaf   n o d e.   T h e  L ea f   n o d e  w o r k   to   p r ed ict  th e  class   o f   th e  clas s i f ier   [ 2 6 ] .   B elo w   is   t h e  p r o ce d u r e  o f   h o w   to   m a k e  th e  d ec is io n   tr ee   m o d el  u s i n g   th e  C 5 . 0   alg o r i th m :   Step   1 .   I n p u t d ataset  tr ain i n g   Step   2 .   C alcu lati n g   th e  to tal  e n tr o p y   v al u e  o f   t h e  d ataset  u s i n g   t h e  f o llo w in g   ( 4 ) :       ( 4 )     Step   3 .   C alcu lati n g   th e  e n tr o p y   v al u e  o f   ea c h   cr iter io n .   Step   4 .   C alcu lati n g   th e  i n f o r m atio n   g ai n   v a lu e  f o r   ea ch   attr ib u te  u s i n g   t h e  f o llo w i n g   ( 5 ) :       2 1 ( ) ( ) l o g ( ( ) ) n ii i H S p s p s  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   1 ,  Ma r ch   20 20 :   65   –   72   68   ( , ) ( ) ( ) i n i A S I G S A H S H S S    ( 5 )     Step   5 .   T h e  attr ib u te  th at  h as t h e  lar g es t in f o r m at io n   g a in   v al u e  as t h e  r o o t n o d e.   Step   6 .   C r ea tin g   a  b r an c h   f r o m   th e  n o d e’ s   cr iter ia.   Step   7 .   R ep ea tin g   th e  p r o ce s s   o f   ca lcu lati n g   th e   en tr o p y   v al u e  a n d   in f o r m a tio n   g ai n .   T h e  p r o ce s s   w ill  s to p   if   all  th e  attr ib u te  cr iter ia  h av e  p r o d u ce d   th e  p r ed icted   class .   w h er e,   S   =  Set o f   ca s es   N   =  Nu m b er   o f   p ar titi o n   at tr ib u t es A   Pi   =  P r o p o r tio n   o f   Si to   S   A   =  A ttrib u te   | S |   =  Nu m b er   o f   ca s e s   o n   t h e  i p ar titi o n   | S |   =  Nu m b er   o f   ca s e s   i n   S       2 . 6 .   Co s t - s ens it iv e  lea rning   C o s t - s e n s it iv e  lear n in g   is   a   lear n in g   m et h o d   th at  ca n   s o lv e  i m b ala n ce d   d ata  p r o b le m s   [ 1 4 ] .     T h e  co n ce p t  o f   t h e   m e th o d   is   to   r ed u ce   m is cla s s i f icatio n   co s t  s o   th a t  ca n   i m p r o v e  t h e  p er f o r m a n ce   o f     th e  cla s s i f ier .   T h is   m et h o d   ass u m e s   t h at  t h e  m i n o r it y   class   h as  a  h i g h er   m is cla s s if icatio n   co s t  t h a n     th e  m aj o r ity   clas s .   T h er ef o r e,   m ac h in e   lear n i n g   w ill   f o c u s   o n   ac c u r atel y   clas s i f y i n g   m i n o r it y   cla s s .   C o s t   s en s iti v e  ca n   b e  ca te g o r ized   in to   t w o   cr iter ia.   T h e  f ir s t   cr it er io n   is   th e   d ir ec t  m e th o d   w h ich   it s   cla s s i f ier   i s   co s t  s en s iti v e  to   t h e m   s u ch   a s   I C E T   an d   co s t - s e n s i tiv e  d ec i s io n   tr ee .   T h e  o th er   ca te g o r y   i s   th e  co s t - s en s iti v e   m eta - lear n i n g   m et h o d .   I t  i s   ca te g o r ized   in to   t w o   tec h n iq u es,  n a m el y   t h r es h o ld in g   an d   s a m p lin g .   T h e  th r esh o ld in g   tech n iq u e  h as  m et h o d s ,   n a m el y   Me ta C o s t,  C o s tSen s iti v e  C la s s i f ier ,   C o s t - s e n s iti v e  n aï v e  B ay e s   an d   E m p ir ical  T h r es h o ld in g   [ 1 8 ] .   Fig u r e  1   s h o w   s tr u c tu r e  o f   co s t se n s i tiv e  lear n i n g           Fig u r e  1 .   Stru ct u r e  o f   co s t se n s iti v e  lear n i n g       2 . 7 .   M et a Co s t     Me taco s t  is   a  co s t - s e n s iti v e  m e th o d   th at  u s es  t h e  th r esh o ld in g   m eta - lear n i n g   ap p r o ac h   to   m i n i m ize  co s ts   [ 1 5 ] .   T h e  w o r k i n g   p r in cip le  o f   m eta co s t  is   ca lcu lati n g   th e  p r o b ab ilit y   v al u e  o f   ea ch   lea f   n o d e  [ 1 6 ] .   W h en   th e  p r o b ab ilit y   v a lu e  o f   lea f   n o d e  is   >  1 ,   r e - lear n i n g   o f   ea ch   n o d e  is   d o n e  b y   p r u n i n g   o r   r elab elin g   u n ti l  t h e   m i n i m u m   co s t  i s   o b tain ed .   T h e  co s t  is   d e n o ted   as  C   ( i,  j ) ,   w h er e  i  i s   t h e  ac t u al   class   b u t  i s   p r ed icted   to   b e   cla s s   j   w h ich   ca u s e s   m i s clas s i f ic atio n   [ 2 2 ] .   T h e  co s t  w ith   t h e  m i n i m u m   v alu e  w i ll   b e  u s ed   as  t h e  p r ed icted   clas s   o r   n e w   lea f   n o d e  to   g et  a n   o p tim a l  p er f o r m a n ce .   B elo w   is   t h e  p r o ce d u r e  o f   ap p l y i n g   th e  m etac o s t a l g o r ith m .       M e t h o d   :  M e t a c o st   Ou t p u t   :  D e c i si o n   T r e e     S t e p   :   Fo r   i   =   1   t o   m   L e t S i   b e   a   l e a f   n o d e   o f   S   w i t h   n   n o d e .   L e t   M i   =   M o d e l   p r o d u c e d   b y   a p p l y i n g   L   t o   S i .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       C la s s i fica tio n   o f m u lticla s s   im b a la n ce d   d a t a   u s in g   c o s t - s en s itive  d ec is io n   tr ee   C 5 . 0   ( M.  A l d iki  F eb r ia n to n o )   69   Fo r   e a c h   n o d e   x   i n   S   Fo r   e a c h   c l a ss   j   L e t   () P j x 1 ( , ) 1 i i i P j x M   i f   ( , ) 0 i P j x M   i s p r o d u c e d   b y   M i   E l se   ( , ) 1 i P j x M   L e t   x ’ s c l a ss =   a r g mi n i   ( ) ( , ) j P j x C i j   L e t   M  =   M o d e l   p r o d u c e d   b y   a p p l y i n g   L   t o   S.   R e t u r n   M     w h er e,     S   =  T r ain in g   s et   L   =  C lass if ica tio n   lear n in g   al g o r ith m   C   =  C o s t  m atr i x   M   =  Nu m b er   o f   lea f   n o d e  to   g e n er ate   N   =  Nu m b er   o f   n o d e  in   ea ch   lea f   n o d e     2 . 8 .   Va lid a t i o n  m u lt icla s s   C o s t  m atr i x   i s   a   r ep r esen t atio n   o f   t h e  r es u lt s   o f   p r ed ictio n   er r o r s   ( m i s clas s i f ic atio n )   i n   m ac h in e   lear n i n g   [ 8 ] .   C o s t   m atr i x   is   d e f i n ed   as   C   ( i:  j )   w h er e  i  is   th e   ac t u al   class   an d   j   is   th e   p r ed icted   class   [ 2 2 ] .   Misclass if icatio n   p r ed ictio n s   co s t  o f   m u lti - clas s   ar e  p r esen ted   s u c h   as   C ( 2 , 1 ) ,   C ( 3 , 1 ) ,   C ( 1 , 2 ) ,   C ( 3 , 2 )   , C ( 1 , 3 )   ,   C ( 2 , 3 ) ,   w h ile  co r r ec t  class if icatio n   co s t  o f   m u lt i - c lass   ar e  p r esen t ed   s u ch   as  C ( 1 , 1 ) ,   C ( 2 , 2 ) ,   C ( 3 , 3 ) th at  co s t  v alu e   ar e  0 .   T ab le  o f   co s t  m atr i x   is   s h o w n   in   t h e  T ab le  3 .   Pr ed icted   d ata  o f   th e  class i f icatio n   m o d el  ar e  p r esen ted   u s in g   t h e  C o n f u s io n   m a t r ix   tab le,   w h ic h   co n tai n s   i n f o r m atio n   ab o u t  t h e   ac tu al  cl a s s   p r ese n ted   i n   t h e  r o w   o f   th e   m a tr ix   a n d   p r ed icted   class   o n   th e  co l u m n   [ 1 5 ] .  C o n f u s io n   m atr ix   is   u s ed   to   m ea s u r e  th e  p er f o r m a n ce   o f   a  class if ier   m o d el  b ase d   o n   T P ,   T N,   FP   an d   FN.  T r u e  p o s itiv e  ( T P )   an d   tr u e  n eg a tiv e  ( T N)   w h e n   th e  p r ed ictio n   r esu lts   ar e  t r u e  [ 8 ] .   Fals e  p o s itiv e  ( FP )   w h e n   th e  ac tu al  p r ed ictio n   r esu lt s   ar e  ( - )   b u t  ac t u all y   ( +) .   Fals e  n e g ati v e  ( FN)   w h e n   t h e  p r ed ictio n   r esu l ts   ar e  ( +)   b u t  ac tu all y   ( - ).   T ab le  o f   co n f u s io n   m atr i x   is   s h o w n   i n   t h e  T ab le  4 .       T ab le  3 .   C o s t m a tr ix       P r e d i c t e d   C l a ss       1   2   3     1   C ( 1 , 1 )   C ( 2 , 1 )   C ( 3 , 1 )   A c t u a l   2   C ( 1 , 2 )   C ( 2 , 2 )   C ( 3 , 2 )   C l a ss   3   C ( 1 , 3 )   C ( 2 , 3 )   C ( 3 , 3 )     T ab le  4 .   C o n f u n ctio n   m atr i x       P r e d i c t e d   C l a ss       1   2   3     1   N 11   N 12   N 13   A c t u a l   2   N 21   N 22   N 23   C l a ss   3   N 31   N 32   N 33         T h e  p er f o r m a n ce   o f   cla s s i f ie r   ca n   b e  s ee n   f r o m   t h e  ac c u r ac y   o f   clas s if icatio n ,   w h er e  th e  h i g h e r   class i f icatio n   ac cu r ac y   t h is   m ea n s   th e  b etter   p er f o r m an ce   o f   th e  clas s i f icatio n   m o d el  [ 1 5 ] .   T h e  ac cu r ac y   is   a   test i n g   m e th o d   b ased   o n   th e   n u m b er   o f   co r r ec t  r esu lt   p r ed ictio n   cla s s i f icatio n .   T h e  eq u a tio n   f o r   ca lcu la tin g   th e  v al u e  o f   ac c u r ac y   i s   s h o w n   as  f o llo w s :     TP A c c u ra c y TP TN F P F N    ( 6 )     Misclas s i f icatio n   co s t  i s   t h e  v alu e  o f   clas s   p r ed ictio n   er r o r s   b ec au s e  t h e  cla s s i f ier   ca n n o t  p r ed ict  th e  class   co r r ec tl y   [ 8 ] .   I t  is   in v er s el y   p r o p o r tio n al  to   th e  a cc u r ac y   v a lu e  i f   ac cu r ac y   v alu e  is   lar g e,   t h e   p er f o r m a n ce   o f   t h e  clas s i f ier   is   g o o d   class i f icatio n   b u t  i f   th e  co s t  h a s   lar g e  v a lu e,   t h e  p er f o r m a n ce   o f   t h e   class i f ier   is   b ad   class i f icat io n .   T h e  eq u atio n   to   ca lcu late  t h e  co s t is s h o w n   as  f o llo w s :     C o s * * F N F P t C F N C F P    ( 7 )           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   1 ,  Ma r ch   20 20 :   65   –   72   70   2 . 9 .   T ra ini ng   p ro ce s s   I n   th is   r esear c h ,   t h er e  ar e  s ev er al  s tep s   o r   s ta g es  o f   r es ea r ch ,   s u ch   a s   ( i)   d ata  co lle ctio n ,   ( ii)   p r ep r o ce s s in g ,   ( iii)  attr ib u tes  s elec tio n ,   ( iv )   tr ain i n g   an d   test i n g   p r o ce s s ,   ( v )   v alid atio n .   T h ese  a r e  th e  m e th o d   s o lu tio n   s tep s   t h at  w ill b e  ca r r ied   o u t to   s o lv e  th e  p r o b le m   o n   i m b ala n ce d   m u ltic lass   d ata.   Step   1 .   I n p u t th e  d ataset  f o r   p r o ce s s in g .   Step   2 .   R ep lacin g   th e  m is s in g   v al u e  an d   r e m o v e  t h e  o u tli n er   f r o m   th e  d ataset  a n d   p er f o r m   th e  m i n - m a x   n o r m aliza t io n   p r o ce s s .   Step   3 .   Selectin g   t h e  attr ib u te  th at  w ill b e  u s ed   u s in g   P SO.   Step   4 .   C r ea tin g   t h e  d ec is io n   t r ee   m o d el  u s i n g   t h e  I D3 ,   C 4 . 5 ,   C 5 . 0   alg o r ith m .   Step   5 .   P e r f o r m in g   a  r e m o d eli n g   o f   th e  d ec is io n   tr ee   b y   m in i m izi n g   t h e  co s t o f   u s in g   t h e  m etac o s t  m et h o d .   Step   6 .   P e r f o r m in g   v a lid atio n   b y   ca lc u lati n g   th e  v al u e  o f   ac c u r ac y   a n d   to tal  co s t.       3.   RE SU L T   AND   DI SCUS SI O N   T h e  class if ier   m o d el  test i n g   i s   ca r r ied   o u t  u s i n g   a n   I n tel  C o r e  i5   p e r s o n al  co m p u ter ,   1 6   GB   R AM ,   W in d o w s   1 0   o p er atin g   s y s te m   a n d   R ap id   Mi n er   v er s io n   7 . 3 . 0   test in g   t h e   clas s if icatio n   m o d el   is   ca r r ied   o u t   u s i n g   5   d ataset s   o f   UC I   R ep o s ito r y   L ea r n in g   R ep o s ito r y   ( Glass ,   L y m p o g r af i,  Vec h i le,   T h y r o id   an d   W i n e) .   T h er e  ar e  th r ee   s ce n ar io   o f   test in g :   1.   P er f o r m a n ce   o f   I D3 ,   C 4 . 5 ,   an d   C 5 . 0 .   2.   P er f o r m a n ce   of   I D3   +  P SO,  C 4 . 5   +  P SO,  C 5 . 0   +  P SO.   3.   P er f o r m a n ce   o f   I D3   +  P SO +   Me taC o s t,  C 4 . 5   +  P SO +   Me taC o s t,  C 5 . 0   +  P SO +   Me taC o s t.   T ab le  5   is   th e  r esu lt  o f   test i n g   p er f o r m an ce   ac c u r ac y   u s i n g   m ac h in e  lear n i n g   " r m i n n er " .   T h e  o u tp u t   o f   m ac h in e  lear n i n g   is   a  tab le  co n f u n c tio n   m atr i x   th at  s h o ws  th e  p er f o r m an ce   o f   t h e  class if ier .   T h is   r esear ch   u s e s   3   test i n g   s ce n ar io s .   T h e  f ir s t  s ce n ar io ,   test in g   u s es  th e   d ec is io n   tr ee   alg o r it h m   ( I D3 ,   C 4 . 5 ,   an d   C 5 . 0 ) .   T h e  s ec o n d   s ce n ar io ,   test i n g   u s e s   s ce n ar io   1   an d   P SO.  T h e  th ir d   s ce n ar io ,   test i n g   u s es   s ce n ar io   2   an d   t h e  m etac o s t  m et h o d .       T ab le  5 .   R esu lt o f   ac c u ar y   m e asu r e m en t   D A TA   S ET   I D 3   C 4 . 5   C 5 . 0   I D 3   I D 3 + P S O   I D 3 + P S O + M ET A   C 4 . 5   C 4 . 5 + P S O   C 4 . 5 + P S O + M ET A   C 5 . 0   C 5 . 0 + P S O   C 5 . 0 + P S O + M ET A   V e c h i l e   2 5 . 5 3 %   2 5 . 5 3 %   2 5 . 5 3 %   7 1 . 0 1 %   7 2 . 3 4 %   7 6 . 8 6 %   7 1 . 0 1 %   7 1 . 5 4 %   7 5 . 2 7 %   G l a ss   3 2 . 7 1 %   3 2 . 7 1 %   3 2 . 7 1 %   6 8 . 2 2 %   6 8 . 2 2 %   7 0 . 0 9 %   6 7 . 2 9 %   7 0 . 0 9 %   7 6 . 1 7 %   L y mp o g r a f i   4 1 . 2 2 %   4 1 . 2 2 %   4 1 . 2 2 %   7 5 . 6 8 %   7 9 . 7 1 %   8 3 . 3 3 %   7 5 . 0 0 %   7 8 . 9 9 %   8 3 . 3 3 %   W i n e   3 3 . 1 5 %   3 3 . 1 5 %   3 3 . 1 5 %   9 3 . 8 2 %   9 4 . 0 5 %   9 7 . 6 2 %   9 2 . 8 6 %   9 4 . 3 8 %   9 5 . 8 3 %   T h y r o i d   6 9 . 7 7 %   6 9 . 7 7 %   6 9 . 7 7 %   9 3 . 9 5 %   9 3 . 9 5 %   9 3 . 4 9 %   9 4 . 4 2 %   9 4 . 4 2 %   9 5 . 8 1 %       I n   t h e  f ir s t   s ce n ar io ,   ( 1 )   I D3   h as  th e   s m alle s t  p er f o r m an ce   b ec au s e  it   is   n o t   ab le  to   ce r ti f y   co n tin u e   d ata.   ( 2 )   T esti n g   u s in g   C 4 . 5   h as   g o o d   p er f o r m a n ce   i n   d ata  g la s s ,   l y m p o g r af i ,   an d   win e  w i th   a   v a lu e  o f   6 8 . 2 2 %,  7 5 . 6 8 %,  an d   9 3 . 8 2 %.  ( 3 )   T esti n g   u s i n g   C 5 . 0   h a s   g o o d   p er f o r m an ce   o n   t h y r o id   d ata  w it h   a n   ac cu r ac y   v alu e  o f   9 4 . 4 2 %.  I n   th e  s ec o n d   s ce n ar io ,   ( 1 )   P SO  ca n n o t  i m p r o v e  I D3   p er f o r m a n ce .   ( 2 )   PS O  ca n   i m p r o v e  th e   p er f o r m a n ce   o f   C 4 . 5   in   4   d atasets   n a m el y   Vec h ile,   l y m p o g r af i,  w i n e,   t h y r o id   w it h   a  v al u e  o f   7 2 . 3 4 %,   7 9 . 7 1 %,  9 4 . 0 5 %,  9 3 . 9 5 %.  ( 3 )   P SO  ca n   i m p r o v e   t h e  p er f o r m a n ce   o f   C 5 . 0   in   all   d atas ets  w i th   a  v al u e  o f   7 1 . 5 4 %,  7 0 . 0 9 %,  7 8 . 9 9 %,  9 4 . 3 8 %,  9 4 . 4 2 %.  I n   t h e  t h ir d   s c en ar io ,   ( 1 )   co m b i n i n g   I D3   an d   Me taC o s t  ca n n o t   i m p r o v e  th e  p er f o r m a n ce   o f   t h e  class i f ier .   ( 2 )   C o m b in in g   C 4 . 5   an d   Me taco s t  ca n   i m p r o v e  th e  p er f o r m an ce   o f   4   d atasets   n a m el y   Vec h ile,   g l ass ,   l y m p o g r ap h y ,   w i n e  w it h   a  v al u e  o f   7 6 . 8 6 %,  7 0 . 0 9 %,  8 3 . 3 3 %,  an d   9 7 . 6 2 %.   ( 3 )   C o m b in i n g   C 5 . 0   a n d   Me ta co s t c an   i m p r o v e  all   d ataset s   w it h   v al u e s   o f   7 5 . 2 7 %,  7 6 . 1 7 %,  8 3 . 3 3 %,  9 5 . 8 3 %,  9 5 . 8 1 % r esp ec tiv ely .   Fig u r e  2   is   a  r ep r esen tatio n   o f   T a b le  5   w h er e  t h e  b est  p er f o r m an ce   i s   u s in g   s ce n ar io   3 .   P e r f o r m a n ce   C 4 . 5   h as  t h e  h ig h e s t  ac cu r ac y   v a lu e  i n   v ec h ile  a n d   w in e  d ata  w it h   a  v al u e  o f   7 6 . 8 6 %  an d   9 7 . 6 2 %.  C 5 . 0   p er f o r m a n ce   h a s   th e  h ig h e s t  ac cu r ac y   v a lu e  i n   g la s s   an d   th y r o id   d ata   w it h   a  v alu e  o f   7 6 . 1 7 %,  9 5 . 8 1 %.  W h ile  th e  l y m p o g r ap h ic  d ata  o n   C 4 . 5   an d   C 5 . 0   h av e  th e  s a m e  ac cu r ac y   v alu e  t h at  i s   eq u al  to   8 3 . 3 3 %.  Fig u r e  3   is   th e  p er ce n ta g e  o f   t h e  to tal  v al u e  o f   all  d ata s ets  o f   th e  ac c u r ac y   v al u e  o f   s ce n ar io   3 .   Fro m   th e  p er ce n ta g e  o f   1 0 0 %,  I D3   h as  a  p er f o r m a n c e  p er ce n tag e  o f   1 9 . 2 3 %,  C 4 . 5   h as  a  p er f o r m an ce   p er ce n ta g e  o f   4 0 . 2 4 %,  an d   C 5 . 0   h as a   p er f o r m an ce   p er ce n tag e  o f   4 0 . 9 1 %.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   A r ti f   I n tell   I SS N:  2252 - 8938       C la s s i fica tio n   o f m u lticla s s   im b a la n ce d   d a t a   u s in g   c o s t - s en s itive  d ec is io n   tr ee   C 5 . 0   ( M.  A l d iki  F eb r ia n to n o )   71         Fig u r e  2 .   Diag r a m   o f   ac cu r ac y   co m p ar is o n     Fig u r e  3 .   P er f o r m a n ce   Diag r a m       T ab le   6   is   th e  r esu lt  ca lc u lati n g   co s t  o f   th e  clas s i f ier .   C o s t   is   th e  v a lu e  o f   m i s clas s if icat io n ,   if   t h e   class i f ier   h a s   lar g e  co s t  v al u e,   th e  class i f ier   is   ca lled   a  b ad   c lass i f icatio n   b u t  if   t h e  clas s i f i er   h as  a  s m all  co s t,   th e  cla s s i f ier   is   ca lled   a  g o o d   class i f icatio n .   I n   t h e  f ir s t  s ce n ar io ,   I D3   h as   th e   lar g e s t   co s t  v al u e  o f   all   alg o r ith m s .   C 4 . 5   h a s   s m al l  c o s t  v al u e  i n   d ata  g la s s ,   l y m p o g r ap h y   a n d   w i n e.   C 5 . 0   h as   s m al l  co s t  v al u e  i n   v ec h i le  an d   th y r o id   d ata.   I n   t h e  s ec o n d   s ce n ar io ,   I D3   is   t h e  w o r s t  c lass if i ca tio n .   C 4 . 5   h as  s m al l  co s t  v al u e  i n   v ec h i le  a n d   l y m p o g r ap h y   d ata .   C 5 . 0   h as   s m all  co s t  v al u e  i n   d ata  g la s s   a n d   t h y r o id .   W h er ea s   C 4 . 5   an d   C 5 . 0   h av e  t h e  s a m e  co s t  i n   w in e  d a ta  w it h   v alu e s   o f   2 0 0 .   I n   th e  th ir d   s ce n ar io ,   I D3   is   th e  w o r s t   class i f icatio n .   C 4 . 5   h as  s m all  co s t   v al u e  i n   d ata  v ec h ile  a n d   w i n e.   C 5 . 0   h a s   s m all  co s t  v alu e   i n   d ata  g lass   an d   th y r o id .   W h er ea s   C 4 . 5   an d   C 5 . 0   h av e  th e  s a m e  co s t o n   th e  l y m p o g r ap h ic  d ata  w it h   v alu e s   o f   1 0 5 8 .   T ab le  7   s h o w s   t h e   ti m e  n ee d ed   d u r in g   t h e   test i n g   p r o ce s s   in   m ac h i n e   le ar n i n g .   T h e  d a ta  is   ta k e n   d u r in g   th e  test i n g   p r o ce s s   f r o m   s ce n ar io   3 .   B ased   o n   th e  test in g   o f   th e  5   d atasets ,   C 5 . 0   h as  a  f aster   p r o ce s s in g   ti m e  i n   m a k i n g   d ec is io n s   th a n   C 4 . 5 .   Fig u r e  4   s h o w s   a  g r ap h   o f   th e  tr ain in g   p r o ce s s   ti m e.   B lu e  lin e  i s   th e  li n e   f r o m   t h e  C 4 . 5   p r o ce s s   w h ile  r ed   lin e  is   t h e  li n e  f r o m   th e  C 5 . 0   p r o ce s s .   B ased   o n   th e  g r ap h   C 5 . 0   h as  a  f as ter   p r o ce s s in g   t i m e  t h a n   C 4 . 5 .       T ab le  6 .   T h e  m ea n   v al u e  o f   co s t o f   t h e  s u m m ar y   g e n er ated .   D A TA   S ET   I D 3   C 4 . 5   C 5 . 0   I D 3   I D 3 + P S O   I D 3 + P S O + M ET A   C 4 . 5   C 4 . 5 + P S O   C 4 . 5 + P S O + M ET A   C 5 . 0   C 5 . 0 + P S O   C 5 . 0 + P S O + M ET A   V e c h i l e   1 5 6 8 0 0   1 5 6 8 0 0   1 5 6 8 0 0   2 3 7 6 2   2 1 6 3 2   1 5 1 3 8   2 2 8 9 8   2 3 7 6 2   1 7 2 9 8   G l a ss   4 1 4 7 2   4 1 4 7 2   4 1 4 7 2   9 2 4 8   9 2 4 8   8 1 9 2   9 8 0 0   8 1 9 2   5 2 0 2   L y mp o g r a f i   1 5 1 3 8   1 5 1 3 8   1 5 1 3 8   2 5 9 2   1 5 6 8   1 0 5 8   2 7 3 8   1 6 8 2   1 0 5 8   W i n e   2 8 3 2 2   2 8 3 2 2   2 8 3 2 2   2 4 2   2 0 0   32   2 8 8   2 0 0   98   t h y r o i d   8 4 5 0   8 4 5 0   8 4 5 0   3 3 8   3 3 8   3 9 2   2 8 8   2 8 8   1 6 2       T ab le  7 .   T im e  o f   p r o ce s s   tr ain in g     C 4 . 5 + P S O + M ET A   C 5 . 0 + P S O + M ET A   V e c h i l e   1 2 4   s   1 0 1   s   G l a ss   3 1   s   2 2   s   L y mp o g r a f i   2 8   s   1 8   s   W i n e   6   s   6   s   T h y r o i d   7   s   5   s           Fig u r e  4 .   C o m p ar is o n   ti m e  o f   tr ain i n g   p r o ce s s       4.   CO NCLU SI O N   T h is   p ap er   is   co m p i led   b ased   o n   t h e  liter at u r e  a n d   t h eo r etica l  co n ce p ts   o f   d ata   m in i n g   a n d   m ac h in e   lear n in g   to   f in d   a  s o lu tio n   to   h an d le  m u lti - clas s   i m b ala n ce d   d ata  p r o b lem s .   I n   t h i s   r ese ar ch   3   p r o o f s   w er e  co n d u cted .   First  p r o o f ,   u s in g   s ce n ar io   2 ,   P SO  ca n   im p r o v e   th e  p er f o r m an ce   o f   C 5 . 0   as  s h o w n   i n   T ab le  5 .     T h e  s ec o n d   p r o o f ,   u s i n g   s ce n a r io   3 ,   C 5 . 0   h as  a  b etter   p er f o r m an ce   th a n   I D3   a n d   C 4 . 5 .   C 5 . 0   h as  a  p er ce n ta g e   o f   p er f o r m a n ce   o f   4 0 . 9 1 %  w h ile  C 4 . 5   an d   I D3   ar e  4 0 . 2 4 %  an d   1 9 . 2 3 %  as  s h o w n   i n   Fig u r e  3 .   T h e  th ir d   p r o o f ,   b ased   o n   T ab le  7 ,   C 5 . 0   h as  a  f aster   t i m e  i n   m a k in g   d e cisi o n s   th a n   C 4 . 5 .   B ased   o n   th ese  th r ee   p r o o f s ,   it   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8938     I n t J   A r ti f   I n tell ,   Vo l.  9 ,   No .   1 ,  Ma r ch   20 20 :   65   –   72   72   ca n   b e  co n cl u d ed   th at   co s t  s e n s it iv e  d ec i s io n   tr ee   C 5 . 0   m e t h o d   h as   a  b etter   p er f o r m a n ce   th an   u s i n g   I D3   an d   C 4 . 5   f o r   s o lv in g   m u lticla s s   i m b alan ce d   d ata  p r o b lem s .   I n   f u t u r e  r esear ch ,   C 5 . 0   ca n   b e  co m b in ed   w i th   t h e  co s t   s en s iti v e  lear n in g   m et h o d   u s in g   Me ta  lear n i n g   s a m p li n g   tech n iq u e s   s u c h   as   co s ti n g   an d   w e ig h tin g   to   o b tain   a   m o r e  o p ti m al  clas s if ier   p er f o r m an ce .       RE F E R E NC E S    [1 ]   H.  A li ,   M .   N.  M .   S a ll e h ,   R.   S a e d u d i n ,   a n d   K.  Hu ss a in ,   “ Im b a l a n c e   c las s   p ro b lem s  in   d a ta  m in in g :  a   re v ie w , ”   In d o n e s.  J .   E lec tr.  En g .   C o mp u t.   S c i. ,   v o l .   1 4 ,   n o .   3 ,   p p .   1 5 6 0 - 1 5 7 1 ,   2 0 1 9 .   [2 ]   H.  He   a n d   E.   A .   G a rc ia,  “ L e a rn in g   f ro m   i m b a lan c e d   d a ta,”  IEE E  T ra n s.  Kn o wl.   Da ta   E n g . ,   v o l.   2 1 ,   n o .   9 ,   p p .   1 2 6 3 - 1 2 8 4 ,   2 0 0 9 .   [3 ]   S .   W a n g   a n d   X .   Ya o ,   “ M u lt icla ss   I m b a lan c e   P ro b lem s:  A n a l y sis  a n d   P o ten ti a l  S o lu ti o n s,”   IEE E  T r a n s.  S y st.  M a n .   Cy b e rn ,   v o l.   4 2 ,   n o .   4 ,   p p .   1 1 1 9 – 1 1 3 0 ,   2 0 1 2 .   [4 ]   R.   L o n g a d g e ,   S .   S .   Do n g re ,   a n d   L .   M a li k ,   “ Clas s  i m b a lan c e   p ro b l e m   in   d a ta  m in in g :  re v ie w , ”   In t.   J .   Co mp u t .   S c i .   Ne tw. ,   v o l.   2 ,   n o .   1 ,   p p .   8 3 – 8 7 ,   2 0 1 3 .   [5 ]   N.  V .   Ch a w la,  A .   L a z a r e v ic,  L .   O.  Ha ll ,   a n d   K.  W .   Bo wy e r,   “ S M OT EBo o st:  Im p ro v in g   P re d ictio n   o f   th e   M in o rit y   Clas s in   Bo o stin g , ”   Pro c e e d i n g .   Kn o wl.   b a se   Disc o v .   Da t a b a se s,   p p .   1 0 7 – 1 1 9 ,   2 0 0 3 .   [6 ]   A .   F re it a s,  A .   d a   Co sta   P e re ira,  a n d   P .   Bra z d il ,   “ C o st - S e n siti v e   De c isio n   T re e s  A p p li e d   t o   M e d ica l  Da ta., ”   Da W a K ,  v o l.   4 6 5 4 ,   p p .   3 0 3 – 3 1 2 ,   2 0 0 7 .   [7 ]   A .   M o tw a n i,   P .   C h a u ra siy a ,   G .   Ba jaj.   “ P re d icti n g   Cre d it   W o rth i n e ss   o f   Ba n k   Cu sto m e r  w it h   M a c h in e   L e a rn in g   o v e r  Clo u d , ”   IJCSE ,   v o l. 6 ,   No .   7   p p .   2 3 4 7 – 2 6 9 3 .   2 0 1 8 .   [8 ]   C.   W a n g ,   R.   L i  a n d   Z.   C h e n .   “ P a rti ti o n   c o st - se n siti v e   CA RT   b a se d   o n   c u sto m e r  v a lu e   f o r  Tele c o m   c u sto m e r  c h u rn   p re d ictio n , ”   Pr o c e e d in g s  o f  th e   3 6 th   C h i n e se   Co n tro l  Co n fer e n c e ,   2 0 1 7 .     [9 ]   N.  S a n t o so ,   W .   W ib o w o ,   H.  Hil m a w a ti ,   “ In teg ra ti o n   o f   sy n th e ti c   m in o rit y   o v e rsa m p li n g   tec h n iq u e   f o r  im b a lan c e d   c las s,”   In d o n e s.  J .   El e c tr.  E n g .   C o mp u t .   S c i . ,   v o l.   1 3 ,   n o .   1 ,   p p .   1 0 2 – 1 0 8 ,   2 0 1 9 .   [1 0 ]   S .   Ba ru a ,   M .   Isla m ,   X .   Ya o ,   a n d   K.  M u ra se ,   “ M W M OT E - M a jo rit y   W e ig h ted   M in o rit y   Ov e rsa m p li n g   T e c h n iq u e   f o r  I m b a lan c e d   Da ta S e t  L e a rn in g , ”   IEE E  T r a n s.  K n o w l.   Da ta   E n g . ,   v o l.   2 6 ,   n o .   2 ,   p p .   4 0 5 - 4 2 5 ,   2 0 1 4 .   [1 1 ]   G U  Qio n g ,   e t  a l.   “ A n   im p ro v e d   S M OT E  a lg o rit h m   b a se d   o n   g e n e ti c   a lg o rit h m   f o r  im b a lan c e d   d a ta  c las sif ic a ti o n , ”   J   Dig   In f   M a n a g ,   v o l.   1 4 ,   n o .   2 ,   p p .   9 2 – 1 0 3 ,   2 0 1 6 .   [1 2 ]   K.  P o lata n d   S .   G u n e s.  “ A  n o v e l  h y b rid   in telli g e n t  m e th o d   b a se d   o n   C4 . 5   d e c isio n   tree   c las sif i e r  a n d   o n e - a g a in st - a ll   a p p ro a c h   f o r  m u lt i - c las sc las si f ica ti o n   p r o b lem s,”   Exp e rt S y ste ms   wit h   A p p l ica ti o n s ,   v o l. 36 ,   p p .   1 5 8 7 - 1 5 9 2 ,   2 0 0 9 .   [1 3 ]   H.  He   a n d   E.   A .   G a rc ia,  “ L e a rn in g   f ro m   i m b a lan c e d   d a ta,”  IEE E  T ra n s.  Kn o wl.   Da ta   E n g . ,   v o l.   2 1 ,   n o .   9 ,   p p .   1 2 6 3 - 1 2 8 4 ,   2 0 0 9 .   [1 4 ]   S . A .   S h il b a y e h .   “ Co st S e n siti v e   M e ta L e a rn in g , ”   S u b m it ted   in   Pa rtia l  Fu lf il me n t  o f  t h e   Re q u ire me n ts o f  t h e   De g re e   o f  Do c t o r o f   Ph i lo so p h y ,   2 0 1 5 .   [1 5 ]   A . N.  H a ld a n k a r.   “ A   Co st  S e n si ti v e   c las sif i e r  f o r  Big   D a ta.”  I EE E  In ter n a ti o n a l  C o n fer e n c e   o n   Ad v a n c e s  in   El e c tro n ics ,   Co mm u n ica ti o n   a n d   Co mp u ter   T e c h n o lo g y   ( ICAE CCT ),   2 0 1 6 .   [1 6 ]   C.   X.  L in g ,   V.  S .   S h e n g ,   a n d   Q.   Ya n g ,   “ T e st  stra teg ies   f o r  c o st - se n siti v e   d e c isio n   tree s,”   IEE E  T ra n s.  Kn o wl.   D a t a   En g . ,   v o l.   1 8 ,   n o .   8 ,   p p .   1 0 5 5 - 1 0 6 7 ,   2 0 0 6 .   [1 7 ]   F .   Ja u h a ri,   A .   A .   S u p ia n to ,   “ Bu il d in g   st u d e n t’s  p e rf o rm a n c e   d e c isio n   tree   c las sif ier  u sin g   b o o st in g   a lg o rit h m , ”   In d o n e s.  J .   E lec tr.  En g .   C o mp u t.   S c i. ,   v o l .   1 4 ,   n o .   3 ,   p p .   1 2 9 8 – 1 3 0 4 ,   2 0 1 9 .   [1 8 ]   C.   X.  L in g ,   V.  S .   S h e n g ,   “ Co st  S e n siti v e   L e a rn in g   a n d   th e   Clas s   Im b a lan c e   p ro b lem , ”   En c y c lo p e d ia   o f  m a c h in e   lea rn in g .   S p i n g e r ,   2 0 0 8 .   [1 9 ]   B.   Ba y k a ra .   “ I m p a c t  o f   Ev a lu a ti o n   M e th o d s  o n   De c isio n   T re e   A c c u ra c y , ”   M . S c .   th e sis ,   p p .   7 2 ,   6   in d e x   p a g e s,  2 0 1 5 .   [2 0 ]   A . S .   G a lath i y a .   “ I m p ro v e d   De c i sio n   T re e   In d u c ti o n   A lg o rit h m   w it h   F e a tu re   S e lec ti o n ,   Cr o ss   Va li d a ti o n ,   M o d e l  Co m p lex it y   a n d   Re d u c e d   Err o r  P ru n i n g , ”   ( IJ CS IT )  Vo l.   3   (2 ) ,   p p .   3 4 2 7 - 3 4 3 1 ,   2 0 1 6 .   [2 1 ]   R.   Ba tu w it a   a n d   V .   P a lad e ,   “ A   n e w   p e r f o r m a n c e   m e a su re   f o r  c las s  i m b a lan c e   le a rn in g .   A p p li c a ti o n   t o   b io i n f o rm a ti c s p ro b lem s,”   8 th   In t.   Co n f .   M a c h .   L e a rn .   A p p l.   ICM L A  2 0 0 9 ,   p p .   5 4 5 – 5 5 0 ,   2 0 0 9 .   [2 2 ]   P.  Do m in g o s.  “ M e tac o st:  A   g e n e ra l  m e th o d   f o r  m a k in g   c la ss i fiers   c o st - se n siti v e . ”   In   Pro c .   o f   th e   fi ft h   ACM   S IGKD D  in ter n a ti o n a l   c o n fer e n c e   o n   K n o wled g e   d isc o v e ry   a n d   d a ta   mi n i n g ,   ACM   Ne w  Y o rk ,   NY ,   US A ,   p p   1 5 5 – 1 6 4 ,   1 9 9 9 .   [2 3 ]   S .   W a n g   a n d   X .   Ya o ,   “ M u lt icla ss   I m b a lan c e   P ro b lem s:  A n a l y sis  a n d   P o ten ti a l  S o lu ti o n s,”   IEE E  T r a n s.  S y st.  M a n .   Cy b e rn . ,   v o l.   4 2 ,   n o .   4 ,   p p .   1 1 1 9 – 1 1 3 0 ,   2 0 1 2 .   [2 4 ]   S .   Zh a n g ,   C.   Zh a n g   a n d   Q.  Ya n g .   “ Da ta   p re p a ra ti o n   f o r  d a ta  m in in g . ”   Ap p li e d   Arti fi c i a l   In telli g e n c e   a n   In ter n a t io n a l  J o u rn a l,   Vo l .   1 7 ,   p p .   5 - 6 p ,   2 0 1 0 .   [2 5 ]   N. T .   Ng h e ,   Z.   G a n tn e r ,   a n d   L . S .   T h iem e .   “ Co st - se n siti v e   lea rn in g   m e th o d s  f o r  im b a lan c e d   d a ta ,”  In   t h e   2 0 1 0   In ter n a t io n a l  jo i n t  c o n fer e n c e   o n   l  n e two rk s ( IJ CNN) ,   p p .   1 – 8 ,   1 8 – 2 3 ,   2 0 1 0 .   [2 6 ]   L .   Yin ,   Y.  Ge ,   K.  X iao ,   X.  W a n g ,   a n d   X .   Q u a n ,   “ F e a tu re   se lec ti o n   f o r  h ig h - d im e n sio n a l  im b a lan c e d   d a ta,”  Ne u ro c o mp u ti n g ,   v o l .   1 0 5 ,   p p .   3 - 1 1 ,   2 0 1 3 .   [2 7 ]   B. N.  P a tel,   S . G .   P ra jap a ti   a n d   K.I.   L a k h taria ,   “ Eff icie n t  Clas si fica ti o n   o f   Da ta  Us in g   De c isio n   T re e , ”   Bo n frin g   in ter n a t io n a l   jo u rn a l  o f  d a ta   min i n g ,   Vo l.   2 ,   N o .   1 ,   2 0 1 2 .   [2 8 ]   N.  S a n t o so ,   W .   W ib o w o ,   H.  Hi l m a w a ti ,   “ In teg ra ti o n   o f   sy n th e ti c   m in o rit y   o v e rsa m p li n g   tec h n iq u e   f o r  im b a lan c e d   c las s,”   In d o n e s.  J .   El e c tr.  E n g .   C o mp u t .   S c i . ,   v o l.   1 3 ,   n o .   1 ,   p p .   1 0 2 - 1 0 8 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.