I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9 ,   p p .   1298 ~ 1304   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 4 .i 3 . pp 129 8 - 1304             1298       Jou r n al   h o m e pa ge :  ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   B u i l d i n g   st u d e n t ’ s pe r f o r m a n c e   d e c i si o n   t r e e   c l a ss i f i e r   u si n g   b o o st i n g   a l g o r i t h m       F ar i d   Jau h ar i ,   A h m ad   A fi f  S u p i an to   F a c ul t y   o f   C o m put e r   S c i e nc e ,   B r a w i j a y a   U ni v e r s i t y   E a s t   J a v a ,   I ndo ne s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d  J un   9 ,   2018   R e v i s e d  A ug  2 0,   2018   A c c e pt e d  N o v   18 ,   2018       S t ud e nt ‟ s   pe r f o r m a nc e   i s   t h e   m o s t   i m po r t a n t   v a l u e   o f   t he   e duc a t i o na l   i ns t i t u t e s   f o r   t he i r   c o m pe t i t i v e ne s s .   I n  o r de r   t o   i m p r o v e   t he   v a l u e ,   t he y   ne e d  t o   pr e d i c t   s t u de n t ‟ s   pe r f o r m a nc e ,   s o   t he y   c a n  g i v e   s pe c i a l   t r e a t m e nt   t o   t h e   s t ud e n t   t ha t   pr e di c t e d  a s   l o w   pe r f o r m e r .   I n  t h i s   pa p e r ,   w e   p r o po s e   3  bo o s t i ng   a l g o r i t hm s   ( C 5 . 0 ,   a d a B o o s t . M 1,   a nd  a da B o o s t . S A M M E )   t o   bui l d  t he   c l a s s i f i e r   f o r   p r e d i c t i ng   s t u de n t ‟ s   p e r f o r m a nc e .   T h i s   r e s e a r c h  u s e d  1U C I   s t ud e n t   p e r f o r m a nc e   d a t a s e t s .   T he r e   a r e   3  s c e n a r i o s   o f   e v a l ua t i o n,   t he   f i r s t   s c e na r i o   e m pl oy s   10 - f o l d  c r o s s - v a l i da t i o n  t o   c o m pa r e   t he   pe r f o r m a nc e   of   bo o s t i ng   a l g o r i t hm s .   T he   r e s u l t   o f   t he   f i r s t   s c e n a r i o   s how e d  t ha t   a da B o o s t . S A M M E   a nd  a da B o o s t . M 1   o ut pe r f o r m   ba s e l i n e   m e t ho d  i n   bi na r y   c l a s s i f i c a t i o n.   T he   s e c o nd  s c e na r i o   w a s   us e d  t o   e v a l ua t e   bo o s t i ng   a l g o r i t hm s   unde r   t h e   di f f e r e n t   num be r   o f   t r a i ni ng   da t a .   O n  t he   s e c o nd  s c e na r i o ,   a da B o o s t . M 1  h a s   o ut pe r f o r m e d  a no t h e r   bo o s t i ng   a l g o r i t hm s   a n d  ba s e l i n e   m e t ho d  o n  t he   bi na r y   c l a s s i f i c a t i o n.   T h e   t h i r d  s c e na r i o ,   w e   bui l d  m o de l s   f r o m   o ne   s ubj e c t   da t a s e t   a nd  t e s t   us i ng   a no t he r   s ub j e c t   da t a s e t .   T he   t h i r d  s c e na r i o   r e s ul t s   i n di c a t e   t ha t   i t   c a n  b ui l d  p r e di c t i o n  m o de l   us i ng   o ne   s u bj e c t   t o   pr e di c t   a no t he r   s ub j e c t .   Ke y w or ds :   a da B o o s t   Bo os t i ng  a l go r i t hm   C5. 0   C l a s s i f i c a t i o n   P r e di c t i o n   S t ude nt ‟s   pe r f o r m a n c e   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   F a ri d   J a u ha r i ,     F a c ul t y   of   Co m put e r   S c i e n c e ,     B r a w i j a y a   U n i v e r s i t y   E a s t   J a v a ,   I ndo n e s i a .   E m a i l :   f a ri dj a u ha r i @ ub . a c . i d       1.   I N TR O D U C TI O N   E duc a t i o n   i s   t h e   m o s t   i m po r t a n t   f a c t o r  i n   t h e   de v e l o pm e n t   of   a   c o un t r y ,   e v e n   m o r e   i n  de v e l o pi n g  c o un t r y .   It   a l w a y s   n e e ds   i n f o r m a t i o n   w h e r e   a r e a s   of   e duc a t i o n   w h i c h   n e e d  t o  i m p r o v e ,   a n d  a l s o   n e e ds   i n f o r m a t i o n   o n   h o w   t o   i m p r o v e   i t .   I n   o r de r   t o   ge t   t ha t   i nfo r m a t i o n ,   w e   n e e d  da t a   m i n i ng  t o   e xt r a c t   t h e   i n f o r m a t i o n   f r o m   t h e   da t a .   E duc a t i o na l   d a t a   m i ni n g  i s   a   f i e l d  o f   da t a   m i ni n g  t ha t   f o c us e s   o n   t h e   e duc a t i o na l   da t a .   R o m e r o   a n d  V e nt u ra   [1]   c a t e go r i z e d  e duc a t i o n a l   da t a   m i ni n g  by   t h e   t a s k,   i t   c a n   b e   a n   a na l y s i s   a n d  v i s ua l i z a t i o n   o f   da t a   [2],   [3 ]   o r   r e c o m m e n da t i o n   f o r   s t ude n t s   [4] .   I n   a dd i t i o n ,   t h e   t a s k  c a n   b e   i n   t h e   f o r m   of  pr o v i di n g  f e e d b a c k  fo r   s uppo r t i ng  i n s t r uc t o r s ,   p r e di c t i ng  s t u de n t ‟s   pe r f o r m a n c e ,   s t ude n t   m o de l i n g ,   de t e c t i n g  unde s i ra b l e   s t ude nt   b e ha v i o r s ,   g r o upi ng  s t u de nt s ,   s o c i a l   n e t w o r k  a n a l y s i s ,   de ve l o pi n g  c o n c e pt   m a ps ,   c o n s t r uc t i n g  c o ur s e w a r e ,   a n d   pl a nni n g  a n d   s c h e dul i n g .   I n  t hi s   pa pe r,   w e   foc us   o n   t h e   s t ude nt ‟s   pe r f o r m a n c e   pr e di c t i o n.     P r e di c t i o n   a n d  a n a l y s i s   of   s t ude n t ' s   pe r f o r m a n c e   a r e   t h e   m o s t   i m po r t a n t   t hi n gs   t o   do   i n  t h e   e duc a t i o n  i n s t i t ut e s   [5] ,  [6 ] .   P r e d i c t i o n  a n d   a na l y s i s   c a n   i m p r o v e   s t ude nt ‟s   pe r f o r m a n c e   m o r e   e ff i c i e n t   a nd  e f fe c t i ve   [7] ,  b e c a us e   i t   c a n   p r e d i c t   t h e   l o w - pe r fo r m a n c e   s t ude n t ,   a n d  t h e n   w e   c a n  gi v e   s pe c i a l   t r e a t m e nt   t o   i m p r o v e   t h e i r  pe r f o r m a n c e .   P r e di c t i n g  s t u de n t ‟s   pe r f o r m a n c e   c a n   b e   do ne   by   b ui l di n g   a c c u r a t e   c l a s s i f i e r   f r o m   t h e   pa s t   s t ude nt ‟s   da t a ,   a nd  t h e n   w e   c a n   pr e d i c t   us i n g  t h e   c l a s s i f i e r   w i t h   c urr e nt   s t ude nt ‟s   da t a .   In   o rde r   t o   b ui l d  t h e   c l a s s i f i e r ,   w e   n e e d  t o   u n de r s t a n d  t h e   pa ra m e t e r   o r   a t t ri b ut e   t h a t   a f fe c t   t h e   pe r f o r m a n c e   o f   t h e   s t ude n t s   a n d   a l s o   t h e   e xi s t i n g   m e t h o d  t ha t   us e d.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       B ui l di n g  s t u de n t ’s   p e r f or m an c e   d e c i s i on   t r e e   c l as s i f i e r   us i ng   boos t i ng   al g or i t hm   ( F ar i d  J a uhar i )   1299     S h a hi r i   e t   a l .   [ 7]   s um m a ri z e d  t h e   t y pe   of   a t t r i b ut e s   t h a t   f r e que n t l y   us e d  i n   t h e   s t ude n t ' s   pe r f o r m a n c e   pr e di c t i o n   i n   m a n y   r e s e a r c h,   t h e   t y p e   of   a t t ri b ut e s   a r e :   c um ul a t i v e   gr a de   po i n t   a v e ra ge   (CG P A ),   i n t e rna l   a s s e s s m e n t s ,   e xt e rn a l   a s s e s s m e n t s ,   e xt ra - c u rr i c ul a r   a c t i v i t i e s ,   s t ude nt   de m o gra p h i c s ,   a nd  i n t e rn e t   a n d  s o c i a l   m e di a   i nt e ra c t i o n.   I nt e rn a l   a s s e s s m e n t s   i n c l ude d  a s s i g n m e nt   m a r k ,   qu i z z e s ,   l a b   w o r k,   a t t e n da n c e   a nd  o t h e r  m a r ks   t h a t   a s s o c i a t e d  w i t h   t h e   c o ur s e   o r   s ub j e c t .   E xt e rna l   a s s e s s m e n t s   a r e   f i n a l   m a r k   o f   a n o t h e r   s ub j e c t   w h i l e   a s s e s s i n g  o n e   s pe c i f i c   s ubj e c t .   W h i l e   s t ude n t   de m o g r a p hi c s   a r e   g r o upi n g  a t t ri b ut e   t h a t   i n c l u de s   ge n de r ,   a ge ,   f a m i l y   b a c kgr o un d ,   d i s a b i l i t y ,   h e a l t h,   w a n t   t o   t a ke   h i g h e r   e duc a t i o n   o r   n o t ,   do e s   h e / s h e   ha v e   e xt r a   s c h o o l   s uppo r t   a n d  o t h e r   pe r s o n a l   a t t r i b ut e s .   I n   m o s t   c a s e s ,   r e s e a rc h   us e s   t h e   c o m b i n a t i o n   o f   t w o   o r   m o r e   t y pe   o f  a t t ri b ut e   ra t h e r   t ha n   o n e   t y pe   of   a t t ri b ut e .   K a u r   e t   a l .   [5]   w e r e   us i n g  CG P A ,   i nt e rna l   a s s e s s m e n t s ,   a n d  s t ude n t   de m o gr a p hi c s .   F e rna n de s   e t   a l .   [8]   a nd  P a nde y   a n d  T a ru n a   [ 9]   w e r e   e m pl oy i n g  CG P A ,   i nt e rn a l   a s s e s s m e nt s ,   a n d  s t ude n t   de m o gra p hi c s .   H a m s a   e t   a l .   [10]   w e r e   ut i l i z i n g  i nt e rna l   a nd  e xt e rna l   a s s e s s m e nt s .   S a n do v a l   e t   a l .   [11]   w e r e   CG P A ,   e xt e rn a l   a s s e s s m e n t s ,   s t ude n t   de m o gra phi c s ,   i nt e rn e t   a n d  s o c i a l   n e t w o r k  i n t e r a c t i o n.     W h i l e   Co r t e z   a n d  S i l v a   [12]   w e r e   ut i l i z i n g  i n t e rna l   a s s e s s m e nt s ,   i nt e rn e t   a c t i v i t y ,   e xt r a c u rri c ul a r   da n   s t ude n t   de m o gr a p hi c s .   I n   t hi s   pa pe r ,   w e   us e   t h e   s a m e   da t a s e t   a s   i n   [12] ,   t ha t   a v a i l a b l e   i n   1U CI  da t a s e t s .   T h e r e   a r e   t w o   s u b s e t s   i n  t ha t   da t a s e t ,   t h e   d a t a s e t   f o r   M a t h e m a t i c s   a n d   P o r t ugue s e   s ub j e c t .   In  t hi s   pa pe r,   w e   a l s o   a n a l y z e   t h e   po s s i b i l i t y   of   us i n g  t h o s e   da t a s e t s   a s   e xt e rn a l   a s s e s s m e n t s ,   by   b ui l di n g  p r e d i c t i o n   m o d e l   w i t h   M a t h e m a t i c s   da t a s e t   a n d   p r e di c t   us i n g   P o rt ugue s e   da t a s e t ,   a n d  o t h e r w i s e .   T h e r e   a r e   m a n y   di ff e r e n t   m e t h o ds   t h a t   h a v e   be e n   us e d  t o   pr e di c t   s t ude n t ‟s   pe r f o r m a n c e .     N a ï v e   B a y e s   us e d   i n   [5] ,   [9],   [12 ]   a s   a   b a s e l i n e   m e t h o d.   W h i l e   P a n de y   a n d  T a r u na   [9]   a l s o   e m pl oy i n g  a dv a n c e   N a ï v e   B a y e s   t h a t   c a l l e d  a s   A gg r e ga t i ng  O n e - D e pe n de n c e   E s t i m a t o r   (A O D E ) ,   a nd  i t   w a s   c o m b i n e d  w i t h   D e c i s i o n   T r e e   a n d  K - N e a r e s t   N e i g h b o ur.   A s   a   c o m pa ri s o n   m e t h o ds   [9]   e m p l oy   N a ï v e   B a y e s ,   Z e r o R ,   O n e R ,   K S T A R ,   N a ï v e   B a y e s   T r e e   (N B T R e e ),   a n d   A O D E .   N e ur a l   n e t w o r k  (N N )   ut i l i z e d  i n   [5 ],   [12]   a s   t h e   pr e di c t i o n   m o de l ,   b e c a us e   of   i t s   c a pa b i l i t y   t o   h a n dl e   n o n - l i ne a r   d a t a .   W h i l e   Co r t e z   a nd  S i l v a   [12]   a l s o   us e d   S V M   w h i c h   a c c u r a c y   w a s   n o t   m uc h   di f f e r e n t   t ha n   N N   d i d .   T h e   F uz z y   b a s e d  m e t h o d  s uc h   a s   N e ur o - F uz z y   (A N F IS )  [13]   a n d  F u z z y   A s s oc i a t i o n  R ul e   M i n i ng  [14]   a l s o   e m pl oy e d  by   t o   pr e di c t   s t ude n t ‟s   pe r f o r m a n c e .   R a n do m   F o r e s t   (R F )  w e r e   e m pl oy e d  by   [11],   [12]   h a d   pr o m i s i n g  r e s ul t s   o n   t h e   p r e d i c t i o n   s t ude n t ‟s   pe r f o r m a n c e .   D e c i s i o n   T r e e   (D T )  b a s e d  m e t h o d  h a d  a   p r o m i s i ng  r e s ul t   o n   [ 5],   [8 ] - [10] ,   [12] .   I n   F e rna n de z   e t   a l .   [8] ,   D T   c o n s t r uc t e d  by   boo s t i n g  a l go ri t hm   w a s   c a l l e d  G r a di e n t   B oo s t   M a c h i n e .   I n   t h i s   r e s e a r c h,     w e   c o m pa r e   3  b oo s t i n g  a l go r i t hm s ,   C5 . 0  (B oo s t i n g  C4 . 5) ,   a da B oo s t . M 1,   a nd  a d a B oo s t . S A M M E   t o   b ui l d  de c i s i o n   t r e e   a s   a   p r e di c t i o n  m o de l .   Bo os t i ng  i s   t h e   ge n e r a l   m e t h o d  t ha t   u t i l i z e d   t o   r e duc e   t h e   e rr o r   o f   l e a rni n g  a l go r i t h m s   [ 15] .   F r e und  a n d  S c ha pi r e   [1 5]   i nt r o duc e d  t w o   v a r i a n t   o f   boo s t i n g  a l go r i t h m ,   a d a B o os t . M 1  a n d  a d a B oo s t . M 2  w h i c h   c a n  c o m b i n e   w i t h   o t h e r   a l go r i t h m s   a s   t h e   w e a k  l e a rn e r.   T h e   r e s u l t   o f   [15]   s h o w s   t h a t   a da B o o s t   o ut pe r f o r m   C4 . 5 ,   a n d  a d a B oo s t   c a n   i m p r o v e   t h e   pe r f o r m a n c e   of   C4. 5  w h e n   C 4. 5  w a s   us e d  a s   i t s   w e a k  l e a rn e r .   T h e r e   a r e   m a n y   r e s e a r c h e s   o n   c l a s s i f i c a t i o n  a n d   p r e di c t i o n   i n   v a ri o us   f i e l ds   w h i c h   e m pl oy   a da B oo s t .   B oos t i ng  a l go ri t hm   o ut pe r f o r m s   B a y e s i a n   a l go ri t hm   o n   s p a m   f i l t ra t i o n   [16] .   W a n g  e t   a l .   [17]   h y b r i d  a d a B oo s t   a n d   l e a s t   s qu a r e   b a s e d  t o   pr e di c t   r a i l w a y   t urn o ut s .   I n   B i o l o g y ,   a da B oo s t   w a s   ut i l i z e d  t o   c l a s s i fy   Cl a s s i f i c a t i o n   o f   e n z y m e   a nd  n o n - e nz y m e   [18]   a n d  p r e di c t   s pl i c e   s i t e   o n   ge n e   de t e c t i o n   [19] .   I n   M e di c a l ,   a d a B oo s t   e m pl oy   t o   b ui l d  t h e   c l a s s i f i e r   o f   e pi l e ps y   us i n g  s i g n a l s   f r o m   e l e c t r o e n c e pha l o g ra p h y   (E E G )  [20] .   I t   a l s o   h e l pf ul   i n   c l a s s i f i c a t i o n   a n d  s e gm e nt a t i o n   o f   b r a i n   t u m o r   [21] .   A da B o o s t   h a d  a   g oo d  pe r fo r m a n c e   o n   c l a s s   pr e di c t i o n   f r o m   ge n e   e xpr e s s i o n   p r o f i l e s   [22] ,   f o r   f urt h e r   t hi s   p r e di c t i o n   us e d  t o   e n ha n c e   c a n c e r   di a g n o s t i c   p r o c e s s .     T h e   a dv a n t a ge s   o f   a da Bo os t   w e r e   s t a b i l i t y ,   a c c ur a c y ,   a n d  i t   c a n   b e   us e d  o n   r e a l - t i m e   s uc h   a s   v i de o   obj e c t   t r a c ki ng  [23] . A s   w e   m e nt i o n e d  b e fo r e ,   i n  t hi s   p a pe r,   w e   a r e   us i n g  2   v a ri a nt s   o f   a da B oo s t ,   a d a B oo s t . M 1  a s   i n   [15]   a n d   a d a B oo s t . S A M M E   w h i c h  i nt r o duc e d  i n   [ 24] .    A s   w e   m e n t i o n e d  b e f o r e ,   t h a t   C4 . 5  a s   a   w e a k  l e a rn e r   o f   a da Bo os t   c a n   g i v e   t h e   b e t t e r   r e s ul t   t ha n   t h e   o r i gi na l   C4 . 5  [15] .   T h e r e   i s   a n   i m p r o v e m e n t   of   C4. 5  w h i c h   i s   c a l l e d  a s   C5. 0 .   T h e   i m p r o v e m e n t   o f   C4. 5  t ha t   b e c o m e   b a s e   of   C5. 0  w a s   i nt r o duc e d  by   Q ui n l a n  [25 ] ,  [26 ] .   T h e   m o s t   i m po r t a n t   i m p r o v e m e n t   i s   b oo s t i n g   m e c h a ni s m   t ha t   a dde d  o n   o ri gi na l   C4 . 5  [27 ] .   A s   a d a B oo s t ,   C5. 0  w a s   w i de l y   us e d  i n   t h e   r e s e a r c h   a r e a   o f  c l a s s i f i c a t i o n  a n d   p r e di c t i o n.   P a ng  a n d  G o n g  [ 27]   i m p l e m e nt e d  C5 . 0  o n   a   c l a s s i f i c a t i o n  o f   i n d i v i dua l   c r e d i t   e v a l ua t i o n.   C5. 0   w e l l   pe r f o r m s   o n  l i v e r   di s e a s e   p r e di c t i o n   w h e n   h y b r i di z e d  w i t h   a   ge n e t i c   a l go ri t hm   w hi c h   c a n   o pt i m i z e   t h e   r ul e   [28] .   J i n c h e n g  e t   a l .   [2 9]   w e r e   i m pl e m e nt e d  C5. 0  t o   p r e di c t   f a i l u r e   o f  s m a rt   m e t e r s .     N i a   a n d   K h a l i l i   [30]   b ui l d   i nt r us i o n   de t e c t o r  o n  t h e   c o m put e r  n e t w o r k  us i n g   C5 . 0   a s   a   c l a s s i f i e r.     In   t h i s   p a pe r ,   w e   foc us   o n   s t ude n t ‟s   pe r f o r m a n c e   pr e di c t i o n   w i t h   C5 . 0 ,   a d a B oo s t . M 1,     a n d  a d a B o os t . S A M M E .   T h e r e   a r e   t w o   c l a s s i f i c a t i o n   go a l s   i n   o ur   r e s e a r c h:   b i na r y   c l a s s i f i c a t i o n   (pa s s / f a i l )  a n d  f i v e   l e ve l s   c l a s s i f i c a t i o n   (v e r y   goo d,   goo d,   s a t i s f a c t o r y ,   s uff i c i e n t ,   a nd  f a i l )   a s   i n   [12 ] .   W e   a l s o  r e c o n s t r uc t   t h e   r e s e a r c h  o f   Co r t e z   a nd  S i l v a   [12 ]   t o   c o m pa r e   t h e   r e s ul t   o f   D T   b a s e d  c l a s s i f i e r   w i t h  o ur  r e s ul t .   Co r t e z   a nd  S i l v a   [12]   b ui l d  D T   us i n g  C l a s s i f i c a t i o n   a n d  R e gr e s s i o n   T r e e s   (CA R T )  o r   s o m e t i m e s   c a l l e d  R P A R T   (Re c ur s i v e   P a r t i t i o ni n g)  a s   i n   [31] .   T hi s   pa pe r   a i m s   t o   s h ow   t h e   o t h e r   m e t h o ds   of   b ui l di n g  D T   t ha t   b e t t e r   t ha n  t h e   m e t h o d  t ha t   us e d  i n   [12]   f o r   s t ude n t ‟s   pe r f o r m a n c e   p r e di c t i o n.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9   :     1298   –   1304   1300   2.   R ES EA R C H   M ET H O D O L O G Y   O ur  r e s e a r c h   m e t h o do l o g y   s t a rt s   w i t h   c o l l e c t i n g  da t a s e t s   f o l l o w e d  by   pr e pr o c e s s i n g  s t e p .   T h e   n e xt   s t e p  w a s   b ui l di n g  m o de l   w i t h   3  b o o s t i n g  a l go ri t hm s ,   a s   w e   m e n t i o n e d  b e fo r e .   A n d   t h e n   a ppl y i n g   pr e p r o c e s s e d  da t a s e t   t o   e v a l ua t e   b oo s t i n g   m e t h o ds .   A s   w e   m e n t i o n e d  b e fo r e   t ha t   w e   a r e   us i n g   t h e   s a m e   da t a s e t s   a s   us e d  i n  [12 ] .    T h e   da t a s e t s   c o n s i s t   o f   2  s ubs e t s ,   M a t h e m a t i c s   s ub j e c t   d a t a s e t   a nd  P o r t ugue s e   s ub j e c t   da t a s e t .     T h e   m a t h e m a t i c s   da t a s e t   c o n t a i n s   395  s t ude nt   da t a   a n d  t h e   P o r t u gue s e   c o n t a i n   649  s t ude n t   d a t a .   T h e   da t a s e t s   c o n s i s t   t h e   s a m e   a t t ri b ut e s ,   a nd  t h e r e   i s   33   a t t ri b ut e .   T h e   l a s t   a t t r i b ut e   t ha t   na m e d  G 3   i s   t h e   f i n a l   g ra de   o f   t h e   s t ude nt   i n   t h e   s ub j e c t .   T h e   ra n ge   v a l ue   of   t h i s   a t t ri b ut e   i s   be t w e e n   0  a nd  20.   T h e   o bj e c t i v e   go a l s   o f  t h e   pr e di c t i o n  a r e   a t   t hi s   l a s t   a t t ri b ut e .   T h e r e   a r e   3  ge n e ra l   s t e ps   o f   r e s e a r c h   m e t h o do l o g y   i n   t hi s   pa pe r,   t h o s e   a r e   p r e p r o c e s s i n g,   b ui l d i n g   m o de l ,   a n d  e xpe ri m e nt   a s   a   m o de l   e v a l ua t i o n .   T h i s   ge n e ra l   m e t h o do l o g y   i s   s h ow n   i n   F i gu r e   1.   P r e p r o c e s s i n g   em pl oy e d   t o   s e t   t h e   c l a s s   of   s t ude n t s   b a s e d  o n   t h e i r   f i n a l   g ra de s   (G 3).   A s   w e   m e n t i o n e d  b e f o r e ,   t h e r e   a r e   t w o  c l a s s i f i c a t i o n   go a l s   i n  t hi s   pa pe r,   t h a t   w e r e   b i na r y   c l a s s i f i c a t i o n   (p a s s / f a i l )   a nd  5 - l e v e l s   c l a s s i f i c a t i o n   (v e r y   go o d,   goo d,   s a t i s f a c t o r y ,   s uf f i c i e n t ,   a n d   f a i l ) .   O u r  m a pp i n g   b e t w e e n   g r a de s   a n d   c l a s s i f i c a t i o n   go a l s   a r e   s h o w n   i n   T a b l e   1   a nd  T a b l e   2 .           F i gu r e   1 .   R e s e a r c h  m e t h o do l o g y       In   t h i s   r e s e a r c h,   w e   b ui l d  a nd  e v a l ua t e   p r e di c t i o n   m o de l   un de r   e n v i r o nm e n t   o f   R   l a n gu a ge .     F i r s t   pr e d i c t i o n   m o de l   w a s   b ui l t   unde r   C5 . 0  a l go r i t h m .   C5. 0   i s   t h e   i m p r o v e m e n t   o f  C4. 5  a s   i n   [26] .   A s   C4. 5  do e s ,   C5. 0  a l s o   ge n e ra t e   de c i s i o n   t r e e   (D T )  a s   t h e   o ut c om e .   A da B o o s t s   t h a t   a do pt e d  i n  t hi s   pa pe r   a r e   a da B o o s t . M 1  [15]   a n d  a d a B oo s t . S A M M E   [24] .   A s   i n   [ 1 5] ,   w e   us e   100  of   boo s t i n g  i t e r a t i o n.   A s   w e   m e nt i o n e d  b e fo r e ,   w e   a l s o   i m pl e m e n t   R P A R T   m e t h o d  t h a t   us e d  i n   [12]   a s   a   b a s e l i n e   m e t h o d  of   s t ude n t ‟s   pe r f o r m a n c e   p r e di c t i o n   m o de l .   W e   l i m i t   t h e   n u m b e r   o f   r e c ur s i v e   pa r t i t i o n   o f   t r e e s   i n   5  l e v e l   de pt h .   T hi s   l i m i t a t i o n   a l s o   us e d  i n  a d a B oo s t . M 1  a n d   a d a B o os t . S A M M E   a s   a n  a t t e m p t   t o   m a i nt a i n   t h e   f a i rn e s s     of   c o m pa r i s o n .   T h e   a c c ura c y   o f   t h e   pr e di c t i o n   m o de l s   w a s   c a l c ul a t e d  by   us i n g  P e r c e n t a ge   o f   C o rr e c t   Cl a s s i f i c a t i o n   (P CC).   T h e   P CC  v a l ue   n e a r   1 00%  m e a n s   t ha t   t h e   m o de l   h a s   a   hi g h   a c c ura c y   o n   c l a s s i f i c a t i o n .   I n   t hi s   pa pe r ,   w e   e m pl oy   3  s c e n a r i o s   of   e v a l ua t i o n.   F i r s t ,   w e   e v a l ua t e   us i ng  20  r u n s   o f   a   10 - f o l d  c r o s s - v a l i da t i o n   a s   i n   [12] .  T h e   f i r s t   s c e na r i o   i n t e n ds   t o   c o m pa r e   t h o s e   3  b o os t i ng  a l go r i t hm s   a n d   t h e   D T   t h a t   us e d  i n  [12] .    A s   t h e   s e c o n d  s c e n a r i o ,   w e   e v a l ua t e   us i n g  100%  d a t a s e t s   a s   da t a   t r a i n i ng  (i t   m e a n s   da t a   t ra i ni n g  =   da t a   t e s t ),   90%  d a t a s e t   a s   t r a i n i n g  d a t a   (i t   m e a n s   ra n do m l y   s a m pl i n g  o f   90%  da t a s e t s   a s   t ra i ni n g  da t a   a nd  10%  da t a s e t s   a s   t e s t   d a t a ),   80%  -   10%  d a t a s e t   a s   t r a i n i ng  da t a .   T h e   e v a l ua t i o n   w a s   t a ki ng  pi c t u r e s   of   t h e   a v e r a ge   o f   P CC  i n  10  ru n s   o f   e a c h   p a r t i t i o n  s c e n a ri o .   T h e   s e c o n d  s c e na r i o   a i m s   t o   s h o w   t h e   a c c u r a c y   o f   t h e   m o de l   o n   t h e   d i f fe r e nt   num b e r  o f   t ra i ni n g  da t a .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       B ui l di n g  s t u de n t ’s   p e r f or m an c e   d e c i s i on   t r e e   c l as s i f i e r   us i ng   boos t i ng   al g or i t hm   ( F ar i d  J a uhar i )   1301   A s   t h e   t hi r d  s c e na r i o ,   w e   us e   M a t h e m a t i c s   da t a s e t   a s   t r a i n i ng  da t a   a nd  P o r t ug ue s e   da t a s e t   a s   t e s t i n g   da t a ,   a n d   o t h e r w i s e   (f ur t h e r   w e   c a l l   i t   a s   „c r o s s - s ubj e c t   e v a l ua t i o n ‟) .   A v e r a ge   o f   P CC  i n  10  r u n s   o f   e a c h   of  t h i s   s c e n a ri o   r e p r e s e n t i ng  t h e   a c c ura c y   of   m o de l s .   T h e   t hi r d  s c e n a r i o   t e n ds   t o   k n o w   “ doe s   t h e   c h a r a c t e r i s t i c s   of   s t ude nt ‟s   pe r f o r m a n c e   d i f f e r   i n   di f f e r e n t   s ub j e c t s ? " .       T a b l e   1 .   G ra de   i n  B i n a r y   Cl a s s i f i c a t i o n   Cl a s s i fi c a t i o n   G o a l s   G ra d e   P a s s   10 - 20   F a i l   1 - 9     T a b l e   2 .   G ra de   i n  5 - L e v e l s   Cl a s s i f i c a t i o n   Cl a s s i fi c a t i o n   G o a l s   G ra d e   V e r y   G o o d   16 - 20   G o o d   14 - 15   S a t i s f a c t o ry   12 - 13   S u ffi c i e n t   10 - 11   F a i l   1 - 9         3.   R ES U LTS   A N D   A N A L Y S I S   W e   r un   o ur   e xpe ri m e nt   unde r   R   l a n gu a ge   e n v i r o n m e n t   [ 32] .   I n   R   l a ngua ge ,   t h e r e   a r e   s e ve r a l   l i b ra r i e s   t ha t   us e d  o ur   e xpe r i m e n t .   A s   a d a B oo s t . M 1  a n d  a da B o o s t . S A M M E   i m pl e m e nt a t i o n,   w e   e m pl o y   „a da b a g‟  l i b ra r y .   A n d  w e   us e   „C50‟  l i b r a r y   of   R   t o   b ui l d  C5. 0  m o de l s .   A s   i n   [12 ] ,   w e   a l s o  i n s t a l l   „ rm i n e r ‟   l i b ra r y   t o   r e c o n s t r uc t   t h e   D T   m o de l   o f   [12] .      3. 1 .       F i r s t  S c e n a r i o   A s   w e   m e nt i o n e d  b e fo r e ,   t h e   f i r s t   s c e n a ri o   w a s   us i ng  10 - f o l d  c r o s s - v a l i da t i o n.   I n  o r de r   t o   i m pl e m e n t   10 - f o l d  c r o s s - v a l i d a t i o n ,   w e   e m pl oy   „c a r e t ‟  l i b ra r y   o f   R .   E xpe r i m e nt a l   r e s ul t   u n d e r  t h e   f i r s t   s c e na r i o   a r e   s um m a r i z e d  i n   T a b l e   3.   T a b l e   3  c o n t a i n s   m e a n   o f   P CC   v a l ue   i n   di f f e r e n t   p r e d i c t i o n   m o de l s   o n   t w o  c l a s s i f i c a t i o n   go a l s   (b i na r y   a n d  5 - l e v e l s   c l a s s i f i c a t i o n )  a nd  t w o   di s t i n c t   s ub s e t s   o f   t h e   da t a s e t   (M a t h e m a t i c s   a n d  P o r t ug ue s e   s u b j e c t ) .   Bo l d  a n d  u n de r l i n e s   h i g hl i g ht e d  t h e   be s t   P CC  m o de l s   i n   di f f e r e n t   c l a s s i f i c a t i o n  go a l s   a n d  di s t i n c t   da t a s e t   s ub s e t s .   In   b i na r y   c l a s s i f i c a t i o n ,   b e s t   P CC  v a l ue   a c h i e v e d  by   a da B oo s t . S A M M E   m o de l s ,   w i t h   t h e   m e a n   o f   P CC  i s   91. 3377  o n   M a t h e m a t i c s   a n d  93 . 197  o n   P o r t ug ue s e .   A l t h o ug h   t h e   di f fe r e n c e   i n   t h e   a c c u r a c y   b e t w e e n   a d a B oo s t . S A M M E   a nd  R P A R T   j us t   be l ow   1%.   R P A R T   a r e   t h e   b e s t   m o de l s   i n   5 - l e v e l s   c l a s s i f i c a t i o n,   w i t h   77. 203  o f   P CC  o n   M a t h e m a t i c s   a n d   76 . 664   o n  P o r t u gue s e .     L ow   a c c ur a c y   of  a da B oo s t   m o d e l   m i g h t   b e   c a us e d  by   t h e   w e a k  l e a rn e r   t ha t   us e d  i n   „ a da b a g‟  l i b r a r y .     T h e   „a da b a g‟  l i b r a r y   w a s   i m pl e m e n t e d  a d a B oo s t   b a s e d  o n   F r e u n d  a n d  S c h a p i r e   [15] ,   w h i c h   w a s   us i n g  v e r y   s i m pl e   w e a k  l e a rn e r   t ha t   c a l l e d  f i n dA t t rT e s t .   T a b l e   3  s h o w s   t ha t   t h e   l o w e s t   pe r f o r m e r  m o de l   i s   C5 . 0 .   It   m i g h t   b e   be c a us e   t h e   b oo s t i n g  i t e ra t i o n   t h a t   us e d  i n   C5. 0   i s   j us t   10  t i m e s   a s   i n   [26 ] ,   w hi l e   a da B o os t   us i ng  100  t i m e s   of   boo s t i n g   i t e ra t i o n.       T a b l e   3 .   R e s ul t   o f   10 - F o l d  C r o s s - V a l i d a t i o n       Bi n a r y   C l a s s i f i c a t i o n   5 - L e v e l   Cl a s s i fi c a t i o n       RP A RT   C5 . 0   M1   S A M M E   RP A RT   C5 . 0   M1   S A M M E   M A T   9 0 . 3 9 2   8 8 . 9 6   9 0 . 8 9 3   9 1 . 3 7 7   7 7 . 2 0 3   7 2 . 8 0 4   7 4 . 5 6 7   7 2 . 4 3 4   P O R   9 2 . 5 1 2   9 1 . 7 9 6   9 2 . 7 6 5   93 . 1 9 7   7 6 . 6 6 4   6 9 . 0 9 7   7 4 . 5 3 6   7 1 . 9 7 8       3. 2 .       S e c o n d   S c e n a r i o   T h e   r e s ul t   o f   s e c o n d  e xpe r i m e n t   s c e n a ri o   o n   b i n a r y   c l a s s i f i c a t i o n   a r e   s um m a r i z e d  i n   T a b l e   4.   A s   w e   c a n  s e e   i n  T a b l e   4,   a d a B oo s t . S A M M E   r e a c h   pe r f e c t   c l a s s i f i c a t i o n   w h e n   i t   t ra i n s   a n d   t e s t s   w i t h   t h e   s a m e   da t a   (100  o f   P CC).   W hi l e   a d a B o os t . M 1  h a v e   v e r y   c l o s e   t o   pe r f e c t   a c c ur a c y ,   w i t h   P CC  99 . 747   o n   M a t h e m a t i c s   a n d  99 . 661   o n   P o rt ugue s e .   It   i s   a l s o   n o t i c e d  t h a t   a l l   m o de l   of   boo s t i n g  a l go ri t hm s   o ut pe r f o rm s   t h e   R P A R T   m o de l .   T hi s   e xpe r i m e n t   s h o w s   us   t h a t   b o os t i ng  a l go ri t hm   c a n   b ui l d  m o de l s   t h a t   f o l l ow   t h e   c u r v a t u r e   o f   t h e   da t a .   t h e   10 0%  o r   c l o s e   t o   100%  a c c u r a c y   h a v e   a   b a d  s i d e ,   t h e r e   i s   a   t h e o r y   of   ov e r f i t t i n g,   w h i c h   i s   t h e   c o n di t i o n   o f   t h e   m o de l   t h a t   o v e r   fo l l ow   t h e   c ur v a t u r e   o f   t h e   da t a   t ra i ni n g ,   s o   w h e n   t e s t e d  w i t h   da t a   t ha t   ha v e   di f fe r e nt   c ur v a t u r e   t h e   a c c u r a c y   w a s   l ow .   B ut   b a s e d  o n   F r e und  a n d  S c ha p i r e   [15] ,   a da B o os t s   s h o ul d  s uff e r   l e s s   f r o m   o v e r f i t t i n g.     W h e n   t h e   m o de l   t ra i n e d  w i t h   90%  o f   da t a s e t   a n d  t e s t   w i t h   t h e   r e m a i n i ngs   (10%  o f   t h e   da t a s e t )  t h e   r e s ul t   do e s n ' t   h a v e   m uc h   di f f e r e n t   f r o m   t h e   10 - f o l d  c r o s s - v a l i da t i o n,   t h e   w i nn e r   i s   s t i l l   a da B o o s t . S A M M E   o n   P o r t ugue s e   a n d  a da B o o s t . M 1  o n   M a t h e m a t i c s .   W h e n   w e   l oo k  i n t o   P o r t ugue s e   r e s ul t s ,   R P A R T   a l go ri t hm   o ut pe r f o r m s   t h e   o t h e r   m o de l s   i n   80% ,   7 0%,   50% ,   40% ,   3 0 %,   a n d   10% .   W e   i nt e r e s t e d  t o   do   s o m e   s i m pl e   s t a t i s t i c a l   a n a l y s i s   o n   t hi s   r e s ul t s   t ha t   w e   put   o n   T a b l e   5 .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9   :     1298   –   1304   1302   T a b l e   4 .   B i n a r y   Cl a s s i f i c a t i o n  R e s ul t       100%   90%   80%   70%   60%   50%   40%   30%   20%   10%   M A T   RP A RT   9 3 . 9 2 4   9 0 . 5   8 8 . 9 8 7   8 8 . 5 7 1   8 9 . 3 0 4   9 0 . 9 0 9   9 0 . 2 5 3   8 9 . 3 8 6   9 0 . 6 9 6   9 1 . 2 3 6     C5 . 0   9 6 . 4 5 6   89   8 8 . 6 0 8   8 8 . 4 8 7   8 8 . 7 9 7   8 9 . 2 9 3   8 9 . 1 9 8   8 8 . 9 1 7   8 7 . 0 25   8 8 . 6 8     M1   9 9 . 7 4 7   9 1 . 2 5   9 1 . 0 1 3   8 9 . 6 6 4   9 0 . 5 7   9 0 . 3 5 4   9 0 . 5 0 6   9 0 . 3 9 7   8 9 . 6 5 2   8 8 . 6 2 4       S A M M E   100   8 9 . 2 5   9 0 . 7 5 9   8 8 . 8 2 4   8 9 . 0 5 1   8 9 . 5 4 5   8 9 . 0 3   8 9 . 2 0 6   8 8 . 2 9 1   8 6 . 6 8 5   P O R   RP A RT   9 4 . 9 1 5   9 2 . 9 2 3   9 3 . 5 3 8   9 2 . 8 2 1   8 9 . 0 5 1   9 2 . 2 7 7   9 2 . 5 1 3   9 1 . 8 4 6   9 1 . 2 3 1   9 1 . 5 5 6     C5 0   9 5 . 6 8 6   9 1 . 2 3 1   9 0 . 7 6 9   9 1 . 2 3 1   9 1 . 5 3 8   9 1 . 6   9 1 . 8 9 7   9 1 . 6 9 2   9 1 . 7 3 1   9 0 . 3 0 8     M1   9 9 . 6 6 1   9 3 . 0 7 7   9 2 . 4 6 2   9 2 . 1 5 4   9 2 . 3 0 8   9 2 . 1 2 3   9 2 . 1 2 8   9 1 . 6 9 2   9 1 . 4 8 1   9 1 . 5 3 8       S A M M E   100   9 3 . 0 7 7   9 1 . 8 4 6   9 1 . 7 9 5   9 1 . 5 3 8   9 2 . 2 1 5   9 2 . 2 3 1   9 1 . 7 5 8   9 2 . 5 5 8   9 1 . 3 6 8       D ue   t o   m e a n  a na l y s i s   o n   T a b l e   5,   w e   c a n   c o n c l ud e   t ha t   a d a Bo os t . M 1  h a v e   t h e   b e s t   pe r f o r m a n c e   f o r   b i n a r y   c l a s s i f i c a t i o n   i n   t h e   v a r i o us   n um b e r   o f   t r a i n i n g   da t a ,   w i t h  91. 178  m e a n   o f   P CC.   A l t h o ug h   t h e   m o s t   r o b us t   m o de l   i s   R P A R T ,   t hi s   c o n c l us i o n   c a n   b e   i n f e rr e d  by   o bs e r v i n g  t h e   s t a nda rd  de v i a t i o n   a m o n g  a l l   m o de l s .   A l t h o ugh   t h e   w i nn e r   i n   P o r t ug ue s e   da t a s e t s   i s   C5. 0 ,   i n   o ve r a l l ,   t h e   l e s s   v a l ue   of   s t a nda r d  de v i a t i o n   a c hi e v e d  by   R P A R T   m o de l .   T h i s   r e s u l t   a l s o   gi v i n g   i n f o r m a t i o n   a b o ut   o ur   s t a t e m e n t   b e f o r e   a b o ut   ove r f i t t i ng.   D ue   t o   s m a l l   s t a nda rd  de v i a t i o n  (l e s s   t ha n  4) ,   i t   c a n   p r o v e   t h a t   a da B o o s t   m o de l   i s   f a r   f r o m   o v e r f i t t i n g.       T a b l e   5 .   S t a t i s t i c a l   A na l y s i s   o n   B i n a r y   Cl a s s i f i c a i o n   R e s ul t     M e a n   M a x   M i n   S t d e v   M A T   RP A RT   9 0 . 3 7 7   9 3 . 9 2 4   8 8 . 5 7 1   1 . 4 5 1     C5 . 0   8 9 . 4 4 6   9 6 . 4 5 6   8 7 . 0 2 5   2 . 4 1 2     M1   9 1 . 1 7 8   9 9 . 7 4 7   8 8 . 6 2 4   2 . 9 4 5     S A M M E   9 0 . 0 6 4   100   8 6 . 6 8 5   3 . 4 5 1   P O R   RP A RT   9 2 . 2 6 7   9 4 . 9 1 5   8 9 . 0 5 1   1 . 4 6 7     C5 0   9 1 . 7 6 8   9 5 . 6 8 6   9 0 . 3 0 8   1 . 3 8 4     M1   9 2 . 8 6 2   9 9 . 6 6 1   9 1 . 4 8 1   2 . 3 1     S A M M E   9 2 . 8 3 9   100   9 1 . 3 6 8   2 . 4 3 5       T h e   r e s ul t   o f   s e c o n d  e xpe r i m e n t   s c e na r i o   o n   5 - l e v e l   c l a s s i f i c a t i o n   a r e   s um m a ri z e d  i n   T a b l e   6.   A n d  t h e   s t a t i s t i c a l   a na l y s i s   of   t h i s   r e s ul t   i s   s h o w n   i n   T a b l e   7.   T h e   e xpe r i m e nt   o f   u s i n g  t h e   s a m e   da t a   b e t w e e n   t r a i ni n g   da t a   a n d  t e s t i n g   da t a   ( i n   c o l um n   100%  o f   T a b l e   6)  s t i l l   ha v e   t h e   s a m e   c o n c l us i o n  w i t h   t h e   c o n c l us i o n  i n   t h e   b i n a r y   c l a s s i f i c a t i o n ,   t ha t   i s   b o o s t i n g  a l go ri t hm   m o de l s   o ut pe r f o r m   R P A R T   m o de l .   T h i s   r e i n f o r c e s   t h e   s t a t e m e n t   b e fo r e ,   t ha t   b o o s t i n g  a l go r i t hm s   m o de l   c a n   c l o s e l y   fo l l ow   t h e   c ur v a t u r e   o f   t h e   t r a i n i ng  da t a .     T h e y   c a n   fo l l ow   t h e   c ur v a t u r e   o f  t h e   t r a i n i ng  da t a   b e c a us e   of   t h e   m e c h a ni s m   o f   boo s t i n g ,   w h i c h   c a n   i m p r o ve   t h e   e rr o r   i n  l i n e   w i t h   b o os t i ng  i t e r a t i o n s   [15] ,  [26] .    A c c o r di n g  t o   T a b l e   6  a nd  7,   w e   c a n   s i m pl y   c o n c l ude ,   t ha t   R P A R T   w a s   ov e r a l l   o ut pe r f o r m e d  t h e   bo os t i n g   a l go ri t hm   i n  5 - l e v e l   c l a s s i f i c a t i o n   a s   t h e   c o n c l u s i o n   o n   t h e   r e s ul t   o f   10 - fo l d  c r o s s - v a l i da t i o n     (f i r s t   s c e na r i o ).   A l t h o ug h   i n   1 0 - f o l d  c r o s s - v a l i da t i o n   j us t   us i n g  90%  o f   t h e   da t a s e t   t h a t   us e d  a s   t ra i ni n g  d a t a   a n d  t h e   o t h e r   10 %  o f   t h e   da t a s e t   a s   t e s t i n g  d a t a .   A nd  f ur t h e r m o r e ,   R P A R T   a l go r i t h m   ha s   p r o duc e d  m o r e   r o b us t   pr e di c t i o n   m o de l s   fo r   t h i s   s t ude nt   pe r f o r m a n c e   da t a s e t s ,   t h a n   3  b oo s t i n g  a l go ri t hm s   t h a t   i m p l e m e n t e d  i n   t h i s   r e s e a r c h .       Ta b l e   6 .   R e s ul t   o f   5 - L e ve l   Cl a s s i f i c a t i o n       100%   90%   80%   70%   60%   50%   40%   30%   20%   10%   M A T   RP A RT   8 0 . 5 0 6   7 7 . 5   7 8 . 8 6 1   7 6 . 8 9 1   7 6 . 2 0 3   7 5 . 1 5 2   7 3 . 7 5 5   7 0 . 2 1 7   6 7 . 7 8 5   5 7 . 8 6 5     C5 . 0   9 0 . 8 8 6   73   6 9 . 6 2   6 9 . 4 9 6   6 7 . 5 9 5   6 9 . 1 9 2   6 8 . 3 1 2   6 7 . 0 0 4   6 3 . 2 9 1   5 6 . 5 4 5     M1   8 7 . 3 4 2   75   7 3 . 1 6 5   7 2 . 9 4 1   7 2 . 9 7 5   7 3 . 7 8 8   7 1 . 5 6 1   6 9 . 8 5 6   6 3 . 2 9 1   5 7 . 5 2 8       S A M M E   8 7 . 5 7   7 0 . 2 5   70   6 7 . 1 4 3   6 8 . 7 3 4   6 7 . 3 2 3   6 8 . 4 3 9   6 5 . 1 9 9   6 4 . 2 4 1   5 6 . 9 1   P O R   Rp a rt   7 6 . 7 3 3   7 6 . 6 1 5   7 6 . 2 3 1   7 7 . 0 2 6   7 5 . 3 8 5   7 3 . 6   7 3 . 5 1 3   7 3 . 6 2 6   7 1 . 1 1 5   6 3 . 9 1 5     C5 0   8 8 . 5 9 8   6 6 . 6 1 5   6 8 . 0 7 7   6 7 . 6 9 2   6 8 . 4 2 3   6 7 . 3 8 5   6 7 . 7 1 8   6 6 . 4 1 8   6 7 . 3 8 5   6 3 . 6 7 5     M1   8 2 . 0 1 8   7 4 . 6 1 5   74   7 3 . 1 2 8   7 3 . 9 6 2   7 3 . 8 4 6   7 1 . 3 5 9   7 1 . 5 8 2   6 8 . 9 4 2   6 5 . 2 4 8       S A M M E   8 0 . 4 4 7   6 6 . 9 2 3   6 7 . 4 6 2   6 7 . 4 3 6   6 7 . 7 3 1   6 6 . 5 5 4   6 6 . 2 0 5   6 7 . 4 2 9   6 5 . 0 1 9   6 1 . 4 5 3       3. 3 .       Th i r d   S c e n ar i o   T h e   t h i r d  s c e na r i o   i s   t h e   c r o s s - s ub j e c t   e v a l ua t i o n .   T h e   r e s ul t s   of   t h i s   s c e n a ri o   a r e   s h o w n   i n   T a b l e   8.   Bo l de d  a n d  u n de r l i n e d  hi g hl i g ht   t h e   b e s t   P CC,   w h i l e   j us t   bo l de d  s h ow e d   t h e   l o w e s t   P CC  i n   c o n f i gura t i o n .   M a t - P o r  m e a n s   t ha t   w e   b ui l d  t h e   m o de l s   us i n g  M a t h e m a t i c s   da t a s e t   a n d  p r e d i c t   ( t e s t )  us i ng  P o rt ugue s e   da t a s e t .   I n   M a t - P o r  c o n f i gu r a t i o n,   t h e   hi g h e s t   P CC   a c hi e v e d  by   R P A R T   w i t h   89 . 67 6  a n d  t h e   l o w e s t   ga i n e d  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       B ui l di n g  s t u de n t ’s   p e r f or m an c e   d e c i s i on   t r e e   c l as s i f i e r   us i ng   boos t i ng   al g or i t hm   ( F ar i d  J a uhar i )   1303   by   a da Bo os t . S A M M E   w i t h   89. 06.   T h e   di f f e r e n c e   v a l ue   of  P CC  o n   b i n a r y   c l a s s i f i c a t i o n   a n d  M a t - P o r   a m o n g   pr e di c t i o n   m o de l s   w a s   ve r y   s m a l l ,   w h i c h   i s   u n de r   1% .   S a m e   r e s ul t   o b t a i n e d  by   P o r - M a t   c o n f i gu r a t i o n  o n  b i n a r y   c l a s s i f i c a t i o n ,   t h e   b e s t   P CC  ga i n e d  by   R P A R T   w i t h   89 . 367  a n d  l o w e s t   P CC  a c h i e v e d  by   86. 228.     T h e   di f f e r e n c e   be t w e e n   h i g h e s t   a n d  l o w e s t   P CC  w a s   l e s s   t ha n   3% .   By   t h o s e   r e s ul t ,   w e   c a n   c o n c l ude   t ha t   i n  b i n a r y   c l a s s i f i c a t i o n  M a t h e m a t i c s   da t a s e t   o r   P o rt ugue s e   da t a s e t   b ui l d  i de n t i c   p r e di c t i o n   m o de l s .       T a b l e   7 .   S t a t i s t i c a l   A na l y s i s   o n  t h e   R e s ul t   o f   5 - L e v e l s   Cl a s s i f i c a t i o n     M e a n   M a x   M i n   S t d e v   M A T   RP A RT   7 3 . 4 7 3   8 0 . 5 0 6   57. 865   6 . 3 5 1     C5 . 0   6 9 . 4 9 4   9 0 . 8 8 6   5 6 . 5 4 5   8 . 2 9 1     M1   7 1 . 7 4 5   8 7 . 3 4 2   5 7 . 5 2 8   7 . 3 5     S A M M E   6 8 . 5 8 1   8 7 . 5 7   5 6 . 9 1   7 . 3 1 8   P O R   RP A RT   7 3 . 7 7 6   7 7 . 0 2 6   6 3 . 9 1 5   3 . 7 4 7     C5 0   6 9 . 1 9 9   8 8 . 5 9 8   6 3 . 6 7 5   6 . 5 8 9     M1   7 2 . 8 7   8 2 . 0 1 8   6 5 . 2 4 8   4 . 0 9 5     S A M M E   6 7 . 6 6 6   8 0 . 4 4 7   6 1 . 4 5 3   4 . 6 1 6       T a b l e   8 .   C r o s s - S ub j e c t   E v a l ua t i o n  R e s ul t s       Bi n a r y   C l a s s i f i c a t i o n   5 - L e v e l   Cl a s s i fi c a t i o n       RP A RT   C5 . 0   M1   S A M M E   RP A RT   C5 . 0   M1   S A M M E   M a t - P o r   8 9 . 6 7 6   8 9 . 2 1 4   8 9 . 1 8 3   8 9 . 0 6   6 8 . 1 0 5   6 7 . 9 5 1   6 8 . 2 9   6 3 . 2 3 6   P o r - M a t   8 9 . 3 6 7   8 7 . 8 4 8   8 6 . 8 1   8 6 . 2 2 8   7 4 . 9 3 7   72 . 1 5 2   7 0 . 4 0 5   6 4 . 5 5 7       S a m e   a s   b i na r y   c l a s s i f i c a t i o n ,   R P A R T   h a d  t h e   b e s t   P CC   68. 1 05  i n   M a t - P o r  c o n f i gu r a t i o n  a n d   74. 152   i n  P o r - M a t   c o n f i gura t i o n.   L o w e s t   P CC  ga i n e d  b y   a da B oo s t . S A M M E   63. 236  a n d   64 . 557 .   T h e   l a r ge r   di f fe r e n c e   b e t w e e n   2  c o n f i gu ra t i o n s   ga i n e d  by   R P A R T   i n   5 - l e v e l   c l a s s i f i c a t i o n   t ha t   i s   6 . 83 .   I t ‟s   n o t   a   b i g   n u m b e r   t o   t e l l   di f f e r e n c e s .   S o ,   w e   c a n   c o n c l ude   t ha t   i n  5 - l e v e l   c l a s s i f i c a t i o n   M a t h e m a t i c s   da t a s e t   o r  P o r t ugue s e   da t a s e t   c o n s t ruc t   i de n t i c   p r e di c t i o n   m o de l s .   D ue   t o  T a b l e   8,   t h e   a c c ur a c y   of  pr e d i c t i o n   i s   s t i l l   h i g h   i f   w e   c o m pa r e   t o   r e s ul t   o n   T a b l e   3,   t hi s   m e a n s   t h a t   t h e   M a t h e m a t i c s   da t a s e t   a n d  P o r t ugue s e   da t a s e t   di d n‟ t   h a v e   m uc h   d i f fe r e nt   pa t t e rn.   I n   o t h e r   w o r ds ,   M a t h e m a t i c s   da t a s e t   o r   P o rt ugue s e   da t a s e t   c o n s t r uc t   i de n t i c   pr e di c t i o n  m o de l s .       4.   C O N C LU S I O N   K e y   t o   c o m pe t i t i v e n e s s   v a l ue   of   t h e   e duc a t i o n a l   i n s t i t ut i o n  i s   s t ude n t ‟s   pe r f o r m a n c e .   T h e y   n e e d  t o  pr e di c t   l o w - pe r fo r m a n c e   s t ude n t s ,   i n   o r de r   t o   i m p r o v e   t he i r   pe r f o r m a n c e   w i t h   s o m e   s pe c i a l   t r e a t m e n t s .     W e   h a v e   i m pl e m e nt e d  3  b oo s t i n g  a l go r i t hm s   (C 5. 0 ,   a da B o o s t . M 1 ,   a d a B o os t . S A M M E )  t o   b ui l d  de c i s i o n   t r e e - b a s e d  c l a s s i f i c a t i o n   m o de l s   f o r   s t ude nt ‟s   pe r f o r m a n c e   p r e di c t i o n.   T h e   a c c ura c y   of   t h o s e   3  b oo s t i n g   a l go ri t hm s   c o m pa r e d   w i t h   R P A R T   a s   a   b a s e l i n e   m o de l   o f   D T   b a s e d  c l a s s i f i c a t i o n.   A da B oo s t . M 1  a n d  a d a B o os t . S A M M E   m o de l s   o ut pe r f o r m   R P A R T   o n   b i n a r y   c l a s s i f i c a t i o n   m o de l s .   W h i l e   R P A R T   o ut pe r f o r m s   b oo s t i n g  m o de l s   i n   5 - l e v e l   c l a s s i f i c a t i o n.   T h e   w e a kn e s s   o f   t h e   a da B o o s t . M 1  a nd  a da B o o s t . S A M M E   i n   5 - l e v e l   c l a s s i f i c a t i o n   m i g ht   b e   a c c o r di n g  t o   i t s   w e a k  l e a rn e r ,   w h i c h   w a s   t oo   s i m pl e .   U s i n g  m o r e   c o m pl e x  w e a k  l e a rn e r   m i g h t   b oo s t   t h e   a c c ur a c y   of  t h e   a da B o o s t   m o de l s .   C5. 0  a s   boo s t i n g  o f  C4. 5  f a i l e d  t o   o ut pe r f o r m   R P A R T   be c a us e   o f  t h e   l i m i t a t i o n   o f   t h e   i m pl e m e n t a t i o n   i n   „C5 0‟  l i b r a r y   of   R ,   w h i c h  c a n ‟t   c ha n ge   t h e   num b e r  o f   b oo s t i n g  i t e r a t i o n  l a r ge r  t ha n   10  t i m e s ,   w h i l e   a d a B oo s t . M 1  a n d   a da B o o s t . S A M M E   c a n   o ut pe r f o r m   R P A R T   i n  100   t i m e s   o f   boo s t i n g   i t e ra t i o n.   A s   e xpe c t e d,   t h e   c r o s s - s ubj e c t   e v a l ua t i o n   r e s ul t s   s h o w   t w o  di ffe r e nt   s ub j e c t   da t a s e t s   w h i c h   c o n s t r uc t s   i de nt i c a l   p r e di c t i o n   m o de l s .   T h e r e f o r e ,   o n   t h e   i m pl e m e nt a t i o n   i n   t h e   r e a l   w o r l d ,   w e   c a n   j us t   t r a i n  t h e   m o de l   w i t h  o n e   s ub j e c t   a nd  us e   t h e   m o de l   t o   p r e di c t   a l l   s ub j e c t s .         R EF ER EN C ES   [ 1]   C .   R o m e r o   a nd  S .   V e nt u r a ,   “ E duc a t i o na l   da t a   m i ni ng :   A   r e v i e w   o f   t he   s t a t e   o f   t he   a r t , ”   I E E E   T r a ns .   Sy s t .   M an   C y be r n.   P ar t   C   A pp l .   R e v . ,   v o l .   40 ,   no .   6,   pp .   601 – 618 ,   20 10.   [ 2]   A .   A .   S upi a n t o ,   Y .   H a y a s hi ,   a nd   T .   H i r a s hi m a ,   “ A na l y s i s   o f   s t e p s   i n  po s i ng   a r i t hm e t i c   w o r d   p r o bl e m   a s   s e nt e nc e - i nt e g r a t i o n  o n  i n t e r a c t i v e   l e a r n i ng   e nv i r o nm e n t , ”   I C C E   20 16  -   2 4t h  I n t .   C onf .   C om p ut .   E d uc .   T h i nk   G l o b.   A c t   L oc a l - M a i n   C on f .   P r oc . ,   no .   D e c e m be r ,   pp .   242 – 251 ,   201 6.   [ 3]   A .   A .   S upi a n t o ,   Y .   H a y a s hi ,   a nd  T .   H i r a s hi m a ,   “ V i s u a l i z a t i o ns   o f   pr o bl e m - po s i ng   a c t i v i t y   s e que nc e s   t o w a r d  m o de l i n g   t he   t hi n ki ng   pr o c e s s , ”   R e s .   P r ac t .   T e c hno l .   E nhan c .   L e ar n. ,   v o l .   11 ,   no .   1 ,   p.   1 4,   20 16.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   14 ,   N o .   3 ,  J u n e   20 1 9   :     1298   –   1304   1304   [ 4]   A .   A .   S upi a n t o ,   Y .   H a y a s hi ,   a n d  T .   H i r a s hi m a ,   “ P r o c e s s - ba s e d  A s s i g nm e nt - S e t t i ng   C ha ng e   f o r   S uppo r t   o f   O v e r c om i ng   B o t t l e ne c ks   i n  L e a r ni ng   b y   P r o bl e m - P o s i ng   i n  A r i t h m e t i c   W o r d  P r o bl e m s , ”   i n  J our n al   o f   P hy s i c s :   C onf e r e nc e   Se r i e s ,   2017 ,   v o l .   8 12,   no .   1 ,   p.   01 2004 .   [ 5]   P .   K a u r ,   M .   S i ng h,   a n d  G .   S .   J o s a n,   “ C l a s s i f i c a t i o n  a nd  P r e di c t i o n  B a s e d  D a t a   M i n i ng   A l go r i t hm s   t o   P r e d i c t   S l o w   L e a r ne r s   i n   E d uc a t i o n   S e c t o r , ”   P r o c e di a   C om pu t .   S c i . ,   v o l .   57 ,   pp.   500 – 5 08,   2 015 .   [ 6]   S .   H u s s a i n ,   N .   A .   D a h a n ,   F .   M .   B a - A l w i b,   a nd   N .   R i b a t a ,   “ E du c a t i o na l   da t a   m i n i ng   a nd   a n a l y s i s   o f   s t u de n t s ‟   a c a de m i c   p e r f o r m a nc e   us i ng   W E K A , ”   I ndone s .   J .   E l e c t r .   E ng .   C om put .   Sc i . ,   v o l .   9 ,   no .   2 ,   pp .   447 – 459 ,   2018 .   [ 7]   A .   M .   S ha h i r i ,   W .   H us a i n ,   a n d  N .   A .   R a s h i d ,   “ A   R e v i e w   o n  P r e di c t i ng   S t ude nt ‟ s   P e r f o r m a nc e   U s i ng   D a t a   M i n i ng   T e c hni qu e s , ”   P r oc e di a   C om p ut .   Sc i . ,   v o l .   72 ,   pp .   414 – 422 ,   2015 .   [ 8]   E .   F e r na n de s ,   M .   H o l a n da ,   M .   V i c t o r i no ,   V .   B o r g e s ,   R .   C a r v a l ho ,   a nd  G .   V a n  E r v e n,   “ E duc a t i o na l   d a t a   m i n i ng :   P r e d i c t i v e   a n a l y s i s   o f   a c a de m i c   pe r f o r m a nc e   of   publ i c   s c ho o l   s t ude nt s   i n  t he   c a p i t a l   o f   B r a z i l , ”   J .   B u s .   R e s . ,   no .   F e br ua r y ,   pp .   0 – 1 ,   201 8.   [ 9]   M .   P a nde y   a nd  S .   T a r un a ,   “ T o w a r ds   t he   i nt e g r a t i o n  o f   m ul t i pl e   c l a s s i f i e r   pe r t a i n i ng   t o   t he   S t ude nt ‟ s   p e r f o r m a nc e   pr e d i c t i o n , ”   P e r s pe c t .   Sc i . ,   v o l .   8 ,   pp .   364 – 366 ,   2016 .   [ 10]   H .   H a m s a ,   S .   I ndi r a de v i ,   a nd  J .   J .   K i z ha kke t ho t t a m ,   “ S t u de n t   A c a de m i c   P e r f o r m a nc e   P r e d i c t i o n  M o de l   U s i ng   D e c i s i o n  T r e e   a nd   F uz z y   G e ne t i c   A l g o r i t hm , ”   P r oc e d i a  T e c hno l . ,   v o l .   2 5,   pp .   326 – 3 32 ,   201 6.   [ 11]   A .   S a ndo v a l ,   C .   G o nz a l e z ,   R .   A l a r c o n,   K .   P i c ha r a ,   a nd  M .   M o nt e n e g r o ,   “ C e n t r a l i z e d  s t u de n t   p e r f o r m a nc e   pr e d i c t i o n  i n  l a r g e   c o ur s e s   ba s e d   o n  l o w - c o s t   v a r i a b l e s   i n  a n   i ns t i t ut i o na l   c o nt e x t , ”   I nt e r ne t   H i gh.   E du c . ,   v o l .   37,   no .   F e br u a r y ,   pp .   76 – 8 9,   20 18 .   [ 12]   P .   C o r t e z   a nd  A .   S i l v a ,   “ U s i ng   D a t a   M i ni ng   T o   P r e di c t   S e c o nda r y   S c hoo l   S t ud e nt   P e r f o r m a nc e , ”   i n  P r oc e e di ngs   of   5t h   F U t ur e   B U s i ne s s   T E C hno l ogy   C o nf e r e nc e   ( F U B U T E C   2008) ,   2 008,   p p.   5 – 12.   [ 13]   U .   B i n  M a t   a nd  N .   B u ni y a m i n,   “ U s i ng   ne ur o - f uz z y   t e c hni que   t o   c l a s s i f y   a nd  pr e d i c t   e l e c t r i c a l   e ng i ne e r i ng   s t ud e n t s ‟   a c hi e v e m e n t   upo n  g r a du a t i o n  ba s e d  o n  m a t h e m a t i c s   c o m pe t e nc y , ”   I nd one s .   J .   E l e c t r .   E ng .   C om p ut .   Sc i . ,  v o l .   5,   no .   3,   p p.   68 4 – 69 0,   20 17 .   [ 14]   S .   K .   V e r m a   a nd  R .   S .   T ha k ur ,   “ F uz z y   A s s o c i a t i o n  R ul e   M i n i ng   ba s e d  M o de l   t o   P r e di c t   S t ud e nt s ‟   P e r f o r m a nc e , ”   I nt .   J .   E l e c t r .   C om p ut .   E ng . ,   v o l .   7 ,   no .   4,   p .   2223 ,   201 7.   [ 15]   Y .   F r e und   a nd   R .   E .   S c ha pi r e ,   “ E xpe r i m e nt s   w i t h  a   n e w   bo o s t i ng   a l g o r i t hm , ”   M ac h .   L e ar n .   I nt .   W or k . ,   pp .   148 – 156,   1 996 .   [ 16]   W .   G u,   “ A ppl i c a t i o n  o f   B oo s t i ng   A l g o r i t hm   i n  S pa m   F i l t r a t i o n, ”   T E L K O M N I K A   I ndone s .   J .   E l e c t r .   E ng. ,   v o l .   12 ,   no .   7 ,   2014 .   [ 17]   G .   W a ng ,   T .   X u ,   H .   W a ng ,   a n d  Y .   Z o u,   “ A da B o o s t   a nd  L e a s t   S qua r e   B a s e d  F a i l ur e   P r e di c t i o n  o f   R a i l w a y   T ur no ut s , ”   P r oc .   -   201 6  9t h   I nt .   Sy m p .   C om pu t .   I n t e l l .   D e s .   I s c .   20 1 6 ,   v o l .   1 ,   pp.   4 34 – 4 37 ,   2 017 .   [ 18]   M .   M .   S h a r i f ,   A .   T h a r w a t ,   A .   E .   H a s s a n i e n,   a nd   H .   A .   H e f ny ,   “ E nz y m e   v s .   no n - e nz y m e   c l a s s i f i c a t i o n  b a s e d  o n  pr i nc i pa l   c o m po ne nt   a na l y s i s   a n d  A da B o o s t   c l a s s i f i e r , ”   P r oc e e di n g  -   I E E E   I nt .   C on f .   C om pu t .   C om m u n.   A u t om .   I C C C A   2 016 ,   pp .   2 88 – 293 ,   2017 .   [ 19]   E .   P a s ha e i ,   A .   Y i l m a z ,   M .   O z e n,   a nd   N .   A y di n,   “ P r e d i c t i o n  o f   s pl i c e   s i t e   us i ng   A da B oo s t   w i t h  a   ne w   s e q ue nc e   e nc o di ng   a pp r o a c h, ”   2016   I E E E   I n t .   C o nf .   Sy s t .   M a n,   C y be r n .   S M C   201 6  -   C onf .   P r oc . ,   pp .   385 3 – 38 58,   2 017 .   [ 20]   H .   R a j a g u r u  a nd  S .   K .   P r a bha ka r ,   “ P o w e r   s pe c t r a l   d e ns i t y   a nd  K N N   ba s e d  a da bo o s t   c l a s s i f i e r   f o r   e pi l e p s y   c l a s s i f i c a t i o n  f r o m   E E G , ”   i n  2 017  I nt e r n at i on al   c on f e r e nc e   of   E l e c t r oni c s ,   C om m un i c at i on  a nd  A e r os pac e   T e c hnol o gy   ( I C E C A ) ,   201 7,   pp .   441 – 444 .   [ 21]   R .   S o na v a ne   a nd  P .   S o na r ,   “ C l a s s i f i c a t i o n  a nd  s e g m e nt a t i o n  o f   br a i n  t um o r   us i ng   A da bo o s t   c l a s s i f i e r , ”   G l ob .   T r e nds   Si gna l   P r oc e s s . ,   pp .   3 96 – 4 03 ,   2 016 .   [ 22]   L .   L i ,   Z .   Y u,   J .   L i u,   J .   Y o u,   H .   S .   W o ng ,   a nd  G .   H a n,   “ M ul t i - v i e w   ba s e d  a d a bo o s t   c l a s s i f i e r   e ns e m bl e   f o r   c l a s s   pr e d i c t i o n   f r o m   g e ne   e xp r e s s i o n  pr o f i l e s , ”   I n t .   C o nf .   P at t e r n   R e c og ni t . ,   pp.   1 78 – 1 83,   2 014 .   [ 23]   C .   Y i ,   “ T a r g e t   T r a c ki ng   F e a t ur e   S e l e c t i o n  A l g o r i t hm   B a s e d  o n  A da bo o s t , ”   I ndone s .   J .   E l e c t r .   E ng .   C om pu t .   S c i . ,  v o l .   12,   no .   1 ,   pp.   7 34 – 7 40 ,   2 014 .   [ 24]   T .   H a s t i e ,   S .   R o s s e t ,   J .   Z h u,   a nd  H .   Z o u,   “ M ul t i - c l a s s   A da B o o s t , ”   S t at .   I n t e r f ac e ,   v o l .   2 ,   no .   3 ,   pp .   349 – 360 ,   200 9.   [ 25]   J .   R o s s   Q ui n l a n,   C 4 . 5:   P r ogr am s   F or   M ac hi ne   L e ar n i ng .   S a n   M a t e o ,   C A :   M o r g a n  K a uf m a nn ,   199 3.   [ 26]   J .   R .   Q ui nl a n ,   “ B a g g i ng ,   B o o s t i ng ,   a n d  C 4. 5, ”   i n  P r o c e e di ngs ,   F our t e e nt h  N at i on al   C o nf e r e nc e   on  A r t i f i c i al   I nt e l l i ge nc e ,   1996 .   [ 27]   S .   P a ng   a nd  J .   G o ng ,   “ C 5. 0  C l a s s i f i c a t i o n  A l go r i t hm   a nd  A ppl i c a t i o n  o n  I ndi v i dua l   C r e di t   E v a l ua t i o n  o f   B a nks , ”   Sy s t .   E ng .   -   T he or y   P r ac t . ,   v o l .   2 9,   no .   12 ,   pp .   9 4 – 10 4,   20 09 .   [ 28]   M .   H a s s o o n,   M .   S .   K o uh i ,   M .   Z o m o r o di - M o g ha da m ,   a nd  M .   A b da r ,   “ R u l e   o pt i m i z a t i o n  o f   boo s t e d  C 5. 0  bl a s s i f i c a t i o n  us i ng   g e ne t i c   a l g o r i t hm   f o r   l i v e r   di s e a s e   pr e d i c t i o n, ”   2017   I n t .   C o nf .   C om put .   A pp l .   I C C A   201 7 ,   pp .   299 – 3 05,   2 017 .   [ 29]   Y .   J I N C H E N G ,   J .   P I N G ,   C .   G U A N G Y U ,   Y .   T I E J I A N G ,   a nd  X .   F E I ,   “ A ppl i c a t i o n  o f   C 5. 0  A l g o r i t hm   i n   F a i l ur e   P r e d i c t i o n  o f   S m a r t   M e t e r s , ”   i n  2016  13 t h  I nt e r n at i ona l   C o m put e r   C on f e r e nc e   on  W av e l e t   A c t i v e   M e d i a   T e c hnol o gy   and   I nf or m a t i on   P r oc e s s i ng   ( I C C W A M T I P ) ,   20 16,   p p.   328 – 3 33.   [ 30]   F .   N i a   a nd  M .   K ha l i l ,   “ A n  e f f i c i e n t   m o de l i ng   a l g o r i t hm   f o r   i n t r u s i o n  de t e c t i o n  s y s t e m s   us i ng   C 5. 0  a n d  B a y e s i a n   N e t w o r k  S t r uc t u r e s , ”   2 015   2nd   I nt .   C on f .   K now l e dge - B a s e d  E ng .   I n nov . ,   pp .   111 7 – 11 23,   2 015 .   [ 31]   C .   J .   B r e i m a n   L . ,   F r i e dm a n  J .   H . ,   O l s h e n  R .   A . ,   a n d  S t o ne ,   C l a s s i f i c at i on   and   R e gr e s s i on   T r e e s .   T a y l o r   &   F r a nc i s ,   1984 .   [ 32]   “ T he   R   P r o j e c t   f o r   S t a t i s t i c a l   C o m put i ng . ”   [ O nl i ne ] .   A v a i l a b l e :   ht t p s : / / w w w . r - p r o j e c t . o r g / .   [ A c c e s s e d:   05 - J un - 2018] .     Evaluation Warning : The document was created with Spire.PDF for Python.