I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   18 ,   N o .   1 A p r i l   20 20 ,   p p.   209 ~ 217   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 8 .i 1 . pp 209 - 217             209       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   D e v e l o p e d   t h i r d   i t e r a t i v e   d i c h o t o m i z e r   b a s e d   o n   f e a t u r e   d e c i si v e   v a l u e s   f o r   e d u c a t i o n a l   d a t a   m i n i n g       S aja  Tah a   A h m e d 1 ,   R afah   A l - H am d an i 2 ,   M u ayad   S ad i k   C r o o c k 3   1 , 2 T he   I n f o r m a t i c s   I ns t i t u t e   f o r   P o s t g r a d ua t e   S t u di e s ,   I r a q i   C o m m i s s i o f o r   C o m put e r s   &   I nf o r m a t i c s   ( I I P S - I C C I )   3 C o m put e r   E ng i ne e r i ng   D e pa r t m e n t ,   U n i v e r s i t y   o f   T e c hno l ogy ,   I r a q       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e Ju n   11 ,   201 9   R e v i s e S e p   1 2 201 9   A c c e pt e O c t   3 ,   20 1 9       R e c e nt l y ,   t h e   d e c i s i o t r e e s   ha v e   be e a do pt e a m o ng   t he   p r e e m i ne nt   ut i l i z e d   c l a s s i f i c a t i o m o de l s .   T he y   a c qui r e   t h e i r   f a m e   f r o m   t he i r   e f f i c i e nc y   i p r e d i c t i v e   a na l y t i c s ,   e a s y   t o   i nt e r pr e t   a nd   i m p l i c i t l y   pe r f o r m   f e a t u r e   s e l e c t i o n.   T h i s   l a t t e r   pe r s p e c t i v e   i s   o ne   o f   e s s e n t i a l   s i g ni f i c a nc e   i E duc a t i o na l   D a t a   M i n i ng   ( E D M ) ,   i w h i c s e l e c t i ng   t he   m o s t   r e l e v a n t   f e a t u r e s   ha s   a   m a j o r   i m p a c t   o c l a s s i f i c a t i o a c c ur a c y   e nha nc e m e nt .     T he   m a i n   c o nt r i b ut i o i s   t o   bui l d   a   ne w   m u l t i - o bj e c t i v e   de c i s i o t r e e ,   w h i c c a be   us e f o r   f e a t u r e   s e l e c t i o a n c l a s s i f i c a t i o n.   T he   p r o po s e d   D e c i s i v e   D e c i s i o T r e e   ( D D T )   i s   i n t r o duc e a nd  c o ns t r uc t e ba s e d   o a   de c i s i v e   f e a t u r e   v a l u e   a s   a   f e a t ur e   w e i g ht   r e l a t e t o   t he   t a r g e t   c l a s s   l a b e l .     T he   t r a d i t i o na l   I t e r a t i v e   D i c ho t o m i z e r   ( I D 3)   a l g o r i t hm   a nd  t he   pr o po s e D D T   a r e   c o m pa r e u s i ng   t hr e e   d a t a s e t s   i n   t e r m s   o f   s o m e   I D i s s ue s ,   i nc l ud i ng   l o g a r i t hm i c   c a l c ul a t i o c o m pl e x i t y   a nd   m ul t i - v a l u e s   f e a t ur e s   s e l e c t i o n.   T h e   r e s ul t s   i n di c a t e d   t h a t   t he   pr o po s e D D T   o ut p e r f o r m s   t he   I D 3   i t he   de v e l o pi ng   t i m e .   T he   a c c ur a c y   o f   t he   c l a s s i f i c a t i o i s   i m pr o v e o t he   ba s i s   o f   10 - f o l c r o s s - v a l i d a t i o f o r   a l l   da t a s e t s   w i t h   t he   hi g he s t   a c c ur a c y   a c hi e v e by   t he   pr o po s e m e t ho i s   92 %   f o r   t he   s t ud e nt . po r   d a t a s e t   a nd   ho l do ut   v a l i da t i o n   f o r   t w o   da t a s e t s ,   i . e .   I r a qi   a nd  S t ud e nt - M a t h.     T he   e xp e r i m e n t   a l s o   s ho w s   t ha t   t h e   pr o po s e D D T   t e n ds   t o   s e l e c t   a t t r i but e s   t ha t   a r e   i m po r t a nt   r a t he r   t h a m u l t i - v a l u e .     Ke y w or ds :   A c c ur a c y   D e c i s i o n   t r e e   D e c i s i ve   v a l ue s   E D M   ID 3   P r e di c t i o n   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S a j a   T a ha   A hm e d,     T h e   I n f o r m a t i c s   I n s t i t ut e   f o r   P o s t g r a dua t e   S t ud i e s ,     Ira qi   Co m m i s s i o f o r   Co m pu t e r s   &   I n f o r m a t i c s ,   B a g h d a d,   I ra q.     E m a i l :   s a j a t a h a @ y m a i l . c o m   s a j a t a h a 2@ y a h o o . c o m       1.   I N TR O D U C TI O N     E duc a t i o na l   D a t a   M i ni n g   (E D M i s   e m p l oy e d   t o   e xt ra c t   t h e   r e l e v a nt   i n f o r m a t i o f r o m   t h e   e xt e n s i v e   a n c o m pl e e duc a t i o na l   da t a s e t s   a n d   i t   i s   v a l ua b l e   f o r   da t a   a na l y s i s   a n p r e di c t i o n s   [1] .   T h e   p r e di c t i o n   i s   c o m m o n l y   a ppl i e us i n E D M   t ha t   c o n s i de r s   t h e   fo l l ow i n t e c hn i q ue s :   c l a s s i f i c a t i o n,   c l us t e ri n g ,   a s s o c i a t i o r u l e   m i n i ng,   e t c .   C l a s s i f i c a t i o n   i s   t h e   m o s t   po pul a E D M   m e t h o do l o g y   us e fo r   s t ude n t   pe r f o r m a n c e   pr e di c t i o n.   T h e r e   a r e   n u m e r o us   c l a s s i f i c a t i o n   m e t h o ds   t ha t   c a n   b e   c a t e go r i z e s uc h   a s   de c i s i o n   t r e e ,     n e u r a l   n e t w o r k,   N e a r e s t   n e i g h b o r ,   e t c .   T h e s e   t e c hn i que s   a r e   t y pi c a l l y   a c c us t o m e d   t o   b ui l di n t h e   c l a s s i f i c a t i o m o de l ,   w h i c p r e di c t s   t h e   f ut u r e   t r e nd  b a s e o t h e   p r e v i o us   pa t t e rn   [2 - 3] .     T h e   de c i s i o n   t r e e   i s   a   f o r e m o s t   w i de s pr e a d   m e t h o do l o g y   fo r   da t a   c l a s s i f i c a t i o n ,   w h i c h   i n c o rpo r a t e s   n u m e r o us   t y pe s ,   s uc h   a s   T hi r It e r a t i v e   D i c h o t o m i z e r   (ID 3)  t h a t   s e l e c t e o pt i m a l   a t t r i b ut e   us i ng  i n f o r m a t i o ga i n   [4].   D i f f e r e n t   de c i s i o t r e e   m e t h o ds   a r e   de v e l o p e f r om   t h e   ID 3   m e t h o d,   s uc h   a s   C4 . b a s e o n   g a i ra t i o   [ 5],   a s   w e l l   a s   Cl a s s i f i c a t i o a nd  R e gr e s s i o T r e e   (CA R T us e G i n i   i nde [6] .     In   ge n e r a l ,   t h e   de c i s i o n   t r e e   a s s i s t s   e duc a t i o na l   i n s t i t ut i o n s   a n u n i v e r s i t i e s   i n   de c i s i o n   m a k i n i o r de r   t o   pr o v i de   a   s t ude n t   w i t t h e   n e c e s s a r y   a s s i s t a n c e   i n   t h e   l e a rni n p r o c e s s .   It   i s   s o   po pul a r   b e c a us e   c o m pl e da t a   c a n   b e   pr e s e n t e i n   a   v i s ua l   r e pr e s e nt a t i o n   w i t h   a l l   po s s i b l e   o ut c o m e s   a n p r o duc e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     2 0 9   -   2 1 7   210   c l a s s i f i c a t i o n   r u l e s   t ha t   a r e   e a s y   t o   i n t e rp r e t   t h a n   o t h e r   c l a s s i f i c a t i o n   m e t h o ds .   T h e   m o s t   r e l e v a nt   s ub s e t   f e a t ur e s   fo r   a   de c i s i o n   a u t o m a t i c a l l y   e m e r ge   t hr o ug h   t h e   p r o c e s s   of  de v e l o pi n t h e   t r e e ,   t h e   t o n o de s   of   t h e   t r e e   a r e   t h e   m o s t   e s s e n t i a l ,   s i n c e   t h e y   a r e   de c i di n t h e   s ub s e que n t   de c i s i o n s   t o   b e   m a de .   I n   a dd i t i o n,   t h e   t r e e   de m o n s t r a t e s   t h e   o r de r   de c i s i o n s   m us t   b e   m a de   a n e l i m i na t e s   a m b i gui t y   r e l a t e t o   h o w   e a c h   i t e m   i n f l ue n c e s   t h e   o t h e r s   [7].   N e v e r t h e l e s s ,   ID 3   s pe c i f i c a l l y ,   ha s   s o m e   b ur d e n s ,   s uc a s :   a)   It   i s   t i m e - c o n s um i n due   t o   i n f o r m a t i o n   e nt r o p y   c a l c ul a t i o w h i c h   i s   b a s e o n   l o ga ri t hm i c   a l go ri t hm s   [8 - 9 ]   s i n c e   t h e   c o m put a t i o n   s pe e o t h e   l o ga r i t h m i c   e xpr e s s i o n   i s   s l ow e r   t h a n   f o ur   a ri t hm e t i c   o pe r a t i o n s   t ha t   o n l y   i n c l u de   a dd i n g ,   s ub t ra c t ,   m u l t i pl y   a n d   di v i de   [10].     b)   It   us e s   i n f o r m a t i o n   ga i n   a s   a t t ri b ut e   s e l e c t i o n   c r i t e ri a   t h a t   pi c t h e   m ul t i - v a l ue s   a t t ri b ut e ,   a n t h e   n u m b e r   o f   a t t ri b ut e   v a l ue s   c a nn o t   b e   us e t o   m e a s ur e   t h e   a t t ri b ut e   s i gni f i c a n c e .   T hi s   m a j o r   s h o r t c o m i n g   i n f l ue n c e s   t h e   a c c ur a c y   of   t h e   de c i s i o n   t r e e   [1 1].     c)   T h e   D e c i s i o n   t r e e   c a n   ha v e   ove r f i t t i ng,   a   p h e n o m e n o n   i w h i c h   a   m o de l   b e c o m e s   m o r e   c o m pl e x.     W h e n   i t   i s   e xc e s s i ve l y   de pe n de n t   o n   i rr e l e v a n t   a t t r i b ut e s   o f   t h e   t r a i n i ng  d a t a ,   t h e   r e s ul t   i s   t ha t   i t   w o r ks   w e l l   o t h e   t ra i ni n da t a   b ut   i s   r e l a t i v e l y   p o o r l y   pr e di c t i v e   o n   u n s e e n   i n s t a n c e s   [12] .     O v e r   t h e   pa s t   f e w   y e a r s ,   a   n u m b e r   o f   r e s e a r c h e r s   h a v e   p r e s e n t e m a n y   r e l a t e w o r ks   f o r   t h e   us e   a n d/ o r   s ugge s t i o n   o f   a n   e nha n c e m e nt   i n   de c i s i o n   t r e e   m e t h o ds   of   v a r i o us   c l a s s i f i c a t i o n   p r o b l e m s ,   b e l ow   a r e   s o m e   of   t h e   r e l a t e w o r ks   i n   t h i s   f i e l d.   ID ha s   s o m e   e xi s t   di s a dv a n t a ge s   s uc h   a s   t e ndi n t o   s e l e c t   a t t ri b ut e s   b i a s i n t o w a r ds   m u l t i - v a l ue s .   T h e   l o ga ri t hm i c   e xpr e s s i o n   h a s   a   h i g h   c o m pl e xi t y   c o m put a t i o n   a n l a r ge - s c a l e   s i z e .   T h e   a ut h o r s   o f   [13]   pr o po s e a n   i m p r o v e ID a l go ri t hm   t h a t   c o m b i n e s   t h e   s i m pl i f i e i n f o r m a t i o n   e nt r o p y   b a s e o n   di f fe r e nt   w e i ght s   w i t h   c o o r di na t i o n   de g r e e   i n   r o ug h   s e t   t h e o r y .   T h e   t ra di t i o n a l   ID a nd  t h e   i m p r o v e o n e   a r e   c o m pa r e by   e xpl o i t i ng  t hr e e   da t a s e t s ,   t h e   e xpe ri m e n t a l   r e s ul t s   s h o w e t ha t   t h e   p r o po s e a l go r i t hm   o ut pe r f o r m e i t h e   r u nni n g   t i m e   a n d   t r e e   s i z e ,   b ut   n o t   i c l a s s i f i c a t i o n   a c c ura c y   fo r   s m a l l   d a t a s e t s .     T h e   ID us e s   i n f o r m a t i o g a i t e n t o   s e l e c t   t h e   a t t ri b ut e   w i t m o r e   v a l ue s   b ut   i t   c a nn o t   m e a s u r e   t h e   a t t ri b ut e   i m po rt a n c e   v i a   t h e   num b e r   o a t t r i b ut e   v a l ue s .   T h e re fo r e ,   t h e   a ut h o r s   of   [1 4]  pr o po s e a   n e w   m e t h o t h a t   s e l e c t e t h e   s pl i t t i ng  a t t r i b ut e   b a s e o n   t h e   ut i l i z a t i o of   c o n di t i o na l   p r o b a b i l i t y   c a l c ul a t i o n   o c l o s e   c o n t a c t   b e t w e e n   t h e   a t t r i b ut e s   a n t h e   de c i s i o n   a t t r i b ut e s .   It   j o i n e w i t h   i n f o r m a t i o n   ga i n   t o   ge t   h i g h e pr e di c t i v e   a c c ur a c y   a n l e s s   n u m b e r   of   l e a ve s   w i t h o ut   t a ki ng  i n t o   c o n s i de ra t i o n   t h e   ru nn i ng  t i m e .     In   pe r s pe c t i v e   of   t h e   a b ov e   i s s u e ,   t h e   a ut h o r s   o f   [15]  s ugge s t e n o r m a l i z e a s s o c i a t i o n   f un c t i o n   c o m b i n e w i t h   g a i n   f o r   e a c h   a t t ri b ut e   t o   de c i de   s pl i t t i ng  de c i s i o n,   t h i s   c a n   e nha n c e   a c c ur a c y   b ut   i n c r e a s e   t i m e   c o m pl e xi t y   fo r   p r o po s e de c i s i o n   t r e e .     T h i s   p a pe a i m s   t o   c r e a t e   a   c l a s s i f i c a t i o m o de l   p a r t i c ul a rl y   a   de c i s i o t r e e   a l go r i t hm   t ha t   c a e ffe c t i ve l y   c h a ra c t e ri z e   s t ude n t s   i n t o   o n e   o f   t w o   c l a s s e s   (P a s s   o r   F a i l b y   pr e di c t i n t h e   f ut u r e   g r a de s   of   t h e   s t ude nt s   i t h e i f i n a l   e xa m i na t i o n s .   T h e   p r o po s e a l go ri t hm   a i m s   t o   i de n t i fy   s i gn i f i c a nt   f a c t o r s   i n f l ue n c i n g   s t ude nt   a c h i e v e m e n t   a nd  a dd r e s s e s   t h e   m e nt i o n e ID p r o b l e m s .   A   n e w   m e t h o do l o g y   i s   ut i l i z e t o   b ui l t h e   pr o po s e D e c i s i v e   D e c i s i o n   T r e e   (D D T b a s e o n   t h e   f a c t   t ha t   t h e   e v a l ua t i o n   m us t   c o n s i de r   t h e   c o m b i na t i o n   b e t w e e n   t h e   r e l e v a n c y   d e gr e e   of   e a c h   fe a t u r e   a n t h e   de gr e e   of   c l a s s i f i c a t i o n   a c c u r a c y   e n f o r c e m e n t .   T h e r e f o r e ,   t h e   fe a t ur e s   r e l e v a n c y   de gr e e s   a n t h e   e xi s t i ng  c r o s s   c o upl i n a r e   e v a l ua t e w h e n   t h e y   a r e   c o m b i n e t o ge t h e r   b a s e o n   f e a t u r e   de c i s i v e   ( w e i gh t i ng)  v a l ue s .   T h e   p r o po s e m e c h a n i s m   i s   e x a m i n e by   t hr e e   da t a s e t s ,   na m e l y ,   Ir a q i   da t a s e t   a nd  U CI  s t ude n t   p e r f o r m a n c e   da t a s e t   t ha t   i n c l ude s   m a t h e m a t i c s ,     a n P o rt ug ue s e   l a ngua ge   c o ur s e s   da t a s e t s .   T h e   e xpe r i m e n t a l   r e s ul t s   s h o w   t h a t   t h e   p r o po s e D D T   ob t a i n s   b e t t e r   pe r f o r m a n c e   t h a t ra di t i o na l   ID 3,   i n   t e rm s   o f ,   c l a s s i f i c a t i o n   a c c ur a c y ,   r u nni n g   t i m e   a nd  o pt i m um   m ul t i - v a l ue   f e a t ur e   s e l e c t i o n.         2.   R ES EA R C H   M ET H O D     T h i s   s t udy   w i l l   i n c l ude   t w o   pha s e s   a s   a   p a r t   o f   m e t h o do l o g y ,   a s   f o l l ow :     2. 1 .       D at as e t   C o l l e c ti o n   A s   m e n t i o n   e a rl i e r,   t h i s   s t udy   i n c o r po r a t e s   t hr e e   da t a s e t s .   T h e   f i r s t   da t a s e t   i s   c a l l e Ira qi   d a t a s e t   w h i c h   i s   up l o a de a t   [16]  a nd  us e fo r   E D M   pr e p r o c e s s i n g   a nd  N e ur a l   N e t w o r c l a s s i f i c a t i o n   by   [17].   It   i s   c o l l e c t e duri n t h e   s e c o n s e m e s t e r   o f   2018  by   a ppl y i n (o r   s ub m i t t i n g que s t i o nna i r e   i n   t hr e e   I r a q i   s e c o n da r y   s c h o o l s   fo r   t h e   a pp l i c a b l e   a n b i o l o gi c a l   b r a n c he s   of   t h e   f i n a l   s t a ge .   T h e   que s t i o nna i r e   i ni t i a l l y   c o n t a i n s   56  que s t i o n s   i t hr e e   A s h e e t s   a n 250  s t ude nt s   (s a m p l e s r e s po n t o   t h e   que s t i o nn a i r e .   L a t e r,   130   s a m pl e s   a r e   d i s c a r de due   t o   l a c o f   i n f o r m a t i o n,   a s   p r e - p r o c e s s i n i s   us e t o   ob t a i n   s t ude nt s   '   m o s t   c o m pl e t e   i n f o r m a t i o n.   T hi s   s t udy   c o n s i de r s   12 i n s t a n c e s   w i t h   5 f e a t u r e s   f o r   e xpe ri m e nt a l   pu rpo s e s   a f t e r   r e m o v i n i n c o n s i s t e n c i e s   a n i n c o m pl e t e n e s s   i n   t h e   da t a s e t .   T h e   a t t r i b ut e s   a r e   di v i de i nt o   f i v e   m a i n   c a t e go ri e s :   D e m o gr a p hi c ,   E c o n o m i c ,   E duc a t i o n,   T i m e   a n M a r ks .   F u rt h e rm o r e ,   n e w   f e a t ur e s   s uc a s   h o l i d a y s   a n Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e v e l op e t hi r d   i t e r a t i v e   di c ho t om i z e r   bas e o f e a t ur e   de c i s i v e   v a l u e s   f or   ( Saj a   T aha  A hm e d )   211   w o r r y i n e f fe c t s   a r e   i n t r o duc e d.   A l s o ,   t h e   r e l a t i o n s h i ps   b e t w e e n   pa r e nt s   a n s c h o o l s   a n t h e   s t ude n t ' s   us e   o bo o k s   a n r e f e r e n c e s   a r e   c o n s i de r e d.     T h e   s e c o n us e da t a s e t   i n   t hi s   s t udy   i s   (S t ude n t   A l c o h o l   Co n s um p t i o n   D a t a   S e t ),   o b t a i n e f r o m   U CI  P o r t uga l   [17 - 18] .   T h i s   da t a   s e t   w a s   c o l l e c t e duri n g   t h e   20 05 - 200 y e a r   f r o m   t w o   pub l i c   s c h oo l s   de pe n di n g   o n   t w o   s o ur c e s :   s c h o o l   r e po r t s   f o r   t h e   t hr e e - p e r i o g r a de s   a n num b e r   o f   s c h o o l   a b s e n c e s ,     a n que s t i o nn a i r e s .   T h e   da t a s e t   c o n s i s t s   o f   t w o   da t a s e t s :   s t ude n t - m a t . c s v   (M a t h ) ,   w h i c h   h o l ds   395  i n s t a n c e s   of   M a t h   c o ur s e a n d   s t ude n t - po r . c s v   ( P o r ),   w h i c h   h o l ds   659   i n s t a n c e s   of   P o r t ugue s e   l a n gu a ge   c o ur s e .   B o t h   o t h e s e   da t a s e t s ,   c o n s i s t i n g   o f   32  a t t ri b ut e s .     2. 2 .       Th e   P r o p o s e d   M e th o d o l o gy   A   n e w   c r i t e r i o n   t o   b ui l a   de c i s i o n   t r e e   fo r   s t ude n t   pe r f o r m a n c e   pr e d i c t i o n   i s   p r e s e n t e d .     T h e   D e c i s i v e   F e a t ur e   (W e i g h t )   v a l ue   w a s   c a l c ul a t e f o r   b o t h   t h e   t ra i ni n a nd  t h e   t e s t   s e t   de pe n di ng  o n   t h e   r e l a t i v e   p r o b a b i l i t y   of   t h e   e xi s t i n g   f e a t u r e s   o c c ur r i ng  w i t r e s pe c t   t o   t h e   t a r ge t   c l a s s .     T h e   f i r s t   s t a ge   i s   D D T   b ui l di ng,   i w h i c h   t h e   p r o po s e s y s t e m   i nt r o duc e s   t h e   i de a   o f   ob t a i ni n e a c a t t ri b ut e   i n   t ra i n i n s e t   a n   i m po rt a n c e   v i a   t e s t i ng  i t s   s i g ni f i c a n t   de g r e e   w i t h   t a r ge t   c l a s s   us i n t h e   f e a t ur e   w e i ght   v a l ue   c a l c ul a t e f o r   e a c h   of   t h e   a t t r i b ut e s ,   i n i t i a l l y   ( 1 [19 - 20]  i s   us e t o   c o m put e   a   s i gni f i c a n t   de g r e e   fo r   t a r ge t   c l a s s :     = F t s uc c es s F t f ai l F t s uc c es s + F t f ai l   (1)     W h e r e ;   t   i s   a   t a r ge t   c l a s s .   D t   i s   t h e   D e c i s i v e   v a l ue   of   t h e   t a r ge t .     F ts u c c e s s   i s   t h e   f r e que n c y   of   oc c ur r e n c e   o f   s uc c e s s   c l a s s .   F tfai l   i s   t h e   f r e que n c y   of   o c c ur r e n c e   o f   f a i l   c l a s s .   T h e   de c i s i ve   v a l ue s   of   t h e   a t t r i b ut e s   a r e   c o n s i de r e a s   l e a di n i ndi c a t o r s   fo r   f e a t ur e   w e i ght i n a nd  s i g n i f i c a n c e   a n a l y s i s   fo r   t h e   s t ude n t ' s   s uc c e s s / f a i l u r e   p r e di c t i o n   t a s k .   T h e   D e c i s i v e   v a l ue   (D i s   w i t h i n   [   1,   - 1]  ra n ge .   If   t h e   v a l ue   i s   a pp r o xi m a t e l y   1,   i t   i m pl i e s   t h a t   m o s t   of   t h e   f e a t u r e   i s   do n e   w i t a   s uc c e s s f ul   s t ude nt   c l a s s .   If   t h e   v a l ue   i s   a pp r o xi m a t e l y   t o   - 1,   i t   i m pl i e s   t ha t   t h e   f e a t ur e   ge n e r a l l y   h a ppe n s   w i t h   a   f a i l u r e   s t ude n t   c l a s s .   W hi l e   t h e   v a l ue   i s   n e a r   t o   0,   i t   i m pl i e s   t ha t   t h e   f e a t ur e   i n   t h e   s uc c e s s   c l a s s   i s   a l m o s t   e qui v a l e nt   t o   f a i l u r e   c l a s s .     T h e   Cu m ul a t i v e   D e c i s i v e   v a l ue   (CD i s   c o m put e us i n ( 2 )   by   m ul t i p l y i n t h e   D   v a l ue   o f   e a c h   a t t ri b ut e ’s   c a t e go r y   w i t h   i t s   f r e que n c y .   T h i s   t a ke s   i n t o   a c c o un t   t h e   v o l um e   of   t h e   f r e que n t   o c c urr e n c e   of  v a l ue s   t h a t   c o n s t ruc t   a   s pe c i f i c   a t t r i b ut e   i r e l a t i o t o   t h e   t a rg e t   c l a s s .     CD ( i ) = ( D ( ij )                              ) = 1   (2)     W h e r e ;   i   i s   a   s pe c i f i c   a t t ri b ut e .   j   i s   a   v a l ue   w i t h i a t t ri b ut e   i .   N   i s   t h e   n u m b e r   o f   v a l ue s   (c a t e go r i e s w i t hi n   a t t r i b ut e   i .   D (i j i s   t h e   D e c i s i ve   v a l ue   of   s p e c i f i c   c a t e g o r y   j   w i t h i n   a t t r i b ut e   i ,   t h e   ( 1 )   o f   t h e   t a rge t   b e c o m e s   ( 3 )   fo r   a t t ri b ut e   c a t e go ri e s ,   w i t t h e   de s c ri pt i o o f   t h e   f o l l o w i n p a ra m e t e r s :     (  ) = F i s uc c es s ( ij ) F i f ai l ( ij ) F i s uc c es s ( ij ) + F i f ai l ( ij )   (3)     F i s uc c e s s   (i j i s   t h e   f r e que n c y   of   o c c urr e n c e   of   v a l ue   j   of   a t t ri b ut e   i   i n   s uc c e s s   c l a s s .   F i f a i l   (i j i s   t h e   f r e que n c y   of   o c c urr e n c e   o f   v a l ue   j   of   a t t ri b ut e   i   i a   f a i l   c l a s s .     F i na l l y ,   t h e   b e s t   a t t r i b ut e   i s   s e l e c t e us i n g   G a i n   by   s ub t r a c t i n g   CD   f o r   e a c h   a t t ri b ut e   f r o m   t h e   t a r ge t   D t   us i n ( 4 ) .   T h e   hi g h e s t   a t t ri b ut e   ga i n   i s   r e c o m m e n de t o   b e   t h e   b e s t   a t t ri b ut e   pl a c e a t   t h e   r o o t   fo r   f ur t h e r   s pl i t t i n g .   T h e   p r o po s e D D T   i s   c o n t i nue i n   t h i s   w a y   by   t e s t i n e v e r y   pr o pe r t y   w i t h   o t h e r s   u nt i l   pu r e   t a r ge t   c l a s s   (a l l   s uc c e s s   o r   f a i l u r e i s   r e a c h e o n o   f ur t h e r   s pl i t t i n g   i s   f o un d.   I n   t h e   l a t t e r   c a s e ,   w h e n   t h e r e   i s   n o   c o m b i na t i o n   o f   t h e   v a l ue s   o f   a t t ri b ut e s   a l o n t h e   c u rr e nt   p a t h .   T h e   p r o po s e D D T   t a ke s   i n t o   c o n s i de r a t i o n   D (i j f o r   a   s pe c i f i c   c a t e go r y   (c ur r e n t   v a l ue i n   t h e   o r i g i na l   t ra i ni n s e t ,   w h i c h   ha s   n o   c o m b i n a t i o n   w i t h i t hi s   pa t h.   T h e n   D D T   de c i de s   w h e t h e r   t h e   l e a f   n o de   w i l l   s uc c e e o r   f a i l ,   i f   D (i j v a l ue   p r e do m i n a nt l y   c l os e s   1,     a t   t ha t   po i n t ,   t h e   de c i s i o n   w i l l   s uc c e e d,   o t h e r w i s e ,   t h e   de c i s i o n   w i l l   f a i l ,   t h i s   h a s   a   m a j o r   i m pa c t   o n   t h e   t r e e   c l a s s i f i c a t i o n   a c c ur a c y   e n h a n c e m e n t .   I n   c o n t ra s t   t o   t ra di t i o na l   D T ,   w hi c h   de pe n ds   o n   t h e   m a j o r i t y   of   t h e   t a r ge t   c l a s s   l a b e l   w h e n   t h e r e   i s   n o   c o m b i n a t i o o f   v a l ue s   (i . e .   s a m pl e s (v a l ue i s   e m p t y a n i g n o r e s   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     2 0 9   -   2 1 7   212   w e i ght   o f   c urr e n t   c a t e go r y   o n   t h e   c l a s s i f i c a t i o n.   T h e   i m po r t a nt   s t e ps   f o r   b ui l di ng  t h e   p r o po s e D D T ,     a r e   i l l us t ra t e d   i A l go r i t h m   (1) .       ( ) =  ( )   (4)     A l g o ri t h m   (1 D e c i s i v e   D e c i s i o n   T re e   Bu i l d i n g   In p u t :   S a m p l e s   i s   a   d a t a   t a b l e   [# s t u d e n t s ,   # a t t ri b u t e s ] ,   t a r g e t   a t t ri b u t e ,     a rra y   o a t t r i b u t e s   [# a t t r i b u t e s ].   O u t p u t :   D e c i s i o n   T re e .   A l g o ri t h m   S t e p s   If   a l l   s a m p l e   p o s i t i v e ,   R e t u r n   T ru e .   If   a l l   s a m p l e   n e g a t i v e ,   Re t u rn   F a l s e .   If   a t t ri b u t e s   a r e   e m p t y ,   R e t u r n   t h e   m o s t   d i s t i n c t   a t t ri b u t e   a s   r o o t .   Ca l c u l a t e   D e c i s i v e   D e g r e e   u s i n g   (1 ),   f o t a r g e t   a t t ri b u t e :   F o r   e a c h   a t t r i b u t e   i   i n   a t t ri b u t e s   F o r   e a c h   v a l u e   j   i n   a t t ri b u t e   i   Ca l c u l a t e   D e c i s i v e   D e g r e e   D (i j )   u s i n g   (3 ) ,   fo e a c h   v a l u e     j   o a t t ri b u t e   i .   Ca l c u l a t e   Cu m u l a t i v e   D e c i s i v e   D e g re e   u s i n g   (2 ),   f o r     a t t ri b u t e   i :   Ca l c u l a t e   t h e   d i ffe r e n c e   b e t w e e n   CD   a t t ri b u t e   a n d   D   t a r g e t   u s i n g   (4   Cre a t e   a   Ro o t   n o d e   f o a n   a t t ri b u t e   w i t h   t h e   h i g h e s t   d i ffe r e n c e   a s   a   g o o d     d i s c ri m i n a t i n g   fe a t u re .   If   (b e s t   a t t ri b u t e s   n o t   b e s t   l i s t ),   t h e n   a d d   i t   t o   b e s t   a t t ri b u t e   l i s t .   F o r   e a c h   v a l u e   i n   t h e   b e s t   a t t r i b u t e .     Be g i n     S e l e c t   s a m p l e s   ro w   w h e n   b e s t   a t t ri b u t e s   e q u a l   t o   v a l u e .   If   s a m p l e s   ( v a l u e e m p t y ,   t h e n   B e g i n   S e l e c t   a l l   s a m p l e s   w i t h   t h e   v a l u e   f r o m   t h e   d a t a s e t .     D e t e r m i n i n g   t a r g e t   c l a s s   v i a   D ( i j v a l u e .     A d d   l e a f   n o d e   w i t h   t a r g e t   c l a s s   t o   Ro o t .     E n d     E l s e   B e g i n   Cre a t e   c h i l d   n o d e   u s i n g   D D T   ( s a m p l e s ( v a l u e ),   t a rg e t   a t t ri b u t e ,     a t t ri b u t e s - b e s t   a t t ri b u t e ) .   A d d   c h i l d   n o d e   t o   R o o t   E n d     E n d     Re t u r n   R o o t       In   t h e   s e c o n s t a ge ,   w h e n   a   D D T   i s   ge n e r a t e d ,   t h e   t a r ge t   c l a s s   pr e di c t i o n   f o r   a   n e w   s t ude n t   i t h e   t e s t   s e t   i s   de t e r m i n e a n t h e   c l a s s i f i c a t i o n   r ul e s   c a n   b e   e xt r a c t e us i n t h e   D D T   s e a r c h   c l a r i f i e i n   t h e   a l go ri t hm   (2).   E a c h   n e w   s t ude nt   i n f o rm a t i o e nt e r s   a s   a   m a t ri o f   t w o   t upl e s ,   t upl e   0   c o n t a i n s   t h e   n a m e   o f   t h e   a t t ri b ut e s ,   a n t upl e   c o n t a i n s   v a l ue s   c o r r e s po n di ng  t o   t h e   a t t r i b ut e s .   D D T   s e a r c h   m a i nl y   d e pe n ds   o n   m a t c hi n g   s t ude n t   i n f o r m a t i o a t   e a c n o de   a n d   t ra c i n t h e   p a t h   f r o m   t h e   r o o t   t o   t h e   t a r ge t   c l a s s   a t   a   l e a f   n o de .       A l g o ri t h m   (2 D D T   S e a rc h   In p u t :   R o o t ,   n e w   s t u d e n t   i n fo r m a t i o n   a s   s t ri n g   t e s t   [2 ,   # a t t ri b u t e s ]/ / r o w     0 :   n a m e   o a n   a t t ri b u t e ,   r o w   1   v a l u e s   o f   e a c h   a t t ri b u t e   O u t p u t :   P a t h   fo a   n e w   s t u d e n t   i n   t h e   t e s t   s e t .   A l g o ri t h m   S t e p s   S t e p 1 :   D e fi n e   i n d e x   a s   - 1   a n d   t a g   a s   F a l s e .   F o r   e a c h   a t t r i b u t e   i   i n   t h e   t e s t   s e t   If   t e s t   [0 ,   i e q u a l   t o   R o o t .   A t t ri b u t e   Be g i n   S e t   i n d e x   t o   i ;   Br e a k .   E n d   S e t   P a t h   t o   R o o t . A t t ri b u t e   +   t e s t   [1 ,   i n d e x ]   If   Ro o t . A t t r i b u t e .   V a l u e s   n o t   e q u a l   t o   N u l l   Be g i n   F o r   e a c h   v a l u e   j   i n   a t t ri b u t e     If   t e s t   [1 ,   i n d e x e q u a l   t o   R o o t . A t t ri b u t e .   V a l u e s [j   Be g i n   S e t   V a l   t o   j   S e t   T a g   t o   T ru e ;   Br e a k ;   E n d     If   T a g   e q u a l   t o   T ru e   Be g i n   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e v e l op e t hi r d   i t e r a t i v e   di c ho t om i z e r   bas e o f e a t ur e   de c i s i v e   v a l u e s   f or   ( Saj a   T aha  A hm e d )   213   D e f i n e   C h i l d _ N o d e   a s   T r e e N o d e   S e t   C h i l d _ N o d e   t o   Ro o t . Ch i l d (R o o t . A t t ri b u t e .   V a l u e s [ V a l ])   S e t   R o o t   t o   Ch i l d _ N o d e     G o t o   S t e p   1   E n d     E n d     E l s e   G o t o   S t e p   2     S t e p   2 :   R e t u r n   P a t h         3.   R ES U LTS   A N D   A N A L Y S I S   T h e   e xpe r i m e nt s   a nd  t h e   a ppl i c a t i o n   s y s t e m   i n   t hi s   s t udy   a re   de v e l o p e b a s e o n   v i s ua l   s t ud i o   C#  2015.   T h e   m o de l   v a l i d a t i o n   e m po w e r s   l o c a t i n t h e   b e s t   fe a t u r e s   of   t h e   m o de l   w h i l e   a l s o   s h i e l d i n i t   f r o m   ge t t i n t h e   c ha n c e   t o   be   ove r   f i t t e d.   T h e   p r o po s e D D T   m ode l   i s   a s s e s s e ut i l i z i ng  t w o   of   t h e   m o s t   po pul a e v a l ua t i o c r i t e r i a   10 - f o l c r o s s - v a l i da t i o n   a n d   h o l o ut   m e t h o ds .   I 10 - f o l c r o s s - v a l i da t i o n   [2 1],   a l l   t h e   da t a s e t   h a s   b e e n   di v i de i n t o   10  s ub s e t s   of   a ppr o xi m a t e l y   e q ua l   s i z e .   T hi s   i s   a i t e ra t i v e   pr o c e dur e ,   e a c h   t i m e   s ub s e t s   a c t s   a s   a   t r a i n i ng  d a t a   a nd  o n e   s e t   i s   us e a s   a   t e s t i n da t a .   I n   t h e   h o l do ut   m e t h o [22] ,   t h e   d a t a   s e t   i s   s e pa r a t e i n t o   t w s e t s   of  t r a i n i ng  da t a   i s   70%  o f   t h e   e n t i re   da t a s e t   a n t e s t i ng  da t a   i s   30% ,   r e p r e s e nt s   t h e   r e m a i ni n g   d a t a s e t .     S i n c e   t h e   de c i s i o t r e e   n e e ds   t h e   d a t a   t o   b e   i t h e   c a t e go r i c a l   f o r m u l a t i o n ,   t h e   g ra de   f e a t ur e s   m us t   ha v e   di s c r e t e   v a l ue s   t o   o b t a i b e t t e r   r e s ul t s .   T h e   d i s c r e t i z a t i o n   m e c h a ni s m   ha s   b e e n   e xpl o i t e t o   c o n v e r t   t h e   gra de   v a l ue s   f r o m   n um e r i c a l   v a l ue s   t o   n o m i n a l   o n e s .   S pe c i f i c   c l a s s e s   a r e   de f i n e d,   w h i c h   r e p r e s e nt   c l a s s e s   l a b e l   fo r   s t ude nt   pe r f o r m a n c e   pr e d i c t i o n,   w h i c h   c a n   b e   e i t h e P a s s   o r   F a i l .   I n   U CI  da t a s e t ,   t h e r e   a r e   t hr e e   a v e r a ge   G 1,   G a nd  G ha v e   r a nge f r o m   t o   20.   T h us ,   i f   t h e   s t ude n t   ha s   a v e ra ge   e qua l   o r   hi g h e r   t ha n   1 0,     i t   s h o ul b e   de f i n e w i t h i n   t h e   P a s s   l a b e l ,   o t h e r w i s e   s h o u l b e   de f i n e a s   F a i l   s t ude n t .   I n   I r a q i   da t a s e t ,   gra de   s c o r e s   a r e   w i t hi n   ra n ge   0 - 100,   i f   t h e   s t u de nt   ha s   a v e ra ge   e qua l   o h i g h e t ha n   50 ,   i t   s h o ul b e   de f i n e d   wi t h i P a s s   l a b e l ,   o t h e r w i s e   i s   c l a s s i f i e a s   F a i l   s t ude nt .     A   s m a l l   t ra i ni n g   da t a   s e t   i s   e xa m i n e t o   i l l us t r a t e   t h e   di f f e r e n c e   b e t w e e n   t h e   s t r uc t u r e   o f   ID a nd  D D T   a l go ri t hm s .   T a b l e   s h o w s   t h e   da t a s e t   us e i r e s e a r c w o r [14 ].       T a b l e   1 .   T h e   D a t a s e t   ID   Ch i n e s e   M a t h e m a t i c s   E n g l i s h   P h y s i c s   S u m m a r y   T a rg e t   Cl a s s   1   g e n e ra l   g o o d   b a d   g e n e ra l   q u a l i f i e d   Q   2   g e n e ra l   g o o d   g o o d   g o o d   q u a l i f i e d   Q   3   g o o d   g e n e ra l   g e n e ra l   g o o d   q u a l i f i e d   Q   4   o p t i m a l   g e n e ra l   g o o d   g o o d   q u a l i f i e d   Q   5   g e n e ra l   g e n e ra l   g e n e ra l   g e n e ra l   q u a l i f i e d   Q   6   g o o d   b a d   g e n e ra l   b a d   u n q u a l i f i e d   U   7   o p t i m a l   b a d   b a d   g e n e ra l   u n q u a l i f i e d   U   8   g o o d   o p t i m a l   o p t i m a l   o p t i m a l   q u a l i f i e d   Q   9   g e n e ra l   g e n e ra l   o p t i m a l   g o o d   q u a l i f i e d   Q   10   o p t i m a l   b a d   g e n e ra l   g e n e ra l   q u a l i f i e d   Q   11   b a d   g o o d   g o o d   b a d   u n q u a l i f i e d   U   12   g o o d   g e n e ra l   g o o d   g o o d   q u a l i f i e d   Q   13   g e n e ra l   b a d   g o o d   g e n e ra l   q u a l i f i e d   Q   14   g e n e ra l   g e n e ra l   o p t i m a l   g o o d   q u a l i f i e d   Q   15   g o o d   b a d   g o o d   g e n e ra l   q u a l i f i e d   Q   16   o p t i m a l   g e n e ra l   o p t i m a l   g o o d   q u a l i f i e d   Q   17   o p t i m a l   o p t i m a l   o p t i m a l   o p t i m a l   q u a l i f i e d   Q   18   g o o d   b a d   g o o d   g e n e ra l   q u a l i f i e d   Q   19   g o o d   g e n e ra l   b a d   o p t i m a l   q u a l i f i e d   Q   20    g e n e ra l     g e n e ra l     g e n e ra l     g e n e ra l     q u a l i f i e d   Q       ID f a vo r s   t h e   s e l e c t i o n   o f   a t t ri b ut e   t h a t   h a s   a   l a r ge r   n u m b e r   o f   v a l ue s   (i . e .   c a t e go r i e s b e c a us e   t h e   a t t ri b ut e   w i t m o r e   v a l ue s   ha s   h i g h   i n f o rm a t i o ga i n   t ha o t h e r s .   F i gu r e   1   s h o w s   t h e   ID f e a t ur e   s e l e c t i o n,   w h i c c h o o s e s   t h e   ID   f e a t u r e   w i t h   2 v a l ue s   a s   t h e   r o o t   n o de   f o r   t h e   de c i s i o t r e e .   T h e   p r o po s e D D T   s e l e c t s   E n gl i s h   a t t ri b ut e   w i t f o ur   c a t e g o r i e s   (b a d,   ge n e r a l ,   go o d,   o pt i m a l t o   be   t h e   r o o t   n o de   of   t h e   de c i s i o n   t r e e   a n e xc l ude   ID   a s   i t   ha s   n o   pr e di c t i v e   pow e r   of   c l a s s i f i c a t i o n   w h i c e xpl a i n e i n   F i gu r e   2.   S i n c e   t h e   p r o po s e d   D D T   t e n ds   t o   s e l e c t   t h e   a t t r i b ut e   t h a t   ha s   hi g h   w e i gh t   v a l ue   r e ga rdi n g   t a r ge t   l a b e l s ,   i t h e   c a s e   o f   T a b l e . t h e r e   a r e   t w o   t a r ge t   l a b e l s   qua l i f i e a nd  u nqua l i f i e d.         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     2 0 9   -   2 1 7   214       F i gu r e   1 .   ID 3   D e c i s i o n   t r e e   c o n s t r uc t i o n           F i gu r e   2 .   D D T   D e c i s i o t r e e   c o n s t r uc t i o n       T h e   e v a l ua t i o o n   t h e   b a s i s   o f   A c c ur a c y   (A CC)  v a l ue   i s   e xe c ut e d.   A c c ura c y   m e a s ur e s   t h e   de g r e e   t w h i c h   t h e   i n s t a n c e s   c o r r e c t l y   c l a s s i f i e by   m a c hi n e   l e a rni n a l go ri t hm   a nd  c a n   b e   c o m put e us i n a   c o n f us i o n   m a t r i w i t ( 5 )   a s   f o l l ow s   [23]:      =    +           (5)     H o l do ut   c r o s s - v a l i da t i o n   f o r   t hr e e   da t a s e t s   I ra qi   d a t a s e t ,   P o r,   a n M a t h   de pe n o n   c o n f us i o n   m a t r i t h a t   c a n   b e   i l l us t ra t e i n   T a b l e s   o f   2,   3,   a n d   4.   It   c a n   b e   s h o w n   t ha t   t h e   a c h i e v e a c c ur a c i e s   o f   t h e   p r e d i c t e c l a s s e s   a r e   88 . 88,   61 . 5 ,   a n d   74 . 7,   r e s pe c t i v e l y .         T a b l e   2 .   Co n f us i o n   M a t ri o f   Ira q i   D a t a s e t   T o t a l   P o p u l a t i o n = 3 6   A c c = 8 8 . 8 8   A c t u a l   Ca l s s   S U CCE S S   F A IL   P re d i c t i o n   Cl a s s   S U CCE S S   T P = 32   FP= 4   F A IL   F N = 0   T N = 0     T a b l e   3 .   Co n f us i o n   M a t ri o f   P o r   D a t a s e t   T o t a l   P o p u l a t i o n = 1 9 5   A c c =   6 1 . 5   A c t u a l   Ca l s s   S U CCE S S   F A IL   P re d i c t i o n   Cl a s s   S U CCE S S   T P = 1 0 5   F P = 7 0   F A IL   F N = 5   T N = 1 5         T a b l e   4 .   Co n f us i o n   M a t ri o f   M a t D a t a s e t   T o t a l   P o p u l a t i o n = 1 1 9   A c c = 7 4 . 7   A c t u a l   Ca l s s   S U CCE S S   F A IL   P re d i c t i o n   Cl a s s   S U CCE S S   T P = 8 2   F P = 2 5   F A IL   F N = 5   T N = 7   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e v e l op e t hi r d   i t e r a t i v e   di c ho t om i z e r   bas e o f e a t ur e   de c i s i v e   v a l u e s   f or   ( Saj a   T aha  A hm e d )   215   H o l do ut   c r o s s - v a l i da t i o n   m a y   w a s t e   da t a s e t s   a nd  p r o duc e   a   h i g e rr o r   r a t e .   S i n c e   t h e   a i m   i s   ge n e ra l i z i n p r o po s e m o de l   w e l l   w i t h o ut   o v e r f i t t i n g ,   t h e r e f o r e   10 - f o l c r o s s - v a l i da t i o n   i s   us e t o   e n s u r e   a l l   ob s e r v a t i o n s   a r e   us e f o r   b o t h   t ra i ni n a n d   t e s t i n g.   E a c h   o b s e r v a t i o n   i s   us e f o r   t e s t i n g   e xa c t l y   o n c e .   A t   t h e   po i nt   w h e n   t h e   t r e e   i s   b ui l t   b a s e o n   s pe c i f i c   f e a t ur e s   a n g i v e s   be t t e r   e xa c t n e s s   t h e t h e   t r e e   c a n   b e   ut i l i z e f o r   f e a t ur e   s e l e c t i o n   a n c a c o n s i de r   t he s e   fe a t u r e s   a s   t h e   b e s t   pa ra m e t e r s   w i t h   hi g pr e di c t i v e   pow e r .   T h e   b e s t   pa r a m e t e r s   c a n   b e   de t e rm i n e d   f r o m   da t a s e t s   us i ng  t h e   p r o po s e D D T   w i t t h e   hi g h e s t   a c c u r a c y .   T h e   pe r f e c t   a c c ur a c i e s   o f   Ir a qi ,   P o r   a nd  M a t a r e   a c hi e v e a t   i t e r a t i o n s   1 0,   a nd  8 ,   r e s pe c t i v e l y .   T a b l e   s h o w s   10  i t e r a t i o n s   a nd  t h e   o ve r a l l   a c c ura c y   us i n 1 0 - f o l c r o s s - v a l i da t i o n   a n d   h o l do ut   of   t h e   p r o po s e D D T   f o r   t hr e e   da t a s e t s .       T a b l e   5 .   D D T   H o l do ut   a n d   10 - F o l C r o s s - V a l i da t i o n   DDT   H o l d o u t   1   2   3   4   5   6   7   8   9   10   1 0 F o l d   A V G     Ira q   8 8 . 8 8   5 8 . 3   5 8 . 3   9 1 . 6   8 3 . 3   9 1 . 6   9 1 . 6   9 1 . 6   9 1 . 6   83   9 1 . 6   8 3 . 3     P o r   6 1 . 5   92   8 7 . 5   7 0 . 3   8 7 . 5   8 4 . 3   92   7 6 . 5   7 3 . 4   4 8 . 4   5 7 . 8   77     M a t h   7 4 . 7   69   7 1 . 9   61   58   6 1 . 5   64   64   87   69   6 6 . 6   6 7 . 2         T a b l e   s h o w s   ID b a s e o n   H o l d o ut   a n 1 0 -   F o l C r o s s - V a l i da t i o n,   f r o m   T a b l e s   a n 6 ,   i t   c a b e   i n f e r r e d   t ha t   t h e   p r o po s e D D T   h a s   a   h i g h e p r e di c t i o n   a c c ur a c y   t h a ID o n   t h e   b a s i s   o f   h o l do ut   a nd  a v e r a ge   o f   10 - fo l c r o s s - v a l i d a t i o n   f o r   t w o   r e a s o n s ,   t h e   f i r s t   D D T   c a n   s e l e c t   t h e   f e a t u r e   b a s e o n   i t s   i m po rt a n c e   (w e i gh t t a ki n g   i nt o   a c c o un t   t h e   t a rge t   c l a s s ,   a s   o pp o s e t t r a d i t i o na l   ID 3,   w h i c h   c h o o s e s   a   f e a t ur e   o a   h i g h   c a t e go r y   t h a t   m a y   n o t   h a v e   a   pr e di c t i v e   c l a s s i f i c a t i o n   po w e r ,   s e c o n dl y ,   w h e n   t h e r e   i s   n c o m b i na t i o n   b e t w e e n   f e a t ur e s   (i . e .   s a m p l e (v a l ue i s   e m p t y ),   t h e   D D T   de pe n ds   o D (i j f o r   t h e   c u rr e nt   v a l ue   t o   de t e r m i n e   c l a s s   of   l e a f   n o de s ,   w h i l e   t ra di t i o na l   ID de c i de s   o n   a   l e a f   n o de   b a s e d   o n   t h e   m a j o r i t y   o t h e   c l a s s   o f   t a r ge t   a t t r i b ut e ,   i g n o r i n g   t h e   t e n de n c y   of   a   c u rr e n t   v a l ue   t o w a r ds   a   s pe c i f i c   c l a s s .         T a b l e   6 .   ID 3   H o l do ut   a n 10 - F o l C r o s s - V a l i da t i o n   ID 3   H o l d o u t   1   2   3   4   5   6   7   8   9   10   1 0 F o l d   A V G     Ira q   83   5 9 . 3   78   5 9 . 3   77   86   9 1 . 6   9 1 . 6   90   6 6 . 6   9 1 . 6   79     P o r   67   87   8 2 . 8   64   84   81   8 7 . 5   7 3 . 4   7 1 . 8   5 7 . 8   6 0 . 9   75     M a t h   62   5 3 . 8   64   74   51   5 8 . 9   6 1 . 5   64   6 6 . 6 6   69   5 8 . 9   62         In  t e r m s   o f   r u nni n t i m e ,   t h e   p r o po s e D D T   s ur pa s s   t h e   t r a di t i o n a l   ID 3 ,   w h i c h   ha s   f a s t e r   de c i s i o t r e e   c o n s t r uc t i o n   t i m e   t h a n   t h a t   o ID 3.   F i gur e   3,   s h o w i n t h a t   t h e   pr o po s e D D T   r e duc e s   t h e   t i m e   c o m pl e xi t y   of  t h e   t r a di t i o na l   ID f o r   t hr e e   da t a s e t s   s i n c e   t h e   p r o po s e D D T   ut i l i z e s   s i m p l e   m a t h e m a t i c a l   e xpr e s s i o n s   i n c o r po r a t e s   s ub t r a c t i o n ,   a dd i t i o n,   a n d   di v i s i o n.   A l l   t h e s e   o pe r a t i o n s   a r e   l e s s   c o m put a t i o na l   c o m pl e xi t y   t h a n   a s c e r t a i ni n e nt r o p y   i n f o r m a t i o n   t h a t   i m pl i e s   c a l c ul a t i o n   o f   t h e   l o ga r i t hm   a l go r i t hm   i t r a d i t i o n a l   ID 3,   w h i c m a ke s   D D T   us e f ul   f o r   i m p r o v i n r e a l - t i m e   c a pa b i l i t y   s uc h   a s   o nl i n e   l e a rni n g   s y s t e m s .           F i gu r e   3 .   D e c i s i o T r e e   Co n s t r uc t i o n   T i m e   f o r   ID 3   a nd  D D T       S i n c e   t h e   p r o po s e D D T   b ui l di ng  a l go ri t hm   s e l e c t s   f e a t ur e s   l o c a l l y   b a s e o n   t h e i r   w e i ght   ( de c i s i ve   v a l ue ),   a nd  w i t h   r e l a t i o n   t o   t h e   f e a t u r e   s e l e c t e i n   e a rl i e r   s t a g e s ,   s o   t ha t   t h e   f e a t u r e s   t h a t   o c c ur   i t h e   D D T   a r e   c o m pl e m e n t a r y .   T h e r e f o r e ,   D D T   gi v e s   a   s e t   o f   e xt r e m e l y   i m po r t a nt   f e a t u r e s   t h a t   l e a t o   a   s i g n i f i c a n t   i n c r e a s e   i n   t h e   m o de l ' s   p r e di c t i v e   a c c ur a c y .   T a b l e   s h o w s   t h e   b e s t   D D T   f e a t ur e   s ub s e t ,   w h i c h   r e s ul t s   i n   hi g h e r   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   18 ,   N o .   1 A p r i l   20 20  :     2 0 9   -   2 1 7   216   a c c ur a c y   fo r   t hr e e   da t a s e t s .   O n c e   t h e   b e s t   pa ra m e t e r   c o m b i na t i o n   h a s   b e e n   di s c ove r e d ,   a   s e t   of   c l a s s i f i c a t i o n   r u l e s   c a n   b e   e xt r a c t e f r o m   t h e   p r o po s e d   D D T .   T h e s e   r ul e s   h e l t o   c l a s s i fy   s t ude n t s   a n f o r e s e e   t h e   f i n a l   s t a t us   o f   t h e   s t ude nt s .         T a b l e   7 .   D D T   B e s t   F e a t u r e   S ub s e t   D a t a s e t s   A c c u ra c y   # It e ra t i o n   F e a t u r e s   Ira q     9 1 . 6   10   H i g h e E d u c a t i o n   W i l l i n g ,   s l e e p   H o u r,   F a t h e A l i v e ,   A t t e n d a n c e ,   F a i l u r e   Y e a r,   S t u d y   H o u r ,   I n t e rn e t   U s a g e ,   P a r e n t   M e e t i n g ,   W o rr y   E ffe c t ,   A rri v a l   T i m e ,   H o l i d a y   E ffe c t ,   T ra n s p o rt .   P o r   92   1   F e d u ,   h i g h e r ,   F j o b ,   a b s e n c e ,   s t u d y   t i m e ,   h e a l t h ,   f a m re l ,   w a l c ,   d a l c ,   a c t i v i t i e s ,   f r e e   t i m e ,   f a m s i z e .   g a u rd i a n   M a t h   87   8   In t e r n e t ,   f r e e t i m e ,   f a m r e l ,   f a i l u r e ,   h e a l t h ,   a b s e n c e ,   w a l c , d a l c ,   s t u d y   t i m e ,   r o m a n c e ,   r e a s o n ,   h e a l t h ,   m e d u ,   h i g h e r, p a i d ,   s c h o o l s u p ,   g o u t .       T a b l e   s h ow s   a   c o m pa r i s o n   o f   t h e   pr o po s e d   D D T   w i t h   t he   r e s e a r c h   w o r of   [24].   T h i s   r e s e a r c us e s   P o r   da t a s e t   f r o m   U CI  t pr e di c t   s t ude n t   pe r f o r m a n c e   b a s e o n   e i ght   f e a t ur e s   G 2,   G 1 ,   f a i l u r e s ,   hi g h e r ,   M e du,   s c h o o l ,   s t u dy t i m e ,   F e du.   I n   a dd i t i o n ,   a   c o m pa r i s o n   of   t h e   p r o po s e D D T   w i t h   t h e   r e s e a r c h   w o r o [25].   T hi s   r e s e a r c h   us e s   M a t h   da t a s e t   f r o m   U CI  t pr e di c t   s t ude nt   pe r f o r m a n c e   b a s e o n   19  f e a t ur e s   i n c l udi ng  t h e   c l a s s   a t t ri b ut e :   s e x,   f a m s i z e ,   a dd r e s s ,   P s t a t us ,   M e du,   F e du,   M j o b ,   F j ob ,   t r a v e l t i m e ,   s t udy t i m e ,   s c h o o l s up,   h i g h e r,   i n t e rn e t ,   r o m a n t i c ,   f r e e t i m e ,   D a l c ,   W a l c ,   h e a l t h,   s uc c e s s .   It   i s   c l e a r   t ha t   t h e   p r o po s e D D T   s ur p a s s   a l l   m e t h o ds   u t i l i z e i t h e s e   r e s e a r c h e s   f o r   t w o   U CI  (P o r   a nd  M a t h )   d a t a s e t s .         T a b l e   8 .   A c c ura c y   C o m pa r i s o o f   O ur  P r o po s e D D T   a n d   o t h e r   M e t h o ds   f o r   U CI  D a t a s e t s   D a t a s e t   Re s e a rc h   W o rk   M e t h o d   A c c u ra c y   P o r   [2 4 (2 0 1 9 )                 N a ï v e   Ba y e s   D e c i s i o n   T re e   Ra n d o m T re e   RE P T re e   J Ri p   O n e R   S i m p l e L o g i s t i c   Z e r o R   7 3 . 1 8   %   7 6 . 2 7   %   6 7 . 9 5   %   7 6 . 7 3 %   7 4 . 1 1   %   7 6 . 7 3   %   7 3 . 6 5 %   3 0 . 9 7 %   O u P ro p o s e d   M o d e l   T h e   P ro p o s e d   DDT   92%   M a t h   [2 5 (2 0 1 6 )     P CF   w i t h   k -   m e d o i d s   a l g o ri t h m     P CF   w i t h   k - m e a n s   a l g o r i t h m   6 5 . 8 2   %         6 3 . 5 0 %       O u P ro p o s e d   M o d e l   T h e   P ro p o s e d   D D T   87%       4.   C O N C LU S I O N     T h i s   pa pe r   p r o po s e a n   i m p r o v e ID a l go r i t hm ,   w hi c h   e m p l oy s   a t t r i b ut e   w e i ght   b e t w e e n   a t t r i b ut e s   a n c l a s s   l a b e l s   f o r   s e l e c t i o n   s pl i t t i n a t t ri b ut e .   Co n s t r uc t i n t h e   p r o po s e d   D D T   b a s e o n   fe a t u r e   de c i s i ve   v a l ue   e n s ur e s   t h a t   e a c h   t i m e   i m po r t a nt   ra t h e r   t ha n   m o r e   a t t ri b ut e   v a l ue   i s   s e l e c t e d.   T h i s   h a s   a   m a j o r   i m pa c t   o n   e nh a n c i n c l a s s i f i c a t i o n   a c c u r a c y .   It   a l s o   h a s   a   f a s t e r   c o n s t ruc t i n t i m e   t ha n   c l a s s i c a l   ID w h i c h   i m pl i e s   t i m e   c o m pl e xi t y   of   l o ga ri t hm   c o m put a t i o n ,   a s   t h e   p r o po s e D D T   de pe n ds   o n l y   o n   c a l c ul a t i o n   a t t ri b ut e   f r e que n c y   of   o c c urr e n c e s ,   w h i c h   o v e r c o m e s   t h e   l i m i t a t i o n s   of   t h e   ID a l go r i t hm .   T h e   p r o po s e a l go r i t hm   w a s   t e s t e ov e r   t hr e e   da t a s e t s .   T h e s e   i n c l u de   Ira qi   a n t w U CI  da t a s e t s .   T h e   o b t a i n e r e s ul t s   s h o w e t h a t   t h e   de v e l o p e ID a l go ri t hm   b e a t   t h e   t r a di t i o na l   ID 3   i t e r m s   o f   a c c ur a c y   a n c o n s u m e e xe c ut i o t i m e .         R EF ER EN C ES     [ 1]   M .   A bdul l a hi ,   e t   a l . ,   T he   P a t t e r ns   o f   A c c e s s i ng   L e a r ni ng   M a n a g e m e nt   S y s t e m   A m o n g   S t ude n t s ,   I ndone s i an   J our nal   of   E l e c t r i c al   E ngi ne e r i ng  an C om pu t e r   Sc i e nc e   ( I J E E C S) ,   V o l .   13 ,   N o .   1,   I S S N :   2502 - 4752,   D O I :   10. 1 1591 / i j e e c s .   v 13. i 1 .   pp15 - 21 ,   201 9.     [ 2]   M .   G a nd hi   a n S . N .   S i ng h,   P r e di c t i on s   i H e ar t   D i s e as e   U s i ng   T e c hni que s   of   D a t M i ni ng .   I P r o c e e di ng s   o f   t he   I nt e r n a t i o na l   C o nf e r e nc e   o F ut ur i s t i c   T r e nds   o C o m put a t i o na l   A na l y s i s   a nd  K no w l e dg e   M a na g e m e n t   pp.   52 0 - 525,   2 015 .     [ 3]   Ö z de m i r ,   U .   Y a v uz ,   F .   A bdul ha f i dh  D a e l ,   P e r f o r m a nc e   E v a l ua t i o o f   D i f f e r e nt   C l a s s i f i c a t i o T e c hn i que s   U s i ng   D i f f e r e n t   D a t a s e t s ,   I nt e r n at i ona l   J ou r na l   o f   E l e c t r i c a l   a nd  C om p ut e r   E ng i ne e r i ng   ( I J E C E ) V o l .   9 ,   N o .   5 ,   I S S N :   2088 - 870 8,   D O I :   10. 115 91/ i j e c e .   v 9i 5 .   pp .   3 584 - 359 0,   20 19 .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       D e v e l op e t hi r d   i t e r a t i v e   di c ho t om i z e r   bas e o f e a t ur e   de c i s i v e   v a l u e s   f or   ( Saj a   T aha  A hm e d )   217   [ 4]   V . N .   P hu ,   V . T . N .   T r a n ,   V . T . N .   C ha u ,   N . D .   D a t ,   K . L . D .   D uy ,   A   D e c i s i o T r e e   U s i ng   I D 3   A l go r i t hm   f o r   E ng l i s h   S e m a n t i c   A na l y s i s .   I n t .   J .   Spe e c T e c h nol . ,   2 0,   p p.   59 3 - 613,   2 017 .     [ 5]   E .   B u di m a n,   H a v i l udd i n ,   N .   D e ng a n,   A .   H .   K r i da l a k s a n a ,   M .   W a t i ,   P ur na w a n s y a h,   P e r f o r m a nc e   o f   D e c i s i o T r e e   C 4. 5   A l g o r i t hm   i n   S t ude n t   A c a de m i c   E v a l ua t i o n” ,   Spr i n ge r   N a t ur e   Si ng apo r e   P t e   L t d ,   pp .   3 80 - 389 ,   2018 .     [ 6]   T .   R oy a ,   S .   S und a r a m b ,   P .   R a n j a na ,   R .   B a l a s ubr a m a n i a m a ,   P r e di c t i on  o f   M at e r i al   R e m ov al   i Si ng l e   Spar k   M i c r o - E D M   U s i n M u l t i p l e   L i ne ar   R e gr e s s i on   an C A R T ,   t he   10 t I nt e r na t i o na l   C o nf e r e nc e   of   P r e c i s i o n,   M e s o ,   M i c r o ,   N a no   E ng i n e e r i ng ,   I S B N :   978 - 93 - 80689 - 28 - 9 ,   2017 .     [ 7]   S .   T .   A hm e d ,   R .   S .   A l - ha m da ni ,   M .   S .   C r o oc k ,   S t udy i ng   o f   E duc a t i o na l   D a t a   M i ni ng   T e c hn i qu e s ,   I n t e r na t i ona l   J our nal   o f   A dv a nc e R e s e ar c i n   Sc i e nc e ,   E ng i ne e r i ng   an T e c h no l ogy ,   V o l .   5 ,   I s s ue   5 ,   2018 .     [ 8]   J .   L i a ng ,   Z .   S hi ,   T he   I nf o r m a t i o E n t r o py ,   R o u g E nt r o py   a nd  K no w l e dg e   G r a n ul a t i o i R o ug S e t   T h e o r y ,     I nt .   J .   U n c e r t a i n .   F uz z i ne s s   K n ow l . - B as e Sy s t . ,   12 ,   pp .   37 - 46 ,   2 00 8.     [ 9]   T . P .   E xa r c ho s ,   M . G .   T s i po ur a s ,   C . P .   E xa r c ho s ,   C .   P a pa l o uka s ,   D . I .   F o t i a di s ,   L . K .   M i c ha l i s ,   A   M e t ho do l o gy   f o r   T he   A ut o m a t e C r e a t i o of   F uz z y   E xpe r t   S y s t e m s   f o r   I s c ha e m i c   a nd  A r r hy t hm i c   B e a t   C l a s s i f i c a t i o B a s e O a   S e t   o f   R ul e s   O bt a i n e d   by   A   D e c i s i o T r e e ,   A r t i f .   I nt e l l .   M e d . ,   40 ,   pp. 1 87 - 200 ,   2007 .     [ 10]   J .   S n e y e r s ,   T .   S c hr i j v e r s ,   B .   D e m o e n,   T he   c om pu t a t i o nal   pow e r   and  c om p l e x i t y   o f   C on s t r a i n t   H and l i ng  R u l e s ,     I P r o c e e di ng s   o f   t he   2n W o r ks ho o C o ns t r a i n t   H a nd l i ng   R ul e s ,   pp .   3 - 17,   20 05 .   [ 11]   U . M .   F a y y a d,   K . B .   I r a ni ,   T he   A t t r i bu t e   Se l e c t i o P r obl e m   i D e c i s i on  T r e e   G e ne r at i on ,   I P r o c e e di ng s   o f   t he   N a t i o na l   C o nf e r e nc e   o A r t i f i c i a l   I nt e l l i g e nc e ,   S a J o s e ,   C A ,   U S A ,   pp .   104 - 110 ,   199 2.     [ 12]   M .   B r a m e r ,   A vo i di ng   O v e r f i t t i ng   o f   D e c i s i o T r e e s .   I n :   P r i n c i pl e s   o f   D a t a   M i n i ng ,   bo o k,   Sp r i nge r ,   D O I   ht t ps : / / do i . o r g / 10. 1007 / 97 8 - 1 - 84628 - 766 - 4_ 8,   I S B N   978 - 1 - 84628 - 766 - 4,   P P .   119 - 134 ,   200 7.     [ 13]   L .   Y i - bi n ,   W .   Y i ng - y i ng   a nd  R .   X ue - w e n ,   " I m pr ov e m e nt   o f   I D a l g o r i t hm   ba s e o s i m pl i f i e i nf o r m a t i o e n t r o py   a nd  c o o r di na t i o de g r e e " ,   C hi ne s e   A ut om a t i on  C on gr e s s   ( C A C ) ,   J i n an ,   do i :   10. 1109 / C A C . 2017 . 82 4300 9,     pp.   15 26 - 1530 ,   201 7.     [ 14]   X .   L i a ng ,   F .   Q u,   Y .   Y a ng ,   H .   C a i ,   A I m p r ov e I D D e c i s i on   T r e e   A l gor i t hm   B as e on  A t t r i bu t e   W e i ght e d ,   I nt e r na t i o na l   C o nf e r e nc e   o C i v i l ,   M a t e r i a l s   a nd  E nv i r o nm e nt a l   S c i e nc e s ,   D O I :   10. 2991 / c m e s - 15 . 201 5. 167 ,     pp.   61 3 - 615,   2 015 .     [ 15]   P .   G .   A hi r e ,   S .   K o l he ,   K .   K i r a ng e ,   H .   K a r a l e ,   A .   B ho l e ,   I m pl e m e nt a t i o o f   I m pr ov e I D A l go r i t hm   t o   O bt a i n   M o r e   O pt i m a l   D e c i s i o T r e e ,   I n t e r na t i ona l   J ou r na l   o f   E ng i ne e r i n R e s e ar c and  D e v e l opm e nt ,   V o l .   1 1,   I s s ue   02 ,   P P . 44 - 47 ,   201 5.     [ 16]   S.   T a ha ,   I r a qi   S t ud e n t   P e r f o r m a nc e   P r e d i c t i o n” ,   M e nde l e y   D at a ,   v 1,   ht t p: / / dx . do i . o r g / 10. 1763 2/ s m g x6s 5pw r . 1 ,   D O I :   10. 176 32 / s m g x6s 5pw r . 1,   2 018 .   [ 17]   S a j a   T a h a   A hm e d,   R a f a S hi ha a l - H a m d a ni ,   M u a y a S a di k   C r o o c k,   E D M   P r e p r o c e s s i ng   a nd  H y br i F e a t ur e   S e l e c t i o f o r   I m pr o v i ng  C l a s s i f i c a t i o A c c ur a c y ,   J our na l   of   T h e or e t i c a l   and  A pp l i e I n f o r m at i on  T e c hn ol o gy V o l . 96 .   N o   1   I S S N :   1992 - 8645 ,   201 9.     [ 18]   P .   C o r t e z   a nd  A .   S i l v a . , " U s i ng  D at M i n i ng  t P r e di c t   Se c onda r y   Sc hoo l   St u de nt   P e r f or m anc e " ,   T he   5 t F u t ur e   B us i n e s s   T e c hno l o gy   C o nf e r e nc e   ( F U B U T E C   20 08 ) ,   pp .   5 - 12,   P o r t o ,   200 8.     [ 19]   N .   G .   M .   J a m e e l ,   L .   E .   G e o r g e ,   D e t e c t i o P hi s h i ng   E m a i l s   U s i ng   F e a t ur e s   D e c i s i v e   V a l ue s ,   I n t e r nat i o nal   J our nal   o f   A dv a nc e R e s e ar c i n   C om p ut e r   Sc i e nc e   and   S of t w ar e   E ngi ne e r i n g ,   V o l . 3,   I s s ue . 7,   20 13 .     [ 20]   A .   A bdul l a h,   L .   E .   G e o r g e ,   a nd  I m a J .   M o ha m m e d,   E m a i l   P h i s hi ng   D e t e c t i o S y s t e m   U s i ng   N e u r a l   N e t w o r k” ,   R e s e ar c J our nal   o f   I n f o r m at i on   T e c hn ol ogy ,   V o l . 6 ,   I s s ue . 3 ,   pp.   3 9 - 43,   2015 .     [ 21]   R .   K o ha v i ,   A   s t u dy   o f   c r os s - v al i da t i on  an boo t s t r ap  f or   ac c u r ac y   e s t i m at i on  a nd  m ode l   s e l e c t i on ,     I P r o c e e di ng s   o f   I nt e r na t i o na l   J o i nt   C o nf e r e nc e   o A I   ( I J C A ) V o l .   14,   N o .   2,   P .   1137 - 11 45 ,   1 995 .     [ 22]   S .   R a s c hk a ,   M o de l   E v a l ua t i o n,   M o de l   S e l e c t i o n,   a n A l go r i t hm   S e l e c t i o i M a c hi ne   L e a r n i ng ,   a r X i v   pr e p r i nt ,   a r X i v : 1811. 12 808v 2,   20 18 .     [ 23]   M .   Z .   H .   J e s m e e n ,   A .   H o s s e n,   J .   H o s s e n ,   J .   E .   R a j a ,   A U T O - C D D :   A ut o m a t i c   C l e a n i ng   D i r t y   D a t a   U s i ng   M a c hi n e   L e a r ni ng   T e c hni que s ,   T E L K O M N I K A   ( T e l e c om m uni c at i on ,   C om put i ng ,   E l e c t r on i c s   and  C on t r ol ) ,   V o l . 17 ,   N o . 4,   I S S N :   1693 - 6930,   D O I :   10. 1292 8/ T E L K O M N I K A . v 17i 4. 1 2780 ,   p p. 20 76 - 2086 ,   201 9.   [ 24]   Y .   K .   S a l a l ,   S .   M .   A bdul l a e v ,   M .   K um a r ,   E duc a t i o na l   D a t a   M i n i ng :   S t ude n t   P e r f o r m a nc e   P r e di c t i o i n   A c a de m i c ,   B l ue   E y e s   I nt e l l i ge nc e   E ngi ne e r i ng  &   Sc i e nc e s   P ubl i c at i on ,   I n t e r na t i o nal   J ou r na l   of   E n gi ne e r i ng  and   A dv an c e T e c hno l o gy   ( I J E A T ) ,   I S S N :   2249 - 8958 ,   V o l . 8 ,   I s s ue - 4C ,   2019 .     [ 25]   N .   U .   S a t i ,   P r e di c t i on  of   St u de nt s '   Suc c e s s   i M a t he m at i c s   by   A   C l as s i f i c a t i o T e c hn i que   V i P ol y he dr al   C on i c   F unc t i o ns ,   I nt e r na t i o na l   C o nf e r e nc e   o R e s e a r c i E duc a t i o a nd  S c i e nc e ,   t he   E u r a s i a   P r o c e e di ng s   o f   E duc a t i o na l   &   S o c i a l   S c i e nc e s   ( E P E S S ) ,   I S S N :   2587 - 1730,   V o l .   5 ,   pp.   19 0 - 195,   2 016 .     Evaluation Warning : The document was created with Spire.PDF for Python.