I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   41 ,   N o .   2 F e b r ua r y   20 2 6 ,   pp .   65 5 ~ 66 5   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 41 . i 2 . pp 65 5 - 66 5             655     Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   S t a b l e   a n d   a c c u r a t e   c u st o m e r   c h u r n   p r e d i c t i o n c o m p a r a t i v e   a n a l y s i o f   e i g h t   c l a ss i f i c a t i o n   a l g o r i t h m s       V i n c e n t   A l e x an d e r   H ar i s 1 M u h amm ad   I l yas   A r s yad 1 ,   N a th an ae l   S e p th i an   A d i   N u gr ah a 1   Y as i   D an i 1 ,   M ar i A r tan ta   G i n ti n g 2   1 D e p a rt m e n t   o f   C o m p u t e r   S c i e n c e ,   S c h o o l   o f   C o m p u t e r   S c i e n c e ,   Bi n a   N u s a n t a ra   U n i v e r s i t y ,   Ba n d u n g   Ca m p u s ,   J a k a rt a ,   I n d o n e s i a   2 Re s e a r c h   C e n t e fo C o m p u t i n g ,   N a t i o n a l   R e s e a rc h   a n d   I n n o v a t i o n   A g e n c y   (BRIN ),   J a k a rt a ,   I n d o n e s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   N ov   11 202 5   R e v i s e D e c   11 2025   A c c e pt e J a n   11 202 6       P r e d i c t i ng   c us t o m e r   c hu r i s   a   c ha l l e ng i ng   p r o bl e m   i n   m a ny   s ub s c r i p t i o n - ba s e d   i n dus t r i e s ,   t ho ug i t   i s   c o ns i de r e d   m o r e   c o s t - e f f e c t i v e   t ha n   a c qui r i ng   ne w   c us t o m e r s .   I t hi s   r e s e a r c h,   c us t o m e r   c hu r i s   p r e d i c t e us i ng   a   pub l i c   da t a s e t   f r o m   a i n t e r ne t   s e r v i c e   pr o v i de r ,   w i t 72 , 2 74  i ns t a nc e s   a nd  5 5%   c hur r a t e .   T he   m a i n   c o nt r i b ut i o i s   t o   p r o v i de   a   c o m pr e he ns i v e   c o m pa r i s o o f   t he   s t a b i l i t y   a nd  p e r f o r m a nc e   o f   e i g ht   c l a s s i f i c a t i o a l g o r i t hm s   i n   c us t o m e r   c hur n   p r e d i c t i o u s i ng   a   l a r g e - s c a l e   pub l i c   da t a s e t .   T h e   r e s e a r c pr o c e s s   i nc l ud e s   da t a   c o l l e c t i o n,   da t a   p r e p r o c e s s i ng ,   f e a t ur e   e ng i ne e r i ng ,   a nd   m o de l   e v a l ua t i o n.   T h e   m e t r i c s   e v a l u a t i o p r e s e n t s   t e s t   a c c ur a c y ,   a c c ur a c y   g a p,   pr e c i s i o n,   r e c a l l ,   F 1 - S c o r e ,   a nd   R O C   A U C ,   w i t h   s t r a t i f i e K - F o l d   c r o s s - v a l i da t i o n.   S i nc e   t h e   pr o po r t i o o f   c hur a nd   no n - c hur i t he   da t a s e t   i s   r e l a t i v e l y   ba l a nc e d,   t he   F 1 - s c o r e   i s   c o ns i d e r e d   a s   t he   p r i m a r y   e v a l ua t i o m e t r i c ,   a s   i t   p r o v i de s   a   b a l a nc e a s s e s s m e n t   o f   pr e c i s i o a nd   r e c a l l   f o r   bo t h   c l a s s e s .   T he   r e s ul t s   s ho w   t ha t   C a t B o o s t   a n d   X G B o o s t   a r e   t he   m o s t   e f f e c t i v e   m o de l s   t h a t   a c hi e v e   h i g F 1 - s c o r e s   o f   94. 9 7%   a nd   94 . 92 % ,   r e s pe c t i v e l y .   Ke y w or d s :   Cus t o m e c h u rn  p r e d i c t i o n   M a c hi n e   l e a rni n g   Cl a s s i f i c a t i o n   a l go r i t hm   E v a l ua t i o n   m e t r i c   P e r f o r m a n c e   e v a l ua t i o n   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   M a r i a   A rt a nt a   G i nt i n g   R e s e a r c Ce n t e r   f o r   Co m put i n g ,   N a t i o n a l   R e s e a r c h   a n d   I nn o v a t i o n   A ge n c y   (BR IN )   In do n e s i a   E m a i l :   m a r i 0 59@ b r i n. go . i d       1.   I N TR O D U C TI O N   In  t h e   c o m pe t i t i v e   b us i n e s s   e n v i r o nm e n t ,   c o m pa n y   m us t   b e   a b l e   t o   r e t a i c us t o m e r s   t o   s us t a i r e v e n ue   a n d   m a r ke t   s ha r e R e t a i n i ng  e xi s t i n c us t o m e r s   i s   ge n e ra l l y   m o r e   e c o n o m i c a l   t ha n   a c qui ri n n e w   o n e s .   I b us i n e s s ,   c h u rn  is   a   num b e e xp r e s s i ng  a t t r i t i o o f   c us t o m e r s   o r   s ub s c r i b e r s C h u rn  ra t e   i s   a   m e a s u r e   t h a t   de f i n e s   t h e   p r o po r t i o o f   i n d i v i dua l s   o r   i t e m s   l e a v i n g   a   gr o up   o s y s t e m   i a   pe ri o o f   t i m e .   A   h i g r a t e   of   c h u rn  i n   a   c o m pa n y   c a n   i m pa c t   r e v e n ue   a n d   m a rke t   po s i t i o n .   I t h e   p r e s e nt   da y ,   di g i t a l i z a t i o n   i i ndus t r y   a l l o w s   c o m pa ni e s   t o   c o l l e c t   c us t o m e hi s t o r i c a l   da t a .   T h is   v a l u a b l e   i n f o r m a t i o c a b e   us e d   f o r   o n e   o r   m ul t i p l e   c o r po ra t e   o bj e c t i v e s .   A   c o m pa n y   c a n   a n a l y z e   c o n s um e p a t t e rn s   a n d   f o r e c a s t   po t e n t i a l   c h u rn  us i n da t a   a n a l y t i c s   a n m a c hi n e   l e a rni ng   [1 ] [3] .   W i t t h e   a i o f   m a c h i n e   l e a rni n g ,   w e   c a n   c a t e go r i z e   us e r s   b a s e d   o n   t h e i c h a n c e s   o f   c hu rn i ng.   T h e   f i ndi n gs   c a b e   e xt re m e l y   b e n e f i c i a l   f o o r g a n i z a t i o n s   t o   de v e l o p   pr e v e n t a t i v e   r e t e nt i o n   i nt e r v e n t i o n s .   C h u rn  p r e di c t i o n   ha s   b e e n   s t ud i e a nd  i m p l e m e n t e i n   v a r i o us   s e c t o r s ,   s uc h   a s   i n   b a n k i n g   [4] ,   [ 5] ,   t e l e c o m m u n i c a t i o n s   [6] [10] a nd  E - c o m m e r c e   [11] ,   [ 12] .   In  t h e   b a n k i n s e c t o r ,   [4]   de v e l o p e a   c hu rn   p r e d i c t i o m o de l   us i n g   K - n e a r e s t   n e i g h b o r   (K N N ) s uppo r t   v e c t o r   m a c h i n e   (S V M ) d e c i s i o t r e e   (D T ) ,   a n d   r a n do m   f o r e s t   (R F )   o a   b a n ki ng   da t a s e t .   T h e y   r e po rt ed   t ha t   RF   w i t o v e r s a m p l i n g   g a v e   t h e   hi g h e s t   p r e c i s i o n   a n d   a c c u r a c y .   O t h e r   m o de l s ,   s uc a s   l o gi s t i c   r e g r e s s i o n   (L R )   a n d   N a i v e   B a y e s ,   w e r e   a l s o   e xpl o r e b y   [13]   t o   p r e d i c t   c us t o m e c h u rn   i b a n k i n g   s e c t o r .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   2 F e b r ua r y   20 2 6 :   65 5 - 66 5   656   T h e   r e s ul t s   s h o w e d   t h a t   N a i v e   B a y e s   pr o v i de m o r e   r e l i a b l e   p r o b a b i l i s t i c   p r e di c t i o n s .   A   s i m i l a r   l i n e   o f   w o r w a s   c a rr i e d   o ut   i [1 4] [15]   w h e r e   t h e   a ut h o r s   c o m pa r e a nd  a s s e s s e w h i c h   a l go r i t hm s   a r e   t h e   m o s t   e ffe c t i ve   i c hu rn   p r e d i c t i o n.   I t h e   c r e di t   c a r d   do m a i n ,   s t ud i e s   i n   [1 6] [18]   p r o po s e a   m o r e   c o m p r e h e n s i v e   c h u rn  p r e di c t i o n   f r a m e w o r i n c o r po ra t i ng  f e a t u r e   s e l e c t i o a n d   m ul t i p l e   m a c hi n e   l e a rn i ng   c l a s s i f i e r s .   In  t h e   t e l e c o m m uni c a t i o n s   s e c t o r,   t ra i n e d   a n d   e v a l u a t e d   s e v e r a l   m a c hi n e   l e a rni n g   m o de l s   w i t a   gra v i t a t i o n a l   s e a r c a l go ri t hm   f o r   f e a t u r e   s e l e c t i o n     [19] .   A   da t a s e t   f r o m   a I ra ni a m o b i l e   c o m pa n y   w a s   us e by   [20]   t o   p r e di c t   c us t o m e r   c h u rn  b y   i m pl e m e n t i ng  da t a   m i ni n g   a nd  m a c h i n e   l e a rni n g   c l a s s i f i c a t i o t e c hn i q ue s .   M e a n w hi l e ,   a   n e w   a pp r o a c h   b a s e o n   a   di s t a n c e   f a c t o r   w a s   p r o po s e by   [8]   t o   c l a s s i fy   c h u rn  a n n o n - c h u rn  c us t o m e r s   f r o m   t h e   T e l e c o m m uni c a t i o I n dus t ry   (T CI).   F u r t h e rm o r e ,   p r e d i c t e c us t o m e c h u rn  us i n de e l e a rn i ng  a n d   c o m pa r e t h e   r e s ul t s   w i t h   t r a d i t i o na l   m a c hi n e   l e a rn i ng  a l go r i t hm s   [21] .   In  a n o t h e s e c t o r ,   [ 22]   di s c us s e a   c us t o m e r   c h u rn  p r e di c t i o m o de l   f o r   B 2C  E - c o m m e r c e   b us i n e s s e s .   A ddi t i o na l l y ,   v a r i o us   m a c h i n e   l e a rn i ng  t e c hn i que s   w e r e   us e by   [23]   a n d   [24]   t o   p r e di c t   c us t o m e c h u rn   b a s e i n   B r a z i l i a E - c o m m e r c e   da t a s e t .   I n   [ 25] ,   a   p r o c e s s   us i n a   h y b r i S V M   c l a s s i f i c a t i o a pp r o a c h   t o   fo r e c a s t   E - c o m m e r c e   c us t o m e r   a t t r i t i o w a s   p r o v i de a   h y b r i r e c o m m e n d a t i o n   s t ra t e g y   fo r   t a r ge t e r e t e n t i o i ni t i a t i v e s .   N um e r o us   s t ud i e s   h a v e   a s s e s s e i n d i v i dua l   a l go ri t hm s   f o r   c h u rn  p r e di c t i o n H ow e ve r ,   a l go r i t hm   pe r f o r m a n c e   v a r i e s   de pe n d i n o n   d a t a s e t   c ha ra c t e ri s t i c s   a n f e a t u r e   s e l e c t i o n T h e r e f o r e ,   c o m pa r a t i v e   a n a l y s i s   i s   n e c e s s a r y   t o   i de n t i fy   t h e   m o s t   e f f e c t i v e   a l go r i t hm   f o r   a c c u r a t e   c hu rn  p r e di c t i o n   f o r   a   c e rt a i da t a s e t .   T hi s   s t udy   off e r s   a   f oc us e c o m pa r i s o o f   e i ght   c l a s s i f i c a t i o a l go ri t hm s   us i n g   a   c h u rn  da t a s e t   f r o m   a i nt e rn e t   s e r v i c e   p r o v i de r .   U nl i ke   m a n y   b e n c h m a r k - d ri v e n   s t ud i e s ,   w e   pa y   pa r t i c ul a a t t e n t i o t o   t h e   s t a b i l i t y   o f   e a c m o de l   a nd   i t s   t r a i n i ng t e s t i ng   pe r f o r m a n c e   g a p H i g hl i g ht i ng   t hi s   s t a b i l i t y   ga p   i s   i m po r t a n t   b e c a us e   i t   p r o v i de s   a   c l e a r e pi c t u r e   o f   h o w   r e l i a b l e   a   m o de l   w i l l   b e   i r e a l - w o r l d   de pl o y m e n t ,   y e t   t hi s   a s pe c t   ha s   ra r e l y   be e n   e xa m i n e i n   p r e v i o us   c h u rn  p r e d i c t i o r e s e a rc h .   A   c o n c e pt ua l   f r a m e w o r d i a g ra m   i s   p r e s e nt e i F i gu r e   1 .   T h e   da t a s e t   f r o m   a n   i n t e rn e t   s e r v i c e   pr o v i de r ,   w h i c c o n t a i n s   i n f o rm a t i o a b o ut   c us t o m e r s   s e r v i c e   us a ge ,   c o n t ra c t   a t t ri b ut e s ,   a n d   b i l l i n g   b e h a v i o r ,   t r a i n s   t h e   p r e di c t i v e   m o de l s .   T h i s   s t udy   pr o v i de s   a   c o m pr e h e n s i v e   c o m pa r i s o o f   e i gh t   c l a s s i f i c a t i o a l go ri t hm s b o t h   s i n gl e   a n d   e n s e m b l e   m o de l s us i n g   a   r e a l - w o r l d   IS P   c h u rn  da t a s e t   In   a   s i ngl e   c l a s s i f i e r,   L R ,   a n d   l i n e a r   S V M   w e r e   us e a s   l i n e a r   m o de l s ,   N a ï v e   B a y e s   a s   a   p r o b a b i l i s t i c   m o de l ,   a n d   a   DT   a s   a   s i ngl e   t r e e - b a s e m o de l .   A dv a n c e e n s e m b l e   m e t h o ds   i n c l ude   b a ggi n g   (e . g . ,   RF a n d   b oo s t i n g   (e . g. ,   A da B o o s t ,   X G Boo s t ,   a n d   Ca t B oo s t ) T h e   s t udy   off e r s   a   n o v e l   fo c u s   o n   m o de l   s t a b i l i t y   a n d   t h e   t ra i n t e s t   pe r f o r m a n c e   ga p ,   p r o v i di n i n s i g ht s   ra r e l y   e xa m i n e i pr e v i o us   c h u rn   p r e di c t i o r e s e a r c h.   A na l y s i s   o n   di s c r i m i na t i v e   pow e r   a n d   m o de l   s t a b i l i t y   w i l l   b e   c o n duc t e d.   F i n a l l y ,   t h e   go a l   i s   to   gi v e   t h e   b us i n e s s   c l e a n e xt   s t e ps .   T h i s   p a pe r   i s   o r g a ni z e a s   f o l l o w s .   In   t h e   n e xt   s e c t i o n,   r e s e a rc h   m e t h o do l o g y   i s   de s c r i b e d,   i n c l ud i n g   da t a   i de n t i f i c a t i o n,   da t a   p r e p r o c e s s i n g,   m o de l i n g ,   a n d   e v a l ua t i o n .   T h e   f i n di ngs   a r e   d i s c us s e i n   s e c t i o 3 ,   i n c l udi ng  t h e   o v e r a l l   m o de l   pe r f o r m a n c e   c o m pa r i s o n,   t he   a na l y s i s   of   di s c r i m i na t i v e   po w e r   a n d   m o de l   s t a b i l i t y ,   m i t i g a t i n g   o v e r f i t t i n g   i t r e e - b a s e m o de l s ,   a n d   t h e   p ri o ri t y   of   F 1 - s c o r e   i c h u rn  p r e di c t i o n .   F i n a l l y ,   t h e   c o n c l us i o i s   p r e s e n t e d   i s e c t i o n   4 .           F i gu r e   1.   Co n c e pt ua l   f ra m e w o r di a g ra m       2.   M ET H O D   T h e   r e s e a r c p r o c e s s   i s   i l l us t r a t e i n   F i gu r e   2   a nd  e xp l a i n e d   i t h e   f o l l o w i n s ub s e c t i o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       St abl e   and   ac c ur at e   c us t om e r   c hur n   pr e d i c t i on c om par at i v e   ana l y s i s     ( V i nc e nt   A l e x and e r   H ar i s )   657       F i gu r e   2.   R e s e a r c f l o w c h a r t       2. 1 .     D ata   i d e n t i fi c at i o n   In   t h i s   r e s e a r c h ,   a   pub l i c   i nt e rn e t   s e r v i c e   da t a s e t   w a s   us e d,   o b t a i n e f r o m   t h e   K a g gl e   pl a t f o r m   pr o v i de by   K u n t   (20 22).   T h e   da t a s e t   c o n t a i n s   hi s t o ri c a l   c us t o m e r   i n f o r m a t i o f r o m   a i n t e rn e t   s e r v i c e   pr o v i de r .   T h e r e   a r e   72 , 274   r o w s   of   c us t o m e r   d a t a   w i t h   11   f e a t ur e   c o l um n s ,   a l l   n u m e r i c a l .   T h e   da t a s e t   i s   r e l a t i v e l y   b a l a n c e w i t a   c h u rn  r a t e   o f   55%,   w h i c i s   s o m e w h a t   u n us u a l   s i n c e   c h u rn  c a s e s   a r e   t y pi c a l l y   m uc f e w e r   t ha n o n - c h u rn  c a s e s .   T h e   f e a t u r e   c o l um n s   a r e   d e s c r i b e i T a b l e   1.       T a b l e   1 .   F e a t u r e   c o l um n s   a n d   t h e i de s c r i pt i o n   F e a t u r e   c o l u m n s   D e s c ri p t i o n   Id   S u b s c ri b e i d e n t i f i e r .   i s _ t v _ s u b s c r i b e r   B i n a r y   i n d i c a t o r   o w h e t h e r   t h e   c u s t o m e h a s   a   T V   s u b s c ri p t i o n .   i s _ m o v i e _ p a c k a g e _ s u b s c r i b e r   B i n a r y   i n d i c a t o r   o w h e t h e r   t h e   c u s t o m e h a s   a   c i n e m a / m o v i e   p a c k a g e   s u b s c ri p t i o n .   s u b s c r i p t i o n _ a g e   S u b s c ri p t i o n   d u ra t i o n   i n   m o n t h s .   b i l l _ a v g   A v e ra g e   m o n t h l y   b i l l   o v e t h e   l a s t   t h re e   m o n t h s .   r e a m i n i n g _ c o n t r a c t   R e m a i n i n g   c o n t ra c t   d u ra t i o n ,   w h e re   n u l l   i n d i c a t e s   n o   c o n t ra c t ;   c u s t o m e r s   w i t h   a c t i v e   c o n t ra c t s   m u s t   u s e   t h e   s e r v i c e   u n t i l   t h e   c o n t ra c t   e n d s   o p a y   a   p e n a l t y   i t e r m i n a t e d   e a rl y .   s e r v i c e _ f a i l u r e _ c o u n t   T o t a l   c u s t o m e c a l l s   re p o rt i n g   s e r v i c e   i s s u e s   t o   t h e   c a l l   c e n t e i n   t h e   l a s t   t h r e e   m o n t h s .   d o w n l o a d _ a v g   A v e ra g e   d o w n l o a d   u s a g e   i n   G o v e r   t h e   l a s t   t h r e e   m o n t h s .   u p l o a d _ a v g   A v e ra g e   u p l o a d   u s a g e   i n   G o v e t h e   l a s t   t h re e   m o n t h s .   d o w n l o a d _ o v e r _ l i m i t   N u m b e r   o t i m e s   t h e   c u s t o m e r   e x c e e d e d   t h e   d o w n l o a d   l i m i t   i n   t h e   l a s t   n i n e   m o n t h s .   c h u r n   A   b i n a r y   i n d i c a t o r   w h e r e   1   d e n o t e s   t h a t   t h e   c u s t o m e u n s u b s c ri b e d   a n d   0   d e n o t e s   t h a t   t h e   c u s t o m e re m a i n e d   s u b s c ri b e d .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   2 F e b r ua r y   20 2 6 :   65 5 - 66 5   658   2. 2 .     D ata   p r e p r o c e s s i n g   T h i s   s t a ge   c o n s i s t s   o f   da t a   c l e a n i ng,   d r o ppi n g   i rr e l e v a nt   c o l um n s ,   o ut l i e r   ha n d l i n g ,   f e a t u r e   e n gi n e e r i n g ,   f e a t u r e   s e l e c t i o n ,   a n d a t a   s c a l i n g.   T o   m a ke   s ur e   t ha t   t h e   e v a l ua t i o n   r e s ul t s   a r e   f r e e   of   da t a   l e a ka ge ,   e a c s t e w a s   t ra i n e e xc l us i v e l y   o n   t h e   t r a i n i ng  d a t a s e t .   E a c h   s t e p   w a s   i m p l e m e n t e us i ng  s c i k i t - l e a rn   p i pe l i n e   t ha t   a s s u r e s   t h e   t e s t   da t a s e t   r e m a i n s   i s o l a t e a nd  do e s   n o t   i n f l ue n c e   t h e   da t a   t ra n s f o r m a t i o n .   a.   D a t a   c l e a n i ng   T h e   f i r s t   s t e p   i s   d a t a   c l e a n i ng,   w h i c i de n t i f i e s   m i s s i n g   v a l ue s   i t h e   d a t a s e t .   T h e   m i s s i ng   v a l ue s   w e r e   fo un d   i s o m e   f e a t u r e   c o l um n s ,   s uc a s   r e m ai ni ng_ c on t r a c t dow nl oad_av g ,   a n d   upl oa d_av g M i s s i n v a l ue s   w e r e   ha n dl e b a s e o n   t h e i r   p r o po r t i o n   a n po t e n t i a l   i m p a c t .   T h e   dow nl oad_av g   a nd  up l oad_a v g   c o l um n s   ha a   v e r y   s m a l l   pe r c e n t a ge   o f   m i s s i n g   v a l ue s ,   t ha t   i s   0. 53% .   T h e   c o rr e s po n d i n r o w s   w e r e   de l e t e t o   m a i n t a i da t a   qu a l i t y   w i t h o ut   s i g ni f i c a n t   i n f o r m a t i o l o s s .   I c o nt r a s t ,   t h e r e   a r e   29 . 85%   m i s s i n g   v a l ue s   i t h e   r e m ai n i ng_ c ont r a c t   c o l um n .   I t hi s   c a s e ,   t h e   m i s s i ng   v a l ue   w a s   i m p ut e d   w i t h   t h e   v a l ue   z e r o   s i n c e   t h i s   c o l um n   r e p r e s e nt s   c us t o m e r s   w h o   a r e   no t   b o un by   a   c o n t ra c t .     b.   D r o ppi n g   i rr e l e v a n t   c o l um n s   In  t h i s   s t e p,   t h e   id   c o l um w a s   r e m o v e f r o m   t h e   da t a s e t .   It   c o nt a i n s   t h e   c us t o m e r ’s   u n i que   i de nt i f i e w h i c i s   n o t   s t r o n gl y   r e l a t e t o   c us t o m e r   c h u rn.   T hi s   f e a t u r e   do e s   n o t   p r o v i de   h e l pf ul   i n f o r m a t i o n ;   o t h e r w i s e ,   i t   m a y   m i s l e a d   t h e   m o de l   du ri n g   t ra i ni n g .   T hi s   c o l um n   w a s   de l e t e d   s o   t ha t   t h e   da t a s e t   f o c us e s   o n   f e a t u r e s   t ha t   m a t t e f o r   c us t o m e b e h a v i o ur,   a n d   t h e   m o de l   c a f i n m e a n i ngf ul   p a t t e rn s .   c.   O ut l i e h a ndl i ng   O ut l i e r s   w e r e   ha n d l e t o   pr e v e n t   t h e   m o de l   f r o m   b e i n s k e w e by   e xt r e m e   v a l ue s .   H e r e ,   w e   us e t h e   Int e rqua rt i l e   R a n ge   ( IQ R m e t h o s o   t ha t   t h e   o ut l i e r s   i n   t h e   da t a   w e r e   c a ppe t o   l i m i t   t h e i r   i m p a c t .   I n   t h e   da t a s e t ,   t h e   e xt r e m e   v a l ue s   w e r e   f o un d   i s o m e   f e a t ur e s ,   i . e . ,   bi l l _a v g s ubs c r i p t i on _age r e m ai ni ng_c ont r a c t d ow nl oad_av g a n d   upl o ad_a v g .   d.   F e a t u r e   e ngi n e e ri n g   In  t hi s   s t e p,   a   n e w   b i n a r y   f e a t ur e   w a s   c r e a t e d na m e l y   i s _c ont r a c t .   T hi s   f e a t u r e   w a s   c r e a t e b a s e o r e m ai ni ng_c ont r a c t   c o l um n.   T h e   v a l ue   w a s   s e t   t o   1   i f   t h e   v a l ue   i n   r e m a i ni ng_c ont r a c t   i s   g r e a t e t ha 0,   a n 0   o t h e r w i s e .   T h i s   t r a n s f o r m a t i o h i g hl i g h t s   w h e t h e a   c us t o m e h a s   a   c o n t r a c t ua l   c o m m i t m e n t ,   pr o v i di n g   a   c l e a r   b i na r y   s i gna l   f o r   t h e   m o de l .   e.   F e a t u r e   s e l e c t i o n   T h e   c o rr e l a t i o n   m a t ri x   w a s   c o m put e a n d   s h o w e t ha t   t h e   s e r v i c e _ f ai l ur e _ c oun t   f e a t ur e   h a s   a   v e r y   l ow   c o r r e l a t i o n   w i t t h e   t a r ge t   v a r i a b l e   c h u rn  (c o e ff i c i e n t   o f   0. 0 2).   T hi s   f e a t u r e   w a s   c o n s i de r e d   a s   n o i s e   t ha t   ha s   l e s s   po w e r   o c h u rn  p r e di c t i o n.   R e m o v i n t h i s   f e a t u re   s i m p l i f i e s   t h e   m o de l   a n d   p r e v e n t s   i t   f r o m   l e a rn i ng  s pu ri o us   pa t t e rn s .   f.   D a t a   s c a l i n g   T h i s   s t e i s   a ppl i e o nl y   t o   m o de l s   t h a t   a r e   s e n s i t i v e   t o   s c a l e ,   l i ke   LR   a nd  l i n e a S V M .   S t a n d a r dS c a l e r   f r o m   S c i ki t - l e a rn  w a s   a ppl i e t o   t h e s e   m o de l s .   O t h e t r e e - b a s e a n d   e n s e m b l e   m o de l s   l i ke   DT RF ,   A da B oo s t ,   X G B oo s t ,   a nd  Ca t B o o s t   do   n o t   r e qui r e   s c a l i n g   s i n c e   t h e i i nt e rna l   s p l i t t i ng  m e c ha n i s m s   a r e   n o t   a f f e c t e by   di f fe r e n c e s   i n   f e a t u r e   s c a l e s .     2. 3 .     M o d e l i n an d   e v al u ati o n   m e tr i c s   a.   M o de l   s e l e c t i o n   T h e r e   a r e   e i g ht   c l a s s i f i c a t i o a l go r i t hm s   i m p l e m e n t e i t hi s   c o m pa r a t i v e   s t udy ,   i n c l ud i n g   p r o b a b i l i s t i c   m o de l s   (N a ï v e   B a y e s ),   l i n e a r   m o de l s   ( LR ,   L i n e a S V M ),   s i n g l e   t r e e - b a s e m o de l s   ( DT ),   a n d   a dv a n c e e n s e m b l e   m e t h o ds ,   s uc h   a s   b a gg i n g   ( RF a n d   b o os t i ng  (A d a Bo os t ,   X G B oo s t ,   Ca t B oo s t )   b.   T r a i n i ng  a n d   t e s t i n g   T h e   da t a s e t   w a s   s pl i t   i n t o   a   t ra i n i n g   s e t   ( 80%)   a nd  a   t e s t i n g   s e t   (20%) .   S t r a t i f i e K - F o l c r o s s - v a l i da t i o n   w i t f i v e   fo l ds   w a s   i m pl e m e n t e d   t o   ge t   a   m o r e   r o b us t   e v a l ua t i o n.   T h e   s t r a t i f i c a t i o n   m e t h o ke e ps   t h e   s a m e   i m b a l a n c e   o f   t h e   c h u rn  c l a s s   i e v e r y   fo l d,   w h i c w o u l gi v e   a   m o r e   r e l i a b l e   a n d   f a i e s t i m a t i o of  t h e   m o de l   pe r f o r m a n c e .   c.   P e r f o r m a n c e   m e t ri c s   M o de l   pe r f o r m a n c e   w a s   e v a l ua t e d   us i n g   a   s e t   o f   s t a n d a r d   m e t r i c s   a s   f o l l ow s .   -   A c c ur a c y :   t h e   ra t i o   o f   t h e   c o rr e c t l y   pr e di c t e i n s t a n c e s   to   a l l   i n s t a n c e s ,   f o r m ul a t e b y ,     a c c u r a c y = t r ue   p o s i t i v es + t r ue   n eg at i v es t o t a l   i n s t an c es       -   P r e c i s i o n :   t h e   r a t i o   o f   t rue   po s i t i v e   i n s t a n c e s   t o   a l l   p r e d i c t e po s i t i v e s ,   fo r m u l a t e by ,     p r e c i si o n = t r ue   p o s i t i v es t r ue   p o s i t i v es + f al s e   p o s i t i v es     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       St abl e   and   ac c ur at e   c us t om e r   c hur n   pr e d i c t i on c om par at i v e   ana l y s i s     ( V i nc e nt   A l e x and e r   H ar i s )   659   -   R e c a l l :   t h e   ra t i o   o f   t r ue   po s i t i v e   i n s t a n c e s   to   a l l   a c t u a l   po s i t i v e s ;   t h e   m e t ri c   i s   c r uc i a l   f o m i n i m i z i ng  f a l s e   n e ga t i v e s ,   f o r m ul a t e d   by ,     r e c a l l =   t r ue   p o s i t i v es t r ue   p o s i t i v es + f al s e   n eg at i v es       -   F1 - s c o r e :   t h e   ha rm o n i c   a v e r a ge   of  p r e c i s i o n   a nd  r e c a l l ,   r e f l e c t i n g   a   b a l a n c e m e a s u r e   b e t w e e n   t h e   t w o   m e t r i c s ,   f o r m ul a t e b y ,     1 = 2 p r ec i s i o n   r ec al l p r ec i s i o n + r ec al l       -   R O C :   s t a n ds   f o r   r e c e i v e r   o pe r a t i ng   c ha ra c t e ri s t i c ,   i l l us t ra t e b y   a   c u r v e   t ha t   r e p r e s e n t s   t h e   t r a de - o f b e t w e e n   r e c a l l   a n d   s pe c i f i c i t y   a c r o s s   v a ri o us   t hr e s h o l ds ,   w he r e   - a xi s   r e pr e s e nt s   f a l s e   po s i t i v e   ra t e   a n d   - a xi s   r e p r e s e n t s   t r ue   po s i t i v e   r a t e .   -   A U C :   a r e a   u n de r   t h e   c u r v e   of   R O t ha t   s u m m a r i z e   t h e   pe rfo r m a n c e   of   a   c l a s s i f i e r   a c r o s s   a l l   po s s i b l e   t hr e s h o l ds .   T h e   v a l ue   ra n ge   i s   f r o m   0   t o   1 ,   w h e r e   1   de n o t es   pe r f e c t   c l a s s i f i c a t i o n   a n d   0 . 5   c o rr e s po n ds   t o   ra n do m   g ue s s i ng.       3.   R ES U LTS   A N D   D I S C U S S I O N   T h i s   s e c t i o p r e s e nt s   t h e   pe r f o r m a n c e   c o m pa r i s o f r o m   t h e   e i g h t   c l a s s i f i c a t i o m o de l s ,   a n a l y s i s   o di s c r i m i na t i v e   po w e r   a nd  m o de l   s t a b i l i t y ,   de s c r i p t i o n   o f   m i t i g a t i ng  o v e r f i t t i ng  o t r e e - b a s e m o de l s ,   a n d   di s c us s i o n   a b o ut   t h e   p r i o r i t y   of   F 1 - s c o r e   i n   t h i s   c h u rn  p r e di c t i o n .     3. 1 .     O v e r al l   m o d e l   p e r fo r m an c e   c o m p ar i s o n   W e   e v a l ua t e d   e i g h t   c l a s s i f i c a t i o m o de l s   o t h e   t e s t   da t a s e t .   T h e   pe r f o r m a n c e   o f   e a c m o de l   w a s   m e a s u r e i n   s e v e r a l   m e t r i c s :   t ra i a n d   t e s t   a c c ura c y ,   a c c ur a c y   ga p,   p r e c i s i o n,   r e c a l l ,   F 1 - s c o r e ,   a nd  R O C/ A U C,   a s   s h o w n   i n   T a b l e   2.   T h e   o ve r a l l   r e s ul t s   s h o w   t ha t   m o de l s   w i t h   g ra di e n t   b oo s t i n g   a nd  e n s e m b l e   m e t h o ds   pe r f o r m e d   b e t t e t ha s i m pl e l i n e a a n d   p r o b a b i l i s t i c   m o de l s .   C a t B o os t   a c h i e v e t h e   hi g h e s t   t e s t   a c c ur a c y   o f   94. 44%  a n d   t h e   hi g h e s t   F 1 - s c o r e   o f   94. 97%.   I n   r e c a l l ,   X G B oo s t   pe r f o r m e b e s t   w i t h   s c o r e   of  94. 16 %.   O t h e t r e e - b a s e m o de l s ,   l i ke   t h e   t u n e d   DT   a nd  RF ,   a l s o   s h o w   goo pe r f o r m a n c e   w i t h   a c c ura c i e s   a b ov e   93. 9%.   T h e   l i n e a r   SVM   a n d   N a ï v e   B a y e s   m o de l s   ga v e   de c e n t   b ut   l o w e r   r e s ul t s .       T a b l e   2 .   Co m p r e h e n s i v e   m o de l   p e r f o r m a n c e   c o m pa r i s o n .   M o d e l   T e s t   a c c u ra c y   (% )   P re c i s i o n   (% )   Re c a l l   (% )   F1 - s c o r e   (% )   RO A U C   A c c u ra c y   G a p   ( % )   A c c u ra c y   g a p   n o t e s   N a i v e   Ba y e s   9 2 , 1   9 4 , 4 4   9 1 , 1 9   9 2 , 7 8   0 , 9 4 4   0 , 0 3   L o w e s t   d i s c ri m i n a t i v e   p o w e r   LR   9 2 , 5 2   9 5 , 4 9   9 0 , 8 6   9 3 , 1 2   0 , 9 5 5   0 , 1 5   M o d e ra t e   p e r f o r m a n c e   L i n e a S V M   9 2 , 0 9   9 5 , 4 4   9 0 , 1   9 2 , 6 9   0 , 9 5 4   0 , 1 5   S i m i l a t o   LR   DT   9 3 , 9 5   9 5 , 7   9 3 , 3 3   9 4 , 5   0 , 9 6 4   0 , 0 2   V e r y   s t a b l e   a f t e t u n i n g   RF   9 3 , 9   9 5 , 9 5   9 3 , 4   9 4 , 4 6   0 , 9 7 0   0 , 1   S t r o n g   e n s e m b l e   b a s e l i n e   A d a Bo o s t   9 3 , 4 6   9 5 , 1 4   9 3 , 0 2   9 4 , 0 7   0 , 9 6 1   0 , 1 2   G o o d   b u t   s l i g h t l y   w e a k e r   X G B o o s t   9 4 , 3 8   9 5 , 6 9   9 4 , 1 6   9 4 , 9 2   0 , 9 8 1   1 , 0 1   Be s t   re c a l l ,   s l i g h t   o v e r f i t t i n g   Ca t Bo o s t   9 4 , 4 4   9 5 , 8 1   9 4 , 1 4   9 4 , 9 7   0 , 9 8 1   0 , 5   Be s t   o v e ra l l   b a l a n c e       In  T a b l e   2,   a c c ura c y   ga i s   a l s o   p r e s e n t e d,   s h o w i n t h e   di f f e r e n c e   b e t w e e n   t ra i ni n g   a n d   t e s t   a c c ur a c y .   A   s m a l l e g a p   i n d i c a t e s   t h e   m o de l   i s   b e t t e a t   ge n e ra l i z a t i o n   w i t n e w   da t a .   B a s e o n   t h i s   m e a s u r e ,   t h e   t u n e d   DT s   s h o w   t h e   s m a l l e s t   g a p   a t   0 . 02 %.   T hi s   r e s u l t   s h o w s   t h a t   t h e   m o de l   ge n e r a l i z e v e r y   w e l l   In  c o n t ra s t ,   X G B o os t   h a d   t h e   l a rge s t   g a p,   1 . 01% ,   w h i c h   s ug g e s t s   i t   m i g h t   b e   s l i g ht l y   ov e r f i t t i n g.   F i gu r e   a n d   p r o v i de   a   v i s ua l   c o m pa ri s o n   o f   t e s t   a c c u r a c y ,   p r e c i s i o n ,   r e c a l l ,   a n d   F 1 - s c o r e   f o r   e a c m o de l .   I n   t h e   l e f t   pa n e l   o f   F i gur e   3 ,   t h e   t e s t   a c c ura c y   of   e a c m o de l   i s   p r e s e n t e d.   It   s h o w s   t ha t   Ca t B oo s t   a n X G Boo s t   h a d   t h e   h i g h e s t   a c c ura c y   v a l ue s   o f   94. 44 %   a nd   9 4. 38% ,   r e s pe c t i v e l y .   DT   a nd   RF   f o l l ow e w i t h   s c o r e s   o f   93. 97%  a n 93. 8 %.   I c o n t r a s t ,   l i n e a r   S V M ,   N a i v e   B a y e s ,   a n d   LR   s h o w   l ow e r   a c c u r a c y   t h o ug h   i t   i s   s t i l l   a b ov e   92%.   T h e s e   r e s ul t s   po i nt   t o   t h e   s t r o n g   ge n e ra l i z a t i o c a p a b i l i t i e s   o f   e n s e m b l e - ba s e m e t h o ds .     In   t h e   r i g h t   p a n e l   o f   F i gur e   3 ,   c o m pa ri s o n   o f   pr e c i s i o n   f o r   e a c h   m o de l   i s   s h o w n .   A s   de pi c t e d,   Ca t B oo s t   a n d   X G Boo s t   a l s o   a c h i e v e   t h e   hi g h e s t   p r e c i s i o n   s c o r e s   o f   95. 81 a nd  95 . 69 %.   T h e s e   i ndi c a t e   t h e y   h a v e   s t r o n c a pa b i l i t y   i p r o duc i n g   f e w e r   f a l s e   po s i t i v e s .   O t h e m o de l s   l i ke   LR ,   l i n e a S V M ,   DT ,   a n d   RF   m a i nt a i c o m pe t i t i v e   pr e c i s i o s c o r e s   a r o und  95 . 5% ,   w h i l e   N a i v e   B a y e s   r e m a i n s   t h e   l e a s t   p r e c i s e   m o de l   w i t h   s c o r e   o 94. 44 %.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   2 F e b r ua r y   20 2 6 :   65 5 - 66 5   660   F i gu r e   4   p r e s e n t s   t h e   c o m pa ri s o o f   r e c a l l   a nd  F 1 - s c o r e   o f   e a c h   m o de l .   I t h e   l e f t   p a n e l ,   t h e   r e c a l l   c o m pa ri s o n   i s   d i s pl a y e d,   h i g hl i g h t i n g   h o w   w e l l   e a c m o d e l   i de n t i f i e s   a c t ua l   c h u rn e r s .   X G B o os t   h a s   t h e   hi g h e s t   r e c a l l   s c o r e   o f   94. 16% ,   f o l l o w e by   Ca t Bo os t   (94 . 14%)  a n d   RF   (93 . 43% ).   T h e s e   m o de l s   e xhi b i t   s t r o n ge s e n s i t i v i t y   t h a l i n e a r   c l a s s i f i e r s ,   w h e r e   LR   a n d   l i ne a S V M   p r o duc e r e c a l l   s c o r e s   o f   90. 86%  a nd  90. 10 %.   R e c a l l   i s   a   pa rt i c ul a r l y   i m po r t a nt   m e t ri c   i m o s t   c h u rn  p r e di c t i o p r o b l e m s ,   s i n c e   c a s e s   w h e r e   t h e   m o de l   f a i l s   t o   de t e c t   a   c us t o m e r   w h o   i s   a c t ua l l y   a bo ut   t o   c hurn  c a n   r e s ul t   i g r e a t e l o s s e s   t ha n   c a s e s   w h e r e   t h e   m o de l   i n c o rr e c t l y   m a r ks   a   c us t o m e w h o   ha s   n o t   c h u rn e d   a s   c h u rn e d .   T h e   c o m pa r i s o o f   F 1 - s c o r e   i s   p r e s e n t e i n   t h e   ri g h t   p a n e l   o f   F i gur e   4 .   T h e s e   s c o r e s   b a l a n c e   t h e   pr e c i s i o a n d   r e c a l l   v a l ue s .   A s   de pi c t e d,   Ca t B oo s t   a g a i ha d   t h e   h i g h e s t   F1 - s c o r e   o f   94. 97 %,   f o l l ow e d   c l o s e l y   by   X G Bo os t   (94 . 92% ).   T h e   c o n s i s t e nt l y   s upe r i o r e s ul t s   p r o v i de by   t h e   e n s e m b l e   m o de l s   e m p ha s i z e   t h e i r   r o b us t n e s s   i de a l i ng   w i t n o n - l i n e a r e l a t i o n s hi ps   a nd   c o m pl e i n t e ra c t i o n s   b e t w e e n   f e a t u r e s .   M e a n w hi l e ,   N a ï v e   B a y e s   a n d   l i n e a S V M   o b t a i t h e   l o w e s t   F 1 - s c o r e s   (92. 78 %   a n d   9 2. 6 9%) ,   c o n f i rm i n g   t h e   e a rl i e r   o b s e r v a t i o n   t h a t   t h e   m o de l s   w i t h   s i m p l e   de c i s i o n   b o un d a r i e s   a r e   n o t   a b l e   t o   c a pt u r e   n o n - l i n e a r   pa t t e rn s   a s   w e l l   a s   e n s e m b l e   m o de l s .             F i gu r e   3.   B a c ha r t   c o m pa r i ng  t h e   a c c ur a c y   (l e f t a n p r e c i s i o n   ( ri g h t )   o f   e a c h   m o de l             F i gu r e   4.   B a c ha r t   c o m pa r i ng  t h e   r e c a l l   ( l e f t a n d   F1 - s c o r e   ( ri g h t )   o f   e a c h   m o de l       3. 2 .     A n al ys i s   o d i s c r i m i n ati v e   p o w e r   an d   m o d e l   s tab i l i ty   T h e   d i s c ri m i n a t i v e   po w e r   o f   e a c m o de l   w a s   a s s e s s e t o   e v a l u a t e   i t s   a b i l i t y   t o   e ff e c t i v e l y   di s t i ngui s c h u rn e r s   f r o m   n o n - c h u rn e r s T h e   d i s c r i m i na t i v e   pow e r   i s   a na l y z e b a s e o t h e   R O c u r v e   a n d   t h e   A U c a l c ul a t i o n.   F r o m   T a b l e   2 ,   i t   i s   s h o w n   t h a t   C a t B oos t   a n d   X G B o os t   o b t a i n e t h e   hi g h e s t   A U s c o r e ,   0. 9812   a n d   0. 9 811  r e s pe c t i v e l y .   T h e s e   i n di c a t e   t h e   m o de l s   c a n   c l e a rl y   di s t i ngui s h   b e t w e e n   c us t o m e r s   w h o   w i l l   c h u rn  a n d   t h o s e   w h o   w i l l   n o t .   N o t a b l y ,   t h e s e   r e s ul t s   m a t c h   t h e   r e s ul t s   f r o m   o t h e r   m e t ri c s .   T r e e - b a s e d   e n s e m b l e   m e t h o ds ,   i n c l ud i n g   RF   a n d   A d a B oo s t ,   a l s o   s h o w   s t r o n g   di s c r i m i na t i v e   pow e r   (0 . 9705   a nd  0. 9 612) L i n e a m o de l s   s uc h   a s   LR   a n l i n e a S V M   s h o w   m o de r a t e l y   l ow e r   R O A U s c o r e s   (0. 9553   a nd  0 . 95 44) Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       St abl e   and   ac c ur at e   c us t om e r   c hur n   pr e d i c t i on c om par at i v e   ana l y s i s     ( V i nc e nt   A l e x and e r   H ar i s )   661   s ugge s t i n g   a   m o r e   l i m i t e d   a b i l i t y   t o   c a pt u r e   c o m pl e n o nl i n e a r   p a t t e rn s   i t h e   da t a .   N a ï v e   B a y e s   pr e s e n t s   t h e   l o w e s t   di s c ri m i n a t i v e   po w e r   w i t R O A U C   s c o r e   o f   0. 9436 ,   w hi c m a y   b e   due   t o   t h e   i n de pe n de n c e   a s s um pt i o n o t   b e i ng  i n   l i n e   w i t t h e   o b s e r v e f e a t ur e   r e l a t i o n s hi ps   i n   t h e   d a t a s e t .   F urt h e rm o r e ,   t h e   m o de l   s t a b i l i t y   w a s   e v a l ua t e by   i m pl e m e nt i n s t r a t i f i e 5 - f o l c r o s s - v a l i da t i o n   o t h e   t r a i n i ng   da t a s e t .   T a b l e   3   p r e s e nt s   t h e   m e a n   pe r f o r m a nc e   a n d   s t a n d a r d   de v i a t i o (S D )   f o e a c m o de l   a c r o s s   t h e   f i v e   fo l ds .   C a t B o o s t   a c hi e v e s   t h e   h i g h e s t   m e a R O A U o f   0. 9804   ( ±0 . 000 5) ,   a n d   X G B oo s t   fo l l ow s   c l o s e l y   w i t h   0 . 9798   0. 0 006) T h e se   c r o s s - v a l i da t i o r e s ul t s   s uppo rt   o ur  e a rl i e f i n di n gs   a s   w e l l A c r o s s   a l l   m o de l s ,   t h e   SD   r e m a i n e r e l a t i v e l y   l ow ,   i ndi c a t i n s t a b l e   pe r f o r m a n c e   a c r o s s   a l l   f o l ds ,   a n d   n o   m o de l   e xpe r i e n c e h i g v a r i a n c e   du r i ng  e v a l ua t i o n .   T hi s   c o nf i r m s   t h e   r e l i a b i l i t y   of   t h e   s t ra t i f i e 5 - f o l c r o s s - v a l i da t i o p r o c e dur e   i p r o v i di n g   r o b us t   pe r f o r m a n c e   e s t i m a t e s .       T a b l e   3 .   S t ra t i f i e 5 - f o l c r o s s - v a l i da t i o r e s ul t s   M o d e l   M e a n   a c c u ra c y     S D )   ( % )   M e a n   F 1 - s c o r e   ( ±   S D ( % )   M e a n   r e c a l l     S D ( % )   M e a n   R O A U C     S D )   N a ï v e   Ba y e s   9 2 . 0 9   ( ±   0 . 1 4 )   9 2 . 7 9   ( ±   0 . 1 2 )   9 1 . 3 9   ( ±   0 . 1 8 )   0 . 9 4 3 5   ( ±   0 . 0 0 0 6 )   LR   9 2 . 4 0   ( ±   0 . 1 3 )   9 3 . 0 3   ( ±   0 . 1 3 )   9 1 . 0 5   ( ±   0 . 2 8 )   0 . 9 5 5 4   ( ±   0 . 0 0 0 6 )   L i n e a S V M   9 1 . 9 6   ( ±   0 . 1 2 )   9 2 . 5 9   ( ±   0 . 1 2 )   9 0 . 2 3   ( ±   0 . 2 6 )   0 . 9 5 4 4   ( ±   0 . 0 0 0 6 )   DT   9 3 . 8 2   ( ±   0 . 0 7 )   9 4 . 3 9   ( ±   0 . 0 6 )   9 3 . 3 8   ( ±   0 . 2 1 )   0 . 9 6 4 6   ( ±   0 . 0 0 1 0 )   RF   9 3 . 7 5   ( ±   0 . 0 9 )   9 4 . 3 4   ( ±   0 . 0 8 )   9 3 . 5 1   ( ±   0 . 2 1 )   0 . 9 6 9 8   ( ±   0 . 0 0 1 0 )   A d a Bo o s t   9 3 . 3 7   ( ±   0 . 1 3 )   9 3 . 9 9   ( ±   0 . 1 2 )   9 3 . 2 1   ( ±   0 . 2 2 )   0 . 9 6 1 5   ( ±   0 . 0 0 1 5 )   X G B o o s t   9 4 . 2 3   ( ±   0 . 0 6 )   9 4 . 7 9   ( ±   0 . 0 6 )   9 4 . 2 1   ( ±   0 . 2 2 )   0 . 9 7 9 8   ( ±   0 . 0 0 0 6 )   Ca t Bo o s t   9 4 . 3 0   ( ±   0 . 1 3 )   9 4 . 8 5   ( ±   0 . 1 3 )   9 4 . 1 6   ( ±   0 . 3 2 )   0 . 9 8 0 4   ±   0 . 0 0 0 5 )       3. 3 .     M i ti gati n g   o v e r fi tti n g   i n   tr e e - b as e d   m o d e l s   In  t h e   DT   a n RF   m o de l s ,   we   e n c o un t e r e s i g n s   o f   ove r f i t t i n g .   T o   a dd r e s s   t hi s ,   t u ni n g   e xpe r i m e n t s   w e r e   c o n duc t e o a   s i n g l e   p a r a m e t e r,   m ax _d e p t h .   T h is   pa ra m e t e r   de n o t e s   t h e   m a xi m um   de pt o f   t h e   DT   If   t h e   t r e e   de pt i s   t o o   l a r ge ,   t h e   m o de l   m i g h t   l e a rn  o v e r l y   s pe c i f i c   pa t t e rn s ,   i n c l ud i n g   n o i s e .   T hi s   c o n di t i o n   may   l e a t o   m o de l   o v e r f i t t i n g ,   w h e r e   pe r f o r m a n c e   o t ra i ni n g   da t a   i s   v e r y   hi g h ,   b ut   o t e s t i ng  d a t a ,   i t   d r o ps   dra s t i c a l l y .   By   l i m i t i n g   t h e   m a xi m u m   de pt t hr o ug p a r a m e t e r   t u n i n g ,   t h e   t r e e   i s   l e s s   l i ke l y   t o   m e m o r i z e   n o i s e   a n s t i l l   m a i nt a i n   go o ge n e ra l i z a t i o n   t o   n e w   da t a .   T hi s   t u ni n p r o c e s s   f i n ds   t h e   o pt i m a l   m a x _d e pt h   v a l ue   t h a t   b a l a n c e s   m o de l   c o m pl e xi t y   a nd  ge n e r a l i z a t i o a b i l i t y ,   t h e r e by   r e duc i n g   t h e   ri s o f   o ve r f i t t i n g   a nd  i m p r o v i n g   a c c ur a c y   o n   t h e   t e s t   d a t a .   T a b l e   p r e s e n t s   t h e   pe r f o r m a n c e   e v a l ua t i o n   b e fo r e   pa ra m e t e r   t u n i ng,   i ndi c a t i n g   o v e r f i t t i n g.   W i t de f a ul t   p a r a m e t e r s ,   t h e   a c c ur a c y   ga ps   f o r   t h e   DT   a n d   t h e   RF   a r e   8. 8 8%  a n d   5 . 75%   r e s pe c t i v e l y .   T h e   m ax _de pt h   p a r a m e t e w a s   t u n e d   b y   t e s t i n g   o v e r   v a l ue s   1   t o   20 .   A s   i F i gu r e   5 ,   i t   w a s   f o un d   t ha t   m ax _de pt h = ga v e   t h e   b e s t   b a l a n c e   b e t w e e n   m o de l   c o m pl e xi t y   a n d   ge n e ra l i z a t i o n .   W i t h   t h i s   s e t t i n g ,   t h e   t r a i ni n g   a n d   t e s t i n g   a c c u r a c y   c ur v e s   n e a rl y   m a t c h e d .   T h e   a c c ur a c y   ga p   r e duc e t o   0 . 02 %   f o r   t h e   DT   a n d   0. 1%   f o r   t h e   RF   a s   p r e s e nt e i T a b l e   2 .       T a b l e   4 .   E v a l ua t i o n   b e fo r e   pa ra m e t e r   t u ni n g   M o d e l   T ra i n   a c c u ra c y   ( % )   T e s t   a c c u ra c y   (% )   A c c u ra c y   G a p   ( % )   P re c i s i o n   ( % )   Re c a l l   (% )   F1 - s c o r e   ( % )   RO C - A U C   DT   9 9 . 9 6   9 1 . 0 8   8 . 8 8   9 2 . 2 3   9 1 . 7 1   9 1 . 9 7   0 . 9 0 9 9 5 7   RF   9 9 . 9 5   9 4 . 2   5 . 7 5   9 5 . 9 5   9 3 . 5 3   9 4 . 7 3   0 . 9 4 2 8 5 8             F i gu r e   5 .   m a x _d e pt h   p a r a m e t e t u n i ng  o t h e   DT   a nd  t h e   RF   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   2 F e b r ua r y   20 2 6 :   65 5 - 66 5   662   3. 4 .     Th e   p r i o r i ty   m e tr i c   an d   b u s i n e s s   i m p l i c a ti o n   In  t h e   c h u rn  p r e d i c t i o p r o b l e m ,   i t   i s   c o m m o n   t o   h a v e   a i m b a l a n c e d a t a s e t   w h e r e   t h e   n um b e o c h u rn  c us t o m e r s   i s   m uc s m a l l e t h a t h e   n o n - c h u rn  c us t o m e r s .   T h i s   c o n di t i o m a ke s   r e c a l l   a   c r i t i c a l   m e t ri c   t o   e n s u r e   t ha t   a s   m a n y   t r ue   c h u rn e r s   a s   po s s i b l e   a r e   c o rre c t l y   i de nt i f i e d.   H ow e ve r ,   o ur  s t udy   p r e s e n t s   a   di f fe r e nt   c a s e ,   w i t a   c hu rn  r a t e   o f   55%  t h e   d a t a s e t   i s   c o n s i de r e d   t o   b e   r e l a t i v e l y   b a l a n c e d.   T h us ,   o n e   pa r t i c ul a rl y   i m po r t a n t   m e t r i c   i n   t hi s   i s s ue   i s   t h e   F1 - s c o r e   a s   i t   p r o v i de s   t h e   a s s e s s m e nt   o f   t h e   t r a de - o f b e t w e e n   p r e c i s i o a nd  r e c a l l .   A   b a l a n c e d a t a s e t   r e duc e s   t h e   do m i na n c e   o f   m a j o r i t y   c l a s s ,   a l l o w i n t h e   m o de l   t o   l e a rn  b o t c l a s s e s   m o r e   e f fe c t i ve l y .   T h e   F 1 - s c or e   b e c o m e s   pa r t i c ul a rl y   s ui t a b l e   f o e v a l ua t i n g   pr e di c t i v e   pe r f o r m a n c e   b e c a us e   i t   r e f l e c t s   b o t h   t h e   c o s t   o f   i n c o rr e c t l y   i de nt i fy i n g   a   c us t o m e w h o   w i l l   c h u rn   (f a l s e   n e ga t i v e s a n d   t h e   po t e n t i a l   e xpe n s e   o f   u nn e c e s s a r y   r e t e n t i o a c t i o n s   t o w a r ds   l o y a l   c us t o m e r s   (f a l s e   po s i t i v e s ).   A ddi t i o n a l l y ,   s uppo r t i ng  m e t ri c s   l i ke   a c c ur a c y ,   pr e c i s i o n,   r e c a l l ,   R O C - A U a r e   s t i l l   e xa m i n e t o   pr o v i de   a   c o m p r e h e n s i v e   un de r s t a n di ng  o f   m o de l   b e h a v i o r.   A s   n o t e i S ub s e c t i o n   3. 1 . C a t B o os t   a n X G B o o s t   h a v e   t he   s t r o n ge s t   pe r f o r m a n c e s   w i t 94 . 97   a n d   94. 92  F 1   s c o r e s ,   r e s pe c t i v e l y .   T h i s   i ndi c a t e s   t h a t   b o t h   m o d e l s   pe r f o r m   e xc e pt i o n a l l y   w e l l   i n   m a i nt a i ni n a   t r a de o ff   be t w e e n   pr e c i s i o (o ut   o f   t h e   p r e di c t e c h u rn e r s ,   h o w   m a n y   a r e   a c t u a l l y   c h u rn e r s a nd  r e c a l l   (o ut   o a l l   a c t ua l   c h u rn e r s ,   h o w   m a n y   a r e   p r e d i c t e a s   c h u rn e r s ).   M o r e   s pe c i f i c a l l y ,   b o t h   m o de l s   a r e   a b l e   t o   r e a l l y   pi n po i n t   t rue   c h u rn e r s ,   a n d   t h e y   do   n o t   s uf fe r   f r o m   a   h i g h   f a l s e   po s i t i v e   ra t e ,   m a k i n g   t h e m   v e r y   r e l i a b l e .     T h i s   a l l o w s   t h e   c o m pa n y   t o   m a ke   m o r e   i n f o r m e d   b us i n e s s   de c i s i o n s   t o   i m pl e m e n t   r e t e n t i o n   c a m p a i g n s   a s   w e l l   a s   t o   de t e r m i n e   h o w   t o   b e s t   us e   t h e i a v a i l a b l e   r e s o ur c e s .   B e c a us e   t h e   da t a s e t   us e i t hi s   s t udy   i s   r e l a t i v e l y   b a l a n c e d,   t h e   f i n d i n gs   a l s o   s ugge s t   t h a t   t h e s e   m o de l s   a r e   w e l l - s ui t e t o   r e a l   w o r l c us t o m e r   s e gm e n t s   w i t h   b a l a n c e c h u rn   ra t e s .   T hus ,   t h e y   be c o m e   r e l e v a nt   m o de l s   f o r   n um e r o us   s ub s c r i pt i o n - b a s e s e r v i c e s ,   t e l e c o m m u n i c a t i o n s   p r o v i de r s ,   f i na n c i a l   s e r v i c e s ,   an o t h e s e c t o r s   w h e r e   c h u rn  i s   i t h e   m o de ra t e   ra n ge .   A l s o ,   t h e   s t a b i l i t y   s h o w n   i t h e   c r o s s - v a l i da t i o n   f o l ds   m e a n s   t ha t   t h e   c h o s e m o de l   i s   c o n s i s t e n t   a nd   c o ul b e   c on f i de n t l y   de pl oy e i p r o duc t i o n   e n v i r o nm e nt s .     It   w o ul b e   po s s i b l e   fo r   b us i n e s s e s   t o   us e   t h e   m o de l   r e s ul t s   t o   de s i g c us t o m e r e l a t i o n s h i p   m a na ge m e n t   s y s t e m s   t h a t   s uppo rt   m o r e   a dv a n c e d   s t ra t e gi e s ,   s uc a s   c r e a t i n g   e a r l y   w a rni n g   d a s h b o a r ds ,   a ut o m a t e r e t e n t i o t ri gge r s ,   o r   c a m p a i g s t ra t e g i e s   b a s e o n   c us t o m e t i e r s .   If   t hi s   i s   c o m b i n e d   w i t h   r e l e v a n t   f i na n c i a l   da t a   ( i . e. ,   c us t o m e l i f e t i m e   v a l ue   (CL V ) ,   c o s t   o f   r e t e nt i o n   o ff e r s ,   r e v e n ue   a t   r i s k)   t h e   b us i n e s s   w o ul b e   a b l e   t o   qua n t i fy   t h e   i m p a c t   o f   c h u rn   p r e d i c t i o n s   a n d   p ri o r i t i z e   e ffo r t s   o c us t o m e r   s e gm e n t s   t ha t   w o ul m a ke   t h e   gr e a t e s t   f i n a n c i a l   i m p a c t .       4.   C O N C LU S I O N   T h i s   s t udy   s uc c e s s f ul l y   de m o n s t r a t e s   t h e   e f fe c t i ve   i m p l e m e n t a t i o o f   m a c h i n e   l e a rni n g   f o r   hi g h - a c c ur a c y   c us t o m e r   c h u rn  p r e di c t i o n .   T h e   pe r f o r m a n c e s   o e i g h t   c l a s s i f i c a t i o n   a l go r i t h m s   w e r e   c o m pa r e d .   G ra di e n t   b oo s t i n m o de l s ,   s pe c i f i c a l l y   Ca t B oo s t   a n d   X G B oo s t ,   pe r f o r m e b e s t .   B o t h   m o de l s   di d   w e l l   o n   m e t r i c s   l i ke   a c c ura c y   (94, 44%   a n d   94 , 38% ,   r e s pe c t i v e l y ) ,   F 1 - s c o r e   (94 , 97   a nd  94, 92) a n d   R O C / A U C   (0, 981 21  a n d   0, 9 8108) ,   i n d i c a t i ng  s t r o n g   c a pa b i l i t y   i di s t i n gu i s h i n g   h i g h - r i s k   c us t o m e r s   w i t m i n i m a l   c l a s s i f i c a t i o e rr o r.   B a s e o t h e   r e l a t i v e l y   b a l a n c e d a t a s e t   c h a ra c t e r i s t i c s ,   t h e   F1 - s c o r e   i s   t h e   m o s t   i m po rt a nt   m e t ri c   s i n c e   i t   e v a l ua t e s   m o de l   pe r f o r m a n c e   b y   c o m b i n i n g   b o t h   p r e c i s i o n   a n r e c a l l   i n t o   a   ha r m o n i c   m e a s u r e .   T h e   qu a n t i t a t i v e   r e s ul t s   p r o v i de   a   m o r e   c o m pr e h e n s i v e   r e f l e c t i o n   o f   h o w   w e l l   t h e   m o de l   di s t i ngui s h e s   b e t w e e n   t h e   t w o   c l a s s e s ,   w h i l e   m a i n t a i ni n g   a   t ra de - o ff   be t w e e n   c o rr e c t l y   pr e di c t i n g   t h e   c h u rn s   a n a v o i di ng  u nn e c e s s a r y   m i s c l a s s i f i c a t i o n s .   T h e   pe r f o r m a nc e   c o n s i s t e n c y   be t w e e n   t r a i n i ng  a n t e s t i n g   a l s i n di c a t e s   m o de l   r e l i a b i l i t y   s i n c e   t h e   m o de l   s t a b i l i t y   h a s   b e e n   e xa m i n e by   e xe c ut i n t h e   5 - f o l c r o s s - v a l i da t i o n.   T h i s   i m pl i e s   t ha t   t h e   m o de l   i s   s ui t a b l e   f o r   r e a l - w o r l de pl o y m e n t ,   l i ke   i nt e g r a t i o n   i nt o   c us t o m e r   r e l a t i o n s h i p   m a na ge m e n t   t o   ge n e r a t e   pe r i o di c   c h u rn - r i s k   a l e r t   a n d   t o   s u ppo rt   m o r e   e f f i c i e n t   r e t e n t i o s t ra t e gi e s .   T h e r e   a r e   s o m e   l i m i t a t i o n s   i t hi s   s t udy   t h a t   c o ul b e   a dd r e s s e i f ut u r e   r e s e a r c h.   F i r s t ,   a   m o r e   c o m pr e h e n s i v e   h y pe r pa ra m e t e r   o pt i m i z a t i o n   c o ul b e   e xpl o r e t o   e nha n c e   pe r f o r m a n c e .   S e c o n d,   f ut u r e   r e s e a r c s h o ul i n t e g ra t e   p r o f i t   o r   c o s t - s e n s i t i v e   a n a l y s i s   t o   m e a s u r e   t h e   f i na n c i a l   b e n e f i t s   o f   i m p r o v e m e n t s   i n   r e c a l l ,   a s   w e l l   a s   t h e   e c o n o m i c a l l y   o pt i m a l   de c i s i o t hr e s ho l ds .   A ddi t i o n a l l y ,   i n c o r po r a t i ng  e xpl a i na b l e   A (X A I)  m e t h o ds   w o ul a l l o w   pr a c t i t i o n e r s   t o   i n t e r p r e t   p r e di c t i o n s   a t   b o t t h e   gl o b a l   a nd  i n d i v i dua l   l e v e l s .       F U N D I N G   I N F O R M A TI O N   A ut h o r s   s t a t e   n o   f un d i n g   i n v o l v e d.         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       St abl e   and   ac c ur at e   c us t om e r   c hur n   pr e d i c t i on c om par at i v e   ana l y s i s     ( V i nc e nt   A l e x and e r   H ar i s )   663   A U TH O R   C O N TR I B U TI O N S   S TA T EM EN T   T h e   s pe c i f i c   c o n t r i b ut i o n s   o f   e a c a ut h o t o   t hi s   r e s e a r c a r e   o ut l i n e i t h e   f o l l ow i n g   t a b l e ,   fo l l ow i n g   t h e   CR e di T   (Co n t ri b ut o r   R o l e s   T a xo n o m y f r a m e w o r k.     N am e   o A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   V i n c e n t   A l e xa nde H a ri s                               M uha m m a I l y a s   A r s y a d                               N a t ha n a e l   S e pt h i a A di   N ugra ha                               Y a s i   D a n i                               M a r i a   A rt a nt a   G i nt i n g                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r m a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u rc e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra ft   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         C O N F LI C O F   I N T ER ES S TA T EM EN T   T h e   a u t h o r s   s t a t e   n o   c o n f l i c t   o f   i n t e r e s t .       D A TA   A V A I LA B I LI T Y   T h e   d a t a s e t   us e i t hi s   s t udy   i s   pub l i c l y   a v a i l a b l e   o K a ggl e   a t   ht t ps : / / w w w . ka ggl e . c o m / d a t a s e t s / m e h m e t s a b r i k u n t / i nt e rn e t - s e r v i c e - c h urn .   T h e   s o ur c e   c o d e   of   t h e   e xpe r i m e nt   i s   a v a i l a b l e   o n   G i t H ub   h t t ps : / / g i t h ub . c o m / r s y d03 / c h u rn. g i t .       R EF ER EN C ES   [1 ]   L .   G e i l e r,   S .   A ffe l d t ,   a n d   M .   N a d i f ,   A   s u rv e y   o n   m a c h i n e   l e a r n i n g   m e t h o d s   fo r   c h u rn   p r e d i c t i o n ,     In t e r n a t i o n a l   J o u r n a l   o f   D a t a   S c i e n c e   a n d   A n a l y t i c s ,   v o l .   1 4 ,   n o .   3 ,   p p .   2 1 7 2 4 2 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 4 1060 - 022 - 00312 - 5.   [2 ]   A .   M a n z o o r ,   M .   A .   Q u re s h i ,   E .   K i d n e y ,   a n d   L .   L o n g o ,   A   re v i e w   o n   m a c h i n e   l e a r n i n g   m e t h o d s   fo r   c u s t o m e c h u rn   p re d i c t i o n   a n d   re c o m m e n d a t i o n s   fo b u s i n e s s   p ra c t i t i o n e r s ,   IE E E   A c c e s s ,   v o l .   1 2 ,   p p .   7 0 4 3 4 7 0 4 6 3 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A CCE S S . 2 0 2 4 . 3 4 0 2 0 9 2 .   [3 ]   M .   I m a n i ,   M .   J o u d a k i ,   A .   B e i k m o h a m m a d i ,   a n d   H .   A ra b n i a ,   Cu s t o m e c h u rn   p r e d i c t i o n :   a   s y s t e m a t i c   r e v i e w   o f   r e c e n t   a d v a n c e s ,   t re n d s ,   a n d   c h a l l e n g e s   i n   m a c h i n e   l e a rn i n g   a n d   d e e p   l e a rn i n g ,   M a c h i n e   L e a r n i n g   a n d   K n o w l e d g e   E x t r a c t i o n ,   v o l .   7 ,   n o .   3 ,   p .   1 0 5 ,   S e p .   2 0 2 5 ,   d o i :   1 0 . 3 3 9 0 / m a k e 7 0 3 0 1 0 5 .   [4 ]   M .   B o g a e rt   a n d   L .   D e l a e r e ,   E n s e m b l e   m e t h o d s   i n   c u s t o m e c h u rn   p re d i c t i o n :   a   c o m p a ra t i v e   a n a l y s i s   o f   t h e   s t a t e - of - t h e - a rt ,   M a t h e m a t i c s ,   v o l .   1 1 ,   n o .   5 ,   p .   1 1 3 7 ,   F e b .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / m a t h 1 1 0 5 1 1 3 7 .   [5 ]   M .   Ra h m a n   a n d   V .   K u m a r,   M a c h i n e   l e a r n i n g   b a s e d   c u s t o m e c h u r n   p re d i c t i o n   i n   b a n k i n g ,   i n   P r o c e e d i n g s   o f   t h e   4 t h   In t e r n a t i o n a l   Co n f e r e n c e   o n   E l e c t r o n i c s ,   Co m m u n i c a t i o n   a n d   A e r o s p a c e   T e c h n o l o g y ,   ICE CA   2 0 2 0 ,   N o v .   2 0 2 0 ,   p p .   1 1 9 6 1 2 0 1 ,   d o i :   1 0 . 1 1 0 9 / ICE C A 4 9 3 1 3 . 2 0 2 0 . 9 2 9 7 5 2 9 .   [6 ]   S .   A .   Q u re s h i ,   A .   S .   Re h m a n ,   A .   M .   Q a m a r,   A .   K a m a l ,   a n d   A .   R e h m a n ,   T e l e c o m m u n i c a t i o n   s u b s c ri b e r s   c h u rn   p r e d i c t i o n   m o d e l   u s i n g   m a c h i n e   l e a r n i n g ,   8 t h   In t e r n a t i o n a l   Co n f e r e n c e   o n   D i g i t a l   In f o r m a t i o n   M a n a g e m e n t ,   ICD IM   2 0 1 3 ,   p p .   1 3 1 1 3 6 ,   2 0 1 3 ,   d o i :   1 0 . 1 1 0 9 / ICD IM . 2 0 1 3 . 6 6 9 3 9 7 7 .   [7 ]   T .   V a fe i a d i s ,   K .   I .   D i a m a n t a ra s ,   G .   S a ri g i a n n i d i s ,   a n d   K .   C .   C h a t z i s a v v a s ,   A   c o m p a ri s o n   o f   m a c h i n e   l e a r n i n g   t e c h n i q u e s   fo r   c u s t o m e c h u rn   p r e d i c t i o n ,   S i m u l a t i o n   M o d e l l i n g   P r a c t i c e   a n d   T h e o r y ,   v o l .   5 5 ,   p p .   1 9,   J u n .   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . s i m p a t . 2 0 1 5 . 0 3 . 0 0 3 .   [8 ]   A .   A m i n ,   F .   A l - O b e i d a t ,   B.   S h a h ,   A .   A d n a n ,   J .   L o o ,   a n d   S .   A n w a r,   Cu s t o m e c h u rn   p r e d i c t i o n   i n   t h e   t e l e c o m m u n i c a t i o n   i n d u s t r y   u s i n g   d a t a   c e rt a i n t y ,   J o u r n a l   o f   B u s i n e s s   R e s e a r c h ,   v o l .   9 4 ,   p p .   2 9 0 3 0 1 ,   J a n .   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 1 8 . 0 3 . 0 0 3 .   [9 ]   A .   K .   A h m a d ,   A .   J a f a r,   a n d   K .   A l j o u m a a ,   Cu s t o m e r   c h u r n   p r e d i c t i o n   i n   t e l e c o m   u s i n g   m a c h i n e   l e a r n i n g   i n   b i g   d a t a   p l a t fo r m ,   J o u r n a l   o f   B i g   D a t a ,   v o l .   6 ,   n o .   1 ,   p .   2 8 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 3 7 - 019 - 0191 - 6.   [1 0 ]   I.   U l l a h ,   B.   Ra z a ,   A .   K .   M a l i k ,   M .   I m ra n ,   S .   U .   I s l a m ,   a n d   S .   W .   K i m ,   A   c h u rn   p r e d i c t i o n   m o d e l   u s i n g   ra n d o m   fo r e s t :   a n a l y s i s   o f   m a c h i n e   l e a rn i n g   t e c h n i q u e s   fo r   c h u r n   p r e d i c t i o n   a n d   f a c t o r   i d e n t i f i c a t i o n   i n   t e l e c o m   s e c t o r ,   I E E E   A c c e s s ,   v o l .   7 ,   p p .   6 0134 6 0 1 4 9 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 0 9 / A C CE S S . 2 0 1 9 . 2 9 1 4 9 9 9 .   [1 1 ]   M .   P o n d e l   e t   a l . ,   D e e p   l e a r n i n g   fo c u s t o m e c h u rn   p r e d i c t i o n   i n   e - c o m m e r c e   d e c i s i o n   s u p p o rt ,     B u s i n e s s   In f o r m a t i o n   S y s t e m s ,   v o l .   1 ,   n o .   J u l y ,   p p .   3 1 2 ,   2 0 2 1 ,   d o i :   1 0 . 5 2 8 2 5 / b i s . v 1 i . 4 2 .   [1 2 ]   Z .   W u ,   L .   J i n g ,   B.   W u ,   a n d   L .   J i n ,   A   P C A - A d a B o o s t   m o d e l   f o r   E - c o m m e rc e   c u s t o m e c h u rn   p re d i c t i o n ,     A n n a l s   o f   O p e r a t i o n s   R e s e a r c h ,   v o l .   3 5 0 ,   n o .   2 ,   p p .   5 3 7 5 5 4 ,   J u l .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 7 9 - 022 - 04526 - 5.   [1 3 ]   V .   A g a r w a l ,   S .   T a w a r e ,   S .   A .   Y a d a v ,   D .   G a n g o d k a r,   A .   L .   N .   Ra o ,   a n d   V .   K .   S r i v a s t a v ,   Cu s t o m e -   C h u rn   p r e d i c t i o n   u s i n g   m a c h i n e   l e a r n i n g ,   i n   P r o c e e d i n g s   o f   In t e r n a t i o n a l   Co n f e r e n c e   o n   T e c h n o l o g i c a l   A d v a n c e m e n t s   i n   Co m p u t a t i o n a l   S c i e n c e s ,   ICT A CS   2 0 2 2 ,   O c t .   2 0 2 2 ,   p p .   8 9 3 8 9 9 ,   d o i :   1 0 . 1 1 0 9 / ICT A CS 5 6 2 7 0 . 2 0 2 2 . 9 9 8 8 1 8 7 .   [1 4 ]   H .   T ra n ,   N .   L e ,   a n d   V .   H .   N g u y e n ,   Cu s t o m e c h u rn   p r e d i c t i o n   i n   t h e   b a n k i n g   s e c t o u s i n g   m a c h i n e   l e a r n i n g - b a s e d   c l a s s i f i c a t i o n   m o d e l s ,   In t e r d i s c i p l i n a r y   J o u r n a l   o f   In f o r m a t i o n ,   K n o w l e d g e ,   a n d   M a n a g e m e n t ,   v o l .   1 8 ,     p p .   8 7 1 0 5 ,   2 0 2 3 ,   d o i :   1 0 . 2 8 9 4 5 / 5 0 8 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   2 F e b r ua r y   20 2 6 :   65 5 - 66 5   664   [1 5 ]   I.   K a u a n d   J .   K a u r,   Cu s t o m e c h u r n   a n a l y s i s   a n d   p r e d i c t i o n   i n   b a n k i n g   i n d u s t ry   u s i n g   m a c h i n e   l e a r n i n g ,   i n   P D G 2 0 2 0   -   2 0 2 0   6 t h   In t e r n a t i o n a l   Co n f e r e n c e   o n   P a r a l l e l ,   D i s t r i b u t e d   a n d   G r i d   Co m p u t i n g ,   N o v .   2 0 2 0 ,     p p .   4 3 4 4 3 7 ,   d o i :   1 0 . 1 1 0 9 / P D G C5 0 3 1 3 . 2 0 2 0 . 9 3 1 5 7 6 1 .   [1 6 ]   D .   A L - N a j j a r,   N .   A l - Ro u s a n ,   a n d   H .   A L - N a j j a r,   M a c h i n e   l e a r n i n g   t o   d e v e l o p   c r e d i t   c a rd   c u s t o m e c h u rn   p r e d i c t i o n ,   J o u r n a l   o f   T h e o r e t i c a l   a n d   A p p l i e d   E l e c t r o n i c   Co m m e r c e   R e s e a r c h ,   v o l .   1 7 ,   n o .   4 ,   p p .   1 5 2 9 1 5 4 2 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / j t a e r1 7 0 4 0 0 7 7 .   [1 7 ]   G .   N i e ,   W .   Ro w e ,   L .   Z h a n g ,   Y .   T i a n ,   a n d   Y .   S h i ,   Cr e d i t   c a rd   c h u r n   fo r e c a s t i n g   b y   l o g i s t i c   r e g re s s i o n   a n d   d e c i s i o n   t r e e ,   E x p e r t   S y s t e m s   w i t h   A p p l i c a t i o n s ,   v o l .   3 8 ,   n o .   1 2 ,   p p .   1 5 2 7 3 1 5 2 8 5 ,   N o v .   2 0 1 1 ,   d o i :   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 1 . 0 6 . 0 2 8.   [1 8 ]   R.   Ra j a m o h a m e d   a n d   J .   M a n o k a ra n ,   Im p r o v e d   c r e d i t   c a r d   c h u rn   p r e d i c t i o n   b a s e d   o n   r o u g h   c l u s t e ri n g   a n d   s u p e r v i s e d   l e a r n i n g   t e c h n i q u e s ,   Cl u s t e r   Co m p u t i n g ,   v o l .   2 1 ,   n o .   1 ,   p p .   6 5 7 7 ,   M a r.   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 5 8 6 - 017 - 0933 - 1.   [1 9 ]   P .   L a l w a n i ,   M .   K .   M i s h ra ,   J .   S .   Ch a d h a ,   a n d   P .   S e t h i ,   Cu s t o m e c h u rn   p re d i c t i o n   s y s t e m :   a   m a c h i n e   l e a rn i n g   a p p r o a c h ,   Co m p u t i n g ,   v o l .   1 0 4 ,   n o .   2 ,   p p .   2 7 1 2 9 4 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 6 0 7 - 021 - 0 0 9 0 8 - y.   [2 0 ]   A .   K e ra m a t i ,   R .   J a f a ri - M a ra n d i ,   M .   A l i a n n e j a d i ,   I.   A h m a d i a n ,   M .   M o z a ff a ri ,   a n d   U .   A b b a s i ,   I m p r o v e d   c h u rn   p r e d i c t i o n   i n   t e l e c o m m u n i c a t i o n   i n d u s t r y   u s i n g   d a t a   m i n i n g   t e c h n i q u e s ,   A p p l i e d   S o f t   Co m p u t i n g ,   v o l .   2 4 ,     p p .   9 9 4 1 0 1 2 ,   N o v .   2 0 1 4 ,   d o i :   1 0 . 1 0 1 6 / j . a s o c . 2 0 1 4 . 0 8 . 0 4 1 .   [2 1 ]   S .   S a h a ,   C.   S a h a ,   M .   M .   H a q u e ,   M .   G .   R.   A l a m ,   a n d   A .   T a l u k d e r,   C h u rn N e t :   d e e p   l e a r n i n g   e n h a n c e d   c u s t o m e c h u rn   p r e d i c t i o n   i n   t e l e c o m m u n i c a t i o n   i n d u s t ry ,   IE E E   A c c e s s ,   v o l .   1 2 ,   n o .   1 ,   p p .   4 4 7 1 4 4 8 4 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / A CC E S S . 2 0 2 4 . 3 3 4 9 9 5 0 .   [2 2 ]   X .   X i a h o u   a n d   Y .   H a ra d a ,   B2 E - c o m m e r c e   c u s t o m e r   c h u r n   p r e d i c t i o n   b a s e d   o n   K - m e a n s   a n d   S V M ,   J o u r n a l   o f   T h e o r e t i c a l   a n d   A p p l i e d   E l e c t r o n i c   Co m m e r c e   R e s e a r c h ,   v o l .   1 7 ,   n o .   2 ,   p p .   4 5 8 4 7 5 ,   A p r.   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / j t a e r1 7 0 2 0 0 2 4 .   [2 3 ]   S .   Ba g h l a   a n d   G .   G u p t a ,   P e r fo r m a n c e   e v a l u a t i o n   o v a ri o u s   c l a s s i f i c a t i o n   t e c h n i q u e s   f o c u s t o m e c h u rn   p r e d i c t i o n   i n   E - c o m m e r c e ,   M i c r o p r o c e s s o r s   a n d   M i c r o s y s t e m s ,   v o l .   9 4 ,   p .   1 0 4 6 8 0 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . m i c p r o . 2 0 2 2 . 1 0 4 6 8 0 .   [2 4 ]   K .   M a t u s z e l a ń s k i   a n d   K .   K o p c z e w s k a ,   Cu s t o m e c h u r n   i n   r e t a i l   E - c o m m e rc e   b u s i n e s s :   s p a t i a l   a n d   m a c h i n e   l e a r n i n g   a p p ro a c h ,   J o u r n a l   o f   T h e o r e t i c a l   a n d   A p p l i e d   E l e c t r o n i c   Co m m e r c e   R e s e a r c h ,   v o l .   1 7 ,   n o .   1 ,     p p .   1 6 5 1 9 8 ,   J a n .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / j t a e r1 7 0 1 0 0 0 9 .   [2 5 ]   S .   J ,   C.   G a n g a d h a r,   R .   K .   A ro ra ,   P .   N .   R e n j i t h ,   J .   Ba m i n i ,   a n d   Y .   d e v i d a s   Ch i n c h o l k a r,   E - c o m m e r c e   c u s t o m e c h u rn   p r e v e n t i o n   u s i n g   m a c h i n e   l e a r n i n g - b a s e d   b u s i n e s s   i n t e l l i g e n c e   s t ra t e g y ,   M e a s u r e m e n t S e n s o r s ,   v o l .   2 7 ,     p .   1 0 0 7 2 8 ,   J u n .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . m e a s e n . 2 0 2 3 . 1 0 0 7 2 8 .       B I O G R A P H I ES   O F   A U T H O R S       V i n c e n t   A l e xa n d e r   H a r i s           i s   w a s   bo r n   i n   B a ndu ng   C i t y   o D e c e m be r   2 ,   20 0 3 .     H e   c o m pl e t e d   h i s   b a c he l o r s   de g r e e   i n   C o m put e r   S c i e nc e   a t   B i n a   N u s a n t a r a   U n i v e r s i t y   i 2025 .   H e   i nt e r n e d   a t   X y l o   S o l us i   I ndo ne s i a   f r o m   2024   t o   2 025 .   H e   c a n   b e   c o nt a c t e d   a t   e m a i l :   v i nc e nt . ha r i s @b i nu s . a c . i d .       M u h am m ad   I l y as   A r s y ad           i s   w a s   bo r i n   S e r a ng   C i t y   o A u g us t   3,   2 002.     H e   c o m pl e t e d   h i s   b a c he l o r s   de g r e e   i n   C o m put e r   S c i e nc e   a t   B i n a   N u s a n t a r a   U n i v e r s i t y   i 2025 .   H e   i nt e r ne d   a s   a   w e b   d e s i g ne r   a t   T e l ko m   I ndo ne s i a   f r o m   2 024   t o   20 25 .   H e   c a n   b e   c o nt a c t e a t   e m a i l :   m uha m m a d . a r s y a d006@ bi nus . a c . i d .         N at h an a e l   S e p t h i an   A d i   N u gr a h         is   w a s   bo r n   i n   B a n dung   C i t y   o S e pt e m be r   17,   20 03 .   H e   c o m pl e t e d   h i s   B a c he l o r s   d e g r e e   i n   C o m put e r   S c i e nc e   a t   B i na   N us a nt a r a   U ni v e r s i t y   i n   202 5.   H e   i nt e r n e a s   a   pr o g r a m m e r   a t   M i xt r a   I nt i   T e ki n do   f r o m   2024   t o   2 025 .   H e   c a n   be   c o nt a c t e d   a t   e m a i l :   na t ha n a e l . n ug r a ha @b i nu s . a c . i d .     Evaluation Warning : The document was created with Spire.PDF for Python.