I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 ,   pp .   3 75 ~ 38 6   IS S N :   2 502 - 4 7 52 ,   D O I :   10. 1 1591 / i j e e cs .v 41 . i 1 . pp 375 - 386             375     Jou r n al   h o m e pa ge ht t p: / / i j e e cs . i a e s c or e . c om   D e v e l o p m e n t   o f   a   m a c h i n e   l e a r n i n g   m o d e l   w i t h   o p t u n a   a n d   e n sem b l e   l e a r n i n g   t o   i m p r o v e   p e r f o r m a n c e   o n   m u l t i p l e   d a t a sets       A k m ar   Efe n d i 1 I s k an d a r   F i t r i 2 ,   G u n ad i   Wi d i   N u r c ah yo 2   1 D e p a rt m e n t   o f   I n fo r m a t i c s   E n g i n e e r i n g ,   F a c u l t y   o f   E n g i n e e r i n g ,   I s l a m i c   U n i v e r s i t y   o f   R i a u P e k a n b a ru I n d o n e s i a   2 D e p a rt m e n t   o f   T e c h n o l o g y   In fo r m a t i o n ,   F a c u l t y   o C o m p u t e r   S c i e n c e ,   U n i v e r s i t y   o f   P u t ra   I n d o n e s i a   Y P T K ,   P a d a n g ,   I n d o n e s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J un   5 2024   R e v i s e S e p   23 202 5   A c c e pt e D e c   13 2 025       M a c hi n e   l e a r n i ng ,   a   s ubs e t   o f   a r t i f i c i a l   i n t e l l i g e nc e   ( A I )   i s   v i t a l   f o r   i t s   a b i l i t y   t o   l e a r f r o m   da t a   a nd   i m p r o v e   s y s t e m   pe r f o r m a nc e .   I I ndo ne s i a ,   a dv a nc e m e nt s   i n   ML   h a v e   s i g ni f i c a n t   po t e n t i a l   t o   bo o s t   c o m pe t i t i v e ne s s   a nd   f o s t e r   s us t a i n a bl e   de v e l o pm e n t .   H o w e v e r ,   i s s ue s   l i ke   o v e r f i t t i ng   a nd   s ubo pt i m a l   pa r a m e t e r   s e t t i ng s   c a n   h i nd e r   m o de l   e f f e c t i v e ne s s .   T hi s   s t udy   a i m s   t o   i m pr o v e   t he   c l a s s i f i c a t i o pe r f o r m a nc e   o f   ML   m o de l s   o v a r i o us   da t a s e t s .   A dv a nc e t e c hn i qu e s   l i ke   hy pe r pa r a m e t e r   t u ni ng   w i t O pt un a   a nd   e ns e m b l e   l e a r n i ng   w i t h   e x t r e m e   g r a di e n t   bo o s t i ng   ( X G B o o s t )   a r e   i nt e g r a t e t o   e nha nc e   m o de l   p e r f o r m a nc e .   T he   s t u dy   e v a l ua t e s   t he   pe r f o r m a nc e   o f   K - ne a r e s t   ne i g hbo r s   ( K N N ) ,   s uppo r t   v e c t o r   m a c hi ne   ( S V M ) ,   a nd   G a us s i a na ï v e   B a y e s   ( G N B )   a l g o r i t hm s   a c r o s s   t hr e e   d a t a s e t s :   a c a de m i c   r e c o r ds   f r o m   t he   I s l a m i c   U ni v e r s i t y   o f   R i a u   ( U I R ) ,   di a be t e s   d a t a   f r o m   K a g g l e ,   a n T w i t t e r   da t a   r e l a t e t o   t h e   2024   e l e c t i o ns .   T he   f i nd i ng s   r e v e a l   t h a t   t he   G N B   a l g o r i t hm   o ut pe r f o r m s   K N N   a nd   S V M   a c r o s s   a l l   da t a s e t s ,   a c hi e v i ng   t he   hi g he s t   a c c ur a c y ,   p r e c i s i o n,   r e c a l l ,   a nd   F 1 - s c o r e .   H y pe r pa r a m e t e r   t u n i ng   w i t h   O p t un a   s i g ni f i c a n t l y   i m pr o v e s   m o de l   pe r f o r m a nc e ,   d e m o ns t r a t i ng   t h e   v a l ue   o f   s y s t e m a t i c   o pt i m i z a t i o n.   T hi s   s t udy   hi g hl i g ht s   t he   i m po r t a nc e   o f   a dv a nc e o pt i m i z a t i o t e c hn i qu e s   i n   de v e l o pi ng   hi g h - pe r f o r m i ng   ML   m o de l s .   T he   r e s u l t s   s ug g e s t   t ha t   r o bus t   a l g o r i t hm s   l i ke   G N B ,   c o m bi ne d   w i t hy pe r pa r a m e t e r   t un i ng   a nd  e ns e m bl e   l e a r n i ng ,   c a s i g ni f i c a n t l y   e nh a nc e   c l a s s i f i c a t i o pe r f o r m a nc e .     Ke y w or d s :   E n s e m b l e   H y pe r pa r a m e t e t u n i n g   Im p r o v e   M a c hi n e   l e a rni n g   X G Boo s t   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   A km a E f e n d i   D e pa rt m e n t   o f   In f o r m a t i c s   E n g i n e e r i ng,   F a c ul t y   of   E n g i n e e ri n g Is l a m i c   U n i v e r s i t y   of   R i a u   P e ka n b a r u I ndo n e s i a   E m a i l :   a k m a r e f e n di @ e n g. ui r. a c . i d       1.   I N TR O D U C TI O N   M a c hi n e   l e a rni n g   (M L ) ,   a   s ub s e t   of   a r t i f i c i a l   i n t e l l i ge n c e   (A I) ,   e na b l e s   m a c hi n e s   t o   l e a rn   f r o m   hi s t o ri c a l   d a t a   o r   pa s t   e xpe r i e n c e s   w i t h o ut   r e qui ri n m a nua l   pr o g r a m m i n f o r   s pe c i f i c   t a s ks   [1] .   It s   a b i l i t y   t f a c i l i t a t e   a u t o m a t i c   l e a rni n g   a l l o w s   s y s t e m s   t o   e nha n c e   t h e i a c c ura c y   ov e r   t i m e   [2] .   I n   s i m p l e t e r m s ,   ML   m e t h o ds   m i m i c   h u m a n   l e a rni n p r o c e s s e s .   A m i ds t   t h e   ra pi dl y   e vo l v i n di gi t a l   r e v o l ut i o n ,   A a n M L   t e c hn o l o gi e s   pl a y   pi vo t a l   r o l e s   i n   d ri v i n g   i nn o v a t i o n   a nd   e ff i c i e n c y   a c r o s s   v a r i o us   s e c t o r s   gl o b a l l y .   In   In do n e s i a ,   a dv a n c e m e nt s   i A I   a nd  M L   h o l d   s i g ni f i c a nt   p o t e n t i a l   t o   b o o s t   c o m pe t i t i v e n e s s   a n d   o pe n e w   a v e n ue s   f o r   s us t a i n a b l e   de v e l o pm e n t   [ 3] .   ML   i s   c a t e go ri z e d   i nt o   t w o   t y pe s :   s upe r v i s e l e a rn i ng   a nd   un s upe r v i s e l e a rn i ng   [4] .   hi s   r e s e a r c h   a do pt s   a   s upe r v i s e l e a rn i ng  a pp r o a c h ,   w h e r e   ML   m o de l s   a re   t r a i n e t o   i de nt i f y   pa t t e rn s   b e t w e e n   i n pu t   da t a   a n o ut pu t   l a b e l s .   T h e   m e t h o i n v o l ve s   r e c e i v i n i n f o r m a t i o n   a s   i nput   a n d   ge n e ra t i n l a b e l e da t a   a s   o ut put .   T h e   m a c hi n e   a na l y z e s   t h e   r e l a t i o n s h i ps   a n de pe n de n c i e s   b e t w e e n   da t a ,   c o m pa r e s   a c t ua l   o ut put   w i t Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   375 - 3 86   376   e xpe c t e o ut p ut ,   a n d   i m pl e m e nt s   c ha n ge s   i f   di s c r e pa n c i e s   a r e   f o un d,   t h e r e by   e n s u r i n g   o pe r a t i o na l   a c c ura c y   [5] .   S u pe r v i s e l e a rni n g   e m pl o y s   s e v e r a l   a l go r i t h m s   t o   r e c o gn i z e   pa t t e rn s   a nd  de t e c t   r e l a t i o n s h i ps   b e t w e e n   i n put   d a t a   a n d   o ut put   l a b e l s   [6] .   O n e   s uc a l go ri t hm   i s   K - n e a r e s t   n e i g h b o r s   (K N N ) ,   w h i c h   a s s um e s   t h a t   s i m i l a r   da t a   po i nt s   a r e   l i ke l y   t o   be   fo un n e a r by   [7] .   T h i s   a l go r i t hm   m e a s u r e s   t h e   di s t a n c e   b e t w e e n   da t a   po i nt s ,   t y p i c a l l y   us i ng   E uc l i de a d i s t a nc e ,   a nd   c a t e go ri z e s   t h e m   b a s e d   o t he   m o s t   f r e q ue nt   t y pe   o b s e r v e d   [8] .     N um e r o us   s t udi e s   ha v e   e m pl o y e ML   t o   a dd r e s s   v a r i o us   i s s ue s   i e duc a t i o n .   F o i n s t a n c e ,   r e s e a r c [9]   us e ML   t o   p r e d i c t   s t ude n t s '   t i m e l y   gra du a t i o n .   A ddi t i o na l l y ,   ML   h a s   b e e us e t o   f o r e c a s t   n e w   s t ude n t   e nr o l m e n t s   [10] ,   a s s e s s   t h e   i m p a c t   o f   o n l i n e   l e a rni n g   a c t i v i t i e s   du r i ng   t h e   C O V ID - 19   p a n de m i c   [ 11] ,   a n d   de t e r m i n e   u ni v e r s i t y   m a j o r s   b a s e o j ob   m a rke t   t r e n ds   a n d   e xpe ri e n c e s   [12 ] .   T hi s   s t udy   a l s o   a p pl i e s   ML   t o   s t ude nt s   a t   t h e   Is l a m i c   U ni v e r s i t y   o f   R i a (U IR ),   s pe c i f i c a l l y   w i t hi t h e   F a c ul t y   of   E n gi n e e ri n g .   Cu rr e n t l y ,   t h e   f a c ul t y   a n d   s t udy   p r o gra m s   o nl y   de t e r m i n e   w h e t h e s t ude nt s   g r a d ua t e .   H ow e v e r ,   t h e r e   i s   a   n e e t o   i de nt i fy   w h e t h e s t ude n t s   g ra du a t e   o n   t i m e ,   l a t e ,   o w i t h d ra w .   M a n ua l   c h e c ks   a r e   t i m e - c o n s um i n g ,   n e c e s s i t a t i ng  t h e   us e   of   ML   t o   a ddr e s s   t hi s   i s s ue .   T h i s   r e s e a r c h   a i m s   t o   c l a s s i fy   e n gi n e e r i ng  s t u de nt s   t o   i de nt i fy   t h o s e   w h o   gra du a t e   o t i m e ,   l a t e ,   d r o o ut ,   o r   w i t h d r a w ,   p r o v i di n g   i n s i g h t s   f o r   de v e l o pi n g   n e w   s t ra t e gi e s   t o   i m p r o v e   o n - t i m e   g r a dua t i o r a t e s   a t   U IR .   S e ve r a l   ML   a l go r i t h m s   w i l l   b e   c o m pa r e d,   a n t h e i r   a c c ur a c y   w i l l   b e   e n ha n c e us i ng  e n s e m b l e   m e t h o ds ,   h y pe r pa ra m e t e r   t u ni n g ,   a n d   da t a   b a l a n c i ng  t e c hni que s .   R e s e a r c h   by   A n a m   e t   al .   [ 13]   us e t h e   s uppo r t   v e c t o r   m a c hi n e   ( SVM )   a l go ri t hm   f o r   o n l i n e   c o ur s e   c l a s s i f i c a t i o n,   de m o n s t ra t i ng  t h a t   b a l a n c e da t a   i m p r o ve s   a c c ura c y ,   w i t S V M   a l o n e   a c hi e v i n 7 2%  a c c ura c y   a n d   S V M   w i t s y n t h e t i c   m i n o r i t y   ove r s a m pl i ng   t e c hni que   ( S M O T E )   a c h i e v i n g   95% .   A n o t h e s t udy   by   R a n i   a n d   G i l l   [14]   e m p l oy e a   h y b r i d   m o de l   f o c l a s s i f i c a t i o n ,   s h o w i n t h a t   e n s e m b l e   o h y b r i m e t h o ds   c a e nh a n c e   a c c u r a c y ,   w i t h   e n s e m b l e   t e c hn i que s   a c hi e v i n 86%   a c c ura c y   a n d   a   p r o po s e h y b r i m o de l   r e a c h i n g   91%.   F u r t h e r e s e a r c h   b y   R a m da ni   e t   al .   [ 15]   c o m pa r e d   m ul t i n o m i a l   N a ï v e   B a y e s   ( MNB )   a n d   M N B   +   A da B oo s t ,   f i n di ng   t ha t   A d a B oo s t   i m p r o v e a c c ur a c y   by   5%.   A n o t h e s t udy   by   Z a m s uri   e t   al .   [16]   t e s t e t h e   K N N   A l go ri t hm ,   a c h i e v i n g   7 9%   a c c u r a c y .   R e s e a r c h   b y   H a di a n t i   [17]   i m p r o v e K N N   pe r f o r m a n c e   w i t h y pe r pa r a m e t e r   o pt i m i z a t i o us i ng  o pt u na ,   r e a c hi n g   80. 82%  a c c ur a c y .   S t udi e s   by   H a que   e t   al .   [18 ]   a nd  K a n g   e t   al .   [19 ]   a c h i e v e a c c ura c i e s   o f   85. 40 %   a n d   6 3. 8 1%   w i t S V M   a n d   S V M   w i t R a n do m   S e a r c h,   r e s pe c t i v e l y .   A ddi t i o na l   s t ud i e s   by   R a h m a dde n i   e t   al .   [ 20]   a nd  V e da ra j   e t   al .   [21 ]   i m p r o v e S V M   pe r f o r m a n c e   w i t e xt r e m e   g ra di e n t   b oo s t i n g   ( X G B oo s t ) ,   r e a c h i n g   79 a c c ur a c y ,   a n d   a c h i e v e 96%  a c c ura c y   w i t h   t h e   G a us s i a n   N a i v e   B a y e s   (G N B a l go r i t hm .   F i na l l y ,   A s ha r i   a n d   U n t o r o   [22 ]   o pt i m i z e G N B   w i t h   H y pe r pa r a m e t e O pt i m i z a t i o n   us i ng  a   G e n e t i c   A l go r i t hm ,   a c hi e v i n 9 3. 2 a c c u r a c y ,   a n d   [23]   c o m b i n e d   G N B   a n d   X G B oo s t   t o   r e a c 81 . 55%   a c c u r a c y .   T h e s e   s t udi e s   i ndi c a t e   t ha t   b a s i c   a l go ri t hm s   t y pi c a l l y   a c h i e v e   l ow   a c c ur a c y ,   h i g h l i g h t i n g   t h e   n e e fo r   a ddi t i o n a l   m e t h o ds   t o   i m p r o v e   a c c ur a c y .   T h i s   r e s e a r c h   w i l l   a l s o   c o m pa r e   t h e   a c c ura c y   of   b a s i c   ML   a l go ri t hm s   w i t t h e   de v e l o p e m o de l s ,   us i ng  t e c hni que s   l i k e   S M O T E   f o r   da t a   b a l a n c i n g   [24] [ 26] .   B e s i de s   S M O T E ,   t hi s   s t u dy   e m pl oy s   X G Boo s t   t o   e n ha n c e   a c c ura c y   us i ng  e n s e m b l e   m e t h o ds   w i t b oo s t i n g   t e c hn i q ue s   [27] .   H y p e r pa ra m e t e r   t u ni n w i t h   O pt u na   w i l l   a l s o   b e   us e d.   O pt u n a   i s   a   l i b ra r y   de s i gn e t o   a ut o m a t e   pa ra m e t e r   t u n i ng  p r o c e s s e s .   It   o ff e r s   e ff i c i e n t   s e a rc h   a l go ri t hm s ,   e nha n c i n t h e   e f fe c t i ve n e s s   of   t h e   s e a r c h   p r o c e s s ,   a n i s   s t ra i g h t f o r w a r d   t o   us e ,   m a ki n g   i t   a   v a l ua b l e   t o o l   f o r   i m p r o v i n p a ra m e t e r   t u n i ng  e ff i c i e n c y   a n a c c u r a c y   [28] .   T h e   s t u dy   p r e s e n t s   a   m o de l   t ha t   i n t e g ra t e s   O pt u na   a n X G B o os t ,   r e f e r r e t o   a s   H y t e ,   t o   e n ha n c e   ML   pe r f o r m a n c e .   T hi s   m o de l   i s   t e s t e o n   t hr e e   di v e r s e   da t a s e t s :   a c a de m i c   da t a   f r o m   t h e   Is l a m i c   U IR ,   di a b e t e s   da t a   f r o m   K a g gl e ,   a nd  t w e e t s   r e l a t e t o   t h e   202 e l e c t i o n s   f r o m   T w i t t e (X ).   T h e   ob j e c t i ve   i s   t o   a s s e s s   t h e   m o de l ' s   r o b us t n e s s   a n d   a da p t a b i l i t y   a c r o s s   di f f e r e n t   t y pe s   of   da t a .   By   a ppl y i n g   H y t e   t o   t h e s e   v a r i e d a t a s e t s ,   t h e   r e s e a r c a i m s   t o   r e v e a l   t h e   s t r e ngt h s   a nd  w e a k n e s s e s   o f   e a c h   a l go r i t hm   i di s t i n c t   c o n t e xt s .   T hi s   c o m pr e h e n s i v e   e v a l ua t i o n   u n de r s c o r e s   t h e   m o de l ' s   v e r s a t i l i t y   a n d   po t e n t i a l   f o r   ge n e r a l i z a t i o n ,   de m o n s t r a t i ng  i t s   e ff i c a c y   i n   ha n d l i ng  d i v e r s e   da t a   s o ur c e s .   T h e   f i n d i n gs   p r o v i de   v a l ua b l e   i n s i g ht s   i nt i m p r o v i n g   ML   m e t h o do l o gi e s ,   e m p ha s i z i n g   t h e   i m po r t a n c e   of   t e s t i n g   m o de l s   o m ul t i pl e   d a t a s e t s   t o   e n s u r e   t h e i r   e f f e c t i v e n e s s   a n d   r e l i a b i l i t y   i r e a l - w o r l d   a p pl i c a t i o n s .         2.   M ET H O D   2. 1 .     R e s e ar c h   f r am e w o r k   T h i s   s e c t i o de t a i l s   t h e   m o t i v a t i o n,   r e s e a r c f r a m e w o r k,   r e s e a r c s t a ge s ,   r e s e a r c m a t e ri a l s ,   i ni t i a l   da t a   p r o c e s s i n g,   t o o l s ,   m e t h o ds ,   e xpe ri m e n t s ,   m o de l / m e t h o t e s t i n g,   a n d   t h e   e v a l u a t i o a nd   v a l i d a t i o o f   t h e   m o de l / m e t h o d.   T h e   r e s e a r c h   f ra m e w o r de pi c t e i n   F i gu r e   o ut l i n e s   a   s t ruc t u r e a pp r o a c h   b e gi nn i ng  w i t h   pr o b l e m   i de nt i f i c a t i o n,   w h e r e   t h e   s pe c i f i c   i s s ue s   t o   b e   a dd r e s s e a r e   t h o r o ughl y   e xa m i n e d.   T hi s   i n i t i a l   s t e e n s u r e s   a   c l e a u n de r s t a ndi n g   o f   t h e   r e s e a r c c o n t e xt   a n d   t h e   c ha l l e n ge s   t o   b e   t a c kl e d.   F o l l o w i n g   t hi s ,   t h e   r e s e a r c h   o b j e c t i v e s   a r e   m e t i c ul o us l y   d e f i n e t o   p r o v i de   a   fo c us e di r e c t i o n   f o r   t h e   s t udy .   S ub s e que n t l y ,   a   c o m pr e h e n s i v e   l i t e r a t u r e   r e v i e w   of   pr e v i o us   s t udi e s   i s   c o n d uc t e t o   a s c e r t a i t h e   e xt e n t   o f   e xi s t i n g   r e s e a r c h   r e l a t e t o   t h e   t o pi c .   T hi s   r e v i e w   h e l ps   i de nt i fy   ga ps   i n   t he   c urr e n t   k n o w l e dge   a n d   i n f o r m s   t h e   r e s e a r c h   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e v e l opm e nt   of   a   m ac hi n e   l e ar n i ng   m ode l   w i t o pt una   an e ns e m bl e   l e ar n i ng  t o   i m pr o v e   …  ( A k m ar   E f e ndi )   377   de s i gn.   B a s e o i n s i g h t s   g a i n e d   f r o m   t h e   l i t e r a t u r e ,   d a t a   i s   c o l l e c t e f r o m   t h e   a c a de m i c   r e c o r ds   o f   t h e   2016   c o h o r t   o f   s t ude n t s   f r o m   t h e   F a c ul t y   of   E n gi n e e r i ng  a t   t h e   Is l a m i c   U IR .   T h e   c o l l e c t e da t a   u n de r go e s   r i go r o us   pr e p r o c e s s i n t o   e n s u r e   i t   i s   c l e a n,   c o n s i s t e n t ,   a nd  r e a dy   f o r   a n a l y s i s .   T h e   s t udy   e m pl oy s   s e v e r a l   ML   a l go ri t hm s ,   s pe c i f i c a l l y   K N N ,   S V M ,   a n d   G N B .   T h e   pe r f o r m a n c e   o f   t h e s e   a l go r i t hm s   i s   c o m pa r e d   t o   e v a l u a t e   t h e   e f f e c t i v e n e s s   of   t h e   b a s e   a l go r i t hm s   a ga i n s t   t h e i r   i m p r ov e v e r s i o n s .   T h e   a l go r i t hm   de m o n s t r a t i ng  t h e   hi g h e s t   c l a s s i f i c a t i o a c c ur a c y   i s   s e l e c t e fo r   f urt h e r   a n a l y s i s .             F i gu r e   1 .   R e s e a r c f ra m e w o r k       2. 2 .     M o d e l   d e v e l o p m e n t   T h e   m o de l   us e i t hi s   r e s e a r c i nt e gra t e s   v a ri o us   t e c hni qu e s   fo r   i m p r o v i n g   ML   pe r f o r m a n c e .   T h e   de ve l o pm e n t   p r o c e s s ,   a s   s h o w n   i n   F i gu r e   2,   i n c l ude s   s t a ge s   s uc h   a s   d a t a   c o l l e c t i o n ,   p r e p r o c e s s i n g,   m o de l   s e l e c t i o n ,   t ra i ni n g,   a n d   e v a l ua t i o n .   E a c s t a ge   i s   m e t i c u l o us l y   de s i gn e d   t o   e n s u r e   t h e   r o b us t n e s s   a nd  r e l i a b i l i t y   of   t h e   m o de l .             F i gu r e   2 .   M o de l   d e v e l o pm e n t       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   375 - 3 86   378   2. 3 .     D atas e t   T h e   da t a s e t   i t hi s   s t udy   c o n s i s t s   o f   t hr e e   di s t i n c t   da t a s e t s :   -   A c a de m i c   d a t a :   t h e   f i r s t   da t a s e t   c o m pri s e s   a c a de m i c   r e c o rds   f r o m   t h e   2016   c o h o rt   o f   t h e   F a c ul t y   of  E n gi n e e r i n g   a t   t h e   Is l a m i c   U IR ,   i ni t i a l l y   c o n t a i n i n g   300 , 205   r e c o r ds .   T hi s   da t a s e t   w a s   f i l t e r e t o   i n c l ude   o n l y   s t ude n t s   w h o   c o m pl e t e t h e   c o ur s e s   T h e s i s   a n d   T h e s i s   2,   r e s ul t i n i n   1 , 28 r e c o r ds .   -   D i a b e t e s   da t a :   t h e   s e c o n d a t a s e t ,   s o ur c e f r o m   K a g gl e ,   c o n t a i n s   d i a b e t e s   da t a   w i t a   t o t a l   o f   767  r e c o r ds .   -   T w i t t e da t a :   t h e   t hi r d   d a t a s e t ,   s o ur c e d   f r o m   T w i t t e r,   i n c l u de s   4, 0 00   r e c o r ds   r e l a t e d   t o   v a r i o us   t w e e t s   us i n t h e   ha s h t a #P e m i l u 2024 .     2. 4 .     D ata   l ab e l   T h e   l a b e l i n g   o f   da t a   i d a t a s e t   i n c l ude s   f o ur   c a t e go ri e s :   d r o po ut   (D O ) ,   g ra du a t e o n   t i m e ,   gra du a t e l a t e ,   a nd  w i t h d ra w n .   T h e s e   c a t e go r i e s   a r e   de t e rm i n e b a s e o n   t h e   t h e s i s   g ra de s   f r o m   t h e   a c a de m i c   r e c o r ds   o f   t h e   F a c ul t y   of   E n gi n e e r i n g   a t   t h e   Is l a m i c   U IR .   T he   l a b e l i n p r o c e s s   fo l l ow s   t h e s e   c ri t e r i a :   -   A   s t ude nt   i s   l a b e l l e d   a s   D O   i f   t h e y   e xc e e t h e   s pe c i f i e t i m e   l i m i t   o f   14  s e m e s t e r s   o r   i f   t h e y   h a v e   c o m m i t t e s e r i o us   v i o l a t i o n s .   -   A   s t ude n t   i s   l a b e l l e d   a s   g ra du a t e o n   t i m e   i f   t h e y   gra du a t e   i n   t h e   7 th ,   8 th ,   o r   9 th   s e m e s t e r.   -   A   s t ude n t   i s   l a b e l l e d   a s   g ra du a t e l a t e   i f   t h e y   gra du a t e   a f t e r   t h e   9 th   s e m e s t e r.   -   A   s t ude nt   i s   l a b e l l e d   a s   w i t h d ra w i f   t h e y   do   n o t   t a ke   t h e   t h e s i s   c o ur s e   o i f   t h e i K R S   i n d i c a t e s   t h e y   ha v e   w i t h d ra w n   i a   pa rt i c ul a s e m e s t e r .   F o r   d a t a s e t   2,   w h i c h   us e s   di a b e t e s   da t a   f r o m   K a g gl e ,   t h e   l a b e l s   a s s i g n e a r e   po t e nt i a l   a n n o t   po t e n t i a l .   F o d a t a s e t   3,   us i n g   da t a   f r o m   T w i t t e r   w i t h   t h e   h a s h t a g   #P e m i l u2024 ,   t h e   l a b e l s   a s s i g n e a r e   po s i t i v e ,   n e g a t i v e ,   a n d   n e ut ra l     2. 5 .     P r e p r o c e s s i n g   T h e   l a b e l e da t a   i s   t h e s t a n d a r di z e us i ng  a   s t a nda r d   s c a l e r .   T h e   s t a nda rd  s c a l e i s   e m pl oy e t e n s u r e   t ha t   t h e   d a t a   ha s   a   c o n s i s t e n t   s c a l e   a n d   r a nge .   A dd i t i o n a l l y ,   t h e   s t a n d a r d   s c a l e h a s   t h e   a dv a n t a ge   of  pr o v i di n g   a   m o r e   s t a b l e   i n f l ue n c e   o f   o ut l i e r s   c o m pa r e t o   o t h e n o rm a l i z a t i o n   m e t h o ds .   W h i l e   o ut l i e r s   c a s i g n i f i c a n t l y   i m pa c t   o t h e n o rm a l i z a t i o m e t h o ds ,   t h e   s t a n d a r d   s c a l e r   r e l i e s   o t h e   m e a a n d   s t a nda rd  de v i a t i o n,   w hi c a r e   l e s s   a f fe c t e by   e xt r e m e   v a l ue s .   A f t e c l e a n i n g   a l l   t h e   d a t a ,   s t a n d a r di z a t i o w i l l   b e   pe r f o r m e t o   i m p r o v e   t h e   pe r f o r m a n c e   of   t h e   a l go ri t hm   b y   us i n ' S t a nda r dS c a l e r' .   S t a nda rdS c a l e i s   us e t o   s t a n d a r di z e   t h e   d a t a   by   a dj us t i n g   t h e   d i s t r i b ut i o o f   v a l ue s   i e a c h   f e a t u r e   t o   ha v e   a   m e a o f   0   a n d   a   s t a nda rd  de v i a t i o o f   1.   F i gu r e   i s   t h e   c o di n g   t o   s t a n d a r d i z e   t h e   da t a .             F i gu r e   3 .   Co di n g   f o r   d a t a   s t a n d a r d i z a t i o n       2. 6 .     S p l i tt i n d a ta   T h i s   s t a ge   i s   c r uc i a l   f o r   s e v e r a l   r e a s o n s   t h a t   c o n t ri b ut e   t o   t h e   de v e l o pm e n t   o f   a   r o b us t   m o de l   a n d   ob j e c t i ve   e v a l ua t i o n.   F i r s t l y ,   du ri n g   t h e   s p l i t t i ng  p ha s e ,   t h e   da t a   i s   di v i de i n t o   t w o   s e t s :   t h e   t r a i n i ng  s e t   a n d   t h e   t e s t i n s e t .   T h e   t ra i ni n s e t   i s   us e t o   t r a i n   t h e   m o de l ,   w h i l e   t h e   t e s t i n s e t   i s   us e t o   t e s t   t h e   t r a i n e m o de l .   T hi s   e n s u r e s   t h a t   t h e   m o de l   c a ge n e r a l i z e   w e l l   t o   u n s e e d a t a .   A dd i t i o na l l y ,   us i ng   a   s e pa ra t e   t e s t i n g   s e t   a l l o w s   fo r   a n   o b j e c t i ve   e v a l ua t i o n   o f   t h e   m o de l ' s   pe r f o r m a n c e ,   p r o v i di ng  i n s i g h t   i nt o   h o w   w e l l   t h e   m o de l   pe r f o r m s   o n   p r e v i o us l y   un s e e n   d a t a .   T h i s   i s   pa rt i c ul a rl y   r e l e v a n t   f o r   a s s e s s i n t h e   m o de l ' s   f un c t i o n a l i t y   i n   a   pr o duc t i o n   e n v i r o nm e nt   o w i t n e w   da t a .   O n c e   d a t a   s t a nda r d i z a t i o i s   c o m pl e t e ,   t h e   da t a   c a b e   p r o c e s s e d   by   s pl i t t i n g   i t   i nt o   t r a i n i ng  a n t e s t i n g   s e t s .   I t hi s   p r o c e s s ,   t h e   da t a   i s   d i v i de i nt o   a   70 : 30   r a t i o ,   w i t 70%   us e f o r   t r a i n i ng  a n d   30%   f o r   t e s t i ng.   F i g u r e   4   s h o w s   t h e   c o di n f o r   s p l i t t i ng  da t a   T h e   f u n c t i o `t ra i n _ t e s t _s pl i t (x ,   y ,   t e s t _s i z e = 0. 3,   ra n do m _s t a t e = r s )`   i s   us e t o   d i v i de   t h e   d a t a s e t   i n t o   t r a i ni n g   a n d   t e s t i n g   s ub s e t s .   T h e   v a ri a b l e   `x`   r e p r e s e n t s   t h e   i n de pe n de nt   v a ri a b l e s   (f e a t u r e s ),   a n d   `y `   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e v e l opm e nt   of   a   m ac hi n e   l e ar n i ng   m ode l   w i t o pt una   an e ns e m bl e   l e ar n i ng  t o   i m pr o v e   …  ( A k m ar   E f e ndi )   379   r e p r e s e n t s   t h e   de pe n de nt   v a ri a b l e   (t a r ge t ) .   T h e   pa ra m e t e `t e s t _s i z e = 0. 3`  s pe c i f i e s   t ha t   30%   o f   t h e   d a t a   w i l l   b e   a l l o c a t e f o r   t e s t i ng,   w h i l e   ` ra n do m _s t a t e = r s `   e n s u r e s   c o n s i s t e nt   d a t a   s pl i t t i n g ,   s o   t h e   r e s u l t s   r e m a i n   t h e   s a m e   e a c t i m e   t h e   f un c t i o n   i s   e xe c ut e d.   T h e   v a ri a b l e s   `x_ t r a i n`,   `x_ t e s t `,   `y _t r a i n`,   a nd  `y _t e s t s t o r e   t h e   r e s ul t s   o f   t h e   da t a s e t   s p l i t .   S pe c i f i c a l l y ,   `x_t r a i n `   a nd  `y _t ra i n a r e   t h e   t ra i ni n g   da t a   f o r   f e a t u r e s   a nd  t a r ge t s ,   r e s pe c t i v e l y ,   w h i l e   `x_ t e s t a n d   `y _t e s t a r e   t h e   t e s t i n g   d a t a .           F i gu r e   4 .   D a t a   s pl i t t i ng  c o di n g       2. 7 .     M ac h i n e   l e a r n i n g   al go r i th m   m o d e l i n g   A f t e r   c o m pl e t i n t h e   a f o r e m e n t i o n e p r o c e s s e s ,   t h e   n e xt   s t e i s   t o   pe r f o r m   m o de l i n us i n g   ML   a l go ri t hm s .   T h e   a l go r i t hm s   us e d   i t h i s   r e s e a r c a r e   K N N ,   S V M ,   a n d   N a ï v e   B a y e s .   A ddi t i o na l l y ,   t h i s   s t u d y   e m pl oy s   pa ra m e t e r   o pt i m i z a t i o us i ng  t h e   O p t u na   m e t h o d.   T o   f ur t h e r   i m p r o v e   a c c ur a c y ,   t hi s   r e s e a r c h   a l s o   i n c o r po r a t e s   e n s e m b l e   l e a rni n w i t h   t h e   X G B oo s t   a l go r i t hm .   A   t o t a l   o f   12  m o de l s   a r e   t e s t e i t hi s   s t udy ,   a s   s h o w n   i T a b l e   1.         T a b l e   1 .   M o de l   te s t i ng   A l g o ri t h m   D a t a s e t   T e s t i n g   K N N   A c a d e m i c   K N N   Ba s e d     K N N   +   O p t u n a     K N N   +   X G B o o s t   ( e n s e m b l e )   K N N   H y t e   D i a b e t e s   K N N   Ba s e d     K N N   +   O p t u n a     K N N   +   X G B o o s t   ( e n s e m b l e )   K N N   H y t e   T w i t t e ( X )   K N N   Ba s e d     K N N   +   O p t u n a     K N N   +   X G B o o s t   ( e n s e m b l e )   K N N   H y t e   S V M   A c a d e m i c   S V M   Ba s e d     S V M   +   O p t u n a   S V M   +   X G B o o s t   ( e n s e m b l e )   S V M   H y t e   D i a b e t e s   S V M   Ba s e d     S V M   +   O p t u n a   S V M   +   X G B o o s t   ( e n s e m b l e )   S V M   H y t e   T w i t t e ( X )   S V M   Ba s e d     S V M   +   O p t u n a   S V M   +   X G B o o s t   ( e n s e m b l e )   S V M   H y t e   GNB   A c a d e m i c   G N Ba s e d     G N +   O p t u n a   G N +   X G B o o s t   ( e n s e m b l e )   G N H y t e   D i a b e t e s   G N Ba s e d     G N +   O p t u n a   G N +   X G B o o s t   ( e n s e m b l e )   G N H y t e   T w i t t e ( X )   G N Ba s e d     G N +   O p t u n a   G N +   X G B o o s t   ( e n s e m b l e )   G N H y t e         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   375 - 3 86   380   2. 8 .     Ex p e r i m e n tat i o n   an d   e v al u ati o n   T h e   e xpe ri m e nt s   i n v o l ve   a ppl y i n g   t h e   m o de l s   t o   t h e   d a t a s e t s   a n d   e v a l ua t i ng  t h e i pe r f o r m a n c e .   T h e   a c c ur a c y ,   p r e c i s i o n ,   r e c a l l ,   a n d   F 1 - s c o r e   a r e   c a l c ul a t e f o r   e a c m o de l   t o   de t e rm i n e   t h e i e f fe c t i v e n e s s .   T h e   m o de l   de m o n s t ra t i n g   t h e   hi g h e s t   c l a s s i f i c a t i o n   a c c ura c y   i s   s e l e c t e fo r   f u r t h e r   a na l y s i s .     2. 9 .     M o d e l   i m p r o v e m e n t   T o   i m p r o v e   m o de l   pe r f o r m a n c e ,   h y pe r pa r a m e t e t u ni n g   i s   pe r f o r m e us i ng  O p t u na .   O pt u na   a ut o m a t e s   t h e   pa ra m e t e r   t u n i ng  p r o c e s s ,   off e r i ng  a e ffi c i e n t   s e a r c h   a l go r i t h m   t ha t   i m p r o v e s   s e a r c e ffe c t i ve n e s s .   T a b l e   i s   t h e   r a t i o n a l e   f o r   t h e   s e l e c t i o o f   a l g o r i t hm s   us e d   i t h e   s t udy .         T a b l e   2 .   R e a s o n s   f o r   s e l e c t i n t h e   a l go ri t hm   t ha t   w i l l   b e   de ve l o pe d   No   Re s e a rc h e r   T e s t i n g   A c c u ra c y   ( % )   1   [2 9 ]   K N N   A l g o r i t h m   85   2   [1 7 ]   K N N   +   H y p e r p a ra m e t e r   (O p t u n a )   8 0 . 8 2   3   -   K N N   +   X G B o o s t   -   4   -   K N N   +   X G B o o s t   +   H y p e r p a ra m e t e ( H y t e )   -   5   [1 8 ]   S V M   A l g o r i t h m   8 5 . 4 0   6   [1 9 ]   S V M   +   H y p e r p a ra m e t e r   (O p t u n a )   6 3 . 8 1   7   [2 0 ]   S V M   +   X G B o o s t   79   8   -   S V M   +   X G B o o s t   +   H y p e r p a ra m e t e ( H y t e )   -   9   [2 1 ]   G N A l g o r i t h m   96   10   [2 2 ]   GNB   +   H y p e r p a ra m e t e r   (O p t u n a )   9 3 . 2   11   [2 3 ]   GNB   +   X G B o o s t   8 1 . 5 5   12   -   GNB   +   X G B o o s t   +   H y p e r p a ra m e t e ( H y t e )   -       2. 10 .     M o d e l   i m p r o v e m e n t   T h i s   c o m p r e h e n s i v e   m e t h o s e c t i o n   e n s u r e s   t ha t   t h e   s t udy   i s   v a l i a nd  r e p r o duc i b l e .   By   pr ov i di ng  de t a i l e d   s t e ps   a n d   c o de   s ni ppe t s ,   a   k n o w l e dge a b l e   r e a de c a r e pe a t   t h e   e xpe ri m e nt   a n d   v a l i da t e   t h e   f i n di ngs .   R e fe r e n c e s   t o   p r e v i o us l y   pub l i s h e p r o c e dur e s   a r e   h i g hl i g h t e t o   p r o v i de   a d d i t i o n a l   c o nt e xt   a n d   s uppo rt .       3.   R ES U LTS   A N D   D I S C U S S I O N   3. 1 .     R e s u l t   S e ve r a l   l i b ra r i e s   w i l l   b e   ut i l i z e i t hi s   r e s e a r c h.   T h e   pa n da ’s   l i b r a r y   w i l l   b e   i m po r t e d   f o r   d a t a   a n a l y s i s ,   pr o v i di ng  da t a   s t r uc t u r e s   s uc h   a s   D a t a F ra m e .   T h e   n u m py   l i b r a r y   w i l l   b e   e m pl oy e d   fo r   a rr a y   o pe r a t i o n s ,   a n d   S e a b o r w i l l   b e   us e f o r   da t a   v i s ua l i z a t i o n .   T h e   K - n e i g h b o r s   c l a s s i f i e c l a s s ,   f r o m   s kl e a rn . n e i g h b o r s ,   w i l l   b e   i m p l e m e n t e f o r   c l a s s i f i c a t i o t a s ks   b a s e o n   t h e   K N N   a l go r i t hm .   F o l l ow i n t h e   i m p l e m e nt a t i o n   o f   t h e   n e c e s s a r y   l i b r a ri e s ,   t h e   n e xt   s t e i n v o l v e s   l a be l i ng  t h e   a c a de m i c   da t a   f r o m   t h e   F a c ul t y   of   E n gi n e e r i n g   a t   t h e   Is l a m i c   U IR   a n d   t h e   di a b e t e s   da t a   s o ur c e f r o m   K a ggl e .   G i v e n   t ha t   t h e   d a t a   i s   n u m e ri c ,   t h i s   r e s e a r c h   w i l l   i n v o l v e   r e m o v i n i rr e l e v a n t   v a r i a b l e s .   O n c e   t h e   da t a   i s   c l e a n s e d ,   s t a n da rdi z a t i o w i l l   b e   pe r f o r m e us i ng  ' S t a n d a r dS c a l e r '   t o   e nha n c e   t h e   a l go ri t hm ' s   pe r f o r m a n c e .   T h e   S t a n da rdS c a l e r   w i l l   b e   us e t o   s t a n d a r di z e   t h e   d a t a   by   a dj us t i n t h e   di s t ri b ut i o o f   v a l ue s   i n   e a c h   f e a t u r e   t o   h a v e   a   m e a o f   a n d   a   s t a n d a r d   de v i a t i o n   of   1.   A ddi t i o n a l l y ,   t h i s   r e s e a r c h   i n c o r po ra t e s   da t a   f r o m   T w i t t e r,   w hi c r e qui r e s   a   s l i g h t l y   di ff e r e n t   pr e p r o c e s s i n a pp r o a c h.   T h e   p r e p r o c e s s i n s t e ps   i n c l ude   da t a   c l e a n i ng,   c a s e   fo l di n g,   t e xt   n o r m a l i z a t i o n,   t o ke n i z i n g ,   f i l t e ri n g ,   a n d   s t e m m i ng.   T h e   T w i t t e d a t a   w i l l   t h e b e   w e i gh t e us i n g   t e r m   f r e que n c y - i n v e r s e   do c um e n t   f r e que n c y   (T F - ID F ).   A f t e r   da t a   c l e a n i ng,   t h e   n e xt   s t e i s   t o   t e s t   t h e   de s i g n e m o de l   us i n g   a   7 0: 30   da t a   s p l i t .   I t h e   f i r s t   e xpe r i m e nt ,   a c a de m i c   d a t a   w i l l   b e   us e d.   T a b l e   3   p r e s e n t s   t h e   c l a s s i f i c a t i o r e po r t   f o r   m o de l i ng  us i n g   t h e   b a s e   K N N   m o de l ,   K N N   w i t O p t u n a ,   K N N   w i t X G B oo s t ,   a nd  K N N   h y b r i m o de l s .       T a b l e   3 .   A c c ura c y   r e s ul t s   w i t h   a c a de m i c   da t a   A l g o ri t h m   A c c u ra c y   ( % )   P re c i s i o n   ( % )   Re c a l l   (% )   F1 - S c o r e   (% )   K N N   9 2 . 9 0   93   93   93   K N N   +   X G B o o s t   9 3 . 4 0   93   93   93   K N N   +   O p t u n a   9 2 . 2 6   92   92   92   K N N   H y t e   9 0 . 3 8   85   90   87         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e v e l opm e nt   of   a   m ac hi n e   l e ar n i ng   m ode l   w i t o pt una   an e ns e m bl e   l e ar n i ng  t o   i m pr o v e   …  ( A k m ar   E f e ndi )   381   U s i n t h e   K N N   a l go r i t h m   a l o n e ,   a a c c ura c y   of   92. 90%   w a s   a c h i e v e d,   w i t p r e c i s i o n,   r e c a l l ,   a n d   F s c o r e s   e a c a t   93% .   W h e K N N   w a s   c o m b i n e d   w i t X G B oo s t ,   t h e   p r e c i s i o n,   r e c a l l ,   a nd   F 1   s c o r e s   r e m a i n e a t   93% ,   b ut   t h e   a c c u r a c y   s l i ght l y   i n c r e a s e t o   93. 40 %.   E m p l oy i n K N N   w i t h   O p t u na   r e s ul t e i a a c c u r a c y   of   92. 26% ,   w i t h   p r e c i s i o n,   r e c a l l ,   a nd  F s c o r e s   e a c h   a t   92 %.   I n   c o nt r a s t ,   t h e   K N N - H y t e   v a r i a t i o n   a c h i e v e d   a a c c u r a c y   o f   90. 38 %,   w i t p r e c i s i o a t   85% ,   r e c a l l   a t   90 %,   a n d   a F 1   s c o r e   o f   87% .   O v e r a l l ,   t h e   c o m b i na t i o n   o f   A N N   a nd  X G B o os t   y i e l de t h e   hi g h e s t   a c c ura c y ,   w i t e a c m o de l   de m o n s t ra t i ng  a   di f f e r e n t   b a l a n c e   b e t w e e n   p r e c i s i o n,   r e c a l l ,   a n d   a c c u r a c y .   T a b l e   a l s o   r e v e a l s   t ha t   t h e   us e   of   K N N - H y t e   di n o t   i m p rov e   a c c ur a c y .   In   t hi s   e xpe ri m e nt ,   K N N - H y t e   s h o w e a   de c l i n e   c o m pa r e t o   t h e   K N N - b a s e m o de l .   A ddi t i o n a l l y ,   t hi s   s t udy   ut i l i z e d   a n o t h e r   d a t a s e t ,   s pe c i f i c a l l y   t h e   di a b e t e s   da t a   f r o m   K a ggl e .   T a b l e   4   p r e s e nt s   t h e   r e s ul t s   o f   a ppl y i n g   t h e   K N N   a l go r i t hm   t o   t h e   di a b e t e s   da t a .         T a b l e   4 .   A c c ura c y   r e s ul t s   w i t h   di a b e t e s   da t a   A l g o ri t h m   A c c u ra c y   ( % )   P re c i s i o n   ( % )   Re c a l l   (% )   F1 - S c o r e   (% )   K N N   80   81   80   80   K N N   +   X G B o o s t   81   81   81   81   K N N   +   O p t u n a   80   82   80   80   K N N   H y t e   79   80   79   79       T a b l e   4   p r e s e n t s   t h e   pe r f o r m a n c e   r e s ul t s   o f   s e v e r a l   a l go ri t hm s   us e t o   a na l y z e   di a b e t e s   da t a .   T h e   K N N   a l go r i t h m   a l o n e   a c h i e v e a a c c u r a c y   of   80%,   w i t a   pr e c i s i o o f   81%,   r e c a l l   o f   80%,   a n d   F 1 - S c o r e   o 80%.   W h e n   K N N   w a s   c o m b i n e w i t h   X G B o o s t ,   t h e   a c c u r a c y   i n c r e a s e t o   81% ,   w i t h   p r e c i s i o n,   r e c a l l ,   a n d   F1 - S c o r e   a l l   a t   8 1% .   U s i n K N N   w i t O pt u na   r e s ul t e i n   a n   a c c ura c y   of   80%,   w i t h   a   s l i g ht l y   h i g h e pr e c i s i o o f   82%,   w hi l e   r e c a l l   a nd  F 1 - S c o r e   r e m a i n e a t   80 %.   T h e   K N N - H y t e   v a r i a t i o s h o w e a a c c u r a c y   of   79%,   w i t a   p r e c i s i o n   o f   80%,   r e c a l l   o f   79%,   a n d   F 1 - S c o r e   of   79%.   O v e ra l l ,   t h e   c o m b i na t i o n   o f   K N N   w i t X G Boo s t   pr o v i de t h e   b e s t   r e s ul t s   i t e r m s   o f   a c c ur a c y   a n d   b a l a n c e   b e t w e e n   p r e c i s i o n,   r e c a l l ,   a n d   F 1 - S c o r e .   W i t h   t h e   d i a b e t e s   da t a ,   t h e   a c c ur a c y   de c r e a s e c o m pa r e d   t o   t h e   a c a de m i c   d a t a .   S ub s e que n t l y ,   t h e   m o de l   w a s   t e s t e us i ng   t h e   T w i t t e d a t a s e t .   T a b l e   5   p r e s e n t s   t h e   a c c u r a c y   r e s ul t s   o b t a i n e d   us i ng   t h e   T w i t t e da t a s e t .         T a b l e   5 .   A c c ura c y   r e s ul t s   w i t h   t w i t t e r   d a t a   A l g o ri t h m   A c c u ra c y   ( % )   P re c i s i o n   ( % )   Re c a l l   ( %)   F1 - S c o r e   (% )   K N N   91   91   91   91   K N N   +   X G B o o s t   90   91   90   90   K N N   +   O p t u n a   66   73   67   66   K N N   H y t e   89   90   89   89       U s i n t h e   K N N   a l go r i t hm   w i t t h e   T w i t t e r   d a t a s e t ,   t h e   b a s e   a l go ri t hm   a c h i e v e a a c c ura c y   of   91%,   w i t h   p r e c i s i o n ,   r e c a l l ,   a n F 1 - S c o r e   a l l   a t   91 %.   T hi s   de m o n s t ra t e s   t h a t   K N N   c a c o n s i s t e n t l y   c l a s s i fy   da t a   w i t h   a   l o w   e r r o r a t e .   W h e K N N   w a s   c o m b i n e w i t h   X G Bo os t ,   t h e   a c c u r a c y   s l i gh t l y   de c r e a s e t o   90%,   a l t h o ug p r e c i s i o r e m a i n e d   a t   91% ,   w h i l e   r e c a l l   a n d   F 1 - S c o r e   e a c s l i g h t l y   dr o ppe t o   90% .   T h i s   i n di c a t e s   t h a t   de s pi t e   a   s l i g ht   de c r e a s e   i r e c a l l   a n d   F 1 - S c o r e ,   p re c i s i o n   r e m a i n e d   h i g h ,   i n di c a t i ng  t h e   m o de l ' s   e ffe c t i ve n e s s   a t   p r o duc i n c o rr e c t   r e s ul t s .   U s i n K N N   w i t h   O p t u na   s h o w e a   s i g n i f i c a n t   de c l i n e   i pe r f o r m a n c e ,   w i t a c c u r a c y   o n l y   r e a c hi n 6 6%,   p r e c i s i o a t   73% ,   r e c a l l   a t   6 7%,   a n d   F 1 - S c o r e   a t   6 6 %.   T h e s e   r e s ul t s   s ugge s t   t ha t   t hi s   c o m b i na t i o i s   l e s s   e f fe c t i ve   f o r   T w i t t e da t a ,   l e a di n g   t o   n u m e r o us   c l a s s i f i c a t i o n   e rr o r s .   T h e   K N N - H y t e   v a r i a t i o n   a c hi e v e d   a n   a c c ur a c y   of   89%,   w i t h   p r e c i s i o n   a t   90% ,   r e c a l l   a t   89% ,   a nd  F 1 - S c o r e   a t   89% .   A l t h o ug h   s l i g ht l y   l ow e r   t ha n   pur e   K N N ,   t h e s e   r e s ul t s   s t i l l   de m o n s t ra t e   go o a n d   c o n s i s t e nt   pe r f o r m a n c e   i n   d a t a   c l a s s i f i c a t i o n .   O v e r a l l ,   t h e   K N N   a l go r i t h m   a l o n e   p r o v i de t h e   b e s t   r e s ul t s   i t e r m s   o f   a c c ur a c y   a n d   c o n s i s t e n c y   a c r o s s   o t h e r   m e t r i c s   f o r   T w i t t e r   d a t a .   T h e   c o m b i n a t i o w i t h   X G B o o s t   a l s o   de l i v e r e n e a rl y   c o m pa ra b l e   pe r f o r m a n c e ,   b ut   O p t u na   w a s   i n e f fe c t i ve   i t h i s   c o n t e xt .   K N N - H y t e   s t i l l   p r o v i de go o pe r f o r m a n c e ,   a l b e i t   s l i g h t l y   b e l ow   pur e   K N N .   A f t e p r o c e s s i n g   w i t h   t h e   K N N   a l go ri t hm ,   t h e   n e x t   s t e i s   t o   t e s t   w i t o t h e a l go ri t hm s ,   na m e l y   S V M   a n d   G N B   a s   s h o w n   i T a b l e   6 .     F r o m   a l l   t h e   t e s t s   c a rri e d   o ut ,   t h e   r e s ul t s   o b t a i n e d   s h o w   t ha t   n o t   a l l   a l go r i t hm s   c a b e   i m p r o v e w i t X G Boo s t ,   O pt u na ,   o r   b o t ( H y t e ).   T h e   hi g h e s t   a c c ura c y   us i n H y t e   w a s   ob t a i n e i t e s t i n g   w i t h   t h e   S V M   a l go ri t hm   w i t h   t h e   T w i t t e r   da t a s e t ,   n a m e l y   97%.   T h e   r e s ul t s   s h o w   be t t e r   pe r f o r m a n c e   c o m pa r e t o   p r e v i o us   r e s e a r c a s   s e e n   i n   T a b l e   7.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   375 - 3 86   382   In  T a b l e   7 ,   i t   i s   e v i de n t   t ha t   t h e   s t udy   s i g n i f i c a n t l y   i m p r o v e s   w h e t h e   S V M   a l go ri t hm   i s   t e s t e us i n g   t h e   T w i t t e d a t a s e t .   H ow e v e r ,   t h e   r e s ul t s   a r e   l e s s   s a t i s f a c t o r y   w i t t h e   K N N   a n d   G N B   a l go ri t hm s ,   a s   t h e i r   pe r f o r m a n c e   de c r e a s e s   c o m pa r e d   t o   t h e   b a s e   a l go ri t hm .   Co n v e r s e l y ,   i n   t h e   a c a de m i c   a n d   di a b e t e s   da t a s e t s ,   t h e   G N B   w i t H y t e   a l go ri t hm   s uc c e s s f ul l y   e nha n c e s   t h e   m o de l ' s   pe r f o r m a n c e .   F o S V M   a n d   K N N ,   t h e i r   pe r f o r m a n c e   de c r e a s e s   w h e n   c o m pa r e t o   t h e   b a s e   a l go ri t hm .   T hi s   i n d i c a t e s   t ha t   f o r   n o m i na l   da t a ,   G N B   H y t e   i s   h i g h l y   r e c o m m e n de d   a s   i t   c a i m p r o v e   m o de l   pe r f orm a n c e .   H ow e v e r ,   f o t e xt   d a t a s e t s   l i ke   T w i t t e r ,   SVM  H y t e   i s   h i g hl y   r e c o m m e n de d,   a s   i t   a c h i e v e t h e   h i g h e s t   a c c ura c y   i n   t h e   s t u dy .       T a b l e   6 .   A c c ura c y   r e s ul t s   w i t h   S V M   a nd  G N B   a l go ri t hm s   No   A l g o ri t h m   D a t a s e t   M o d e l   A c c u ra c y   ( % )   1   S V M   A c a d e m i c   S V M   9 2 , 2 6   2   S V M   +   X G B o o s t   9 3 , 4 0   3   S V M   +   O p t u n a   9 1 , 6 3   4   S V M   H y t e   9 0 , 1 1   5   T w i t t e r   S V M   94   6   S V M   +   X G B o o s t   93   7   S V M   +   O p t u n a   96   8   S V M   H y t e   97   9   D i a b e t e s   S V M   78   10   S V M   +   X G B o o s t   73   11   S V M   +   O p t u n a   80   12   S V M   H y t e   77   13   GNB   A c a d e m i c   GNB   8 5 , 6 5   14   G N +   X G B o o s t   91   15   G N +   O p t u n a   8 7 , 4 5   16   G N H y t e   9 2 , 2 6   17   T w i t t e r   GNB   68   18   G N +   X G B o o s t   81   19   G N +   O p t u n a   50   20   G N H y t e   54   21   D i a b e t e s   GNB   75   22   G N +   X G B o o s t   73   23   G N +   O p t u n a   73   24   G N H y t e   80       T a b l e   7 .   Co m p a r i s o o f   a c c ur a c y   w i t p r e v i o us   r e s e a r c o S V M   a l go r i t h m s   Re s e a rc h e r   D a t a s e t   M o d e l   A c c u ra c y   ( % )   [2 0 ]   T w i t t e r   S V M   +   X G B o o s t   79   [3 0 ]   S V M   +   A d a b o o s t   92   [3 1 ]   S V M   +   P a rt i c l e   S w a r m   O p t i m i z a t i o n   (P S O )   9 1 , 6 3   [3 2 ]     S V M   +   Q u e r y   E x p a n s i o n   Ra n k i n g   82   T h i s   R e s e a r c h     S V M   H y t e   97       3. 2 .     D i s c u s s i o n   T h i s   s t udy   e xpl o r e s   t h e   i nt e g r a t i o o f   e n s e m b l e   m e t h o ds   a n d   h y pe r pa r a m e t e t u ni n g   t o   i m p r o v e   ML   pe r f o r m a n c e   a c r o s s   di v e r s e   da t a s e t s ,   a dd r e s s i n g   ke y   ga ps   i t h e   e xi s t i n g   l i t e r a t u r e .   P r e v i o us   s t udi e s   ha v e   e xt e n s i v e l y   e xa m i n e t h e   b e n e f i t s   o f   e n s e m b l e   m e t h o ds   l i ke   X G Boo s t   a nd  h y pe r pa r a m e t e r   t u ni n g   us i n g   t e c hn i q ue s   s uc h   a s   O pt u n a ;   h o w e ve r ,   t h e i i m pa c t   o n   d a t a s e t s   f r o m   m u l t i pl e   do m a i n s ,   p a r t i c ul a rl y   i a c a de m i c ,   h e a l t h,   a n s o c i a l   m e di a   c o nt e xt s ,   r e m a i n s   u nde r e xpl o r e d.   By   a ppl y i n t h e s e   t e c hn i que s   t o   da t a s e t s   w i t h   d i s t i n c t   c h a ra c t e ri s t i c s - a c a de m i c   r e c o r ds ,   d i a b e t e s   da t a ,   a nd  T w i t t e s e nt i m e nt   d a t a - t hi s   s t u d y   c o n t ri b ut e s   n o ve l   i n s i g ht s   i n t o   t h e   a da p t a b i l i t y   a n r o b us t n e s s   o f   ML   m o de l s   a c r o s s   di f fe r e nt   t y pe s   of   da t a .   O ur  r e s ul t s   de m o n s t ra t e   t h a t   c o m b i n i ng  K N N   w i t h   X G B oo s t   c o n s i s t e nt l y   e nh a n c e s   pe r f o r m a n c e ,   a s   e v i de n c e by   t h e   i m p r o v e c l a s s i f i c a t i o a c c ura c y   ob s e r ve a c r o s s   da t a s e t s .   F o i n s t a n c e ,   t h e   a c c u r a c y   a c hi e v e w i t X G B oo s t - e nh a n c e K N N   w a s   93 . 40 f o r   a c a de m i c   da t a   a nd  81%   f o r   di a b e t e s   da t a ,   r e f l e c t i n a   n o t a b l e   i m p r o v e m e n t   o ve r   t h e   b a s e   K N N   a l go r i t hm .   T h e s e   r e s ul t s   a l i g n   w i t h   t h e   f i n d i n gs   o f   [17] ,   w hi c hi g h l i g ht e t h e   e f f e c t i v e n e s s   of   e n s e m b l e   m e t h o ds   i b o os t i n g   c l a s s i f i c a t i o pe r f o r m a n c e .   N o t a b l y ,   w e   f o un t h a t   X G B o os t   c o n t r i b ut e d   t o   a   m o r e   b a l a n c e pe r f o r m a n c e   a c r o s s   p r e c i s i o n ,   r e c a l l ,   a nd   F 1 - s c o r e ,   i ndi c a t i n g   i t s   c a p a c i t y   t o   i m p r o v e   n o t   o n l y   a c c ur a c y   b ut   a l s o   t h e   c o n s i s t e n c y   of   m o de l   p r e di c t i o n s .   Int e r e s t i n gl y ,   de s pi t e   t h e   s uc c e s s   of   X G Boo s t ,   t h e   a pp l i c a t i o n   o f   h y p e r pa ra m e t e t u ni n g   us i ng  O pt u n a   di n o t   y i e l t h e   s a m e   l e v e l   o f   i m pr o v e m e n t ,   p a r t i c ul a rl y   w i t t h e   T w i t t e r   d a t a s e t ,   w h e r e   a c c ura c y   dr o ppe d   s i g ni f i c a nt l y   t o   66 %.   T h i s   f i n d i n g   c o n t ra s t s   w i t p r i o r e s e a r c h   [18 ] ,   w h e r e   h y pe r pa r a m e t e Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2 5 0 2 - 4 7 52       D e v e l opm e nt   of   a   m ac hi n e   l e ar n i ng   m ode l   w i t o pt una   an e ns e m bl e   l e ar n i ng  t o   i m pr o v e   …  ( A k m ar   E f e ndi )   383   o pt i m i z a t i o ge n e r a l l y   e nh a n c e pe r f o r m a n c e   a c r o s s   v a r i o u s   da t a s e t s .   T h e   di s c r e pa n c y   s ugge s t s   t h a t   w hi l e   O pt u n a   m a y   off e r   s ub s t a nt i a l   g a i n s   f o r   s t r uc t u r e da t a   l i ke   a c a de m i c   o r   m e di c a l   da t a s e t s ,   i t   m i g h t   b e   l e s s   e ffe c t i ve   fo r   u n s t ruc t u r e d a t a   s uc h   a s   s o c i a l   m e di a   po s t s ,   w h e r e   n o i s e   a n d   v a ri a b i l i t y   a r e   m o r e   p r o n o u n c e d.   T h e   de c l i n e   i n   pe r f o r m a n c e   f o r   t h e   K N N - H y t e   m o d e l ,   s pe c i f i c a l l y ,   un de r s c o r e s   t h e   i m po r t a n c e   of   c o n t e xt - s pe c i f i c   t u n i ng,   a s   n o t   a l l   a l go ri t hm s   o r   o pt i m i z a t i o n   t e c hn i q ue s   t r a n s l a t e   e ff e c t i v e l y   a c r o s s   do m a i n s .   M o r e ov e r ,   o ur  f i n di ngs   r e v e a l   t h e   r o b us t n e s s   o f   e n s e m b l e   m e t h o ds   l i ke   X G B oo s t   w h e n   a ppl i e t di v e r s e   da t a s e t s .   T h e   i m p r o v e m e n t s   o b s e r v e i c l a s s i f i c a t i o n   a c c ura c y   f o r   a c a de m i c ,   d i a b e t e s ,   a n d   T w i t t e da t a s e t s   s ugge s t   t h a t   X G B oo s t   i s   h i g h l y   a d a pt a b l e   a nd   re s i l i e nt ,   e v e w h e de a l i n g   w i t v a r y i n g   d a t a   s t ruc t u r e s   a n d   c h a ra c t e ri s t i c s .   T h i s   s up po r t s   t h e   a r gu m e n t   t h a t   e n s e m b l e   t e c hni que s ,   w h e p r o pe r l y   i m p l e m e nt e d,   c a n   p r o v i de   s ub s t a n t i a l   pe r f o r m a n c e   g a i n s   a c r o s s   m u l t i pl e   do m a i n s .   O u s t udy   c o n t ri b ut e s   t t h e   g r o w i n g   b o d y   of   e v i de n c e   t ha t   e n s e m b l e   l e a rni n g   i s   a e f fe c t i ve   s t ra t e gy   fo r   ha n d l i n g   i m b a l a n c e a n d   c o m pl e da t a s e t s .   H ow e ve r ,   t h e r e   a r e   l i m i t a t i o n s   t o   t h i s   s t udy   t h a t   w a rr a nt   c o n s i de ra t i o n .   F i r s t ,   w h i l e   t h e   da t a s e t s   us e d   i n   t hi s   r e s e a r c r e p r e s e n t   di f f e r e n t   do m a i n s ,   t h e y   r e m a i l i m i t e d   i n   s i z e   a n s c o pe .   L a r ge da t a s e t s   o r   t h o s e   f r o m   o t h e f i e l ds ,   s uc a s   f i n a n c e   o r   e - c o m m e r c e ,   c o ul d   p r o v i de   f ur t h e v a l i da t i o n   o f   t h e s e   f i n di ngs .   A ddi t i o n a l l y ,   t h e   c o m put a t i o na l   c o s t   a s s o c i a t e w i t h   h y pe r pa r a m e t e t u ni n a n d   e n s e m b l e   m e t h o ds   i s   n o n - t r i v i a l ,   po s i n g   po t e nt i a l   c ha l l e n ge s   f o r   r e a l - t i m e   a p pl i c a t i o n s   w h e r e   ra pi d   p r o c e s s i n i s   c ri t i c a l .   F ut u r e   r e s e a r c s h o ul e xpl o r e   m o r e   e ff i c i e n t   o pt i m i z a t i o n   t e c hn i q ue s   o r   h y b r i a pp r o a c h e s   t ha t   b a l a n c e   a c c u r a c y   w i t c o m put a t i o na l   e f f i c i e n c y .   T h e   i m pl i c a t i o n s   o f   t hi s   r e s e a r c e xt e nd  b e y o n t h e   d a t a s e t s   a n d   a l go r i t hm s   e xpl o r e d .   O u f i ndi n gs   s ugge s t   t ha t   t h e   v e r s a t i l i t y   of   X G B oo s t   m a ke s   i t   a   s t r o n g   c a n di d a t e   f o r   b r o a de a ppl i c a t i o n s ,   pa rt i c ul a r l y   i a r e a s   w h e r e   d a t a   i s   b o t s t r uc t u r e d   a nd  u n s t r uc t u r e d .   T h e   pe r f o r m a n c e   o f   X G B oo s t   a c r o s s   di f f e r e n t   c o nt e xt s   hi g h l i g ht s   i t s   po t e n t i a l   f o r   w i de s p r e a d   a do pt i o i ML   t a s ks   r e qui ri n g   r e l i a b l e ,   s c a l a b l e   s o l ut i o n s .   M o r e o v e r ,   t h e   l i m i t e s uc c e s s   of   O pt una   i o pt i m i z i n g   c e r t a i n   da t a s e t s   i n v i t e s   f urt h e i n v e s t i ga t i o i nt o   t h e   de v e l o pm e n t   of   m o r e   do m a i n - s pe c i f i c   o pt i m i z a t i o n   t e c hn i q ue s ,   p a r t i c ul a rl y   fo r   u n s t ruc t u r e d a t a .   In  c o n c l us i o n ,   t h i s   s t udy   p r o v i de s   c o n c l us i v e   e v i de n c e   t ha t   e n s e m b l e   m e t h o ds ,   p a r t i c ul a rl y   X G Boo s t ,   o ffe r   s i g ni f i c a nt   i m p r o v e m e n t s   i ML   pe r f o rm a n c e   a c r o s s   di v e r s e   da t a s e t s .   T h e   f i n di ngs   e m pha s i z e   t h e   v a l ue   o f   t e s t i n ML   m o de l s   a c r o s s   m ul t i pl e   do m a i n s   t o   e n s u r e   t h e i r   r o b us t n e s s   a n d   ge n e ra l i z a b i l i t y .   W hi l e   h y pe r pa ra m e t e t u ni n g   r e m a i n s   a   v a l u a b l e   t o o l   f o r   e nha n c i ng  pe r f o r m a n c e ,   i t s   e ffe c t i ve n e s s   m a y   be   c o n t i nge nt   o t h e   s pe c i f i c   c h a ra c t e ri s t i c s   o f   t h e   da t a s e t   i n   q ue s t i o n.   F ut u r e   r e s e a r c h   s h o ul c o nt i n ue   t o   i n v e s t i ga t e   t h e   i n t e r s e c t i o n   o f   e n s e m b l e   l e a rn i ng  a n o pt i m i z a t i o n   t e c hn i que s ,   w i t a   f oc us   o n   i m p r o v i n g   s c a l a b i l i t y   a n d   e ff i c i e n c y   fo r   r e a l - w o r l a ppl i c a t i o n s .       4.   C O N C LU S I O N   T h i s   r e s e a r c s uc c e s s f ul l y   de m o n s t r a t e s   t h e   e f f e c t i v e n e s s   of   i nt e g r a t i n g   a dv a n c e t e c hni que s   l i ke   h y pe r pa r a m e t e t u ni n g   w i t O p t u na   a nd   e n s e m b l e   l e a rni n g   w i t X G B oo s t   t o   e nha n c e   t h e   pe r f o r m a n c e   o f   ML   m o de l s .   T h e   p r i m a r y   o bj e c t i v e   w a s   t o   i m p r o v e   t h e   a c c ura c y   of   ML   m o de l s   f o c l a s s i f i c a t i o t a s ks ,   a n d   t h e   f i n di ngs   c o n f i rm   t ha t   a dv a n c e t e c hni que s   c a n   s i g ni f i c a nt l y   e n ha n c e   m o de l   pe r f o r m a n c e .   T h e   G N a l go ri t hm   c o n s i s t e n t l y   o ut pe r fo r m e d   t h e   K N N   a n d   S V M   a l go r i t hm s   a c r o s s   di f f e r e n t   da t a s e t s ,   a c hi e v i n g   t h e   hi g h e s t   a c c u r a c y ,   pr e c i s i o n,   r e c a l l ,   a n F 1 - s c o r e .   T hi s   i nd i c a t e s   t ha t   G N B   i s   p a r t i c ul a rl y   w e l l - s ui t e f o r   c l a s s i f i c a t i o t a s ks   i d i v e r s e   do m a i n s ,   s ug ge s t i n g   i t s   p o t e n t i a l   f o r   b r o a de a ppl i c a t i o n s   i r e a l - w o r l s c e n a r i o s .   O n e   o f   t h e   ke y   t a ke a w a y s   f r o m   t h i s   s t u dy   i s   t h e   i m po rt a n c e   o f   h y pe r pa r a m e t e t u n i ng   a nd  e n s e m b l e   l e a rni n g   i i m p r o v i n g   ML   m o de l   pe r f o r m a n c e .   O pt u n a ' s   h y pe r pa ra m e t e t u n i ng  s i g n i f i c a nt l y   i m p r o v e m o de l   a c c ur a c y ,   de m o n s t ra t i n t h e   v a l ue   o f   s y s t e m a t i c   o pt i m i z a t i o i ML .   H ow e v e r ,   t hi s   s t u d y   a l s o   h i g h l i g h t s   s o m e   l i m i t a t i o n s   a nd   r a i s e s   s e v e r a l   que s t i o ns   f o r   f ut u r e   r e s e a r c h .   T h e   s c o pe   o f   t h e   d a t a s e t s   us e i t hi s   s t udy   w a s   l i m i t e t o   a c a de m i c ,   di a b e t e s ,   a n d   T w i t t e d a t a .   F ut u r e   r e s e a r c s h o ul d   e xpl o r e   t h e   a ppl i c a t i o o f   t h e s e   t e c hni que s   t o   a   w i de r   ra n ge   o f   da t a s e t s   t o   v a l i da t e   t h e   r o b us t n e s s   a n d   ge n e ra l i z a b i l i t y   of  th e   f i n di ngs .   A ddi t i o n a l l y ,   w h i l e   t hi s   s t udy   fo c us e o n   K N N ,   S V M ,   a nd   G N B ,   o t h e ML   a l go r i t h m s   c o ul b e   e v a l ua t e us i ng  s i m i l a o pt i m i z a t i o n   t e c hn i que s   t o   de t e r m i n e   t h e i e f fe c t i ve n e s s .   T h e   f i n di ngs   o f   t hi s   s t udy   ha v e   s i g ni f i c a nt   i m pl i c a t i o n s   f o r   t h e   r e s e a r c h   f i e l d   a n d   t h e   b r o a de r   c o m m uni t y .   F o r   r e s e a r c h e r s ,   t hi s   s t u dy   un de r s c o r e s   t h e   i m p o r t a n c e   o f   a dv a n c e o pt i m i z a t i o t e c hn i que s   i n   de ve l o pi n g   h i g h - pe r f o r m i n g   ML   m o de l s .   F o p r a c t i t i o n e r s ,   pa r t i c ul a rl y   i f i e l ds   l i ke   e duc a t i o n ,   h e a l t h c a r e ,   a n d   s o c i a l   m e di a   a na l y s i s ,   t h e   us e   o f   r o b us t   a l go ri t hm s   l i ke   G N B   c a l e a t o   m o r e   a c c ur a t e   p r e d i c t i o n s   a nd  b e t t e r   de c i s i o n - m a ki n g .   I c o n c l us i o n,   t hi s   s t udy   pr o v i de s   a   f o un d a t i o f o r   f urt h e r   e xp l o ra t i o i nt o   t h e   o pt i m i z a t i o o f   ML   a l go ri t hm s .   T h e   s uc c e s s f ul   a pp l i c a t i o of   h y pe r pa ra m e t e t u ni n g   a n d   e n s e m b l e   l e a rni n g   t e c hn i q ue s   de m o n s t ra t e s   t h e i r   po t e n t i a l   t o   e nha n c e   m o de l   pe r f o r m a n c e   a c r o s s   v a ri o us   do m a i n s .   F ut u r e   r e s e a r c h   s h o ul c o nt i n ue   t o   e xpl o r e   t h e s e   a n o t h e r   a dv a n c e t e c hn i que s   t o   pus h   t h e   b o un da ri e s   of   w h a t   ML   m o de l s   c a a c h i e v e ,   ul t i m a t e l y   b e n e f i t i n b o t t h e   r e s e a r c h   c o m m uni t y   a n d   p ra c t i c a l   a ppl i c a t i o n s   i v a r i o us   f i e l ds .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E ng   &   Co m S c i V o l .   41 ,   N o .   1 J a n u a r y   20 2 6 :   375 - 3 86   384   A C K N O WL ED G E M EN TS     T h e   a ut h o r s   g ra t e f ul l y   a c kn o w l e d ge   t h e   s uppo r t   p r o v i de by   R i a Is l a m i c   U n i v e r s i t y   a n d   P u t r a   In do n e s i a   U ni v e r s i t y   Y P T K   P a da n g   f o r   f a c i l i t a t i ng  t hi s   r e s e a r c h   t hr o ug h   t h e   p r o v i s i o n   of   i n s t i t u t i o n a l   s uppo r t ,   r e s e a r c h   f a c i l i t i e s ,   a n d   f un d i n g .   T h e   a ut h o r s   a l s o   a ppr e c i a t e   t h e   a c a de m i c   e n v i r o nm e nt   a n a dm i n i s t r a t i v e   a s s i s t a n c e   t h a t   c o nt r i b ut e t o   t h e   s uc c e s s f ul   c o m pl e t i o o f   t hi s   s t udy .       F U N D I N G   I N F O R M A TI O N   A ut h o r s   s t a t e   n o   f un d i n g   i n v o l v e d.       A U TH O R   C O N TR I B U TI O N S   S TA T EM EN   T h e   a ut h o r s   c o n t ri b ut e t o   t hi s   w o r k   a c c o r di n g   t o   t h e   CR e di T   t a xo n o m y   a s   f o l l ow s .   A km a E f e n d i   c o n t ri b ut e t o   c o n c e pt ua l i z a t i o n ,   m e t h o do l o g y ,   s of t w a r e   d e ve l o pm e n t ,   f o r m a l   a na l y s i s ,   i n v e s t i ga t i o n,   da t a   c ur a t i o n ,   v i s ua l i z a t i o n ,   a nd  w ri t i n g   t h e   o r i g i n a l   d ra f t .   Is ka n d a r   F i t r i   c o n t ri b ut e t o   c o n c e pt ua l i z a t i o n,   v a l i da t i o n,   f o r m a l   a n a l y s i s ,   r e s o ur c e s ,   w r i t i ng  r e v i e w   a n d   e di t i n g ,   s u pe r v i s i o n,   a n d   p r o j e c t   a dm i n i s t ra t i o n.   G una di   W i di   N u r c a h y o   c o n t r i b ut e d   t o   c o n c e pt ua l i z a t i o n,   m e t h o do l o g y ,   v a l i da t i o n,   i n v e s t i ga t i o n,   w r i t i n g   r e v i e w   a n e di t i n g ,   s upe r v i s i o n ,   p r o j e c t   a dm i n i s t r a t i o n,   a nd  f u n di ng  a c qu i s i t i o n.   A l l   a u t h o r s   r e v i e w e a nd  a pp r o v e t h e   f i na l   m a n us c ri pt .     N am e   o A u th o r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   A km a E f e n d i                               Is ka n da F i t r i                               G una di   W i d i   N u r c a h y o                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r m a l   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e s o u rc e s   D   :   D a t a   Cu ra t i o n   O   :   W ri t i n g   -   O ri g i n a l   D ra ft   E   :   W ri t i n g   -   Re v i e w   &   E d i t i n g   Vi     Vi s u a l i z a t i o n   Su     Su p e r v i s i o n   P     P ro j e c t   a d m i n i s t ra t i o n   Fu     Fu n d i n g   a c q u i s i t i o n         I N F O R M ED   C O N S EN T   W e   h a v e   o b t a i n e i n f o r m e d   c o n s e n t   f r o m   a l l   i n d i v i dua l s   i n c l ude i t hi s   s t udy .       ETH I C A A P P R O V A L     E t hi c a l   a pp r o v a l   w a s   n o t   r e qu i r e d   f o r   t hi s   s t udy   b e c a us e   i t   d i d   n o t   i n v o l ve   i n t e r v e n t i o n s   o r   e xpe r i m e nt s   w i t hum a p a r t i c i pa nt s   o a ni m a l s .   T h e   s t udy   us e s e c o n da r y   da t a   s o ur c e s .   I n s t i t ut i o na l   pe r m i s s i o n   t o   us e   t h e   a c a de m i c   da t a s e t   w a s   o b t a i n e f r o m   R i a Is l a m i c   U n i v e r s i t y   ( U IR ).   A ddi t i o na l   da t a s e t s   w e r e   c o l l e c t e f r o m   pub l i c l y   a v a i l a b l e   r e po s i t o r i e s   (K a gg l e a n d   pub l i c l y   a c c e s s i b l e   c o n t e n t   f r o m   t h e   X   pl a t f o r m .   A l l   d a t a   w e r e   ha n d l e i n   a c c o r da n c e   w i t h   a ppl i c a b l e   i n s t i t ut i o n a l   po l i c i e s   a n r e l e v a n t   na t i o na l   r e gul a t i o n s .   W h e r e   a pp l i c a b l e ,   i de nt i f i e r s   w e r e   r e m o v e a nd  t h e   d a t a   w e r e   a na l y z e a n r e po r t e o nl y   i n   a gg r e ga t e   f o r m   t o   m i ni m i z e   p r i v a c y   r i s ks .       D A TA   A V A I LA B I LI T Y   T h e   d a t a   t ha t   s uppo r t   t h e   f i n d i n gs   o f   t hi s   s t udy   w e r e   ob t a i ne f r o m   m ul t i p l e   s o ur c e s .   A a c a de m i c   da t a s e t   w a s   p r o v i de by   R i a Is l a m i c   U ni v e r s i t y   (U I R a nd  w a s   us e w i t i n s t i t u t i o n a l   pe rm i s s i o n;   r e s t r i c t i o n s   a ppl y   t o   t h e   a v a i l a b i l i t y   of   t h e s e   d a t a ,   a n d   t h e y   a r e   n o t   pub l i c l y   a v a i l a b l e .   A dd i t i o na l   d a t a s e t s   w e r e   o b t a i n e f r o m   pub l i c l y   a v a i l a b l e   s o ur c e s ,   i n c l udi ng  K a ggl e   r e po s i t o r i e s   a n pub l i c l y   a c c e s s i b l e   c o n t e n t   f r o m   t h e   X   pl a t f o r m ,   i n   a c c o r da n c e   w i t h   t h e i r   r e s pe c t i v e   t e rm s   o f   us e .   P r o c e s s e a n d   de r i v e da t a   s uppo rt i n g   t h e   f i ndi n gs   o f   t hi s   s t u dy   a r e   a v a i l a b l e   f r o m   t h e   c o r r e s po n d i ng  a u t h o upo n   r e a s o na b l e   r e que s t .       R EF ER EN C ES   [1 ]   M .   S o o ri ,   B .   A r e z o o ,   a n d   R .   D a s t r e s ,   A rt i fi c i a l   i n t e l l i g e n c e ,   m a c h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g   i n   a d v a n c e d   ro b o t i c s ,   a   r e v i e w ,   Co g n i t i v e   R o b o t i c s ,   v o l .   3 ,   p p .   5 4 7 0 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . c o g r. 2 0 2 3 . 0 4 . 0 0 1 .   [2 ]   M .   M .   T a y e ,   U n d e r s t a n d i n g   o m a c h i n e   l e a r n i n g   w i t h   d e e p   l e a rn i n g :   A r c h i t e c t u re s ,   w o rk f l o w ,   a p p l i c a t i o n s   a n d   f u t u r e   d i r e c t i o n s ,   Co m p u t e r s ,   v o l .   1 2 ,   n o .   5 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / c o m p u t e r s 1 2 0 5 0 0 9 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.