I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   14 ,   N o .   2 A ugus t   20 25 ,   pp.   684 ~ 707   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 14 i 2 . pp 68 4 - 707             684       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   A n  i n n ov at iv e  ap p r oac h  f o r  p r e d ic t i v e  m od e li n g a n d  st agi n g of   c h r on ic  k i d n e y  d is e ase       S af B ou gh ou gal 1 ,   M oh am e d   Rid d a   L aou ar 1 A b d e r r ah i m   S iam 2 ,   S e an   E om 3   1 L a b o r a t o r y   of  M a th e ma ti c s , I n f o r ma ti c s  a nd S y s t e ms  ( L A M I S ) , E c ha hi d C he ik L a r b T e be s s i   U ni v e r s it y T e b e s s a , A lg e r ia   2   K n o w le dg e   E ngi ne e r in g a nd C o mput e r   S e c ur it y   L a b o r a t o r y   ( I C O S I ) , U ni ve r s it y   of  A bbe s   L a ghr o u r K he n c h e la , A lg e r ia   3 D e pa r tm e nt   of  M a na ge me nt S o ut h e a s M is s o ur S ta te  U ni ve r s it y , C a pe   G i r a r d e a u, U S A       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is t or y :   R e c e i ve M a y   24,   2024   R e vi s e De c   16,   2024   A c c e pt e J a n   19,   2025       D i ag n o s i n g   s i l e n t   d i s e as e s   s u c h   as   ch ro n i k i d n ey   d i s e a s e   (C K D )   at   a n   e ar l y   s t ag e   i s   ch al l e n g i n g   d u e   t o   t h ab s e n ce  o s y m p t o m s ,   mak i n g   e ar l y   d e t ec t i o n   c ru ci al   t o   s l o w i n g   d i s e as e   p ro g r e s s i o n .   T h i s   s t u d y   a d d re s s e s   t h i s   ch al l e n g b y   i n t ro d u c i n g   a   n o v el   f e at u r e ,   t h e s t i m at e d   g l o me ru l ar   fi l t rat i o n   rat (e G FR),   c al cu l at e d   u s i n g   t h e   mo d i fi c at i o n   o d i e t   i n   r en al   d i s e as e   (M D RD )   fo rmu l a .   W e   en ri ch e d   o u d at as e t   b y   i n c o rp o rat i n g   t h i s   fe at u re,   e ff ec t i v e l y   i n c r e as i n g   t h e   v o l u me  o d at at   o u r   d i s p o s al .   e G FR   s e r v e s   as   a   c ri t i c a l   i n d i c at o fo d i a g n o s i n g   C K D   an d   as s e s s i n g   i t s   p ro g r e s s i o n ,   t h e r e b y   g u i d i n g   c l i n i c al   m an a g eme n t .   O u r   fo cu s   i s   o n   d e v el o p i n g   m a c h i n l e ar n i n g   an d   d ee p   l e ar n i n g   m o d e l s   f o r   th e   e ff i c i en t   an d   p reci s p red i c t i o n   o C K D .   T o   en s u r t h r e l i ab i l i t y   o o u r   ap p ro ach ,   w em p l o y ed   ro b u s t   d at co l l ec t i o n   a n d   p re p ro ce s s i n g   t e ch n i q u e s ,   r e s u l t i n g   i n   r e fi n ed   i n f o rm at i o n   f o m o d e l   t rai n i n g .   O u r   me t h o d o l o g y   i n t eg rat e s   v ar i o u s   m a c h i n l e ar n i n g   an d   d ee p   l e ar n i n g   m o d e l s ,   i n cl u d i n g   fo u m a ch i n e   l e arn i n g   al g o r i t h m s a d ap t i v b o o s t i n g   ( A d aBo o s t ) ran d o m   fo r e st   (RF) ,   Bag g i n g ,   an d   art i fi ci al   n e u ra l   n e t w o rk   (A N N ) as   w el l   as   a   h y b r i d   m o d e l .   O u p ro p o s e d   A N N _ A d aB o o s t   mo d e l   n o t   o n l y   i n t ro d u ce s   a   n o v el   p e r s p ec t i v b y   a d d re s s i n g   an   i d e n t i f i e d   g ap   b u t   s i g n i f i c an t l y   en h a n ce s   C K D   p red i c t i o n .   K e y w o r d s :   C h r o ni c   k i d ne y   d i s e a s e   C l a s s if i c a t i o n   m o de l s   E s t i m a t e gl o m e r u l a r   F il t r a t i o n   r a t e   M o di f i c a t i o n   o f   d i e t   i n   r e na l   d i s e a s e   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   S a f a   B o ugh o uga l   L a b o r a to r y   o f   M a t he m a t i c s ,   I nf o r m a t i c s   a n S y s t e m s   ( L AM I S )   E c h a hi C h e i k h   L a r bi   T e b e s s i   U ni ve r s i t y   T e b e s s a ,   Al ge r i a   E m a i l s a f a . b o ugh o uga l @ u ni v - t e b e s s a . dz       1.   I NT RODU C T I ON   C h r o ni c   k i d n e y   d i s e a s e   ( C K D)   r e pr e s e n t s   a   s i g nif i c a n t   gl o b a l   h e a l t h   c h a ll e n ge ,   c ha r a c t e r i z e by   a   gr a dua l   l o s s   o f   k i d n e y   f u n c t i o n   o v e r   t i m e .   On e   o f   t h e   l e a d i ng  c o n t r i b ut o r s   to   C K i s   d i a b e t e s   m e ll i t us ,   a   c o n d i t i o n   a f f e c t i n a ppr o xim a t e l y   422  m il li o pe o pl e   wo r l d w i d e ,   a c c o r di n t t h e   W o r l d   He a l t Or ga ni z a t i o n   ( W HO )   [ 1] .   P r o l o n ge hy pe r g ly c e mi a   a s s o c i a t e w i t h   d i a b e t e s   c a n   da m a ge   vi t a or ga n s ,   i nc l ud i ng  t h e   k i d n e y s ,   e y e s ,   he a r t ,   n e r v e s ,   a n bl o o v e s s e l s   [ 2] .   C KD   f r e que n t l y   m a nif e s t s   a s   a   c o m p li c a t i o n   i n   i nd i v i dua l s   w i t h   d i a be t e s ,   wi t h   a   m a j o r i t y   e x pe r i e n c i ng  t hi s   c o n d i t i o n   dur i n t h e i r   l if e t i m e   [ 3] .   T h e   m e t a b o l i c   c o n s e que nc e s   o f   d i a b e t e s   pl a y   a   s i g nif i c a n t   r o l e   i n   t h e   de v e l o p m e n t   o f   C K D,   m a k i n i t   o n e   o f   t h e   pr i m a r y   c a us e s   o f   k i d n e y   da m a ge .   A ppr o xim a t e l y   40%   o f   d i a b e t i c   pa t i e n t s   de v e l o C KD ,   a   s i l e n t   y e t   p ot e n t i a l ly   f a t a l   c o n d i t i o n   t h a t   c o m m o nl y   a f f li c t s   a du l t s ,   pa r t i c u l a r l y   t h o s e   w i t h   c o m o r bi d i t i e s   s uc h   a s   d i a be t e s   or   hy pe r t e n s i o n   [ 4] .   D i a g n o s i s   a n a s s e s s m e n t   o f   C K s e v e r i t y   o f t e r e l y   o n   pa r a m e t e r s   s uc h   a s   e s t i m a t e gl o m e r u l a r   f i l t r a t i o n   r a t e   ( e GF R ) ,   t h e   pr e s e n c e   o f   a l bu mi nur i a ,   a ge ,   di e t a r y   h a bi t s ,   a n u n de r lyi ng  h e a l t h   c o n d i t io n s   l i ke   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         A innovative   appr oac f or   pr e dictive   mode li ng  a nd  s tagi ng  o f   c hr onic  k idney   dis e as e   ( Saf B ougho ugal )   685   d i a b e t e s   a n hy pe r t e n s i o n   [ 5] .   N ot a bl y ,   e GFR   i s   a   c r i t i c a l   i nd i c a t o r   o f   k i d n e y   f u n c t i o n   a n i s   c a l c u l a t e b a s e o n   v a r i o us   f a c t or s ,   i n c l ud i ng  bl o o c r e a t i ni ne   l e v e l s ,   a ge ,   a n s e x   [ 6] .   C K d i a g n o s i s   t y p i c a ll y   i nv o l ve s   i de n t i f y i ng  c o n s i s t e n t   i n c r e a s e s   i n   ur i na r y   a l bu mi n   e x c r e t i o n   ( a l b u mi nur i a ) ,   di mi n i s he e GFR ,   o r   ot h e r   s i g n s   i n d i c a t i n ki dn e y   i m pa i r m e n t   [ 7] .   L a b or a tor y   t e s t s   a s s e s s i n g   ki dn e y   f un c t i o n ,   s uc h   a s   e l e v a t e d   c r e a t i ni n e   a n bl ood   u r e a   l e v e l s   a s   we l l   a s   a n e m i a   du e   to  r e d uc e d   r e d   bl ood   c e l l   c oun t,   c o n tr i b u t e   to  di a gn o s t i c   e v a l ua t i on   [ 8 ] .   T h e   s i l e n t   pr o g r e s s i o n   o f   C K po s e s   c h a l l e n g e s   i n   e a r l y   de t e c t i o n ,   o f t e n   l e a d i ng  to  a dv a n c e s t a ge s   w i t h   de bil i t a t i n c o ns e que n c e s .   P a t i e n t s   w i t h   C KD ,   e s pe c i a ll y   t h o s e   w i t h   c o nc o m i t a n t   d i a b e t e s ,   f a c e   n u m e r o us   c o m p li c a t i o n s   t h a t   n e c e s s i t a t i n m e t i c u l o us   m a n a ge m e n t   a n po t e n t i a ll y   r e gu l a r   d i a ly s i s   [ 9] .   T h e   e c o n o m i c   b ur de n   a s s o c i a t e w i t h   m a na g i n b o t h   d i a b e t e s   a n C K e s c a l a t e s   due   to  e x pe n s e s   i nc u r r e f o r   m e d i c a t i o ns   a n t r e a t m e n t s ,   s i g nif i c a n t l y   im pa c t i ng  pa t i e n t s   qua l i t y   o f   l if e .   E a r l y   de t e c t i o n   o f   C K a m o n d i a be t i c   i nd i v i dua l s   e na bl e s   t i m e ly   i n t e r v e n t i o ns   t m i t i ga t e   d i s e a s e   pr o g r e s s i o n ,   t h e r e by   mi n im i z i ng  c o m p li c a t i o ns   a nd  s us t a i ni ng  a   b e t t e r   qua l i t y   o f   l if e   [ 10] .   F ur t h e r m o r e ,   e a r ly   d i a g n o s i s   a i d s   i n   a ve r t i n c o m p li c a t i o ns   s uc h   a s   e n d - s t a ge   r e n a l   d i s e a s e   a n c a r d i o v a s c u l a r   d i s o r de r s .     T o   a dd r e s s   t h e   i m pe r a t i v e   n e e f o r   e a r l y   de t e c t i o n ,   s o phi s t i c a t e a ppr o a c h e s   s uc h   a s   a r t i f i c i a l   i n t e l li ge n c e   o f f e r   pr o m i s i ng  s o l ut i o ns   [ 11] .   I n   t hi s   s t ud y ,   o ur   pr i m a r y   o bj e c t i v e   i s   t o   i n t r oduc e   a n   i n t e l li ge n t   a ppr o a c h   f o r   pr e di c t i n a nd   d i a g n o s i n C K D .   I n s t e a o f   l i mi t i ng  o ur s e l v e s   to  a n   i nn o v a t i v e   m a c hi ne   l e a r ni ng  a n de e l e a r ni n m o de l ,   we   de l i be r a t e l y   o pt e f o r   a n   a ppr o a c h   t h a t   i n t e l li g e n t l y   l e v e r a ge s   da t a   f o r   m o r e   e f f i c i e n t   a n a c c ur a t e   d i s e a s e   pr e d i c t i o n .   Our   m e t h o do l o g y   b e g i ns   w i t h   a   t h o r ough   e x p l o r a t i o n   v a r i o us   a n a ly t i c a l   t e c hni que s ,   c u l mi na t i n g   i e n r i c hi ng  o ur   da t a s e t.   S pe c i f i c a ll y ,   we   e n r i c h e o ur   da t a s e by   i nc o r po r a t i n t h e   e G F R   a t tr i b ut e ,   a   pr e vi o us ly   i d e n t i f i e a s p e c t   f o r   f ut ur e   w o r k   i n   pr e vi o us   s t ud i e s ,   whi c h   we   a c c o m p l i s he d.   T hi s   a dd i t i o n   e nh a nc e s   o ur   da t a s e t s   c o m pr e h e n s i ve ne s s   a n im pr o v e s   a s p e c t   f o r   f ut ur e   w o r by   i n c o r po r a t i n g   a   c r uc i a l   bi o m a r ke r   f o r   C K d i a g n o s i s .   W e   c a l c u l a t e t h e   e GF R   us i ng  t h e   m o d i f i c a t i o n   o f   d i e t   i n   r e n a di s e a s e   ( M DR D )   f o r m u l a ,   w hi c h   i s   r e n o wn e f o r   i t s   a pp l i c a bil i t y   i n   a ppr o xi m a t i n t h e   g l o m e r u l a r   f il t r a t i o n   ( GFR )   r a t e   of   t h e   k i d n e y .   W e   t h e n   c o n duc t ed   a   c o m pr e he ns i ve   a n a ly s i s   o f   s p e c i f i c   r i s f a c t o r s   f o r   C K D   wi t hi n   t his   pa r t i c u l a r   g r o up .   T h e   i n c l us i o n   o f   t h e   e G F R   i n d ica to r   i n   o ur   da t a s e c o n s t i t u t e s   a   s i g ni f i c a n t   b r e a kt h r o ugh ,   r e c o gni z e a s   a   c r uc i a l   y e t   n e g l e c t e f a c t or   i n   pr e vi o us   r e s e a r c h   o n   p r e d i c t i n C K D .   T hi s   i n d ica to r   i s   e s s e n t i a l   f o r   d i a g n o s i n t h e   pr e s e n c e   o f   C K a n c o n t r i b ut e s   to   de t e r m i ni ng  i t s   s t a ge   o f   pr ogr e s s i o n ,   a s s i s t i n c li n i c i a n s   i n   p l a nni ng  a ppr o pr i a t e   tr e a tm e n t .   T o   e n h a nc e   t h e   a c c ur a c y   o f   o ur   pr e di c t i o n s ,   we   a do p t e a n   i n t e l li ge n t   a ppr o a c h   by   us i ng  r i go r o us   t e c hni que s   s uc h   a s   l e a s t   a b s o l ut e   s h r i n k a ge   a n s e l e c t i o n   o pe r a to r   ( L A S S O )   f o r   f e a t ur e   s e l e c t i o n   a n pr i n c i pa l   c o m po n e n t   a n a ly s i s   ( P C A )   f o r   di m e ns i o na l i t r e duc t i o n .   W hil e   pr e vi o us   s t ud i e s   h a v e   e x p l o r e m a c hi ne   l e a r ni ng  a n de e l e a r ni ng  m o de l s   f o r   C K D   pr e d i c t i o n ,   m a ny   h a v e   n o t   e x p l i c i t ly   a ddr e s s e t h e   i n t e gr a t i o n   o f   c r uc i a l   bi o m a r ke r s   s uc h   a s   t h e   e GF R ,   de s p i t e   i t s   r e c o gni z e i m po r t a n c e   i n   C K d i a g n o s i s   a n s t a g i n g.   A dd i t i o n a ll y ,   pr i o r   r e s e a r c h   o f t e f o c us e o n   us i n t h e   s a m e   da t a s e t   f o r   t r a i ni ng,   t e s t i n g,   a nd  v a li da t i o n ,   whi c h   li mi t s   t h e   ge n e r a li z a bil i t y   o f   t h e   r e s u l t s   Unli ke   m a ny   pr e vi o u s   s t udi e s ,   whi c h   r e l i e o n   u s i n t h e   s a m e   da t a s e t   f o r   t r a i ni ng,   t e s t i n g,   a n v a li da t i o n ,     o ur   a pp r o a c h   e v a l ua t e s   t h e   m o de l s   a bil i t y   t o   ge n e r a li z e   t o   n e da t a ,   c o nf i r m i ng  t h e   va l i d i t o f   o ur   c o n c l u s i o n s   a n c o n t r i b ut i n to   m o r e   r e l i a bl e   C KD   pr e di c t i o n .   I n   t h i s   p a pe r ,   w e   e x t e n d   ou r   i n v e s t i ga t i o n   by   v a l i da t i n m o de l   r e s u l t s   us i n g   a   s e c o n d   di s t i n c t   da tas e to   e n s u r e   t h e   r e l i a bi l i t y   a n d   r ob us t n e s s   o f   our   r e s ul t s .   T hi s   d e c i s i o n   i s   m ot i v a ted   by   p r e vi o us   f i n d i n gs   i n di c a t i n g   th a m a ny   p r i or   s tu d i e s   h a v e   r e l i e d   s o l e l y   o n   a   s i n g l e   da tas e f or   m o d e l   tr a i ni n g,   tes t i n g,   a n d   v a l i da t i o n ,   whi c h   m a y   p oten t i a l l y   l i mi t h e   ge n e r a l i z a bi l i t y   o f   t h e   r e s u l t s .   B y   u t i l i z i n a   s e p a r a te   da tas e f o r   tes t i n g ,   we   a i m   to  a s s e s s   t h e   a bi l i t y   o f   ou r   m ode l s   to  g e n e r a l i z e   to  n e d a ta   a n d   c o n f i r m   t h e   v a l i d i t y   o f   ou r   c o n c l us i o n s .       2.   RE L AT E WORK   T h e   us e   o f   m a c hi ne   l e a r ni ng  a l go r i t hm s   f o r   c h r o ni c   d i s e a s e   pr e di c t i o n   ha s   b e c o m e   i n c r e a s i ng ly  im po r t a n t   i n   r e c e n t   y e a r s   be c a u s e   o f   t hi s   d i s e a s e s   e f f e c t i v e   pr e d i c t i o n   a n i m pr o v e a c c ur a c y   [ 12] .   Ani   e al.   [ 13]   de v e l o pe a   de c i s i o n   s uppo r t   s y s t e m   f o r   c l i n i c i a ns   b a s e o n   m a c hi ne   l e a r ni ng  m o de l s L D A   c l a s s if i e r ,   n e ur a l   n e t wo r k   ( NN ) - b a s e ba c pr o pa ga t i o n   ( B P N) ,   pr o b a bil i t y - ba s e Na i ve   B a y e s ,   r a n do m   s ubs pa c e   c l a s s if i c a t i o n   a l go r i t hm s ,   de c i s i o n   t r e e   ( DT ) ,   a n K - n e a r e s t   n e i g hb o r   ( K NN )   to   pr e di c t   C KD .   Af t e r   e v a l ua t i n t h e   a c c ur a c y   r e s u l t s ,   t h e   r a n do m   f o r e s t   ( R F )   m o de l   a c hi e ve t h e   hi g h e s t   a c c ur a c y   o f   94% ,   whi l e   t h e   L D A   m o de l   ha a n   a c c ur a c y   o f   76% .   P r e di c t i ve   m o de l s   a r e   de ve l o pe a n c o m pa r e f o r   e a r l y   pr e d i c t i o o f   C K us i ng  bi o c he m i c a l   a n a ly s e s .   X i o a   e al .   [ 14]   e m p l o y e ni ne   m a c hi ne   l e a r ni ng  a l go r i t hm s :   l o g i s t i c   r e gr e s s i o n   ( L R ) ,   E l a s t i c   Ne t ,   L A S S O   r e gr e s s i o n,   r i dg e   r e gr e s s i o n ,   s uppo r t   v e c tor   m a c hi ne   ( S VM ) RF XG B o o s t,   NN ,   a n K NN   o n   a   da t a s e t   o f   551  pa t i e n t s .   E l a s t i c   Ne t ,   L A S S O   r e gr e s s i o n ,   r i dg e   r e gr e s s i o n ,   a n d   LR   yi e l de t h e   b e s t   r e s u l t s   w i t h   a c c ur a c i e s   o f   0. 82  a n 0. 81,   r e s pe c t i v e ly .   H a s s a n   e t   a l .   [ 15 ]   p r op o s e a   m o de l   th a c a n   p r e di c pa t i e n t s   wi t h   e a r l y - s t a ge   C K D   by   u t i l i z i n g   t h e   s e v e n   m o s r e l e v a n f e a tu r e s :   h e m o,   s g,   p c v ,   a l ,   p e ,   s e ,   a n d   pb ,   us i n t h e   XG B oos f e a tu r e   s e l e c t i o n   te c h ni qu e   b a s e o n   X GB oos t.   Ha s s a n   e a l .   [ 15 ]   a ppl i e f i ve   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,   Vo l .   14 ,   N o.   2 A ugus t   20 25 684 - 707   686   m a c hi n e   l e a r ni n g   m ode l s ,   NN RF S VM r a n d o m   tr e e ,   a n d   B a ggi n g   tr e e   m o de l ,   to  th e i r   X GB oos t - b a s e d   d a tas e t   to  f i n t h e   b e s p r e d i c t i v e   m o de l .   T h e   S V M   m ode l   a c hi e v e d   t h e   hi gh e s a c c u r a c y   o f   10 0 %   f or   t h e   s e v e n   r e l e v a n t   f e a tur e s ,   whi l e   t h e   NN   m o de l   a c hi e v e d   10 0 %   a c c u r a c y   o n   t h e   e n t i r e   UC I   m a c hi n e   l e a r ni n r e p os i tor y   da tas e t.     T i m pe de   o r   a r r e s t h e   pr o gr e s s i o n   o f   C K D,   B a i d y a   e al.   [ 16]   e m p l o y e a   s e t   o f   t we l v e   m a c hi ne   l e a r ni ng  c l a s s i f i e r s ,   e n c o m pa s s i ng  a da pt i v e   b o os t i n ( A da B o o st ) DT ,   XG B oo s t ,   C a t B oo s t ,   KN N,   RF Gr a d i e n t   b o o s t i n g,   S to c h a s t i c   gr a d i e n t   b o o s t i n g,   l igh t   gr a d i e n t   b o o s t i n m a c hi ne   ( L G B M ) ,   E x t r a   t r e e ,   S VM a n a r t i f i c i a l   n e ur a l   n e t wo r k   ( A NN ) .   T h e s e   c l a s s if i e r s   un de r we n t   t r a i ni ng  o n   t e n   c r uc i a l   f e a t ur e s ,   n a m e ly  h e m o g l o bi n ,   s pe c if i c   gr a vi t y ,   a l bu m i n,   s uga r ,   r a ndo m   bl o o gl u c o s e ,   s e r u m   c r e a t i ni ne ,   pot a s s i u m ,   pa c ke d   c e l l   v o l u m e ,   whi t e   a n r e bl o o c e l l   c o un t ,   a n d i a b e t e s   m e l li t u s .   T h e   f e a t ur e   s e l e c t i o n   m e t h o us e wa s   P C A .   Not a bl y ,   t h e   XG B oo s c l a s s i f i e r   de m o ns t r a ted  a n   i m pr e s s i ve   a c c ur a c y   o f   98%   i n   t h e   e a r l y   d e tec t i o n   o f   C KD .   T h e   a ppr o a c h   o f   B a i d y a   e al .   [ 16]   hi g hli g h ts   t h e   e f f e c t i ve n e s s   o f   m a c hi ne   l e a r ni ng  m o de l s   i n   th e   e a r ly  de t e c t i o n   o f   C K D ,   c a r r y i ng  s u b s t a n t i a l   im p li c a t i o ns   f o r   t h e   t i m e ly   m a na ge m e n t   a n t r e a t m e n t   o f   t hi s   d i s e a s e .   T h e   o u t c o m e s   o b t a i n e e m p h a s i z e   t h e   s i g nif i c a n c e   o f   f e a t ur e   s e l e c t i o n   a n t h e   ut i li z a t i o n   o f   a dv a n c e m a c hi ne   l e a r ni ng  t e c h ni qu e s   to   e n h a n c e   t h e   pr e c i s io n   o f   C K D - r e l a t e pr e di c t i o ns .     T p r e di c t   wh e t h e r   a   pe r s o n   h a s   C K D   o r   n ot,   C h i t t or a   e t   al .   [ 17]   a ppl i e s e v e n   m a c hi ne   l e a r ni n g   c l a s s if i e r s ,   i n c l ud i ng  A NN ,   C 5. 0,   C hi - s qua r e   A ut o m a t i c   i n t e r a c t i o n   de t e c to r ,   LR ,   l i ne a r   S VM   w i t pe n a l t L &   L 2,   a n r a n do m   tr e e ,   o n   t h e   C K D   da t a s e f r o m   t h e   UC I   m a c hi ne   l e a r ni ng  r e p o s i t o r y .   T h e y   a ppl i e d   t h r e e   f e a t ur e   s e l e c t i o n   t e c h ni que s   f o r   e a c h   c l a s s if i e r c or r e l a t i o n - b a s e f e a t ur e   s e l e c t i o n ,   wr a ppe r   m e t h o f e a t ur e   s e l e c t i o n ,   a n L A S S O   r e gr e s s i o n .   Af t e r   c o m pa r i ng  t h e   r e s u l t s ,   C hi t t or a   e al .   [ 17]   f o un t h a t   t h e   L S VM   c l a s s if i e r   w i t h   L pe n a l t y   a c hi e v e t h e   hi g h e s t   a c c ur a c y   o f   98. 86%   wi t h   a l l   f e a t ur e s   i n c l ude d .   Ya s hf e al.   [ 18]   pr o p o s e d   a   s y s t e m   f o r   pr e di c t i n C K D   b a s e o n   m a c hi ne   l e a r ni ng  a l go r i t hm s   s uc h   a s   AN a n d   RF .   T h e y   ut i li z e t h e   C hi - S qua r e   T e s t   to   e x tr a c th e   m o s t   s i g ni f i c a n t   f e a t ur e s .   T h e   RF   a l go r i t hm   a c hi e v e a a c c ur a c y   o f   97. 12% .   C K i s   pr e v a l e n t   a n d i f f i c u lt   to   di a g n o s e   e a r l y   due   to   i t s   a s y m pt o m a t i c   na t ur e .   P a l   [ 19]   f o c us e s   o n   de v e l o p i ng  a   m a c hi ne   l e a r ni ng  m o de l   f o r   C K D s   e a r l y   de t e c t i o n .   T h e   pr o p o s e a ppr o a c h ,   i n t e gr a t i n b a s e li ne   c l a s s i f i e r s   w i t h   a   m a j o r i t y   v o t i n m e t h o d,   a c hi e v e a   3%   a c c ur a c y   i nc r e a s e   o v e r   e xi s t i ng   m o de l s .   Ut i li z i ng  da t a   m i n i ng  t e c hni que s ,   t h e   m o de l   i nv o l ve s   t h r e e   s t e ps c l a s s if i c a t i o n   b a s e o n   c a t e g o r i c a l   a tt r i b ut e s ,   n o n - c a t e g o r i c a l   a t t r i b ut e s ,   a n a   c o m bi n e a ppr o a c h .   M a c hi ne   l e a r ni ng  c l a s s if i e r s   s uc h   a s   S VM RF ,   a n A NN   we r e   e v a l ua t e d.   T h e i r   pe r f o r m a n c e s   y i e l de a c c ur a c i e s   o f   91% ,   93% ,   a n 89% ,   r e s p e c t i v e ly ,   hi g hli g h t i n t h e i r   e f f e c t i v e ne s s   i n   C K c l a s s if i c a t i o n .   R a hm a n   e al.   [ 20]   a dd r e s s e C K d i a g n o s i s ,   f o c us i n o n   S o u t h   A s i a s   h e a l t h   c h a ll e n g e s .   E m p l o yi ng  e i g h t   e n s e m bl e   l e a r ni ng  m e t h o ds ,   i n c l ud i ng  L i g h t GB M ,   t h e y   o p t i mi z e c l a s s if i e r   pe r f o r m a n c e   us i ng  M I C E   i m p ut a t i o n   f o r   m i s s i ng  va l ue s   a n d   B o r de r l i ne - S M OT E   f o r   da t a   b a l a n c e .   R e c ur s i ve   f e a t ur e   e l i mi na t i o n   a n b o r ut a   we r e   i ns t r um e n t a l   i n   s i g ni f i c a n t   f e a t ur e   s e l e c t i o n .     T h e   pr o p o s e m e t h o a c hi e v e a n   o u t s t a n d i n a ve r a ge   a c c ur a c y   o f   99. 75% ,   de m o ns t r a t i n i t s   e f f e c t i v e n e s s   f o r   pr e c i s e   C K d i a g n o s i s .   T h e   s t udy   o f   R a hm a n   e al.   [ 20]   uni que ly   c o m bi ne e n s e m bl e   m e t h o ds ,   s h o wc a s i ng  a d v a n c e m e n t s   n o e x p l o r e c o l l e c t i v e ly   b e f o r e .   E x pe r i m e n t s   o n   t w da t a s e t s   v a l i d a t e d   t h e   m o de l s   e f f i c i e nc y   a n c o n t r i b ut e n o v e l   s t r a t e g i e s   to   C K a n a ly s i s .   F o r   pr e c i s e   i de n t i f i c a t i o n   o f   C K D,   Gh o s h   e al.   [ 21]   e m p l o y e a d v a n c e t e c hni que s   s uc h   a s   S VM ,   A da B o o s t ,   l i ne a r   d i s c r i mi na n t   a n a ly s i s   ( L DA ) ,   a n gr a d i e n t   b oo s t i n ( GB o o s t ) .   T h e y   ut i li z e da t a   c o l l e c t e f r o m   t h e   UC I   r e po s i t or y   f o r   t h e i r   a n a ly s i s .   Not a bl y ,   t h e   GB oo s m o de l   a c hi e v e a o u t s t a n d i n a c c ur a c y   o f   99. 80% ,   o u t pe r f o r m i n t h e   o t h e r   m o de l s   e m p l o y e i n   t h e   s t ud y .   Na va n e e t h   a nd   S uc h e t h a   [ 22]   us e a n   i nn o va t i ve   hy br i de e l e a r ni ng   n e t wo r k   c o m pr i s i ng  a   c o n v o l ut i o na l   n e ur a l   n e t wo r k   ( C NN )   c l a s s if i e r   a n S VM ,   whi c h   i s   i n t r o duc e to   o v e r c o m e   c h a ll e n g e s   f a c e by   c o nve n t i o na l   d a t a   c l a s s if i c a t i o n   n e t wo r ks .   T h e   n e t wo r i n c o r po r a t e s   a   d y n a mi c   c l u s t e r i n a ppr o a c h   a n a   f e a t ur e - pr uni n a l go r i t hm   to   s e l e c t   t h e   m o s r e l e v a n t   a tt r i b ut e s   f o r   t h e   c l a s s if i c a t i o n   t a s k.   T h e   u r e a   c o n c e n t r a t i o n   i n   s a l iv a   s a m p l e s   i s   e x a mi ne f o r   di s e a s e   de t e c t i o n ,   a nd  a   n o v e l   de t e c t i o n   m o du l e   i s   de v e l o pe t t e s t   t h e   s a m p l e s .   T h e   C NN - S VM   o u t pe r f o r m e t h e   t r a di t i o na l   C N m o de l ,   a c hi e vi ng  a n   a v e r a ge   a c c ur a c y   o f   96. 51% .   F o r   e f f e c t i ve   de t e c t i o n   o f   C KD ,   E bi a r e do h - M i e ny e   e al .   [ 23]   i n t r o duc e a   c o s t - s e n s i t i ve   A da B o o s t   c l a s s if i e r   wi t h   a   f e a t ur e   s e l e c t i o n   s t r a t e g y   b a s e o n   i nf o r m a t i o n   ga i n .   T hi s   a ppr o a c h   e x pe d i t e a n e c o n o m i z e C K s c r e e ni ng,   a s   o nl y   a   s m a ll   s u bs e t   o f   c l i n i c a l   t e s t   pa r a m e t e r s   wa s   r e qu i r e f o r   a c c ur a t e   i n t e r pr e t a t i o n .   T h e   m e t h o do l o g y   wa s   c o m pa r e w i t h   ot h e r   a ppr o a c h e s ,   in c l ud i ng  c l a s s if i e r s   s uc h   a s   l o g i s t i c   r e gr e s s i o n ,   DT RF S VM ,   XG B oo s t,   a n t h e   t r a di t i o n a l   A da B o o s t   f o r   C K pr e d i c t i o n .   W i t h   a   r e duc e s e t   o f   f e a t ur e s ,   t h e   A d a B o o s t   a ppr o a c h   o u t pe r f o r m e o t h e r   c l a s s i f i e r s   i n   t e r m s   o f   a c c ur a c y ,   a c hi e vi ng  9 9. 8% .   E x pe r i m e n t a l   r e s u l t s   d e m o ns t r a t e t h e   po s i t i v e   i m p a c t   o f   f e a t ur e   s e l e c t i o n   o n   t h e   e f f i c i e nc y   o f   d i f f e r e n t   c l a s s if i e r s .   Our   s t udy   ut i li z e s   f o ur   m a c hi ne   l e a r ni n c l a s s i f i e r s t h e   B a gg i n c l a s s if i e r ,   A da B o o s t,   RF ,   a n d   A NN .   W hi l e   n u m e r o us   s t udi e s   h a v e   e x p l o r e m a c hi ne   l e a r ni ng  m o de l s ,   m o s t   h a ve   f o c us e o n   e nh a n c i n g   e xi s t i n da t a s e t s   wi t h o ut  e x p l o r i n n e pe r s pe c t i v e s   i n   o ur   r e s e a r c h   do m a i n .   F ur t h e r m o r e ,   o ur   i nn o v a t i v e   c o n t r i b ut i o n   l i e s   i n   e nh a nc i n pr e d i c t i v e   m o de l in c a pa bi li t i e s   by   i n t r o duc i n a   c r uc i a l   f e a t ur e   th e   GFR e s s e n t i a l   f o r   di a g n o s i ng  a n pr e d i c t i n t h e   s t a ge   o f   C K D.   Unli ke   t r a di t i o n a l   a ppr o a c h e s   a pp l yi n A I   o r   m a c hi ne   l e a r ni ng  m o de l s   t o   da t a s e t s   c o m m o n   t a l l   s t ud i e s ,   o ur   n o v e l   a ppr o a c h   f il l s   a n   i d e n t i f i e ga i Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         A innovative   appr oac f or   pr e dictive   mode li ng  a nd  s tagi ng  o f   c hr onic  k idney   dis e as e   ( Saf B ougho ugal )   687   pr e vi o us   r e s e a r c h .   T o   b o l s t e r   t h e   r e l e v a nc e   o f   o ur   m o de l ,   we   i m p l e m e n t e t w o   f e a t ur e   s e l e c t i o n   m e t h o ds P C A   a n L A S S O .   T hi s   a ppr o a c h   a i m s   t i m pr o v e   a c c ur a c y   by   i d e n t i f yi ng  t h e   m o s t   i nf o r m a t i v e   f e a t ur e s   f o r   m o de li ng,   t h e r e by   e nha n c i ng  t h e   r o b us t n e s s   o f   o ur   a pp r o a c h .   I m pr o vi ng  t h e   da t a s e r e qui r e s   e f f e c t i v e   pr e pr o c e s s i ng,   a n to   e n s ur e   t h e   v a l i d i t y   o f   o ur   r e s u l t s ,   we   a l s o   e m p l o y e a   s e pa r a t e   t e s t   da t a s e t.   M o r e o v e r ,   hy br i m e t h o ds   i n   o ur   s t udy   a im   t o   o p t i m i z e   t h e   m o de l i ng  pr o c e s s ,   e n s ur i n a   r o b us t   a n ge ne r a l i z a bl e   a ppr o a c h .   B y   pr o vi d i ng   a   u ni que   pe r s pe c t i ve   to   e n h a n c e   pr e d i c t i v e   a c c ur a c y   i n   C K D ,   o ur   r e s e a r c h   o pe ns   ne w   a v e n u e s   f o r   a dv a nc i n m o de li ng  i n   t hi s   s pe c i f i c   d o m a i n .   T a bl e   1   pr o vi de s   a   s u mm a r y   o f   ke y   s t ud i e s   o n   C K D   pr e d i c t i o n   us i ng  m a c hi ne   l e a r ni ng  a l go r i t hm s .   I t   hi g hli g h t s   t h e   da t a s e t s   us e d,   t h e   m o de l s   a pp l i e d,   a n t h e   f e a t ur e   s e l e c t i o n   m e t h o ds   e m p l o y e d.       T a bl e   1 .   S um m a r y   o f   pr e vi o u s   s t udi e s   c o m pa r i s o n   P r e v i o us   s tu di e s   D a ta s e t   M o de ls   F e a tu r e  s e l e c ti o n   me th o ds   A c c u r a c y   L im it a ti o n   A ni   e al .   [ 13]   U C I   L D A   c la s s if ie r , N N - ba s e d ba c k pr o pa ga ti o ( B P N ) , N a i ve   B a y e s R F , D T , a nd  K N N   _   76% ,81% ,78% ,94% ,   93% , a nd 90%   T h e  a ut h o r s  di d n o us e   f e a tu r e  s e l e c ti o me th o ds , a nd t he y  di d n o us e  da ta   pr e pr oc e s s in g t o  i mp r ove  a c c ur a c y .   X io a   e al .   [ 14]   551  pa ti e nt da ta s e ts   L R E la s ti c  N e t,   L A S S O   r e gr e s s io n,  r id g e   r e gr e s s io n,  S V M , R F X G B oo s t,  N N , a nd  K N N   _   82% ,82% ,81% ,81% , 81% 80% ,83% ,80  a nd 74%   N o   f e a t ur e  s e l e c ti o n m e th o d w a s  us e d i th is  w o r k t o  i mp r ov e  a c c ur a c y .   H a s s a e al .   [ 15]   U C I   N N , R F , S V M , R T B T M   X G B oo s t   97.5% ,98.75% ,100 % ,96,25% ,97.5%   T h e  a ut h o r s  us e o nl y  7  f e a tu r e s   B a id y a   e al .   [ 16]   U C I   A D B ,D T ,X G B ,C a tB oo s t ,K N N ,R F ,E T , G N B   _   94% ,95% 95% ,98% , 99% ,95% ,99% ,   96%   T h e   r e s e a r c h e r s  di d n o us e  a n y   f e a tu r e   s e le c ti o m e th o ds  t o  i mpr ove  t h e   a c c u r a c y  a nd  e f f i c i e n c y   of  t h e  ma c hi ne   le a r ni ng m o d e ls .   C hi tt o r a   e al .   [ 17]   U C I   A N N , C 5.0, C H A I D L R L S V M _ L 1, L S V M _ L 2 ,R T , K N N   L A S S O ,W r a ppe r , C F S   90,2% ,88,29% ,97,0 7% ,74,15% ,97,07% , 97,07% ,88,78% ,56, 59   ( w it L A S S O )   W hi le  t hi s  s tu d y   e mpl oy e d t hr e e   f e a tu r e   s e le c ti o n t e c hni qu e s  ( c or r e la ti o n - ba s e d,  W r a ppe r  m e th o d, a nd  L A S S O   r e gr e s s io n ) o th e r  p o t e nt ia ll y   e f f e c ti ve   me th o ds  w e r e  n o e x pl or e d.   Y a s hf e al .   [ 18]   U C I   A N N , R F   C hi - S qua r e   94,5% ,97,12%   T h e   r e s e a r c h d oe s  n o in c lu d e   pe r f or ma nc e  r e s ul ts  a f te r  ut il i z in g t h e   c hi - s qua r e   f e a tu r e  s e l e c ti o n m e th o d;   a c c u r a c y  r e s ul ts  a r e   o n 24  f e a tu r e s .   P a [ 19]   U C I   S V M RF , a nd  ANN k   _     91% , 93% , a nd  89% ,   N o   f e a tu r e  s e l e c ti o n m e th o ds  w e r e  us e in  t hi s  r e s e a r c h.   R a hma e al .   [ 20]   U C I   R F , V o ti ng,  B a ggi ng,  A da B oo s t,   G B D T X G B oo s t,   L ig ht G B M a nd S ta c ki ng   B o r ut a  a nd R F E   96,15% ,100% ,98,07 % ,100% ,98,07% ,   96,15% ,98,07%  a nd  100%   T h is  s tu d y  l a c ks  i ndi c a ti o o r  m e nt i o of  t h e   f e a tu r e s  s e l e c t e d b y  t he  R F E  a nd  B o r ut a  m e th o ds T hi s  l a c of   tr a ns pa r e nc y  hi nd e r s  a  t ho r o ugh  unde r s ta ndi ng  of  t h e  s e l e c ti o n pr oc e s s li mi ti ng t r a ns pa r e n c y  a nd r e s ul in te r p r e ta ti o n.   G h o s e al .   [ 21]   U C I   S V M , A da B oo s t,   L D A a nd G B oo s t   _   99,56% ,97,91% ,97, 91% 99,8%   N o   f e a tu r e  s e l e c ti o n m e th o ds  w e r e   e mpl oy e d i n t hi s  s tu d y , w hi c h ma y  l e a to  l e s s  e f f ic i e nt  m o d e ls .   N a v a ne e th   a nd  S uc h e th a   [ 22]   172   pa r ti c ip a nt s   C N N  c la s s if i e r , S V M a nd C N N - S V M     pr uni ng   87,32% ,95,01%  a nd  96,12%   I n t hi s  s tu d y , ut il i z in g a  s ma ll  da ta s e ( 172 pa ti e nt s )   c o mpr o mi s e s  t he   ge n e r a li z a ti o of  r e s ul ts  a nd t he  m o d e l r o bus tn e s s   due  t o  a n e l e v a t e d r is of   r a ndo v a r ia ti o ns .   E bi a r e d oh - M ie n y e   e al [ 23]   U C I   A da B oo s t,   LR , D T , R F S V M , X G B oo s t   I n f o r ma ti o G a in   93% ,94% ,90,2% ,95, 2% ,93,7% ,95,8%   N o  da ta  pr e pr oc e s s in g m e th o ds  w e r e   us e d i n t hi s  s tu d y , w hi c h ma y  i nt r o du c e   bi a s e s  a nd c o mp r o mi s e  t h e  r o bus tn e s s  of   r e s ul ts  due  t o  t h e  p o t e nt ia v ul n e r a bi li t y   to   mi s s in g.       3.   M E T HO D   Our   r e s e a r c h   u s e a   UC I   m a c hi ne   l e a r ni ng  r e p o s i t o r y   da t a s e t   de d i c a t e to   C K D .   T hi s   da t a s e t   c o n s i s t s   o f   25  a t tr i b ut e s .   T o   e nh a n c e   t h e   qua li t y   a nd  r e l e v a n c e   o f   t hi s   da t a ,   we   h a v e   m a de   c o n c e r t e e f f o r t s   to  i nc o r por a t e   c r i t i c a l   m e d i c a l   m a r k e r s   r e l e v a n t   to   t h e   c o n d i t i o n .   A   s i g nif i c a n t   a dd i t i o n   i s   t h e   e G F R   c a lcu l a t i o n ,   whi c h   i s   a   p i v o t a l   m e t r i c   f o r   a s s e s s i ng  k i d n e y   f u nc t i o n .   T h e   i nc l u s i o n   o f   t h e   e G F R   i s   c r i t i c a l   f o r   i mpr o vi n g   t h e   a c c ur a c y   a n pr e c i s i o n   o f   o ur   pr e d i c t i o n s ,   a s   i t   i s   a   k e y   bi o m a r ke r   i d i a g n o s i n C KD   a n de t e r m i n i ng  i t s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,   Vo l .   14 ,   N o.   2 A ugus t   20 25 684 - 707   688   pr o g r e s s i o n   s t a ge s .   T hi s   i s   pa r t i c u l a r l y   im po r t a n t   s i nc e   t h e   s t a ge   o f   C KD   pr o gr e s s i o n   i nf l ue nc e s   t he r a pe ut i c   de c i s i o n s   a n pr o gn o s e s ,   t h us   a i d i ng  c l i n i c i a ns   i n   pr o vi d i n t i m e ly   i n t e r v e n t i o n s .   T h e   c h o i c e   o f   e GF R   a s   a   c or e   a tt r i b u te   a l i gn s   wi t th e   p r i m a r y   o bj e c t i v e   o f   t h i s   s tu d y ,   wh i c h   i s   to  g b e y o n d   tr a di t i o n a l   p r e di c t i v e   m ode l s   by   e n h a n c i n g   t h e   da tas e wi t h   m e d i c a l l y   s i gni f i c a n m a r ke r s .   B y   i n t e gr a t i n g   t h e   e GF R ,   we   a dd r e s s   a   g a p   n oted   i p r e vi ous   s tudi e s ,   wh e r e   i t s   a b s e n c e   l i m i t e th e   a bi l i t y   to  a c c u r a t e l y   p r e di c b oth   t h e   oc c u r r e n c e   a n d   p r og r e s s i o n   o f   C K D .   T f u r t h e r   r e f i n e   ou r   m ode l ,   w e   e m p l o y e d   tw o   w e l l - e s tabl i s h e d   tec h ni que s L A S S f or   f e a tu r e   s e l e c t i o n   a n d   P C A   f or   di m e n s i o n a l i t y   r e du c t i o n .   L A S S O   w a s   c h o s e n   f or   i t s   a bi l i t y   to  i de n t i f y   a n d   r e tai n   t h e   m o s r e l e v a n f e a tu r e s ,   t h e r e by   i m pr o vi n m ode l   a c c ur a c y   a n m i ni m i z i n g   t h e   r i s k   o f   o v e r f i tt i n g .   P C A ,   on   t h e   oth e r   h a n d ,   w a s   a ppl i e d   to  r e d uc e   th e   da tas e t s   di m e ns i o n a l i t y   wh i l e   p r e s e r vi n g   t h e   m o s s i gni f i c a n pa tt e r n s   i n   t h e   d a ta .   B oth   m e t h o ds   a i m   to  e n h a n c e   th e   m o de l s   e f f i c i e n c y   a n d   p r e di c t i v e   p owe r   by   f o c us i n o n   t h e   m o s i nf or m a t i v e   a tt r i b u t e s ,   l e a di n to  b e tt e r   ge n e r a l i z a t i o n   a n i n t e r p r e t a t i o n   o f   r e s u l t s .   T h e   da tas e wa s   th e n   d i vid e d   i n to  8 0 %   f or   tr a i ni n g   a n d   2 0 %   f o r   te s t i n to  a s s e s s   th e   p e r f or m a n c e   o f   ou r   m a c hi n e   l e a r n i n m ode l s .   T h e   s e l e c t e d   m o d e l s   i n c l ude   RF ,   A da B oos t,   B a ggi n g ,   a n d   A NN wh i c h   we r e   c h o s e n   f or   t h e i r   p r o v e n   a bi l i t y   to  h a ndl e   c o m p l e x   c l a s s i f i c a t i o n   tas ks .   T h e   pe r f or m a n c e   o f   t h e s e   m ode l s ,   wi t h   a n d   wi t h ou f e a tu r e   s e l e c t i o n ,   w a s   c om pa r e d   to  e v a l ua te   th e   i m pa c o f   e GF R   a n d   oth e r   s e l e c t e f e a tur e s   o n   t h e   p r e di c t i o n   a c c u r a c y .   Our   a ppr o a c h   to   C K D   pr e d i c t i o n   c o m pr i s e s   s i ph a s e s ,   a s   s h o wn   i F i gur e   1 ,   a n i s   de s i g n e t e ns ur e   t h e   r e l i a bil i t y   a n ge n e r a l i z a bil i t y   o f   t h e   r e s u l t s .   B y   s y s t e m a t i c a ll y   i nc o r por a t i n f e a t ur e   s e l e c t i o n   a n d   v a li da t i o n   s t e ps ,   we   a i m   t i m pr o v e   m o de l   pe r f o r m a n c e   a n e nh a n c e   t h e   c l i n i c a l   r e l e v a n c e   o f   o ur   pr e d i c t i o ns .           F i gur e   1.   De s c r i pt i o n   o f   o ur   a ppr o a c h       3. 1.     De s c r ip t ion   of   t h e   d a t as e t   1   T h e   da t a s e t   us e f o r   t hi s   wo r i s   c o l l e c t e f r o m   t h e   UC I   m a c hi ne   l e a r ni ng  r e po s i t o r y   [ 24] s pe c i f i c a l ly   f o c us i ng  o n   C K D .   I ni t i a ll y ,   t h e   da t a s e t   c o m pr i s e 25  f e a t ur e s   e n c a ps u l a t i n va r i o us   c l i ni c a l   m e a s ur e s   a n i n d i c a to r s   pe r t i n e n t   to  r e n a l   d i s o r d e r s .   I c o n t a i n s   400  i ns t a n c e s ,   e a c h   r e pr e s e n t i n a   di s t i nc t   d i a b e t i c   pa t i e n t   c a s e ,   a n i s   c a t e go r i z e i n t t w o   tar ge c l a s s e s c kd   a n n o t c kd .   Gi v e n   t h e   pi v o ta l   r o l e   o f   t h e   e GF R   a s   a   pr i m a r y   i nd i c a t o r   o f   r e n a l   f u n c t i o n a li t y ,   we   e l e c t e to  e nh a n c e   t h e   da t a s e t   by   i nc o r por a t i n g   e GF R   a s   a n   a dd i t i o n a l   f e a t ur e .   W e   de t e r m i ne d   t h e   e GFR   ut i li z i ng  t h e   M DR [ 25] ,   whi c h   i s   wi d e ly   r e c o gni z e f o r   i t s   e f f e c t i ve n e s s   i n   e s t i m a t i n t h e   k i d n e y s   g l o m e r u l a r   f il t r a t i o n   r a t e   ( e GF R ) .   T h e   M DR D   m e t h o i s   a   s pe c i a l i z e e qua t i o n   t h a c o n s i de r s   v a r i o us   f a c t o r s ,   i n c l ud i ng  s e r u m   c r e a t i ni ne   a n d   a ge ,   to  m e a s ur e   k i d n e y   f u n c t i o n   a c c ur a t e l y .   T hi s   f o r m u la  h a s   be c o m e   a n   e s s e n t i a l   too l   i n e p h r o l o g y   b e c a us e   i t   o f f e r s   a   r e l i a bl e   e s t i m a t e   o f   e G F R ,   w hi c h   i s   c r u c i a l   f o r   d i a g n o s i ng  a n m o ni t o r i n k i d n e y   d i s e a s e s .   T h e   M DR f o r m u l a   f o r   c a l c u l a t i n t h e   e G F R   i s   g i v e n   b e l o w.      = 186 × (  ) 1 , 154 × ( ) 0 , 203 × 1   (     ) × 0 , 742   (     )     W i t h   t hi s   i n c l u s i o n ,   t h e   da t a s e t   h a s   e x pa n de t e n c o m pa s s   26  f e a t ur e s   whil e   m a i n t a i n i ng  t h e   or i g i n a l   40 0   i ns t a nc e s .   T hi s   s t r a t e gi c   a ug m e n t a t i o n   i s   ge a r e to wa r ds   b o l s t e r i n o ur   a n a l y s e s   a c c ur a c y   a n c o n t e x t ua l   r e l e v a n c e   a n e n s u i ng  pr e d i c t i v e   m o de l s   f o r   r e n a l   d i s o r de r s   i n   t h e   di a b e t i c   po pul a t i o n .   T h e   c ha r a c t e r i s t i c s   o f   t h e   o r i g i na l   a n n e e G F R   f e a t ur e s   a r e   s h o w n   i n   T a bl e   2,   whi c h   pr o vi d e s   a n   o v e r vi e o f   a ll   f e a t ur e s   i n   t h e   da t a s e t.   T h e   t a r ge c l a s s   t h a i s   m e n t i o n e i n   t h e   da t a s e t h a i s   c l a s s i f i c a t i o n   whi c h   i s   d i vi de i n t o   t w c l a s s e s   c kd= 250  a n n ot c kd= 150,   a s   s h o w n   i n   t h e   f o l l o w i ng  F i gur e   2:   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         A innovative   appr oac f or   pr e dictive   mode li ng  a nd  s tagi ng  o f   c hr onic  k idney   dis e as e   ( Saf B ougho ugal )   689   T a bl e   2 .   R e pr e s e n t s   o r i g i na l   a n n e e G F R   f e a t ur e s   F e a tu r e s   D e s c r ip ti o n   T y p e   a ge   a ge  i y e a r s   N ume r i c a l   bp   bl oo d pr e s s ur e   in  mm / H g   N ume r i c a l   sg   S pe c i f i c   g r a v it y   N o mi na l   al   A lb umi n   N o mi na l   su   S uga r   N o mi na l   r bc   R e bl oo c e ll s   N o mi na l   pc   P us   c e l ls   N o mi na l   pc c   P us   c e l c lu mps   N o mi na l   ba   B a c t e r ia   N o mi na l   bgr   B l oo gl u c o s e  r a nd o in  mgs /d l   N ume r i c a l   bu   B l oo d ur e a  i n mgs /d l   N ume r i c a l   sc   S e r um  c r e a ti ni n e   in  mgs /d l   N ume r i c a l   s o d   S o di um  in  mE q/ L   N ume r i c a l   po t   P o ta s s iu m i n   mE q/ L   N ume r i c a l   he m o   H e m o gl o bi n ( gms )   N ume r i c a l   pc v   P a c k e c e ll   vo lu m e   N ume r i c a l   wc   W hi te  bl oo c e l ls  c o unt   ( C e ll s /c u mm )   N ume r i c a l   rc   R e bl oo d c e ll s   c o unt   ( mi ll i o ns /c umm )   N ume r i c a l   ht n   H y p e r t e ns i o n ( y e s , n o )   N o mi na l   dm   D ia be te s   m e ll it us  ( y e s , n o)   N o mi na l   c a d   C o r o na r y   a r t e r y  di s e a s e   ( y e s , n o)   N o mi na l   a ppe t   A ppe ti t e  ( g oo d, p oo r )   N o mi na l   pe   P e da E d e ma  ( y e s , n o )   N o mi na l   a ne   A ne mi a  ( y e s , n o)   N o mi na l   e G F R   e s ti ma te d gl ome r ul a r   f il t r a ti o n r a t e  i m L /m in /1 .73m^ 2   N ume r i c a l   c la s s   C la s s  ( c kd o r  n o t c kd)   N o mi na l           F i gur e   2.   Di s t r i b ut i o n   o f   pa t i e n t s   wi t h   a n w i t h o ut   C KD       T h e   f o l l o w i ng  F i gur e   s h o ws   t h e   c o r r e l a t i o n   b e t we e n   C K a n d i a b e t e s   a m o n t h e   s t ud i e d   po pul a t i o n .   Out   o f   t h e   400  pa t i e n t s   a n a ly z e d,   250  i n d i v i dua l s   we r e   d i a g n o s e w i t h   C K D.   R e m a r ka bly ,   o v e r   h a lf   o f   t h e s e ,   pr e c i s e ly   136,   a r e   a l s o   d i a b e t i c .   T hi s   s i g nif i c a n t   pr o p o r t i o n   s t r o n g l y   s ugge s t s   t h a t   di a b e t e s   c o ul d   b e   a   pi v o t a l   f a c t o r   o r   a   c o m o r bi d i t y   i n   t h e   de v e lo pm e n t   o r   p r o gr e s s i o n   o f   C K i n   t hi s   pa r t i c u l a r   c o h o r t.     On   t h e   ot h e r   h a n d,   t h e   da t a s e i n d i c a t e s   t h a a l l   1 50  pa t i e n t s   w i t h o ut  C K a r e   n o n - d i a b e t i c .   T hi s   a b s e n c e   o f   a ny   d i a be t i c   pa t i e n t   i n   t h e   n ot c kd   gr o up   f ur t h e r   a m p li f i e s   t h e   p ot e n t i a l   a s s o c i a t i o n   b e t we e n   d i a be t e s   a n C KD .   I n   t h e   c o n t e x t   o f   o ur   s t udy ,   w hi c h   a im s   t o   pr e d i c t   k i d n e y   d i s e a s e   a m o n pe o p l e   w i t h   d i a b e t e s ,   t h e s e   o b s e r v a t i o ns   e m p ha s i z e   t h e   c r i t i c a l   n a t ur e   o f   o ur   r e s e a r c h .   T h e   c ur r e n t   da t a s e t   dr a ws   a   c o m pe ll i ng  na r r a t i ve   a b o ut   t h e   p ot e n t i a l   r i s ks   pe o p l e   w i t h   d i a b e t e s   f a c e   c o n c e r ni ng  C K D.       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,   Vo l .   14 ,   N o.   2 A ugus t   20 25 684 - 707   690       F i gur e   3.   Di s t r i b ut i o n   o f   d i a be t i c   pa t i e n t s   w i t h   C KD       3. 2.     De s c r ip t ion   of   t h e   d a t as e t   2   I n   t hi s   s t udy ,   we   ut i li z e a   da t a s e t   I s l a m   e al.   [ 2 6]   c o l l e c t e f r o m   E n a m   M e d i c a l   C o l l e ge ,   S a v a r ,   Dh a ka ,   B a n g l a de s h .   T hi s   d a t a s e t   wa s   e m p l o y e t o   v a li da t e   t h e   o u t c o m e s   o f   o ur   m o de l s   f o ll o w i ng  a pp r o p r i a t e   pr e pr o c e s s i ng  s t e ps .   I t   c o m pr i s e s   200  i ns t a n c e s   a nd  e n c o m pa s s e s   28  d i s t i n c t   f e a t ur e s .   Am o n t h e s e   f e a t ur e s ,   pa r t i c u l a r   e m p h a s i s   i s   p l a c e o n   t h e   e GF R   i n   pr e d ict i n C K D.   T o   e n h a n c e   o ur   pr i m a r y   da t a s e t ,   we   c o m put e t h e   e GF R   a n i nc o r p o r a t e i t   i n to   o u r   i ni t i a l   da t a s e t .   T h e   e GF R   e s t i m a t e s   k i d n e y   f i l t r a t i o n   r a t e ,   a   pi v o t a l   i nd i c a t o r   o f   r e n a l   f u nc t i o n ,   t h e r e by   s e r vi ng  a s   a   c r i t i c a l   f e a t ur e   i n   C K pr e d i c t i o n .   F ur t h e r m o r e ,   t h e   di s e a s e   s t a ge ,   a   s i g ni f i c a n t   pa r a m e t e r   i nf l ue n c i ng  C K pr e d i c t i o n ,   i s   a l s o   e nc o m p a s s e i n   t hi s   d a t a s e t .   W e   o p t e f o r   t hi s   da t a s e t   due   to  i t s   s i mi l a r i t y   t b ot h   t h e   t r a i ni n a n t e s da t a s e t s ,   e n s ur i n c o n s i s t e n c y   i n   e v a l ua t i n o ur   m o de l   pe r f o r m a n c e   a n r e i n f o r c i n t h e   r e li a bil i t y   o f   o ur   f i n d i ng s .   T h e   f e a t ur e s   o f   t hi s   da t a s e t   a r e   d e l i ne a t e d   i n   T a bl e   3 ,   f a c il i t a t i n a   c o m pr e he n s i ve   a n a ly s i s   o f   t h e i r   i m p a c t   o n   o u r   p r e d i c t i v e   m o de l s .       T a bl e   3.   F e a t ur e s   a n de s c r i pt i o n   o f   t h e   da t a s e t   2   F e a tu r e s   D e s c r ip ti o n   bp ( D ia s to li c )   bl oo d pr e s s ur e  d ia s to li c   bp l im it   bl oo d pr e s s ur e   sg   S pe c i f i c   g r a v it y   al   A lb umi n   c la s s   C la s s  ( c kd o r  n o t c kd)   r bc   R e bl oo d c e ll s   su   S uga r   pc   P us   c e l l   pc c   P us   c e l c lu mps   ba   B a c t e r ia   bgr   B l oo gl u c o s e  r a nd o m   bu   B l oo d ur e a   s o d   S o di um   sc   S e r um  c r e a ti ni n e   po t   P o ta s s iu m   he m o   H e m o gl o bi n   pc v   P a c k e c e ll   vo lu m e   r bc c   R e bl oo d c e ll s   c o unt   ht n   H y p e r t e ns i o n   dm   D ia be te s   m e ll it us   c a d   C o r o na r y   a r t e r y  di s e a s e   a ppe t   A ppe ti t e   pe   P e da E d e ma   a ne   A ne mi a   G R F   gl o m e r ul a r   r a te   f il tr a ti o n   s ta ge   C K D  S ta ge   ( S 1, S 2, S 3,  S 4, S 5)   A f f e c t e d   A f f e c t e d b y  C K D   or  n o ( 1,0)   a ge   A ge  i y e a r s     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         A innovative   appr oac f or   pr e dictive   mode li ng  a nd  s tagi ng  o f   c hr onic  k idney   dis e as e   ( Saf B ougho ugal )   691   3. 3.    P r e p r oc e s s in g   T h e   da t a s e f r o m   t h e   UC I   m a c hi ne   l e a r ni ng  r e po s i t o r y   c o n t a i ns   m i s s i ng  a n n u l l   v a l ue s .   T h e r e f o r e ,   t h e   da t a - pr e pr o c e s s i n s t e p   i s   c r uc i a l   i n   t r a i ni ng  m a c hi ne   l e a r ni ng  m o de l s ,   a s   t h e s e   c a n   l e a to  e r r o r s   dur i n g   a l go r i t hm   e x e c ut i o n   a n i na c c ur a t e   pr e di c t i o n s .   T a ddr e s s   t hi s   i s s ue   i n   o ur   s t udy ,   we   us e i mput a t i o m e t h o ds .   T h e   f e a t ur e s   o f   t h e   da t a s e t   a r e   i ni t i a ll y   c a t e go r i z e i n t o   c a t e g o r i c a l   a n n u m e r i c a l .   F o r   t h e   c a t e g o r i c a l   c o l u m ns ,   m i s s i ng  va l ue s   a r e   r e pl a c e d   by   t h e   m o de   ( t h e   m o s f r e que n t   v a l ue )   o f   t h e   r e s pe c t i v e   f e a t ur e .   F i gur e   i ll us t r a t e s   t h e   di s t r i b ut i o n   o f   nu m e r i c a l   c h a r a c t e r i s t i c s   b e f o r e   us i n i m put a t i o n   m e t h o ds .     An   i m put a t i o n   t e c h ni que   i s   e m p l o y e f o r   t h e   n u m e r i c a l   f e a t ur e s   to   s ub s t i t ut e   m i s s i ng  v a l u e s   w i t h   t h e   a v e r a ge   o f   t h e   a v a il a bl e   v a l ue s   f o r   t h a t   f e a t ur e .   S ub s e qu e n t l y ,   a   f u n c t i o n   i s   de vi s e t de t e c t   a n r e c t i f o u t l i e r s   w i t hi n   t h e   n u m e r i c a l   a t tr i b ut e s .   Ut i l i z i ng  t h e   i n t e r qua r t i l e   r a n ge   m e t h o e s t a bl i s h e s   b o un d a r i e s   to   i de n t i f y   uppe r   a n l o we r   o u t l i e r s .   F i gur e   de m o n s t r a t e s   th e   d i s t r i b ut i o n   o f   n u m e r i c a l   c h a r a c t e r i s t i c s   a f t e r   a pp l yi ng   im put a t i o n   t e c hni que s .   Any   de t e c t e o u t l i e r s   a r e   t he n   r e p l a c e w i t h   t h e   m e a n   va l u e   o f   t h e i r   r e s pe c t i v e   f e a t ur e   to  m a ke   t h e   da t a   s e t   m o r e   s t a bl e   a n l e s s   s e ns i t i ve   to   t h e s e   e x t r e m e   f l u c t ua t i o n s .   T h e   f o r m u l a   f o r   c a l c u l a t i n g   t h e   i n t e r qua r t i l e   r a n ge   [ 24] ,   [ 27 ]   i s   g i v e n   b e l o w,   wh e r e   Q3  i s   t h e   t hi r qua r t i l e   ( o r   t h e   75 t h   pe r c e nt i l e ) ,   a n Q1  i s   t h e   f i r s t   qua r t i l e   ( o r   t h e   25t h   pe r c e n t i l e ) .      = 3 1   ( 1)     T h e   b o un d s   f o r   o u t l i e r s   a r e   de t e r m i ne a s   uppe r   b o un a n l o we r   b o un d ;   t h e   f o r m u l a   [ 28]   o f   e a c h   o u t l i e r   i s   g i ve n   be l o w:           (  ) = 3 + 1 . 5 ×    ( 2)           (  ) = 1 1 . 5   ×      ( 3)     T h e n ,   we   e nc o de t h e   c a t e g o r i c a l   v a r i a bl e s   i n t o   nu m e r i c a l   v a r i a bl e s   a n r e p l a c e t h e   o r i g i na l   da t a   w i t h   t h e   e n c o de da t a ,   whi c h   i s   n e c e s s a r y   f o r   m a c hi ne   l e a r ni ng  a l go r i t hm s   t h a t   o nl y   a c c e pt   n u m e r ica l   da t a   us i n t h e   L a be l E n c o de r   c l a s s .   F i gur e   s h o ws   t h e   d i s t r i b ut i o n   o f   t h e s e   c a t e gor i c a l   v a r i a bl e s .           F i gur e   4.   Di s t r i b ut i o n   o f   n u m e r i c a l   c h a r a c t e r i s t i c s   b e f o r e   us i ng  i m put a t i o n   m e t h o ds       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l ,   Vo l .   14 ,   N o.   2 A ugus t   20 25 684 - 707   692       F i gur e   5.   Di s t r i b ut i o n   o f   n u m e r i c a l   c h a r a c t e r i s t i c s   a f t e r   us i n im put a t i o n   m e t h o ds           F i gur e   6.   Di s t r i b ut i o n   o f   c a t e gor i c a l   v a r i a bl e s       3. 4.     F e at u r e   s e l e c t ion   an d   d im e n s ion al it r e d u c t ion   m e t h od s   I n   m a c hi ne   l e a r ni ng,   f e a t ur e   s e l e c t i o n   a n d i m e ns io n a l i t y   r e duc t i o n   p l a y   a   c r uc i a l   r o l e   i e nh a n c i ng   m o de l   a c c ur a c y   a n e f f i c i e n c y .   F e a t ur e   s e l e c t i o n   f o c us e s   o n   i de n t i f yi ng  a n r e t a i ni ng   o nl y   t h e   m o s t   i n f o r m a t i v e   a t t r i b ut e s ,   whi c h   h e l p s   to   pr e v e n t   o v e r f i t t i n g,   r e duc e   e xe c ut i o n   t i m e ,   a n im pr o ve   m o de l   i n t e r pr e t a bi li t y .   B y   e m p ha s i z i ng  s i g ni f i c a n t   f e a t ur e s   a n e l im i na t i n r e dun da n t   o n e s ,   m o de l s   be c o m e   m o r e   r o b us a n ge n e r a li z e   b e t t e r   to  un s e e n   da t a .   Di m e n s i o na l i t y   r e duc t i o n ,   o n   t h e   ot h e r   h a n d,   t r a n s f o r m s   t h e   da t a   i n t o   a   s m a l l e r   s e t   o f   c o m po n e n t s   whi l e   pr e s e r vin i t s   v a r i a bil i t y .   T hi s   pr o c e s s   s i m p li f i e s   t h e   da tas e t   a n f a c il i t a t e s   m o r e   e f f i c i e n t   m o de l   t r a i ni ng,   w i t h o ut   e x p l i c i t ly   s e l e c t i n t h e   o r i g i na l   f e a t ur e s .   I n   t hi s   s t ud y ,     we   e m p l o y e t w o   c o m p l e m e n t a r y   t e c hni que s :     3. 4. 1.   P CA   P C A   i s   a   l i ne a r   t e c h ni que   t r e duc e   da t a   di mens i o n a li t y ,   e ns ur i n t h e   f o c us   r e m a i ns   o n   t h e   d i r e c t i o n s   w i t h   t h e   m o s t   v a r i a bil i t y   [ 29] .   T h e   c or e   o f   P C A   r e v o l v e s   a r o un c o m put i n t h e   e i g e nv a l ue s   a n d   e i ge nv e c t or s   o f   a   da t a   s e t s   c o v a r i a nc e   m a t r i x .   Onc e   t h e s e   a r e   de t e r m i ne d,   t h e   e i g e nv e c t o r s   a r e   s y s t e m a t i c a ll a r r a n ge b a s e o n   t h e   de s c e n d i ng  s e que n c e   o f   th e i r   a s s o c i a t e e i ge nv a l ue s .   W i t h   t hi s   o r de r   e s t a bli s h e d,     t h e   da t a   i s   pr o j e c t e o n to   t h e s e   s o r t e e i ge nve c to r   di r e c t i o n s .   T h e   pr o c e s s   s t a r t s   by   de t e r m ini ng  t h e   c o v a r i a n c e   m a t r i x   f o r   t h e   s i g n a l   s a m p l e s ,   us i n bot h   t h e   s i g na l   m a t r i x ,   whi c h   c o m pr i s e s   M   da t a   p oi n t s   o f   N   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776         A innovative   appr oac f or   pr e dictive   mode li ng  a nd  s tagi ng  o f   c hr onic  k idney   dis e as e   ( Saf B ougho ugal )   693   d i m e n s i o ns ,   a n i t s   c o r r e s po n d i n m e a n   ve c t or .   Af t e r   de r i vi ng  t h e   c o v a r i a n c e   m a t r i x ,   o n e   de t e r mi ne s   i t s   e i ge nv e c t or s   a n pl a c e s   t h e   e i ge nv a l ue s   a l o n t h e   di a go na l   o f   a n o t h e r   m a t r i x .   On c e   s o r t e d   by   de s c e n d i ng   e i ge nv a l u e ,   t h e   da t a   un de r go e s   a   pr o j e c t i o n   ph a s e   t h r o ugh   a   d ot  pr o duc o pe r a t i o n   w i t h   t h e   s or t e e i ge nv e c t or s .   F i n a ll y ,   o nly   t h e   l e a d i ng  pr i n c ipa l   c o m po ne n t s   a r e   s e l e c t e to  e n s ur e   o p t i m a l   da t a   r e pr e s e n t a t i o n ,   c a pt ur i n a   s pe c if i e pe r c e n t a ge   of   t ot a l   v a r i a bil i t y ,   s uc h   a s   95%   or   98% .   T h i s   m e t h o do l o g y   pr o vi de s   t h e   r e t e n t i o n   o f   s i g nif i c a n t   da t a   pa tt e r n s   whil e   m i n im i z i ng  d i m e ns i o n a li t y   [ 29] [ 30] .     3. 4. 2.   L ASS O   L A S S i s   a   m e t h o t h a t   s e e ks   to  m i n im i z e   t h e   m e a n   s qu a r e   e r r or   wi t h   a   c o n s t r a i n t   o n   t h e   s u m   o f   t h e   a bs o l ut e   v a l u e s   o f   t h e   r e gr e s s i o n   c o e f f i c i e n t s   [ 31 ] .   I t   i s   pa r t i c u l a r l y   e f f e c t i v e   f o r   f e a t ur e   s e l e c t i o n   a s   i t   c a s h r i nk  t h e   c o e f f i c i e n t s   o f   l e s s   i m po r t a n f e a t ur e s   to  z e r o ,   e f f e c t i v e ly   e l im i na t i n t h e m   [ 32] .   T h i s   uni que   c a pa bi li t y   o f   L A S S to  s e l e c t   a n r e gul a r i z e   f e a t ur e s   a l l o ws   f o r   i de n t i f yi ng  t h e   m o s c r i t i c a l   f e a t ur e s   i n   a   d a t a s e t.   T h e   r e l i a bil i t y   o f   f e a t ur e   s e l e c t i o n   c a n   be   e nh a nc e t h r o ugh   t h e   r a n do m i z e L A S S O,   whi c h   i nv o l ve s   r e p e a te d   a p p l i c a t i on s   to   d e te r m i n e   th e   m os f r e q u e n t l y   oc c u r r i n g   f e a tu r e s   i n di c a t i v e   o f   th e i r   i m p or ta n c e   [ 3 3 ] ,   [ 3 4 ] .     3. 5.     M ac h in e   l e ar n in m od e ls   F o ur   m a c hi ne - l e a r ni ng  m o de l s   a r e   a pp li e i t hi s   wo r k:  B a gg i n c l a s s if i e r ,   RF ,   A d a B o o s t ,   a n A NN     3. 5. 1.   B aggin c l as s if ie r     B a gg i n i s   a n   e ns e m b l e   t e c h ni que   t h a b oo s t s   c l a s s i f i c a t i o n   a l go r i t hm   pe r f o r m a n c e   [ 35] .   I ope r a t e s   by   t r a i ni ng  i n d i v i dua l   c l a s s if i e r s   o n   r a n do m   s ubs e t s   o f   t h e   da t a s e dr a wn   wi t h   r e p l a c e m e n t   [ 36 ] .   T h e s e   c l a s s if i e r s   pr e d i c t i o n s   a r e   t h e n   c o m bi ne d,   t y p i c a l ly   t h r o ugh   v o t i n o r   a v e r a g i n g,   to  pr o duc e   a   uni f i e d   o u t c o m e   [ 35] [ 36] .   T h e   pr i m a r y   go a l   o f   B a gg i ng  i s   to   di mi n i s h   o v e r f i t t i n g,   c o un t e r b a l a nc i n a ny   r i s e   i n   bi a s   w i t h   a   de c r e a s e   i v a r i a nc e   [ 36] .   T hi s   m e t h o l e ve r a ge s   t h e   s t r e n gt h   o f   m u l t i p l e   m o de l s   to   p r o duc e   a   m o r e   r o b us t   a n a c c ur a t e   pr e di c t i o n   [ 37] .     3. 5. 2.   Rand om   f or e s t   RF   i s   a n   e ns e m b l e   m e t h o d,   whi c h   m e a ns   t h a i b r i n gs   to ge t h e r   s e v e r a l   a l go r i t hm s   t f o r m   a o p t i m a l   m o de l   [ 33] [ 38] .   M o r e   pr e c i s e ly ,   i t   c o m pr i s e s   s e v e r a l   DT   b u il t   o n   r a n do m ly   c h o s e n   a n u n c o r r e l a t e da t a s e t s   dur i n t h e   t r a i ni n p h a s e   [ 39] .   I n   t h e   R F   wo r ki n pr o c e s s ,   we   f i r s t   s e l e c t   K   da t a   p o i n t s   f r o m   t h e   t r a i ni ng  s e t   a n t h e n   c r e a t e   DT   f o r   t h e s e   po i n t s   [ 19] [ 40] .   T hi s   pr o c e dur e   i s   r e pe a t e s e v e r a l   t i mes   whil e   de c i d i ng  o n   a   n u m be r   f o r   t h e   DT .   W h e n   pr e d i c t i n n e da t a ,   R F   c o l l e c t s   t h e   pr e di c t i o ns   f r o m   e a c DT   a n a s s i g n s   t h e   n e da t a   to  t h e   c a t e g o r y   r e c e i vi ng  t h e   m o s t   v ot e s   [ 19 ] [ 40 ] .   Al t h o ugh   c o m put a t i o n a l   c o m p l e xi t y   m a y   i nc r e a s e   w i t h   R F   c o m pa r e to   a   s t a n da l o n e   DT   due   to  t h e   us e   o f   m u l t i p l e   f e a t ur e s ,   i t   ge n e r a ll y   e xhi b i t s   b e t t e r   a c c ur a c y   w h e n   f a c i ng  pr e vi o us ly   u n s e e n   da t a s e t s   [ 30 ] .   I n   s u m m a r y ,   RF   l e v e r a ge s   t h e   t r a i nin s e t   to  pr o duc e   b e tt e r   r e s ul t s   t h a n   a n   i n d i v i dua l   m o d e l   by   i n t e gr a t i n pr e d i c t i o n s   f r o m   m u l t i p l e   DT   [ 33] ,   [ 19 ] [ 40 ] .       3. 5. 3.   Ada B oos t   A da B o o s t   i s   a   B o o s t i n a l go r i t hm   de s i g n e f o r   bi n a r y   c l a s s i f i c a t i o n   t h a t   a m a l ga m a t e s   m u l t i p l e   w e a k   c l a s s if i e r s   to   f o r m u l a t e   a   s t r o n ge r   a n m o r e   r o b us c l a s s i f i e r   [ 33] [ 41 ] .   I ni t i a t e wi t h   a   pr e de t e r m i ne we i g h t   o n   t h e   t r a i ni ng  da t a s e t   i ns t a n c e s ,   i t s   i n t e n t   i s   to   e nh a nc e   a c c ur a c y   pr e d i c t i o n s   b a s e o n   a   l a r ge   nu m b e r   o f   s a m p l e s ,   s uc h   a s   1000  [ 33] .   T h e   A da B o o s t e c hni que   us e i c e r t a i n   s t ud i e s   s e e ks   t o   e s t a bl i s h   a   pot e n c l a s s if i e r   t h r o ugh   a   t r a i ni ng  a ppr o a c h   o f t e n   r e f e r r e to  a s   we a l e a r ni ng   [ 33] [ 35] .   T h e   e s s e nc e   o f   we a l e a r ni ng  i s   to  i de n t i f y   t h e   o p t i m a l   we a c l a s s i f i e r   t h a a de p t l y   d if f e r e n t i a t e s   b e t we e n   po s i t i v e   a n n e ga t i v e   s a m p l e s .   Dur i n t hi s   pr o c e s s ,   t h e   o p t i m a l   t h r e s ho l v a l ue   f o r   e ve r y   f e a t ur e   i s   de t e r m i ne t o   m i nim i z e   t he   mi s c l a s s if i c a t i o n   o f   i ns t a n c e s   [ 35] .     3. 5. 4.   Ar t if icial   n e u r a l   n e t wor k     An   A NN   i s   a   s upe r vi s e l e a r ni ng  t e c hni que   c o m po s e o f   i n t e r c o nn e c t e s i m p l e   u ni t s   c a l l e d   pe r c e pt r o n s .   S t r uc t ur a l ly ,   a n   A NN   t y p i c a ll y   c o n s i s t s   o f   a n   i nput   l a y e r ,   w hi c h   r e c e i ve s   da t a ,   o n e   o r   m o r e   hi dde n   l a y e r s ,   w hi c h   pe r f o r m   c o m put a t i o ns ,   a n a n   o ut pu l a y e r   t h a t   de l i ve r s   t h e   f i na l   pr e d i c t i o n   [ 35] [ 42 ] T h e s e   pe r c e pt r o n s ,   wh e n   o r ga ni z e a c r o s s   m u l t i p l e   l a y e r s ,   f o r m   wh a t   i s   kn o wn   a s   a   m u l t i l a y e r   pe r c e pt r o n   ( M L P ) .   I n   a n   M L P ,   s i g n a l s   a r e   t r a n s mi t t e f r o m   t h e   i nput   l a y e r   t h r o ugh   to   t h e   hi dde n   l a y e r ,   w i t h   e a c pe r c e pt r o n   h a vi ng  i t s   u ni que   we i g h t .   E v e r y   n e ur o n   i t h e   i nput   l a y e r   c o nn e c t s   to   e v e r y   ne ur o n   i n   t he   hi dde l a y e r ,   a n c o m put a t i o n s   pr i m a r i ly   t a ke   pl a c e   i n   th e   h i dde n   l a y e r ,   wh e r e   i n put   we i g h t s   a r e   m u l t i p li e a n d   pr o c e s s e [ 42] .   T h e   pr o c e s s e da t a   i s   t h e n   c o n ve ye to  t h e   o u t pu l a y e r ,   whi c h   pr o vi de s   t h e   f i na l   pr e d i c t i o n .   T h e   e f f i c i e n c y   o f   t h e   m o de l   c a n   b e   a s s e s s e by   d e t e r m i n i ng  t h e   e r r or ,   whi c h   i s   t h e   d i s c r e pa nc y   b e t we e n   t h e   a c t ua l   a n pr e d i c t e o u t c o m e s   [ 36] .     Evaluation Warning : The document was created with Spire.PDF for Python.