I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   14 ,  No .   1 ,  Feb r u ar y   2 0 2 5 ,   p p .   416 ~ 427   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 1 . p p 4 1 6 - 4 2 7          416     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Weig hted  nea rest  neighbo rs a nd ra dius  o v ersa mpling   for  imba la nced data   cla ss ificatio n       G ede  Ang g a   P ra dip t a 1 , P utu   Desia na   Wula nin g   Ay u 1 ,   M a de  L ia nd a na 2 ,   Da nd y   P ra ma na   H o s t ia di 1   1 D e p a r t me n t   o f   I n f o r mat i o n   S y s t e ms ,   I n st i t u t   Te k n o l o g i   d a n   B i sn i s S TI K O M   B a l i ,   D e n p a sar,   I n d o n e s i a   2 D e p a r t me n t   o f   I n f o r mat i c s   a n d   C o m p u t e r ,   I n st i t u t   T e k n o l o g i   d a n   B i sn i s S TI K O M   B a l i ,   D e n p a s a r ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   19 ,  2 0 2 3   R ev is ed   Mar   7 ,  2 0 2 4   Acc ep ted   Au g   30 ,  2 0 2 4       Th e   c h a ll e n g e s  a ss o c iate d   with   h ig h - d ime n si o n a l  a n d   imb a lan c e d   d a tas e ts  we re   o b se rv e d   t o   o ften   lea d   t o   a   d e g ra d a ti o n   i n   th e   p e rfo rm a n c e   o f  c las sic a l  m a c h in e   lea rn in g   a lg o r it h m s.  I n   th e   c a se   o f  h i g h   d ime n sio n a l  d a t a ,   n o t  a l l   fe a tu re s  c o n tri b u te   sig n ifi c a n tl y   a n d   a re   c o n sid e re d   re lev a n t  t o   th e   p e rfo rm a n c e   o f  t h e   m o d e l.   T h e re fo re ,   t h is  stu d y   in tro d u c e d   a   n o v e l  m e th o d   c a ll e d   fe a tu re   we ig h ted   v a rian c e   a n a ly sis - n e a re st  n e ig h b o rs  ( WF VA NN )  wh ich   wa s  d e v e lo p e d   o n   th e   f o u n d a ti o n   o f  k - n e a re st  n e i g h b o rs   ( KN N).  Th e   p ro c e ss   in v o lv e d   m o d i fy i n g   t h e   c a lcu latio n   o f  t h e   Eu c li d e a n   d istan c e   b y   fu ll y   c o n sid e ri n g   t h e   re lev a n c e   a n d   c o n tri b u t io n   lev e ls  o f  fe a tu re s  b a se d   o n   t h e ir  F - v a lu e .   W F VA NN   a t  th e   a lg o r it h m ic  lev e l  p r o c e ss in g   a n d   ra d iu s - sy n th e t ic   m in o rit y   o v e rsa m p li n g   tec h n iq u e   (R - S M OTE)   a t  th e   d a ta  lev e l  p ro c e ss in g   u se d   a s  t h e   o v e rsa m p li n g   m e th o d   late r  b e c a m e   th e   p ro p o se d   m o d e l  to   so l v e   th e   a fo re m e n ti o n e d   iss u e s.  M o re o v e r,   e x ten si v e   e x p e rime n ts  we re   c o n d u c ted   o n   tw o   d ist in c t  t y p e s  o f   d a ta  i n c lu d i n g   t h e   h i g h - d ime n sio n a l  a n d   i m b a l a n c e d   b y   c o m p a rin g   W F VA NN   with   th e   sta te - of - a rt  KN N - b a se d   a n d   sy n t h e ti c   m in o rit y   o v e rsa m p li n g   tec h n i q u e   ( S M OTE ) - b a se d   m e th o d s.  T h e   re su lt s   sh o we d   th a t  t h e   p ro p o se d   m e th o d   h a d   th e   h ig h e st  a c c u ra c y ,   p re c isio n ,   re c a ll ,   a n d   F 1 - m e a su re   v a lu e s  a c ro ss   th e   m a jo rit y   o f  tes t  d a tas e ts  a n d   o u t p e rfo rm e d   th e   o t h e r  m e th o d s.     K ey w o r d s :   Hig h   d im en s io n al  d ata   I m b alan ce d   d ata   K - n ea r est n eig h b o r s   Sy n th etic  m in o r ity   o v er s am p lin g   tech n iq u e   W eig h ted   f ea tu r e   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ged e  An g g a  Pra d ip ta   Dep ar tm en t o f   Ma g is ter   I n f o r m atio n   Sy s tem s ,   I n s titu t T ek n o lo g i d a n   B is n is   STI KOM   B ali,   I n d o n esi a   E m ail:  an g g a _ p r ad ip ta@ s tik o m - b ali. ac . id       1.   I NT RO D UCT I O N   T h e   d a t a s e t   w i t h   s i g n i f i c an t   d i s p a r i ty   d u r in g   th e   p r o c e s s   o f   d i s t r ib u t i n g   d a t a   in t o   d i f f er e n t   c l a s s e s   i s   t e c h n ic a l l y   s t a te d   to   b e   i m b a l a n c e d .   T h i s   s i g n if i c an t   d is p a r i t y ,   o f t e n   e x tr e m e ,   ex i s t s   a m o n g   c l a s s e s   o r   l a b e l s   o f   d a t a  c a s e s ,   t h e r eb y   m a k in g   i m b a l a n ce d   d a ta s e t s   c o m m o n   i n   r e a l - wo r ld   ap p l i ca t i o n s   a n d   co n c r e t e  f i e l d s   s u ch   a s   m e d ic a l   d i ag n o s i s   [ 1 ] - [ 3 ] ,   f au l t   d i ag n o s i s   [ 4 ] ,   [ 5 ] ,   an o m a l y   d e t e c t io n   [ 6 ] ‒ [ 8 ] ,   in t r u s i o n   d e t e c t io n   [ 9 ] ‒ [ 1 1 ] ,   a n d   s e v e r al   o t h er s .   M ea n wh i l e ,   th e   m i n o r i t y   c la s s   h o ld s   a   h i g h e r   l e v e l  o f   im p o r t an c e   an d   i n t e r e s t   d u r in g   th e   r ec o g n i ti o n   p r o c e s s   b y   m a c h in e   l ea r n in g   m o d e l s .   F o r   in s t a n ce ,   i d en t i f y i n g   a n d   r e c o g n i z in g   p a t t er n s   o f   r a r e  d i s e a s e s   in   m e d ic a l   d i ag n o s i s   i s   cr u c i a l  b u t  th e  a c t u a l   d a ta   co u n t   f o r   n o r m a l   c o n d i t i o n s   f a r   o u t w e ig h s   t h o s e   l i n k ed   to   t h e  d i s e a s e s .   A   c r i t i c a l   ch a l l en g e  en co u n t e r ed   w h e n   d e a l i n g   w i t h   c l a s s   i m b a la n c e  d u r in g   l e ar n i n g   i s   t h e  f a i l u r e   o f   m o s t  s t a n d ar d   m a ch i n e   l ea r n in g   a lg o r i t h m s   to   p r o je c t  a c c u r a t e  b o u n d ar y   l i n e s   f o r   ea c h   c l a s s   w i th i n   t h e   d a t a s e t  in   s o m e  c a s e s .   T h i s   i s   b e ca u s e   m ac h in e  l e a r n i n g   p r ed o m in an t l y   l e ar n s   p a t t e r n s   f r o m   t h e   m a j o r i t y   c la s s ,   i n t r o d u c i n g   b i a s   to w a r d   t h e   m i n o r i ty   c l a s s   a n d   le a d in g   t o   c l a s s   o v e r l ap p in g .   T h i s   o v e r l ap p in g ,   a l s o   r e f er r ed   t o   a s   c l a s s   co m p l e x i ty   o r   s e p ar a b i l i t y ,   s i g n i f ie s   t h e   d e g r e e   o f   s e p ar a t i o n   b e t w ee n   c l a s s e s   i n   t h e   d a ta .   C o n s eq u en t l y ,   s t a n d ar d   m a c h in e   le a r n in g   a lg o r i t h m s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Weig h ted   n ea r est n eig h b o r s   a n d   r a d iu s   o ve r s a mp lin g   f o r   imb a la n ce d   …  ( Ged e  A n g g a   P r a d ip ta )   417   s t r u g g l e   t o   d e f in e   a n d   d et e r m i n e   d i s cr i m in a t i v e   r u l e s   f o r   c l a s s   s e p a r a t i o n .   T h i s   o v e r l ap p i n g   f ea t u r e   s p a c e   l e a d s   t o   t h e  l o s s   o f   i n tr i n s i c  p r o p e r t i e s   w i th i n   th e   d a t a,   r en d e r in g   i t  r ed u n d an t   o r   ir r e le v a n t   i n   t h e  p r o c e s s   o f   r e c o g n i z in g   g o o d   d e c i s i o n   b o u n d a r i e s   b e t w e en   c la s s e s .     Sev er al  s o lu tio n s   ar e  d is co v er ed   to   h av e  b ee n   p r o p o s ed   to   ad d r ess   th is   i s s u e  o v er   tim e  an d   th o s e   ap p lied   in   p r ev i o u s   s tu d ies  ca n   b e  ca te g o r ized   in to   t h r e e  g r o u p s   in clu d i n g   d ata  s am p lin g ,   al g o r ith m ic   m o d if icatio n ,   an d   co s t - s en s itiv e  lear n in g   [ 1 2 ] ‒ [ 1 4 ] .   T h is   is   b ec au s e  s o m e  s tu d ies  f o u n d   m eth o d s   b y   p r ep r o ce s s in g   th e  d ata,   p ar tic u lar ly   b y   r esam p lin g   th e  m in o r ity   d ata  to   alter   th e  class   d is tr ib u tio n   an d   tack le  im b alan ce d   d atasets .   On e  o f   th e  m o s t  wid ely   u s ed   m eth o d s   is   o v er s am p lin g   a n d   th is   i n v o lv es  cr ea t in g   a   s u p er s et  o f   th e  o r ig in al  d ataset  b y   r ep licatin g   s o m e  i n s tan ce s   o r   d ev elo p in g   n ew  i n s tan ce s   f r o m   e x is tin g   o n es.  Stu d ies o n   d ata  o v er s am p lin g   wid ely   u s ed   t h e  s y n th etic   m in o r ity   o v er s am p lin g   tech n i q u e  ( SMOT E )   [ 1 5 ] .   T h e   m ain   id ea   g e n er ally   ass o ciate d   with   th is   m eth o d   is   th e  cr e atio n   o f   n ew  ex am p les  f o r   th e  m in o r ity   class   b y   in ter p o latin g   s ev e r al  in s tan ce s   f r o m   th e  class .   Ho wev er ,   SMOT E   h as  s o m e  d r awb ac k s   d esp ite  its   ab ilit y   to   im p r o v e   th e  d is tr ib u tio n   o f   e x am p les  in   ea ch   class .   On e  o f   th e  d r awb ac k s   is   r elate d   to   b lin d   o v er s am p lin g   wh ich   in v o lv es  f o cu s in g   o n ly   o n   th e   in f o r m atio n   f r o m   its   n ea r est  d ata   o r   n ea r est  p o s itiv e  ex a m p le  with o u t  co n s id er in g   t h e  s p atial  in f o r m atio n   o f   t h e  n eig h b o r s   [ 1 6 ] .   T h is   u s u ally   r esu lts   in   s ev er al  n ewly   g en er ated   d ata  p o in ts   f allin g   in t o   th e  a r ea s   o f   t h e  n eg ativ e   o r   m in o r ity   class ,   lead in g   to   th e  cr ea tio n   o f   n o is y   d ata  an d   d is r u p tio n   in   th e  in te r - class   ar ea s   with in   th e  d ataset.   Fu r th er m o r e,   t h e   o v er la p p in g   f ea tu r e  s p ac e  ca u s es  th e  f ea tu r es  to   lo s e  th eir   in tr in s ic  p r o p er ty ,   l ea d in g   to   r ed u n d a n cy   o r   ir r elev an ce   in   r ec o g n izin g   g o o d   d ec is io n   b o u n d a r ies  b etwe en   class es.   On e  ca teg o r y   o f   s o lu tio n s   d ev elo p ed   to   ad d r ess   th ese  ch allen g es  f o cu s es  o n   th e  ty p e  o f   in t er p o latio n   u s ed   an d   th e  d ete r m in atio n   o f   th e  r eg i o n s   in   wh ich   n e w  d ata  ar e  f o r m e d   u s in g   S MO T E   m eth o d .   T h e   in ter p o latio n   m ec h an is m   ca n   t ak e  v ar io u s   f o r m s   s u ch   as  th e  r an g e - r estricte d   wh ich   in v o lv es  co n s id er in g   th e   in f o r m atio n   o f   b o t h   th e  n ea r est  p o s itiv e  an d   n eg ativ e  n eig h b o r s .   Mo r eo v er ,   s o m e  s tu d ies  u s ed   m u ltip le  in ter p o latio n s   [ 1 7 ] ,   in v o l v in g   m o r e  th a n   two   ex a m p les  o r   f o l lo win g   to p o lo g ies  b ased   o n   g e o m etr ic  s h ap es  s u ch   as  ellip s es   [ 1 8 ] ,   Vo r o n o i   d iag r am s   [ 1 9 ] ,   an d   g r ap h s   [ 2 0 ] .   S ev er al  s tu d ies   [ 2 1 ] ‒ [ 2 3 ]   also   ap p lied   clu s ter in g - b ased   in ter p o latio n   with   ea ch   n ew  ex am p le  lim ited   t o   b ei n g   f o r m ed   i n   th e   s am e  clu s ter   a r ea   f r o m   th e   s am p le  p o in t in   a d d itio n   to   th e  co m b i n atio n   with   th e  clu s ter in g   m et h o d .   T h e  d eter m in atio n   o f   th e  d is tan ce   b etwe en   a  p o s itiv e  s am p le  p o in t  an d   its   n ea r est  n eig h b o r s   f o r   in ter p o latio n   in   SMOT E   m eth o d   is   b ased   o n   th e  ca lcu latio n   o f   E u clid ea n   d is tan ce .   Sev er al  SMOT E   d ev elo p m e n ts   also   co n ce n tr at e  o n   ap p r o p r iate  d ata  s am p lin g   to   r ed u ce   th e  o cc u r r e n ce   o f   o v er lap p i n g   r eg io n s   an d   p r e v en t  th e  g en er atio n   o f   n o is y   n ew  d ata.   T o   id en tify   th e  b est  d ata  s am p les,  s ev er al  m eth o d s   h av e  b ee n   u s ed   to   s elec t  ca n d id ate  s am p les.  T h is   was  in d icate d   in   p r ev i o u s   s tu d ies  wh er e  s am p les  we r e  ca teg o r ized   in t o  s af e  an d   d an g er o u s   zo n es  [ 2 4 ]   s elec ted   b o r d er   r eg io n s   [ 2 5 ] ,   an d   d eter m in e d   d if f icu lty   weig h ts   f o r   ea ch   in s tan ce   [ 2 6 ] ,   [ 2 7 ] .   T h e   two   ex ce p tio n s   id en tifie d   wer e  th e   g e n er ati o n   o f   s y n th etic  e x am p les  af te r   a  lea r n in g   v ec t o r   q u an tizatio n   ( L VQ)   o p tim izat io n   p r o ce s s   [ 2 8 ]   a n d   th e  s elec tio n   o f   i n itial  p o in ts   f r o m   t h e  s u p p o r t  v ec to r s   o b tain ed   b y   an   SVM   [ 2 9 ] .   I n   g en er al,   t h e  d is tan ce   ca lcu latio n s   u s ed   in   b o th   tr a d itio n al  SMOT E   an d   its   d ev elo p m e n ts   wer e  o b s er v ed   t o   r ely   o n   k - n ea r est  n eig h b o r s   ( KNN)   alg o r ith m   u s ed   in   s ele ctin g   d ata  s am p les.  Ho wev er ,   th e  u s e  o f   KNN  also   h as  s ev er al  s h o r tco m in g s   s u c h   as  th e  s en s i tiv ity   to   th e  n eig h b o r h o o d   s ize  k   [ 3 0 ]   an d   th e  d is tan ce   f u n ctio n   a p p l ied   to   s elec t  KN N.   T h e  id en tific atio n   o f   th e  m o s t  s u itab le  d is tan ce   f o r m u la  f o r   all  tr ain in g   s am p les  was  f o u n d   to   b e  a   ch allen g in g   ex e r cise.  KNN  also   h as  h i g h   co m p le x ity   d u e  to   th e   n ee d   to   s ea r ch   f o r   n ea r est n eig h b o r s   a n d   is   co n s id er ed   less   ef f ec tiv e  f o r   im b ala n ce d   class   d atasets .     Mo s t  SMOT E   m eth o d s   wer e  c o n tin u o u s ly   b ein g   d ev el o p ed   b ased   o n   tr a d itio n al  KNN  m eth o d ,   th e r eb y   lead in g   to   th e  p er s is ten ce   o f   th e  lim itatio n s .   T h is   led   p r ev io u s   s tu d ies  to   p r o p o s e  im p r o v em en ts   to   KNN  m eth o d ,   p ar ticu lar ly   f o c u s in g   o n   th e  is s u e  o f   s en s itiv ity   to   t h e  k   v alu e .   T h e   lo ca l  m ea n   f a cto r   was  ap p lied   t o   m itig ate  th e  ef f ec ts   o f   k   s en s itiv ity   wh ile  s ev er al  o th er   m eth o d s   in clu d in g   k - h ar m o n i c  n ea r est  n eig h b o r s   ( KHNN )   [ 3 1 ] ,   lo ca l  m ea n - b ased   k - n ea r est  n ei g h b o r s   ( L MK NN)   [ 3 2 ] ,   l o ca l  m ea n - b a s ed   p s eu d o   n ea r est  n eig h b o r s   ( L PMNN)   [ 3 3 ] ,   a n d   m u lti - lo ca l  m ea n s - b ased   n ea r est  n eig h b o r s   ( ML NN)   [ 3 4 ]   co n ce n tr ated   o n   r ed u cin g   o u tlier s   in   th e  v icin i ty   o f   th e  s am p le  p o i n ts .   Sev er al  im p r o v em en ts   wer e  also   m ad e  b y   ass ig n in g   weig h ts   to   ea ch   d ata  p o in t  wit h in   th e  n ei g h b o r h o o d   s u c h   as  p s eu d o   n ea r est  n eig h b o r s   ( PN N)   [ 3 5 ] ,   weig h ted   r ep r esen tatio n - b ased   k - n ea r est   n eig h b o r s   ( W R KNN) ,   an d   we ig h ted   lo ca l   m ea n   r e p r esen tatio n - b ased   k - n ea r est  n eig h b o r s   ( W L MRKNN)   [ 3 0 ] .   T h e   d ev elo p m en t   o f   th ese  wei g h tin g   m eth o d s   was  b ased   o n   t h e  o b s er v atio n   th at  ea ch   n ea r est  n eig h b o r   o f ten   c o n tr ib u tes  d if f er e n tly   to   th e  class if icatio n   o u tco m e  in   r ea l - wo r ld   p r o b lem   d ata.   KNN  m eth o d   was  o b s er v ed   t o   h av e  b ee n   d ev elo p e d   b ased   o n   th e   d is tan c e  a n d   p o s itio n   o f   n ea r est  n eig h b o r s   wh ile  co n s id er in g   th e  weig h ts   o f   ea ch   d ata  p o in t.  T h e  p u r p o s e  was  to   ac co u n t  f o r   p o te n tial  o u tlier s   in   th e   s u r r o u n d in g   ar ea   with o u t  co n s i d er in g   th e  co n tr ib u tio n   o f   ea ch   f ea tu r e  in   d eter m in i n g   n ea r est  n eig h b o r s   d is tan ce   f o r   ea c h   d ata  p o in t.  T h e  b asic  an d   m o s t  co m m o n   d is tan ce   m ea s u r em en t   in   KNN  was  f o u n d   to   b e  t y p ically   p er f o r m ed   u s in g   E u clid ea n   d is tan ce   ca lcu latio n .   Ho wev er ,   th er e  was  th e  p o s s ib ilit y   o f   ea ch   f ea tu r e  h a v in g   v ar y in g   c o n tr ib u tio n s   to   th e  class if icatio n   o u tco m e.   T h e  p r o x im ity   o f   ea ch   d ata  p o in t   was  lik ely   to   b e  in f lu en ce d   b y   s ev e r al  f ea tu r e s   co n tr ib u tin g   to   an d   co r r ela tin g   with   th e  class   lab el.   T h er ef o r e,   th is   s tu d y   p r o p o s ed   a  n ew  m eth o d   b as ed   o n   KNN  ca lled   th e  f ea tu r e  weig h ted   v ar ian ce   an al y s is - n ea r est  n eig h b o r s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  416 - 4 2 7   418   ( W FVAN N) .   T h e  p r o ce s s   in v o lv ed   m o d if y in g   th e  d is tan ce   ca lcu latio n   o f   d ata  p o in ts   b y   ad d in g   a  weig h tin g   f ea tu r e  to   th e  e x is tin g   d ata  f ea tu r es.  T h e  weig h t  v alu es  d e p e n d ed   o n   th e  co r r elatio n   a n d   c o n tr ib u tio n   lev el  o f   ea ch   f ea tu r e.   Mo r eo v er ,   t h e  F - v alu e  o b tain e d   th r o u g h   an a ly s is   o f   v ar ian ce   ( ANOV A)   m eth o d   was  u s ed   to   co m p u te   th e  f ea t u r e  c o n tr ib u tio n   v al u es  an d   f u r th er   c o m b i n ed   with   r ad iu s - s y n th etic   m in o r ity   o v er s am p lin g   tech n iq u e  ( R - SMOT E )   m o d i f icatio n ,   an   o v er s am p lin g   m eth o d ,   to   s o lv e  th e   im b alan ce d   d ata  p r o b l em .   W FVA NN  ap p lied   at  th e   alg o r ith m ic  lev el  an d   R - SMOT E   a t  d ata  lev el  p r o ce s s in g   wer e   later   d esig n ed   as  th e   p r o p o s ed   m o d el  to   s o lv e  th e  c h allen g es  ass o ciate d   with   b u il d in g   a  r o b u s t  m ac h in e  lear n in g   m o d e  in   two   d ata   co n d itio n s ,   in clu d in g   h ig h   d im en s io n al  an d   im b alan ce d .       2.   M E T H O D    2 . 1 .     Weig hte d f ea t ure  v a ria nce  a na ly s is - nea re s t   neig hb o rs   T h e   a lg o r i t h m   m o d i f ie d   to   ca l c u l a t e   th e   E u c l id e a n   d i s t an c e   i n   K N N   w a s   o b s er v ed   t o   r e l y   o n   th e    F - v a l u e   o b ta i n ed   f r o m   th e   f e a t u r e   s e l ec t i o n   p r o c e s s   u s i n g   A N O V A .   T h e   b i g g e s t   c h al l e n g e   in   m a ch i n e   l e a r n in g   w a s   th e  s e l e c t i o n   o f   t h e   b e s t   f e a tu r e s   to   t r a in   th e  m o d e l .   T h er e f o r e,   th i s   s t u d y   a i m e d   t o   s e l e c t  t h e  f e a t u r e s   c o n s i d e r e d   h ig h ly   d ep e n d e n t   o n   th e   r e s p o n s e   v a r ia b l e .   T h i s   w a s   b e c au s e   t h e   v a r i a n ce   o f   a   f e a t u r e  u s u a l l y   d e t e r m i n e s   t h e  l e v e l   o f   i t s   im p a c t o n   th e  r e s p o n s e  v a r i a b l e  b a s e d   o n   th e   cr i t e r i o n   t h a t   a  l o w  v a r i an c e  i n d i c a te s   a  l a ck   o f   i m p a c t  an d   v i c e  v er s a .   A N O V A   wa s   d e f i n ed   a s   a  s t a t i s t i c a l  m e th o d   n o r m a l l y   u s ed   t o   c h e ck   t h e  m e an s   o f   t w o   o r   m o r e   g r o u p s   t h a t  a r e  s i g n if i c an t l y   d if f er e n t  f r o m   e a c h   o th e r .   S i m i l a r l y ,   i n   K N N   m e t h o d ,   th e   ca l c u l a t io n   o f   p r o x i m i ty   b e t w e e n   s am p l e   p o in t s   a n d   th e i r   n e a r e s t   n e ig h b o r s   s h o u ld   b e   h e av i l y   i n f l u e n c ed   b y   f e a tu r e s   s e l e c te d   b a s ed   o n   h i g h   r e l ev a n ce   to   th e  d ep en d en t   v ar i a b l e.   A  h i g h e r   F - v a l u e  f o r   a   f e a t u r e   u s u a l ly   s ig n if i e s   a  g r ea t e r   we i g h t   a s s i g n e d   i n   d e t e r m i n i n g   th e  E u c l i d e an   d i s t a n ce .   I t   w a s   a l s o   n o t e d   t h a t   n o t   a l l   f ea t u r e s   p o s s e s s   s i g n i f ic a n ce   i n   s h ap i n g   t h e   d ec i s i o n   b o u n d a r y   b e t w e en   c l as s e s   i n   t h e   c a s e   o f   h i g h   d im e n s io n a l   d a t a.   S o m e   i r r e le v an t   f e a t u r e s   u s ed   in   d a ta   p a t t e r n   d e t e r m i n a t io n   c o u ld   r e d u c e   th e  p e r f o r m a n c e   o f   t h e  m a ch i n e   le a r n in g   m o d e l  d ev e lo p ed .   T h e r e f o r e,   th e   p r o p o s e d   W F V AN N   m e t h o d   a s s i g n e d   w e i g h t s   to   e a ch   f e a t u r e   b a s e d   o n   th e i r   r e s p e c t i v e  v ar i an c e   an a l y s e s   a s   in d i ca t e d   i n   th e   f l o w   p r o c e s s   p r e s e n t ed   i n   F i g u r e  1 .             Fig u r e  1 .   T h e  f lo w  o f   W FVANN  p r o ce s s     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Weig h ted   n ea r est n eig h b o r s   a n d   r a d iu s   o ve r s a mp lin g   f o r   imb a la n ce d   …  ( Ged e  A n g g a   P r a d ip ta )   419   T h e   weig h ts   wer e  o b tain ed   f r o m   th e  F - v alu e  d eter m in ed   u s in g   ANOV A  in   th e  f ea tu r e  s elec tio n   m eth o d .   T h e  f ea tu r es with   a  h i g h   F - v alu e  wer e  ass ig n ed   p r o p o r tio n ally   h ig h er   weig h ts   wh ile  th o s e  with   a   lo w  o r   ev e n   ze r o   F - v alu e  h ad   n o   i m p ac t  o n   th e  d is tan ce   ca lcu lat i o n   in   KNN.   Mo r eo v er ,   W FVANN  alg o r ith m   was  f o r m alize d   i n   Alg o r ith m   1   an d   th e  weig h tin g   f o r   ea c h   f ea t u r e  in   th e   d ata  was  d eter m in ed   u s in g   ANOV A  b y   ca lcu latin g   th e  F - v alu e   f o r   ea c h   f ea tu r e.   ANOV A  r an k ed   t h e  f ea tu r es  b y   ca lc u latin g   th e  v ar i an ce   r atio   b etwe e n  an d   with in   g r o u p s .   Fu r th er m o r e,   th e  F - v alu e  was  co m p u ted   b y   f in d in g   t h e  r atio   o f   m ea n   s q u ar e  b etwe en   ( MSB )   to   m ea n   s q u a r e  with in   ( MSW ) .   I n   Step   1 ,   th e  v a r ian ce   v al u e   f o r   ea c h   g r o u p   o r   lab el  was  c alcu lated .   Fo r   ea ch   f ea tu r e  i  with in   a  lab el,   its   av er ag e  v alu e  ( ̅ )   was  d eter m in ed   an d   s u b tr ac ted   f r o m   th e  to tal  av er ag e  v alu e  o f   th e  f ea tu r e  ( ̅ ) .   T h e  s u b tr ac tio n   r esu lt  was  later   m u ltip lied   b y   th e  n u m b er   o f   lab els  in   t h e  d ata,   d en o ted   as  k .   T h e  r esu lt  was  s u b s eq u en tly   d i v id ed   b y   th e   d eg r ee   o f   f r ee d o m   f o r   MSB ,   r ep r esen ted   as  − 1 .  Step   2   in v o lv e d   ca lcu latin g   th e  MSW   v alu e.   E ac h   d ata  p o in t  with in   lab el  i  (  )   was  s u b tr ac ted   f r o m   th e  av er ag e  v alu e  o f   t h e  lab el  ( ̅ )   an d   th e  r esu lt  was  d iv id ed   b y   th e  d e g r ee   o f   f r ee d o m   f o r   MSW ,   r ep r esen ted   as  − .   Step   3   was  u s ed   to   d iv id e  MSB   b y   MSW   to   o b tain   th e  F - v alu e  f o r   f ea tu r e  i.  I n   s tep s   4 - 7 ,   th e  r e s u ltin g   F - v alu e  was   n o r m alize d   u s in g   th e  Min - Ma x   n o r m aliza tio n   f o r m u la.   T h e  m eth o d   was  u s ed   to   s ca le  th e  f ea tu r e  v alu es  to   a  r an g e  b etwe en   0   an d   1   an d   th i s   was  ac h iev ed   b y   s u b tr ac tin g   th e  m in im u m   v alu e   o f   th e   f ea t u r e  f r o m   ea ch   v alu e   an d   d iv id i n g   b y   th e  r a n g e  o f   th e  f ea tu r e  weig h ted .   Su b s e q u en tly ,   th e   d is t an ce   f o r   th e  n ew  d ata  p o in t   was  ca lcu lated   ag ain s t  all  tr ain in g   d ata  p o in ts   X   u s in g   th e  E u clid e an   d is tan ce   f o r m u la  b y   ad d in g   th e  ef f ec t  o f   weig h t  o n   ea c h   f ea tu r e.   Fin ally ,   t h e  p r o ce s s   co n tin u e d   i n   s tep s   8 - 1 1   b y   s o r tin g   with   n ea r est  n eig h b o r s   v al u e   f r o m   th e   ca lcu latio n   r esu lts .     Alg o r ith m   1 : Weig h ted   f ea tu r e  b y   v a r ian ce   an aly s is   alg o r ith m   u s in g   F - v alu e   I n p u t:    X :  tr ain in g   d ata,   Y :  lab el  o f   x ,   m :  Nu m b er   Nea r est  Neig h b o r s   ( 1 , 2 , … , ) ,   :  in d ex   j  in   g r o u p   class   I ,   :  in s tan ce s   in d ex   I ,   ̅ :  m ea n   wit h in - g r o u p   class ,   ̅ :  m ea n   all  d at a,   :  n u m b er   o f   class ,   f :  f ea tu r e   in   r o w  d ata,   : n u m b er   o f   class ,   n : n u m b er   o f   f ea tu r es,  K  =  co u n t o f   all  d ata,   an d   k   =  co u n t o f   g r o u p s .   Ou tp u t: L ab els C lass   o f   x   Sam p les   1.   C alcu latin g   m ea n   s q u ar e  b etwe en   ( MSB ) :     ( ∑ ×   (     − ̅ ) 2 ) / ( − 1 )     2.   C alcu latin g   m ea n   s q u ar e  with i n   ( MSW ) :     ( ∑ ∑ (      − ̅ ) = 1   2 = 1 ) / ( − )     3.   C alcu latin g   F - v alu e       =    ( ∑ ×   (     − ̅ ) 2 ) / ( − 1 )   × ( ∑ ∑ (      − ̅ ) = 1   2 = 1 ) / ( − )     4.    =   Min - Ma x   n o r m aliza tio n     5.   W h ile  ( ≤ )   C alcu late  d is tan ce :    ( , ) = √ ∑ ( −  ) 2 = 1 ×      6.         = +   7.   E n d   8.      ( , )   9.   Hea d   ( m )   10.   C las s if y   x :  ( ) =   ∑   ∈    ( , )   11.   E n d     2 . 2 .     Ra diu s   s y nthet ic  m ino rit y   o v er s a m pli ng   t ec hn iqu e  a lg o rit hm   T h e  is s u es  o f   o v er lap p in g ,   n o i s e,   an d   s m all  d is ju n ct  ca s e s   w er e  d is co v er ed   to   b e  em e r g in g   f r o m   th e   r an d o m   s elec tio n   o f   s am p les  with in   th e  m in o r ity   class   d ata.   T h e  n o is e  with in   t h e  m in o r ity   class   d ata  co u ld   lead   to   th e  cr ea tio n   o f   n ew  n o is y   d a ta,   r esu ltin g   in   co n f licts   b etwe en   th e  r eg io n s   o f   ea c h   class .   T h is   ch allen g e  c o u ld   b e  tack led   u s in g   R - SMOT E   m eth o d   b y   f ilter in g   th e   s am p l e  d ata  to   e n s u r e  a  m o r e   p r ec i s e  s am p le  s elec tio n   p r o ce s s .   T h er e f o r e,   th e   p r o p o s ed   m o d if ie d   SMOT E   m o d el  was  in itiated   b y   ca teg o r izin g   m in o r ity   class   d at a   p o in ts   in to   th r ee   g r o u p s   in clu d in g   s af e,   n o is e,   o r   s m all  d is j u n ct .   T h e  d ata  s elec tio n   o r   f ilter in g   p r o ce s s   was  p er f o r m ed   u s in g   KNN  m eth o d   b ased   o n   th e  p o s itio n   an d   p r o x im ity   o f   th e  d ata  to   o th e r   class es.  E ac h   m in o r ity   d ata  p o in t  was  s elec ted   u s in g   KNN  p ar am eter   s et  to   5 ,   an d   t h o s e  co r r ec tly   class if ied   wer e  lab eled   as  s af e  wh ile  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  416 - 4 2 7   420   th o s e  class if ied   to   b e  a  m ajo r ity   class   d ata  p o in t  wer e  tag g ed   n o is e  o r   s m all  d is ju n ct .   T h e  ca teg o r izatio n   p r o ce s s   was  f o llo wed   b y   th e  g en er ati o n   o f   n ew  s y n th etic  d ata  wh i ch   was  lim ited   to   th e  s af e  ca teg o r y .   Similar   to   SMOT E   m eth o d ,   s y n th etic  d a ta  wer e  g en e r ated   b y   id e n tify i n g   th e   n ea r est  m in o r ity   d ata   p o in ts   an d   d r awin g   in ter p o latio n   lin es  b etwe en   th em .   T h e   d ete r m in atio n   o f   th e   n u m b er   o f   n ea r est  d ata   p o in ts   in   SMOT E   m eth o d   was a ls o   b ased   o n   KNN  with   p ar am eter   k   r ep r esen tin g   th e  n u m b er   o f   n ea r est d ata  p o in t s .   Ho wev er ,   th e  u s e  o f   th is   k   p ar am eter   as  d escr ib e d   ea r lier   p o s ed   th e   r is k   o f   g en e r atin g   s y n th etic   d ata   th at  c o u ld   ca u s e  o v er lap p in g   b etwe en   th e  m in o r ity   an d   m aj o r ity   class es.  T h er ef o r e,   th is   s t u d y   p r o p o s ed   th e  u s e  o f   a  r ad i u s   p ar am eter   in s tead   wh ich   was  d eter m in ed   b y   f in d in g   th e  d is tan ce   to   th e  n ea r est  m ajo r ity   d ata  p o in t  f r o m   th e  s am p le  to   b e   u s ed   as  r ad iu s   v alu e.   All  th e  n ew  d at a  p o in ts   wer e  g en er ated   with in   th is   r ad iu s   b o u n d ar y   u s in g   th e  cir cle  eq u atio n   p r esen ted   in   ( 1 )   a n d   ex e m p lifi ed   in   a  two - d im en s i o n al  v ec t o r .     ‖ ~ − ~ ‖ ≤ 2     ‖ ~ − ~ ‖ ≤ 2   ( 1 )     ∑ (  −  ) 2 ≤ 2 = 1   ( 2 )     2 = ∑ ( − ) 2 = 1   ( 3 )     W h er e     r ep r esen ts   th e  ce n ter   p o in t  o f   t h e  cir cle  ( m in o r ity   s am p le  p o in t) ,   with   ( 1 , 2 , 3 , … )   an d     t  ( 1 , 2 , 3 , … )   b ein g   th e  n ea r est  m aj o r ity   p o in ts   to   th e   ce n ter   o f   th e   cir cle,     i s   a  n ew   d ata   p o in t   b elo w   r ad i u s   with   ( 1 , 2 , 3 , … )   wh er e  i   =1 …n ,   th en   2   is   th e  d is tan ce   b etwe en   p   an d     as in   ( 3 ) .   T h e   p r o p o s ed   m o d el  is   p r esen ted   in   Fig u r e  2 .             Fig u r e  2 .   R - SMOT E   alg o r ith m   s ch em e       T h e  d is tan ce   o f   ea ch   m in o r ity   s am p le  f r o m   th e  m ajo r ity   class   was  al s o   ca lcu lated   u s in g   th e  E u clid ea n   d is tan ce   m eth o d .   T h e  n ea r est  m ajo r ity   d ata  p o in t  was  th e  o n e  with   th e  m in im u m   v al u e  t o   all  d is tan ce s   f r o m   m in o r ity   d ata  p o in ts ,   as sh o wn   in   ( 4 ) .        =   ∑ ∑ √ ( − ) 2 = 1 = 1   ( 4 )     W h e r e ,        r e p r e s e n ts   t h e   s h o r t e s t  d i s t a n c e  b e t we e n   m i n o r i t y   d at a  t o   j   a n d   m a j o r i t y   d a t a   t o   i .   T h e  i d e n t i f i c at i o n   o f   t h e   m a j o r i t y   d a t a   p o i n t   w a s   f o l lo w e d   b y   t h e   s y n t h e s i s   o f   n e w   d a t a   t h r o u g h   i n t e r p o l a t i o n   b e t w ee n   t h e s e   t w o   p o i n t s .   T h e   s y n t h e t i c   d at a   w e r e   c r e a t ed   a l o n g   t w o   d i r e c t i o n s   o f   l i n es ,   i n c l u d i n g      a n d   −    b a s e d   o n   t h e   ( 5 )   a n d   ( 6 ) :     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Weig h ted   n ea r est n eig h b o r s   a n d   r a d iu s   o ve r s a mp lin g   f o r   imb a la n ce d   …  ( Ged e  A n g g a   P r a d ip ta )   421    =   + (  ( 0 , 1 ) ×   (    − ) )   ( 5 )     =   + (  ( 0 , 1 ) ×   (   −    ) )   ( 6 )     T h e   ar ea   to   p r o d u ce   th ese  n ew  d ata  was  lim ited   to   r ed u ce   th e  o cc u r r e n ce   o f   o v er lap p i n g   as  r ec o r d ed   in   SMOT E   m eth o d .       3.   RE SU L T S AN D  D I SCU SS I O N    T h is   s ec tio n   was  u s ed   to   im p lem en t  an d   test   W FVA NN  m eth o d   u s in g   s ev er al  h ig h - d i m en s io n al  d atasets .   A  co m p ar ativ e  an aly s is   was  al s o   co n d u cted   b etwe en   W FVANN  an d   two   p r ev io u s   m eth o d s   in clu d in g   th e  o r ig i n al  KNN  an d   L MK NN.   Su b s eq u en tly ,   a  s ec o n d   r o u n d   o f   ex p er im en ts   was a p p lied   to   ass ess   th e  ef f ec t   o f   em p lo y in g   W FVANN  as  a  class if ier   o n   o v er s am p led   d ata  with   s o m e  SMOT E   d ev elo p m en t  m eth o d ,   in clu d in g   B o r d er lin e - SMOT E ,   ad ap tiv e  s y n th etic  s am p lin g   ( ADAY SN ) ,   s af e  lev el  SMOT E ,   an d   SMOT E - I PF .     3 . 1 .     E x perim ent a l  f ra m ewo rk   a nd   da t a s et   cha ra ct er is t ics   T h e   ex p e r im en t  test   was  d iv id ed   in to   two   p ar ts   in clu d i n g   th e  h ig h - d im en s io n al  an d   im b alan ce d   d atasets .   Hig h - d im en s io n al  d atasets   wer e  u s ed   to   ass ess   t h e  ef f ec tiv e n ess   an d   ap p licatio n   o f   th e   p r o p o s ed   m eth o d ,   W FVANN,   in   weig h t in g   ea ch   f ea tu r e  wh ile  im b ala n ce d   d atasets   wer e  em p lo y ed   to   ex am in e  its   ef f ec t  as  a  class if ier   wh en   in teg r ate d   in to   o v e r s am p led   a n d   n o n - o v er s am p led   d ata.   T a b le  1   p r o v i d es  an   o v er v iew  o f   r elev an t  m eta d ata  f o r   th e  h ig h - d im en s io n al   d atasets ,   in clu d i n g   attr ib u tes,  s am p le   co u n ts ,   c lass es,  an d   d is ea s e  ty p es.  T h ese   m icr o ar r ay   d ata s ets  wer e  s o u r ce d   f r o m   R   p ac k ag es  d esig n e d   to   ev al u ate  m ac h in e   lear n i n g   alg o r ith m s   an d   m o d els.       T ab le  1 .   Me tad ata  f o r   h ig h - d im en s io n al  d atasets   No   D a t a s e t   # S a m p l e s   # A t t r   C l a s ses   D i sea s e   1   A l o n   62   2 , 0 0 0   2   C o l o n   c a n c e r   2   B o r o v e c k i   31   2 2 , 2 8 3   2   H u n t i n g t o n 's   D i se a se   3   C h i a r e t t i   1 1 1   1 2 , 6 2 5   2   Le u k e mi a   4   C h i n   1 1 8   2 2 , 2 1 5   2   B r e a s t   c a n c e r   5   C h o w d a r y   1 0 4   2 2 , 2 8 3   2   B r e a s t   c a n c e r   6   C h r i st e n s e n   2 1 7   1 , 4 1 3   3   -   7   G o l u b   72   7 , 1 2 9   3   Le u k i mi a   8   G o r d o n   1 8 1   1 2 , 5 3 3   2   Lu n g   C a n c e r   9   G r a v i e r   1 6 8   2 , 9 0 5   2   B r e a s t   c a n c e r   10   K h a n   63   2 , 3 0 8   4   S R B C T       A  to tal  o f   1 3   d if f er e n t  im b ala n ce d   d ataset s   wer e  o b tain ed   f r o m   d if f er en t  a p p licatio n   ar ea s   o n   b in ar y   an d   m u lticlas s   class if icatio n   p r o b lem s .   T h e  d ataset s   u s ed   h ad   a   d if f e r en t  n u m b er   o f   f ea t u r es  an d   a   d if f e r en t   im b alan ce   r atio   an d   wer e  o b tai n ed   f r o m   UC I   m ac h in e  lear n in g   r ep o s ito r y [ 3 6 ]   an d   k n o wled g e  ex tr ac tio n   b ased   o n   ev o lu tio n ar y   lear n i n g   ( KE E L )   r ep o s ito r y   [ 3 7 ] .   T a b le  2   s h o ws  th eir   ch ar ac ter is tics   with   a  f o cu s   o n   th e  im b alan ce d   r atio   v alu e  ( I R ) ,   wh ich   r ep r esen ts   th e  v alu e  o f   th e  r atio   b etwe en   n eg ativ e  an d   p o s itiv e  class e s ,   th e  n u m b er   o f   f ea t u r es  ( # Attr )   in   ea ch   d ataset,   t h e  n u m b e r   o f   d a ta  o r   in s tan ce s   ( # s am p les)   in   e ac h   d ataset,   as  well   as  th e  n u m b e r   o f   c o m p a r is o n s   o f   p o s itiv e  an d   n e g ativ e  in s tan ce s   in   p er ce n t size.         T ab le  2 .   Me tad ata  f o r   im b alan ce d   d atasets   No   N a me   IR   # A t t r   # S a m p l e s   P o si t i v e   i n st a n c e s  ( %)   N e g a t i v e   i n st a n c e s   ( %)   1   0 3 s u b c l 5 - 6 0 0 - 5 - 70 - BI   5   2   6 0 0   1 6 . 6 7   8 3 . 3 0   2   0 4 c l o v e r 5 z - 600 - 5 - 70 - BI   5   2   6 0 0   1 6 . 6 7   8 3 . 3 0   3   e c o l i - 0 - 1 - 3 - 7 _ v s_ 2 - 6   3 9 . 1 4   7   2 8 1   2 . 4 9   9 7 . 5 1   4   g l a ss1   1 . 8 2   9   2 1 4   3 5 . 4 6   6 4 . 5 4   5   n e w   t h y r o i d   4 . 8 4   5   2 1 5   1 7 . 1 2   8 2 . 8 8   6   p a w 0 2 a - 6 0 0 - 5 - 70 - BI   5   2   6 0 0   1 6 . 6 7   8 3 . 3 0   7   w i n e   1 . 5   13   1 7 8   4 0 . 0 0   6 0 . 0 0   8   y e a st - 1 - 4 - 5 - 8 _ v s _ 7   2 2 . 1 0   8   6 9 3   4 . 3 3 0   9 5 . 6 7   9   U mb i l i c a l   C o r d   1 8 . 8 7   5   1 5 1   5 . 3 0 0   9 4 . 7 0   10   B r e a s t   2 . 3 6   9   2 8 6   2 9 . 1 2   7 0 . 3 8   11   H a b e r m a n   2 . 7 8   3   3 0 6   2 6 . 3 9   7 3 . 6 1   12   P i ma   1 . 8 7   8   7 6 8   3 4 . 8 6   6 5 . 1 4   13   B u p a   1 . 3 8   6   3 4 5   4 2 . 1 9   5 7 . 8 1   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  416 - 4 2 7   422   T h e   v alid atio n   m ec h an is m   u s ed   was  k - f o ld   c r o s s - v alid atio n   with   a  to tal  o f   1 0   f o ld s .   Mo r eo v er ,   t h e  p er f o r m an ce   o f   th e  class if icatio n   m o d el  was  test ed   u s in g   f o u r   m etr ics  in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F - Me asu r e.   I n   m ac h in e  lear n in g   class if icatio n   ta s k s ,   co n f u s io n   m atr ix   in clu d in g   tr u e  p o s itiv e  ( T P),   tr u e  n eg ativ e  ( T N) ,   f alse  p o s itiv e   ( FP ) ,   an d   f alse  n eg ativ e   ( F N)   wer e  th e   m ain   p ar a m eter s   f r o m   wh ich   o th er   p er f o r m an ce   m etr ics  s u ch   as  p r ec is io n ,   r ec al l,   an d   F1   s co r es  wer e  co m p u ted .   T h e   ac cu r ac y   was  u s ed   to   m ea s u r e   th e  am o u n t  o f   d ata  co r r ec tly   cl ass if ied   ac co r d in g   to   th e  g r o u n d - tr u th   la b el  d iv id e d   b y   th e  to t al  d ata  u s ed   f o r   th e   test .   Pre cisi o n   was  th e  r ate  o f   co r r ec t  p r e d ictio n s   am o n g   all  s am p les  p r ed icted   to   b elo n g   to   th e  m in o r ity   class   an d   in d icate d   th e   n u m b er   o f   p o s itiv e  p r ed ictio n s   co n s id er e d   to   b e  co r r ec t.  Me an wh ile,   r ec all  f o cu s ed   o n   th e  p r o p o r tio n   o f   m in o r ity - class   s am p les lab eled   as p o s itiv e.       3 . 2 .     P er f o r m a nce  a na ly s is   o f   hig h dim ens io na l da t a   T h e  p e r f o r m an ce   o f   W FVANN  m o d el   was  o b s er v e d   to   h av e  ex ce lled   ac r o s s   m o s t  o f   th e   u s ed   h ig h - d im en s io n al  d atasets   as  p r esen ted   in   T ab le  3 .   I n   ter m s   o f   ac cu r ac y ,   th e  m o d el  ex h ib ited   s u p er io r   p er f o r m an ce   in   d atasets   s u ch   as  B o r o v ec k i,  C h in ,   C h o wd ar y ,   C h r is ten s en ,   Go lu b ,   an d   Kh an .   A  s u b s tan tial  im p r o v em e n t   was  also   o b s er v ed   in   th e  B o r o v ec k i  d ataset  co m p ar e d   to   th e  o th er   th r ee   m eth o d s   as  in d icat ed   b y   th e  d if f er e n ce   o f   3 3 %  r ec o r d ed   with   KNN  a n d   L MK NN  ac h iev i n g   an   ac c u r ac y   o f   5 6 %  wh ile  W FVANN  h ad   8 9 %.  T h e   r ec all   me asu r em en t  s h o wed   th at  W FVANN  h ad   en h a n ce d   v alu es  i n   6   o u t  o f   th e   to tal  1 0   d atasets   with   a  r em a r k ab le   3 5 %  in cr ea s e  s p ec if ically   r ec o r d ed   i n   B o r o v ec k i  d ataset.   Fu r th er m o r e,   th e  ass ess m en t  o f   t h e  p r ec is io n   a n d   F1 - m ea s u r e  v alu es  in d icate d   th at   W FVANN  m o d el  s h o wed   c o m m en d a b le  p er f o r m a n ce   wit h   in cr ea s ed   v alu es  r ec o r d e d   ac r o s s   6   d atasets .         T ab le  3 .   T h e  h i g h est  p r ec is io n ,   r ec all ,   an d   F1   s co r e  ( %)  p r o d u ce d   b y   KNN,   L MK NN,   an d   W F ANN   D a t a s e t   A c c u r a c y   R e c a l l   P r e c i s i o n   F - 1   S c o r e   K N N   LM K   W F V A   K N N   LM K   W F V A   K N N   LM K   W F V A   K N N   LM K   W F V A   A l o n   63   89   78   65   90   80   78   91   85   59   89   78   B o r o v e c k i   56   56   89   60   55   90   75   55   90   50   55   90   C h i a r e t t i   54   77   64   25   53   51   21   49   45   22   51   46   C h i n   83   89   92   79   87   89   89   90   94   80   88   91   C h o w d a r y   94   97   1 0 0   95   96   1 0 0   93   97   1 0 0   93   97   1 0 0   C h r i st e n s e n   1 0 0   97   1 0 0   1 0 0   98   1 0 0   1 0 0   98   1 0 0   1 0 0   98   1 0 0   G o l u b   86   95   1 0 0   82   88   1 0 0   77   97   1 0 0   79   92   1 0 0   G o r d o n   85   1 0 0   96   56   1 0 0   89   92   1 0 0   98   56   1 0 0   93   G r a v i e r   73   98   75   50   96   56   36   99   71   42   97   54   K h a n   84   1 0 0   1 0 0   81   1 0 0   1 0 0   87   1 0 0   1 0 0   77   1 0 0   1 0 0       T h e  ef f ec t  o f   th e  k   v alu e  is   p r esen ted   in   Fig u r e  3   with   th e   p r o p o s ed   m o d el  d en o ted   b y   s q u ar e  s h ap e  an d   its   s tab ilit y   was  f o u n d   to   be   q u ite  s tab le  co m p ar ed   to   o t h er   m o d els.  I n   ca s e  Alo n   d ataset  Fig u r e  3 ( a) ,   T h e   ac cu r ac y   r em ain s   s o m ewh at  co n s is ten t  as  th e  n u m b er   o f   n e ig h b o r s   ( k )   in c r ea s es.  T h er e  is   s o m e  f lu ctu atio n   b etwe en   d if f er e n t  v alu es  o f   k ,   b u t  it  s tab ilizes  at  ar o u n d   k =5 .   Fu r th er m o r e ,   b o r o v ec k i  Fig u r e   3 ( b ) ,   T h e  ac cu r ac y   r em ain s   s tab le  an d   h ig h   ac r o s s   m o s t v alu es o f   k .   T h e   h ig h est  p er f o r m an ce   is   o b s er v ed   with   k =2   an d   co n tin u es  ac r o s s   d if f er e n t  k   v alu es.   I n   th e  c h iar etti  d ataset  Fig u r e  3 ( c)   s h o ws  a  m o r e  f lu ctu atin g   b e h av io r   with   KNN,   with   a  s ig n if ican t  d i p   ar o u n d   k = 3   b u t  s tab ilizin g   at   h ig h e r   v al u e s   o f   k .   Oth er wis e  ch in   d ataset   Fig u r e  3 ( d )   s h o ws  ac cu r ac y   f lu ctu ates  q u ite   s ig n if ican tly   f o r   d if f er en t  v alu es  o f   k .   I t   s h o ws  th at  t h e  ch o ice  o f   k   ca n   d r asti ca lly   af f ec t  p er f o r m an ce   o n   th is   d at aset.  C h o wd ar y   d ataset  Fig u r e  3 ( e) ,   th e  ac cu r ac y   is   q u ite  s tab le  ac r o s s   d if f er en t   v alu es  o f   k ,   s h o win g   o n ly   a  s lig h t  d ip   at  s o m ek v alu es.  Ov er all,   p r o p o s ed   m eth o d   p er f o r m s   co n s is ten tl y   well   o n   th is   d ataset.   Su b s eq u en tly   in   C h r is ten s en   Fig u r e  3 ( f ) ,   s h o ws  h ig h   ac cu r ac y   u n til  ar o u n d   k =6 ,   wh er e  th er e  i s   a  s h ar p   d ec lin e  in   p er f o r m a n ce .   Af ter   th is   p o in t,  th e  ac cu r ac y   r em ain s   lo w.   Glo lu b   Fig u r e  3 ( g ) ,   th er e  is   n o tab le   f lu ctu atio n   i n   ac c u r ac y   f o r   d if f er en t v alu es  o f   k ,   in d icatin g   t h at  th is   d ataset  is   s en s itiv e  to   t h e  ch o ice  o f   k .   T h e   p er f o r m an ce   s h o ws  an   u p war d   tr en d   af ter   k =3 .   Fu r th er m o r e,   Go r d o n   d ataset  Fig u r e  3 ( h ) ,   s h o ws  p er f o r m a n ce   o n   th is   d ataset  is   g en er ally   s ta b le,   th o u g h   th er e  is   a  s lig h t  d r o p   at  s p ec if ic  k   v alu es.  Ho we v er ,   it  r em ain s   h ig h   ac r o s s   th e  b o ar d .   Gr av ie r   d ata s et  in   Fig u r e  3 ( i)   s h o ws  f lu ctu atin g   ac cu r ac y ,   with   a  n o tab le   d ip   at  k = 4 ,   b u t  th e   p er f o r m an ce   b o u n ce s   b ac k   w ith   h ig h er   v alu es  o f   k .   T h en   th e  last   o n e  is   k h a n   d ataset  in   Fig u r e  3 ( j)   s h o ws   ir r eg u lar   p er f o r m an ce ,   with   lar g e  f lu ctu atio n s   in   ac c u r ac y   as  k   ch an g es.  T h e  p er f o r m a n ce   is   in co n s is ten t  ac r o s s   d if f er en t  v al u es  o f   k .   Ho we v e r ,   th e  o p tim al  k   v alu e  was   d if f er en t  f r o m   t h o s e  u s ed   in   th e  a cc u r ac y   m etr ic  f o r   h ig h - d im e n s io n al  d at asets .   W FVANN  s h o wed   r eliab ilit y   o n   h ig h - d im e n s io n al  d atasets   with   9  o u t  o f   1 0   d atasets   d is co v er ed   to   h av e  ac h iev ed   a cc u r ac y ,   p r ec is io n ,   an d   F1 - m e asu r e  v alu es  th at  s u r p ass ed   ( o r   eq u al  to )   th o s e  o f   o th er   m eth o d s ,   ex ce p t in   th e  G r av ier   d ataset  wh er e  L MK NN  m eth o d   h ad   a  h ig h er   ac c u r ac y   v alu e  o f   9 8 %.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Weig h ted   n ea r est n eig h b o r s   a n d   r a d iu s   o ve r s a mp lin g   f o r   imb a la n ce d   …  ( Ged e  A n g g a   P r a d ip ta )   423       ( a)     ( b )       ( c)     ( d )       ( e)     (f)       ( g )     ( h )       ( i)   ( j)     F i g u r e   3 .   A c c u r a c y   p e r f o r m a n ce   u s i n g   d i f f e r e n t   k   f o r   h i g h - d i m e n s i o n a l   d a ta s et s   i n   d a t a s e t :   ( a )   a l o n ,     ( b )   b o r o v e c k i ,   ( c )   c h i a r e t t i ,   ( d )   c h i n ,   ( e )   c h o w d a r y ,   ( f )   c h r i s t e n s e n ,   ( g )   g o l u b ,   ( h )   g o r d o n ,   ( i )   g r a v i e r ,   a n d   ( j )   k h a n     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   14 ,   No .   1 ,  Feb r u ar y   2 0 2 5 :  416 - 4 2 7   424   3 . 3 .     P er f o r m a nce  a na ly s is   o f   t he  im ba la nced  da t a   T h e  p u r p o s e  o f   t h is   ex p er im e n t  was  to   u n d er s tan d   th e  p er f o r m an ce   o f   W FVANN  m o d el  d u r i n g   th e   p r o ce s s   o f   h an d lin g   im b alan c ed   d atasets .   T h is   was  co n s id er ed   n ec ess ar y   d u e  to   th e  ab ilit y   o f   th e  im b alan ce d   d ataset  co n d itio n s   to   ca u s e  a  d ec lin e  in   th e  ac cu r ac y   o f   co n v en tio n al  m ac h i n e  lear n in g   m eth o d s ,   p ar ticu lar ly   o n   m in o r ity   d ata.   Ov er s am p lin g   m eth o d   was  d is co v er ed   to   h av e  b ec o m e  a  tr en d i n g   s o lu tio n   to   tack le  th ese   co n d itio n s   a n d   SMOT E   was o b s er v ed   t o   h av e  b ee n   wid ely   u s ed   an d   d ev el o p ed   in   p r e v io u s   s tu d ies.  T h e r e f o r e ,   a  co m p ar is o n   was  m ad e  b etwe en   th e  p r o p o s ed   R - SMOT E   an d   two   p r ev io u s   s tate - of - th e - a r t  m eth o d s   in clu d in g   SMOT E   an d   B o r d er lin e - SMOT E .   T h e  p er f o r m an ce   ev alu atio n   was  co n d u cted   u s in g   f o u r   m etr ics  in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - m ea s u r e  as in d icate d   in   t h e  f o llo win g   T a b le  4   wh er e  th e  h ig h est r esu lts   ar e  h ig h lig h ted   in   b o ld   f o n t.  R - SMOT E   was  o b s er v ed   to   h av e   th e  b est  p er f o r m an ce   b y   ac h iev in g   th e   h ig h est  ac cu r ac y   v alu es  in   9   d atasets   in clu d in g   0 4 clo v er 5 z - 600 - 5 - 70 - B I ,   n ew - th y r o id ,   win e,   y ea s t - 1 - 4 - 5 - 8 _ v s _ 7 ,   u m b ilical  co r d ,   b r ea s t,  h ab er m an ,   p im a,   a n d   b u p a.   T h e  m o s t  s ig n if ican t  d if f er en ce   in   ac cu r ac y   was  r ec o r d e d   in   th e  B u p a  d ataset  wh er e   R - SMOT E   h ad   8 3 . 2 %  wh ile  B o r d er lin e  a n d   SMOT E   attain ed   5 7 . 3 %  an d   6 4 . 3 %,   r esp ec tiv ely .   Mo r eo v e r ,   f r o m   th e  an aly s is   o f   r ec all  v alu es,  R - SMOT E   co n s is ten tly   o u tp er f o r m ed   th e  o th er   th r ee   m eth o d s .       T ab le  4 .   R esu lt  o f   co m b in atio n s   o f   W F ANN  alg o r ith m   with   o v er s am p lin g   SMOT E ,   B o r d e r lin e - SMOT E ,     an d   R - SMOT E   D a t a s e t   A c c u r a c y   R e c a l l   P r e c i s i o n   F - 1   S c o r e   S M T   B D R   R S M T   S M T   B D R   R S M T   S M T   B D R   R S M T   S M T   B D R   R S M T   0 3 s u b c l 5 - 6 0 0 - 5 - 70 - BI   6 6 . 4   6 7 . 2   6 5 . 1   6 6 . 2   6 8 . 1   6 4 . 9   6 6 . 3   6 7 . 2   6 6 . 2   6 6 . 2   6 8 . 3   6 6 . 4   0 4 c l o v e r 5 z - 600 - 5 - 70 - BI   7 6 . 1   7 3 . 2   8 2 . 5   7 6 . 1   7 3 . 5   8 2 . 5   7 5 . 6   7 1 . 2   8 2 . 5   7 6 . 1   7 1 . 3   8 3 . 2   Ec o l i - 0 - 1 - 3 - 7 _ v s_ 2 - 6   9 7 . 1   9 9 . 1   9 8 . 6   9 7 . 1   9 9 . 5   9 7 . 2   9 8 . 2   9 9 . 1   9 8 . 5   9 8 . 1   9 9 . 1   9 8 . 5   G l a ss 1   7 9 . 1   8 8 . 3   7 4 . 2   7 9 . 2   8 7 . 3   7 4 . 3   7 9 . 1   8 7 . 3   7 3 . 3   8 0 . 1   8 6 . 8   7 4 . 1   N e w   t h y r o i d   9 7 . 5   9 9 . 5   9 9 . 5   9 7 . 5   9 9 . 5   9 9 . 5   9 7 . 2   9 9 . 3   9 9 . 2   9 7 . 1   9 8 . 9   9 8 . 9   P a w 0 2 a - 600 - 5 - 70 - BI   7 6 . 2   7 4 . 6   7 7 . 2   7 6 . 1   7 5 . 2   7 8 . 2   7 5 . 9   7 5 . 2   7 7 . 2   7 6 . 7   7 4 . 9   7 8 . 2   W i n e   9 5 . 4   9 5 . 4   1 0 0   9 5 . 2   9 5 . 5   1 0 0   9 4 . 8   9 4 . 8   1 0 0   9 4 . 8   9 4 . 8   1 0 0   Y e a st - 1 - 4 - 5 - 8 _ v s _ 7   8 9 . 2   9 2 . 1   9 6 . 1   8 9 . 2   9 2 . 5   9 5 . 8   8 9 . 2   9 1 . 5   9 6 . 1   8 8 . 9   9 2 . 5   9 5 . 1   U mb i l i c a l   C o r d   9 6 . 3   9 6 . 2   9 6 . 3   9 6 . 3   9 6 . 2   9 6 . 3   9 6 . 3   9 6 . 4   9 7 . 2   9 6 . 3   9 7 . 7   9 8 . 1   B r e a s t   7 4 . 3   7 6 . 2   8 7 . 2   7 5 . 1   7 6 . 2   8 6 . 4   7 4 . 3   7 6 . 2   8 6 . 2   7 3 . 4   7 6 . 3   8 8 . 3   H a b e r m a n   7 1 . 2   6 5 . 1   7 8 . 3   7 2 . 1   6 5 . 1   7 9 . 2   7 3 . 2   6 6 . 7   8 0 . 2   7 3 . 2   6 6 . 8   8 1 . 6   P i ma   7 9 . 2   7 5 . 6   8 7 . 3   7 9 . 1   7 5 . 3   8 6 . 9   7 9 . 2   7 6 . 3   8 7 . 1   8 0 . 1   7 7 . 8   8 8 . 7   B u p a   6 7 . 3   6 4 . 3   8 3 . 2   6 7 . 3   6 4 . 2   8 2 . 1   6 7 . 2   6 4 . 2   8 2 . 3   6 6 . 8   6 3 . 4   8 1 . 8   S M T= S M O TE ;   B D R = B o r d e r l i n e - S M O TE;   R S M T= R - S M O TE       T h e  co m b in atio n   m eth o d   o f   W FVA NN  an d   R - SMOT E   w as  o b s er v ed   to   h av e  p r o d u ce d   th e  h ig h est  v alu es  in   1 0   o u t  o f   1 3   d atasets   in clu d in g   0 4 clo v er 5 z - 6 0 0 - 5 - 70 - B I ,   Paw0 2 a - 6 0 0 - 5 - 70 - B I ,   N ew - th y r o id ,   W in e,   Yea s t - 1 - 4 - 5 - 8 _ v s _ 7 ,   Um b ilical  C o r d ,   B r ea s t,  Hab er m an ,   Pima ,   an d   B u p a.   T h is   u n d e r s co r ed   th e  alig n m en t   b etwe en   th e  test   d ata  f ac ts   an d   th e  p r ed ictio n   o u tco m es  o f   W FVANN  an d   R - SM OT E ,   th er eb y   p r o d u cin g   s atis f y in g   p er f o r m an ce   im p r o v em en ts .   Mo r eo v er ,   th e   p r ec is io n   r esu lts   also   m ir r o r ed   th is   t r en d ,   with   1 0   o u t   o f   1 3   d atasets   attain in g   th e  h ig h est  v alu es  th r o u g h   W FVANN   R - SMOT E   m eth o d .   T h e  m o s t  s ig n if ican t  in cr ea s e  in   p r ec is io n   was  o b s er v ed   in   th e  B u p a  d ataset,   with   8 2 . 3 %   r ec o r d e d   f o r   R - SMOT E ,   6 4 . 2 %  f o r   B o r d er lin e - SMOT E ,   an d   6 7 . 2 %  f o r   SMOT E .   T h e   r esu lts   s h o wed   th e   alig n m en t  b etwe en   t h e  p r ed ic tio n   o u tco m e   o f   th e   p r o p o s ed   m o d el  an d   th e  ac t u al  d ata  an d   wer e  f o u n d   to   b e  s atis f ac to r y   f o r   b o th   th e  n eg ativ e  a n d   p o s itiv e  class es.   Similar ly ,   th e  r esu lts   wer e  r ef l ec ted   in   th e  F1 - Me asu r e  m etr i c  with   th e  p r o p o s ed   co m b i n atio n   m o d el  d is co v e r ed   to   h av e  ac h ie v ed   th e  h i g h est  v alu e  in   1 0   d atasets   in clu d in g   0 4 clo v er 5 z - 600 - 5 - 70 - B I ,   Pa w0 2 a - 6 0 0 - 5 - 70 - B I ,   New - th y r o id ,   W in e,   Yea s t - 1 - 4 - 5 - 8 _ v s _ 7 ,   Um b ilical  C o r d ,   B r ea s t,  Hab er m a n ,   Pima ,   an d   B u p a.   T h e     F1 - m ea s u r e  also   im p lied   th e   s im u ltan eo u s   m a x im izatio n   o f   b o th   p r ec is io n   a n d   r ec all  th at  o f f er ed   a  tr a d e - o f f   with   o n e  m etr ic  co m in g   at  th e  co s t  o f   an o th er .   Mo r e  p r ec is io n   in v o lv ed   a  h a r s h er   cr itic  o r   c lass if ier   th at  d o u b ts   ev en   th e  ac tu al  p o s itiv e  s am p les  f r o m   th e  d ataset,   th er eb y   r ed u cin g   th e  r ec all  s co r e.   Me a n w h ile,   m o r e  r ec all  en tailed   lax   cr itic  wh ich   allo wed   an y   s am p le  r esem b lin g   a  p o s itiv e  clas s   to   p ass   an d   m ad e  b o r d er - ca s e  n e g ativ e   s am p les  clas s if ied   as  “p o s itiv e ”,   r ed u cin g   t h e  p r ec is io n .   T h e  co m b in atio n   o f   W FVANN  an d   R - SMOT E   m o d els  ef f ec tiv ely   b alan ce d   an d   m ax im ized   p r ec is io n   an d   r ec all  v alu es  b ased   o n   th e   ex p e r im e n t  r esu lts   s h o wn   in   T ab les  3   an d   4 .   Fu r th e r m o r e ,   Fig u r e  4   s h o ws  th e  c o m p ar is o n   o f   ac c u r ac y ,   p r ec is io n ,   r ec al l,  an d   F1 - m ea s u r e  o u tco m es  f o r   th e  p r o p o s ed   m eth o d   o n   th e  U m b i l i c a l   c o r d ,   i n d i c a t i n g   t h e   m o s t   s i g n if i c a n t   p e r f o r m a n c e   e n h a n c e m e n t   c o m p a r e d   t o   o t h e r   d a t a   a n d   m e t h o d s .   T h is   p lo t  s h o ws  th e   ac cu r ac y   in   Fi g u r e   4 ( a) ,   r ec all   in     Fig u r e  4 ( b ) ,   p r ec is io n   in   Fig u r e  4 ( c) ,   an d   F1 - m ea s u r e  in   Fig u r e  4 ( d )   o f   W FVANN  m o d el  u s in g   d if f e r en t   o v er s am p lin g   tech n iq u es  as  th e  n u m b er   o f   k   n eig h b o r s   c h an g es.  SMOT E   g en e r ally   p er f o r m s   well  ac r o s s   d if f er en t   v alu es  o f   k ,   m ain ta in in g   h i g h er   ac cu r ac y   co m p a r ed   to   th e  o th er   m eth o d s .   B o r d er lin e   SMOT E   ex p er ien ce s   s i g n if ica n t  d ip s   at  k =6   a n d   k =1 0 ,   s h o win g   u n s tab le  b eh av i o r   with   d i f f e r en t  v alu es  o f   k .   R - SMOT E   r em ain s   q u ite  s tab le  b u t te n d s   to   s lig h tly   u n d e r p er f o r m   c o m p ar ed   to   SMOT E   at  h ig h er   k   v a lu es.    Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Weig h ted   n ea r est n eig h b o r s   a n d   r a d iu s   o ve r s a mp lin g   f o r   imb a la n ce d   …  ( Ged e  A n g g a   P r a d ip ta )   425       ( a)     ( b )         ( c)   ( d )     Fig u r e  4 .   C o m p a r is o n   o f   th e  r esu lts   o f   W FVAN N  co m b in atio n   with   th e  o v er s am p lin g   alg o r ith m   in     ( a)   ac cu r ac y ,   ( b )   r ec all ,   ( c )   p r e cisi o n ,   an d   ( d )   F1 - m e asu r e  o n   th e  u m b ilical  co r d   d ataset       4.   CO NCLU SI O N    I n   co n clu s io n ,   th is   s tu d y   in tr o d u ce d   an   in n o v ativ e  KNN  v a r ian t  n am ed   W FVANN.   T h e  ess en ce   o f   th is   m eth o d   d ep en d ed   o n   th e  o b s er v atio n   o f   th e   r elev an ce   an d   co n tr ib u tio n   o f   ea ch   f ea tu r e  to war d   th e   ca lcu latio n   o f   E u clid ea n   d is tan ce   in   KNN  m eth o d .   T h e  f ea tu r e  r e lev an ce   a n d   co n tr ib u tio n   w er e  m ea s u r ed   u s in g   th e  F - v alu e  an d   weig h t  o f   ea ch   f ea tu r e,   wh ich   d ep en d ed   o n   th e  m a g n itu d e  o f   th e  r esu ltin g   F - v alu e.   T h e   ev alu atio n   was  co n d u cte d   u s in g   1 0 - f o ld   cr o s s - v alid atio n   ( 1 0 - FC V)   with   ex p er im en ts   ap p lied   to   th e  two   ty p es  of   d ata  in clu d i n g   h ig h - d im e n s io n al  an d   im b alan ce d .   T h e  e x p er im en ts   o n   h ig h - d im en s io n al  d atasets   s h o wed   th at  W FVANN  o u tp er f o r m ed   o th er   m eth o d s   in clu d i n g   KNN  an d   L MK NN.   T h is   was  co n f ir m ed   b y   th e  f ac t  t h at   W FVA NN  m o d el  y ield ed   s ati s f ac to r y   r esu lts   with   6   o u t o f   1 0   d atasets   ac h iev in g   th e  h ig h est v alu es c o m p ar ed   to   o th er   m eth o d s .   T h e  p h en o m en o n   in d icate d   th e  ef f ec tiv en ess   o f   u s in g   weig h ts   f o r   r elev an t  f ea tu r es  in   d eter m in in g   p r ed ictio n   o u tco m es.  T h e  r esu lts   al s o   s h o wed   th at  n o t  all  f ea tu r es  co n tr ib u ted   v a lu ab le  in f o r m atio n   in   d eter m in in g   d ata  p atter n s   i n   h ig h - d im en s io n al  d atasets ,   b u t  s o m e  h ad   th e  ca p ac ity   to   d is r u p t  th e  lear n in g   p r o ce s s .   T h e  co m b i n atio n   o f   R - SMOT E   o v er s am p lin g   m et h o d   at  th e  d ata  lev el  an d   W FVANN  m eth o d   at  th e   alg o r ith m ic  lev el   was p r o p o s e d   in   t h e  test   o f   im b alan ce d   d at asets   an d   in d icate d   s atis f y in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - m ea s u r e   v alu es.   R - SMOT E   m eth o d   s h o wed   s u p er io r   p er f o r m an ce   m etr ics  co m p ar ed   to   SMOT E   an d   B o r d er lin e - SMOT E .   T h e   r esu lts   v alid ated   th e  ef f ec tiv en ess   o f   co n s tr ain in g   th e  ar ea   in   R - SMOT E   an d   m o d if y in g   f ea tu r e  weig h ts   in   W FV ANN  to   en h an ce   r o b u s tn ess   ag ain s t   im b alan ce d   d ata  co n d itio n s .   T h e  lim itatio n s   o f   th is   s tu d y   wer e   also   ac k n o wled g ed .   T h e   co m p u tatio n al  tim e   was  r elativ ely   h ig h   d u e  to   th e   ca lcu latio n   o f   f ea tu r e  weig h ts   f o r   ea c h   f ea tu r e,   p ar ticu lar ly   in   h ig h - d im en s io n al   d ata.   T h er ef o r e,   s p ec ial   atten tio n   was  r eq u ir ed   to   ad d r ess   co m p u tatio n al  tim e  co n s tr ain ts   to   f u r th er   r e f in e  th is   m o d el.   I n   th e  f u tu r e,   f ea tu r e  weig h tin g   d e v elo p m e n t  s h o u ld   b e  co m b in ed   with   o th er   f ea tu r e  s elec tio n   m et h o d s ,   an d   d is tan ce   ca lcu latio n s   ex p lo r e d   u s in g   alter n ativ e  m eth o d s   s u ch   as   Min k o wsk i  an d   Ma n h attan   d is tan ce s .   Fu tu r e  d ev elo p m e n ts   s h o u ld   also   f o c u s   o n   d eter m in in g   t h e  m o s t o p tim al  k  v alu e  au to m atica lly .       ACK NO WL E DG E M E NT S    T h e  au th o r s   ar e  g r ate f u l  to   th e  Dir ec to r ate  o f   R esear ch ,   T ec h n o lo g y ,   an d   C o m m u n ity   Ser v i ce   ( DPR M )   I n d o n esia  f o r   f u n d i n g   th is   s tu d y   th r o u g h   Pro g r am   Fu n d in g   ( Fu d am en tal  R eg u ler )   f o r   th e   2 0 2 3   Fis ca l  Yea r .   Nex t,  th an k   y o u   t o   th e   r esear ch   ass is tan ts ,   n am ely   Ar y a   Fais al  Ak b ar   an d   Hen d r a  W ijay a  wh o   h av e   h elp ed   ca r r y   o u t th is   r esear ch   in   t h e  i n tellig en t sy s tem s   lab o r ato r y   o f   I n s titu t T ek n o lo g i  d an   B is n is   STI KOM   B al i.      Evaluation Warning : The document was created with Spire.PDF for Python.