I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - AI )   V ol .   14 , N o.   3 ,  J une   2025 , pp.  1727 ~ 1742   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v 14 .i 3 .pp 1727 - 1742       1727     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   R e vi e w  on  c l ass  i m b al an c e  t e c h n i q u e s t o st r e n gt h e n  m od e l   p r e d i c t i on       P u t t a H e m al at h a, G e e t h a M ar y A m al an at h an   S c hool  of  C om put e r  S c i e nc e  a nd E ngi ne e r i ng, V e l l or e  I ns t i t ut e  of  T e c hnol ogy,  V e l l or e , I ndi a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  F e b   13 ,  2024   R e vi s e d  F e b   28 ,  2025   A c c e pt e d  M a r   15 ,  2025       Data  is  a  fundamental  component  in  various  fields,  including  s cience,  business,  health  care,  and  technology.  It   is  often  processed,   store d,  and  analyzed  using  computer  systems   and  software  applicati ons.  The  imp ortance  of  data  lies  in  its   ability  to  provide   valuable  insights,  drive   innovation,  and   improve  decision - making  processes.  However,  it’s  essential   to  hand le  and  manage  data  responsibly  to  address  privacy  and   ethical  consideration s.  Data  mining  (DM)  involves  discovering  patterns,  trends,  correlations,  or   useful  information  from  large  datasets.  Data  dredging  or  DM  and  machine  le arning  (ML)  are  closely  related  fields  that  both  involve  the  analysis  of   data  to  discover  patterns  and  make  predictions.  DM  focuses  on  ext racting  knowledge  from  data;   ML  emphasizes  the  development  of  algorithms  that  can  do  analysis.  The   two  fields   are  interconnected,  and   the  technique s  from   one  state  of   art  integrated   into  the   processes  of   the  other.   In  ML   th e  class  imbalance   problem  occurs  due  to  the  class  distribution  in  the   trai ning  data  is  not  equal.  Imbalanced  classification  refers   to  a  condition  wh ere  a  par ticular  class  (minority  class)  is   under  represented   parallelled  to   another   class  (majority  class)  in  a  dataset.  This  paper  furthermore  emphasizes  on  the  synthetic  minority  oversampling  technique  (SMOTE)  variants  employed  by  the rese archer s, and highligh ts the limitations th e work.   K e y w o r d s :   C la s s  i m ba la n c e   D a ta  m in in g   M a c hi ne  l e a r ni ng   M ode l  pe r f or m a nc e   S M O T E  t e c hni que s   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   G e e th a  M a r y A m a la na th a n   S c hool  of  C om put e r  S c ie nc e  a nd E ngi ne e r in g, V e ll or e  I ns ti tu te  of  T e c hnol ogy   V e ll or e  C a m pus ,  T ir uva la m  R d, K a tp a di , V e ll or e ,  T a m il  N a du  632014, I ndi a   E m a il :  ge e th a m a r y.a @ gm a il .c om       1.   I N T R O D U C T I O N   I n  m a c hi ne   le a r ni ng   ( M L ) ,  c la s s   im ba la nc e   is   a   s c e na r io   w he r e  w e   s e e   hi ghl y  s ke w e d  di s tr ib ut io n  of   c la s s e s   in   a   p a r ti c ul a r   da ta s e t,   w it h  one   or   m or e   c la s s e s   be in g   m uc h  m or e   c om m on  th a n  ot he r s .  C la s s if ie r s   m a y  be c om e   bi a s e d  to w a r ds   th e   m a jo r it y  c la s s   a s   a   r e s ul t,   w hi c h  e m pha s is   on  poor   pe r f or m a nc e   on  th e   m in or it y  c la s s e s .   I n  a   r e a l - w or ld   a ppl ic a ti on,  w he r e   th e   m in or it y  c la s s   r e pr e s e nt s   s ig ni f ic a nt   or   c r it ic a l   in s ta nc e s , s uc h  a s   m e di c a l  di a gnos is ,  f r a ud  de te c ti on,  a nd  a no m a ly   id e nt if ic a ti on,  a ddr e s s in g  c la s s   im ba la nc e   is  e s s e nt ia l.  M e th od s  l ik e  c os t - s e n s it iv e  l e a r ni ng, e ns e m bl e  a pp r oa c he s , a nd r e s a m pl in g a r e  f r e que nt ly  us e d t o  le s s e n  th e   im pa c t  of   c la s s   im ba l a nc e   a nd  e nha nc e   M L   m ode l  p e r f or m a nc e .   T hi s   w or k  di s c us s e s   th e   di f f e r e nt   te c hni que s   to   ha ndl e   th e   c la s s   im ba la nc e   pr obl e m ,  di f f e r e nt   s ynt he ti c   m in or it y  ove r s a m pl in g  te c hni que   ( S M O T E )   ba s e d  m e th ods ,  di f f e r e nt   c la s s if ic a ti on  m ode ls ,  v a r io us   e va lu a ti on  m e tr ic s   w hi c h  is   us e d  to   m e a s ur e   th e   m ode l   pe r f or m a nc e ,  a nd  c h a ll e nge s   a s s oc ia te d  w it h  a   c la s s   im ba la n c e   in   th e   f or m   of   a   li te r a tu r e   r e vi e w .  T he   a na ly s is   of   e xi s ti ng  di f f e r e nt   c a te gor iz a ti on  a ppr oa c he s   he lp s   us   to   be tt e r   unde r s ta nd  th e   di f f ic ul ti e s   th a t  th e   im ba la nc e   da t a   s e t  pr e s e nt s .  M L   te c hni que s   ha ve   b e e n  w id e ly   u s e d  in   a   va r ie ty   of   a ppl ic a ti ons ,  in c lu di ng  f in a nc e ,  c li ni c a l  di a gnos ti c s ,  m a r ke ti n g,  ba nki ng,  e pi de m io lo gy,  a nd  bi oi nf or m a ti c s   [ 1] . M os t  of   th e  da ta s e ts  i n t he  r e a l - w or ld  s e e m  t o  be  i m ba la nc e d. T he  na tu r e  of  i m ba la nc e  a nd i m por ta nc e  o f   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  3 ,  J une   20 25 :  1727 - 1742   1728   th e   m in or it y  s a m pl e s   a nd  it s   w id e   r a nge   of   da ta   m in in g   ( D M )   a ppl ic a ti on  f ie ld s   a r e   di s c us s e d  in   de ta il e d  by  [ 2] ,  w hi c h  a ls o  de li ve r s   a   s ynops is   of   th e   e va lu a ti on  m e tr i c s   a nd  c ur r e nt   pr oc e dur e s   f or   a s s e s s in g  a nd  r e s ol vi ng  im ba la nc e   pr obl e m s .  O ne   ove r - s a m pl in g  te c hni que   th a t  a ddr e s s e s   th is   is s ue   is   th e   S M O T E .  I n  e s s e n c e , a n i m ba la nc e d da ta ba s e  ha s  m in or it y a nd ma jo r it y  i nf or m a ti on. DM  i s  one  of  t he  ke y  a ppr oa c he s   f o r   ha ndl in g volum in ous  i m ba la nc e d da ta  unf ol di ng  hi dde n pa tt e r n s  t hr ough it s  t e c hni que s  s uc h a s  c la s s if ic a ti on,  a s s oc ia ti on   a na ly s is ,  c lu s te r in g,  a nd   pa tt e r n  r e c ogni ti on   [ 3] .  S e tt in g   up  a   r e a l - ti m e   da ta   pr oc e s s in g,  da ta s e ts   f r e que nt ly   c ons is t  of   a   gr e a te r   qu a nt it y  of   da ta   be lo ngi ng  to   one   c la s s ,  known   a s   th e   m a jo r it y  c la s s ,  a nd   a   le s s e r   num be r   be lo ngi ng  to   th e   m in or it y  c la s s .  A lm os t  m a jo r i ty   of   th e   c a s e s   in   th e s e   is s ue s   a r e   la be ll e d  a s   be lo ngi ng  to   one   c la s s ,  w he r e a s   m uc h  f e w e r   in s ta nc e s   a r e   la b e ll e d  a s   be lo ngi ng  to   th e   ot he r   c la s s ,  w hi c h  is   ty pi c a ll y  th e   m or e  s ig ni f ic a nt   c la s s .   I m ba la nc e   is  a   s it ua ti on   w h e r e   th e r e   a r e   bi a s e d  num be r   of  s a m pl e s   in   on e   c la s s   w he n  c om p a r e d  to   ot he r   c la s s e s .  I n  th e s e   c ir c um s ta nc e s ,   th e   c la s s if ie r   c r e a te d  m a y  pr e di c t  in   f a vor   o f   th e   dom in a nt   c la s s .  I n  e a r li e r   r e s e a r c h  in ve s ti ga ti ons ,  s e ve r a l  s tr a te gi e s   w e r e   de ve lo pe d  to   a ddr e s s   th e   i s s ue   of   c la s s   im ba l a nc e .  T he r e f or e ,  th e   a ut hor   a im s   to   r e vi e w   va r io us   te c hni que s   f or   a ddr e s s in g  th e   c la s s   im ba la nc e d pr obl e m .       2.   B A C K G R O U N D  O N  D A T A   M I N I N G , M A C H I N E  L E A R N I N G , A N D  C L A S S  I M B A L A N C E   2 .1.  Dat a m in in g p la y’ s  vi t al  r ol e  t o  e n h an c e   c la s s  i m b al an c e  p r ob le m s   C la s s   im ba la nc e   is   a   ve r y  im por ta nt   pr obl e m   in   r e a l  li f e   s c e na r io s ,  a nd  s uc h  a ppl ic a ti ons   in c lu de ;  h e a lt h  c a r e ,  f r a ud  a na ly s is ,  in f or m a ti on  r e tr ie va l,   a nd  te x t  m in in g.  T hi s   im ba la nc e   in   da ta s e ts   c a n  s ig ni f ic a nt ly   r e duc e   th e   e f f ic ie nc y  of   c onve nt io na l  ML   a lg o r it hm s   th a t  ha ve   be e n  ba s e d  on  f a ir ly   ba la nc e d  da ta .  T hi s   pr obl e m   is   a ddr e s s e d  e f f e c ti ve ly   u s in g  DM   by  a ppl yi ng  va r io us   m e th ods   a nd  te c hni que s   th a t   id e nt if y  c om pl e x  s tr uc tu r e s   a nd  c or r e la ti ons   be tw e e n  c la s s e s   in   s por a di c a ll y  im ba la n c e d  d a ta s e t s .  N e w   te c hni que s   in c lu d e   s ynt h e ti c   s a m pl in g,  c os t - s e ns it iv e   l e a r ni ng,  e ns e m bl e   te c hni que s ,  a nd   hybr id   a r c hi te c tu r e   to   e ns ur e   th a t   th e   m ode l s  s ol ve   th e   pr obl e m   of   unde r   r e pr e s e nt a ti on  of   th e   m in or it y  c la s s e s   w hi le   m a in ta in in g  th e   m e r it s   of   ba la nc e d  m ode ls .  T hi s   p a pe r   pr opos e s   th e   us e   o f   DM   te c hni que s   in   bui ld in g  r e li a bl e   a nd  f a ir   m ode ls  f or  e f f e c ti ve  ha ndl in g of  i m ba la nc e  a s  t he  vol um e  a nd  c om pl e xi ty  of  da ta  i nc r e a s e s .   ‒   I m pr ove d  m ode l  pe r f or m a nc e :  w he n  th e   da ta   is   im ba la nc e d,  i t  c a n  le a d  to   th e   c r e a ti on  of   im ba la nc e d   m ode ls   th a t  ha ve   poor   pe r f or m a nc e   w he n  it   c om e s   to   th e   m in o r it y  c la s s .  P r e pr oc e s s in g  te c hni que s   s uc h  a s   r e s a m pl in g  he lp s   to   c or r e c t  im ba la nc e   in   th e   num be r   of   in s ta nc e s   th a t  be lo ng s   to   th e   m in or it y  c la s s   th e r e by i nc r e a s in g t he  a bi li ty  of  t he  m ode l  in  c or r e c tl y i de nt if yi ng t hi s  c la s s   [ 4] .   ‒   B e tt e r   ge ne r a li z a ti on:   im ba la nc e d  da ta s e t s   c a n  r e s ul t  in   m ode ls   th a t  ove r f it   to   th e   m a jo r it y   c la s s .  D M   m e th ods ,  li ke   f e a tu r e   s e le c ti on  a nd  di m e ns io na li ty   r e duc ti on,  c a n  he lp   c r e a te   a   m or e   ba la nc e d  a nd  r e pr e s e nt a ti ve  da ta s e t,  a ll ow in g t he  m ode l  to  ge ne r a li z e  b e tt e r .   ‒   A nom a ly   de te c ti on:   in   s c e na r io s   li ke   f r a ud  de te c ti on,  id e nt if yi ng  r a r e   e ve nt s   ( m in or it y  c la s s )   is   c r uc ia l.   D M  m e th ods  c a n h e lp  de te c t  a nom a li e s  or  r a r e  c a s e s  e f f e c ti ve ly , e ve n i n i m ba la nc e d da ta s e ts .   ‒   C os t  r e duc ti on:   in   c e r ta in   a ppl ic a ti ons ,  m is c la s s if yi ng  in s ta nc e s   f r om   th e   m in or it y  c la s s   c a n  ha ve   s ig ni f ic a nt   c os ts   or   c ons e que nc e s .  D M   he lp s   in   bui ld in g  m od e ls   th a t  r e duc e   th e s e   c o s ts   by   a ddr e s s in g  th e  c la s s  i m ba l a nc e  i s s ue .   ‒   E ns e m bl e   m e th ods :  e ns e m bl e   le a r ni ng  te c hni que s ,  li ke   ba ggi ng   a nd  boos ti ng,  a r e   w id e ly   u s e d  in   D M   to   im pr ove   m ode l  pe r f or m a nc e   on  im ba la nc e d   da ta s e ts .  T he s e   m e th ods   c om bi ne   m ul ti pl e   m ode l s   to   m a ke   pr e di c ti ons , a nd t he y c a n be   a da pt e d t o gi ve  m or e  w e ig ht  t o t he   m in or it y  c la s s   [ 5] .   ‒   R e s a m pl in g  te c hni que s :  D M   of f e r s   s e v e r a l  m e th ods   of   r e s a m p li ng  in c lu di ng  ove r s a m pl in g  ( ge ne r a ti ng   a ddi ti ona l  in s ta nc e s   f or   th e   m in or it y  c la s s ) ,  unde r - s a m pl in g  ( r e duc in g  th e   num be r   of   in s ta nc e s ,  be lo ngi ng  to   th e   m a jo r it y  c la s s ) ,   a nd  s ynt he ti c   da t a   ge ne r a ti on ( c r e a ti ng  a r ti f ic ia l  s a m pl e s   in   th e   c ont e xt   of  t he  m in or it y c la s s ) . T he s e  t e c hni que s   c a n ba la n c e  t he  da ta s e t  a nd i m pr ove  m ode l  tr a in in g  [ 6] .   ‒   C os t - s e ns it iv e   le a r ni ng :  D M   a ll ow s   f or   th e   in c or por a ti on  of   c os t - s e ns it iv e   le a r ni ng  te c hni que s ,   w he r e   m is c la s s if ic a ti on s  of  di f f e r e nt  c la s s e s  a r e  a s s ig ne d di f f e r e nt  c os ts . T hi s  i s  pa r ti c ul a r ly  us e f ul  i n s c e n a r io s   w he r e  m is c la s s if yi ng t he  m in or it y c la s s  i s   c o s tl ie r   [ 7] , [ 8] .    ‒   F e a tu r e   e ngi ne e r in g:   f e a tu r e   e ngi ne e r in g  te c hni que s   in   D M   c a n   he lp   c r e a te   in f or m a ti ve   f e a tu r e s   th a t  a r e   pa r ti c ul a r ly  us e f ul  f or  di s ti ngui s hi ng be twe e n c la s s e s  i n i m ba la nc e d da ta s e ts .   ‒   A c ti ve   le a r ni ng:   D M   te c hni que s   c a n   be   a ppl i e d  to   a c ti ve   le a r ni ng  s c e n a r io s   w he r e   th e   m ode l   s e le c ts   in s ta nc e s   f or   la be ll in g  th a t  a r e   li ke ly   to   im pr ove   it s   pe r f or m a nc e   on  th e   m in or it y  c la s s ,  th us   opt im iz in g  th e  l e a r ni ng pr oc e s s .   ‒   E va lu a ti on  m e tr ic s :  D M   pr ovi de s   a   w id e   r a nge   of   e va lu a t io n  m e tr ic s   be yond  a c c ur a c y,  s uc h  a s   pr e c is io n,  r e c a ll ,  F 1 - s c or e ,  a nd   a r e a   und e r   th e   r e c e iv e r   ope r a ti ng  c ha r a c te r is ti c   c ur ve   ( A U C - R O C ) ,  w hi c h  a r e   m or e   in f or m a ti ve   f or   im ba la nc e d  da ta s e ts .   T he s e   m e tr ic s   gi ve   a   b e tt e r   unde r s ta ndi ng  of   a   m ode l’ s  pe r f or m a nc e  on both m a jo r it y a nd mi nor it y  c la s s e s   [ 9] .     Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       R e v ie w  on c la s s  i m bal anc e  t e c hni que s  t o s tr e ngt he n m ode l  p r e di c ti on ( P ut ta   H e m al at ha)   1729   2 .2.  M ac h in e  l e ar n in g   ap p r oac h e s  f or   c la s s  i m b al an c e  p r ob le m s   M L   is   a   s ubs e t   of   a r ti f ic ia l  in te ll ig e nc e   ( A I )   th a t  e na bl e s   on  de ve lo pi ng  m ode ls ,  c om put e ,   a nd  le a r n   f r om   e vi de nc e s   a nd  b e c om e   be tt e r   a t  c e r ta in   ta s ks   [ 10] .  I n  e s s e nc e ,  DM   f oc u s e s   on  th e   di s c ove r y  of   pa tt e r ns   a nd  r e la ti ons hi ps   w it hi n  d a ta ,  w hi le   ML   f oc us e s   on  bui ld in g  a lg or it hm s   th a t  c a n  le a r n  f r om   da ta   to   pe r f or m   ta s ks  s u c h a s   c la s s if ic a ti on, r e gr e s s io n,  a nd  c lu s te r in g. T he s e  t w o f ie ld s  a r e  of te n i nt e r twi ne d, w it h t e c hni que s   a nd  in s ig ht s   f r om   one   f ie ld   in f o r m in g  a nd  e nha nc in g  th e   ot h e r .  M L   c a n  be   f ur th e r   be e n  c a te gor iz e d  in to   s upe r vi s e d  l e a r ni ng,  uns upe r vi s e d  le a r ni ng,  a nd  r e in f or c e m e nt   l e a r ni ng  a s   s ke tc h e d  in   F ig ur e   1.  I n s upe r vi s e d   le a r ni ng,  e a c h  da ta   poi nt   ha s   a   ta r ge t  la be l,   th us   th e   s ys te m   le a r ns   f r om   la be ll e d  da ta .  T he   obj e c ti ve   of   a ny   m ode l  is   to   de ve lo p  a   c or r e la ti on  a m ong  th e   in put   a tt r ib ut e s   a nd  out put   la be ls   s o  th a t  th e   m ode l  c a n   e f f e c ti ve ly   pr e di c t  th e   c l a s s   a c c ur a te ly   f r om   uns e e n   da ta .  I n   c ont r a s t,   th e   m e th od  of   un s upe r vi s e d   le a r ni ng  us e s   unl a be l e d  da ta   [ 11] .  S upe r vi s e d  le a r ni ng  lo oks   f or   s tr uc tu r e s ,  c or r e la ti ons ,  a nd  pa tt e r ns   in   th e   da ta ,  f or   e xa m pl e :  c lu s te r in g  or   di m e ns io na li ty   r e duc ti on  or   gr ou pi ng  c om pa r a bl e   da ta   poi nt s   to ge th e r .  I n  r e in f or c e m e nt   le a r ni ng,  a   s ys te m   a s s um e s   th e   r ol e   of   a n  a ge nt   a nd  in te r a c ts   w it h  it s   s ur r oundings   to   di s c ove r   how   to   m a xi m iz e   r e w a r d  s ig na ls .  I t  is   f r e que nt ly   e m pl oye d  in   s it ua ti ons   w he r e   a n  a ge nt   de ve lo p s   th e   a bi li ty   to   m a ke   a   s e r ie s   of   d e c is io n s .  ML   is   a   c ont in uou s ly   e vol vi ng   di s c ip li ne   th a t  ha s   s e e n  r e m a r ka bl e   pr ogr e s s   a c r os s   m ul ti pl e   f ie ld s .  H ow e ve r ,  th e r e   a r e   s ti ll   s e ve r a l  r e s e a r c h  c ha ll e nge s   th a t  r e s e a r c he r s   a nd  e xpe r ts   a r e   a c ti ve ly  w or ki ng t o a ddr e s s . S om e  of  t he s e  c h a ll e nge s  i nc lu d e :   in te r pr e ta bl e  a nd e xpl a in a bl e  m ode ls , bi a s  a nd   f a ir ne s s ,  ha ndl in g  m ul ti   c la s s   or   c la s s   im ba la nc e   pr obl e m s ,  a d ve r s a r ia l  a tt a c ks   a nd  de f e ns e s ,  s c a la bi li ty   a nd  e f f ic ie nc y, a nd c a us a l  in f e r e nc e .           F ig ur e  1. G e ne r a l  ove r vi e w  of  di f f e r e nt  t ype s  of   ML   ta s ks       2 .2.1.  M u lt i - la b e l  c la s s  vs .  m u lt ic la s s  c la s s i f ic at io n   M ul ti - la be l  c la s s   a nd   m ul ti c la s s   c la s s if ic a ti on  a r e   th e   c om m on  pr obl e m s   in   ML   a nd  a f f e c t  th e   f ie ld   of   DM   a nd   s ta ti s ti c s .   N um e r ous  a ppr oa c he s   ha v e   ge n e r a ll y  be e n  put   f or th   to   ba la n c e   th e   unba la n c e d  d a ta   s e ts   [ 12] , [ 13] . H ow e ve r , due  t o t he  l a r ge r  da ta  s iz e , i t  r e m a in s  a  c ha ll e ngi ng t a s k a s   s how n i n F ig ur e  2.           F ig ur e  2. D if f e r e nt  t ype s  of  c la s s  l e a r ne r  c ha ll e nge s  i n  ML       2 .2.2. M u lt ic la s s  d at a   M ul ti c la s s   da ta   r e f e r s   to   a   f or m   of   da t a s e t  f r e que nt ly   ut il iz e d  i n  M L   a nd   da t a   a na ly s i s   a ppl ic a ti on s .  E a c h d a ta   poi nt  i n a  m ul ti - c l a s s  d a ta s e t  c or r e s p ond s  t o o ne  of   s e ve r a l  pr e s e t  c la s s e s  or  gr oup s .  T o  put  i t  a not he r   w a y,   e a c h   da ta  poi nt   c a n be   c l a s s if ie d  in t o  o ne   c l a s s  out  of   th r e e   or   m or e  c la s s e s . T h e   m ul ti c l a s s   m e th od pa v e s   a  pa t h t o d e a l  w it h  da t a  poi nt s  t ha t  be lo ng t o  nume r ous  c l a s s e s   a nd pe r f or m   M L  a nd d a ta   a na ly s is .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  3 ,  J une   20 25 :  1727 - 1742   1730   2 .2.3.  A p p li c at io n s  of   m u lt ic la s s  d at a   T he r e   a r e   s e ve r a l  u s e s   f or   m ul ti c la s s   da ta   in   num e r ou s   di s c ip li ne s   a nd  s e c to r s .  F ol lo w in g  w il l  be   a   f e w   e xa m pl e s   of   how   m ul ti c la s s   da ta   is  a ppl ie d  in   va r io us   f ie ld s   [ 14] :   i)   im a ge   pr oc e s s in g:   c ons id e r   a   da ta s e t   of   im a ge s   w he r e   th e   a im   is   to   c a te gor iz e   th e   im a ge s   in to   m u lt ip le   obj e c t  c la s s e s ,  f or   e xa m pl e   c a ts ,   dogs ,   bi r ds ,  a nd  c a r s .  T h e   c ha ll e nge   i s   one   of   m ul ti c la s s  c a te gor iz a ti o n  be c a us e  e a c h  im a ge   b e lo ngs   to   one   of   th e s e   va r io us   c la s s e s ;  ii )   m e di c a l  di a gnos is :  m ul ti c la s s   c l a s s if ic a ti on   r e f e r s   to   th e   pr oc e s s   of   c la s s if yi ng  di f f e r e nt   di s e a s e s   ba s e d  on  in f or m a ti on  a bout   th e   pa ti e nt ,  s u c h  a s   s ym pt om s   a nd  te s t  f in di ngs ;  ii i)   te xt   c a te gor iz a ti on:   in   na tu r a l  la ngua ge   pr oc e s s in g,  you  m ig ht   ha v e   a   da ta s e t  of   te xt   doc um e nt s   th a t   ne e d   to   be   c a te gor iz e d  in to   va r io us   to pi c s   or   th e m e s .  E a c h  doc um e nt   c a n  be lo ng  to   one   of   m a ny  pos s ib le   c a te gor ie s ,  s uc h  a s   s por ts ,   pol it ic s ,  e nt e r ta in m e nt ,  a nd  te c hnol ogy ;  iv )   s p e e c h  r e c ogni ti on:   i t  is   th e   pr oc e s s   of   id e nt if yi ng  w or ds   us e d   in   s pe e c h,  phr a s e s ,   or   c om m a nds   a nd  c a te gor iz in g  th e m ,  a ll ow in g  voi c e   a s s is ta nt s   to   c om pr e he nd   va r io us   u s e r   c om m a nds ;  v)   m a nuf a c tu r in g  a nd  qua li ty   c ont r ol :  i t  in vol ve s   in s pe c ti ng  a nd  c a t e gor iz in g  pr oduc ts   on  a n   a s s e m bl y  li ne   a c c or di ng  to   th e ir   qua li ty   o r   f la w s ;  a nd  vi )   f i na nc ia l  da ta   a na ly s is :  f in a nc ia l  da ta   a na ly s i s   in vol ve s   e xa m in in g  a nd  in te r pr e ti ng  da ta   r e la te d  to   f in a n c ia l  tr a ns a c ti ons ,  in ve s tm e nt s ,  m a r ke ts ,  a nd   e c onomi c  i ndi c a to r s  t o ga in  i ns ig ht s   a nd ma ke  i nf or m e d de c is io ns .      2 .3.   C la s s   im b al an c e   A c c ur a te ly   e s ti m a ti ng  th e   c la s s   di s tr ib ut io n  be c om e s   a n  is s ue   w he n  de a li ng  w it h  da ta   w he r e   c e r ta in   c la s s e s   ha ve   f e w   s a m pl e s   th a n  ot he r s ,  a ls o  known  a s   c la s s   i m ba la nc e .  T h e r e   is   a   te nd e nc y  to   in c r e a s e   th e   de pe nde nc e   on  m ode ls   tr a in e d  on  s uc h  da ta   a nd  th e y  m a y  be   a ls o  pr e ju di c e d  to   th e   m a jo r it y  c la s s ,  le a di ng  to   in a c c ur a te   pr e di c ti ons   a nd  m i s c la s s if ic a ti on.  T hi s   is s ue   f r e que nt ly   a r is e s   in   f ie ld s   li ke   a nom a ly   d e te c ti on,  r is k   a s s e s s m e nt ,  c r im e   de te c ti on,  m e di c a l  a na ly s i s ,  a nd  s pa m   f il te r in g,  w he r e   one   c la s s   a ppe a r s   s ig ni f ic a nt ly   le s s   of te n t ha n t he  ot he r s .   ‒   T he   c ha ll e nge s   of   c la s s   im ba la nc e   a r e   f ol lo w s :   i)   b ia s   to w a r ds   m a jo r it y  c la s s :  m ode ls   te nd  to   pe r f or m   w e ll  i n t he  m a jo r it y  c la s s  w hi le  s tr uggl in g t o pr e di c t  th e  m in o r i ty  c la s s  due  t o t he  a bunda nc e  of  m a jo r it y   c la s s   s a m pl e s ;  ii )   r e duc e d   ge ne r a li z a ti on:   th e   m ode l  m ig ht   ge n e r a li z e   poor ly   to   ne w   da ta ,  e s pe c ia ll y  f or   th e   m in or it y  c la s s ,  le a di ng  to   poor   pe r f or m a nc e   on  uns e e n  da ta ;  a nd  ii i)   bi a s e d  e va lu a ti on:   tr a di ti ona l  a c c ur a c y  m ig ht   be   m is le a di ng  s in c e   a   na iv e   m ode l  th a t  pr e di c t s   th e   m a jo r it y  c la s s   f or   e ve r yt hi ng  c oul d   s ti ll  a c hi e ve  hi gh a c c ur a c y i n i m ba la nc e d da t a s e t s .   ‒   S tr a te gi e s   to   a ddr e s s   c la s s   im ba la nc e   a r e   f ol lo w s :  i)   r e s a m pl in g  te c hni que s :  i n  ML ,  r e s a m pl in g  i s   a   ty pi c a l  m e th od  f or   a ddr e s s in g  c l a s s   im ba la nc e .  B y  c hoo s in g  in s ta nc e s   f r om   th e   or ig in a l  da ta s e t,   a   ne w   tr a in in g  da ta s e t  w it h  a   di f f e r e nt   c la s s   di s tr ib ut io n  w il l  b e   c r e a t e d.  R e s a m pl in g  te c hni que s  c a n  be   di vi de d  in to   th e   f ol lo w in g  c a te gor ie s ;  ii )   ove r s a m pl in g :  in c r e a s in g  th e   num be r   of   in s ta nc e s   in   th e   m in or it y  c la s s   by  dupl ic a ti ng  or   ge ne r a ti ng  s ynt he ti c   da ta   poi nt s   [ 15] ;  ii i)   unde r   s a m pl in g:   r e duc in g  th e   num be r   of   in s ta nc e s   in   th e   m a jo r it y  c la s s   by  r a ndoml y  r e m ovi ng  s a m pl e s   [ 16] ;  iv )   S M O T E :  it s   e nge nde r s   f a br ic a te d  or   s ynt he ti c   s a m pl e s   f or   th e   m in or it y  c la s s   ba s e d  o n  in c or por a ti ng  a m ong  th e   e xi s ti ng  da ta   poi nt s   [ 17] ;  v)   c os t - s e ns it iv e   le a r ni ng:   t hi s   a ppr oa c h  in   ML   a c c ount s   f or   th e   va r yi ng  c o s ts   r e la t e d  w it h  m ul ti pl e   ki nds   of   m is c la s s if ic a ti on  e r r or s   in   a   c la s s if ic a ti on  m ode l.   C onve nt io na l  ML   m ode l s   a im   to   de c r e a s e  ove r a ll  e r r or , but  t he y do not a c c ount  f or  t he   pa r t ic ul a r   c os ts  c onne c te d w it h f a ls e  po s it iv e s   a nd   f a ls e   ne ga ti ve s ,  in   s c e n a r io s   w he r e   m is c la s s if ic a ti on  c os ts   a r e   i m ba la nc e .  C os t - s e n s it iv e   le a r ni ng  c a n  be   e a s il y  in te gr a te d  w it h  c la s s if ic a ti on  r e gr e s s io n  tr e e   ( C A R T ) ,  s uppor t  ve c to r   m a c hi ne   ( S V M ) ,  a nd   na ïv e   B a ye s   [ 18] ;  vi )   a nom a ly   de te c ti on:   th e   id e nt if ic a ti on  of   pa tt e r ns   or   oc c ur r e nc e s   w it hi n  a   d a ta s e t   th a t  de vi a te   f r om   e xpe c te d  be ha vi or   is   c a ll e d  a nom a ly   de te c ti on,  s om e ti m e s   r e f e r r e d  to   a s   out li e r   de te c ti on.   T he   c hoi c e   of   a nom a ly   de te c ti on  te c hni que ,  s uc h  a s   s ta ti s ti c a l,   de ns it y -   or   di s ta nc e - ba s e d  m e th odol ogi e s , ba s e d on the  na tu r e  of  t he  da ta s e t  a nd t he  e xpl i c it  ne c e s s it ie s  of  t he  a ppl ic a ti on  [ 19] ;  vi i )   da ta   a ugm e nt a ti on:   it   is   a   pr oc e dur e   of   pe r f or m in g  va r io us   m odi f ic a ti ons   on  th e   tr a in in g  da ta   a nd  it s   w id e ly   a ppl ie d  on   c om put e r   vi s io n  a nd   ML   to   s ynt he ti c a ll y   r a is e   th e   vol um e   of   a   tr a in in g   da ta s e t.   S e ve r a l  w e ll - li ke d  m e th ods   f or   e nha nc in g  d a ta   in c lu de   r a ndo m   s w a ppi ng,  tr a ns la ti ng,  c r oppi ng,  pi tc h  s hi f ti ng,  ti m e   w a r pi ng,  s c a li ng,  a nd  de f or m a ti on  [ 20] ;  vi ii )   e ns e m bl e   m e th ods :  e ns e m bl e   m e th ods   a r e   a   pow e r f ul   a ppr oa c h  th a t  ha ndl e s   th e   c la s s   im ba la nc e   in   ML .   S om e   e ns e m bl e   m e th ods   th a t  c a n  b e   e f f e c ti ve   f or   a ddr e s s in g  c la s s   im ba la nc e   li ke   S M O T E   ba s e d  a p pr oa c he s ,  e a s y  e n s e m bl e ,  A da B oo s t,   a nd  X G B oos t  w it h s c a le  pos e   w e ig ht   [ 21] .   ‒   S M O T E :  I t  is   a n  im por ta nt   te c hni que   us e d  in   ML   a nd  DM   to   de a l  w it h  im ba la nc e   pr obl e m   i n   c la s s if ic a ti on  pr obl e m s   [ 22] .  I t  s pe c if ic a ll y  a ddr e s s e s   th is   i s s u e   s in c e   it   pr oduc e s   s ynt he ti c   s a m pl e s   of   th e   m in or it y  c la s s if ic a ti on.  T he   c or e   pr in c ip le   of   S M O T E   in vol ve s   c r e a ti ng  s ynt he ti c   in s ta nc e s   th a t  r e s e m bl e   e xi s ti ng  m in or it y  c la s s   s a m pl e s ,   th e r e by  e nha nc in g   th e   r e pr e s e nt a ti on   of   th e   m in or it y  s a m pl e s   a nd  im pr ovi ng  c la s s   di s tr ib ut io n  ba la nc e   th r ough  th e s e   s ynt he s iz e d  s a m pl e s ,   S M O T E   ope ns   th e   a bi li ty   of   th e   m ode l  to   le a r n  m o s t  of   th e   c ha r a c te r is ti c s   of   th e   m in or i ty   c la s s   r a th e r   th a n  ju s t  f oc us in g  on   th e   m a jo r it y  c la s s   th us   im pr ovi ng  on  th e   c la s s if ic a ti on  of   th e   m od e l.   T hi s   le a ds   to   im pr ove d  c la s s if ic a ti on  Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       R e v ie w  on c la s s  i m bal anc e  t e c hni que s  t o s tr e ngt he n m ode l  p r e di c ti on ( P ut ta   H e m al at ha)   1731   pe r f or m a nc e   on  th e   unde r r e pr e s e nt e d   c la s s   a nd  ov e r a ll   be tt e r   ge ne r a li z a ti on  of   th e   m ode l.   T he r e   a r e   s e ve r a l  va r ia ti ons   of   S M O T E ,  e a c h  de s ig ne d  to   a ddr e s s   s pe c if ic   c ha ll e nge s   or   s c e na r io s .  T he   di f f e r e nt   ty pe s   of   S M O T E   m e th ods   a r e   a s   f ol lo w s   [ 23] :   i)   S M O T E :  it  is   one   of   th e   m e th ods   us e d  in   ML   a nd  DM   to   de a l  w it h   th e   c h a ll e nge   of   c la s s   im ba la n c e   in   th e   c l a s s if ic a ti on  pr obl e m .  C la s s   im ba l a nc e   r e f e r s   to   a   s it ua ti on w he r e by t he  i ns ta nc e s  be lo ng t o one  c la s s  a r e  ve r y f e w  t ha n t hos e  of  t he  ot he r  c la s s . I n or de r  t o   s ol ve   th e   pr obl e m ,  S M O T E   c r e a te   ne w   s a m pl e s   ba s e d  on  th e   e xi s ti ng  in s ta nc e s   of   th e   m in or it ie s   c la s s .  I n  or de r   to   c r e a te   m in or it y  s a m pl e s   S M O T E ,  a ppl ie s   a r bi tr a r y  s e le c ti on  of   a   m in or it y  c la s s   in s ta nc e   a nd  id e nt if yi ng  a   gr oup  of   it s   k - ne a r e s t  ne ig hbor s   ( K N N ) ,  a nd  th e n  c r e a ti ng  ne w   s ynt he ti c   in s ta n c e s   ba s e d   on  th e s e   r e la ti ons hi ps   [ 24] ;  ii )   B or de r li ne - S M O T E :  th is   a lg o r it hm   be lo ngs   to   th e   e xt e nde d  S M O T E   a lg or it hm  f a m il y  w hi c h i s  a  m e th od t ha t  or ig in a te d f r om  t he  ba s ic  S M O T E  a lg or it hm  but  w it h a n a im  of   ha ndl in g  bor de r li ne   in s ta nc e s   w he r e by  th e y   a r e   c on s tr uc te d  f r om   in s ta nc e s   in   th e   m in or it y  c la s s   ne a r by  th e   de c is io n  bor de r .  I ns te a d  of   us in g  a ll   m in or it y  c la s s   in s ta nc e s ,  bor de r li ne - S M O T E   onl y  s e le c ts   th os e   in s ta nc e s   th a t  a r e   ne a r   th e   de c is io n  bounda r y.  T hi s   a ppr oa c h a im s   to   ge ne r a te   s ynt he ti c   in s ta nc e s   w he r e   th e y  a r e   m os t   ne e de d,   ne a r   th e   bor de r li ne   be twe e n   c la s s e s   [ 25] ;  ii i)   a da pt iv e   s ynt he ti c   ( A D A S Y N )   s a m pl in g  a ppr oa c h :  i t  is   a n  a d a pt iv e   e xt e n s io n  of   S M O T E .  I t  a im s   on  c r a ti ng  m or e   f a br ic a te d/ s ynt he ti c   s a m pl e s   f or   m in or it y   c la s s   in s ta nc e s   th a t  a r e   di f f ic ul t  to   c la s s if y,  s uc h  a s   th os e   c lo s e   to   th e   de c is io n   bounda r y.  A D A S Y N   us e s   a   de n s it y  di s tr ib ut io n  to   de te r m in e   th e   num be r   of   s ynt he ti c   s a m pl e s   to   c r e a te   f or   e a c h  m in or it y  c la s s   in s ta nc e ,  m a ki ng  it   a da pt iv e   to   th e   da ta   di s tr ib ut io n ;  iv )   S M O T E   w it h  e di te d   ne a r e s t  ne ig hbor s   ( E N N ) :  c om bi ne s   S M O T E   w it h   th e   E N N   a lg or it hm .  I t  f ir s t  ove r s a m pl e s   th e   m in or i ty   c la s s   us in g  S M O T E   a nd  th e n  us e s   E N N   to   c le a n  th e   s ynt he ti c   s a m pl e s   by  r e m ovi ng  noi s y  one s   a nd   bor de r li ne   in s ta nc e s   f r om   bot h  th e   m in or it y  a nd  m a jo r it y  c la s s e s   [ 26] ;  v)   S M O T E - T om e k  li nks :  c om bi na ti on  of   S M O T E   a nd  th e   T om e k  li nks   unde r   s a m pl in g   m e th od.  I t  us e s   S M O T E   to   ove r s a m pl e   th e   m in or it y  c la s s   a nd  th e n   id e nt if ie s   T om e k  li nks   ( pa ir s   of   i ns ta nc e s   f r om   di f f e r e nt   c la s s e s   th a t   a r e   c lo s e   to   e a c h  ot he r   a nd  a c t  a s   m ut ua l  ne a r e s t  ne ig hbor s ) .  T h e   T om e k  li nks   a r e   r e m ove d,  le a di ng  to   a   c le a ne r   da ta s e t  [ 27] ;  vi )   s a f e - le ve l  S M O T E :  de s ig ne d  to   a ddr e s s   th e   i s s ue   of   ove r ge ne r a li z a ti on  w he n  ge ne r a ti ng  s ynt he ti c   s a m pl e s .  I t  c a lc ul a te s   a   “ s a f e   le v e l”   f or   e a c h  m in or it y  c la s s   in s ta nc e   ba s e d  on  th e   de ns it y  of   th e   m a jo r it y  c la s s   in s ta nc e s   in   it s   n e ig hbor hood .  S ynt he ti c   s a m pl e s   a r e   ge n e r a te d  f or   in s ta nc e s   w it h  s a f e   le ve l s   a bove   a   c e r ta in   th r e s hol d  [ 28] ;  vi i)   e vol ut io na r y  m ul ti - di s tr ib ut io n  ove r - s a m pl in g  ( E M D O ) - S M O T E :   a n  e xt e ns io n  of   S M O T E   th a t  c a n  ha ndl e   da ta s e ts   w it h  m ul ti pl e   m in or it y   c la s s   di s tr ib ut io ns .  I t  a da pt s   th e   ove r s a m pl in g  s tr a te gy  ba s e d  on  th e   di s tr ib ut io n   of   th e   m in or it y  c la s s   in s ta nc e s ,  a ll ow in g  it   to   ge ne r a te   s ynt he ti c   s a m pl e s   m or e   e f f e c ti ve ly ;  vi ii )   G a us s ia n  S M O T E :  it   is   a n   a dva nc e d  va r ia ti on  of   th e   or ig in a l  S M O T E   a lg or it hm   us e d  in   a s s e s s in g   th e   im ba la n c e d  c la s s   pr obl e m   in   ML .  I t  bui ld s   upon  th e   c onc e pt   of   S M O T E   by  in tr oduc in g  a   m or e   s ophi s ti c a te d  a ppr oa c h   to   s ynt he s iz in g  a ddi ti ona l  s a m pl e s   to   im pr ove   th e   pe r s oni f ic a t io n  of   th e   m in or it y  c la s s   la be ls .   T hi s   a ppr oa c h  e nha nc e s   pr oc e s s   by  c ons id e r in g  th e   di s tr ib ut io n  of   f e a tu r e   va lu e s   us in g  G a us s ia n  di s tr ib ut io ns .  T hi s   out c om e s   in   f a br ic a te d   s a m pl e s   th a t  a r e   not   onl y  lo c a te d   on  li ne   s e gm e nt s   b e twe e n  in s ta nc e s   but   a r e   a l s o  in f lu e nc e d  by  th e   und e r ly in g  di s tr ib ut io n  of   th e   da ta   [ 29] ;  a nd  ix )   f uz z y  ba s e d  G a us s ia n  ( F G ) - S M O T E :  it  is   ove r s a m pl in g  te c hni que   e m pl oy e d  by  th e   r e s e a r c he r   to   a ddr e s s   th e   c la s s   im ba la nc e   pr obl e m   w he r e   f uz z y  G a us s ia n   m e th odol ogy  w a s   us e d.  T he   r e s ul ts   pr ove n  to   be   m or e   s a ti s f yi ng t ha n t he  e xi s ti ng me th od s  of  S M O T E   va r ia nt s   [ 30] .   E a c h  of   th e s e   va r ia ti ons   of   S M O T E   ha s   it s   s tr e ngt hs   a nd  is   s ui te d  to   di f f e r e nt   s c e na r io s   a nd  da ta s e ts .  T he   pr e f e r e nc e   of   w hi c h   S M O T E   v a r ia nt   to   u s e   ba s e d   on  th e   pa r ti c ul a r   c ha r a c te r is ti c s   of   th e   d a ta s e t   a nd  th e   c ha ll e nge s  po s e d by c la s s  i m ba la n c e  i n t he   M L   ta s k.       3.   S U R V E Y  O N  C L A S S  I M B A L A N C E  P R O B L E M S   A   ke y  c ha ll e nge   in   th e   im ba la nc e d  c la s s   pr obl e m   is   th e   r e li a bi li ty   of   a c c ur a te ne s s   a nd  e r r or   pr opor ti on  a s   m e tr ic s   f or   e v a lu a ti ng  c la s s if ie r   pe r f or m a nc e .  F i gur e   3  s how s   th e   une qua l   di s tr ib ut io n  be twe e n   th e   two  c la s s e s ,  w he r e   gr e e n  r in gs   r e pr e s e nt   th e   m a jo r it y  c l a s s e s ,  a nd   th e   bl ue   c ol or   s ta r   r e pr e s e nt s   th e   m in or it y c la s s e s . F ig ur e  4 s how s  t he  s a m pl e  ge ne r a ti on ove r  i m ba la nc e d da ta s e ts  w it h r e s pe c t  to  t he  s ynt he ti c   s a m pl e s  ( ye ll ow  di a m ond) .   C ons id e r   a   d a ta s e t   w he r e   th e   99%   of   th e   da ta   w it h  m a jo r it y  c l a s s   a c c ount s   a nd  1%   of   th e   m in or it y   c la s s   of   th e   da ta .   T he n   it ’ s   c a ll e d  a   d a ta s e t   w it h  a   99: 1   im ba la n c e .  A   c l a s s if ie r   li ke   n a iv e ,  w hi c h   c ons i s te nt ly   pr e di c ts   th e   m a jo r it y  c la s s ,   w il l  ha ve   a   99%   a c c ur a c y  r a te   und e r   s uc h  c ir c um s ta nc e s .  T he r e f or e ,  th e   m a jo r it y  c la s s if ie r   w il l  b e   99.99%   a c c ur a te   if   a   da t a s e t   ha s   a   b a la nc e   r a ti o  of   9999:1.  C on s id e r   th e   e f f e c ti ve ne s s   of   ut m os t  c onve nt io na l  c la s s if ie r s   w h e n  us e d  in   th e   im ba la nc e d   c la s s   pr obl e m   to   il lu s tr a te   on e   e f f e c t  of   th is   c ons tr a in t.   S uc h  c a s e s   c l a s s if ie r s   c a n   a c hi e ve   gr e a t  a c c ur a c y,   b ut   it   is   w or th le s s   in   m os t  r e a l   ti m e   a ppl ic a ti ons   th e n  th e   m in or it y  c la s s   is   f r e que nt ly   th e   c la s s   of   in te r e s t  ( ot he r w is e ,  f or   th is   a   c la s s if ie r   ne e d  not   be   r e qui r e d,   a s   th e   c l a s s   of   in te r e s t  oc c ur s   pr a c ti c a ll y  a lwa ys )   [ 31] .  A s   a   r e s ul t,   m a ny  s tr a te gi e s   ha ve   r e m a in e d  c r e a t e d  to   a ddr e s s   th e   is s ue   of   im ba la nc e   c la s s .   T he s e   te c hni que s   c a n  be   di vi de d   in to   two  c a te gor ie s :   s a m pl in g   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  3 ,  J une   20 25 :  1727 - 1742   1732   te c hni que s   a nd   s ke w - in s e ns it iv e   c l a s s if ie r s .  A   m in or it y  c la s s   is   ty pi c a ll y  ig nor e d  or   m is s e d  by  a   s ta nda r d  c la s s if ie r   s in c e   th e r e   a r e n’ t  m a ny  e xa m pl e s   of   th e   c la s s .  O ne   o ve r - s a m pl in g  m e th od  th a t  a ddr e s s e s   th is   is s ue   is  S M O T E .           F ig ur e  3. E xa m pl e  of  i m ba la nc e d da ta s e t       F ig ur e  4. G e ne r a ti ng s a m pl e  ove r  i m ba la nc e d da ta s e t       I m ba la nc e d  c la s s   a lg or it hm s   c a n  be   di vi de d  in to   th r e e   ty pe s   s uc h  a s   e ns e m bl e - ba s e d  m ode l,   da ta - le ve l,   a nd  a lg or it hm   le ve l  [ 32] .  A m ong  th e m ,  d a ta - le ve l  m e th ods   w hi c h  in c lu de   th e   th r e e   s ub  ty pe s   of   ove r s a m pl in g,  unde r - s a m pl in g,  a nd  hybr id   s c he m e s   a r e   w id e l y  us e d.  T he   e ns e m bl e   c la s s if ie r s   c a n  im pr ove   th e   a c c ur a c y   of   a   s in gl e   c la s s if ie r   by  in te gr a ti ng  m ul ti pl e   c la s s if ie r s   to ge th e r ,  th e   c la s s   im ba l a nc e   pr obl e m   c a nnot   be   r e s ol ve d  e a s il y  by   c onve nt io na l  le a r ni ng  s tr a te gi e s .  I ns te a d,  e n s e m bl e   l e a r ni ng  a lg or it hm s   m us t   be   s pe c ia ll y  c r e a te d  to   a ddr e s s   th i s   is s ue .   B y  a tt e m pt in g  to   r e s to r e   th e   e qui li br iu m   be twe e n  th e   m a jo r it y  a nd   m in or it y  c a te gor ie s ,  th e s e   te c hni que s   a lt e r   th e   in f or m a ti on   it s e lf .  D if f e r e nt   ty pe s   of   c la s s   im ba la nc e d   a lg or it hm s   ha ve   de ve lo pe d  ba s e d  on  th e   da ta - le ve l  a ppr oa c h  in   th e   pa s t  de c a de s   a s   s how n  in   F ig ur e   5.  T he y  a c hi e ve   th is   by  in c r e a s in g  th e   num be r   of   m in or it y  c a te gor y  s a m pl e s   ( ove r s a m pl in g)   or   by  de c r e a s in g  th e   num be r   of   m a jo r it y  c a te gor y  s a m pl e s   ( u nde r - s a m pl in g)   [ 33] .  U nde r - s a m pl in g  in vol ve s   s e le c ti ng  s a m pl e s   a t   r a ndom  or   e m pl oyi ng  he ur is ti c   m e th ods   to   e xc lu d e   th e   le s s   im por ta nt   pa tt e r ns .  H ow e ve r ,  unde r - s a m pl in g  is   s om e ti m e s   r e ga r de d  a s   da nge r ous   due   to   th e   in c r e a s e d  li ke li hood  of   lo s in g  pot e nt ia ll y   im por ta nt   da ta .   O ve r s a m pl in g  is   th e   ot he r ,   pos s ib ly   m or e   e f f e c ti ve   c hoi c e .   C r e a ti ng  ne w   m in or it y  c a te gor y  pa tt e r ns   or   r a ndoml y r e pr oduc in g  m in or it y  c a te gor y pa tt e r ns  a r e  t he  t w o  m a in  w a ys  t ha t  ove r s a m pl in g i s  pe r f or m e d.  T he   c r uc ia l  be ne f it  of  t hi s  da ta - le ve l  a ppr oa c h i s  t ha t  i t  is  s im pl e  t o  ge ne r a te  ne w  da ta  t o m a ke  up  f or  t he  m in or it y   c a te gor y’ s  da ta  de f ic ie nc y. A s  a  r e s ul t,  ove r s a m pl in g i s  f r e que n tl y f a vor e d i n da ta - le ve l  a ppr oa c he s .   S ynt he ti c   s a m pl e s   r e m a in   g e ne r a te d  f or   th e   m in or it y  c la s s   in   ove r s a m pl in g  te c hni que s   to   a tt a in   th e   ba la nc e d  da ta s e t.   A   w e ll - known  ove r s a m pl in g  m e th od  f r e que nt ly   us e d  to   a ddr e s s   c la s s   im ba la nc e   is s u e s   is   S M O T E   [ 34] .  I t  is   qui te   e a s y  to   u s e   a nd   ve r y  e f f e c ti ve   in   pr a c ti c e .  I t  pr oduc e s   s ynt h e ti c   s a m pl e s   pr e c i s e ly   w he r e   th e   m in or it y  c la s s   jo in s .  H ow e ve r ,  ove r s a m pl in g  w it h  S M O T E   doe s   not   r e a ll y  a c c ount   f or   th e   di s tr ib ut io n  of   s a m pl e s   f r om   th e   m a jo r it y  c la s s   dur in g  th e   d e ve l opm e nt   of   s ynt he ti c   s a m pl e s , w hi c h  r e s ul ts   in   th e  ge ne r a ti on of  unne c e s s a r y m in or it y s a m pl e s  a r ound the  de s i r e d  s a m pl e s   [ 35] .           F ig ur e  5. D if f e r e nt  t ype s  of  c la s s  l e a r ne r  c ha ll e nge s  i n  ML   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       R e v ie w  on c la s s  i m bal anc e  t e c hni que s  t o s tr e ngt he n m ode l  p r e di c ti on ( P ut ta   H e m al at ha)   1733   3 .1 .    R e la t e d  w or k   H uge   a m ount s   of   unpr oc e s s e d  d a ta  a r e   pr oduc e d  in   th e   ML   a r e a   be c a u s e   of   th e   tr e m e ndou s   pr ogr e s s   in   r e s e a r c h  a nd  te c hnol ogy.  E a c h   da ta s e t  ha s   a   uni que   di s tr ib ut io n  a nd  in f or m a ti ona l  s tr uc tu r e .  D ue   to   th e   s ke w e d  di s tr ib ut io n  of   c la s s e s   in   s om e   da ta s e t s ,  a n  im ba la nc e d  de te r m in a ti on  is   pr e s e nt e d.  I n  ot he r   w or ds ,   c la s s if ie r s  s houl d  be   f or c e d  to   tr e a t  m in or   c a s e s   a s   bi g  e xa m pl e s   w he n  ha ndl in g  im ba la nc e d  in f or m a ti on  s e ts .   D M   is   th e   pr oc e s s   of   di s c ove r in g  hi dde n  knowle dge   f r om   th e   da ta .  T he   pr im a r y  m e th ods   a r e   pa tt e r n  m in in g,   a s s oc ia ti on  a na ly s is ,  gr oupi ng,  a nd  c la s s if ic a ti on.  A D A S Y N   is   a   ML - ba s e d  ove r s a m pl in g  te c hni que   to   s ol ve   th e   is s ue   of   im ba la nc e d  da ta s e ts   [ 36] .  T he   f unda m e nt a l  id e a   be hi nd  A D A S Y N   is   to   e m pl oy   a   w e ig ht e d   di s tr ib ut io n  f or   m in or i ty   c la s s   in s ta nc e s   de p e ndi ng  on  th e ir   le a r ni ng  e xe r ti on.  H a r de r - to - le a r n  m in o r it y  c la s s   e xa m pl e s   r e c e iv e   m or e   s ynt he ti c   s a m pl e s   a s s oc ia te d  to   th o s e   th a t  a r e   s im pl e r   to   s tu dy.  A ddi ti ona ll y,  A D A S Y N   dyna m ic a ll y  a dj us ts   th e   c la s s if ie r ' s   de c is io n  bounda r y,  f oc us in g  m or e   on  c ha ll e ngi ng  in s ta nc e s   to   im pr ove   le a r ni ng  e f f e c ti ve ne s s .  T hi s   i s   a c c om pl is he d  th r ough   a da pt iv e   w e ig ht   a dj u s tm e nt s   a nd  a   le a r ni ng  pr oc e s s  t ha t  c on s id e r s  t he  da ta  di s tr ib ut io n, e ns ur in g a  m or e  ba la nc e d a nd e f f e c ti ve  c la s s if ic a ti on.   W it h  m or e   r e pr e s e nt a ti ve   tr a in in g  da ta   f or   th e   m in or it y  c la s s ,  A D A S Y N   e nha nc e s   th e   qua li ty   of   ML   r e pr e s e nt a ti ons   w h e n  ha ndl in g  w it h  im b a la nc e d  d a ta s e ts   by   g e ne r a ti ng  f a br ic a te d  s a m pl e s   f or   th e   m in or it y   c la s s ,  e ns ur in g  a   m or e   ba la nc e d  r e pr e s e nt a ti on  a nd  im pr ovi ng  c la s s if ic a ti on  a c c ur a c y.  I t  s houl d  be   u s e d  w is e ly ,  th ough,  pa r ti c ul a r ly   in   c onj unc ti on  w it h  ot h e r   m e th o ds   f or   de a li ng  w it h  c la s s   im ba l a nc e ,  s uc h  a s   us in g  va r io us   a s s e s s m e nt   m e tr ic s   or   ut il iz in g  ot he r   s a m pl in g  te c hni que s   li ke   u nde r - s a m pl in g  or   c om bi ni ng   ove r s a m pl in g  a nd  und e r   s a m pl in g.  I n  th e   c a s e   of   m ul ti - c la s s   d a ta   s e t s ,  it   i s   m uc h   m or e   di f f ic ul t  to   de f in e   th e   m a jo r it y  a nd  m in or it y  c la s s e s   pr opos e d   a nd  a ddr e s s e d   im ba la nc e d  da ta   c om pr is in g  m a ny  c l a s s e s   b a s e d   on  c lu s te r in g  a nd  S M O T E .  T he   s tr a te gy  put   in to   pr a c ti c e ,   a nd  th e   r e s ul ts   of   th e   e xpe r im e nt s   de m on s tr a te   th a t  it   is   a   u s e f ul   to ol   f or   ha ndl in g  m ul ti c la s s   im ba la nc e d  da ta   s e ts .  I t  c a n  a ls o  e nha nc e   th e   m in or it y  c la s s ’ s   c la s s if ic a ti on  pe r f or m a nc e   bot h  w it hi n  a nd  th r oughout  th e   e nt ir e   da ta   s e t.   U s in g s e ve r a l  ba la n c in g  te c hni que s   c r e a te d  a   S M O T E   f r a m e w or k  ba s e d  on  a   ge ne ti c   a lg or it hm   f or   le a r ni ng   he a lt hc a r e   da ta   th a t  ha s   a n  im ba la nc e d  di s tr ib ut io n.  I n  he a lt hc a r e   da t a   a na ly ti c s ,  f in di ng  in f r e que nt   but   im por ta nt   he a lt hc a r e   e ve nt s   in   e nor m ous   uns tr uc tu r e d  da ta s e t s   ha s   be c om e   a   ty pi c a l  pr ob le m .  H ow e ve r ,  be c a us e   m os t  c la s s if ic a ti on  a lg or it hm s   im pl ic it ly   a s s um e   a n  e qua l  oc c ur r e nc e   of   c la s s e s   a n d  a r e   c r e a te d  to   im p r ove   ove r a ll   c la s s if ic a ti on  a c c ur a c y,  une v e n  c la s s   di s tr ib ut io n  in   m a ny  pr a c ti c a l  d a ta s e ts   s ig ni f ic a nt ly   hi nde r s   th e   de te c ti on  of   unc om m on oc c ur r e nc e s .   F uz z y  s uppor t  ve c to r   m a c hi ne   ( F S V M )   is   w id e ly   a c knowle dge d  a s   a   not e w or th y  e nha nc e m e nt   to   s of t  m a r gi n  S V M s ,  s u c h  a s   C - S V M ,  a s   th e   la tt e r   pr oduc e s   s u bopt im a l  out c om e s   w he n  out li e r s   a r e   pr e s e nt .   F uz z y - S M O T E   br oa de ns   th e   m in or it y  de c i s io n  bounda r y  by  pr oduc in g  m or e   m in or it y  c la s s   tr a in in g  in s ta nc e s ,   w hi c h  e nha n c e s   c la s s if ie r   pe r f or m a nc e s   on  im ba la nc e d  da ta s e ts .  T he   f uz z y - S M O T E   a lg or it hm   a s s ig ns   a   m e m be r s hi p  de gr e e   to   e a c h   m in or it y  c la s s   in s ta nc e   ba s e d  on  th e   or ig in a l  c la s s   di s tr ib ut io n  in   th e   tr a in in g  da ta s e t.   I t  th e n  ge ne r a te s   a   hi ghe r   num be r   of   s ynt he ti c  s a m pl e s   f or   in s ta nc e s   w it h  lo w e r   m e m be r s hi p  de gr e e s ,  e ns ur in g  a   m or e   ba la nc e d  r e pr e s e nt a ti on  of   th e   m in or it y  c la s s .  I n  or de r   to   pr oduc e   ne w   tr a in in g   da ta s e t,  t he  ol d t r a in in g da ta s e t  is  c om bi ne d w it h f r e s h s ynt h e ti c  i ns ta nc e s  f r om  t he  m in or it y c la s s   [ 37] .   A  M L   m e th od - ba s e d c la s s  i m ba la nc e  t e c hni que  i s  pr opos e d w h ic h us e s  a  c os t - s e ns it iv e  m odi f ic a ti on  of   th e   le a s t  m e a n  s qua r e   ( L M S )   a lg or it hm   to   pe na li z e   e r r or s   of   va r io us   s a m pl e s   w it h  va r io us   w e ig ht s   a nd  s om e   ge ne r a l  gui de li ne s   to   c hoos e   th os e   w e ig ht s .  F ol lo w in g  th e   ba la nc in g  s ta ge ,  e m pl oys   va r io us   c la s s if ic a ti on a lg or it hm s . W he n  c om pa r e d t o t he  ot he r  c la s s e s , t he s e  a ppl ic a ti on s  f r e que nt ly  ha ve  one  or  m or e   m in or it y  c la s s e s   w it h  ve r y  f e w   s a m pl e s .  N um e r ou s   s tu di e s   ha v e   de m ons tr a te d  th a t  DM   te c hni que s   f a ll   s hor t  of   de s ir e d  pe r f or m a nc e   w he n  th e   tr a in in g  da ta   is   im ba la nc e d.   T r a di ti ona l  M L   a ppr oa c he s   r e ly   on  ba la nc e d  c a te gor y  di s tr ib ut io ns   f or   tr a in in g  da ta   a nd,  in   a ddi ti on,  a r e   li ke ly   to   a c c ur a te ly   di s ti ngui s h  th e   m a jo r it y  c a te gor y  w hi le   m is c la s s if yi ng  th e   m in or it y  c a te gor y.  T hi s   is   pr im a r il y  due   to   th e   di s pa r it y   in   c la s s .  T he   da ta - le ve l  a ppr oa c h  is   of te n  us e d  in   ha ndl in g  c la s s   im ba la n c e   du e   to   it s   e f f e c ti ve   pe r f or m a nc e   a nd  c la s s if ie r   in de pe nde nc e .  B y  a tt e m pt in g  to   r e s to r e   th e   e qui li br iu m   be twe e n  th e   m a jo r it y  a nd  m in or it y  c a te gor ie s ,  th e s e   te c hni que s   a lt e r   th e   in f or m a ti on  it s e lf .  A s   a   r e s ul t,   ove r s a m pl in g  is   f r e que nt ly   f a vor e d  in   da ta - le ve l  a ppr oa c he s .  S ynt he ti c   s a m pl e s   a r e   c r e a te d  f or   th e   m in or it y  gr oup  in   ove r s a m pl in g  pr oc e dur e s   to   ba la nc e   a n  im ba la nc e d da ta ba s e .   C la s s   im ba la n c e   le a r ni ng  us in g  in tu it io ni s ti c   f uz z y  twi n  s u ppor t  ve c to r   m a c hi ne   ( C I L - F A R T - I F T S V M )   a nd  f uz z y  a da pt iv e   r e s ona nc e   th e or y  ( A R T )   i s   pr opos e d  to   ove r c om e   th e   c h a ll e nge s   pos e d   by  noi s e   im ba la nc e .  T hi s   a ppr oa c h  e f f e c ti ve ly   a ddr e s s e s   c la s s   im ba la nc e   in   da ta s e ts   c ont a in in g  noi s e   out li e r s   a nd  la r ge - s c a le   da ta ,  e nha nc in g  m ode l  r obus tn e s s   a nd  c la s s if ic a ti on  pe r f or m a nc e .  R e s a m pl in g  te c hni que s   a r e   f r e que nt ly   us e d  to   c r e a te   s ynt he ti c   da ta .  G e ne r a ti ve   a dve r s a r ia l  ne twor ks   ( G A N s )   c a n  a ls o  be   us e d  a s   a n  a lt e r na ti ve   to   in f or m a ti on   ga in   a ddr e s s   th e   is s ue   of   c la s s   im ba la nc e   by  pr oduc in g  ta bul a r   da ta ,  de s pi te   th e ir   pr im a r y  pur pos e   be in g  th e   ge ne r a ti on  of   im a ge   da ta .  I n  th is   w or k,  r e s a m pl in g  te c hni que s   a nd  G A N - ba s e d   te c hni que s   a r e  c om pa r e d.  W he n   r e s a m pl in g  m e th ods   a r e   us e d  t o  ba la nc e   th e   d a ta ,  M L   m e th od s   pe r f or m   27%   be tt e r .  O ne   popula r   a lg or it hm   f o r   ba la nc in g  tr a in   da ta   th a t  a d ds   s ynt he ti c   da ta   on  m in or   c la s s   da t a   is   c a ll e d   S M O T E .  O ne   of   th e   ke y  s te ps   in   th e   S M O T E   pr oc e s s   is   id e nt if yi ng  th e   K N N   us in g  E uc li de a n   di s ta nc e   to   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  3 ,  J une   20 25 :  1727 - 1742   1734   ge ne r a te   s ynt he ti c   d a ta .  H ow e v e r ,  r e ly in g  s ol e ly   on  E uc li de a n   di s ta nc e   w it hout   c ons id e r in g  a tt r ib ut e   c or r e la ti ons  m a y l e a d t o t he  s e le c ti on of  unr e pr e s e nt a ti ve  ne ig h bor s , e s pe c ia ll y w he n  c e r ta in  a tt r ib ut e s  e xhi bi t  hi ghe r   c or r e la ti on  va lu e s   th a n  ot he r s .  T o  a ddr e s s   th is   li m it a ti on,  th is   s tu dy  de ve lo pe d  a tt r ib ut e   w e ig ht e d  a nd   K N N   hub  on  S M O T E   ( A W H - S M O T E ) ,  it   in c or po r a te s   a tt r ib ut e   w e ig ht in g  a nd  KNN  hub  s e le c ti on  to   e nha nc e   th e   qua li ty   of   s ynt he ti c   da ta   ge ne r a ti on.,  w hi c h  im pr ove s   S M O T E   by   us in g  o c c ur r e nc e   d a ta   in   th e   KNN  hub  to   im pr ove   th e   s e l e c ti ve   s a m pl in g  m e th od  a nd  by  u s in g  a tt r ib ut e   w e ig ht in g  to   im pr ove   ne ig hbor ’ s   a nd  noi s e   id e nt if ic a ti on.  T he   m e th ods   of   in f or m a ti on  g a in   a r e   a ppl ie d  to   a tt r ib ut e   w e ig ht in g,   bor de r li ne - S M O T E 1  a nd  bor de r li ne - S M O T E 2  a r e   va r ia nt s   of   th e   S M O T E   m e th od  th a t  s pe c if ic a ll y  ove r s a m pl e   m in or it y   c la s s   s a m pl e s   lo c a te d  ne a r   th e   de c is io n  bounda r y.  E xpe r im e nt a l  r e s ul ts   in di c a te   th a t  th e s e   a ppr oa c h e s   out pe r f or m   bot h  S M O T E   a nd  r a ndom  ove r s a m pl in g  in   te r m s   of   tr ue   pos it iv e   ( T P )   r a te   a nd  F - va lu e   f or   th e   m in or it y  c la s s .  S in c e   m in or it y  c la s s   in s ta nc e s   ne a r   th e   bound a r y  a r e   m or e   s us c e pt ib le   to   m is c la s s if ic a ti on,  th e s e   te c hni que s   e nha nc e   th e ir   r e pr e s e nt a ti on  a nd  im pr ove   c la s s if ic a ti on  pe r f or m a nc e .  T hus ,  w hi le   S M O T E   a nd  r a ndom  ove r - s a m pl in g  b r in g  a ll   e xa m pl e s   f r om   th e   m in or i ty   c la s s   or   a   r a ndom  s ubs e t  of   th e   s a m pl e s   of   th e  m in or it y c la s s , t he  pr opos e d a ppr oa c he s  onl y ove r s a m pl e  t h e  s a m pl e s  of  t he  m in or it y  c la s s  t ha t  is  c lo s e  t o  th e   de c is io n  s ur f a c e .  T he r e f or e ,  th is   pa pe r   de ve lo ps   a   f uz z y - ba s e d  S M O T E   a lg or it hm   w it h  th e   pur pos e   of   a ddi ng  th e   f uz z y  s e t  th e or y   to   th e   S M O T E .  T he   f uz z y - S M O T E   pr oduc e s   a ddi ti ona l  f a br ic a te   s a m pl e s   f or   m in or it y c la s s  i ns ta nc e s , pa r ti c ul a r ly  i n t he  f uz z y r e gi on, whe r e  m in or it y e xa m pl e s  e xhi bi t  lo w e r   m e m be r s hi p   de gr e e s  t o t he  m in or it y c la s s  a nd a r e  m or e  pr one   to  m is c la s s if ic a ti on. As  t he  s a m pl e  s iz e  of  t he  m a jo r it y c la s s   in c r e a s e s   r e la ti ve   to   th e   m in or it y  c la s s ,  f uz z y - S M O T E   e n s ur e s   a   m or e   ba la n c e d  di s tr ib ut io n  by  c r e a ti ng   s ynt he ti c   in s ta nc e s   th a t  e xpa nd  th e   de c is io n  bounda r y  of   c la s s i f ie r s .  B y  in c or por a ti ng  f uz z y - ba s e d  s a m pl in g,  f uz z y - S M O T E   r e duc e s   c la s s if ie r   bi a s   to w a r d  th e   m a jo r it y  c la s s ,  a ll ow in g  m ode ls   to   c on s tr uc t  br oa de r   de c is io n  r e gi ons   w it h  e nh a nc e d  r e pr e s e nt a ti on  of   m in or it y  c a s e s .  C om pa r a ti ve   a na ly s is   de m on s tr a te s   th a t   f uz z y - S M O T E   out pe r f or m s   tr a di ti ona l  S M O T E   a nd   bor de r li ne - S M O T E   in   te r m s   of   a c c ur a c y,  e f f e c ti ve ly   im pr ovi ng  c la s s if ic a ti on  pe r f or m a nc e   f or   bot h  th e   m in or it y   c la s s   a nd  th e   ove r a ll   da ta s e t.   C I L - F A R T - I F T S V M   a nd  f uz z y  A R T   is   pr opos e d  a s   a n  e f f e c ti ve   a ppr oa c h f or   a ddr e s s in g  c la s s   im ba la nc e ,  pa r ti c ul a r ly   in   th e   pr e s e nc e   of   noi s e ,  out li e r s ,   a nd  l a r ge - s c a le   da ta s e ts .  T o  t a c kl e   th e   im ba la n c e   i s s ue ,   f uz z y  A R T   is   ut il iz e d  a s   a   c lu s t e r in g  te c hni que   to   m odi f y  th e   da ta s e t  di s tr ib ut io n,  e ns ur in g  a   m or e   ba la nc e d  r e pr e s e nt a ti on  of   m in or it y  a nd  m a jo r it y  c la s s e s .  F ol lo w in g  th is ,  I F T S V M   is   a ppl ie d  to   c ons tr uc t  opt im a l  non - pa r a ll e l  hype r pl a ne s   on   th e   n e w ly   tr a ns f or m e d  d a ta s e t   a f te r   da ta   r e duc ti on.  F in a ll y,  to   e nha nc e   c om put a ti ona l   e f f ic ie nc y,  a   c oor di na te   de s c e nt   s ys te m   w it h  s hr in ki ng  vi a   a n  a c ti ve   s e t  is   e m pl oye d,  s ig ni f ic a nt ly   r e duc in g  th e   c om put a ti ona l  c om pl e xi ty   of   th e   le a r ni ng  pr oc e s s .  T hi s   a ppr oa c h  e ns ur e s   im pr ove d  c la s s if ic a ti on   pe r f or m a nc e  i n c ha ll e ngi ng i m ba la nc e d da ta   s c e na r io s .     3 .2 .    S M O T E   S M O T E   is   a   popula r   pr e - pr oc e s s in g  m e th od  f or   c or r e c ti ng  c la s s   im ba la nc e   in   M L   da ta s e t s ,  e s pe c ia ll y  in   bi na r y  c l a s s if ic a ti on  pr obl e m s .  S M O T E   c r e a t e s   s ynt he ti c   s a m pl e s   f or   th e   m in or it y  c la s s   to   ba la nc e   th e   di s tr ib ut io n  of   th e   c la s s e s .  T hi s   he lp s   a voi d  m ode l  bi a s   in   f a vor   of   th e   dom in a nt   c la s s   a nd  c a n  e nha nc e   c la s s if ic a ti on  pe r f or m a nc e .  T h e   S M O T E   pr oc e s s ’ s   goa l  w a s   to   in te r pol a te   da ta   f r om   di ve r s e   m in or it y  c la s s   s a m pl e s .  G e ne r a ti ng  nove l  m in or it y  c la s s   s a m pl e s   in   th e   ne a r by  lo c a ti on,  w il l  in c r e a s e   th e   num be r   of   m in or it y  c la s s   oc c ur r e nc e s   a nd  he lp   c la s s if ie r s   b e c om e   m or e   ge n e r ic .   T he   S M O T E   m ode l   is   a   not a bl e   pi one e r   in   im ba la nc e d   c la s s if ic a ti on. T he   S M O T E   m e t hodology  in   th e   d a ta   pr e - pr oc e s s in g  ha s   gr ow n   in   pr om in e nc e   a m ong  a c a de m ic s .  T o  im pr ove   th e   pe r f or m a nc e   of   S M O T E   a lg or it hm s   in   va r io us   s it ua ti ons ,  num e r ous   a lt e r na ti ve s   a nd  t e c hnol ogi c a l  a dva nc e m e nt s   w e r e   pr ovi de d.  S M O T E   w a s   w id e ly   us e d   a nd   a c c e pt e d,  m a ki ng  it   on e   of   th e   pot e nt ia l  m e c ha ni s m s   f or   s a m pl in g  a nd  da ta   pr e - pr oc e s s in g  in   DM   a nd  M L   a ppl ic a ti ons .   T o  ba la nc e   th e   pr e li m in a r y  tr a in in g  s e t,   th e   S M O T E   m e th od  a ppl yi ng  a n  ove r s a m pl in g  s tr a te gy   by  ge ne r a ti ng  s ynt he ti c   s a m pl e s   in s te a d  of   m e r e ly   dupl ic a ti ng  m in or it y  c la s s   in s ta nc e s .  T he   c or e   id e a   be hi nd  S M O T E   is   to   c r e a t e   ne w - f a ngl e d  da ta   poi nt s   th r ough  e xc la m a ti on  be twe e n  e xi s ti ng  m in or it y  c la s s   s a m pl e s   w it hi n  a   de f in e d  ne ig hbor hood.  U nl ik e   tr a di ti ona l  m e th od s   t ha t  f oc us   on  in di vi dua l  da t a   poi nt s ,  S M O T E   ope r a te s   in   th e   f e a tu r e   s pa c e ,   le ve r a gi ng  th e   va lu e s   a nd   r e la ti o ns hi ps   of   f e a tu r e s   to   s ynt he s iz e   ne w   s a m pl e s .  T hi s   di s ti nc ti on  hi ghl ig ht s   th e   ne e d  f or   a   c om pl e te   a s s e s s m e nt  of   th e   th e or e ti c a l  a s s oc i a ti on  be twe e n  r e a l  a nd   s ynt he ti c  i ns ta nc e s , c on s id e r in g t he  i m pa c t  of  da ta  di m e ns io na li ty  on t he  e f f ic ie nc y of  t he  ge ne r a te d s a m pl e s .   T he   li nk  be twe e n  th e   di s tr ib ut io ns   of   tr a in in g   a nd  te s t  in s ta nc e s ,  a s   w e ll   a s   ot he r   f e a tu r e s   li ke   va r ia nc e   a nd  c or r e la ti on  in   th e   da ta   a nd  f e a tu r e   s pa c e ,   m us t   be   c ons id e r e d  a s   il lu s tr a te d  in   F ig ur e   6.  T o  pr oduc e   ne w   s ynt he ti c   da ta   poi nt s ,  m in or it y  c la s s   in s ta nc e   xi   is   c hos e n  a s   th e   f ounda ti on.  S e ve r a l  ne a r e s t  ne ig hbor s   of   th e   s a m e   c la s s   xi 1 - xi 4  a r e   de s ig na te d  f r om   th e   tr a in in g  s e t  ba s e d  on  a   di s ta nc e   m e a s ur e .  T o  obt a in  f r e s h i ns ta nc e s  r 1 – r 4, a  r a ndomi z e d i nt e r pol a ti on i s  t he n  pe r f or m e d.       Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f   I nt e ll     I S S N :   2252 - 8938       R e v ie w  on c la s s  i m bal anc e  t e c hni que s  t o s tr e ngt he n m ode l  p r e di c ti on ( P ut ta   H e m al at ha)   1735       F ig ur e  6. A   s im pl e  i ll us tr a ti on of  S M O T E  a lg or it hm       3 .3.  Ge n e r al  w or k f lo w  o f  S M O T E   S M O T E   is   a   w id e ly   us e d  ove r s a m pl in g  te c hni que   th a t  ge ne r a te s   s ynt he ti c   s a m pl e s   r a th e r   th a n  s im pl y  dupl ic a ti ng  m in or it y  c la s s   in s ta n c e s ,  e f f e c ti ve ly   m it ig a ti ng  c la s s   im ba la n c e .  A   de t a il e d  w or kf lo w   in   s how n  in   F ig ur e   7.  I t  is   im por ta nt   to   not e   th a t  w hi le   S M O T E   is   a   us e f ul   te c hni que   f or   a ddr e s s in g  c l a s s   im ba la nc e ,  it   m a y   not   be   s ui ta bl e   f or   a ll   ty p e s   of   d a ta s e t s   or   im ba la nc e   s c e n a r io s .  A ddi ti ona ll y,  th e r e   a r e   va r ia ti ons   a nd  e xt e ns io n s   of   S M O T E ,  s u c h  a s   bor de r li ne - S M O T E ,  A D A S Y N ,  f uz z y - ba s e d,  a nd  L or e nt z ia n  ba s e d S M O T E  w hi c h a ddr e s s  s pe c if ic  c ha ll e nge s  i n h a ndl in g i m ba la nc e d da ta  i s  di s c us s e d i n  T a bl e  1.           F ig ur e  7. G e ne r a l  W or kf lo w  of  S M O T E  M ode l       Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll , V ol .  14 , N o.  3 ,  J une   20 25 :  1727 - 1742   1736   T a bl e  1. S um m a r y of  S M O T E   ba s e d t e c hni que s   R e l a t e d w or k   A ppr oa c he s   M e t r i c s   us e d   R e m a r ks   D a t a  s e t s   u s e d   [ 3 8 ]   A - S M O T E   F - m e a s ur e ,   a c c u r a c y   A c hi e ve d  gr e a t e r   r e s ul t   i n  bi na r y   c l a s s i f i c a t i on pr obl e m s .   44 hi ghl y i m ba l a nc e d   [ 39]   A M D O   AUC   O ut pe r f or m e d  i n  ha ndl i ng  m ul t i c l a s s   i m ba l a nc e d da t a   10 s e t s   [ 14]   S M O T E   G e ne r a l   m e t r i c s   E xhi bi t e d  be t t e r   pe r f or m a nc e   i n  ha ndl i ng  m ul t i c l a s s   pr obl e m s   t ha n  c onve nt i ona l  m e t hod.   15  U C I   r e pos i t or y  da t a   s e t s   [ 18]   S M O T E    a nd    k - m e a ns   A c c ur a c y   m e t r i c   I t   pr e ve nt s   t he   i nt r oduc t i on  of   noi s e   a nd   e f f e c t i ve l y  a ddr e s s e s   bot h  i nt e r - c l a s s   a nd i nt r a - c l a s s  i m ba l a nc e s .   L U C A S   hi ghl y   i m ba l a nc e d da t a  s e t   [ 8]   D - S M O T E   R e c a l l ,   f - va l ue ,   pr e c i s i o n   E vol ve d  ba s e d  on  D B - S C A N   a nd   S M O T E   f or   m ul t i - c l a s s   i m ba l a nc e   pr obl e m .   1 6   H i g h   d i m e n s i o n a l   d a t a   s e t s   [ 40]   D yna m i c   S M O T E   M i ni m um   r e c a l l ,   M c   N e m a r ’ s   T e s t ,   G - M e a n   O ut pe r f or m e d  t he   bor de r l i ne   S M O T E   a nd  t r a di t i ona l   S M O T E   be s t   a l gor i t hm   f or   m ul t i - c l a s s  i m ba l a nc e  pr obl e m   29  da t a   s e t s   f r om   di f f e r e nt   s of t w a r e   r e pos i t or i e s   [ 41]   C l us t e r  o r i e n t e d   S M O T E   G - m e a n ,   f - me a s ur e ,   a c c u r a c y   C l us t e r   B a s e d  S ynt he t i c   O ve r s a m pl i ng  obt a i ne d gr e a t e r   r e s ul t  on ot he r  m e t hods   20 r e a l  w or l d da t a  s e t s   [ 12]   O ve r s a m pl i n g  s c he m e  ba s e d  on   w e i g ht  s e t t i ng  a n d  c l a s s i f i c a t i o n  r a nki ng   A c c u r a c y   A c hi e ve d  90%   a c c ur a c y  f or   ha ndl i ng  m ul t i c l a s s  s a m pl e s .   12  da t a   s e t s   f r om   U C I   r e pos i t or y a r e  us e d   [ 31]   S yn t h e t i c   o v e r -   s a m pl i ng s c he m e   G e ne r a l   m ode l   R e l i a bl e   s pe e d   f or   bi na r y c l a s s  da t a   26  be nc h  m a r k  da t a   s e t s  a r e  u s e d   [ 4]   G - S M O T E   p - va l ue ,   G - m e t r i c ,  A c c u r a c y   N ove l   da t a   ge ne r a t i on  pr oc e dur e   out pe r f o r m e d   in   c l a s s i f i c a t i on   13 U C I  da t a  s e t s   [ 28]   S a f e - l e ve l -   S M O T E   G - m e a n,   A U C ,     f -   m e a s u r e   A c hi e ve d  gr e a t e r   r e s ul t   i n  s oc i a l   m e di a   da t a   a na l ys i s   R a w  da t a  s e t s  a r e  us e d   [ 34]   R e ve r s e - S M O T E   G - m e a n,   A U C ,     f -   m e a s u r e   E f f i c i e nt   f o r   c l a s s i f i c a t i on pr obl e m   3  i m ba l a nc e d  da t a   s e t s   f r om   K E E L   r e pos i t or y   a r e  us e d.       4.   R O L E  O F  C L A S S I F I E R  O N  I M B A L A N C E  D A T A   T hi s   s e c ti on  e xpl or e s   th e   v a r io us   c la s s if ie r s   us e d  in   th is   s tu dy  to   a ddr e s s   th e   c ha ll e nge   of   c la s s   im ba la nc e .  T h e s e   c la s s if ie r s   a r e   tr a in e d  on   da ta s e ts  s pe c if ic a ll y   de s ig ne d  to   h a ndl e   s k e w e d  da ta   di s tr ib ut io ns .  R e s e a r c h   ha s   c ons is te nt ly   hi ghl ig ht e d  th a t  im ba l a nc e d  or   uns t r uc tu r e d  da ta   pos e s   a   s ig ni f ic a nt   c ha ll e nge   in   DM ,  pa r ti c ul a r ly   w he n  th e   c la s s   of   in te r e s t  ha s   f a r   f e w e r   s a m pl e s   th a n  th e   ot he r s .  T hi s   im ba la nc e   c a n  le a d  to   bi a s e d  pr e di c ti ons   a nd  r e duc e d  m ode l  pe r f or m a nc e ,  m a ki ng  it   c r uc ia l  to   im pl e m e nt   s tr a te gi e s   th a t  e f f e c ti ve ly   m it ig a te   th e s e   is s ue s .   D if f e r e nt   c la s s if ie r s   a r e   us e d  to   h a ndl e   t he   c la s s   im ba la nc e   d a ta s e t.   H ow e ve r ,  f or   th e   s tu dy pur pos e  w e  w e r e  ut il iz e d  s om e  di f f e r e nt  c la s s if ie r s   a s  de s c r ib e d a s  f ol lo w s :     4 .1 .    K - n e ar e s t  n e ig h b or s   A  w e ll - li ke d  a nd  a da pt a bl e   c la s s if ic a ti on  a ppr oa c h  f or   i m ba la nc e d  da ta   i s   K N N   [ 42] .  T o  s uc c e s s f ul ly   m a na ge   th e   d a ta s e t’ s   im ba la nc e ,  n e ve r th e le s s ,  a   f e w   f a c to r s   a nd  s tr a te gi e s   m us t  b e   us e d.  H e r e   a r e   a   f e w   m e th ods   f o r   a ppl yi ng   K N N   to   da ta   th a t   is   im ba la nc e d :  i)   c la s s   ba la nc in g  te c hni que s :  unde r   s a m pl in g:   e xt r a c t  in s ta nc e s   b e lo ngi ng  to   th e   m a jo r it y  c la s s   to   de c r e a s e   th e   num be r   of   in s ta nc e s   a nd  in c r e a s e   th e  numbe r  of  i ns ta nc e s  of  t he  m in or i ty  c la s s . H ow e ve r , do not  th r ow  a w a y t he  ba by w it h  ba th  w a te r  t o  a voi d   im por ta nt   da ta   di s a ppe a r in g  s a m e   w a y.  O v e r s a m pl in g:   m or e   in s ta nc e s   f r om   th e   m in or it y  c la s s   s houl d  b e   s ynt he s iz e d  by  m e th ods   li ke   S M O T E   a nd  A D A S Y N .  S a m pl in g  te c hni que s :  t he r e   a r e   a   num be r   of   te c hni que s   s uc h  a s   gi vi ng  m or e   w e ig ht s   to   th e   c la s s e s   w hi c h  a r e   le s s   r e pr e s e nt e d,  th e n   m a ki ng  th e   m ode l  to   f oc u s   m or e   on  th e   m in or it y  c la s s ;  ii )   di s ta nc e   m e tr ic   s e le c ti on:   c hoos e   a p pr opr ia te   di s ta nc e   m e tr ic s   th a t  a r e   s e ns it iv e   to   th e   na tu r e   of   th e   da ta .  E xpe r im e nt   w it h  di f f e r e nt   di s ta nc e   m e tr i c s   ( e .g.,  E uc li de a n   a nd  M a nha tt a n )   to   f in d  th e   m os t  s ui ta bl e   one   f or   your   da ta s e t ;  ii i )   tu ne   K  va lu e :  e xpe r im e nt   w it h  di f f e r e nt   va lu e s   of   K   ( th e   num be r   o f   ne a r e s t  ne ig hbor s )  t o f in d t he  opt im a l  va lu e  f or  your  da ta s e t.  T oo s m a ll  a  K  m a y  le a d t o ove r f it ti ng, while  t o o   la r ge   a   K   m a y  c a us e   unde r f it ti ng ;  iv )   pr oba bi li s ti c   out put :  obt a in   pr oba bi li ti e s   f or   e a c h  c la s s   pr e di c ti on   in s te a d  of   di r e c t  c la s s   la be ls .  T hi s   a ll ow s   f or   a dj us ti ng  th e   c la s s if ic a ti on  th r e s hol d  to   im pr ove   s e ns it iv it y  or   s pe c if ic it y  ba s e d  on  th e   pr obl e m ’ s   r e qui r e m e nt s ;  v)   a lg or it hm   tu ni ng:   e xpe r im e nt   w it h  di f f e r e nt   K N N   va r ia nt s  or  e xt e ns io ns  t ha t  a r e  s ui ta bl e  f or  i m ba la nc e d da ta s e ts , s uc h a s   E N N   or  c onde ns e d ne a r e s t  ne ig hbor s ;  vi )   e ns e m bl e   a ppr oa c he s :  c om bi ne   K N N   w it h  ot he r   c la s s if ie r s  or   e ns e m bl e   m e th ods   li ke   ba ggi ng  or   boo s ti ng  to   e nha nc e   pe r f or m a nc e ,  e s pe c ia ll y  f or   im ba la nc e d  da ta s e t s ;  vi i)   c r os s - va li da ti on  a nd  e va lu a ti on  m e tr ic s :  in   or de r   to   r e duc e   th e   r is k  of   a   hi gh  va r ia nc e   th e   f ol lo w in g  m e th ods   s houl d  be   e m pl oye d,  f or   in s ta nc e ,  s tr a ti f ie d  k - f ol d  c r os s   va li da ti on  e ns ur e s   th a t  c la s s e s   in   th e   da ta   di vi s io n  a r e   pr opor ti ona te ly   s pl it .  I n   e va lu a ti ng  th e   Evaluation Warning : The document was created with Spire.PDF for Python.