T E L K O M NIKA   T elec o mm un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   18 ,   No .   2 A p r il   2 0 2 0 ,   p p .   8 2 2 ~ 8 2 9   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Ke m e n r is te k d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI KA . v 1 8 i2 . 1 4 8 1 8     822       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   H AR - M m et ho for  m ulti - cla ss  i mba la nced data sets       H .   H a rt o no 1 ,   Yeni  Ris y a ni 2 ,   E ria nto   O ng k o 3 ,   Da hla n Ab du lla h 4   1 De p a rtme n o f   Co m p u ter S c ien c e ,   S T M IK IBBI,   In d o n e sia   1 De p a rtme n o f   Co m p u ter S c ien c e ,   Un iv e rsitas   P o ten si Ut a m a ,   In d o n e sia   2 De p a rtme n o f   In f o rm a ti o n   S y ste m s,  S T M IK IBBI,   In d o n e sia   3 De p a rtme n o f   In f o rm a ti c s,  Ak a d e m T e k n o lo g In d u stri  Im m a n u e l,   In d o n e sia   4 De p a rtme n o f   In f o rm a ti c s,  Un iv e rsitas   M a li k u ss a leh ,   In d o n e sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 1 1 ,   2 0 1 9   R ev i s ed   J an   1 9 ,   2 0 2 0   A cc ep ted   Feb   2 1 ,   2 0 2 0     Re se a rc h   o n   m u lt i - c las im b a la n c e   f ro m   a   n u m b e o f   re se a r c h e rs  f a c e o b sta c les   in   t h e   f o rm   o f   p o o d a ta   d iv e rsity   a n d   a   larg e   n u m b e o f   c las si f iers .   T h e   H y b rid   A p p ro a c h   Re d e f in it io n - M u lt icla ss   Im b a lan c e   (H A R - M I)  m e th o d   is  a   H y b rid   En se m b les   m e th o d   w h ich   is   th e   d e v e lo p m e n o f   t h e   Hy b rid   A p p ro a c h   Re d e f in io n   (HA R)  m e th o d .   T h is  stu d y   h a c o m p a re d   th e   re su lt o b tai n e d   w it h   th e   Dy n a m i c   En se m b le  S e lec ti o n - M u lt icla ss   Im b a lan c e     (DES - M I)  m e th o d   in   h a n d li n g   m u lt icla ss   i m b a lan c e .   In   th e   H A R - M M e th o d ,   th e   p re p r o c e ss in g   sta g e   w a s   c a rried   o u u sin g   th e   ra n d o m   b a lan c e   e n se m b les   m e th o d   a n d   d y n a m ic  e n se m b le  se lec ti o n   t o   p ro d u c e   a   c a n d id a te  e n se m b le  a n d   th e   p ro c e ss in g   sta g e wa c a rried   o u u sin g   d iff e re n c o n tri b u ti o n   sa m p li n g   a n d   d y n a m i c   e n se m b le  se lec ti o n   to   p r o d u c e     a   c a n d id a te  e n se m b le.  T h is  re s e a r c h   h a b e e n   c o n d u c te d   b y   u sin g   m u lt i - c las s   im b a lan c e   d a ta se ts so u rc e d   f ro m   t h e   KEEL   Re p o sito ry .   T h e   re su lt sh o w   th a th e   HA R - M I   m e th o d   c a n   o v e rc o m e   m u lt i - c las s   i m b a lan c e   w it h   b e tt e d a ta  d iv e rsity ,   s m a ll e r   n u m b e o f   c l a ss if i e r s,  a n d   b e tt e c las si f ier   p e rf o r m a n c e   c o m p a re d   to   a   DES - M m e th o d .   T h e se   re su lt w e re   te ste d   w it h   a   W il c o x o n   sig n e d - ra n k   sta ti stica tes w h ich   sh o w e d   th a th e   su p e rio rit y   o f   th e   HA R - M I   m e th o d   w it h   re sp e c t o   DES - M m e th o d .   K ey w o r d s :   C las s i f ier   Data   d iv er s it y     H y b r id   ap p r o ac h   r e d ef in itio n - m u lticla s s   i m b a lan ce   Mu lti - cla s s   i m b a lan ce     T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E r ian to   On g k o   Dep ar t m en t o f   I n f o r m atic s ,     Ak ad e m i T ek n o lo g i I n d u s tr i I m m an u el,   Me d an ,   I n d o n e s ia .   E m ail:  er ia n to o n g k o @ g m ail. c o m       1.   I NT RO D UCT I O N   C las s   i m b ala n ce   o cc u r s   i f   class   o r   s ev er al  clas s es  b ec o m u n d er r ep r esen ted   s o   it  is   also   ca lled     m in o r it y   cla s s   b ec au s it  h a s   in s ta n ce s   th at  ar m u ch   s m aller   th an   o th er   clas s es   [ 1 ] .   I n   m ac h i n lear n i n g   r esear ch ,   class   i m b ala n ce   p r o b lem s   ar t h m ai n   c h all en g e s   th a attr ac t   th atte n t io n   o f   n u m b er     o f   r esear ch er s   [ 2 ] .   R esear ch   o n   th i s   is s u is   i n cl u d ed   in   th 2 0   m a in   r esear c h   to p ics  th at  ar th e   m o s t   in ter esti n g   i n   m ac h i n lear n i n g ,   esp ec iall y   b ig   d ata.   Mi n o r it y   C lass   is   al s o   ca lled   p o s iti v class   b ec au s it  is   class   w i th   in ter e s ti n g   p atter n s   to   o b s er v e.   Fo r   co m p ar is o n ,   th e   d etec tio n   o f   b r ea s ca n c er   s u f f er er s   is   o f te n     class   w it h   s m al n u m b er   o f   i n s ta n ce s ,   i f   t h clas s i f icatio n   p r o ce s s   f o r   d etec tio n   o f   b r ea s ca n ce r   s u f f er er s   ex p er ien ce s   c lass   i m b ala n ce   p r o b lem s   th e n   t h er i s   p o s s ib i lit y   t h at  d etec t io n   o f   p atien t s   i s   n o t o b tai n ed   ev e n   th o u g h   th s u f f er er   class   is   v er y   in ter e s ti n g   to   o b t ain   [ 3 ]   T h er ar n u m b er   o f   m et h o d s   th at  h av b ee n   p r o p o s ed   to   d ea w it h   cla s s   i m b ala n c p r o b lem s     s u c h   as  r e s a m p li n g ,   co s s en s iti v e,   en s e m b le  lear n i n g ,   k er n el - b ased   m eth o d s ,   a n d   ac tiv lear n in g     m et h o d s   [ 4 ] .   Mu lti - clas s   i m b a lan ce   p r o b lem s   ar f ar   m o r co m p lica ted   to   h an d le  th a n   t wo - class   i m b ala n ce s .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         HA R - MI  meth o d   fo r   mu lti - cla s s   imb a la n ce d   d a ta s ets ( H.   Ha r to n o )   823   T h m u l ti - c lass   i m b ala n ce   co n d itio n   w ill  b m o r d if f ic u lt  i f   t h d esire d   r es u lts   ar as  ac c u r ate  as   p o s s ib le  i n   ac co r d an ce   w i th   t h e x is t in g   p r o b lem .   O n   t h e   o th er   h a n d ,   ap p ly i n g   t h m et h o d   p r o p o s ed   to   h a n d le  t w o - clas s   i m b alan ce   p r o b le m s   to   h a n d le  m u lti - clas s   i m b ala n ce   p r o b lem s   d o es  n o g et  t h d esire d   r esu lt s   [ 5 ] .   I n   g en er al ,   th al g o r ith m   f o r   h a n d lin g   m u lti - clas s   i m b alan ce   is   to   d ev elo p   an   alg o r ith m   u s ed   f o r   h a n d lin g   b i n ar y   cla s s   I m b alan ce   t h r o u g h   t h d ec o m p o s itio n   m e th o d   [ 6 ] .   A n o t h er   co m m o n   m e th o d   is   to   ad o p an   en s e m b le - b ased   ap p r o ac h   f o r   u s e   in   h a n d li n g   m u lti - cla s s   i m b ala n ce s   [ 4 ]   an d   an o t h er   w a y   i s   to   ad ap t h i n tr i g u e   p r o ce s s     b y   b u i ld in g   d ec is io n   tr ee s   [ 7 ] .   A   r elativ el y   ea s y   w a y   to   d o   is   to   v ie w   m u lti - clas s   i m b ala n ce   as  s u b s et  o f   b in ar y   p r o b lem s   [8 9] .   T h m u lti - c las s   i m b ala n ce   p r o b lem s   t h at   w ill   b s o l v ed   ar p r o b lem s   s u c h   a s   m a n y   m i n o r it y - o n e   m aj o r ity ,   o n m i n o r it y - m a n y   m aj o r it y ,   an d   m a n y   m i n o r i t y - m a n y   m aj o r it y   [1 0] .   In   [ 1 ]   s u g g e s ted   th at  to   o v er co m th p r o b le m   o f   i m b alan ce   clas s   th er ar 2   ( t w o )   th i n g s   th at  n ee d   to   b co n s id er ed ,   n a m el y   t h o s e   r elate d   to   th n u m b er   o f   class if ier s   an d   d iv er s i t y   ( d iv er s i t y )   o f   d ata.   In   [ 1 1 ]   p r o p o s th D y n a m ic  C las s i f ier   Selectio n   ( DC S)  m et h o d   f o r   d ea lin g   w it h   m u lt i - cla s s   i m b alan ce   p r o b le m s ,   b u it  h as  t h d is ad v an tag o f   b ein g   lar g n u m b er   o f   clas s if ier s .   In   [ 1 2 ]   s u g g e s ted   th D yna m ic  E n s e m b le  Se lectio n   ( DE S) - MI   m et h o d   w h ic h   g i v es  b etter   r esu lts   c o m p ar ed   to   th D y n a m ic  C l ass i f ier   Selectio n   ( DC S)  m et h o d .   T h DE S - MI   m et h o d   f o u n d   h as   s m all   cl ass i f ier ,   b u t   i n   r esear c h   co n d u cted   b y   [ 1 3 ]   h as   id en t if ied   th at  d i v er s it y   d ata   o b tain ed   b y   DE S - MI   i s   n o g o o d   en o u g h .   T h H y b r id   Ap p r o ac h   R ed ef in it io n   ( H A R )   m et h o d   w h ich   i s     H y b r id   E n s e m b le s   ap p r o ac h   ca n   o v er co m t h p r o b lem   o f   c l as s   i m b ala n ce   w i th   s m all  n u m b er   o f   class i f ier s   a n d   g o o d   d ata  d iv er s it y ,   o n   t w o - cla s s   i m b alan ce   p r o b lem s   [ 1 4 15]   T h is   r esear ch   w ill   o p ti m ize  th H AR   m et h o d   s o   th at   it   ca n   b u s ed   to   o v er co m e   m u lti - clas s   i m b alan ce   p r o b le m s .   I n   t h o p ti m izatio n   p r o ce s s   t h p r ep r o ce s s i n g   s ta g es   w er ca r r ied   o u u s in g   th e   r an d o m   b alan ce   en s e m b le  m et h o d   p r o p o s ed   b y   [ 1 6 ]   an d   d y n a m ic  en s e m b le  s e lectio n   s o   t h at  ca n d id ate  en s e m b le  o n   m u lticla s s   p r o b lem s   an d   p r o ce s s i n g   s tag e s   w a s   ca r r ied   o u u s i n g   d i f f er e n co n tr ib u t io n   s a m p li n g   p r o p o s e d     b y   [ 1 7 ]   an d   d y n a m ic  e n s e m b le  s elec tio n .   T h is   r esear c h   w il b co n d u cted   u s i n g   m u l ti - cla s s   i m b alan ce d   d atasets   s o u r ce d   f r o m   t h KE E L   R ep o s ito r y   [ 1 8 ] .   T h r esu lts   o f   t h s t u d y   ar t h Hy b r id   A p p r o ac h   R ed ef i n itio n - M u lt iclas s   I m b al an ce   ( H AR - MI )   m et h o d   t h at  is   e x p ec ted   to   o v er co m e   m u l ti - cla s s   i m b ala n c e   w it h   b etter   d ata  d iv er s i t y ,   s m aller   n u m b er   o f   clas s i f ier s ,   an d   b etter   cla s s i f ier   p er f o r m an ce   co m p ar ed   to     DE S - MI   Me t h o d .       2.   RE S E ARCH   M E T H O D   T h is   r esear ch   w i ll  p r o d u ce   th HAR - MI   m et h o d   to   o v er co m m u lt i - c lass   i m b ala n ce   p r o b l e m s .   H AR   Me th o d   w ill   b ca r r ied   o u a n   o p ti m izatio n   p r o ce s s   w i th   HAR - MI   m et h o d   s o   t h at  it   ca n   h an d le   m u lt i - cla s s   i m b alan ce   p r o b le m s   b y   ad d in g   ca p ab ilit ies  f r o m   H AR   m et h o d   t o   d eter m i n ca n d id ate  en s e m b les  b y   u s in g   d y n a m ic  en s e m b le  s e lectio n   o n   m i n o r it y   cla s s es  a n d   m aj o r it y   class e s   s o   th at  t h e y   ca n   r ec o g n ize  ea ch   s u b s et   o f   m in o r it y   a n d   m aj o r ity   clas s es  b ased   o n   2 - Di m en s io n al   Data s ets   p r o p o s ed   b y   Sáez   et  a l .   [ 1 0 ] .   T h r esu lt s   o f   H AR - MI   m et h o d   ar ex p ec ted   to   o b tain   b etter   d ata  d iv er s it y   a n d   also   s m all  n u m b er   o f   cla s s i f i er s .     T h s tag es o f   r esear c h   co n d u c ted   b y   r esear ch er s   f r o m   t h i s   s t u d y   ca n   b s ee n   i n   Fi g u r 1 .           Fig u r 1 .   Stag es o f   r esear ch   m eth o d s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   2 A p r il 2 0 2 0 :   8 2 -   8 2 9   824   I n   Fi g u r 1 ,   it  ca n   b e   s ee n   t h a th e   p r o ce s s   t h at  o cc u r s   in   th d ataset  s elec tio n   an d   p r ep ar atio n   s tag e   is   d eter m i n ed   b y   t h i m b ala n ce   d atase w i th   v ar y in g   i m b alan ce   r atio .   T h n e x p r o ce s s   is   p r ep r o ce s s in g .     T h p r o ce s s   o f   h an d li n g   t h m u lti - clas s   i m b ala n ce   w ill  b eg in   w i th   t h p r ep r o ce s s in g   s t ag e.   T h p u r p o s   o f   th i s   p r ep r o ce s s in g   s tag i s   t o   r ed u ce   th n u m b er   o f   class if ier s .   W h er th p r ep r o ce s s in g   s tag w i ll  b d o n u s i n g   t h R an d o m   B alan ce   E n s e m b le  m et h o d   an d   D y n a m ic  E n s e m b le  Selectio n .   T h R a n d o m   B ala n ce   E n s e m b le  Me t h o d   w il u s R an d o m   u n d er   Sa m p lin g   a n d   SMOT E B o o s t .   T h r esu lts   o f   th p r ep r o ce s s in g   s tag ar in   th e   f o r m   o f   a   p r ep r o ce s s in g   d ata s et  w h ic h   w il t h en   p r o ce ed   to   th p r o ce s s in g   s tag e.   I m p le m e n tatio n   an d   v alid ati o n   o f   t h p er f o r m a n ce   o f   e ac h   ex p er i m en w as  ca r r ied   o u u s in g   1 0 - f o ld     cr o s s - v alid atio n   an d   co m p ar ed   w i th   th e   DE S - MI   m et h o d   w h ic h   i s   v er y   g o o d   in   d ea li n g   w i th   m u lt i - c lass   i m b alan ce   p r o b le m s .     2 . 1 .     P re pro ce s s ing   a nd   pro ce s s ing   s t a g in H AR - M I   m et ho d   T h p r e p r o ce s s in g   s ta g was  ca r r ied   o u u s in g   th R an d o m   B alan ce   E n s e m b le s   Me th o d     an d   D y n a m ic  E n s e m b le  Selec t io n .   T h p s eu d o co d o f   th is   s t ag is   as  f o llo w s .     Require : Set  S o f   ex a m p les( x 1 ,y 1   E ns ure : N e w   s et  S   o f   ex a m p l es  w ith   R a n d o B a la n ce   an d   D y n a m ic  E n s e m b le  Select io n   1 to ta lS iz e | S |     2 : D eter m in k   as t h n u m b er   o f   N ea r es t Neig h b o r     3 : Fo r   A ll  Sa m p les i n   S d o     4 :           Dete r m i n th B o r d er lin o f   P o s itiv o r   Min o r it y   C las s   as  E O +      5 :           Dete r m i n th B o r d er lin o f   Neg ati v o r   Ma j o r ity   C la s s   as  E O   6 : E n d   Fo r     7 : Fo r   A ll Sa m p les i n   E O +    d o     8 :           C alcu late  th cn ( e ) i   as  n eig b o r h o o d   v alu f o r   ea ch   s a m p le    9 :           Or d er   A s ce n d i n g   t h s a m p le  ac co r d in g   to   th cn ( e) i     1 0 : E n d   Fo r   1 1 : B u ild in g   ca n d id ate  en s e m b le  f o r   S a fe B o r d erli n e R a r e ,   d an   Ou tlier   ac co r d in g   to   k   v alu   1 2 T ak ca n d id ate  en s e m b l o f   S a fe B o r d erli n e R a r e ,   d a n   Ou tlier   to   S P     1 3 : Fo r   A ll Sa m p le s   in   E O    do    1 4 :       T ak ca n d id ate  en s e m b le  to   SN    1 5 : E n d   Fo r     1 6 : A d d   I n s tan ce   f r o m   w i th     S | y i =+ 1   to   S P   1 7 : A d d   I n s tan ce   f r o m   w i th     S | y i = - 1   to   S N     1 8 : Calcu late  t h s ize  o f   Ma j o r it y   C la s s   f r o m     S N     1 9 : Calcu late  t h s ize  o f   Ma j o r it y   C la s s   f r o m     S P   2 0 n ewM a jo r ityS iz e ←R a n d o m   in teg er   b et w ee n   2   an d   to ta lS iz e -   2 1 n ewM in o r ityS iz e to ta lS iz e     n ewM a jo r ityS iz e   8 : if   n e wM aj o r ity Size   2 2 if   n ewM a jo r ityS iz < ma jo r ityS iz t hen   2 3 :         S   ←  S P   2 4 :         S   w ill f ill  w it h   r an d o m   in s ta n ce   f r o m   S N   2 5 :         C r ea te  n ewM in o r ityS iz   min o r ityS iz ar tif icial   2 6 else   2 7 :         S ←  S N   2 8 :         S   w ill f ill  w it h   r an d o m   in s ta n ce   f r o m   S P   2 9 :         c r ea te  n ewM a jo r ityS iz   ma jo r ityS iz ar tif icial    3 0 end if   3 1 re t urn  S     B ased   o n   t h p s e u d o co d ab o v e,   it   ca n   b s ee n   t h at  in   th e   p r ep r o ce s s in g   s ta g w a s   ca r r ied   o u u s in g   R an d o m   U n d er   S a m p li n g   a n d   SMOT E B o o s t.  I n   th R an d o m   U n d er   Sa m p l i n g   p r o ce s s   th D y n a m i c   E n s e m b le  Selec tio n   p r o ce s s   w il ta k t h f o r m   o f   b o r d er lin d eter m in atio n   f o r   m in o r it y   an d   m aj o r ity   clas s .   T h en   f o r   s a m p les  th at  ar in   t h b o r d er lin m i n o r it y   clas s   E O + ,   th n eig h b o r h o o d   v alu ca lcu latio n   p r o ce s s   cn   ( e)   w ill  b p e r f o r m ed ,   t h e n   it  w i ll  b s o r ted   asce n d in g   to   d eter m in t h ca n d id ate  en s e m b le  f o r   Saf e,   B o r d e r lin e,   R ar e,   an d   O u tlier ,   th e n   t h ca n d id ate  e n s e m b le  w il b in cl u d ed   in   th SP .   N ex f o r   th s a m p le   th at  is   i n   t h b o r d er lin th m a j o r   class   w ill b en ter ed   in t SN .   Af ter   t h at,   t h p r o ce s s   w i ll  c o n tin u w i th   th R a n d o m   B a lan ce   E n s e m b le  Me t h o d ,   w h i ch   w ill   b b ased   o n   th r esu lt s   o f   th D y n a m ic  E n s e m b le  Selectio n .   T h p r o ce s s   s tar ts   w it h   t h d eter m i n atio n   o f   Ma j o r ity   an d   Min o r it y   Size.   T h en   b ased   o n   th d eter m in a tio n   o f   th s ize,   an   i m b ala n ce   cla s s   w ill  b h an d led .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         HA R - MI  meth o d   fo r   mu lti - cla s s   imb a la n ce d   d a ta s ets ( H.   Ha r to n o )   825   I f   th e   s ize  o f   t h n e w   Ma j o r i t y   C las s   is   g r ea ter   t h an   th n e w   Ma j o r it y   C las s ,   th is   m ea n s   th a th e   Min o r it y   C las s   is   lar g er   th a n   th Ma j o r it y   C la s s   an d   p ar o f   th Mi n o r it y   C la s s   i n s ta n ce   w ill  b e   tak en   t o   m o v to     th Ma j o r ity   C la s s   a n d   v ice  v er s a.   Dete r m in a tio n   o f   th s a m p le  w ill  b d o n b y   R an d o m   Un d er   Sa m p li n g     an d   th d eter m i n atio n   o f   th in s tan ce   t h at  w il b tr an s f er r ed   w ill  b d o n w ith   SMOT E B o o s t.     T h Pro ce s s in g   s tag e s   w as  c ar r ied   o u u s in g   th D i f f er en t   C o n tr ib u tio n   Sa m p l in g   an d   D y n a m ic  E n s e m b le  Selectio n .   T h p s eu d o co d o f   th is   s tag i s   as  f o llo w s .     1 I np ut S :   Tr a in in g   S et;   T:  Nu m b er   o f   I ter atio n s ;   n : B o o t s tr ap   Size k n eig h b o r s   2 O utput :   B ag g ed   C las s i f ier :   ( x )   = s ig n   ( ( ) = 1 )   w h er h [ - 1 ,   1 ]   ar th in d u ce d   clas s i f ier s   3 P ro ce s s :   4 Fo r   A ll Sa m p les i n   S d o     5 :           Dete r m i n th B o r d er lin o f   P o s itiv o r   Min o r it y   C las s   as  E O +      6 :           Dete r m i n th B o r d er lin o f   Neg ati v o r   Ma j o r ity   C la s s   as  E O   7 : E n d   Fo r   8 : Fo r   A ll Sa m p les i n   E O +    d o     9 :           C alcu late  th cn ( e ) i   as  n eig b o r h o o d   v alu f o r   ea ch   s a m p le    1 0 :       Or d er   A s ce n d i n g   t h s a m p le  ac co r d in g   to   th cn ( e) i     1 1 : E n d   Fo r   1 2 : B u ild in g   ca n d id ate  en s e m b le  f o r   S a fe B o r d erli n e R a r e ,   d an   Ou tlier   ac co r d in g   to   k   v alu   1 3 T ak ca n d id ate  en s e m b l o f   S a fe B o r d erli n e R a r e ,   d a n   Ou tlier   to   SP   1 4 : Fo r   A ll Sa m p le s   in   E O    do    1 5 :       T ak ca n d id ate  en s e m b le  to   SN    1 6 : E n d   Fo r     1 7 f o =   1   to   Nu m b er   o f   I n s tan ce   in   P r ep r o ce s s ed   Data s et  do   1 8 :         A d d   P r ep r o ce s s ed   Data s et  to   S i   1 9             B - SVM  w ill d o   f o r   class if y i n g   S i   2 0 :         Dete r m in t h Ma j o r it y   C las s   2 1 :         Dete r m in t h Mi n o r it y   C las s   2 2 :         Fo r   A ll I n s tan ce   i n   Ma j o r ity   C las s   d o   2 3 :                       New SV Sets [ ]   w ill  f o r m   b y   c h ec k in g   a n d   d elete   th n o is in   SV Set s     2 4 :                       New NS VSet s [ ] w i ll   f o r m   b y   m u l tip le  R U   2 5 :         en d   w h ile   2 6 :         Fo r   A ll in s ta n ce   f r o m   n e w   S Sets   a n d   NSV  d o   2 7 :                     C r ea te  an   in s ta n ce   f o r   Ma jo r ity   C la s s     2 8 :         E n d   Fo r   2 9 :         Fo r   A ll I n s tan ce   i n   Mi n o r ity   C las s   d o     3 0 :                     SMO T E B o o s t P r o ce s s   f o r   SV Se ts   a n d   cr ea te  SMOT E Sets   3 1 :           en d   w h ile   3 2 :           Fo r   A ll SMOT E Sets   an d   Ne w NS VSet s   d o   3 3 :                     New   P o s itiv e Sa m p l eSets   3 4 :           E n d   Fo r   3 5 :           Fo r   A ll Ne w Ne g at i v eS a m p leSet s   an d   Ne w P o s iti v eSa m p leSet s   d o   3 6 :                   R esu ltData Set   3 7 :           E n d   Fo r   3 8 : E n d   Fo r     Af ter   th p r ep r o ce s s in g   d ataset  is   g en er ated ,   th D y n a m ic  E n s e m b le  Selectio n   p r o ce s s   w il o cc u r   at  th i n itial  s tag f o r   b o r d er lin d eter m i n atio n   o f   m i n o r it y   an d   m aj o r it y   clas s .   T h en   th e   n ex s tep   w ill  b e     th Di f f er e n tial  C o n tr ib u tio n   Sa m p li n g   p r o ce s s   w h er b o t h   m aj o r it y   class e s   an d   m i n o r it y   clas s es  w ill  b e   d iv id ed   in to   SV  Sets   an d   NS Sets .   NSV  Sets   i n   th Ne g a tiv Sa m p le  w ill  u n d er g o   Mu ltip le  R U p r o ce s s w h ile  S Sets   i n   t h P o s itiv Sa m p le  w ill e x p er ien ce   SM OT E B o o s t.     2 . 2 .     Da t a   div er s it y   I n   th e n s e m b le  lear n i n g   p r o ce s s ,   in   r ea li t y   i f   t h er is   clas s if ier   t h at  ca n   g u ar an tee  th at  t h er is   n o   m is c lass if ica tio n ,   an   e n s e m b l p r o ce s s   is   n o n ee d ed   o n   th e   class i f ier .   T h en s e m b le  p r o ce s s   in   t h clas s i f ier   o cc u r s   in   t h h o p th at  b et ter   r esu lts   ca n   b o b tain ed .   A s s u m i n g   th a if   t h er is   m is cla s s i f icat io n     o f   th cla s s i f ier   i n   p ar it  ca n   b co v er ed   b y   m er g i n g   w i th   o th er   clas s i f ier s   t h at  also   m is c lass if i ca tio n   i n   o th er   p ar ts   [ 1 9 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   2 A p r il 2 0 2 0 :   8 2 -   8 2 9   826   A cc o r d in g   to   Díez - P asto r ,   R o d r íg u ez ,   Gar cía - Oso r io ,   an d   Ku n ch e v [ 1 6 ]   it  is   i m p o r tan to   p a y   atten tio n   to   th d i v er s it y   o f   d ata  in   h an d li n g   i m b ala n ce   cla s s es.  T h is   m ea n s   t h at  atte m p t ed   m is cla s s i f icatio n   p r o d u ce d   b y   ea c h   cla s s i f ier   is   as  s m a ll  a s   p o s s ib le  a n d   i f   th er is   m is c lass if icatio n   it  i s   e x p ec ted   to   o cc u r   o n   d if f er e n o b j ec ts   o r   p ar ts   [ 2 0 ] .   Su p p o s th at  Z { 1 , . . . , }   w h ic h   is   a   d ataset  th at  i s   i n   th d ec i s io n   r eg io n   ,   s o   th at      it  is   an   in s tan ce   i n v o lv ed   in   th clas s i f icatio n   p r o b le m .   T h en   th o u tp u o f   th cl ass i f ier     as a   class i f ier   p air ed   co m p ar i s o n   m a tr ix   ( r elatio n s h ip   p air w is class if ier )   ca n   b s ee n   i n   T ab le  1 .       T ab le  1 .   R elatio n s h ip   p air w is e   class i f ier   m atr i x   [ 2 0 ]     D k   C o rre c t   ( 1 )   D k   Wr o n g   ( 0 )   D i   C o rre c t   ( 1 )   N 11   N 10   D i   Wr o n g   ( 0 )   N 01   N 10       Div er s it y   d ata  ca n   b ca lcu late d   u s in g   Q - Sta tis tic s   [ 2 1 ] .     Q i ,k   11 00 01 10 11 00 + 01 10   (1 )     2 . 3 .     Cla s s if ier     C las s i f ier s   ca n   g en er all y   b d ef i n ed   as  Dec i s io n   R eg io n     th at  p lace   an   o b j ec in to   s e c la s s   Ω w h er Ω   co n s i s ts   o f   cla s s   1 2 ,   u n ti .   T h is   ca n   b s ee n   in   ( 9 )   [ 2 0 ] .     :     ( 2 )     W h er is   th cla s s i f ier   an d   i s   th s et  o f   ea ch   p o in t i n   t h d ec is io n   r eg io n     w h ic h   i s   in te n d ed   f o r   cla s s   .     2 . 4 .     Cla s s if ier   perf o r m a nce     R OC   C u r v i s   o n e   s tatis t i ca m e th o d   t h at   is   o f te n   u s ed   to   d eter m i n t h e   p er f o r m a n ce     o f   class i f ier .   T h is   cu r v is   g en er ated   b y   p lo tti n g   th tr u p o s itiv f r ac tio n   o f   p o s iti v s a m p le  in   t h ax is   w it h   th e   f alse   p o s iti v f r ac tio n   o f   n e g a ti v s a m p le   ( Fals e   P o s itiv R ate)   in   t h X   ax i s   [ 2 2 ] .   T h co n ce p t s     o f   T r u Po s itiv an d   Fal s P o s itiv ca n   b s ee n   i n   th C o n f u s io n   Ma tr ix   as c a n   b s ee n   i n   T ab le  2   [ 2 3 ] .       T ab le  2 .   C o n f u s io n   m atr i x   [ 2 4 ]     C l a ssi f i e d   a p o si t i v e   C l a ssi f i e d   a n e g a t i v e   Po si t i v e   s a m p l e s   T ru e   Po s i t i v e   ( T P )   Fa l s e   N e g a t i v e   ( F N )   N e g a t i v e   s a m p l e s   Fa l s e   P o s i t i v e   ( F P )   T ru e   N e g a t i v e   ( T N )       T h n u m b er   o f   p er f o r m a n ce   cl ass i f ier   m ea s u r e m e n t p ar a m et er s   in   th t w o   cla s s   p r o b le m s   a r as f o llo w s   [ 2 5 ] .     P r a te       +      (3 )   F   Pr a te     +    ( 4 )     TN   r a te       +      ( 5 )     R e c a l l   TP r a te     ( 6 )     P r e c isi on   P PV a l ue       +      ( 7 )     F - M e a s ure   2  +   ( 8 )     G - M e a n      .         ( 9 )     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         HA R - MI  meth o d   fo r   mu lti - cla s s   imb a la n ce d   d a ta s ets ( H.   Ha r to n o )   827   T r u P o s itiv R ate  ( T P r ate)   is   s tated   a s   r ec all  w h ic h   s tates  t h p er ce n tag o f   d ata   ca p tu r ed     is   r elev a n d ata.   P o s itiv P r ed ictiv Val u ( P P Valu e)   is   s tated   as  P r ec is io n   w h ic h   s ta t es  th p er ce n ta g   o f   r elev a n d ata  id en ti f ied   t o   b tak en .   F - Me a s u r s tate s   th h ar m o n ic  av er a g v al u b et w ee n   r ec all     an d   p r ec is io n .   T h F - Me a s u r v alu is   u s u all y   s m aller   t h a n   2 ,   th h i g h er   t h v al u o f   F - Me asu r s tates  t h at   b o th   r ec all  an d   p r ec is io n   ar e   q u ite  h ig h .   G - Me an s   o n   th e   o th er   h an d   s tates  t h b alan c b et w ee n   p o s iti v e   s a m p les  a n d   n eg a tiv s a m p l es  [ 2 3 ] .   P e r f o r m a n ce   m ea s u r e m en i n   m u lti  cla s s   i m b a l an ce   is   b asicall y     m o d if ica tio n   o f   t w o   clas s   p r o b lem s ,   a n d   i n   g en er al   t h e r ar 2   ( t w o )   p ar a m eter s   u s ed ,   n a m el y : MAv A     an d   MFM   [ 2 6 ] .      =    = 1   ( 1 0 )     w h er m   is   th n u m b er   o f   class es  a n d      s tan d s   f o r   th e   ac cu r ac y   r ate  f o r   th class   I   an d   MAv A     is   th a v er ag v alu o f   ac cu r a c y .      =    ( 1 1 )     w h er MFM   i s   th m u lti - clas s   F - Me a s u r e.       3.   RE SU L T S AN AN AL Y SI S   3 . 1 .     Da t a s et   des cr iptio n   T h is   s tu d y   u s e s   m u lti - clas s   i m b ala n ce d   d ataset  th at  is   s o u r ce d   f r o m   th KE E L   R ep o s ito r y .     T h d ataset  s elec ted   in   th is   s t u d y   h a s   r ep r esen ted   lo w ,   m e d iu m   a n d   h i g h   i m b alan ce   r ati o .   Fo r   d atasets   w it h   lo w   i m b ala n ce   r atio   ar B al an ce   Scale  d atasets ,   d atasets   w it h   m o d er ate  i m b ala n ce   r ati o   ar C ar   E v alu at i o n   d atasets ,   a n d   d ataset   w it h   h i g h   i m b a lan ce   r atio   ar R ed   W in Q u alit y   d atase ts ,   E co li ,   an d   P ag eb lo ck s .     Data s et  d escr ip tio n   ca n   b s ee n   in   T ab l 3   [ 1 8 ] .       T ab le  3 .   Data s et  d escr ip tio n [ 1 8 ]   D a t a se t   # Ex   # A t t s   D i st r i b u t i o n   o f   c l a ss   IR   B a l a n c e   s c a l e   6 2 5   4   2 8 8 / 4 9 / 2 8 8   5 . 8 8   C a r   e v a l u a t i o n   1 7 2 8   6   3 8 4 / 6 9 / 1 2 1 0 / 6 5   1 8 . 6 2   R e d   w i n e   q u a l i t y   1 5 9 9   11   1 0 / 5 3 / 6 8 1 / 6 3 8 / 1 9 9 / 1 8   6 8 . 1   Ec o l i   3 3 6   7   2 / 2 / 5 / 2 0 / 3 5 / 5 2 / 7 7 / 1 4 3   7 1 . 5   P a g e b l o c k s   5 4 8   10   3 / 8 / 1 2 / 3 3 / 4 9 2   1 6 4       3 . 2 .     T esting   re s ult   T h f ir s te s i s   to   o b tain   co m p ar is o n   o f   th n u m b er   o f   clas s i f ier   an d   d i v er s it y   d at o b tain ed     b y   u s i n g   H A R - MI   an d   DE S - MI   m e th o d .   T esti n g   o f   ea c h   m et h o d   w ill  b ca r r ied   o u as  m an y   as  1 0   test in g     f o r   ea ch   d ataset.   T h av er ag t est r esu l ts   ca n   b s ee n   i n   T ab l 4 .       T ab le  4 .   T esti n g   r es u lt f o r   n u m b er   o f   cla s s i f ier   a n d   d ata  d iv er s it y   f o r   ea ch   m et h o d   D a t a se t   H A R - M I   m e t h o d   D ES - M I   m e t h o d   N u m b e r   o f   C l a ssi f i e r   D a t a   D i v e rs i t y   (Q - S t a t i s t i c s)   N u m b e r   o f   C l a ssi f i e r   D a t a   D i v e rs i t y   (Q - S t a t i s t i c s)   B a l a n c e   s c a l e   1 9 1 . 6   0 . 3 9 7   1 9 7 . 2   0 . 4 2 1   C a r   e v a l u a t i o n   4 7 1 . 6   0 . 4 5 7   4 8 7 . 9   0 . 4 6 1   R e d   w i n e   q u a l i t y   3 9 7 . 8   0 . 4 3 1   3 9 5 . 3   0 . 4 1 1   Ec o l i   9 1 . 1   0 . 3 9 7   1 2 1 . 2   0 . 4 1 3   P a g e b l o c k s   1 1 7 . 8   0 . 4 4 1   1 1 9 . 6   0 . 4 5 6       B ased   o n   th r es u lts   in   T ab le  4 ,   it  ca n   b s ee n   t h at  H AR - MI   Me th o d   g i v es  b etter   r es u l ts   o n   b etter   d ata  d iv er s it y   i n   th t h r ee   d atasets   w h en   co m p ar ed   w i th   D E S - MI   Me th o d .   T h test   r esu lts   f o r   th H AR - MI   m et h o d   class i f ier   ar b etter   in   th B alan ce   Scale,   C ar   E v a lu a tio n ,   E co li,  an d   P ag eb lo ck s   d atasets .   Fo r   th R ed   W in Qu al it y   d ata s et,   DE S - M I   is   s li g h t l y   s u p er io r   co m p ar ed   to   HA R - MI .   T h er is   ten d en c y   i f   t h n u m b er   o f   attr ib u tes  i n cr ea s e s ,   th s a m p lin g   p r o ce s s ,   esp ec iall y   o n   R an d o m   Un d er   Sa m p l in g ,   r eq u ir es  l ar g er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l Vo l.  18 ,   No .   2 A p r il 2 0 2 0 :   8 2 -   8 2 9   828   class i f ier .   Ho w e v er ,   th d i f f er en ce   in   t h n u m b er   o f   class if i er s   is   n o v er y   s i g n if ican t.  T h r esu lts   o f   test i n g   MAv A   an d   MFM   ca n   b s ee n   i n   T ab le  5 .       T ab le  5 .   T esti n g   R e s u lt f o r   M A vA   an d   MFM  f o r   E ac h   Me t h o d   D a t a se t   H A R - M I   m e t h o d   D ES - M I   m e t h o d   MA v A   MF M   MA v A   MF M   B a l a n c e   s c a l e   6 6 . 7 1   0 . 7 1   6 1 . 2 9   0 . 6 1   C a r   e v a l u a t i o n   9 7 . 6 8   0 . 9 7   9 4 . 2 7   0 . 9 4 5   R e d   w i n e   q u a l i t y   4 5 . 2 4   0 . 4 3   4 1 . 8 1   0 . 3 9 5   Ec o l i   5 7 . 3 1   0 . 5 8   4 9 . 6 7   0 . 5 1   P a g e b l o c k s   4 7 . 8 1   0 . 4 9   4 5 . 9 2   0 . 4 4       I n   T ab le  5   it  ca n   b s ee n   t h at  H AR - MI   Me t h o d   g i v es   b e tter   r esu lts   f o r   MAv A   a n d   M F M   w h en   co m p ar ed   to   DE S - MI   Me th o d .   B o th   m et h o d s   h a v p r o v id ed   ex ce lle n MAv A   a n d   MFM   v a lu es.  A   g o o d   MAv A   m ea n s   th at  t h ac cu r ac y   o f   t h class i f icat io n   h a s   b ee n   v e r y   g o o d ,   w h er e   th m is cla s s i f icatio n   th at  o cc u r s     is   v er y   m i n i m al.   T h is   m ea n s   th at   th e   i n s ta n ce   o f   t h e   m i n o r it y   clas s   h as  b ee n   c lass i f ied   co r r ec tl y     an d   also   th e   m aj o r it y   cla s s   i n s ta n ce s   t h at  ar i n co r r ec tl y   class i f ied   a s   m i n o r it y   c lass e s   ar also   m i n i m al.     T h is   is   b ec a u s F - Me as u r s t ates  h o w   m a n y   i n s tan ce s   i n   t h m in o r it y   clas s   ar co r r ec tly   d ef i n ed   an d   also   m ea s u r es  h o w   m a n y   i n s tan ce s   in   th m aj o r it y   class   ar i n co r r ec tl y   clas s if ied   as  m i n o r it y   cl ass es.     3 . 2 .     T esting   re s ult   T h s tatis tical  te s is   p er f o r m e d   u s i n g   t h e   W ilco x o n   s i g n ed - r an k   te s w h ic h   is   s ta tis t ical  p r o ce d u r e   to   m ea s u r p er f o r m a n ce   b ased   o n   p air w i s co m p ar is o n   [ 2 7 ] .   W ilco x o n   test s   ar ca r r ied   o u to   c o m p ar e     th p er f o r m a n ce   o f   t h H AR - MI   m eth o d   w i th   th DE S - MI   m et h o d   u s in g   MAv A   an d   MFM .   T h r es u lts   o b tain ed   ca n   b s ee n   i n   T ab le  6 .       T ab le  6 .   W ilco x o n   s ig n ed - r an k   test   f o r   co m p ar in g   p er f o r m a n ce   m ea s u r e m e n ts   u s i n g   MAv A   an d   MFM   P e r f o r man c e   m e a su r e me n t   P - V a l u e   H y p o t h e si s   MA v A   0 . 0 4 3 1 1 4   H 0   ( n o   si g n i f i c a n t   sc o re   d i f f e r e n c e   b e t w e e n   H AR - MI a n d   D E S - MI)   i s re j e c t e d   a n d   t h i m e a n s H 1   ( t h e re  i a   s i g n i f i c a n t   d i f f e r e n c e   b e t w e e n   H AR - MI a n d   D E S - MI  i n   sc o r e )   i Ac c e p t e d   b e c a u se   t h e   p - v a l u e   < 0 . 0 5   MF M   0 . 0 4 3 1 1 4   H 0   ( n o   si g n i f i c a n t   sc o re   d i f f e r e n c e   b e t w e e n   H AR - MI a n d   D E S - MI)   r e j e c t e d   a n d   t h i s   m e a n s   H 1   ( t h e re  i a   s i g n i f i c a n t   d i f f e re n c e   b e t w e e n   H AR - MI a n d   D E S - MI  i n   sc o re)  Ac c e p t e d   b e c a u se   t h e   p - v a l u e   < 0 . 0 5     B ased   o n   th r esu lt s   o f   tes ti n g   w i th   t h W ilco x o n   s ig n ed - r an k   test   t h at  ca n   b s ee n   i n   T ab le  6 ,     th er is   s i g n i f ica n d if f er e n ce   b et w ee n   H AR - MI   a n d   DE S - MI   an d   t h is   i n d icate s   t h at  th s u p er io r it y     o f   th H AR - MI   m et h o d .       4.   CO NCLU SI O N   B ased   o n   th te s r es u lt s   it  ca n   b s ee n   t h at  H AR - MI   m eth o d   g i v es  b etter   r es u lt s   co m p ar ed   to     DE S - MI   m e th o d   f o r   b o th   th n u m b er   o f   clas s i f ier ,   d ata  d iv er s it y ,   an d   also   th p er f o r m a n ce   class if ier .     I s h o u ld   b n o ted   th at  f o r   th n u m b er   o f   clas s if ier s ,   w h er if   th d ataset  h a s   m a n y   attr ib u t es  s u c h   as  th R ed   W in Qu alit y ,   th e n   t h H A R - MI   m e th o d   ca n   p r o d u ce   p o o r   r esu lts .   I n   g en er al,   th i m b al an ce   r atio   d o es  n o h av s ig n i f ica n e f f ec o n   t h test   r esu lts .   T h is   m ea n s   t h at   b o th   HAR - MI   m e th o d   an d   D E S - MI   m eth o d   ca n   h an d le   th e   i m b a lan ce   p r o b lem   cla s s   v er y   w el l.  F u t u r r es ea r ch ,   it  is   e x p ec ted   t h at  H A R - MI   m e th o d   ca n   b o p tim ized   s o   th at  it  ca n   b ap p lied   to   d atasets   f o r   lar g n u m b er   o f   attr ib u tes  w it h o u ca u s in g   lar g n u m b er   o f   clas s i f ier s .   T h m ain   atte n tio n   n ee d s   to   b g iv e n   to   th e   s a m p li n g   m et h o d   u s ed   i n   th H A R - MI   m et h o d .     I t is n ec es s ar y   to   f i n d   an o t h er   s a m p li n g   alter n ati v at  t h p r ep r o ce s s in g   a n d   p r o ce s s in g   s ta g es.       ACK NO WL E D G E M E NT S   T h is   w o r k   w a s   s u p p o r ted   b y   t h Gr an o f   Min is tr y   o f   R e s ea r ch ,   T ec h n o lo g y ,   a n d   Hig h er   E d u ca tio n   ( KE ME NR I ST E KDI KT I )   o f   th R ep u b lic  o f   I n d o n esia.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         HA R - MI  meth o d   fo r   mu lti - cla s s   imb a la n ce d   d a ta s ets ( H.   Ha r to n o )   829   RE F E R E NC E S   [1 ]     S .   W a n g   a n d   X.  Ya o ,   " M u lt icla ss   im b a lan c e   p ro b lem s:  A n a l y sis  a n d   p o ten t ial  so l u ti o n s,"   IEE T ra n sa c ti o n o n   S y ste ms ,   M a n ,   a n d   Cy b e rn e ti c s,  P a rt B   ( Cy b e rn e ti c s) ,   v o l.   4 2 ,   n o .   4 ,   p p .   1 1 1 9 11 3 0 ,   2 0 1 2 .     [2 ]     B.   Kra wc z y k ,   " L e a rn in g   f ro m   i m b a lan c e d   d a ta:  O p e n   c h a ll e n g e a n d   f u tu re   d irec ti o n s ,"   Pro g re ss   in   Arti fi c ia l   In telli g e n c e ,   v o l.   5 ,   p p .   2 2 1 3 2 ,   2 0 1 6 .   [3 ]     A .   A li ,   S .   M .   S h a m su d d in ,   a n d   A .   Ra les c u ,   " Clas sif ic a ti o n   w it h   c la s im b a lan c e   p ro b lem A   re v ie w , "   In ter n a ti o n a l   J o u rn a o A d v a n c e s in   S o ft   C o mp u ti n g   a n d   Its   Ap p li c a t io n ,   v o l.   7 ,   n o .   3 ,   p p .   1 7 6 2 0 4 ,   2 0 1 5 .   [4 ]     G .   Ha ix ian g ,   L .   Yiji n g ,   J.   S h a n g ,   G .   M in g y u n ,   H.  Yu a n y u e ,   a n d   G .   Bin g ,   " Lea rn in g   f ro m   c las s - i m b a lan c e d   d a ta:  Re v ie w   o f   m e th o d s a n d   a p p li c a ti o n s ,"   Exp e rt S y ste ms   w it h   A p p li c a ti o n s ,   v o l .   73 ,   p p .   2 2 0 3 9 ,   2 0 1 7 .     [5 ]     A .   F e rn á n d e z ,   V .   L ó p e z M.  Ga lar,   M .   J.  d e J e su s ,   a n d   F .   He rre ra ,   " A n a l y sin g   th e   c l a ss i f ica ti o n   o f   i m b a lan c e d   d a ta - se ts  w it h   m u lt ip le  c las se s:  Bin a riza ti o n   t e c h n iq u e a n d   a d - h o c   a p p r o a c h e s,"   Kn o wl e d g e - Ba se d   S y ste ms   v o l.   4 2 ,   p p .   9 7 1 1 0 ,   2 0 1 3 .   [6 ]     J.  Bi   a n d   C.   Z h a n g ,   " A n   e m p iri c a c o m p a riso n   o n   sta te - of - th e - a rt  m u lt i - c las i m b a lan c e   lea rn in g   a lg o rit h m   a n d   a   n e w   d iv e r sif ied   e n se m b le l e a rn in g   sc h e m e , "   Kn o wled g e - B a se d   S y ste ms ,   v o l.   1 5 8 ,   p p .   81 93 ,   2 0 1 8 .     [7 ]     T .   R.   Ho e n s,   Q.   Qia n ,   N.  V .   C h a w la,   a n d   Z - H.  Zh o u ,   " Bu il d in g   d e c isio n   tree s   f o th e   m u lt i - c las i m b a lan c e   p ro b l e m , "   In T a n   P - N,  Ch a w la   S ,   Ho   CK,  Ba il e y   J,  e d it o rs,   Ad v a n c e in   Kn o wled g e   Disc o v e ry   a n d   Da ta   M in i n g L e c tu re   No tes   in   C o mp u ter   S c ien c e ,   S p rin g e Be rli n   He id e lb e rg v o l.   7 3 0 1 ,   p p .   1 2 2 3 4 ,   2 0 1 2 .   [8 ]     E.   L .   A ll w e in ,   R.   E.   S c h a p ire,   a n d   Y.   S in g e r ,   " Re d u c in g   m u lt icla ss   to   b in a ry u n ify in g   a p p ro a c h   f o m a rg in   cl a ss i f iers ,"   J o u rn a o M a c h i n e   L e a rn in g   Res e a rc h ,   v o l .   1 ,   1 1 3 1 4 1 ,   2 0 0 0 .     [9 ]     M.  G a lar,   A.   F e rn á n d e z ,   E.   Ba rre n e c h e a ,   H.   Bu stin c e ,   a n d   F .   He rre ra ,   " A n   o v e r v ie w   o f   e n se m b l e   m e th o d f o b in a ry   c las si f ier in   m u lt i - c las p ro b lem s:  Ex p e ri m e n tal  stu d y   o n   o n e - vs - o n e   a n d   o n e - vs - a ll   sc h e m e s,"   Pa tt e rn   Rec o g n it io n ,   v o l.   4 4 ,   n o .   8 ,   p p .   1 7 6 1 1 7 7 6 ,   2 0 1 1 .   [1 0 ]     J.   A .   S á e z ,   B.   Kra wc z y k ,   a n d   M .   W o ź n iak ,   " A n a l y z in g   th e   o v e rsa m p li n g   o d iff e r e n c las s e s a n d   t y p e s o f   e x a m p le in   m u lt i - c las s im b a lan c e d   d a tas e t s ,"   Pa tt e rn   Rec o g n it io n ,   v o l.   57 ,   p p .   1 6 4 1 78 ,   2 0 1 6 .     [1 1 ]     Z - L .   Zh a n g ,   X - G .   L u o S.  Ga rc í a ,   J - F.   T a n g ,   a n d   F .   He rre ra ,   " E x p lo rin g   th e   e ff e c ti v e n e ss   o f   d y n a m ic  e n se m b le   se lec ti o n   in   th e   o n e - v e rsu s - o n e   sc h e m e ,"   Kn o wled g e - B a se d   S y ste m s ,   v o l.   1 2 5 ,   p p .   5 3 6 3 ,   2 0 1 7 .   [1 2 ]     S .   G a rc í a ,   Z. - L .   Zh a n g ,   A .   A lt a l h i,   S .   A lsh o m ra n i,   a n d   F .   He rre ra .   " D y n a m ic  e n se m b le  se lec ti o n   f o m u lt i - c las s   im b a lan c e d   d a tas e ts ,"   In fo rm a ti o n   S c ien c e s ,   v o l.   4 4 5 4 4 6 ,   p p .   2 2 37,   2 0 1 8 ,     [1 3 ]     P.  P é re z - G á ll e g o ,   A .   Ca sta ñ o ,   J.   R.   Qu e v e d o ,   a n d   J.   J .   d e Co z ,   " D y n a m i c   e n se m b le  se l e c ti o n   f o q u a n t if ica ti o n   tas k s,"   In fo rm a ti o n   Fu si o n ,   v o l.   4 5 ,   p p .   1 1 5 ,   2 0 1 9 .     [1 4 ]     Ha rto n o ,   E.  O n g k o ,   O.  P .   S i to m p u l,   T u l u s,   E.   B.   Na b a b a n a n d   D.  A b d u ll a h ,   " Hy b rid   a p p r o a c h   re d e f i n it io n   (HA R)   m e th o d   w it h   lo ss   f a c to rs  in   h a n d li n g   c las i m b a lan c e   p ro b lem , "   In   In ter n a ti o n a S y mp o si u o n   Ad v a n c e d   In telli g e n I n fo rm a t ics   ( S AIN) ,   p p .   5 6 6 1 ,   2 0 1 8 .     [1 5 ]     Ha rto n o ,   E.   On g k o E .   B.   Na b a b a n ,   T u lu s,  D.   A b d u ll a h ,   a n d   A .   S   A h m a r,   " n e w   d iv e r sity   tec h n iq u e     f o i m b a lan c e   lea rn in g   e n se m b les , "   In ter n a ti o n a J o u r n a o f   En g i n e e rin g   &   T e c h n o lo g y ,   v o l.   7 ,   n o .   2   p p .   4 7 8 4 8 3 ,   2 0 1 8 .     [1 6 ]     j.   F .   Díe z - P a st o r,   J.   J.   R o d ríg u e z ,   C.   I.   G a rc ía - Os o rio ,   a n d   L .   I.   Ku n c h e v a ,   " Div e rsit y   tec h n iq u e im p ro v e     th e   p e rf o rm a n c e   o f   th e   b e s im b a lan c e   lea rn in g   e n se m b les , "   In fo rm a ti o n   S c ien c e s ,   v o l.   3 2 5 ,   p p .   9 8 1 1 7 ,   2 0 1 5 .     [1 7 ]     C.   Jia n ,   J.   G a o ,   a n d   Y.   Ao ,   " A   n e w   sa m p li n g   m e th o d   f o c las sif y in g   i m b a la n c e d   d a ta  b a se d   o n   su p p o rt  v e c to r   m a c h in e   e n se m b le,"   N e u ro c o mp u ti n g ,   v o l.   1 9 3 ,   p p .   1 1 5 1 2 2 ,   2 0 1 6 .   [1 8 ]     J.  A lca - F d e z   e a l . ,   " KEEL A   so f t w a re   to o to   a ss e ss   e v o lu ti o n a r y   a lg o rit h m f o d a ta  m in in g   p ro b lem s ,"   S o ft   Co mp u t . ,   v o l .   1 3 ,   n o .   3 ,   p p .   3 0 7 3 1 8 ,   2 0 0 9 .     [1 9 ]     K .   Na p iera la A n d   J.  S tef a n o w s k i,   " Id e n ti f ica ti o n   o f   d if f e re n t y p e s   o f   m in o rit y   c las e x a m p les   in   imb a lan c e d   d a t a , "   In   Co rc h a d o   E. ,   S n á še V . ,   A b r a h a m   A . ,   W o ź n iak   M . ,   G ra ñ a   M . ,   C h o   S B.   (e d s )   Hy b ri d   Arti f icia In telli g e n t   S y ste ms ,   S p rin g e r,   Be rli n ,   He id e l b e rg ,   pp .   1 3 9 - 1 5 0 ,   2 0 1 2     [2 0 ]     L .   I.   Ku n c h e v a ,   " Co m b in in g   p a tt e rn   c la ss if iers ,"   Jo h n   W il e y   &   S o n s,  p p .   2 9 5 3 2 7 ,   2 0 0 4 .     [2 1 ]     L .   I.   Ku n c h e v a   a n d   C.   J.   W h it a k e r ,   " M e a su re o f   d iv e rsit y   in   c las sif ier  e n se m b les   a n d   th e ir  re l a ti o n sh i p   w it h     th e   e n se m b le ac c u ra cy ,"   M a c h in e   L e a rn i n g v o l.   51 ,   n o .   2 ,   p p .   1 8 1 2 0 7 ,   2 0 0 3 .   [2 2 ]     C.   G ig li a ra n o ,   S.   F ig in i ,   a n d   P .   M u li e re ,   " M a k in g   c las sif ier  p e r f o rm a n c e   c o m p a riso n w h e n   ROC  c u rv e in ters e c t ,"   Co mp u t a ti o n a S ta t isti c &   Da ta   An a lys is ,   v o l .   7 ,   p p .   3 0 0 3 12 ,   2 0 1 4 .     [2 3 ]     Y.   S u n ,   M .   S .   Ka m e l,   A .   K.  C.   W o n g ,   a n d   Y.   Wan g ,   " Co st - se n s it iv e   b o o stin g   f o c las si f ica ti o n   o f   i m b a lan c e d   d a ta ,"   Pa tt e rn   Rec o g n i ti o n ,   v o l .   4 0 ,   n o .   1 2 ,   p p .   3 3 5 8 3 3 7 8 ,   2 0 0 7 .   [2 4 ]     L .   Zh a n g ,   H.   Ya n g ,   a n d   Z.   Jia n g ,   " Im b a lan c e d   b io m e d ica d a ta  c las sif i c a ti o n   u si n g   se l f - a d a p ti v e   m u lt il a y e E L M   c o m b in e d   w it h   d y n a m ic  GA N, "   Bi o me d   E n g .   On li n e ,   v o l.   1 7 ,   p p .   1 - 2 1 ,   2 0 1 8 .   [2 5 ]     A .   T h a r w a t ,   " Cl a s sif i c a ti o n   a ss e ss m e n m e th o d s,"   Ap p l ied   Co m p u ti n g   a n d   I n f o rm a ti c s   [ In tern e t ].   2 0 1 8   A u g   2 1   [ c it e d   2 0 1 9   Oc 1 9 ] A v a il a b le f ro m h tt p :/ /w ww . sc ien c e d irec t. c o m / sc ien c e /article /p ii /S 2 2 1 0 8 3 2 7 1 8 3 0 1 5 4 6   [2 6 ]     R.   A lejo ,   J.  A .   A n to n io ,   R .   M .   V a ld o v in o s,   a n d   J.  H.  P a c h e c o - S á n c h e z ,   " A s se ss m e n ts  m e tri c f o m u lt i - c las im b a lan c e   l e a r n in g p re li m in a r y   stu d y , "   In   a rra s c o - Oc h o a   J.A . ,   M a rtí n e z - T rin id a d   J.F . ,   Ro d r íg u e z   J.S . ,   d Ba ja   G . S .   (e d s)   Pa tt e rn   Rec o g n it io n ,   L e c tu re   No tes   in   Co mp u ter   S c ien c e ,   S p rin g e Be rli n   He id e lb e rg , v o l.   7 9 1 4 ,     p p .   3 3 5 3 4 3 ,   2 0 1 3 .   [2 7 ]     F .   W il c o x o n ,   In d iv i d u a c o m p a riso n s b y   ra n k in g   m e th o d s ,”   Bi o me trics   Bu ll e ti n ,   v o l.   1 ,   n o .   6 ,   p p .   80 - 83 ,   1 9 4 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.