Indonesi an  Journa l  of  El ect ri cal Engineer ing  an d  Comp ut er  Scie nce   Vo l.   12 ,  No.   3 ,  Decem ber   201 8 , p p.   1 0 63~ 1 0 70   IS S N: 25 02 - 4752, DO I: 10 .11 591/ijeecs .v1 2 .i 3 .pp 1 0 63 - 1 0 70          1063       Journ al h om e page :  http: // ia es core.c om/j ourn als/i ndex. ph p/ij eecs   Adaptiv e Data S tructu re  Based O versamp lin g A l gorithm  f or  Ordinal  Classific atio n       D.   Dhan alaks hmi 1 ,   A nn a  S ar o Vijen dran 2   1 Depa rtment  of   Com pute r  Scie n ce ,   Sri R amakri shna  Col le ge   of A rts   and  Sci ence ,  Coim bat or e, I n dia   2 School  of  Com puti ng,   Sri R amakri shna  Col le ge   of  Arts a nd   Science ,  Coim bat or e ,   Indi a       Art ic le  In f o     ABSTR A CT    Art ic le  history:   Re cei ved   Ma y   1 , 2 01 8   Re vised  Jun   25 , 201 8   Accepte d  Aug   2 1 , 201 8       The   m ai n  obje ctive  of  thi s  rese a rch   is  to  improv e  the   pre dictiv e  ac cur acy   of   cl assifi ca t ion  in   ordina l  m ulticlass   imbala nce d  sce nar io .   Th e  m et hodol o g y   at t empts  to  upli ft  th e  c la ss ifi er  p erf orm an ce   through  s ynthe sizi n g   sophistic at ed  ob je c ts  of  imm at ure   class es.   A  novel   Adapt ive   Dat a  Struct ur e   base d  Oversam pli ng  al gori thm  i s  proposed  to  c rea t e  s y ntheti c  obje c ts  and   Ext reme  Learni ng  Mac hine   for  Ordina l  Regre ss ion  (EL MO P)  cl assifi er  is   adopt ed  to  v alid at e  our  work.  T he  proposed  m ethod  gene ra ti ng  new  obje c ts   b y   an al y z ing  th e   cha ra ct er isti cs  and  int ri cac y   of  imm at ure   cl ass  obje c ts.  On  the   whol e,  the  d at a   set   is  div ide d   int o   training   an d  te st   data.  Tr ai n ing  da ta   s et  is  updated  wit h  new  s y ntheti c  obj ec ts.   Th e   expe r imenta l   ana l y sis  is   per form ed  on  t esti ng  da ta   s et  to  ch e ck  the  eff iciency   of  th e  proposed   m et hodolog y   b y  compari ng  it   with  the  exi st in g  work.   Th e  p erf orm anc e   eva lu at ion  is  co nduct ed  in  te rm s  of  the   par amete rs  ca lled  Mea n  Abs olut e   Err or,   Maximum   Mea n  Ab solute   Err or,   Geo m et ric   Me an,   Kappa   and   Avera ge  Acc ur a c y .   Th e  m ea sure s  prove   tha t  the   proposed  m et hodolog y   c an   produc e  aut h en ti c  s y n the t ic   o bje c t s  tha n  the  exi sting  te chn ique s.   The  Propos ed  te chn ique   c an  s y n th esiz e  the   new   eff ective  objects  through   eva lu at ing   t he   st ruc ture  of  imm at ure   cl ass.   It  boo sts  the   glob al  pr ec ision  and   cl ass wise  p recision  espe ci a lly   pr ese rve s r ank  ord er  of   the classes.   Ke yw or d s :   Ad a ptive  data  structu r   Av e ra ge  acc uracy   Extrem e lea rn ing m achine for  ordinal  regress ion   Geo m et ric  m ea n   Kappa   Ma xim u m   m ea n  a bsolute er r or   Mult i cl ass o r di nal  cl assifi cat ion   Copyright   ©   201 8   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   D.   D han al a ksh m i ,    Dep a rtm ent o f C om pu te r  Scie nce,    Sr i R am akr ish na  C ollege  of  Ar ts a nd Scie nc e ,   Coim bator e, In dia.   Em a il :  dh ana duraira j@gm ai l. com       1.   INTROD U CTION     1 . 1.       B ackgro und   Ty pical   cl assif ic at ion   al gorit hm s  well   beh a ve d  with  a ppr op riat el y  balance d  dataset s,  but  m any  real - world  a ppli cat ion s  i n  va rio us  discipli nes  e xh i bit  i m balanced  or din al   na ture  s uch   a s   Disease  pre di ct ion ,  Weathe r  f or ec ast ing ,  Pe rfo r m ance  pr e dicti on,  Ra ti ng   a nd  Finan ci al   in ve st m ent  et c .,  Most  of  the  cl ass ific at ion   al gorithm s  try   to  achie ve  th e   bette r  perform ance  globall y.  They  s uffer   t o  ob ta in   bette r   lo cal   as  well   as  global   perform ance  due  to  s ke we d  ordinal  nat ure  of   data.  Th e  m ai n  resear ch  co ntributi ons  in  this  perspecti ve   include   Algori thm ic   le vel,  da ta   le vel  a nd  cost  sensiti ve  appr oach es  [ 1] ,   [2 ]   Pr op os e d  var ia ti on   of  sm ot e   al gorithm   SN OCC  for  i m balanced  bin a ry  cl ass  wh ic h  rec ognizes  m or e  than  tw o  see d  sa m ples  to  create   new   sam ples  in  the   interi or  re gion  of  the   bor de red  see d  sam ples  to  sim ulate   the  e ven  an d  uneve n  distri bu t ion  of   or i gin al   sam ples  [ 3] .   Test e d  var i ou s   cl assifi ers  perform ance  base d  on  c ost   for  tw o  cl as s   i m balanced   public  healt h  dataset   pro blem .   They  con cl uded  t ha t  Ba ye sia n  cl assif ie rs  work   well   for  this  pro blem   [4] .   Propose d  On li ne  ve rsion   of   Im balanced  S VM  (OIS V M)  for  bin ary  e m ai l  c la ssi ficat ion   to  im pr ove  pr ocessi ng  sp ee d  and   sa ve  stora ge  sp ace   [ 5] .   P rove d  ELM   is  eff ic ie nt  al gori thm   fo r  cl assifi cat ion   pro blem   [6 ] .   Confirm e d  that,   Eucli dea n  an d  Ci ty   blo ck  distance  m eas ur es  perf or m e d  well   in  K - Near est   Neig hbou r  Algo rith m   [ 7 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   12 , N o.   3 ,  Dece m ber  2 01 8   :   1 0 63   –   1 0 70   1064   Pr op os e d  firs t  ov e rsam pling   al gorithm   to  han dle  im balanced  m ulti c la ss  ordinal  cl assifi cat ion   pr ob le m   [8] .   Au t hors  pe rform ed  li te ratur e  rev ie w  in  the  con te xt  of   ordinal  cl assifi cat i on   to  fi nd   th e  causes  f or   cl as sifie r   perf orm ance  de gr a datio n   [ 9] ,   [10] .   A uthors  pro po se d  propose d  colli near   base d  oversam pling   al gorith m   in  the  safe  an d  bor de r  li ne  re gion  for  ordi nal  cl assifi cat ion   [ 11 ] .   I ntr oduce d  uns up e r vised  over sam pling   m et ho d  f or   ordinal  re gr es s ion   [ 12 ] .   Ado pt   data  char act ei sti cs  to  identify   co m plex  obje ct s  and   deci de   si ze  to  synthesiz e  for  su c h  eac h  pro blem atic   fo r  le ar ni ng  as  well   as  m os t  resp on sible  for  pe rf or m ance  degr adati on     obj ect s  [ 13 ]   A dopted  cl us te ri ng   t o  group  m inorit y  instanc es  an d  synt hes iz ing   ob j ect s  ba sed  on   t he  le arn i ng  com plexity   of   the  gro up   [ 14 ]  Ma ke  us e  of  data  char act e risti cs  fo r  ove rs a m pling   ob j ect s  and   c on cl ud e d  tha t   insig ht  the  f orm at ion   and   gr oup  of   obj ect s  in  dataset   coll us io n  the  pr e possessi ng   al gor it h m s  wh ic h  upli ft  the  perform ance.  Au t hors  [ 15 ]   s uggeste d  that,   synthesiz i ng  m or e  obj ect s  i n  the   b orde rline  wh ic h  e xpa nd  the   pro bab le  a rea  of im m at ur e cla ss.       1 . 2 .      Pr ob le m  Ind en tified  f r om  Li ter ature  R e view   Most  of  t he  e xi sti ng   wor k  f oc us es  on  im balanced   bin ary   c la ss  cl assifi cat ion,  im balanced  m ulti cl ass   cl assifi cat ion   a nd  or din al   cl as sific at ion   al one.    Ver y  fe w  re search   w orks   ha s  bee n  ca rr ie d  out  f or  im bala nc e d  m ul t ic la ss  or di nal  cl assifi cat ion.  He re  we  de al   su ch  a  c om pl ic at ed  sit uation  Im balanc ed  Mult ic la ss  Ordinal   Cl assifi cat ion .   Ma ny  real  ti m e  app li cat ions  in  var io us   dom ai ns   su ch  a s  Eco nom y,  A uto m ob il e  I ndus try ,   Me dicine,  A gri culture ,  Bi oM edici ne,   Hum an  Re so urce   Dev el op m ent  et c.,  co ns ist s  data  in  im ba la n ce d  m ul ti cl ass  or di nal  nat ur e.   T hey  dem and  eff ect ive   sta te - of - t he - a rt  s olu ti on  to   ta ckl e  this  sce nar i o  for   i m pr ovem ent o f pr e dicti ve  ac cur acy  a nd m i nim iz at ion  of e rror rate.     1 . 3 .      Pr opose d Soluti on   In   this  pa per ,   we  pro pose  an  A da ptive  Data  Stru ct ur e   Ba sed  O ver s a m pling   Al gor it h m .  In   ou r   pro po se d  a dapt ive  data  str uctur e  base d  ove r sam pling   al gor it h m   diff ers  from   the  existi ng   w ork   [ 7 ]   it   prefe rs   o nly  the   com plica te d  ob j ec ts,  com par e  with  [ 12 ]   it   handles  m ulticlass  ordi nal  cl assifi cat ion ,  dev ia te d    with  [ 14 ]   our  a lgorit hm   han dl es  m ult ic la ss  or di nal  cl assifi cat ion   a nd   w ork s   on  each   patte rn s  of  m ino rity   cl ass  to an al yse s c om plexit y.       2.   ADAPTI VE  D AT A  S T R U CTU RE  B A S ED  O VER SAMPLI NG  A L GORIT HM   2 . 1.       Sele c ting Imma tu re  C l as s   The  dataset   is  par ti ti on e d  in to  trai ning  an d  te sti ng   gro up.  [ 7] ,  [ 16 ] ,  [ 17 ]   Dif fer e nt  works  in  th e   li te ratur e  hav e   consi der e d  t he im m at ur e cla ss es that e xh i bit IR v al ue  a bove  than 1 .5.     q q j j q N . Q N IR                   (1)     In  this  w ork  usi ng  ( 1),  IR  va lued   is   cal cula te d  f or  eac h  cl ass.  Ba se d  on  that  val ue,   t he   num ber   of  syntheti c  patte rn s  t o  be  ge ne rated  for  eac h  cl ass  is  cal c ulate d  th rou gh  (2).   Af te r  ( 2),  agai n  IR  value   is   cal culat ed  for   each   cl ass.   Wh e n  ( 2)  al te rs  th e  IR   val ue  for  t he  re m ai nin g  cl ass es  as  a bove   t han  1.5,    new synt hetic  o bject s a re c re at ed  f or s uch cla sses unti l reac hes  t he  IR  n e w  (3)   value  b el ow  1.5.      q q j q Q c c c j q N Q Th r e s h o l d S y n S y n N S y n . 1             (2)     Q Sy n N Sy n Sy n N ne w IR q q q j q Q c c c j q . ) ( 1             (3)     2 . 2 .      Adapt in g Data S truc t ure t o Overs am ple   In  im m at ur e  cl ass,  5  Near e st  Neig hbors  for  each  obj ect   is   cal culat ed  a nd  cl assify   eac h  obj ect   i nto  secur e  ob j ect s  and insec ur e  obj ect s  b ase d o n nea rest n ei ghbors .       K r j j ,  s C Im . . . 1 j                 (4)     Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ad ap ti ve  Da t a Struct ur e B as e d Overs amplin g  Al go rit hm f or Or dinal Cl assi fi cation  ( D.D hanalaks hmi )   1065   Am on g  5  Nea rest  Neig hbors ,  4  or  5  neig hbors  belo ng  to  i m m a ture  cl ass  it   con side red   as  sa fe  obj ect s,   2  or  3  m eans  it   is  cal le d  as  bor der l ine  ob j ect ,  1  m eans  it   is  ra r e  obj ect   an d  f or  0  it   is  outl ie r  [ 14 ] .    In  our   propos ed  w or k  we  tr eat ed  a bove  s ai d  obj ect   cat egories  i nto   2  gro ups  s uc h  as  sec ur e   ob j e ct s  an d  insecu re  ob j ec ts.  Safe  ob j ect   is  secur e  obj e ct   re m ai nin g  c at egorie s  belo ng   to  i ns ecu re   obj ect s.  F or   ordi nal  cl assifi cat ion   s cenari o,   a dj ace nt  cl asses  are  c lose  to  eac h  ot h er  [7 ] .  C onsid erati on   of  the  a bove  sta te m ent ,  f or   the  sec ur e   ob j e ct ,  1  nea rest  ne ighbor  of  the   non - im m at ur e  c la ss  obje ct   bel ong  t o  one  of  the  a djacent  cl a ss  that   safe  obj ect s   is  inten de d  as   ordi nal  bo rd e rline  obj ect .   O r di nal  bor de rline   obje ct s  a nd  insec ur e   ob j ect s  ar e   captu red f or fu rther p r ocessin g.   The  n e w  im m at ur e cla ss (I m C) co nsi sts t he  a bove sa id t wo grou ps .     Im C= {Or din al   bor der li ne o bje ct s,  insec ur e  obj ect s}           (5)     Im C= j x x x . . . , 2 1                 (6)     2 . 3.       Fin ding   Ad j acen t Clas ses and  Synth esi z ing O bj ec t s   Adjace nt  cl ass   patte rn s   are  ve ry  cl os e  to  i m m a ture  cl ass   patte rn s   com par e  with  nona dj ace nt  cl ass  patte rn s  [7 ] .  A ccordin g  to  tha t,  this  wo r k  fin ds   the  shortest   distance  for  e ach  obj ect   of  both  ad j ace nt  cl asses   thr ough im m atu re  class  obj ec ts.     2 . 4 .      Gr aph  C on s truct i on   Creat e  gr a ph  f or   t he  im m at ur e  cl ass,  q  be   the  in dex   of  the  cl ass  we  w ant  to  ov e r - sa m ple.  Creat e  gr a ph  q G   for  cl ass   q C Im   ba sed  on t hr e e sub  gr a phs q q G , 1 , q q G ,   a nd  1 , q q G     a.   Con st ru ct   q q G , 1   Fo r  e ve ry  patte rn   in  q th  cl ass,  fin d  it s  k - near e st  neig hbor  in  the  q - 1 th   cl ass  us i ng  the  f or m ul a ) , , ( 1 k X X N q q d .  Creat e e dges.       Fo r  e ve ry  patte rn   in  q - 1 th  cl ass,  fin d  it s  k - near est   neighb or   in  t he  q th   cl ass  us in g  the  f or m ul a ) , , ( 1 k X X N q q d .   Creat e e dges.   b.   Con st ru ct   gr a ph  q q G , 1 with e dg e s  only  those are  c omm on  in :   ) , , ( 1 k X X N q q d ) , , ( 1 k X X N q q d   c.   Co ns t ru ct   q q G ,   Fo r  e ver y  patt ern   in  q th  cl ass ,  find   it s  k  nea rest  neig hbour s  in  the  q th   cl ass  and   create   e dg e s  with  thes e  neig hbours .   d.   Con st ru ct   1 , q q G   sam e li ke  q q G , 1   e.   Find   t he  s hortest   path  from   q q G , 1 to 1 , q q G via  q q G , us in g  Dijkstra ’s   al gorithm   fo r  eac h  ve rtex   i n  q q G , 1   f.   Sele ct  an  e dge  from , an d   base d on ove rsam pling   rate t hat s hould be  one  of the  sho rtest  pat h  ed ge .       3.   FUR T HER  CON CER NS   To  cl arify  al l  the  w orks  wh i ch  are  done  i n  the  pr e vious   subsect ion,  a   su m m ary  of   the  w ork  is     giv e n :     3.1.      Pse ud o  Code  f or  t he   Prop os ed   A D SOS   Inp ut : Traini ng D at aset   Ou t pu t :  New B al anced   Trai ne d datase t   Pha se  I   1)   Sele ct  the im mature class  to b e oversam pled (im )  based   on IR  v al ue , calcul at ed  usi ng e quat ion   (1).   2)   The n um ber  of  obj ect s  to be s ynthesiz ed  is c al culat ed usin g eq uation ( 2).     3)   The  new   IR  va lue  is  cal culat ed  usi ng  ( 3).  U nt il   IR  value  f or  al l  the  cl asses  reach  le ss  t han  1.5  re pea t   ste p b to st ep  c .    Pha se  II     Find the  struct ur e  of the  im mature class  u si ng  e qu at io n ( 4)     Secu re  Ordinal  obj ect s  and i nse cur e  ob j ect s  are  deliberate d f or   oversam pling.   Pha se  III   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   12 , N o.   3 ,  Dece m ber  2 01 8   :   1 0 63   –   1 0 70   1066   Con st ru ct   gr a ph  q q G , 1 , q q G ,   an d  1 , q q G   as m entioned in t he  a bove se ct ion     Find  sho rtest  pat h  f ro m   q q G , 1 to 1 , q q G via  q q G ,     Ra ndom ly  sele ct  an  e dg e  from   q q G , 1 ,  1 , q q G   an d   q q G ,   Pha se  IV     Synthesizi ng  ne w objects     Sele ct ed  e dg e   belo ngs to   q q G , app l y un i form  d ist ribu ti on  for  sy nt hesizi ng ob j ec ts   Sele ct ed  e dg e   belo ngs to   q q G , 1 or  1 , q q G app li es  gam m a  distrib ution f or synthesizi ng  obj ect s     Pha se  V     Pr e dicti on   us in g ordinal cl assi fier     Inp ut : Ne w   Ba la nced   Trai ned D at aset , Te st  dataset     Ou t pu t:  P re dicte d value       4.   RESU LT S   A ND AN ALYSIS   To  validat e  the   pro posed   m eth od ology  s ome   data  set s  Wi sco ns in,   ho us i ng,   m achine,  tr ia zi nes,   a uto  are  der i ved   f r om   [1 8 ] .  The  rest  of   the  da t aset s  are  extra ct ed  from   UCI.   Table  1  sho ws  the  desc rip ti on   of  dataset .   I niti al l y,  these  datase ts  do   no t  repre sent  ordi nal  cl assifi cat ion ,  bu t  it   rep rese nts  r egr es sio n.   T o  evo l ve  this  re gr e ssio n  into  ordinal   cl assifi cat ion   we   hav e   c on si der e d  th e  desire d  r esult  is  cat eg or iz ed  int o  five   or  te n  cl asses  with  e qual   f reque ncy.   Re gardin g  the   exp e rim ental   s et up ,   a  ho l dout   strat ified  te c hniq ue  was  a pp l ie d  to   div ide  the  dataset s  10   tim es,  us in g  75  pe rce nt  of   the  patte rn s  f or  trai ning  an d  the  rem ai nin g  25   per c ent  for   te sti ng .  Finall y, the  res ults  are  taken as t he  m ean a nd stan da rd d e viati on of  the m easur es  over  the  10 test   set s.       Table  1.   Natu r e of  Dataset   Dataset   Total  n o .  o f   p atterns   No .  o f   Attribu tes   Total n o .  o f  classes   IR valu e per c lass   b o n d rate   57   37   4   1 .85 ,0.1 9 ,. 0 .92 , 2 .3 8   Au to   392   7   5   0 .65 ,0.4 0 ,0.5 8 ,1.1 4 , 7 .15   au to m o b ile   205   71   6   1 2 .58 ,1.4 3 ,0.3 3 ,0.4 7 ,0.9 0 ,1.1 1   Car   1728   21   4   0 .11 ,0.8 8 , 5 .98 ,6.3 6   ERA1 v s2 3 4 5 v s7vs 8 v s9   1000   4   5   1 .97 ,0.0 6 , 2 .07 ,6.3 2 ,10 .51   Eucalyptu s1 2 3 v s4vs 5   736   91   3   0 .25 ,0.8 2 , 2 .00   m a ch in e5   209   6   5   0 .07 ,1.3 6 , 2 .92 , 6 .0 4 , 4 .26   m a ch in e1 0   209   6   10   0 .08 ,0.4 6 ,0.9 4 , 3 .0 2 , 2 .50 ,3.8 0 ,7.7 0 ,   5 .10 ,5.1 0 ,3.8 0   triazines5   186   60   5   5 .36 ,3.2 7 ,1.2 6 ,. 0 2 3 ,0.4 6   wisco n sin 5   194   32   5   0 .38 ,0.7 4 ,0.7 1 ,1.1 4 , 1 .87   wisco n sin 1 0   194   32   10   0 .31 ,0.8 1 ,0.5 9 ,1.3 5 ,0.7 1 ,1.0 2 ,1.3 5 ,   1 .71 ,1.9 7 ,1.9 7   h o u sing5   506   13   5   1 .11 ,0.2 2 ,0.6 2 , 2 .6 1 ,3.1 0   Toy   300   2   5   1 .53 ,0.4 9 ,0.5 6 ,0.6 8 , 1 .68   SW D   1000   4   9   7 .56 , 0 .46 ,0.3 8 ,0.9 0       The  E ntire  w ork  is  validat ed  base d  on  A da pt ive  Data  Str uc ture  ba sed  O ve rsam pling   al gorithm   with   ELM OP  Cl assi fier a nd these  re su lt s ar e  co m par e d Gr a ph  ba sed  oversam pling  alg ori thm   with ELM OP.     4 . 1.       Per fo r m an ce  Me as ure s   This  wor k  pr e ferred   m os t  relevan t  perf or m ance  m easur es   su c h  as   Me a n  Ab s ol ute  Er ror  (MAE ) ,   Ma xim u m   Mean   Ab s olu te   E rror   (MM AE ),  Ge om et ric  M ean  ( GM) ,  Co hen’s  Ka pp a   a nd  Acc ur a cy   use d  to   validat e  the  pr opos e d wor k.     4 . 1. 1.       Mean  Ab s olut e  Erro r   MAE  is  the  a ve rag e  dif fer e nc e  betwee n  tr ue   value  a nd  e va luate d  value.  MAE  is  the  e s sentia l  an d  cl ear m easur e  of ave rag e  er ror  [ 19] .     q N i i i q q y y N M A E 1 ) ˆ ( ) ( 1               (7)   Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ad ap ti ve  Da t a Struct ur e B as e d Overs amplin g  Al go rit hm f or Or dinal Cl assi fi cation  ( D.D hanalaks hmi )   1067     4 . 1.2 .   M ax im u m Me an A bsol ut e Err or   Pr op os e d  MM AE  m et ric  for  ordi nal  cl assifi cat ion .  It  disp la ys  the   m axi m u m   MAE  f or   al l     the cla sses   [20 ] .     MM AE= Q q M A E q , . ... , 1 ; m a x             (8)     4 . 1.3 .   Geo met ri c Mean   Geo m et ric  m e an  is  on e  of   t he  prefe rab le   m easur es  f or   i m balanced  le arn i ng.  Ge om etr ic   m ean  i s   def i ned as  fo ll ow s :     GMean= FP TN TN FN TP TP         `       (9)     4 . 1.4 .   Kapp a   Coh e n’s  ka pp a   sta ti sti c   is  on e  of   the  pref era ble  m easur es  fo r  im balanced  m ul ti   cl ass  le arn in g.   Whe n  kappa v al ue   <   0  is  in dicat in g  no  coe xists between  act ual  a nd p re dicte d  val ue  ,   0 – 0.20  as sli gh t  c oex ist s,   0.2 1 – 0.40   as  fair  c oin ci de ,  0.4 1 – 0.60   as  m od er at e  agr eem ent,  0.61 – 0.80   as   su bs ta ntial ,  and   0.8 1 – 1  as  alm os t  perfect  agreem ent.     Kappa= m i i ci ri m i i m i i ci ri T T N T T TP N 1 2 1 1               (10)     Wh e re  N  total   nu m ber   of   pat te rn s, ri T   num ber   of   rows  from   t he  co nfusi on   m at rix,   ci T   num ber   of  col um ns  from  the co nf usi on m at rix.     4 . 1.5 .   Accur ac y   Accuracy  is th e pro portio n of t ru e  r es ults, ei ther  tr ue p os it ive  or tru e  n e ga ti ve.     Accuracy =(T P +TN) /  ( T N+T P+FN + FP)             (11)     Af te r   eval uatin g  the   m easur es  MAE,  MM AE ,  GMea n,   Ka ppa  a nd  Acc ur a cy   Ob ta ine d  O ver   10  R uns   for  the  E xisti ng  Gr a ph Base d O ver sam pling an d  P r opos e d ADSO S r e su lt s  are display ed  i n  Ta ble  2 - Ta bl e  6.       Table  2 . M AE M ean a nd Stan dard  De viati ons ( Me a n± S D )   Dataset/  M eth o d   Graph  Based  Over sa m p l in g   ADSOS   b o n d rate   0 .17 3 3 ± 0 .18 4 2   0 .09 3 3 ± 0 .03 2 6   au to   0 .34 0 9 ± 0 .03 5 4   0 .34 0 7 ± 0 .03 5 3   au to m o b ile   0 .45 7 7 ± 0 .27 2 4   0 .39 4 2 ± 0 .24 6 9   car   0 .22 5 0 ± 0 .02 0 0   0 .22 4 0 ± 0 .02 0 1   ERA1 v s2 3 4 5 v s7vs 8 v s9   0 .14 0 4 ± 0 .04 4 0   0 .12 7 2 ± 0 .04 4 2   Eucalyptu s1 2 3 v s4vs 5   0 .30 9 7 ± 0 .05 5 6   0 .24 4 5 ± 0 .07 3 0   m a ch in e5   0 .26 4 1 ± 0 .04 6 2   0 .27 3 5 ± 0 .13 1 3   m a ch in e1 0   0 .58 4 9 ± 0 .17 3 6   0 .52 1 9 ± 0 .09 7 8   triazines5   0 .36 8 8 ± 0 .02 6 5   0 .36 8 0 ± 0 .02 6 9   wisco n sin 5   0 .36 0 5 ± 0 .03 4 7   0 .44 8 9 ± 0 .06 7 0   wisco n sin 1 0   1 .13 6 0 ± 0 .03 4 7   1 .02 7 1 ± 0 .06 8 7   h o u sing5   0 .15 4 8 ± 0 .04 2 7   0 .20 7 8 ± 0 .08 2 3   Toy   0 .56 8 8 ± 0 .03 4 9   0 .54 6 6 ± 0 .04 5 8   SW D   0 .28 0 0 ± 0 .00 9 7   0 .20 9 3 ± 0 .07 3 2         Table  3 .   MM A E Mea n  a nd St and a r d Dev ia ti on s  ( Me a n±SD )   Dataset/  Metho d   Graph  Based  Over sa m p l in g   ADSOS   b o n d rate   1 .05 0 0 ± 0 .15 0 0   1 .00 0 0 ± 0 .00 0 0   au to   0 .96 1 3 ± 1 .00 2 9   1 .03 5 1 ± 0 .02 6 2   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   12 , N o.   3 ,  Dece m ber  2 01 8   :   1 0 63   –   1 0 70   1068   au to m o b ile   2 .29 4 1 ± 0 .46 2 4   2 .30 0 0 ± 0 .45 8 2   car   0 .32 0 7 ± 0 .02 8 6   0 .30 4 2 ± 0 .02 8 6   Dataset/  Metho d   Graph  Based  Over sa m p l in g   ADSOS   ERA1 v s2 3 4 5 v s7vs 8 v s9   1 .10 4 3 ± 0 .11 6 9   1 .07 3 8 ± 0 .09 5 3   Eucalyptu s1 2 3 v s4vs 5   0 .54 6 7 ± 0 .10 0 0   0 .43 1 0 ± 0 .12 8 1   m a ch in e5   0 .36 8 4 ± 0 .06 4 4   0 .38 1 5 ± 0 .18 3 1   m a ch in e1 0   1 .06 8 9 ± 0 .31 7 2   0 .95 3 9 ± 0 .17 8 8   triazines5   3 .00 0 0 ± 0 .00 0 0   3 .00 0 0 ± 0 .00 0 0   wisco n sin 5   1 .04 2 9 ± 0 .10 5 0   1 .16 5 6 ± 0 .09 7 9   wisco n sin 1 0   3 .11 6 1 ± 0 .03 5 7   2 .77 7 0 ± 0 .17 4 5   h o u sing5   0 .61 4 0 ± 0 .31 0 8   0 .85 2 6 ± 0 .23 7 5   Toy   2 .15 7 4 ± 0 .11 1 8   2 .05 9 5 ± 0 .22 8 4   SW D   1 .4 5 8 3 ± 0 .1 5 5 9   1 .5 8 3 3 ± 0 .1 3 8 1       Table  4 . GM   Me an  a nd Stan dard  De viati ons ( Me a n± S D )   Dataset/  Metho d   Graph  Based  Over sa m p l in g   ADSOS   b o n d rate   0 .84 0 3 ± 0 .07 3 3   0 .86 7 9 ± 0 .01 8 6   au to   0 .83 3 1 ± 0 .12 2 4   0 .83 3 1 ± 0 .00 9 2   au to m o b ile   0 .74 1 9 ± 0 .04 7 6   0 .74 3 3 ± 0 .04 8 6   car   0 .96 5 2 ± 0 .00 3 0   0 .96 5 2 ± 0 .00 3 0   ERA1 v s2 3 4 5 v s7vs 8 v s9   0 .84 0 9 ± 0 .02 9 0   0 .85 3 6 ± 0 .00 5 1   Eucalyptu s1 2 3 v s4vs 5   0 .83 5 7 ± 0 .03 0 0   0 .87 0 5 ± 0 .03 8 5   m a ch in e5   0 .96 5 7 ± 0 .00 8 1   0 .96 0 9 ± 0 .01 7 9   m a ch in e1 0   0 .97 5 3 ± 0 .00 6 6   0 .97 3 2 ± 0 .01 6 7   triazines5   0 .60 4 3 ± 0 .00 1 2   0 .60 2 9 ± 0 .00 2 9   wisco n sin 5   0 .85 3 5 ± 0 .00 7 9   0 .82 4 5 ± 0 .02 2 5   wisco n sin 1 0   0 .75 9 4 ± 0 .07 6 4   0 .81 6 4 ± 0 .03 1 1   h o u sing5   0 .90 2 3 ± 0 .03 5 4 7   0 .86 4 3 ± 0 .04 1 9   Toy   0 .72 5 8 ± 0 .00 3 8   0 .72 8 9 ± 0 .00 9 1   SW D   0 .7 2 2 7 ± 0 .0 0 8 4   0 .7 7 0 8 ± 0 .0 4 9 2       Table  5 . Ka pp a  Mea n  a nd Sta nd a r d Dev ia ti ons  (Mean ±S D)   Dataset/  Metho d   Graph  Based   Ov er sa m p l in g   ADSOS   b o n d rate   0 .64 1 0 ± 0 .21 4 2   0 .72 0 5 ± 0 .08 9 2   au to   0 .08 1 9 ± 0 .04 8 9   0 .08 1 5 ± 0 .04 8 8   au to m o b ile   0 .37 8 4 ± 0 .03 8 7   0 .36 7 0 ± 0 .04 0 9   car   0 .70 0 0 ± 0 .02 6 7   0 .70 0 0 ± 0 .02 6 7   ERA1 v s2 3 4 5 v s7vs 8 v s9   0 .59 1 2 ± 0 .10 6 3   0 .64 3 7 ± 0 .09 0 8   Eucalyptu s1 2 3 v s4vs 5   0 .30 3 0 ± 0 .12 5 1   0 .44 9 7 ± 0 .16 4 3   m a ch in e5   0 .56 7 6 ± 0 .10 0 2   0 .51 0 3 ± 0 .22 5 3   m a ch in e1 0   0 .21 0 9 ± 0 .12 8 4   0 .43 9 0 ± 0 .04 8 0   triazines5   0 .24 6 4 ± 0 .03 1 3   0 .25 5 3 ± 0 .02 6 6   wisco n sin 5   0 .05 8 4 ± 0 .02 7 1   0 .17 6 2 ± 0 .07 6 6   wisco n sin 1 0   0 .62 1 8 ± 0 .00 7 5   0 .60 2 6 ± 0 .03 4 2   h o u sing5   0 .54 0 6 ± 0 .11 4 2   0 .42 4 8 ± 0 .14 7 7   Toy   0 .22 5 2 ± 0 .02 0 4   0 .21 6 7 ± 0 .03 5 1   SW D   0 .2 9 2 4 ± 0 .0 3 6 2   0 .4 9 1 5 ± 0 .2 0 5 1       Table  6 . Acc uracy  Mea n  a nd  Stand a r d Dev i at ion s  (Mean ± SD )   Dataset/  Metho d   Graph  Based  Over sa m p l in g   ADSOS   b o n d rate     0 .83 3 3 ± 0 .16 9 3   0 .90 6 6 ± 0 .03 2 6   au to   0 .70 1 0 ± 0 .02 2 3   0 .70 3 0 ± 0 .02 3 4   au to m o b ile   0 .67 5 0 ± 0 .14 4 5   0 .70 3 8 ± 0 .13 9 2   car   0 .88 7 5 ± 0 .01 0 0   0 .88 7 5 ± 0 .01 0 0   E RA 1 v s 2 3 4 5 v s 7 v s 8 v s 9   0 .8 6 9 2 ± 0 .0 3 4 0   0 .8 8 6 0 ± 0 .0 2 9 0   Eucalyptu s1 2 3 v s4vs 5   0 .69 0 2 ± 0 .05 5 6   0 .87 0 5 ± 0 .07 3 0   m a ch in e5   0 .86 1 6 ± 0 .03 2 0   0 .84 3 4 ± 0 .07 2 1   m a ch in e1 0   0 .83 0 2 ± 0 .04 6 2   0 .81 7 6 ± 0 .11 1 4   triazines5   0 .75 8 9 ± 0 .01 0 0   0 .76 1 7 ± 0 .00 8 5   wisco n sin 5   0 .65 9 9 ± 0 .00 9 6   0 .60 8 1 ± 0 .03 6 3   wisco n sin 1 0   0 .52 3 8 ± 0 .00 9 6   0 .54 4 2 ± 0 .03 7 2   h o u sing5   0 .85 3 0 ± 0 .03 6 5   0 .79 9 9 ± 0 .08 1 3   Toy   0 .58 6 6 ± 0 .01 0 9   0 .59 0 6 ± 0 .01 7 9   SW D   0 .7 3 4 6 ± 0 .0 1 3 5   0 .8 0 9 3 ± 0 .0 7 6 9   To  qua ntify  wh et her   a  sta ti sti cal  diff ere nce  exists  am ong  the  al go r it h m s  co m pared,  t - Test   is  perform ed  on t he  m ean r a nk i ng of all  the  eva luati on  m easu res  it  is  disp la ye d  in  Ta ble 7.     Evaluation Warning : The document was created with Spire.PDF for Python.
Ind on esi a n  J  E le c Eng &  Co m p  Sci     IS S N:  25 02 - 4752       Ad ap ti ve  Da t a Struct ur e B as e d Overs amplin g  Al go rit hm f or Or dinal Cl assi fi cation  ( D.D hanalaks hmi )   1069     Table  7 . t - Test   on Mea n R an ki ng   of the  Eval uation M easu r es ( α =0 .05 )   Ob serv atio n s   Graph  Based  Over sa m p l in g   ADSOS   Mean   1 .53 8   1 .23 8   Variance   0 .03 7 2 7   0 .00 6 3 7   Ob serv atio n s   5   5   Pearso n  Co rr elatio n   - 0 .66 5 5 5 8 5 2 7     Hy p o th esized  M ea n  Dif f erence   0     df   4     t Stat   2 .64 8 5 4 8 4 7 8     P(T <=t )  o n e - tail   0 .02 8 5 3 4 1 1 5     t Critical  on e - tail   2 .13 1 8 4 6 7 8 6     P(T <=t )  two - tail   0 .05 7 0 6 8 2 3 1     t Critical  two - tail   2 .77 6 4 4 5 1 0 5         The  te st  pro ve s  that,  null   hy po the sis  is  r ejected  w her e   p  val ue  is  le ss  than  (α=0 . 05)  that  tw o  al gorithm s  perform s  si m il arl y  in  m ean  rank ing   of  the   eval uation  m easur e s  how eve r  ADSOS  pe rfor m s  bette r   than  G raph Ba sed Ove rsam pling  Met hod wi th ELM OP  as   cl assifi er whic h  is  de picte d  in  Fig ur e  1.           Figure  1.  Me an   ra nk i ng of the   evaluati on m easur es       5.   CONCLUS I ON   In  this  pa per  we  pro po se d  the  novel  A da ptive  Data  St r uctu re  base d  Ov e rsam pling   al gorithm   to   pr e fer   t he  use fu l  obje ct s  for   fu rt her   pr oce ssing.   W e  co m par ed  our  m et hods   with  e xisti ng   gra ph   base d   pr e processi ng   al gorithm   fo r  four te e n  data  set s.  O ur   ai m   of   t his  w ork  i s  to  com par e  t he  pr opos e d  A DSOS   pr e processi ng  al gorithm   wit h  e xisti ng   pre processi ng   al gorithm   for  or din al   cl assifi c at ion .    W it h  r egards,     we  ad op t  a ny  on e  of   the  ordi nal  cl assifi er  s uch   as  ELM O P  to  validat e  our  work.  Th us   our  pro pose d  m et ho d  on ly   oversam ples  obj ect s  wh i ch  ha ve  highes t  con fi den ce  a nd   c om plica ted   re gions.  E xperim ents  ind ic at e  that  ou r  m et ho d be hav e s  bette r  in   te rm s o f  er ror r at e, accu racy s ensiti vity .       ACKN OWLE DGE MENTS     I  w ou l d  li ke  to  ex pr es s  m y  sp eci al   gr at it ud e  an d  tha nk s  t o  D r.K. Karu nak a ran ,  Pr inci pal  an d  Secretary ,  Sr i  Ram akr ish na  Coll ege  of   Ar t s  an d  Scie nce,   Coim bator e  f or   pro vid i ng  e xcell ent  in fr ast ru ct ur e   and  s upport  for  m y  Re search   w ork.  I   am   hig hly  i nd e bted   to  m y  Re search  Gu i de  Dr.A nn a   Sa ro  Vi j e ndra n,  Dean   Sc hool  of  Com pu ti ng,  Sr i  Ram a kr ish na  Coll ege  of  Ar ts  an d  Scie nc e,  Coim bator e  fo r  t heir  gui dan ce ,  const ant  super visio n,   sup port,  effor t,  in valu ably   con str uctive  crit ic is m   an d  fr ie nd ly   ad vice  fo r  m y  resear c h  work.       REFERE NCE S    [1]     Qiong,   G. ,   Ca i,  Z. ,   Zhu ,   L.   and  Huang,   B . ,   Dat a  Mini ng   on  Im balanc ed   Data  Set s ,   In te rn at ion al   Conf ere n ce   o n   Advanc ed  Com p ute r Theor y   and   Engi ne eri ng,   Ph uket ,   20 - 22  De c ember,   2008 ;102 0 - 1024.   [2]     Zhuo y u an  Zh en g  ,   Yunpeng  C a i,   Ye  Li,  Over  Sam pli ng  Metho d  For  Im bal ance d  Cla ss ifi c at ion ,   Computing  and  Informatic s ,   201 5;  34 :1017 – 1037 .   [3]     Rohini   R.   Rao ,   Krishnam oorthi   Makkit ha y a ,   Learni ng  from   a   C la ss   Im bal anced   Public   H ea l th  Data set :  a   Cost - base d  Com par ison  of  Cla ss ifi er   Perform anc e,   I nte rnational   Jo urnal  of  Elec tri cal   and  Compu te r  Engi n ee rin g   ( IJE CE) ,   2017;7 (4):   .   2215 - 2222 .   0 0 .5 1 1 .5 2 Gr ap h   b ased Ov er s a m p lin g AD SOS Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2502 - 4752   Ind on esi a n  J  E le c Eng &  Co m p  Sci,   Vo l.   12 , N o.   3 ,  Dece m ber  2 01 8   :   1 0 63   –   1 0 70   1070   [4]     X ia oQing  Gu,   TongGuang  Ni,   W ei   W ang,   Online   Im balanc e d  Support  Vec t or  Mac hine   for   Phis hing  Emai ls   Filt eri ng ,   TEL K OMNIKA  Indon esian  Journal   of   El e ct rica l  Eng in ee ring,   2014;12( 6):  4306  –   4313.   [5]     Xiaoz hi  Du,   Huim in  Lu,   Gan g  Li u,   Softwar e  Aging  Predi ct ion  b ase d  on   Ext reme  L ea r ning  Mac hin e ,   TEL KOMNIKA, 2013;11(11):   65 47 - 6555.   [6]     Mohd  Abdul  Tal ib  Mat  Yus oh,   Saidatul  Habsah   As m an,   Zuha ila  Mat  Yasin,   Ahm ad  Farid   Abidin,   Cla ss ifi c ation  o f  The   NT EV  Problems   on    the  Co m m erc ia l  Bui lding,   Indone sian   Journal  of  Elec t rical   Eng i ne erin g  and  Computer  Sci en ce, 2018;9( 2):  380 - 386.   [7]     Marıa   Per ez - Ort iz ,   Pedro  Anton io  Gutie rr ez,Ce s ar  Herva s - Mart ı nez   and  Xin  Ya o,   Graph  B ase d   Approac hes  for   Over - sam pli ng  in  the   Conte xt  o f  Ordina l  Regres sion,  IEE E  Tr ansacti ons  on  Knowle dge  and  Data  Engi ne erin g ,  2015;  27(5):123 3 - 1245.   [8]     Anna  Saro  Vije ndra n,   D.  Dhan al akshm i,   An  a naly s is  of  Data   Chara c te rist ic s  a nd  Cla ss ifi er  Pe rform anc e  in  th e  Conte xt  of  Ordina l  Cla ss ifi c atio n,   Inte rnationa l  journal  of  Data  mining  and  Eme rging  Technol ogie s ,   2016;  7(1) :   36 - 42.     [9]     Ann a  Saro  Vije n dra n,   D.  Dhan alakshm i,   A  Novel  Approac h  in  O ver sam pli ng  Alg orit hm   for  Im bal anc ed  Da ta   Sets   in  the   context  of  Ordina l  Cla s sific a ti on,   I EE E   int ernati onal  Confe renc e  on  Computati onal  Inte lligen ce   and   Computing  R ese arch ,   Chenn ai,2 016;  964 - 968.   [10]     Anna   Saro  Vijendran,   D.  Dhan al akshm i  ,   An  Im prove d  Sam pl ing  Algorit hm   for  Im bal anc ed  Data   Sets  in  th e   cont ex t  of  Ordina l  Cla ss ifica t io n,   Inte rn at ion al   journa l  of  Adva nce   Resea r ch  in   Scie nce   and  E ngine er ing,   201 7;   6(12):201 - 209.   [11]     Im an  Nekooe imehr,     Sus ana   K.  La i - Yuen ,   Clust er - base d  W ei ght ed  Oversam pli ng  for  Ordina l  Regre ss ion  (CW O S - Ord),  Journal   N euroc omputing ,   2016;  218(C):51 - 60.   [12]     H.  He,   Y.   Bai,  E.   Gar ci a ,   S.  Li,   AD ASYN,  Adapt ive  synth et i c  sam pli ng  approach  for  imbalan c ed  le arning ”,   in:  Proce edi ngs  of  t he  IEEE  In t ern a ti onal  Joint  Con fer ence  on  Neur al   Networks,  IJCN N,  IEE E  W o rld  Congress  on   Com puta ti onal I nte lligen ce,  200 8;1322 - 1328.   [13]     Im an  Nekooe imehr,   Sus ana   K ,   Adapti ve  sem i - u nsupervise d  wei ghte d  over sam pl ing  (A - SU W O)  for  imbala n ce d   dat ase ts,  Ex pert   Syste ms   wit h   A p pli cations ,   2016 ;   46:405 - 416.   [14]     Jos e  A.Sae z ,   Ba rtosz  Krawczy k ,   Micha l   W ozni a k,   Anal y sisng  th e  over sam pli ng   of  diffe r ent   class es  and  t y p es  of   exa m ple s in   m ul ti - class   imbala n c ed  da ta set ,   Patte rn R ec ogn it ion ,   2016;  57:164 - 17 8.   [15]     H.  Han,   W . Y.  W ang,   and  B. H.   Mao,   Borderli n eSM OT E:  A  Ne w  Ove r - Samplin g  Me thod  in  Im balanc ed  Data  S et s   Learning ,   In  Proce ed ings  of  th e  Inte rn at ion al   Confer ence  on  I nte lligent  Com puti ng  2005;  Par t  I,   LNCS  3644 ,     878 – 887.   [16]     F.  Ferna nde z - Na var ro,   C .   Herv as - Martı ne z,  and  P.  A.  Guti err e z,  A  D y nami c   Ove r - Sam pli ng  Proc edur e  B ase d  on   Sensiti vity   for M ult i - class   Problems ,   Pattern  Recogni t . ,   2011;  44 (8):1821 –   1833.   [17]     Ferná ndez   A. ,   del   Jesus   M.J.,   Herre ra  F.,   Mul ti - cl ass   Imbalance d  Data - Set s  wit h  Linguisti c  Fuzzy  Rul e  Based   Classifi cation  Syste ms   Based  on  Pai rwis e  Learning ,   In:  Hülle rm eier  E.,  Krus e  R. ,   Hoffm ann  F.  (ed s)  Com puta ti onal   I nte lligen ce   for  Know le dge - Bas ed  S y stems   Design.   IPM U,  Le c ture   Notes  in  C om pute r  Scie nc e ,   Springer,   B erlin,   Heidelbe rg   201 0;  6178.   [18]     W .   Chu  and   Z .   Ghahra m ani , Ga uss ia n  proc esses   for  ordin al re gr e ss ion, J. M ach .   L earn.   R es. ,   2005;   6:1019 – 1041.   [19]     Cort  J.  W i ll m ott,  Kenj i  Ma tsuura,   Adv ant ag es  o f  the  m ea n  absol ute   err or  (MA E)   over   the  root   m ea n  squar e  err or   (RMS E)  in  asses sing a ver age model  p erf orm anc e ,   Cli mat e  R ese ar ch , 2005;   30:   79 – 82.   [20]     M .   Cruz - Ramırez ,   C .   Herva s - Martı ne z,   J.  Sa nche z - Moned ero ,   and  P.  A.Guti err ez,  Metrics  t o  guide   a  m ult i - obje c ti ve   evo lut i onar y   a lgori thm  for  ordinal  cl assi ficat ion , Neuroco mputing ,   2014 ;  1 35:21 – 31.     Evaluation Warning : The document was created with Spire.PDF for Python.