I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - A I )   V ol . 13, No. 4, D e c e m be r  2024, pp.  4323 ~ 4333   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v13.i4.pp 4323 - 4333          4323     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   Im p r ovi n g t h e  r i sk   p r of i l e  of   I n d on e s i an  e n t e r p r i se  t axp aye r s  u si n g  m u l t i l ab e l  c l ass i f i c at i on       T e gu h  P r as e t yo, B u d i  S u s e t yo, An an g K u r n ia   D e pa r t m e nt  of  S t a t i s t i c s , F a c ul t y of  M a t he m a t i c s  a nd  N a t ur a l  S c i e nc e s , I P B  U n i ve r s i t y, B ogor ,  I ndone s i a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  N ov 28, 2023   R e vi s e d  F e b 29, 2024   A c c e pt e d  M a r  21, 2024       Optimizing  tax  revenues  is  difficult   in  Indonesia  due   to  obstacles   such   as  tax  evasion  and  tax  avoidance.  It  is  closely  related  to  an  organizati on' s  complian ce  with  tax  regulations,  known  as  the   taxpayer s  risk  profile .   However,  this   mechanism  does  not  accura tely  detect  tax  avoidance   and  tax  evasion  ris ks.  To  overcome  this  limitation,  we  use   a  multilabel  classification   machine  le arning  method  in  this  study,  which  classifies  a   single  observation  into  one   o r  more  labels  a t  once.  The  approach   involves  problem   transformation  ( b inary  relevance  and  label  powerset ),  algorit hm  adaptatio n   ( multilabel  k - nearest  neighbo r   ( ML - kNN )   and  multilabel - adaptive  resonance  associati ve  ma p   ( ML - ARAM ) ) ,   and  e nsemble  ( l abel  space  partitioning   and  r andom  k - label  se ts  with   disjoint  (RAkELd) ).  Based   on  the   model  performance   compariso ns,  we  discovered  that  the  ML - ARAM   method  based   on  deep  learning   is  th e  best,   with  an  average  F1 - s core  of  95.5%  and  a  h amming  l oss  of   7.4%.  We  also  examine  the  feature  import ance  of   the  best  model   to  reduce  the  dimensi ons  of   features  so  that  we  can   identify  the  dominant   factors  that  encourage   a  ta xpayer  entity  to  engage  in  tax  avoidance  or  tax  evasion.  The  findings  of  this   study  i mprove  the  accuracy  o f  tax  avoidance  risk  detection  and  tax  evasion  risk  profiles  using machine learning methods, ensuring maximum tax  reve nues in  Indonesia .     K e y w o r ds :   D e e p l e a r ni ng   F e a tu r e  i m por ta nc e   M a c hi ne  l e a r ni ng   M ul ti la be l  c la s s if ic a ti on   T a x r e ve nue   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   T e guh P r a s e ty o   D e pa r tm e nt  of  S ta ti s ti c s , F a c ul ty  of  M a th e m a ti c s  a nd  N a tu r a l  S c ie nc e s , I P B  U ni ve r s it y   B ogor , I ndone s ia   E m a il :  te guhpr a s e ty o@ a pps .i pb.a c .i d       1.   I N T R O D U C T I O N   T a xa ti on  is   I ndone s ia ’ s   m os t  s ig ni f ic a nt   s ta te   r e ve nu e ,  w hi c h  is   c r it ic a l  f or   e c onomi c   de ve lo pm e nt .  I n  pr a c ti c e , t a xpa y e r s  e ng a ge  i n  t a x  a voi da nc e  a nd t a x  e va s io n e f f or ts  t o a voi d or  e ve n  f a il  t o pa y  t a x obli ga ti on s ,  r e s ul ti ng  in   s ubopti m a l  ta x  r e ve nue s   in   I ndone s ia   [ 1] .   A c c or di n g  to   S in a ga   e t  al .   [ 2] ,   ta x  a voi da nc e   oc c ur s   in   I ndone s ia   by  r e duc in g  pr of it   m a r gi ns   to   a voi d  a ppl ic a bl e   ta x  r a te s   or   by  e xpl oi ti ng  le ga l  lo ophole s   to   r e duc e   ta x  li a bi li ti e s .  M e a nw hi le ,  ta x  e va s io n,  a c c or di ng  to   P os te a   [ 3] ,  is   us e d  by  de c e pt io n  th a t  not   le ga l .  T he   I ndone s ia n  gove r nm e nt   is   a tt e m pt in g  to   r e duc e   ta x  a voi da nc e   a n d  e va s io n  in   s e ve r a l  w a ys ,  in c lu di ng  in c r e a s in g  ta x  c om pl ia nc e   th r ough  th e   ta xpa ye r   r is k  pr o f il e .  T he   m or e   c om pl ia nt   a n  e nt r e pr e ne ur   is ,  th e   gr e a te r   th e   oppor tu ni ty   f o r   ta x   r e ve nue   to   be   ge ne r a te d.  T he   obs ta c le   in   th e  f ie ld   is   th a t  th e   c ur r e nt  r is k  pr o f il e   m e c ha ni s m   f a il s   to   a c c ur a te ly   d e te c t  ta x  a voi da nc e   a nd  ta x  e v a s io n  r is k s ,  m a ki ng  it   in e f f e c ti ve   a nd  in e f f ic ie nt   to   im pl e m e nt .  T hi s  l e a d s  t o  s ub opt im a l   ta x r e ve nue  i n I ndone s ia .   S e ve r a l  pr e vi ous  s tu di e s   us e d   m a c hi ne   le a r ni ng  m e th od s   [ 4] – [ 6]   to   id e nt if y  th e   r is k   of   ta x a voi da nc e   a nd  ta x  e va s io n. T hos e   pr e vi ous  s tu di e s   e x a m in e   th e   us e   of   c la s s if ic a ti on  m e th ods   in   de te c ti ng  ta x  a voi d a nc e   a nd  ta x  e va s io n  r is ks ,  a s   w e ll   a s   pr e di c t  r e gi ona l  de ve lo pm e nt   pr oj e c t  pol ic ie s   in   s e ve r a l  c ount r ie s   us in g     bi na r y - c la s s   c l a s s if ic a ti on   ( B C C )   m e th od.   H ow e v e r ,  th e   r is k s   of   ta x  a voi da nc e   a nd   ta x  e va s io n   in   I ndone s ia   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4323 - 4333   4324   a r e   di ve r s e ,  w it h  m or e   th a n   two  la be l  c a te gor ie s .  F ur th e r m or e , be c a us e   a  s in gl e   ta xpa ye r   e nt it y c a n  e ng a ge   in   one  or  m or e  t ype s  of  t a x a voi da nc e  or  t a x e va s io n s im ul ta ne ous ly ,  B C C  m ode li ng c a nnot  be  us e d. T o a ddr e s s   th is   li m it a ti on,  w e   pr e s e nt   a   m ode li ng  s ol ut io n  in   th is   s tu dy  th a t  e m pl oys   th e   m ul ti la be l  c la s s if ic a ti on  ( M L C )   m a c hi ne   le a r ni ng  m e th od,  w hi c h  c a n  m ode l  two  or   m or e   la be l  c la s s e s   s im ul ta ne ou s ly .  T hi s   s tu dy  not   onl y  imp r ove s   th e   r is k  pr of il e   f or   de te c ti ng  ta x  a voi da nc e   a nd  ta x  e va s io n  in   I ndone s ia ,  but   it   a ls o  in ve s ti ga t e s   th e   dom in a nt  f a c to r s  t ha t  e nc our a ge  a  t a xpa y e r  e nt it y t o e nga ge  i n t a x a voi da nc e  or  t a x e va s io n.   T he   c la s s if ic a ti on  m e th od  is   us e d  to   m ode l  r e s pon s e   va r ia bl e s   a s   la be l  c la s s   c a te gor ie s ,  w hi c h  a r e   w id e ly   us e d  in   va r io us   f ie ld s ,  in c lu di ng  c us to m e r   ta r ge t  m a r ke ti ng,  di s e a s e   di a gnos i s ,  doc um e nt   c la s s if ic a ti on,  a nd  s oc ia l   ne twor k  a n a ly s is   [ 7] .  O ne   obs e r ve d  va lu e   is   ty pi c a ll y  c la s s if ie d  in to   on e   c l a s s   or   la be l  on   th e   r e s pons e   va r ia bl e ,   c a ll e d  B C C   or   m ul ti - c la s s   c la s s if ic a ti on  ( M C C ) .  T he   M L C   m e th od  a s s o c ia te s   a   s in gl e   obs e r va ti on  w it h  m ul ti pl e   la be ls   [ 8] .  S e ve r a l  a ppl ic a ti ons   of   th e   M L C   m e th od,  a m ong  ot he r s ,   w e r e   c onduc te d   in   [ 9] – [ 12] ,  w hi c h  w e r e   li m it e d  onl y  to   m ode li ng  a nd  m e th od  c om pa r is on.  T hi s   s tu dy  ha s   ye t  to   e xa m in e   da ta   li m it a ti ons   s uc h  a s   c l a s s   im ba la nc e   in   th e   M L C   m od e l  a nd   how   to   a ddr e s s   it .  I n   f ie ld   c ondi ti ons ,  d a ta   in di c a ti ng   c la s s   im ba la nc e   a r e   f r e que nt ly   f ound,  a s   e vi de nc e d  by  th is   s tu dy' s   e m pi r ic a l  f in di ngs .  I n   a ddi ti on  to   c om pa r in g   m e th ods   a nd  id e nt if yi ng  r is k  f a c to r s   f or   ta x  a voi da nc e   a nd  ta x  e va s io n,  th is   s tu dy  di s c us s e s   how   to   de a l  w it h  c la s s  i m ba la n c e , w hi c h c a n he lp  w it h t he  i m pl e m e nt a ti on of  t he  M L C  m ode l  in  r e a l - w or ld  c a s e s .   W e   us e   e m pi r ic a l  da ta   f r om   th e   I ndone s ia n  M in i s tr y  of   F in a nc e   on  hi s to r ic a l  ta x  a voi da nc e   a nd  ta x   e va s io n  da ta   f r om   2018  to   2022.  I n  th is   s tu dy ,  w e   c om pa r e   s ix   M L C   m e th ods   to   de te r m in e   w hi c h  m ode l   pe r f or m s   th e   be s t  ba s e d  on  F 1 - s c or e   a nd  ha m m in g  lo s s .  U s in g   th e   be s t  m ode l,   w e   id e nt if y  th e   r is k  e le m e nt   f a c to r s   th a t  e nc our a ge   a   ta xpa ye r   e nt it y  to   e nga ge   in   ta x  a v oi da nc e   or   ta x  e va s io n  ba s e d  on  th e   f e a tu r e   im por ta nc e   va lu e .  N e xt ,  w e   us e   th e s e   dom in a nt   f a c to r s   to   r e duc e   r is k  e le m e nt s ,   m a ki ng  th e m   e a s ie r   to   in te r pr e t  a nd de c id e . A c c or di ng t o t hi s  e xpl a na ti on, us in g t he  M L C  m a c hi ne  l e a r ni ng me th od i n t hi s  s tu dy w il l  pr ovi de   a   s ol ut io n  to   im p r ove   th e   a c c ur a c y  of   ta x  a voi da nc e   a nd  ta x  e v a s io n  r is k  de te c ti on,  r e s ul ti ng  in   in c r e a s e d  ta x  r e ve nue   f or   I ndone s ia .  T he  a dde d  va lu e   i s   th a t  th is   r e s e a r c h  w il l  r e ve a l  th e   dom in a nt   f a c to r s   th a t  e nc our a ge  a   ta xpa ye r   e nt it y  to   e nga ge   in   ta x  a voi da nc e   or   ta x  e va s io n.  I t  w il l  be   us e d  to   e nha nc e   I ndone s ia ’ s   ta x  r is k  a s s e s s m e nt  m e c ha ni s m .       2.   M E T H O D   2.1.  Dat as e t   W e   us e   d a ta   f r om   61  r is k  e le m e nt s  a nd  e xpl a na to r y  va r ia bl e s   ( f e a tu r e s )   in   th r e e   m a in   c a t e gor ie s   a nd   f iv e   ty pe s   of   ta x  a voi da nc e   a nd  ta x  e va s io n  r e s pons e   va r ia bl e s  c a r r ie d  out   by  ta xpa ye r   e nt it ie s .  T he   da ta   ty pe   is   a   num e r ic   s c or e   ( 0 - 100)   w it h  a   to ta l  num be r   of   obs e r va ti ons   of   498  e nt it ie s ,  a s   e xpl a in e d   in   T a bl e   1.   A c c or di ng  to   [ 13] ,   th e   r e s a m pl in g - boot s tr a p  m e th od  c a n  pr ov id e   a c c ur a te   m ode l  pe r f or m a nc e   r e s ul ts .  T he   a lg or it hm   us e d  is   nonp a r a m e tr ic   boot s tr a p,  w hi c h   is   th e   m os t  s tr a ig ht f or w a r d  a nd  w id e ly   us e d   m e th od  [ 14] .   T he   w e ig ht   of   ta x  a voi da nc e   or   ta x   e va s io n  on  th e   r e s pons e   va r i a bl e   la be ls   in   th is   s tu dy  is   c ons id e r e d  e qua l,   s o  th e r e  i s  no pa r ti c ul a r  or de r  r e ga r di ng pr io r i ty  l a be ls  f or  t he  t ype s  of  t hos e  l a be ls .        T a bl e  1.  E xpl a na to r y va r ia bl e s  ( f e a tu r e s )  a nd t a r ge t  va r ia bl e s   F e a t ur e   T a r ge t  V a r i a bl e s   1.   R e gi s t r a t i on  di m e ns i on   ( R ) :   a s   m a ny  a s   22  e l e m e nt s  r e l a t e d t o :   a.   T he   t ype s   of   bus i ne s s   e nt i t i e s   b.   T a x  obl i ga t i ons   c.   A c c ount i ng  s ys t e m   d.   P r oduc t i on  c om pone nt s   2.   O pe r a t i ona l   di m e ns i on  ( O ) :   a s   m a ny  a s   10  e l e m e nt s   r e l a t e d t o :   a.   C ur r e nt   a s s e t   r a t i o   b.   P r oduc t i on  r a t i o   c.   A udi t   hi s t or y   3.   L oc a l   di m e ns i on  ( L ) :   a s   m a ny  a s   29   e l e m e nt s   r e l a t e d   to :   a.   F a c t or y  s e c ur i t y s ys t e m   b.   S a l e s   t r a ns a c t i on s y s t e m   c.   D i s t r i but or   l i s t   1.   L a be l  1:  F a ke ,  s e c ondha nd , or   no   t a x s t a m p doc um e nt s   2.   L a be l   2:   W r ong  pe r s ona l i z a t i on  of  t a x s t a m p doc um e nt s   3.   L a be l   3:   W r ong  pur pos e   t a x   s t a m p doc um e nt s   4.   L a be l   4:   A dm i ni s t r a t i ve   s a nc t i ons  or  f i ne s   5.   L a be l   5:   S us pe ns i on   of   l i c e n s i ng  or  r e voc a t i on of  f a c i l i t i e s       2.2.  Re s e ar c h  m e t h od   T hi s   s tu dy  i s   di vi de d  in to   s e ve r a l  s ta ge s :  da ta  e xpl or a ti on,  M L C   m ode li ng,  m ode l  e va lu a ti on,  m ode l   pe r f or m a nc e   c om pa r is on,  a nd  th e   id e nt i f ic a ti on  of   dom in a nt   ta x  a voi da nc e   a nd  ta x  e va s io n  f a c to r s   ba s e d  on   f e a tu r e   im por ta nc e   va lu e .  T he   r e s e a r c h  f r a m e w or k  is   de pi c te d  in   F ig ur e   1.  T hr oughout  th e   r e s e a r c h  pr oc e s s ,   w e   us e d  P yt hon  a nd  R   s of twa r e .  T hi s   de c i s io n  w a s   m a d e   ba s e d  on  th e   e a s e   of   in te gr a ti on  w it h  th e   M L C   li br a r y  a nd t he  ne e d f or  unde r s ta nda bl e  a n a ly s is  out put .        Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       I m pr ov in g t he  r is k  p r of il e  of  I ndone s ia n e nt e r pr i s e  t ax pay e r s  u s in g m ul ti la be l   …  ( T e guh P r as e ty o)   4325       F ig ur e  1. R e s e a r c h f r a m e w or k       2.3.   D at a e xp lo r at io n   W e   e x a m in e d  th e   da t a   to   ge t  a   br oa d  pi c tu r e   be c a u s e   M L C   d a t a   di f f e r s   f r om   B C C   a nd  M C C   d a ta :  a   s in gl e   ob s e r v a ti on   c a n  b e   c l a s s if i e d  in t o  m ul ti pl e   l a b e l  c l a s s e s   [ 15] .  W e   ob s e r v e d  c ha r a c t e r is ti c s   s uc h  a s   la be l   di s tr ib ut io n,  la b e l  r e l a ti on s hi ps ,   a n d  la be l  c la s s   im b a la n c e   [ 16] .  T he   M L C   m e th od   m e a s ur e s   th e   la be l  di s tr i but io n   us in g   th e   c a r di na l it y  v a lu e ,  w h ic h  is   th e   a v e r a g e   num be r   of   a c t iv e   l a be l s   or   pa ir s   of   la b e ls   f or   e a c h   ob s e r v e d   va lu e , a n d  la be l  d e n s it y ,  w hi c h i s  t h e  de ns i ty  v a lu e   of  e a c h  l a b e l  i n a  l ow e r   di m e n s io n, d e s c r ib e d i n ( 1) .      ( ) = 1 | | ∑ | | ; | | = 1    ( ) = 1 | | ∑ | | | | | | = 1     ( 1)     w he r e   D  r e pr e s e nt s  t he  numb e r  of   obs e r va ti ons  or  i ns ta nc e s   a nd   L  r e pr e s e nt s  t he  numbe r  of  l a be ls .   N e xt ,  w e   lo ok  f or   c la s s   im ba la nc e s   in   th e   da ta .  O ur   r e s ul ts   s how   a n  im ba la nc e   in   th e   num be r   o f   obs e r va ti ons   be tw e e n  la be l   c la s s e s .   W e   u s e   th e   im ba la nc e   r a ti o  ( I R L bl ) ,  M e a nI R ,  a nd  c oe f f ic ie nt   of   va r ia ti on   va lu e s  t o de te r m in e  t he  m a gni tu de  of  t he  c la s s  i m ba la n c e , a s  d e s c r ib e  i n ( 2) .     ( ) = ( ′  ) ( ∑ ℎ ( ′ , | | = 1 ) ∑ ℎ ( , ) | | = 1 , ℎ ( , ) = { 1    0     ( 2)       = 1 | | ∑ ( ( ) ∈ )       C la s s  i m ba la n c e  i n M L C  i s  c la s s if ie d a s  i m ba la n c e  w it hi n l a be l s , i m ba la nc e  be twe e n m ul ti pl e  l a be ls ,  a nd  im ba la nc e   of   a ll   la b e ls   [ 17] .  I t  c a n  be   a ppr oa c h e d  in   th r e e   w a ys :  u s in g  da ta ,   a lg or it hm s ,  a nd   a   c om bi ne d  a ppr oa c h.  A c c or di ng  to   K ur ni a w a ti   a nd  P r a bow o   [ 18 ] ,  bot h   o ve r s a m pl in g  a nd  unde r s a m pl in g  m e th ods   ha ve   s hor tc om in gs ,  s uc h   a s   ove r f it ti ng  th e   m ode l  a nd   lo s in g  in f or m a ti on  in   obs e r va ti ons .   B a s e d  on  th i s ,  in   th is   M L C   s tu dy ,  im ba la nc e s   a r e  a ddr e s s e d  by s tr a ti f yi ng  th e   tr a in   a nd  te s t   da ta   ( m ul ti la be l  s tr a ti f ie d  s huf f le   s pl it ) .  I f   th e   da ta  i s  r a ndoml y s pl it , t h e  t r a in  a nd  t e s t  da ta  m a y h a ve  di f f e r e nt  pr opor ti ons . T hi s  i s  be c a u s e  t he   M L C ’ s  l a be l s   a r e   li nke d  a nd   ha ve   a   r e l a ti ons hi p  [ 19] .  T h e   s tr a ti f ic a ti on  a ppr oa c h  ha s   be e n   s how n   to   im pr ove   c r os s - va li da ti on  a c c ur a c y, bi a s  v a lu e s ,  a nd c la s s if ic a ti on mode ls   [ 20] .   M L C   e xhi bi ts   c ha r a c te r is ti c s   of   one   or   m or e   c or r e la te d  l a be l  c la s s e s .  T he   da ta   w e   us e   c ont a in s   s e ve r a l   la be l  s e ts .  W e  m e a s ur e  t hi s  us in g t he   s c or e  of  c onc ur r e nc e  a m o ng i m ba la nc e d l a be ls   v a lu e  ( S C U M B L E )  [ 21] ,  e xpl a in e d i n ( 3) :      ( ) = 1 − 1    ̅ ̅ ̅ ̅ ̅ ̅ ̅ ̅ ̅ ̅ ( ∏   | | = 1 ) ( 1 | | )   ( 3)      ( ) = 1 | | ∑  ( ) | | = 1       2 .4.   M u lt il ab e l  m e t h od s   T he   m ode li ng   s ta ge   us e s   th e   s c ik it - m ul ti le a r n  m odul e   in   P yt hon  s of twa r e   [ 22] .  T he   M L C   m e th od  u s e s   th r e e   a ppr oa c he s :  pr obl e m   tr a ns f or m a ti on,   m e th od  a da pt a ti on,   a nd  th e   e ns e m bl e   of   c la s s if ie r s   [ 23] .   W e   us e   two me th ods  t o c om p a r e  e a c h a ppr oa c h,  c ons id e r in g t ha t  e a c h  a ppr oa c h ha s  i t s  a dva nt a ge s  a nd dis a dva nt a ge s .   T he   f ir s t  a ppr oa c h   is   th e   pr obl e m   tr a ns f or m a ti on,  w hi c h  w or ks   by  c onve r ti ng  th e   M L C   m ode l  in to   a   s im pl e r   m ode l  ( B C C /M C C )   be f or e   th e   m od e li ng  s ta ge .   I n  th is   a ppr oa c h,  w e   us e   th e   bi na r y  r e le va n c e   m e th od  ( tr a ns f or m   to   bi na r y  c la s s if ic a ti on  pr obl e m )   in tr oduc e d  by   [ 24 ] ,  w hi c h  w or ks   by  a da pt in g  th e   one - ve r s us - a ll   a ppr oa c h .  T he   bi na r y  r e l e va nc e   m e th od  ha s  s e ve r a l  a dva nt a ge s ,  in c lu di ng   a  s im pl e   a lg or it hm   a nd e a s e   of   unde r s t a ndi ng  [ 25] .  W e   a ls o  a ppl ie d  th e   la be l  pow e r s e t  m e th od  ( t r a ns f or m   to  m ul ti c la s s   c la s s if ic a ti on  pr obl e m )   in tr oduc e d  in   [ 26] .  T he   w or ki ng  p r in c ip le   is   to   c onve r t   th e   M L C   m ode l  in to   m ul ti pl e   M C C   m ode ls .  E a c h  pa ir   of   obs e r va ti ons   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4323 - 4333   4326   on  la be l  is   tr e a te d a s   a  s e pa r a te   obs e r va ti on. Ac c or di ng  to   [ 27] ,   if   th e r e   is   a  s tr ong  c or r e la ti on  be twe e n  la be l s ,  th e  l a be l  pow e r s e t  m e th od i s  r e c om m e nde d.   T he   s e c ond  a ppr oa c h  is   a lg or it hm   a da pt a ti on,  w hi c h  w or ks   by  a da pt in g  a   c la s s if ic a ti on  m ode l   a lg or it hm   f or   di r e c t  a ppl ic a ti on  to   th e   M L C   c a s e   [ 23] .  T hi s   a ppr oa c h  r e li e s   on  a r ti f ic ia l  ne ur a l  ne twor ks ,   s pe c if ic a ll y  m ul ti la be l - a da pt iv e   r e s ona nc e   a s s oc ia ti ve   m a p  ( M L - A R A M )   ba s e d  on  de e p  le a r ni ng  m e th od.  A c c or di ng  to   [ 28] ,  th e   w or ki ng  pr in c ip le   of   M L - A R A M   is   to   us e   a da pt iv e   r e s on a nc e   th e or y  ( A R T )   to   s pe e d   up  m ode l  c la s s if ic a ti on.  [ 29]   e xpl a in s   th a t  th e   M L - A R A M   m e th od  e m pl oys   f uz z y  lo gi c   pr in c ip le s ,  w it h  A R T   be in g a  f uz z y m od e l  a r ti f ic ia l  ne ur a l  ne twor k m odul e  w it h t w o  hi dde n l a ye r s , F 1  a nd F 2. T h e  l e a r ni ng pr oc e s s   in  t he  A R T a   a nd A R T b l a ye r s  i s  d e s c r ib e d a s  ( 4) :     (  ) = ( ∧ ( ) ) + ( 1 − ) ( )   ( 4)     W   is   t he   w e ig ht  of   th e  ne ur a l  ne t w or k, A   is   th e   i nput   ( e xpl a na to r y  va r ia bl e /f e a tu r e s ) , a nd  β   i s   th e   le a r ni ng  r a te   ( 0,1) .  W e   a ls o  e m pl oy   th e   m ul ti l a b e l  k - n e a r e s t   ne i ghbor   ( M L - kN N )   m e th od  pr opo s e d   by  [ 30] ,  w hi c h   i s   th e   m o s t   e f f e c ti v e   o bs e r va ti on - ba s e d  M L C   m e th od.   T he   M L - kN N   a lg or it h m   us e s   th e   k - ne a r e s t  n e ig hbor   ( kN N )   a lg or it hm   in  c l us t e r   a na l ys i s ,  w hi c h  i s  a  no npa r a m e tr i c  m e th od  t h a t  us e s  t h e  c lo s e   di s t a n c e  be t w e e n o bs e r va ti ons .   T h e r e  i s   a  m odi f i c a ti o n of  t h e   M L - kN N  m e th o d t h a t  u s e s  t h e  B a ye s   pr ob a bi li ty   pr in c ip le ,  a s  e x pl a in e d i n ( 5) :     ⃗ ( ) = arg ∈ { 0 , 1 } ( ) . ( ⃗ ⃗ ⃗ ( ) | ) ( ⃗ ⃗ ⃗ ( ) )   ( 5)     W he r e   t  is   a   ne w   da ta s e t,     is   a n  e ve nt   w he th e r   t  ha s   a   la be l   or   not ,  a nd  ⃗ ( )   is   th e   num be r   of   e ve nt s   a s   m a ny   a s  K  ne a r e s t  ne ig hbor s  of   t   w it h a  l a be l  l .    T he   th ir d  a ppr oa c h  is   th e   e ns e m bl e   of   c la s s if ie r ,  w hi c h  ha s   th e  w or ki ng  pr in c ip le   o f   m ode li ng   M L C   us in g  s e ve r a l  ba s ic   pr obl e m   tr a ns f or m a ti on  m e th ods   a nd  a lg or it hm /a da pt a ti on  m e th ods   s im ul ta ne ou s ly ,  s uc h   a s   boos ti ng  or   ba ggi ng.  I n  th is   a ppr oa c h,  w e   us e   th e   l a be l  s p a c e   p a r ti ti oni ng  c la s s if ie r   m e th od,  w it h  th e   w or ki ng   pr in c ip le   of   di vi di ng  pa ir s   of   r e s pons e   va r ia bl e   obs e r va ti on s   in to   s e ve r a l  s m a ll   c lu s te r s   a nd  bui ld in g  a   m ul ti c la s s  c la s s if ic a ti on mode l  us in g t he   l a be l  s pa c e   c lu s te r e r  m e th od s e pa r a te ly  f or  e a c h pa ir  of  obs e r va ti ons   us in g   a   hybr id   pa r ti ti on  a ppr oa c h   [ 31] .  T he n,  w e   a ls o  us e d  t he   r a ndom  la be l  s pa c e   p a r ti ti oni ng  w it h  la be l   pow e r s e t  m e th od  ( R A kE L d) ,  w hi c h  w or ks   by  r a ndomi z in g  s e ve r a l  pa ir s   of   obs e r va ti ons   f r om   la be ls   a nd   bui ld in g  a   m ul ti c la s s   c la s s if ic a ti on  m ode l  u s in g  th e   la be l  p ow e r s e t  m e th od  s e pa r a te ly   f or   e a c h  p a ir   of   obs e r va ti ons   [ 23] .  T he   R a kE L d  m e th od  ha s   a n  a dva nt a ge   ove r   th e   la be l  pow e r s e t  m e th od:   be c a u s e   it   c a n   pr e di c t  la be l  pa ir s   th a t  h a ve   not   y e t  to   a ppe a r   in   th e   da ta .   I t  f a c il it a te s   t he   ge ne r a li z a ti on  of   pr e di c ti ons   w he n  th e   da ta   s a m pl e  doe s  not  y e t  r e pr e s e nt  popula ti on c ha r a c t e r is ti c s   [ 32] .     2.5 .   M od e l  e val u at io n   W e   c om pa r e d  th e   m ode l  pe r f or m a nc e   us in g  th e   c r os s - va li da ti on  m e th od  by  pa r ti ti oni ng   th e   da ta   in to   tr a in   a nd  te s t  d a ta   in   10   pa r ti ti ons .  F ur th e r m or e ,  c r os s - va li da ti on  c a n  be   us e d   to   e s ti m a te   th e   m ode l  a ve r a g e   pr e di c ti on  e r r or   w he n  th e   tr a in   a nd  te s t  da t a   a r e   r a ndoml y  s e le c te d  f r om   th e   ov e r a ll   da ta   [ 33] .  M ode l   pe r f or m a nc e   e va lu a ti on  yi e ld s   th e   be s t  m ode l  ba s e d  on  th e   F 1 - s c or e   a nd  ha m m in g  lo s s .  T he   M L C   m ode l  pe r f or m a nc e   is   e va lu a te d  di f f e r e nt ly   f r om  t he   B C C   or   M C C   m o de ls   due   to   th e   di f f e r e nt   ty pe s   a nd  s tr uc tu r e s   of   r e s pons e   v a r ia bl e s   [ 34] .  I n  a ddi ti on  to   m e th od  s e le c ti on,   m ode l  pe r f or m a nc e   is   a ls o   in f lu e nc e d  by   da ta   c ha r a c te r is ti c s  a nd l a b e l  c la s s  s e pa r a ti on pa tt e r ns   [ 35] . W e  us e  t he  F 1 - s c or e , a   la be l - ba s e d m e tr ic , c ons id e r in g   th e   pr e c is io n a nd r e c a ll   va lu e s  a s  ( 6)   [ 36] :     1 −  =   2 × × + ;  or :  1 −  =   1 ∑ 2 | ∩ ̂ | | ̂ | + | | = 1   ( 6)       r e pr e s e nt s   th e   num b e r   of   obs e r va ti on s   in   th e   da ta ,    is   th e   tr ue / a c t ua l  l a be l   va l ue ,   a n d  ̂   is   th e   pr e di c te d   va l ue .   T he   in te r s e c ti on   of     a nd  ̂   in di c a te s   th e   n um be r   of   la b e l s   pr e d ic t e d  c or r e c tl y  by  t he   m ode l.   T he   hi ghe r   th e     F1 - s c or e   va lu e ,  th e   be tt e r   th e   m od e l  pe r f or m a nc e   [ 37] .  T he   F1 - s c or e ,  a c c or di ng  to   [ 38]   w hi c h  c o ns id e r s   pr e c i s io n  a nd  r e c a ll   a s  m e a s ur e s  of  m o de l  goodn e s s ,  i s  r obu s t  to   in di c a ti on s  of  i m ba l a nc e d l a be ls   in  t h e  d a ta .  I n  a ddi ti o n  to   th e   F 1 - s c or e ,  w e   u s e   th e   h a m m in g  lo s s ,  a n  I n s ta n c e - ba s e d  m e tr i c ,  by  e v a lu a ti ng  th e   num b e r   of   c la s s if ic a ti on e r r or s  of  t he  l a be l/ c la s s  r e s pon s e  va r ia bl e  pa ir s  f r om  t he  r e s ul ti ng mode l,  a s  f or m ul a te d i n ( 7) :         =   1 ∑ | ≠ ̂ | = 1   ( 7)       r e pr e s e nt s   th e   m a xi m um   num be r   of   la be ls   on  th e   r e s pon s e   va r ia bl e .  T h e   f e w e r   m is pr e di c t  la b e ls ,  th e   lo w e r   th e  ha m m in g l os s , a nd t he  hi ghe r  t he  m ode l  pe r f or m a nc e   [ 39] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       I m pr ov in g t he  r is k  p r of il e  of  I ndone s ia n e nt e r pr i s e  t ax pay e r s  u s in g m ul ti la be l   …  ( T e guh P r as e ty o)   4327   2.6 .   M od e l  p e r f or m an c e  c o m p ar is on   We  c om pa r e   th e   m ode l  pe r f or m a nc e   us in g  th e   a na ly s i s   of   va r ia nc e   m e th od.  T he  M L C   m e th od  a nd  da ta   s e pa r a ti on  m e th od  i s   c om pa r e d  by  th e   m e a n  va lu e   of   th e   M L C   m ode l  pe r f or m a nc e   ( F 1 - s c or e   a nd  ha m m in g  lo s s ) .  T he   c om pa r is on  e ns ur e s   th a t  th e   di ve r s it y  be tw e e n  gr oups   is   he te r oge ne ous   u s in g  th e   a na ly s i s   of   va r ia nc e   m e th od   [ 40] , a s  f or m ul a te d i n ( 8) :      = + + + (  )  +        ( 8)       de not e  t he  M L C  m e th ods   a nd    a r e  t he  da ta  s e pa r a ti on me th ods .     2.7.   F e at u r e  i m p or t an c e   I n  th e   f ol lo w in g  s ta ge ,  w e   id e nt if y  r is k e le m e nt   f a c to r s   th a t  e nc our a ge   a   ta xpa y e r   e nt it y  to   e ng a ge   in   ta x a voi da nc e  or  t a x e va s io n us in g t he  f e a tu r e  i m por ta nc e  va lu e .  [ 41]   e xpl a in e d t ha t  m a c hi ne  l e a r ni ng mode ls   m us t  be   in te r pr e te d,  e ve n  th ough   s om e   m ode ls   ha ve   va r yi ng  de gr e e s   of   di f f ic ul ty .   S om e   m e th ods ,  s uc h  a s     tr e e - ba s e d m e th ods , a r e   s tr a ig ht f or w a r d t o unde r s ta nd . T hi s   s tu dy e m pl oys  t he   pe r m ut a ti on  f e a t ur e  i m por ta n c e   va lu e ,  w hi c h   d e s c r ib e s   t he   e f f e c t  of   e a c h   e xpl a na to r y   v a r ia bl e   ( f e a tu r e s )   on   th e   pr e di c ti on   r e s ul t s .  T h e   a dv a nt a g e   of   th i s   a ppr oa c h  is   th a t   th e   in t e r pr e t a ti on   i s   s im pl e   to   und e r s t a nd   [ 42] .  A c c r odi ng  t o  [ 43] ,  th e   pe r m ut a ti on  m e th od   is   w id e ly   us e d  to   de te r m in e   th e   f e a tu r e   im por ta nc e   of   a   m a c hi ne   le a r ni ng  m ode l.   M a c hi ne   le a r ni ng  m ode ls   th a t  us e   hi gh - di m e ns io na l  da ta   be c om e   m or e   c om pl e x.  S im pl e   m ode ls   a r e   e a s ie r   to   in te r pr e t  in   de c is io n - m a ki ng,  e s pe c ia ll y  w h e n  c on s id e r in g  good  m ode l  p e r f or m a nc e .  D im e n s io na li ty   r e duc ti on  is   a   m e th od  f or   c onve r ti ng  hi gh - di m e ns io na l  da ta   in to   lo w e r - di m e ns io na l   da ta ,  th a t  e m pl oy s   two  a ppr oa c he s :  f e a tu r e   s e l e c ti on  a nd   f e a tu r e   e xt r a c ti on  [ 44] .  N e xt ,  w e   us e   th e s e   dom in a nt   f a c to r s   to   r e duc e   r is k  e le m e nt s ,  m a ki ng  th e m   e a s ie r   to   in te r pr e t   a nd de c id e .       3.   R E S U L T S  A N D  D I S C U S S I O N   O ur   f in di ngs   a r e   or ga ni z e d  in to   th r e e :  da ta   e xpl or a ti on,  m ode l  e va lu a ti on,  a nd  pe r f or m a nc e   c om pa r is on,  a s   w e ll   a s   f e a tu r e   im por ta nc e   a nd  s e le c ti on.  T hi s   s tu dy  a im s   to   a ddr e s s   th e   s tu dy  obj e c ti ve s ,  w hi c h  in c lu de   de a li ng  w it h  c la s s   im ba la nc e ,  c om pa r in g  M L C   m e th ods ,  a nd  id e nt if yi ng  dom in a nt   f a c to r s   th a t   e nc our a ge   a   ta xpa ye r   e nt it y  to   e nga ge   in   ta x  a voi da nc e   or   ta x  e va s io n.  W e   pr ovi de   a   di s c us s io n  of   e a c h  a na ly s is   r e s ul t  to  s uppor t  th e   s tu dy  f in di ngs .     3.1.  Dat a e xp lo r at io n   A m ong  th e   f iv e   c la s s e s   of   da ta   la be ls ,   la be l  4   dom in a te s   w it h  a   f r e que nc y  of   m or e   th a n   200  obs e r va ti ons ,  w hi le   la be l  1  ha s   th e   f e w e s t.   M e a nw hi le ,  th e   la be l  pa ir s   w it h  th e   hi ghe s t  f r e que nc y  of   obs e r va ti ons   a r e   la be l  4  a nd  2,  a s   w e ll   a s   th e   pa ir   of   la be ls   2  a nd   4.  L a be ls   w it h  m or e   pa ir s   te nd  to   ha ve   a   lo w e r   f r e que nc y  of   obs e r va ti ons .   T he   e m pi r ic a l  da t a   c ont a in s   21  p a ir s   of   la be ls   ( s in gl e   a nd   pa ir e d  la be l s ) .  A s   th e   num be r   of   la be l   pa ir s ,  th e   M L C   m ode li ng   s ta ge   be c om e   m or e   c om pl ic a te d.  F ig ur e   2   de pi c ts   th e   la be l  di s tr ib ut io n  in   e m pi r ic a l  da ta .  A   da ta   c a r di na li ty   va lu e   of   1.04  in di c a te s   th a t  one   obs e r va ti on  r e s ul t s   in   a n   a ve r a ge   of   one   to   two   la be ls .  A   da ta   de ns it y  va lu e   of   0.21  in d ic a te s   th a t  on  a   s c a le   of   1 – 10,   21%   o f   la be ls   ha ve   th e   gr e a te s t  num be r   of   ob s e r va ti ons .  T he   hi gh e r   th e   c a r di na li ty   a nd  de ns it y   va lu e s ,   th e   m or e   la be l   c a te gor ie s   a r e  ge ne r a te d f r om  a  s in gl e  da ta  obs e r va ti on, whic h c om pl ic a te s  t he  M L C  m ode li ng s ta g e .             F ig ur e  2. F r e que nc y of  e a c h l a be l  a nd l a be l  pa ir s  f or  e m pi r ic a l  da ta       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4323 - 4333   4328   F ig ur e  3 i ll us tr a te s  c la s s  i m ba l a nc e   c om pa r in g t he  numbe r  of  o bs e r va ti ons  be tw e e n l a be l  c la s s e s . W e   c a n  s e e   vi s ua l  s ig ns   of   c l a s s   im ba la nc e   on   f our   of   th e   f iv e   la be ls   in   th e   da ta .  C a te gor y  0  ( doe s   not   e nga g e   in   ta x  a voi da nc e   or   ta x  e va s io n)   dom in a te s   a ll   la be ls .  L a be l  1  ha s   t he   hi ghe s t  I R L bl   va lu e   a t  8.40.  M e a n w hi le ,  th e   M e a nI R   da ta  v a lu e  i s  3.49, me a ni ng t he   a ve r a ge  I R L bl  a c r os s  a ll  l a be ls  i s  one  ve r s u s  3.49.                        F ig ur e  3. C om pa r is on of  t he  numbe r  of  c la s s  obs e r va ti ons  b e tw e e n l a be ls       We  di s c ove r e d  th a t  th e   la be l  c la s s   w it h  th e   hi ghe s t  r e la ti ons hi p  va lu e   w a s   la be l  2,  f ol lo w e d  by  la be l  4   w it h S C U M B L E ( i)  va lu e s  of  1.82 a nd 1.35. W e  c a lc ul a te  t he  a ve r a ge  va lu e  of  t he  r e la ti ons hi p be twe e n l a be l s   w it h  th e   S C U M B L E ( D )   va lu e ,  w he r e   th e   hi ghe r   th e   S C U M B L E ( D )   va lu e ,  th e   m or e   c om pl ic a te d  th e   M L C   m ode li ng.  T he   S C U M B L E ( D )   va lu e   in   th e   da ta   is   0.03,  w hi c h  is   not   pa r ti c ul a r ly   hi gh   c om pa r e d  to   ot he r   m ul ti la be l  da ta   ty pe s ,   s uc h  a s   im a g e s   a nd  te xt   da ta .   T h e   hi ghe r   th e   S C U M B L E   va lu e ,  th e   m or e   obs e r va ti ons   pr o duc e  t he  l a be l  s im ul ta ne ou s ly . F ig ur e  4 de pi c ts  t he  r e la ti ons hi p be twe e n l a be l s  a s  s e e n  t hr ough the  numbe r   of  obs e r va ti ons , w it h l a be l  4 l e a di ng t he  l a be l  w it h t he  m o s t  obs e r va ti ons .            F ig ur e  4. R e la ti ons hi ps  be twe e n l a be ls       W e   a ddr e s s   c la s s   im ba la n c e   in   th e   d a ta   u s in g  a   s tr a ti f ie d  da t a   s e pa r a ti on  m e th od  ( m ul ti a be l  s tr a ti f ie d  s huf f le   s pl it )   to   pr oduc e   ba la nc e d  c la s s   s tr a ta   bot h  tr a in   a nd   te s t  da ta .  F ur th e r m o r e ,  th e   la be l  c la s s   s tr a ta   ge ne r a te d  in   th e   tr a in   a nd  te s t  da ta   a r e   s im il a r   to   th os e   in   th e   i ni ti a l  da ta ,  a s   s how n   in   F ig ur e s   5 ( a )   a nd  5( b)   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       I m pr ov in g t he  r is k  p r of il e  of  I ndone s ia n e nt e r pr i s e  t ax pay e r s  u s in g m ul ti la be l   …  ( T e guh P r as e ty o)   4329   r e s pe c ti ve ly .  T he   b a la nc e   of   th e s e   s tr a ta   a ll ow s   th e   M L C   m ode l   to   pr oduc e   good  r e s ul ts   w hi le   be in g  un a f f e c te d  by  c la s s   im ba la nc e .  A c c or di ng  to   [ 45] ,  if   th e   S C U M B L E ( D )   va lu e   is   < 0.1,  r e s a m pl in g  ( unde r s a m pl in g/ ove r s a m pl in g)  i s  unne c e s s a r y t o a ddr e s s  c la s s  i m ba la nc e .           ( a )   ( b)     F ig ur e  5.  C la s s  s tr a ta  b e twe e n l a be l s  on  ( a )  i ni ti a l  da ta  a nd ( b)  s tr a ti f ic a ti on r e s ul ts       3.2.  M od e l  p e r f or m an c e  e val u at io n   W it h  a   100 - r e pe ti ti on  r e s a m pl in g  s c e na r io   s how n  in   F ig ur e   6 .  T he   F1 - s c or e   of   m ode l  pe r f or m a nc e   is   s how n   in   F ig ur e   6( a )   w h e r e a s   th e   h a m m in g  is   s how n  in   F ig ur e   6( b) ,  w e   di s c ove r e d  th a t   th e   M L - A R A M   m e th od  ha s   e xc e ll e nt   m ode l  pe r f or m a nc e ,  a s   e vi de nc e d  by  a   hi ghe r   pe r f or m a nc e   m e a n  a nd  le s s   va r ia bi li ty   w he n  c om pa r e d  to   ot he r   m e th ods   us in g  th e   F 1 - s c or e   a nd  ha m m in g  lo s s .  T h e   F 1 - s c or e   obt a in e d  u s in g  M L - A R A M   m e th od  is   0.9,  i ndi c a ti ng  th a t  th e   M L - A R A M   m e th od  pe r f or m s   a lm os t  pe r f e c tl y  M L C   c la s s if ic a ti on  pe r f or m a nc e .  M e a nw hi le ,   th e   M L - A R A M   m e th od  pr oduc e s   a   m in im a l  th e   ha m m in g   lo s s ,   le s s   th a n   0.1.  I n   a ddi ti on  to   M L - A R A M   m e th od,  th e   la be l  pow e r s e t  m e th od  w o r ks   w e ll   w it h  a   s tr a ti f ie d  da ta   s e pa r a ti on.  T he   s tr a ti f ie d  da ta   s e p a r a ti on  m e th od  ha s   b e e n  s how n  to   im pr ove   m ode l  pe r f or m a nc e   va lu e s   in   bot h  c a s e   tr a ns f or m a ti on  a nd  m e th od  a da pt a ti on  a ppr oa c h e s .  H ow e ve r ,  t he   m ode l  pe r f or m a nc e   va lu e   dr ops   s li ght ly   in   th e   e ns e m bl e   of   c la s s if ie r   a ppr oa c h.  T hi s   is   m os t   li ke ly   due   t o  th e   us e   of   m ul ti pl e   m e th ods   a t  onc e   in   th e   e ns e m bl e   of   c la s s if ie r   a ppr oa c h,  w hi c h  c a n  ha ndl e   c la s s   im ba l a nc e   w it hout   f ir s t  s tr a ti f yi ng  th e   tr a in   a nd  te s t   da ta .  W it h  th e s e   f in di ngs ,   w e   pr opos e   th a t  in   f ut ur e   s im il a r   s tu dy ,  r e s e a r c he r s   us e   a   s tr a ti f ie d  da ta   s e pa r a ti on   m e th od t o r e duc e  t he  i m pa c t  of  c la s s  i m ba la nc e  i n t he   M L C  m e th od on the  r e s ul ts  of   [ 20] .           ( a )   ( b)     F ig ur e  6. C om pa r is on of  m ode l  pe r f or m a nc e  ba s e d on ( a )  F 1 - s c or e     a nd ( b)  ha m m in g l os s           3.3.  M od e l  p e r f or m an c e  c o m p ar is on   T a bl e   2   i s  a n a ly s is   of   va r i a nc e   s h ow s   th e   m ode l   p e r f or m a n c e   c o m pa r is on  r e s ul t.   B a s e d  on  t he   p - va lu e   ( α= 0.0 5) ,  w e   c onc l ude   th a t   th e   f a c to r s   of   th e   M L C   m e th od,  d a ta   s e pa r a ti on  m e th o d,  a nd  t he ir   i nt e r a c ti on   be twe e n   th e   M L C   m e th o d  a nd  th e   d a ta   s e pa r a ti on   m e t hod  a f f e c t   th e   m e a n  v a lu e   of   m o de l   pe r f or m a nc e .   M e a nw hi le ,  if   w e  l ook a t  th e  i nt e r a c ti on plo t  pr e s e nt e d i n F ig u r e  7, i t  i s  c onc l ude d t ha t  th e  e f f e c t  of  da ta  s e pa r a ti on me th ods   is   s pe c if ic   to   e a c h M L C   m e th od.  F ig ur e   7( a )   s how s   th e   in te r a c t io n  ba s e d   on  F 1 - s c or e ,   m e a nw hi le   F ig ur e   7( b)   s how s   th e   in te r a c ti on  ba s e d  on  ha m m in g  lo s s .  T he   s tr a ti f ie d   da ta   s e pa r a ti on   m e th od  c a n  im pr ove   m ode l  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4323 - 4333   4330   pe r f or m a nc e   in   m os t  M L C   m e th ods .  W h e n  in te r a c ti ng  w it h  th e   da ta   s e pa r a ti on  m e th od,  M L - A R A M   c om bi ne d   w it h  th e   s tr a ti f ie d  da ta   s e pa r a ti on  m e th od  a c hi e ve s   th e   b e s t  pe r f or m a nc e   ( F 1 - s c or e   va lu e   of   0.955) .  T he   la be l  pow e r s e t  c om bi ne d  w it h  th e   s tr a ti f ie d  da ta   s e p a r a ti on  m e th od  yi e ld s   th e   be s t  m ode l  pe r f or m a nc e   ba s e d  on  a   h a m m in g  lo s s   of   0.063.  T he   M L - A R A M   m e th od,  w h e n  c om bi ne d  w it h  s tr a ti f ie d  or   r a ndom  da ta   s e pa r a ti on  m e th ods , s ti ll  pe r f or m s  w e ll  i n t e r m s  of  ha m m in g l os s .       T a bl e  2. M od e l  pe r f or m a nc e  a na ly s i s  of  va r ia nc e   S our c e   F1 - s c or e     H a m m i ng l os s     F - s t a t i s t i c s   P - va l ue   F - s t a t i s t i c s   P - va l ue   M L C   m e t hod s   12158.84   0.000*   6514.75   0 . 000*   D a t a   s e pa r a t i on m e t hods   4589.42   0.000*   4213.44   0 . 000*   M L C   m e t hod s   12158.84   0.000*   6514.75   0 . 000*           ( a )   ( b )     F ig ur e  7. I nt e r a c ti on M L C  a nd da ta  s e pa r a ti on me th ods  b a s e d o n  ( a )   F1 - s c or e     a nd  ( b)   h a m m in g  l os s         U s in g  a   pos t  hoc   te s t  on  th e   M L C   m e th od  f a c to r s   th a t  ha ve   be e n  s e pa r a te d  ba s e d  on  da ta   s e pa r a ti on  m e th ods   pr e s e nt e d  in   T a bl e   3 ,  w e   c on c lu de   th a t  M L - A R A M   ha s   th e   be s t  pe r f or m a nc e   in   th e   th r e e   c ondi ti ons   of   c om bi na ti ons .  M L - A R A M   pe r f or m s   m o r e   th a n  ot he r   m e th od s   ba s e d  on  th e   F I - S c or e   va lu e   p r oduc e d  a t  m or e   th a n  90  pe r c e nt   a nd  th e   ha m m in g  lo s s   a t  le s s   th a n  10  pe r c e nt .  T hi s   r e s ul t  s ho w s   th a t  th is   c om bi na ti on  c a n  im pr ove  t he  pe r f or m a nc e  of  t he  M L C  m ode l  on da ta  c ont a in in g c la s s  i m ba la n c e .       T a bl e   3 . P os t  hoc   te s t  f or  i nt e r a c ti ons  of  M L C  m e th ods  w it h da t a  s e pa r a ti on me th ods   D a t a   s e pa r a t i on   M L C   m e t hod s   F1 - s c or e     F1 - s c or e   gr oup   M L C   m e t hod s   H a m m i ng l os s     H a m m i ng l os s   gr oup   R a ndom   ML - A R A M   0.912   A   ML - A R A M   0.093   A   R a kE l d   0.535          B   L a be l  pow e r s e t   0.154          B   L a be l  pow e r s e t   0.527          B   B i na r y r e l e va nc e   0.165               C   ML - kN N   0.512               C   ML - kN N   0.203                    D   L a be l  s p a c e   pa r t i t i oni ng   0.459                    D   L a be l  s p a c e   pa r t i t i oni ng   0.235                         E   B i na r y r e l e va nc e   0.456                    D   R a kE l d   0.253                              F   S t r a t i f i e d   ML - A R A M   0.955   A   L a be l  pow e r s e t   0.063   A   L a be l  pow e r s e t   0.833          B   ML - A R A M   0.074          B   ML - kN N   0.739               C   ML - kN N   0.104               C   B i na r y r e l e va nc e   0.503                     D   B i na r y r e l e va nc e   0.149                    D   R a kE l d   0.500                     D   R a kE l d   0.224                         E   L a be l  s p a c e   pa r t i t i oni ng   0.416                          E   L a be l  s p a c e   pa r t i t i oni ng   0.236                              F       3.4.  F e at u r e  i m p or t an c e     U s in g  th e   M L - A R A M   m e th od  c om bi ne d  w it h  th e   s tr a ti f ic a ti on  m e th od  a s   th e   be s t  m ode l  in   th e   pr e vi ous   s ta ge ,  w e   c a lc ul a t e d  th e   im por ta nc e   va lu e s   of   61  e xpl a na to r y  va r ia bl e s   ( f e a tu r e s ) .  W e   di s c ove r e d  th a t  m a ny  e xpl a na to r y  va r ia bl e s   ha ve   ne ga ti ve   f e a tu r e   im por t a nc e   va lu e s .  T hi s   m e a ns   th a t  th e   pr e s e nc e   of   th e s e   e xpl a na to r y  va r ia bl e s   ha s   no  s ig ni f ic a nt   im pa c t  on  th e   pr e di c t io n  a c c ur a c y  of   th e   M L C   m ode l;   th us ,  it   c a n  c om pl ic a te   th e   m ode l  a nd  in c r e a s e   th e   r is k  of   ove r f it ti ng.  T o  s i m pl if y  th e   M L C   m ode l   of   th e   r is k  pr o f il e ,  w e   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A r ti f  I nt e ll     I S S N :  2252 - 8938       I m pr ov in g t he  r is k  p r of il e  of  I ndone s ia n e nt e r pr i s e  t ax pay e r s  u s in g m ul ti la be l   …  ( T e guh P r as e ty o)   4331   de c id e d  to   pe r f or m   th e   f e a tu r e   s e le c ti on  s ta ge ,   c ons id e r in g  th e   e xc e ll e nt   pr e di c ti on  a c c ur a c y,  s pe c if ic a ll y  th e   F1 - s c or e ,  w hi c h  r e m a in s   a t  0.87,  a nd  h a m m in g  lo s s ,  w hi c h  is   a t  0.12.  T a bl e   4   s um m a r iz e s   20  e xpl a na to r y  va r ia bl e s   ( f e a tu r e s )   f or   th e   f e a tu r e   s e le c ti on  r e s ul ts ,  m os t  of   w hi c h  a r e   l oc a l  ( L )   c a te gor y  r is k  e le m e nt s .  T he   to p t hr e e  f e a tu r e  c ode s  a r e   c om pa ny  a ge   ( R2 ) ,  va lu e  of  a dm in is tr a ti ve  s a nc ti ons  i n t he  f or m  of  f in e s   ( O9 ) , a nd   pr oc e dur e s   f or   im por ti ng  a nd  r e le a s in g  f in is he d   goods   ( L 8) .  T he   hi ghe r   th e   f e a tu r e   im por ta nc e   va lu e ,   th e   gr e a te r   it s   in f lu e nc e   in   de te c ti ng  ta x  a voi da n c e   a nd  ta x  e v a s io n.  O ur   f in di ngs   on  th e s e   20  e xpl a na to r y  va r ia bl e s   ( f e a tu r e s )   a r e   th e   r e s ul t  of   id e nt if yi ng  r is k  e le m e nt   f a c to r s   th a t   e nc our a ge   a   t a xpa ye r   e nt it y  to   e nga g e   in   ta x   a voi da nc e  or  t a x e va s io n us in g f e a tu r e  i m por ta nc e  va lu e s .       T a bl e   4 . S um m a r y of  f e a tu r e  s e le c ti on r e s ul ts   N o.   F e a t ur e  i m por t a nc e     C ode   N o.   F e a t ur e  i m por t a nc e   C ode   N o.   F e a t ur e  i m por t a nc e   C ode   1.   0 . 0722   R2   8.   0 . 0425   L 13   15.   0 . 0362   L 11   2.   0 . 0652   O9   9.   0 . 0414   R1   16.   0 . 0347   R 10   3.   0 . 0474   L8   10.   0 . 0400   L 23   17.   0 . 0344   L 29   4.   0 . 0465   L 28   11.   0 . 0395   O3   18.   0 . 0337   L 17   5.   0 . 0453   R 22   12.   0 . 0390   R8   19.   0 . 0332   O4   6.   0 . 0445   L9   13.   0 . 0382   L 12   20.   0 . 0362   O6   7.   0 . 0441   R 17   14.   0 . 0378   O1             4.   C O N C L U S I O N   T hi s   s tu dy  s uc c e s s f ul ly   id e nt if ie d  th e   be s t  M L C   m ode l  f o r   de t e c ti ng  ta x  a voi da nc e   a nd  ta x  e va s io n  r is ks   in   I ndone s ia .  T he   be s t  m e th od  is   th e   M L - A R A M   m e th o d  ba s e d  on  de e p  le a r ni ng,  w hi c h  ha s   e xc e ll e nt   m ode l  pe r f or m a nc e   a nd  out pe r f or m s   to   ot he r   m e th od s   ( F 1 - s c o r e   of   95.5%   a nd  h a m m in g  lo s s   of   7.4% ) .  T h e   M L C   m ode l  us e d  in   th is   s tu dy  w il l  im pr ove   th e   a c c ur a c y  of   ta x a voi da nc e   a nd  ta x  e va s io n  de te c ti on  in   th e   r is k   pr of il e   m e c ha ni s m .  F ur th e r m or e ,  w e   di s c ove r e d  c ondi ti ons   w h e r e   th e   da ta   c ont a in e d  c la s s   im ba la nc e ,  w hi c h   t he   s tr a ti f ie d  da ta   s e p a r a ti on  m e th od  ( m ul ti la be l  s tr a ti f ie d s huf f le   s pl it )   e f f e c ti ve ly   a ddr e s s e d.   T hi s   is   a n   in put   f or   f ut ur e   s tu dy,  s o  r e s e a r c he r s   c a n  th in k a bout   us in g  a   s tr a ti f ie d  da ta   s e p a r a ti on  m e th od  to   r e duc e   th e   im pa c t   of   c la s s   im ba la nc e   in   th e   M L C   m e th od.  W e   a ls o   id e nt if ie d  r is k  e le m e nt   f a c to r s   th a t  e n c our a ge   ta xp a ye r   e nt it ie s   to   e nga ge   in   ta x   a voi da nc e   or   ta x  e va s io n  us in g  f e a tu r e   im por ta nc e   va lu e s .   T he s e   f a c to r s   w il l  be   u s e d  to   im pr ove   th e   r is k  pr of il e   m e c ha ni s m   a nd   opt im iz e   ta x  r e ve nu e s  i n  I ndon e s ia .   W e   r e c ogni z e   th a t   th is   s tu dy  h a s   li m it a ti ons , s pe c if ic a ll y t ha t  th e  c ha r a c te r is ti c s  of  t a xpa y e r  be ha vi or  w il l  a lwa ys  c ha nge  dyna m ic a ll y r e s pons e   to   c ha nge s   in   ta x   r e gul a ti ons .  T o  a ddr e s s   th is ,  w e   r e c om m e nd   th a t  th e   a na ly s is   be   r e pe a te d  in   th e   f ut ur e   to   pr o duc e   va li d  c onc lu s io ns   in   im pr ovi ng  th e   r is k  pr of il e ,  r e s ul ti ng  in   a   m or e   r e le va nt   pr of il e .  W e   a ls o  r e c om m e nd  c onduc ti ng  s im il a r   s tu dy  to   c om pa r e   m e th ods   f or   de a li ng  w it h  c la s s   im ba la nc e   in   M L C   da ta   a nd   c om pa r in g  ot he r   f e a tu r e   im por ta nc e   m e th ods ,  s uc h  a s   th e   s ha pl e y  a ddi ti ve   e xpl a na ti on s   ( S H A P )   m e th od  to   le a r n  m or e   in f or m a ti on  a bout   th e   lo c a l  in f lu e nc e   of   e a c h  e xpl a na to r y  va r ia bl e   ( f e a tu r e s )   on  th e   p r e di c ti on   a c c ur a c y of  t he  M L C  m ode l.         A C K N O WL E D G E M E N T S   T he   a ut hor   w oul d  li ke   to   th a nk  th os e   w ho  c ont r ib ut e d  to   th is   s tu dy,  in c lu di ng  th e   D e pa r tm e nt   of   S ta ti s ti c s ,   F a c ul ty   of   M a th e m a ti c s   a nd  N a tu r a l  S c ie nc e s ,   I P B   U ni ve r s it y  f or   f a c il it a ti ng  th e   s tu dy,  th e   I ndone s ia   E ndowme nt   F und  f or   E duc a ti on  A ge nc y  ( L P D P )   N o.  0000564/F O R /M /AS N - 2021   ( 202205110209116)   f or   f undi ng t he   s tu dy , a nd t he  I ndone s ia n M in i s tr y of  F in a nc e  f or  pr ovi di ng t he  s upe r vi s io n a nd da ta s e t s .       R E F E R E N C E S   [ 1]   A .  H a j a w i ya h,  T .  S ur ya r i ni ,  K i s w a nt o,   a nd  T .  T a r m udj i ,  “ A na l ys i s   of   a   t a x  a m ne s t y’ s   e f f e c t i ve ne s s   i n   I ndone s i a ,”   J our nal   o f   I nt e r nat i onal  A c c ount i ng, A udi t i ng and T ax at i on , vol . 44, 2021, do i :  10.1016/ j . i nt a c c a udt a x.2021.100415.   [ 2]   R .  T .  S i na ga ,  E .  E va na ,  a nd  F .  D ha r m a ,  “ R e s e a r c h  of   t a x  A voi da nc e   i n  I ndone s i a :   A   bi bl i ogr a phi c   s t u dy,”   A s i an  J our nal   of   E c onom i c s , B us i ne s s  and A c c ount i ng , vol . 24, no.  8 , pp. 53 – 67, 2022, doi :  10.9 734/ a j e ba / 2022/ v22i 830587.   [ 3]   M .  M .   P os t e a ,  “ T he or e t i c a l   a nd   m e t hodol ogi c a l   a ppr oa c he s   on  t a x   e va s i on, ”   D I E M :   D ubr ov ni k   I nt e r nat i onal   E c onom i c   M e e t i ng ,   vol . 6, no. 1, pp. 183 – 190, 2021, doi :  10.17818/ di e m / 2021/ 1.19.   [ 4]   N .  A l s a dha n,   “ A   m ul t i - m odul e   m a c hi ne   l e a r ni ng  a ppr oa c h   t o  de t e c t   t a x  f r a ud, ”   C om put e r   Sy s t e m s   Sc i e nc e   and  E ngi ne e r i ng ,   vol .   46, no. 1, pp. 241 – 253, 2023, doi :  10.32604/ c s s e .2023.033375.   [ 5]   B .  F .  M ur or unkw e r e ,  D .  H a ught on,  J .  N z a ba ni t a ,  F .  K i pkoge i ,  a nd  I .  K a ba n o,  “ P r e di c t i ng  t a x  f r a ud  us i ng  s upe r vi s e d  m a c hi ne   l e a r ni ng  a ppr oa c h,”   A f r i c an  J our nal   of   Sc i e nc e ,  T e c hnol ogy ,  I nnov at i on   and  D e v e l opm e nt ,  vol .  15,  no.  6,  pp.   731 – 742,  2023,  do i :   10.1080/ 20421338.2023.2187930.   [ 6]   R .  A .  R a hm a n,  S .  M a s r om ,  N .  O m a r ,  a nd   M .  Z a ka r i a ,  “ A n  a ppl i c a t i on   of   m a c hi ne   l e a r ni ng  on  c or po r a t e   t a x  a voi da nc e   de t e c t i on  m ode l ,”   I A E S   I nt e r nat i onal   J our nal   of   A r t i f i c i al   I nt e l l i ge nc e   ( I J - A I ) ,  vol .  9,  no.  4,  pp.   721 – 725,  2020,  doi :   10.11591/ i j a i .v9.i 4.pp721 - 725.   [ 7]   C .  C .  A gga r w a l ,  D at a  c l as s i f i c at i on:   al gor i t hm s   and  appl i c at i on s ,  B oc a   R a t on,  F l or i da :   C ha pm a n  a nd  H a l l / C R C ,  2014 ,   doi :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :  2252 - 8938   I nt  J  A r ti f  I nt e ll , V ol . 13, No. 4, D e c e m be r  2024:  4323 - 4333   4332   10.1201/ b17320.   [ 8]   E .  K .  Y .  Y a pp,  X .   L i ,  W .   F .  L u,   a nd  P .  S .  T a n,  “ C om pa r i s on  of   ba s e   c l a s s i f i e r s   f or   m ul t i - l a be l   l e a r ni ng,”   N e ur oc om put i ng ,  vol .  394 ,   pp. 51 – 60, 2020, doi :  10.1016/ j .ne uc om .2020.01.102.   [ 9]   D .  S ong,  A .  V ol d,   K .  M a da n,  a nd  F .   S c hi l de r ,  “ M ul t i - l a be l   l e ga l   doc um e nt   c l a s s i f i c a t i on:   A   de e p  l e a r ni ng - ba s e d  a ppr oa c h  w i t h  l a be l - a t t e nt i on a nd dom a i n - s pe c i f i c  pr e - t r a i ni ng,”   I nf or m at i on Sy s t e m s , vol . 10 6, 2022, doi :  10.1016/ j .i s .2021.101718.   [ 10]   E .  D e ni z ,  H .  E r ba y,  a nd   M . C oş a r , “ M ul t i - l a be l   c l a s s i f i c a t i on  of   e - c om m e r c e   c u s t om e r   r e vi e w s   vi a   m a c hi ne   l e a r n i ng,”   A x i om s ,   vol .   11, no. 9, pp. 1 – 17, 2022, doi :  10.3390/ a xi om s 11090436.   [ 11]   W .  L i u,  H . W a ng,  X .  S he n, a nd  I .  W .  T s a ng, “ T he   e m e r gi ng  t r e nds   of   m ul t i - l a be l   l e a r ni ng,”   I E E E   T r ans ac t i ons   on  P at t e r n  A nal y s i s   and M ac hi ne  I nt e l l i ge nc e , vol . 44, no. 11, pp. 7955 – 7974, 2022, doi :  10.1109/ T P A M I .2021.3119334.   [ 12]   D . A f dha l , K . W .  A na nt a , a nd W .  S . H a r t ono,  “ A dve r s e  dr ug  r e a c t i ons  pr e di c t i on us i ng m ul t i - l a be l  l i ne a r  di s c r i m i na nt  a na l ys i s  a nd  m ul t i - l a be l  l e a r ni ng,”  i n  2020 I nt e r nat i onal   C onf e r e n c e  on  A dv anc e d  C om put e r  Sc i e nc e  and I nf or m at i on Sy s t e m s ,  I C A C SI S 2020 ,  O c t . 2020, pp. 69 – 76 , doi :  10.1109/ I C A C S I S 51025.2020.9263166.   [ 13]   L .  U w i ne z a ,  H . - G .  K i m ,   C .  K .   K i m ,  B .  K i m ,  a nd   J . - Y .  K i m ,  “ A c c ur a c y   a s s e s s m e nt   of   t ypi c a l   m e t e or ol ogi c a l   y e a r   da t a   f or   a   phot ovol t a i c   s ys t e m   u s i ng  a   boot s t r a p  m e t h od,”   J our nal   of   t he   K o r e an  Sol a r   E n e r gy   Soc i e t y ,  vol .  41,  no.   4,  pp.  115 – 129,   2021,  doi :   10.7836/ ks e s .2021.41.4.115.   [ 14]   E .  Z i vot ,   I nt r oduc t i on  t o  c om put at i ona l   f i nanc e   and  f i nanc i al   e c onom e t r i c s ,   2 011.  A c c e s s e d:   O c t .  18,  2023.  [ O nl i ne ] .  A va i l a bl e :   ht t ps : / / bookdow n.or g/ c om pf i ne z book/ i nt r oc om pf i n r /   [ 15]   F .  C ha r t e ,  “ A   c om pr e he ns i ve   a nd  di da c t i c   r e vi e w   on  m ul t i l a be l   l e a r ni ng   s of t w a r e   t oo l s ,”   I E E E   A c c e s s ,  vol .  8,  pp.  50330 – 50354,   2020, doi :  10.1109/ A C C E S S .2020.2979787.   [ 16]   F .  C ha r t e   a nd  F .  D .   C h a r t e ,  “ W or ki ng  w i t h  m ul t i l a be l   da t a s e t s   i n  r :   t he   m l dr   p a c k a ge ,”   T he   R   J ou r nal ,  no.  7,  vol .  2,   pp.  149 - 162,   201 5 .   [ 17]   A .  N .  T a r e ke gn,  M .  G i a c obi ni ,   a nd  K .  M i c ha l a k,  “ A   r e vi e w   o f   m e t hods   f or   i m ba l a nc e d  m ul t i - l a be l   c l a s s i f i c a t i on,”   P at t e r n  R e c ogni t i on , vol . 118, 2021, doi :  10.1016/ j .pa t c og.2021.107965.   [ 18]   Y .  E .  K ur ni a w a t i   a nd  Y .  D .  P r a bow o,  “ M ode l   opt i m i s a t i on  of   c l a s s   i m ba l a nc e d  l e a r ni ng  us i ng  e ns e m bl e   c l a s s i f i e r   on  ove r - s a m pl i ng   da t a ,”   I A E S  I nt e r nat i onal   J our nal   of   A r t i f i c i al   I nt e l l i ge nc e   ( I J - A I ) ,   vol .  11,  no.   1,  pp.   276 – 283,  2022,  doi :   10.11591/ i j a i .v11.i 1.pp276 - 283.   [ 19]   B . L i u, K . B l e ka s , a nd G . T s oum a ka s , “ M ul t i - l a be l  s a m pl i ng ba s e d on l oc a l  l a b e l  i m ba l a nc e ,”   P at t e r n  R e c ogni t i on , vol . 122, 2022,   doi :  10.1016/ j .pa t c og.2021.108294.   [ 20]   K .  S e c hi di s ,  G .   T s oum a ka s ,  a nd   I .  V l a ha va s ,  “ O n   t he   s t r a t i f i c a t i on  of   m ul t i - l a be l   da t a ,”   M ac hi ne   L e a r ni ng  and  K now l e dg e   D i s c ov e r y  i n D at abas e s , pp. 145 – 158, 2011, doi :  10.1007/ 978 - 3 - 642 - 23808 - 6_ 10.   [ 21]   F .  C ha r t e ,  A .  R i ve r a ,  M .  J .  D .  J e s us ,  a nd  F .  H e r r e r a ,  “ C onc ur r e nc e   a m ong  i m ba l a nc e d  l a be l s   a nd  i t s   i nf l ue nc e   on  m ul t i l a be l   r e s a m pl i ng  a l gor i t hm s ,”   i n  H y br i d  A r t i f i c i al   I nt e l l i ge nc e   Sy s t e m s ,  V e r l a g :   S pr i nge r ,  2014,  pp.  110 – 121 ,  doi :   10.1007/ 978 - 3 - 319 - 07617 - 1_10.   [ 22]   P .  S z ym a ns ki   a nd   T .  K a j da now i c z ,   “ S c i ki t - m ul t i l e a r n:   A   pyt hon  l i br a r y  f or   m ul t i - l a be l   c l a s s i f i c a t i on,”   J our nal   of   M ac hi ne   L e a r ni ng   R e s e ar c h , vol . 20, no. 6, pp. 1 – 22, 2019.   [ 23]   F .  H e r r e r a ,  F .  C ha r t e ,  A .  J .  R i ve r a ,  a nd   M .  J .  D .   J e s us ,  M ul t i l abe l   c l as s i f i c at i on  pr obl e m   anal y s i s ,  m e t r i c s   and  t e c hni que s .   S w i t z e r l a nd :   S pr i nge r , 2016 ,  doi :  10.1007/ 978 - 3 - 319 - 41111 - 8 .   [ 24]   S .  G odbol e   a nd  S .  S a r a w a gi ,  “ D i s c r i m i na t i ve   m e t hods   f or   m ul t i - l a be l e d  c l a s s i f i c a t i on.  i n  a dva nc e s   i n  know l e dge   di s c ove r y  a nd  da t a   m i ni n g,”   A dv anc e s  i n K now l e dge  D i s c ov e r y  and D at a M i ni ng ,   pp. 22 – 30, 2004 , doi :   10.1007/ 978 - 3 - 540 - 24775 - 3_5 .   [ 25]   F .  L i ,  X . M a ,  a nd   Y .  W a ng,  “ A   m ul t i - l a be l   m e t hod  of   s t a t e   pa r t i t i on  a nd  f a ul t   di a gnos i s   b a s e d   on  bi na r y  r e l e va nc e   a l gor i t hm ,”   2020   I E E E   9t h  D at a  D r i v e n  C ont r ol   and   L e ar ni ng  Sy s t e m s   C onf e r e nc e   ( D D C L S) ,  pp.  567 – 572,  2020,  doi :   10.1109/ D D C L S 49620.2020.9275199.   [ 26]   M .  R .  B out e l l ,  J .  L uo,  X .   S he n,  a nd  C .   M .  B r ow n,  “ L e a r ni ng  m ul t i - l a be l   s c e ne   c l a s s i f i c a t i on,”   P at t e r n  R e c ogni t i on ,  vol .  37,   no.  9,   pp. 1757 – 1771, S e p. 2004, doi :  10.1016/ j .pa t c og.2004.03.009.   [ 27]   A . S . A r di a nt o a nd S . A di ,  “ T he   be s t  pr obl e m  t r a ns f or m a t i on m e t hod i n m ul t i - l a be l  c l a s s i f i c a t i on t e xt  f or  t he s i s  a bs t r a c t ,”   2022 6t h   I nt e r nat i onal   C onf e r e nc e   on  I nf or m at i on   T e c hnol ogy ,  I nf or m at i on  S y s t e m s   an d  E l e c t r i c al   E ngi ne e r i ng  ( I C I T I SE E ) ,  pp.  326 – 329,  2022, doi :  10.1109/ I C I T I S E E 57756.2022.10057824.   [ 28]   F . B e ni t e s  a nd E . S a poz hni kova , “ H A R A M :   a  hi e r a r c hi c a l  A R A M   ne ur a l  ne t w or k f or  l a r ge - s c a l e  t e xt  c l a s s i f i c a t i on,”  i n  15t h I E E E   I nt e r nat i onal  C onf e r e nc e  on D at a M i ni ng W or k s hop, I C D M W  2015 , J a n. 2016, pp. 847 – 854 , doi :  10.1109/ I C D M W .2015.14.   [ 29]   F .  B e ni t e s   a nd  E . S a poz hni kova ,  “ I m pr ovi ng   s c a l a bi l i t y  of   A R T   ne ur a l   ne t w or ks ,”   N e ur oc o m put i ng ,  vol .  230,  pp.   219 – 229,  2017,   doi :  10.1016/ j .ne uc om .2016.12.022.   [ 30]   M .  L .   Z ha ng  a nd  Z .  H .  Z hou,  “ M L - K N N :  A   l a z y  l e a r ni ng  a ppr oa c h  t o  m ul t i - l a b e l   l e a r ni ng,”   P at t e r n  R e c ogni t i on ,  vol .  40,  no.   7,  pp.   2038 – 2048, J ul . 2007, doi :  10.1016/ j .pa t c og.2006.12.019.   [ 31]   E .  C .  G a t t o,  M .   F e r r a ndi n ,  a nd   R .  C e r r i ,  “ M ul t i - l a be l   c l a s s i f i c a t i on  w i t h  l a be l   c l us t e r s ,”   R e s e ar c h  Squar e ,  2023 ,  doi :   10.21203/ r s .3.r s - 3133411/ v1 .   [ 32]   J .  M .  M oya no,  E .  L .  G i ba j a ,  K .  J .   C i os ,  a nd  S .  V e nt ur a ,  “ R e vi e w   of   e ns e m bl e s   of   m ul t i - l a be l   c l a s s i f i e r s :   M ode l s ,  e xpe r i m e nt a l   s t udy   a nd pr os pe c t s ,”   I nf or m at i on F us i on , vol . 44, pp. 33 – 45, 2018, doi :  10.1016/ j .i nf f us .2017.12.001.   [ 33]   S .  B a t e s ,  T .  H a s t i e ,  a nd  R .  T i bs hi r a ni ,  “ C r os s - va l i da t i on:   w ha t   doe s   i t   e s t i m a t e   a nd  how   w e l l   doe s   i t   do  i t ? ,”   J our nal   of   t he   A m e r i c an   St at i s t i c al  A s s oc i at i on , pp. 1 – 43, 2023, doi :  10.1080/ 01621459.2023.2197686.   [ 34]   X. - Z .  W u  a nd   Z . - H .   Z hou,  “ A   uni f i e d  vi e w   of   m ul t i - l a be l   pe r f or m a nc e   m e a s u r e s ,”   i n  P r oc e e di ngs   of   t he   34t h  I nt e r nat i onal   C onf e r e nc e  on M ac hi ne  L e ar ni ng ,   pp. 3780 - 3788 ,   2017 .   [ 35]   L .  X ue ,  X .  Z ha ng,  W .  J i a ng,  a nd   K .  H uo,  “ A   c l a s s i f i c a t i on  pe r f or m a nc e   e va l ua t i on  m e a s ur e   c ons i de r i ng  da t a   s e pa r a bi l i t y,”   A r t i f i c i al   N e ur al  N e t w or k s  and M ac hi ne  L e ar ni ng  –   I C A N N  2023 ,   pp. 1 - 13, 2023.   [ 36]   H .  D a l i a ni s ,  C l i ni c al   t e x t   m i ni ng:   Se c ondar y   us e   of   e l e c t r oni c   pat i e nt   r e c or d s ,   C ha m :   S pr i nge r ,   2018 ,  doi :   10.1007/ 978 - 3 - 319 - 78503 - 5.   [ 37]   J . R .  - S a l a z a r ,  D at a  s c i e nc e  and anal y t i c s   w i t h P y t hon ,  B oc a  R a t on, F l or i da :   C h a pm a n a nd H a l l / C R C , 2017.   [ 38]   A .  T ha r w a t ,  “ C l a s s i f i c a t i on  a s s e s s m e nt   m e t hods , ”   A ppl i e d  C o m put i ng  and  I n f or m at i c s ,  vol .   17,  no.   1,  pp.   168 – 192,  2018,   doi :   10.1016/ j .a c i .2018.08.003.   [ 39]   M .  R a pp,   E .  L .   M e n c í a ,  J .  F ür nkr a nz ,  V .  L .  N guy e n,  a nd   E .  H ül l e r m e i e r ,  “ L e a r ni ng  gr a di e nt   boos t e d   m ul t i - l a be l   c l a s s i f i c a t i on   r ul e s ,”   M ac hi ne  L e ar ni ng and K now l e dg e  D i s c o v e r y  i n D at aba s e s , pp. 124 – 14 0, 2021, doi :  10.1007/ 978 - 3 - 030 - 67664 - 3_8.   [ 40]   H . S .   A . K ut ubi , “ O n  r a ndom i z e d c om pl e t e  bl oc k de s i gn,”   I nt e r nat i onal  J our nal  of  Sc i e nc e s :  B as i c   and A ppl i e d R e s e ar c h,   vol . 53,   no.  2 ,   pp. 230 - 243,   202 0 .   [ 41]   C .  M ol na r ,  I n t e r pr e t a bl e   m ac h i n e   l e ar n i ng  a  gu i de   f or   m ak i ng  bl ac k   b ox   m ode l s   e x pl ai n a b l e ,  V i c t o r i a ,  C a na da :   L e a n  P u bl i s h i ng ,  2 022 .    [ 42]   D .  A .  O t c he r e ,  M .  A boa gye ,  M .  A .  A bda l l a ,  a nd  T .  B .  B oa kye ,  “ E nha nc i ng  dr i l l i ng  f l ui d  l os t - c i r c ul a t i on  pr e di c t i on  us i ng  m ode l   Evaluation Warning : The document was created with Spire.PDF for Python.