I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   4 3 ,   No .   1 Ju ly   2 0 2 6 ,   p p .   259 ~ 27 0   I SS N:  2502 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 4 3 .i 1 . pp 259 - 27 0           259       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Ev a lua ting o v ers a mpling  methods   for imba la nced    Ara bic dialec ide ntif ica tion       M a ula na   I h s a n Ahm a d,  Ain a   M us d ho lifa h,  Arif   Nurwid y a nto ro   D e p a r t me n t   o f   C o mp u t e r   S c i e n c e   a n d   El e c t r o n i c s ,   F a c u l t y   o f   M a t h e ma t i c a n d   N a t u r a l   S c i e n c e s ,     U n i v e r si t a s   G a d j a h   M a d a ,   Y o g y a k a r t a ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed :   Feb   4 ,   2 0 2 6   R ev is ed :   J u n   2 ,   2 0 2 6   Acc ep ted :   J u n   2 7 ,   2 0 2 6       Th is  stu d y   i n v e stig a tes   wh e th e r   o v e rsa m p li n g   is  a   re li a b le  so l u ti o n   fo r   se v e re   c las imb a lan c e   in   Ara b i c   d iale c i d e n ti f ica ti o n .   Us in g   t h e   S h a m Co rp u s   a a   c o n tro ll e d   tes t b e d ,   we   d e m o n stra te   th a t   c o n v e n ti o n a l   o v e rsa m p li n g   o fte n   fa il in   h ig h - d ime n sio n a s p a rse   tex sp a c e s,  b u d e n sit y - b a se d   c lu ste fil terin g   c a n   e ffe c ti v e ly   re so lv e   th is.  We co n d u c a   c o m p a ra ti v e   e v a lu a ti o n   o S M OTE ,   c lu ste ri n g - g u i d e d   v a rian ts  (AST RA - S M OTE  a n d   S M OTE - RAD IAN T),   a n d   a   c o st - se n siti v e   Clas sWe ig h a p p r o a c h   u n d e a n   id e n ti c a 5 , 6 4 4 - d ime n sio n a fe a t u re - e n g i n e e rin g   p i p e li n e   u sin g   Li g h tG BM   a n d   XG Bo o st.   On   th e   h e l d - o u tes t   se t,   sta n d a rd   S M OT E   a n d   c las we ig h ti n g   fre q u e n tl y   d ist o rted   d e c isio n   b o u n d a ries ,   y ield i n g   i n c o n siste n g a in a c ro ss   m o d e ls.  In   c o n t ra st,  S M OTE - RAD IAN y ield a   st a ti stica ll y   sig n ifi c a n m a c ro - F 1   imp r o v e m e n fo Li g h tG BM   (0 . 8 5 3 9   v s.  0 . 8 5 2 6   o n   th e   o rig i n a d a ta)  with   a   larg e   e ffe c siz e   (r  =   0 . 5 1 1 ),   su c c e ss fu ll y   re sc u in g   m in o rit y   d iale c ts  with o u t   d e g ra d in g   t h e   m a jo rit y   c las s.  T h e se   fin d in g s   su g g e st  t h a wh il e   o v e rsa m p li n g   is  n o u n iv e rsa ll y   re li a b le  in   s p a rse   tex sp a c e s,  c o u p li n g   it   with   d e n sit y - b a se d   n o ise   n e u traliza ti o n   (R AD IAN T)  p ro v id e a   ro b u st  a n d   i n terp re tab l e   a lt e rn a ti v e   to   d e e p   lea rn i n g   m o d e ls.  Th i s   stu d y   p r o v i d e m e th o d o l o g ica c l a rit y   a n d   re p ro d u c i b le  g u id a n c e   f o fa ir  a n d   in c lu siv e   Ara b ic NLP   sy ste m s.   K ey w o r d s :   Ar ab ic  d ialec t id en tific atio n   C las s   im b alan ce   Featu r en g in ee r i n g   Ov er s am p lin g   m eth o d s   SMOT E   T ex t c lass if icatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ar if   Nu r wid y an t o r o   Dep ar tm en t o f   C o m p u ter   Scie n ce   an d   E lectr o n ics,  Facu lty   o f   Ma th em atics a n d   Natu r al  Sci en ce s   Un iv er s itas   Gad jah   Ma d a,   Yo g y ak ar ta,   I n d o n esia   E m ail:  ar if n @ u g m . ac . id       1.   I NT RO D UCT I O N   Ar ab ic  is   s p o k e n   b y   o v e r   4 0 0   m illi o n   p eo p le  ac r o s s   th Mid d le  E ast  an d   No r th   Af r ic a,   an d   its   r eg io n al  d ialec ts   ex h ib it  s u b s tan tial  v ar iatio n   in   v o ca b u lar y ,   m o r p h o lo g y ,   an d   s y n tax   [ 1 ] .   Acc u r ate  d ialec t   id en tific atio n   is   th er e f o r e   ess en tial  f o r   d o wn s tr ea m   n a tu r al   lan g u a g p r o ce s s in g   ( NL P)  a p p licatio n s   s u ch   as   s p ee ch   r ec o g n itio n ,   m ac h i n tr an s latio n ,   an d   s en tim en a n aly s is   [ 2 ] .   Sev er al  b en ch m ar k   co r p o r h av b ee n   d ev elo p e d   f o r   th is   task ,   in clu d in g   n u an ce d   Ar ab ic  d ialec id en tific atio n   ( NADI )   [ 3 ] ,   M u lti - Ar ab ic  d ialec t   ap p licatio n s   an d   r eso u r ce s   ( MA DAR )   [ 4 ] ,   an d   d ialec tal  Ar ab ic  r eso u r ce   o f   twee ts   ( DART )   [ 5 ] .   Am o n g   th em ,   th Sh am C o r p u s   [ 6 ]   p r o v id e s   f o cu s ed   test b ed   o n   f o u r   L e v an tin d ialec ts - J o r d an ian ,   L e b an ese,   Palest in ian ,   an d   Sy r ian - m ak in g   it p ar ticu la r ly   s u itab le  f o r   an aly zin g   class   im b alan ce   ef f ec ts .   Dialec id en tific atio n   is   ch alle n g in g   b ec a u s d ialec ts   d if f er   m ar k ed ly   f r o m   Mo d er n   Stan d ar d   Ar ab ic   ( MSA)   an d   ar p r im ar ily   o b s er v ed   in   in f o r m al  s o cial  m ed ia  tex [ 7 ] - [ 1 0 ] .   T witter   d ata  f u r th er   in tr o d u c e     n o is e   d u to   s h o r m ess ag e   len g th ,   o r t h o g r ap h ic  v a r iatio n ,   em o jis ,   h ash tag s ,   an d   c o d e - s witch in g   [ 1 1 ] .     m ajo r   d if f icu lty   o f   th Sh am C o r p u s   is   its   s k ewe d   class   d is tr ib u tio n Sy r ian   twee ts   ac co u n f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  4 3 ,   No .   1 ,   Ju ly   20 2 6 :   259 - 27 0   260   ap p r o x im ately   5 7 o f   t h d ata,   wh er ea s   J o r d an ia n   r e p r e s en ts   o n ly   1 0 . 6 [ 6 ] .   Su ch   im b alan ce   b iases   class if ier s   to war d   th m ajo r ity   class   an d   d eg r ad es  r ec o g n itio n   o f   m i n o r ity   d ialec ts   [ 1 2 ] .   H o wev er ,   it  r em ai n s   u n d er e x p lo r e d   h o co m m o n l y   u s ed   im b alan ce - h an d lin g   s tr ateg ies - r an g in g   f r o m   g en e r ativ o v er s am p lin g   to   co s t - s en s itiv weig h tin g - p er f o r m   in   h ig h ly   s p ar s e,   h i g h - d im en s io n al  tex t f ea tu r s p ac es.   Featu r e - b ased   r e p r esen tatio n s   co n tin u e   to   p lay   a   ce n tr al   r o l in   Ar ab ic   d ialec id e n tific atio n   d u to   th eir   in ter p r etab ilit y   a n d   co m p u tatio n al   ef f icien cy .   L e x i ca f ea tu r es  e f f ec tiv ely   ca p t u r d is cr im in ativ v o ca b u lar y   p atter n s   [ 1 2 ] - [ 1 4 ] ,   wh ile  lex ico n - b ased   an d   ce n tr o id - s im ilar ity   f ea tu r es  p r o v i d co m p le m en tar y   d ialec tal  cu es  [ 3 ] ,   [ 1 5 ] - [ 1 9 ] .   Alth o u g h   r ec en s tu d ies  in cr e asin g ly   r ely   o n   tr an s f o r m er - b ased   m o d els  s u ch   as   Ar aBER T ,   AR B E R T ,   an d   M AR B E R T   [ 2 0 ] - [ 2 3 ] ,   th ese  m o d els  ar c o m p u tatio n ally   e x p en s iv an d   r a r ely   f ac ilit ate  s y s tem atic  an aly s is   o f   im b alan ce - h an d lin g   m ec h a n is m s .   L ig h tweig h f ea tu r e - e n g in ee r ed   p ip elin es   th er ef o r r em ain   v al u ab le  f o r   tr an s p ar en in v esti g atio n   o f   m et h o d o lo g ical  ef f ec ts   u n d e r   f i x ed   r ep r esen tatio n s   an d   ev alu atio n   p r o to co ls   [ 2 4 ] - [ 2 7 ] .   T o   m itig ate  class   im b alan ce ,   o v er s am p lin g   tech n iq u es  s u ch   as  th s y n th etic  m in o r ity   o v e r - s am p lin g   T ec h n iq u ( SMOT E )   ar wid e ly   ad o p te d   [ 2 8 ] ,   [ 2 9 ] .   Ho wev e r ,   in   h ig h - d im e n s io n al  s p ac es  ( e. g . ,   th o u s an d s   o f   ex tr ac ted   lex ical  an d   m o r p h o lo g ical  f ea tu r es),   s tan d a r d   SMOT E   m ay   in tr o d u ce   n o i s y   o r   o v er la p p in g   in s tan ce s   th at  d is to r class   b o u n d a r ies.  C lu s ter in g - g u id e d   v ar ian ts ,   s u ch   as  KM ea n s   a n d   DB SC AN - b ased   f ilter s ,   attem p to   r estric s y n th etic  g en er atio n   t o   m in o r ity - d en s r eg io n s   o r   f ilter   o u tli er s   [ 2 5 ] ,   [ 3 0 ] - [ 3 4 ] .   Desp ite  th eir   p o p u lar ity ,   r ep o r ted   f in d in g s   o n   th ei r   ef f ec tiv en ess   in   Ar ab ic  d ialec id en tific atio n   r em ain   in co n s is ten t,  lar g ely   d u e   to   v ar iatio n s   in   e v alu atio n   p r o t o co ls   an d   th lack   o f   co m p ar is o n   ag ain s n o n - g en er ativ co s t - s en s itiv lear n in g .   T o   ad d r ess   th is   g ap ,   th p r e s en s tu d y   p r o v id es  th f ir s co n tr o lled   ev alu atio n   o f   o v er s am p lin g   m eth o d s   f o r   Ar ab ic  d ialec id en tific atio n   th at  s y s tem atic ally   co m p ar es  SMOT E   an d   clu s ter in g - g u id e d   v ar ian ts   ( ASTRA - SMOT E   a n d   SMOT E - R ADI ANT )   alo n g s id co s t - s en s itiv C las s W eig h co m p ar ato r   u n d er   an   id en tical   f ea tu r e - en g in ee r in g   p ip elin e.   B y   f i x in g   t h c o r p u s ,   p r e p r o ce s s in g   s tep s ,   f ea tu r e   r ep r esen tatio n ,   a n d   ev alu ati o n   p r o to c o l,  th is   wo r k   ef f ec tiv ely   d is en tan g les  th im p ac o f   i m b alan ce   h an d lin g   f r o m   lear n er - s p ec if ic  in d u ctiv b iases   in   s p ar s tex t sp ac es.   Sp ec if ically ,   t h is   s t u d y   co n t r i b u tes   b y ( 1 )   c o n d u cti n g   u n if i ed   c o m p a r at iv ev al u a ti o n   i n   h i g h l y   s p a r s e   5 , 6 4 4 - d im en s io n a l   f ea t u r e   s p ac e   u s i n g   L i g h tGB M   a n d   XGB o o s t;   ( 2 )   a p p l y i n g   r ig o r o u s   b o o ts tr a p p in g   s tatis t ic al  v ali d at io n   t o   m e asu r e   e f f ec t   s i ze s   o n   a   h el d - o u t   t est  s et;   ( 3 )   ag g r e g a ti n g   f e at u r i m p o r t an ce   at   t h e   b l o c k   le v e t o   i n t er p r et   t h e   m o d els'   d ec is i o n - m a k i n g   p r o ce s s es;   an d   ( 4 )   d e m o n s tr ati n g   th at   d e n s it y - b ase d   f ilt e r i n g   ( R AD I AN T )   s ig n i f i ca n tl y   o u tp e r f o r m s   co n v e n t io n a l   SMOT E   a n d   cl ass   wei g h ti n g .   R ath er   th a n   m e r el y   p r o p o s i n g   a   n ew  al g o r i th m ,   t h is   wo r k   p r o v i d es   m et h o d o l o g ic al  cl ar it y   b y   i d e n ti f y i n g   wh e n   o v e r s am p li n g   y ie ld s   s t ab le   m in o r it y   im p r o v e m e n ts   a n d   w h en   it   d e g r a d es   p e r f o r m a n ce   d u to   l ea r n e r - f e at u r e   i n te r a cti o n s .   T h r em ai n d er   o f   th is   p a p er   is   o r g a n ized   as  f o llo ws.  S ec tio n   2   d escr ib es  th e   d atas et,   f ea tu r e   r ep r esen tatio n s ,   r e b alan cin g   s tr ateg ies,  lear n i n g   m o d els,  an d   e v alu atio n   p r o to co l.   Sectio n   3   p r esen ts   th e   ex p er im en tal  r esu lts ,   s tatis tica an aly s is ,   an d   in ter p r etativ d is cu s s io n   o f   f in d in g s .   Sectio n   4   co n cl u d es  with   k ey   f in d in g s ,   lim itatio n s ,   an d   d ir ec tio n s   f o r   f u tu r r esear ch .       2.   M E T H O D   2 .1 .   P r o blem   s et up   a nd   da t a   W e   i n v e s t i g a t m u l ti - c l as s   Ar a b i c   d i a le c i d e n t i f i c a ti o n   u n d e r   s e v e r i m b a l a n ce   u s i n g   th e   S h a m C o r p u s   [ 6 ] ,   c o m p r is i n g   6 6 , 2 4 7   t w e e ts   a c r o s s   f o u r   L e v a n t i n e   d i a l e ct s   T a b l e   1 .   U s e d   a s   r e l e a s e d   t o   p r e s e r v r e a l i s t i c   n o is e   a n d   b i as e s   [ 6 ] ,   th e   co r p u s   i s   h e a v il y   s k e w e d :   S y r i a n   t w ee t s   d o m i n at e   ( 5 7 . 0 % ) ,   w h i l e   J o r d a n i a n   a c c o u n t s   f o r   o n l y   1 0 . 6 % .   T o   p r e v e n t   d a t a   l e a k a g e ,   w e   s p l i t   t h e   d a t a   i n t o   a   h e l d - o u t   t e s t   s e t   ( 2 5 % )   a n d   a   t r a i n i n g   s e t   ( 7 5 % ) ,   s u b d i v i d i n g   t h e   l att e r   ( 8 0 / 2 0 )   f o r   m o d e l   f i t t i n g   a n d   v a l i d a t i o n .   O u r   f i v e - s t a g p i p e l i n e   F i g u r e   1   e n c o m p a s s es   t e x t   p r e p r o c e s s i n g ,   h i g h - d i m e n s i o n a l   f e a t u r e   e n g i n e e r i n g ,   i m b a l a n c e   h a n d l i n g   ( o r i g i n a l ,   d a t a - l e v e o v e r s a m p l i n g ,   a n d   a l g o r i t h m - l ev e l   w e i g h t i n g ) ,   g r a d i e n t   b o o s t in g   t r a i n i n g ,   a n d   b o o t s t r a p   s t a t is t i c a l   e v al u a t i o n .     2 . 2 .   P re pro ce s s ing   T o   r e d u c e   o r th o g r a p h ic  v ar iat io n ,   we  ap p ly   lig h n o r m aliza tio n   ( r em o v al  o f   d iacr itics   an d   tatwee l)   an d   ag g r ess iv n o r m aliza tio n   ( e. g . ,   ه     ة   , ي     ى   , ا     إ/ أ/ آ ) .   No n - lin g u is tic  ar tifa cts  s u ch   a s   UR L s ,   m en tio n s ,   h ash tag s ,   d ig its ,   an d   s y m b o ls   ar r em o v ed   u s in g   r e g u l ar   ex p r ess io n s .   Sto p wo r d   h an d lin g   is   ap p lied   s elec tiv ely   u s in g   co m p r eh en s iv Ar ab ic  s to p wo r d   lis co m b in e d   with   to p ic - s p ec if ic  s to p wo r d s   ( e. g . ,   co u n tr y   an d   city   n am es lik " ن ام ع , ان ب ل" , "اير و س ")   to   p r ev en t   th m o d el  f r o m   ex p lo itin g   g e o g r ap h ical  b iases .     2 . 3 .   F e a t ure  e ng ineerin g   W e n g i n e e r e d   co m p r eh en s iv e,   m u lti - b lo ck   f ea t u r r ep r e s en tatio n   co m p r is in g   5 , 6 4 4   d i m en s io n s .   T h is   ex tr em d im en s io n al ity   r ef lects  th in h e r en s p ar s ity   o f   te x d ata,   in ten tio n ally   te s tin g   th lim its   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E va lu a tin g   o ve r s a mp lin g   meth o d s   fo r   imb a la n ce d   A r a b ic  d ia lect  id en tifi ca tio n   ( Ma u la n a   I h s a n   A h ma d )   261   s tan d ar d   o v e r s am p lin g   alg o r ith m s   an d   ju s tify in g   th n ee d   f o r   clu s ter - b ased   f ilte r in g .   T o   m an ag e   d im en s io n ality   an d   n o is e,   ad a p tiv f ea tu r s elec tio n   was  ap p lied .   L ex ical  wo r d   f ea tu r es  ( T F - I DF  an d   B M2 5 )   wer f ilter ed   u s in g   th e   χ²  ( C h i - s q u ar e)   test ,   wh ile   ch ar ac ter - lev el  n - g r am s   wer s tr ictly   f ilter ed   u s in g   m u tu al   in f o r m atio n   ( MI ) .   Ad d itio n al ly ,   o u t - of - f o l d   ( OOF)   s tack in g   p r o b ab ilit ies  f r o m   L o g is tic  R eg r ess io n   an d   L in ea r SVC   wer g en er ated   u s in g   5 - f o ld   s tr atif ied   c r o s s - v alid atio n .   T o   en s u r e   s tab ilit y   an d   p r ev e n d ata   leak ag e,   th ese  OOF  p r ed icti o n s   wer a v er ag e d   ac r o s s   two   d if f e r en r an d o m   s ee d s   i n ter n ally   with in   th e   tr ain in g   s et.   T h c o m p lete  f u n ctio n al  b lo ck s   ar s u m m ar ized   in   T ab le  2 .       T ab le  1 .   Data s et  d is tr ib u tio n   i n   th s h am i d ialec t c o r p u s   D i a l e c t   Jo r d a n   Le b a n o n   P a l e s t i n e   S y r i a   To t a l   Tw e e t s   7 , 0 1 7   1 0 , 8 2 9   1 0 , 6 4 2   3 7 , 7 5 9   6 6 , 2 4 7   P e r c e n t a g e   ( %)   1 0 . 6   1 6 . 3   1 6 . 1   5 7 . 0   1 0 0           Fig u r 1 Sy s tem   o v er v iew  o f   th p r o p o s ed   p ip elin e       T ab le  2 .   Featu r b lo ck s   s u m m ar y   B l o c k   D i me n si o n   D e scri p t i o n   Le x i c a l   ( TF - I D F   B M 2 5 )   2 4 2 0   W o r d   a n d   c h a r _ w b   n - g r a ms,   a g g r e ssi v e l y   f i l t e r e d   u s i n g   χ ² se l e c t i o n   t o   r e t a i n   t h e   mo s t   d i s c r i m i n a t i v e   l e x i c a l   p a t t e r n s.   C h a r a c t e r   N - g r a ms  ( M I )   3 , 1 5 0   C h a r a c t e r   n - g r a ms ( si z e s   2 - 3   a n d   4 - 5 )   st r i c t l y   f i l t e r e d   u s i n g   M u t u a l   I n f o r mat i o n   ( M I )   t o   c a p t u r e   s u b - w o r d   d i a l e c t   m a r k e r s .   S t r u c t u r a l   & St a t s   9   D o c u me n t   l e n g t h ,   t o k e n   c o u n t s,  t y p e - t o k e n   r a t i o ,   a n d   s t o p w o r d   st a t i s t i c s.   M o r p h o l o g i c a l   S i g n a l s   34   S h a m i - sp e c i f i c   p r e f i x e s/ s u f f i x e s ( e . g . ,   ا م   , م ع   , ب ) ,   e x p l i c i t   r u l e s ,   a n d   mo r p h o l o g i c a l   w o r d   i n t e r a c t i o n s.   D i st r i b u t i o n a l   P r i o r s   5   C o l l o c a t i o n   d o mi n a n c e   s c o r e s   a n d   N B - S V M   l o g - c o u n t   r a t i o s.   O O F   S t a c k i n g   I n t e r a c t i o n s   26   O u t - of - f o l d   ( O O F )   p r e d i c t i o n   p r o b a b i l i t i e s   f r o Lo g i st i c   R e g r e ss i o n   a n d   Li n e a r S V C ,   c o m b i n e d   w i t h   t h e i r   i n t e r a c t i o n   t e r ms   ( p r o d u c t ,   d i f f ,   ma x ) .       2 . 4 .   I m ba l a nce  ha nd lin g   s t r a t eg ies   Fiv im b alan ce - h an d lin g   s ce n ar io s   ar e   ev alu ate d   T a b le  3 .   R esam p lin g   is   ex p licitly   ex ec u ted   ex clu s iv ely   o n   th s u b - tr ain i n g   d ata  p r io r   to   class if ier   tr ain in g ,   k ee p in g   th v alid atio n   a n d   test   s ets co m p letely   r ep r esen tativ o f   th r ea l - wo r ld   d is tr ib u tio n .   T o   p r ev en ex ce s s iv n o is g en er atio n ,   th s am p lin g _ s tr ateg y   f o r   all  g en er ativ m eth o d s   was  s tr ict ly   tu n ed   v ia  g r id   s ea r ch ,   ca p p in g   s y n th etic  tar g ets  to   ap p r o x im ately   7 , 8 9 9   s am p les  f o r   J o r d a n ian ,   an d   1 9 , 4 0 0   f o r   L eb an ese  an d   Palest in ian .   ASTRA - SMOT E   in tr o d u ce s   p r e - f ilter in g   s tag e,   r estrictin g   s y n th esis   ex clu s iv ely   to   m in o r ity   clu s ter s   ex ce ed i n g   5 0 p u r ity   t h r esh o ld .   C o n v er s ely ,   SMOT E - R ADI ANT   ac ts   as  p o s t - f ilter it  allo ws  s tan d ar d   SMOT E   g en er atio n   b u s u b s eq u e n tly   ap p lies   DB SC AN  ex clu s iv ely   t o   th s y n th etic  d ata  ( clea n _ o n l y _ s y n th   T r u e)   to   n eu tr alize   o v er lap p in g   n o is at  in ter - class   d ec is i o n   b o u n d ar ies.  T h e   C las s W eig h s ce n ar io   is   in clu d ed   as  n o n - g en er ativ e   co m p ar ato r   to   ass ess   wh eth er   p er f o r m an ce   s h if ts   ar is e   f r o m   d ata  au g m e n tatio n   o r   m e r ely   lo s s   r ewe ig h tin g .   Fig u r 2   illu s tr ates  th wo r k f lo ws  o f   th e   ev alu ate d   o v er s am p lin g   m et h o d s   Fig u r 2 ( a)   SMOT E ,   Fig u r 2 ( b )   ASTRA - SMOT E ,   an d   Fig u r 2 ( c)   SMOT E - R ADI ANT .   W h ile  all   m eth o d s   g en er ate  b alan ce d   tr ain in g   d ataset,   ASTRA - SMOT E   in tr o d u ce s   clu s ter in g   b ef o r e   o v er s am p lin g ,   a n d   SMOT E - R ADI ANT   ad d itio n ally   r em o v es n o is y   s y n th etic  s am p les.       T ab le  3 .   I m b alan ce   h an d lin g   s tr ateg ies ev alu ated   S c e n a r i o   D e scri p t i o n   K e y   p a r a me t e r s   O r i g i n a l   U ses  o r i g i n a l   i m b a l a n c e d   d a t a   w i t h o u t   r e sa mp l i n g .   -   S M O TE   I n t e r p o l a t e s   mi n o r i t y   s a m p l e c o n v e n t i o n a l l y .   k - n e i g h b o r s =   5   A S TR A - S M O TE   A p p l i e M i n i B a t c h K M e a n c l u st e r i n g ;   g e n e r a t e s s y n t h e t i c   d a t a   s t r i c t l y   i n si d e   " safe"   m i n o r i t y - d e n se  c l u s t e r s.   n _ c l u st e r s =   1 2 8 ,   s a f e _ t h r e s h o l d   =   0 . 5 ,   a l p h a _ m o d e   =   f u l l ,   k - n e i g h b o r =   5   S M O TE - R A D I A N T   P e r f o r ms S M O TE  f o l l o w e d   b y   d e n s i t y - b a se d   f i l t e r i n g   ( D B S C A N )   t o   r e m o v e   o v e r l a p p i n g   s y n t h e t i c   n o i se   a t   c l a ss  b o u n d a r i e s .   M e t r i c   =   c o s i n e ,   e p =   a u t o ,   mi n _ sa mp l e =   a u t o ,   c l e a n _ o n l y _ s y n t h   =   Tr u e   C l a s sW e i g h t   C o s t - se n si t i v e   l e a r n i n g   u s i n g   s t a n d a r d   i n v e r se - f r e q u e n c y   c l a ss   w e i g h t s .   c l a ss _ w e i g h t = " b a l a n c e d "   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  4 3 ,   No .   1 ,   Ju ly   20 2 6 :   259 - 27 0   262       Fig u r 2 .   Ov e r s am p lin g   s tr ate g ies ( a)   SMOT E ,   ( b )   ASTRA - SMOT E ,   an d   ( c)   SMOT E - R ADI ANT       2 . 5 .   M o dels ,   t ra ini n g ,   a nd   ev a lua t io n pro t o c o l   W em p lo y   two   g r ad ien t   b o o s tin g   class if ier s L ig h tGB ( leaf - wis g r o wth )   an d   XGBo o s ( lev el - wis g r o wth ) .   Op tim al  o v er s am p lin g   p ar am ete r s   wer s ele cted   b y   m ax im izin g   th h a r m o n ic  m ea n   o f   b o th   m o d els'   v alid atio n   m ac r o - F1   s co r es.  C la s s if ier   h y p er p ar am eter s   wer s u b s eq u en tly   tu n ed L ig h tGB ( n u m _ lea v es=2 5 ,   co ls am p le_ b y tr ee =0 . 4 ,   m in _ c h ild _ s am p l es=5 0 ,   L 1 /L2   r eg u lar izatio n = 1 . 0 )   an d   XGBo o s ( m ax _ d e p th =8 ,   co ls am p le_ b y tr ee =0 . 3 ,   m in _ ch ild _ weig h t=3 0 ,   L 1 /L2   r eg u lar izatio n = 1 . 5 ) .   B o th   m o d els  ut ilized   0 . 0 1   lear n in g   r ate  an d   1 5 0   ea r ly   s to p p in g   r o u n d s .   T o   en s u r e   s tatis tical  r ig o r   o n   th h eld - o u test   s et  ( 1 6 , 5 6 2   twee ts ) ,   we  p er f o r m ed   1 , 0 0 0   b o o ts tr ap   iter atio n s   ( s am p lin g   with   r ep lace m en t)   o n   th p r e d ictio n s .   Pair ed   two - s id ed   W ilco x o n   s i g n ed - r an k   t ests   an d   C o h en s   ef f ec s izes  ( r )   wer ap p lied   to   th r esu ltin g   Ma cr o - F1   d is tr ib u tio n s .   T h is   p r o t o c o s tr ictly   ev alu ates  wh eth er   p er f o r m an ce   s h if ts   ar s tatis t ically   s ig n if ican an d   p r ac tically   m ea n in g f u l,  en s u r in g   o u t - of - s am p le   v alid ity   an d   p r ev e n tin g   P - h ac k in g .       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .   P er f o r m a nce  a na ly s is   T ab le  4   r ep o r ts   th h eld - o u test - s et  p er f o r m an ce   in   ter m s   o f   m ac r o - p r ec is io n ,   m ac r o - r ec all,   m ac r o - F1 ,   an d   ac cu r ac y   f o r   th ev al u ated   s tr ateg ies.  T h m o d els  tr ain ed   o n   th o r ig in al  d ata  alr ea d y   ac h iev v e r y   h ig h   p er f o r m an ce   d u to   th r o b u s t 5 , 6 4 4 - d im e n s io n al  f ea tu r en g in ee r in g   p ip elin e.   L ig h t GB an d   XG B o o s t   in itially   ac h iev ed   m ac r o - F1   s c o r es o f   0 . 8 5 2 6   an d   0 . 8 5 1 7 ,   r es p ec tiv ely   ( b o o ts tr ap   m ea n s : 0 . 8 5 2 5   a n d   0 . 8 5 1 6 ) .       T ab le  4 .   T est - s et  p er f o r m an ce   o f   L ig h tGB an d   XGBo o s t u n d er   f i v s ce n ar io s   M o d e l   R e b a l a n c i n g   s t r a t e g y   P r e c i s i o n   R e c a l l   M a c r o - F1   A c c u r a c y   Li g h t G B M   O r i g i n a l   0 . 8 6 2 7   0 . 8 4 3 9   0 . 8 5 2 6   0 . 8 9 6 3   Li g h t G B M   S M O TE   0 . 8 5 8 4   0 . 8 4 6 3   0 . 8 5 1 8   0 . 8 9 6 1   Li g h t G B M   A S TR A - S M O TE   0 . 8 6 0 3   0 . 8 4 4 3   0 . 8 5 1 7   0 . 8 9 5 9   Li g h t G B M   S M O TE - R A D I A N T   0 . 8 6 2 0   0 . 8 4 6 9   0 . 8 5 3 9   0 . 8 9 7 4   Li g h t G B M   C l a s sW e i g h t   0 . 8 4 3 1   0 . 8 5 7 8   0 . 8 5 0 2   0 . 8 9 3 1   X G B o o st   O r i g i n a l   0 . 8 6 2 0   0 . 8 4 2 9   0 . 8 5 1 7   0 . 8 9 6 0   X G B o o st   S M O TE   0 . 8 6 0 2   0 . 8 4 5 4   0 . 8 5 2 4   0 . 8 9 6 4   X G B o o st   A S TR A - S M O TE   0 . 8 6 0 4   0 . 8 4 3 0   0 . 8 5 1 1   0 . 8 9 5 6   X G B o o st   S M O TE - R A D I A N T   0 . 8 6 1 8   0 . 8 4 4 5   0 . 8 5 2 5   0 . 8 9 6 4   X G B o o st   C l a s sW e i g h t   0 . 8 4 2 7   0 . 8 5 8 7   0 . 8 5 0 4   0 . 8 9 3 4       I n   th is   h ig h - d im en s io n al   s p ac e,   th ad d itio n   o f   s tan d ar d   SMOT E   o r   clu s ter in g - r estricte d     ASTRA - SM OT E   g en er ally   d eg r ad ed   th m ac r o - F1   p e r f o r m an ce   f o r   L ig h tGB M.   Gen er atin g   s y n th etic  tex in s tan ce s   in   s u ch   s p ar s s p a ce   o f ten   i n tr o d u ce s   o v er la p p in g   n o is th at  d is to r ts   p r ec is d ec is io n   b o u n d ar ies.   Ho wev er ,   SMOT E - R ADI AN T   s u cc ess f u lly   b r o k th is   b o ttlen ec k ,   ac h iev in g   th h ig h est  n u m er ical  m ac r o - F1   ( 0 . 8 5 3 9 )   a n d   ac c u r ac y   ( 8 9 . 7 4 %)  ac r o s s   all  L ig h tGB co n f ig u r atio n s .   B y   tr ea tin g   s y n th eti d ata  g en er atio n   as  two - s tep   p r o ce s s - wh er e   DB S C AN  ac ts   as  p o s t - f ilter   to   n eu tr alize   o v er la p p in g   a n o m alies - R ADI ANT   allo ws th m o d el  to   s af ely   e x p lo it a u g m en ted   m in o r it y   r eg io n s   with o u t b o u n d ar y   d e g r ad ati o n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E va lu a tin g   o ve r s a mp lin g   meth o d s   fo r   imb a la n ce d   A r a b ic  d ia lect  id en tifi ca tio n   ( Ma u la n a   I h s a n   A h ma d )   263   Fo r   XGBo o s t,  th im p ac t   o f   o v er s am p lin g   was  m o r n u an ce d .   W h ile  SMOT E   an d   SMOT E - R ADI ANT   b o th   y ield ed   id en tical  m ar g in al  g ain s   in   m ac r o - F1   ( 0 . 8 5 2 5 ) ,   th o v er all  p er f o r m an ce   o f   XGBo o s r em ain ed   c o n s is ten tly   lo wer   t h an   th at  o f   L ig h tGB M.   T h is   s u g g ests   th at  th lev el - wis tr e g r o wth   s tr ateg y   o f   XGBo o s is   g en er ally   m o r e   s en s itiv an d   less   o p tim al  at   h an d lin g   s y n th etic  p er tu r b atio n s   in   h ig h ly   s p a r s lex ical  s p ac es c o m p ar ed   t o   L i g h tGB M' s   leaf - wis g r o wth .   I n ter esti n g ly ,   th c o s t - s en s it iv ap p r o ac h   ( C lass W eig h t )   ex h ib ited   th lo west  m ac ro - F1   an d   ac cu r ac y   ac r o s s   b o th   lear n er s .   W h ile  it  s u cc ess f u lly   f o r ce d   th m o d els  to   p ay   atten tio n   t o   m in o r ity   class es    ( as  ev id en ce d   b y   th e   h ig h est  r ec all  s co r es),   it  s ev er ely   c o m p r o m is ed   m ac r o - p r ec is io n .   T h is   h ig h lig h ts   cr itical  lim itatio n   o f   n o n - g en er a tiv r ewe ig h tin g   in   h ig h ly   o v er lap p in g   lex ical  s p ac es:  i s im p ly   s h if ts   th e   d ec is io n   th r esh o ld ,   in cr ea s in g   m in o r ity   r ec o g n itio n   at  th d i r ec t e x p en s o f   th m ajo r it y   cla s s .     3 . 2 .   E rr o pa t t er ns   a nd   per - cla s s   perf o rm a nce   T o   e v a l u a t e   d i al e c t - le v e l   p e r f o r m a n c e   s h i f ts ,   w e   a n a l y z e   t h c o n f u s i o n   m a t r i c es   Fi g u r e   3   a lo n g s i d e   t h e   p e r - c l a s s   F 1 - s c o r e s   T a b l e   5   a n d   F i g u r e   4.   I n   t h e   L i g h t GB M   ( o r i g i n a l )   c o n f i g u r a t i o n ,   t h e   m o d e l   p e r f o r m s   r o b u s t l y   b u t   n a t u r a ll y   f a v o r s   t h e   m a j o r i t y   S y r i a n   cl a s s ,   y i e l d i n g   l o w e r   t r u e   p o s it i v es  f o r   t h e   s e v e r el y   u n d e r r e p r e s e n t e d   J o r d a n i a n   d ia l e c t   ( 1 , 3 1 9   o u t   o f   1 , 7 5 4 ) .   A   c r i t i c al   f i n d i n g   e m e r g e s   w h e n   a p p l y i n g   t h e   c o s t - s e n s i t i v e   C l as s W ei g h t   s t r a t e g y .   W h i l e   it   s u c ce s s f u l l y   i n c r e as es m i n o r i t y   r e c a l l - J o r d a n i a n   t r u e   p o s i t i v es   r i s e   f r o m   1 , 3 1 9   t o   1 , 3 9 1 - i t   i n d is c r i m i n ate l y   s h i f t s   t h g l o b a l   d ec i s i o n   b o u n d a r y .   T h i s   s e v e r e l y   d a m a g es   t h m a j o r it y   c la s s ,   d r o p p i n g   c o r r e c t   S y r i a n   p r e d i ct i o n s   f r o m   9 , 0 5 9   ( o r i g i n a l )   t o   8 , 8 3 0 .   C o n s e q u e n t l y ,   t h is   i n f l u x   o f   f a l s e   p o s it i v es   c a u s es   a   p r e c is i o n   c o l la p s e ,   d r a s t ic a l l y   d r o p p i n g   t h e   J o r d a n i an   F 1 - s c o r e   f r o m   0 . 7 9 4 1   t o   0 . 7 8 5 0   i n   L i g h t G B M .   T h i s   d e m o n s t r a t es   t h at   n o n - g e n e r a t i v e   c o s t - s e n s it i v e   le a r n i n g   m e r e l y   c a n n i b a li z es   t h e   m a j o r i t y   c l ass   r a t h e r   t h a n   i m p r o v i n g   t r u e   s e p a r a b i li t y .   I n   c o n t r a s t ,   g e n e r a t i v e   a p p r o a c h e s   s h o w   d i s t i n c t   m o d e l - d e p e n d e n t   b e h a v i o r s .   F o r   L i g h t G B M ,   u n c o n s t r a i n e d   s t a n d a r d   S MO T E   a n d   c l u s te r - r e s t r i c t e d   AS T R A - S MO T E   i n t r o d u c e   o v e r l a p p i n g   s y n t h e ti c   a n o m a l i e s   t h a t   s l i g h t l y   d e g r a d e   t h e   o v e r a l l   p e r - c l as s   b a la n c e.   H o w e v e r ,   S M OT E - R A D I ANT   p r o v i d e s   a   m u c h   s a f e r   a n d   m o r e   e f f e ct i v e   m i n o r i t y - m a j o r i t y   t r a d e - o f f .   B y   u ti l i z i n g   D B SC A N   t o   f i lt e r   o u o v e r l a p p i n g   n o i s e ,   R A D I A N T   p r o v i d e s   l o c a li z ed   s y n t h e ti c   s u p p o r t .   T h is   al l o w s   L i g h tG B M   t o   es t a b li s h   t i g h t e r   d e c is i o n   b o u n d a r i e s ,   i m p r o v i n g   J o r d a n i a n   a n d   L e b a n e s e   r e c o g n i t i o n   w i t h o u t   a g g r e s s i v el y   c a n n ib a l i z i n g   t h e   S y r i a n   m a j o r i t y   c l ass .   F i g u r e   3 ( a )   s h o w s   t h e   o r i g i n al  L i g h t GB M   cl as s i f i c a ti o n   p a t te r n .   F i g u r e   3 ( b )   h i g h l i g h ts   t h b a l a n c e d   i m p r o v e m e n t   a c h i e v e d   b y   S MO T E - R A D I A NT .   F i g u r e   3 ( c )   il l u s t r at es   t h e   t r a d e - o f f   i n t r o d u ce d   b y   C l as s W e i g h t.  F i g u r e   3 ( d )   s h o w s   t h e   o r i g i n a l   X G B o o s t   c l ass i f i ca t i o n   p a t t e r n .   F i g u r e   3 ( e )   d e m o n s t r a t e s   i m p r o v e d   c l a s s   b a l a n ce   w i t h   SM O T E - R A D I A N T .   F i g u r e   3 ( f )   i l l u s t r at e s   t h e   s t r o n g e r   b i a s   i n t r o d u c e d   b y   C l a s s W e i g h t .             ( a )   ( b )   ( c )           ( d )   ( e )   (f)     F i g u r e   3 .   C o n f u s i o n   m a t r i c es   co m p a r i n g   d i a l e c t   c la s s i f ic a t i o n   p e r f o r m a n c e   u n d e r   d i f f e r e n t   b a l a n c i n g   s t r at e g i es   ( a )   L i g h t G B M   ( O r i g i n al ) ,   ( b )   L i g h t G B M   w it h   S MO T E - R A D I A N T ,   ( c )   L i g h tG B M   w it h   c l ass w e i g h t ,     ( d )   X G B o o s t   ( O r i g i n al ) ,   ( e )   XG B o o s t   w it h   S MO T E - R A D I AN T ,   a n d   ( f )   X G B o o s t   wi t h   c la s s w e i g h t .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  4 3 ,   No .   1 ,   Ju ly   20 2 6 :   259 - 27 0   264   Fo r   XGBo o s t ,   all  r eb alan cin g   s tr ateg ies - wh eth er   g en er ativ o r   co s t - s en s itiv e - s tr u g g le  to   c o n s is ten tly   im p r o v th s e v e r e l y   im b ala n ce d   J o r d an ia n   class .   E v en   with   R ADI ANT ,   XG B o o s t’ s   lev el - wis g r o wth   s h o ws  h ig h er   s en s itiv ity   to   s y n th etic  p er tu r b atio n s ,   f ailin g   to   f u lly   d is en tan g le   th e   b o u n d ar ies  in   th e     5 , 6 4 4 - d im en s io n al  s p ac e.   Acr o s s   all  m o d els  an d   s tr ateg ies,  co n f u s io n   b etwe en   L eb an ese  an d   Palest in ian   r em ai n s   th m o s f r eq u e n b id ir ec tio n al  e r r o r .   T h is   r ef lects  th s tr o n g   le x ical,   m o r p h o lo g ical,   an d   g eo g r ap h ical  o v er l a p   b etwe en   th ese  two   L e v an tin e   d ialec ts ,   co u p le d   with   th e   lim ited   co n tex t u al  cu es  av aila b le  in   s h o r T witter   tex ts .   Ov er all,   th is   co m b in ed   an aly s is   co n f ir m s   th at  wh ile  C las s W eig h r ed is tr ib u t es  m is cla s s if icatio n   p atter n s   b y   s ac r if icin g   m a jo r ity - class   p r ec i s io n ,   d en s i ty - g u id e d   o v e r s am p lin g   ( S MO T E - R ADI ANT )   g en u in ely   r ef in es in ter - class   d ec is io n   b o u n d ar ies f o r   leaf - wi s g r ad ien t b o o s tin g   m o d els.       T ab le  5 .   Per - class   F1 - s co r o n   th test   s et  ( Δ   r elativ to   o r ig i n al)   M o d e l   D i a l e c t   O r i g i n a l   S M O TE  ( Δ)   A S TR A - S M O TE   ( Δ)   S M O TE - R A D I A N ( Δ)   C l a s sW e i g h t   ( Δ)   Li g h t G B M   Jo r d a n   0 . 7 9 4 1   0 . 7 9 0 7   ( 0 . 0 0 3 4 )   0 . 7 9 1 3   ( 0 . 0 0 2 8 )   0 . 7 9 4 6   ( + 0 . 0 0 0 5 )   0 . 7 8 5 0   ( 0 . 0 0 9 1 )   Le b a n o n   0 . 8 3 8 4   0 . 8 4 2 2   ( + 0 . 0 0 3 8 )   0 . 8 3 9 1   ( + 0 . 0 0 0 7 )   0 . 8 4 5 9   ( + 0 . 0 0 7 5 )   0 . 8 3 9 0   ( + 0 . 0 0 0 6 )   P a l e s t i n e   0 . 8 2 8 7   0 . 8 2 8 9   ( + 0 . 0 0 0 2 )   0 . 8 2 6 5   ( 0 . 0 0 2 2 )   0 . 8 2 6 4   ( 0 . 0 0 2 3 )   0 . 8 2 8 0   ( 0 . 0 0 0 7 )   S y r i a   0 . 9 4 9 2   0 . 9 4 5 3   ( 0 . 0 0 3 9 )   0 . 9 4 9 8   ( + 0 . 0 0 0 6 )   0 . 9 4 8 5   ( 0 . 0 0 0 7 )   0 . 9 4 8 9   ( 0 . 0 0 0 3 )   M a c r o - F1   0 . 8 5 2 6   0 . 8 5 1 8   ( 0 . 0 0 0 8 )   0 . 8 5 1 7   ( 0 . 0 0 0 9 )   0 . 8 5 3 9   ( + 0 . 0 0 1 3 )   0 . 8 5 0 2   ( 0 . 0 0 2 4 )   X G B o o st   Jo r d a n   0 . 7 9 0 7   0 . 7 9 3 1   ( + 0 . 0 0 2 4 )   0 . 7 8 9 5   ( 0 . 0 0 1 2 )   0 . 7 9 2 2   ( + 0 . 0 0 1 5 )   0 . 7 8 4 5   ( 0 . 0 0 6 2 )   Le b a n o n   0 . 8 3 9 4   0 . 8 4 0 8   ( + 0 . 0 0 1 4 )   0 . 8 3 9 5   ( + 0 . 0 0 0 1 )   0 . 8 4 2 5   ( + 0 . 0 0 3 1 )   0 . 8 4 0 3   ( + 0 . 0 0 0 9 )   P a l e s t i n e   0 . 8 2 7 5   0 . 8 2 7 6   ( + 0 . 0 0 0 1 )   0 . 8 2 5 8   ( 0 . 0 0 1 7 )   0 . 8 2 6 4   ( 0 . 0 0 1 1 )   0 . 8 2 7 3   ( 0 . 0 0 0 2 )   S y r i a   0 . 9 4 9 2   0 . 9 4 7 6   ( 0 . 0 0 1 6 )   0 . 9 4 9 5   ( + 0 . 0 0 0 3 )   0 . 9 4 8 8   ( 0 . 0 0 0 4 )   0 . 9 4 9 4   ( + 0 . 0 0 0 2 )   M a c r o - F1   0 . 8 5 1 7   0 . 8 5 2 4   ( + 0 . 0 0 0 7 )   0 . 8 5 1 1   ( 0 . 0 0 0 6 )   0 . 8 5 2 5   ( + 0 . 0 0 0 8 )   0 . 8 5 0 4   ( 0 . 0 0 1 3 )           Fig u r 4 .   Per - class   F1 - s co r o f   L ig h tGB an d   XGBo o s t u n d er   d if f e r en im b ala n ce - h a n d li n g   s tr ateg ies L ig h tGB ex h ib its   b alan ce d   i m p r o v e m en ts   ac r o s s   m in o r ity   d ialec ts   u n d er   SMOT E - R ADI ANT ,   s u cc ess f u lly   av o id in g   th p r ec is io n   co llap s s ee n   in   C lass W eig h t   an d   XGBo o s t stru g g les with   b o u n d ar y   d is to r tio n   ac r o s s   all  g en er ativ an d   c o s t - s en s itiv m eth o d s       3. 3 .   B lo c k - lev el  f e a t ure  im p o rt a nce   Giv en   th ex tr e m s p ar s ity   o f   th 5 , 6 4 4 - d im e n s io n al  s p ac e,   an aly zin g   in d iv id u al  f ea tu r es  is   u n in ter p r etab le.   I n s tead ,   we  a g g r eg ated   th f ea t u r e_ im p o r t an ce s _   ( m ea s u r ed   b y   th to ta n u m b e r   o f   s p lit s )   f r o m   th tr ee   m o d els  in to   f u n ctio n al  b l o ck s .   Fig u r 5   illu s tr ates  th ese  ag g r eg at ed   p atter n s   ac r o s s   r ep r esen tativ co n f ig u r ati o n s .   Fig u r 5 ( a)   s h o ws  th o r ig i n al  f ea tu r h ier ar ch y   o f   L ig h tGB M.   Fig u r 5 ( b )   d em o n s tr ates  th at   SMOT E - R ADI ANT   p r eser v es  th is   h ier ar ch y   with   o n ly   m in o r   ch an g es.  Fig u r 5 ( c )   r ev ea l s   th at  C las s W eig h t   m ar k ed ly   i n cr ea s es  s p lit  co u n ts   ac r o s s   f ea tu r b lo ck s .   Fi g u r 5 ( d )   p r esen ts   th o r i g in al  XGBo o s f ea tu r d is tr ib u tio n ,   Fig u r 5 ( e )   s h o w s   th at  SMOT E - R ADI ANT   m a in tain s   s im ilar   p atter n ,   an d   F ig u r 5 ( f )   i n d icate s   th at  C lass W eig h t a g ain   s u b s tan tially   in f lates sp lit co u n ts .   d is tin ct  h ier ar ch y   em er g es  b etwe en   f ea tu r v o lu m a n d   f ea tu r ef f icien c y .   Acr o s s   all  Or ig in al   m o d els,  th c h ar ac ter - lev el   s u b - wo r d   m ar k er s   ( ch a r _ m i2 3 )   a n d   s p ar s wo r d - lev el  r e p r e s en tatio n s   ( lex ical)   d o m in ate  th to tal  im p o r tan c d u e   to   th eir   m ass iv d im e n s io n ality   ( 5 0 0   an d   2 , 4 2 0   co l u m n s ,   r esp ec tiv ely ) .   No te  th at  ch ar _ m i2 3   r e f er s   s p ec if ically   to   th ch ar ac ter   2 3 - g r am   s u b - b lo ck   with in   t h b r o ad e r   3 , 1 5 0 - Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E va lu a tin g   o ve r s a mp lin g   meth o d s   fo r   imb a la n ce d   A r a b ic  d ia lect  id en tifi ca tio n   ( Ma u la n a   I h s a n   A h ma d )   265   d im en s io n al  C h ar ac ter   N - g r a m s   ( MI )   b lo ck   r e p o r ted   i n   T ab le  2 .   Ho wev er ,   in   ter m s   o f   a v e r ag im p o r ta n ce   p er   co lu m n ,   th e   Naiv B ay es - SVM  lo g - co u n r atio s   ( n b s v m )   an d   th e   Ou t - of - Fo ld   s tack in g   p r o b ab ilit ies  ( o o f _ s v m ,   o o f _ lr ,   o o f _ in te r ac tio n s )   ar ex ce p tio n ally   p o w er f u l.  Fo r   in s tan ce ,   in   L ig h tGB ( Or ig in al) ,   th 4   co lu m n s   o f   th n b s v m   b l o ck   av er ag 3 , 7 1 0   s p lits   p er   co l u m n ,   m a k in g   th em   t h m o s s tr u ctu r ally   cr itical  s ig n als f o r   th f ir s t f ew  lev els  o f   th d ec is io n   tr ee s .   W h en   SMOT E - R ADI ANT   is   ap p lied ,   th r elativ e   co n tr ib u ti o n   an d   r a n k in g   s tr u ctu r o f   th ese  f ea tu r b lo ck s   r em ain   h ig h ly   s tab le.   I n   L ig h tGB R A DI ANT ,   ch ar _ m i2 3   ( 3 5 , 4 7 0   s p lits )   an d   lex ical  ( 2 8 , 4 4 0   s p lits )   r etain   th eir   p o s itio n s ,   with   s lig h r ein f o r ce m en t   in   l o n g e r   ch ar ac ter   s eq u e n ce s   ( ch a r _ m i 4 5   r is in g   to   1 8 , 3 3 3   s p lits ) .   T h is   s tab ilit y   is   s tr o n g   in d icato r   th at  d en s ity - b a s ed   f ilter in g   s u cc ess f u lly   au g m en ts   th m in o r it y   r eg io n s   with o u d is r u p tin g   o r   co n f u s in g   t h alg o r ith m ' s   r elia n ce   o n   its   m o s t tr u s ted   lin g u is tic  cu es.   I n   s h ar p   c o n tr ast,  ap p l y in g   co s t - s en s itiv lear n in g   ( C lass W eig h t)   d r asti ca lly   alter s   tr ee   g r o wth   b eh av io r .   I n   b o th   L ig h tGB an d   XGBo o s t,  th to tal  n u m b er   o f   s p lits   ac r o s s   alm o s t a ll b lo ck s   n ea r ly   d o u b les.   Fo r   ex am p le,   XGBo o s t' s   r eli an ce   o n   ch a r _ m i2 3   in f lates  f r o m   5 7 , 6 0 4   s p lits   ( Or ig in al)   to   1 2 9 , 9 4 6   s p lits   ( C lass W eig h t) .   T h is   ex tr em e   in f latio n   r e v ea ls   th at  th h ea v y   p en aliza tio n   weig h ts   f o r ce   th e   b o o s tin g   alg o r ith m   to   o v er - f r ag m e n th d ec is io n   s p ac in   d esp er ate  attem p to   s ep ar ate  o v er lap p in g   class es,  d ir ec tly   ex p lain in g   t h p r ec is io n   c o ll ap s an d   b o u n d ar y   d is to r tio n   o b s er v ed   in   Sectio n   3 . 2 .             ( a )   ( b )   ( c )           ( d )   ( e )   (f)     F i g u r e   5 .   A g g r e g a t e d   f e a t u r e   im p o r t a n c e   p e r   b l o c k .   S M O T E - R A D I A N T   p r es e r v e s   t h e   s t a b le   f e a t u r e   h i e r a r c h y   o f   t h e   o r i g i n a l   d a t a ,   w h e r e a s   C l ass W e i g h t   f o r c e s   a g g r e s s i v e   t r e e   f r a g m e n t at i o n ,   v i s i b l y     i n f l a t i n g   t o t al   s p l i t   c o u n ts   a c r o s s   a l l   f ea t u r e   b l o c k s   ( a )   L i g h t GB M   ( O r i g i n a l ) ,   ( b )   L i g h t GB M   w i t h   S M O T E - R AD I A N T ,   ( c )   L i g h tG B M   w i t h   C l ass W e i g h t ,   ( d )   XG B o o s t   ( O r i g i n al ) ,   ( e )   X GB o o s t   wi t h   S M O T E - R AD I A N T ,   a n d   ( f )   X G B o o s t   w it h   C l a s s W e i g h t       3. 4 .   St a t is t ica v a lid a t io n   T o   en s u r o b s er v ed   test - s et  f lu ctu atio n s   ar n o ar tif ac ts   o f   s am p lin g   v ar ia b ilit y ,   we  em p lo y ed     B o o ts tr ap p in g   p r o ce d u r e.   W p er f o r m ed   1 , 0 0 0   b o o ts tr ap   iter atio n s   ( s am p lin g   wit h   r ep lace m en t)   o n   p r ed ictio n s   to   g en er ate  h ig h ly   s tab le  Ma cr o - F1   d is tr ib u tio n s .   Pair ed   two - s id ed   W ilc o x o n   s ig n ed - r an k     test s   an d   C o h e n s   ef f ec s izes  ( r )   wer e   th en   ca lcu lated   t o   m e asu r th p r ac tical  m ag n itu d e   o f   th e   d if f e r en ce s .   Usi n g   N= 1 , 0 0 0   g u a r an tees  p - v alu es  th at  a r ex ce p tio n ally   r o b u s ag ain s r a n d o m   s ee d   v ar iatio n s .     T ab le  6   s u m m ar izes th ese  f in d in g s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  4 3 ,   No .   1 ,   Ju ly   20 2 6 :   259 - 27 0   266   T ab le  6 .   B o o ts tr ap   Ma cr o - F 1   Me an s   ( N= 1 , 0 0 0 ) .   All c o m p ar is o n s   ag ain s t th Or ig in al  co n f ig u r atio n     ar h ig h ly   s ig n if ican t ( p   0 . 0 0 1 ) .   T h ef f ec t size  ( C o h e n ' s   r )   is   d en o ted   i n   p ar e n th eses ,     alo n g s id th d i r ec tio n   o f   th p er f o r m an ce   s h if t ( +   f o r   in cr e ase,   -   f o r   d ec r ea s e)   M o d e l   O r i g i n a l   S M O TE   A S TR A - S M O TE   S M O TE - R A D I A N T   C l a s sW e i g h t   Li g h t G B M   0 . 8 5 2 5   0 . 8 5 1 7   ( r = 0 . 3 6 )   ( - )   0 . 8 5 1 5   ( r = 0 . 4 4 )   ( - )   0 . 8 5 3 7   ( r = 0 . 5 1 )   ( + )   0 . 8 5 0 2   ( r = 0 . 5 8 )   ( - )   X G B o o st   0 . 8 5 1 6   0 . 8 5 2 2   ( r = 0 . 2 9 )   ( + )   0 . 8 5 0 9   ( r = 0 . 3 3 )   ( - )   0 . 8 5 2 3   ( r = 0 . 3 3 )   ( + )   0 . 8 5 0 4   ( r = 0 . 3 8 )   ( - )       T h s tatis tica ev id en ce   co m p letely   r ef u tes  th ass u m p tio n   th at  all  o v er s am p lin g   m eth o d s   p r o v id eq u iv alen o r   n e g lig ib le  im p a cts  in   s p ar s e   tex s p ac es.   Fo r   L ig h tGB M,   th ap p licatio n   o f   s tan d ar d   SMOT E ,   clu s ter in g - r estricte d   ASTRA - SMOT E ,   an d   C las s W eig h al l   r esu lted   in   s tati s tically   s ig n if ican p er f o r m an ce   d eg r ad atio n   ( Sig .   Dec r ea s e,   p   0 . 0 0 1 )   with   m ed iu m   to   lar g ef f ec s izes  ( r   r an g in g   f r o m   0 . 3 6   to   0 . 5 8 ) .     T h is   p r o v es  th at  u n co n s tr ain e d   s y n th etic  g en e r atio n   a n d   al g o r ith m ic  r ewe ig h tin g   ar e   ac tiv ely   h ar m f u l   wh en   d ea lin g   with   h ig h ly   o v er lap p i n g   5 , 6 4 4 - d im en s io n al  le x ical  f ea tu r es.   I n   s tar k   co n tr ast,  SMOT E - R ADI ANT   is   th o n ly   co n f ig u r at io n   th at  y ield s   s tatis tically   s ig n if ican t   p er f o r m an ce   i n cr ea s f o r   L i g h tGB M,   ac co m p an ied   b y   lar g p o s itiv ef f ec s ize  ( r   =   0 . 5 1 1 ) .   T h is   estab lis h es   th at  th p e r f o r m an ce   g ain s   ac h iev ed   b y   a p p ly in g   DB SC AN - b ased   n o is n eu tr aliza tio n   ar n o d u e   to   r a n d o m   ch an ce ,   b u t r ep r esen t a   s tr u ctu r ally   s o u n d   an d   h ig h ly   r ep r o d u cib le  r ef in em e n t o f   t h d ec is io n   b o u n d a r ies.   Fo r   XGBo o s t,  wh ile  s tan d a r d   SMOT E   a n d   SMOT E - R ADI ANT   b o th   r eg is ter ed   s tatis tically   s ig n if ican in cr ea s es,  th eir   ef f ec s izes  wer n o tab ly   s m aller   ( r   0 . 2 8 8   an d   r   0 . 3 2 7 ,   r esp ec tiv ely )   co m p ar e d   to   th g ain s   s ee n   in   L ig h tGB M.   Fu r th er m o r e,   b ec au s XGBo o s t ' s   in itia p er f o r m an ce   w as  in h er en tly   lo wer   th an   L ig h tGB M' s ,   th ese  m in o r   s tatis tica l g ain s   wer in s u f f icien t to   m ak XGBo o s t th s u p e r io r   m o d el.   Ov er all,   th is   r ig o r o u s   1 , 0 0 0 - iter atio n   b o o ts tr ap p in g   v a lid atio n   co n f ir m s   th at  d e n s ity - f ilter ed   o v er s am p lin g   ( R ADI ANT )   p r o v id es   p r ac t ically   m ea n in g f u im p r o v em en t   o v e r   b o th   g e n er ativ e   an d     co s t - s en s itiv ap p r o ac h es,  s p e cif ically   wh en   p air e d   with   leaf - wis g r ad ien t b o o s tin g   ar ch it ec tu r es.     3. 5 .   Co m pa riso n wit t ra ns f o rm er - ba s ed  a pp ro a ches     T o   co n tex tu alize   th e   p ea k   p er f o r m a n ce   o f   th e   p r o p o s ed   m eth o d o lo g y ,   T ab le  7   co m p ar es  o u r   ch am p io n   m o d el   ( L ig h tGB SMOT E - R ADI ANT )   ag ain s p r ev io u s ly   r ep o r ted   n e u r al  an d   tr an s f o r m er - b ased   ap p r o ac h es o n   th Sh am i d ataset.   Fo r   co n s is ten cy ,   th p er - class   F1 - s co r es o f   th r ec u r r en t,  co n v o lu tio n al,   an d   tr an s f o r m er   m o d els we r r ec o m p u ted   as p e r ce n tag es b ased   o n   th c o n f u s io n   m atr ices r ep o r ted   [ 2 3 ] .       T ab le  7 .   Per - class   F1 - s co r ( %)  co m p ar is o n   a g ain s t d ee p   le ar n in g   a r ch itectu r es o n   th Sh am i d ataset   A p p r o a c h e s   M o d e l   Jo r d a n   Le b a n o n   P a l e s t i n e   S y r i a   M a c r o - F1   R e c u r r e n t   G R U   6 4 . 0 7   7 9 . 9 3   7 3 . 6 5   9 3 . 2 3   7 7 . 7 2   R e c u r r e n t   LSTM   5 8 . 5 6   7 7 . 3 3   7 0 . 6 6   9 1 . 8 4   7 4 . 6 0   C o n v o l u t i o n a l   C N N   5 7 . 2 3   7 8 . 0 2   7 0 . 2 6   9 1 . 4 5   7 4 . 2 4   Tr a n sf o r mer - b a se d   B a se - A r a b e r t   7 2 . 1 4   8 3 . 2 8   8 0 . 9 4   9 4 . 8 2   8 2 . 7 9   Tr a n sf o r mer - b a se d   A r a b i c - X LM - R - B a s e   7 4 . 2 1   8 3 . 5 5   8 1 . 5 6   9 4 . 8 2   8 3 . 5 3   Tr a n sf o r mer - b a se d   S t a c k i n g - Tr a n sf o r mer   7 8 . 7 3   8 3 . 9 8   8 2 . 6 3   9 5 . 1 3   8 5 . 1 2   G r a d i e n t   B o o st i n g   ( t h i s s t u d y )   Li g h t G B M   ( O r i g i n a l )   7 9 . 4 1   8 3 . 8 4   8 2 . 8 7   9 4 . 9 2   8 5 . 2 6   G r a d i e n t   B o o st i n g   ( t h i s s t u d y )   Li g h t G B M   S M O TE - R A D I A N T   7 9 . 4 6   8 4 . 5 9   8 2 . 6 4   9 4 . 8 5   8 5 . 3 9       As  s h o wn   in   T ab le  7 ,   r e cu r r e n an d   co n v o lu tio n al  ar ch itectu r es  s tr u g g le  s ig n if ican tly ,   p ar t icu lar ly   in   id en tify in g   th s ev er ely   u n d er r ep r esen ted   J o r d a n ian   d ialec t.   W h ile  in d iv id u al  tr an s f o r m er - b ased   m o d els  lik Ar aBER T   im p r o v o v er all   p e r f o r m a n ce ,   th e y   s till   ex h ib it  n o tab le  im b alan ce   ac r o s s   d ialec ts ,   with   J o r d an ia n   F1   r em ain in g   r elativ ely   lo w   (   7 2 . 14 %)  [ 2 3 ] W ith in   o u r   c o n tr o lled   e x p er im e n tal  f r am e wo r k ,   th e   lig h tweig h t   L ig h tGB SMOT E - R ADI A NT   p ip elin n u m er ically   o u tp er f o r m s   h ea v y   in d iv id u al  tr an s f o r m er   ar c h itectu r es   an d   is   h ig h ly   co m p etitiv with   co m p lex   Stack in g - T r an s f o r m er   m o d els.  Mo s n o tab ly ,   o u r   p ip elin ac h iev es   s u b s tan tially   h ig h er   r ec o g n itio n   f o r   th e   m in o r ity   J o r d an ia n   d ialec ( 7 9 . 4 6 %).   H o wev er ,   b e ca u s ex p er im e n tal   p ip elin es  d if f er   in   p r ep r o ce s s in g   an d   o p tim izatio n   s tr ateg ies,  th is   co m p ar is o n   s er v es  as  a   c o n tex tu al  r ef er e n ce   p o in r at h er   th a n   a   claim   o f   ab s o lu te  ar ch itectu r al  s u p er io r ity .   Ultim ately ,   r ath er   th an   co m p etin g   d ir ec tly   with   lar g p r etr ain ed   lan g u ag m o d els,  th is   s tu d y   p r o v es  th at  r ig o r o u s   f ea tu r en g i n ee r i n g   co m b in e d   with   in tellig en d en s ity - f ilter ed   o v er s am p lin g   o f f er s   co m p u tatio n ally   ef f icien t,  in ter p r etab le,   an d   h ig h l y   co m p etitiv alter n ativ f o r   p r o ce s s in g   s k ewe d   Ar ab ic  tex ts .     3. 6 .   I nte rpre t a t io n,  da t a s et   bia s ,   a nd   pra ct ica l im pli ca t io ns   T h ex ec u tio n   lo g s   an d   clu s ter   m etr ics  p r o v id p r o f o u n d   i n s ig h ts   in to   wh y   d en s ity - b ased   f ilter in g   ( SMOT E - R ADI ANT )   s u cc ee d s   wh er clu s ter in g - g u id e d   g en er atio n   ( ASTRA - SMOT E )   f ails   in   th s p ar s e,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2       E va lu a tin g   o ve r s a mp lin g   meth o d s   fo r   imb a la n ce d   A r a b ic  d ia lect  id en tifi ca tio n   ( Ma u la n a   I h s a n   A h ma d )   267   5 , 6 4 4 - d im en s io n al  s p ac e.   ASTRA - SMOT E   s u cc ess f u lly   ac h iev ed   1 0 0 %   o f   its   s y n th etic   g en er atio n   tar g ets  b y   s tr ictly   in ter p o latin g   in s id " s af e"   m in o r ity   clu s ter s ,   r e s u l tin g   in   ex ce p tio n ally   clea n   i n ter - class   m etr ics     ( e. g . ,   Dav ies - B o u ld in   in d e x   d r o p p ed   s ig n if ican tly   to   1 . 6 4 ) .   Ho wev er ,   th is   o v er ly   co n s er v ativ g en er atio n   f ailed   to   im p r o v th class if ier .   Gr ad ien b o o s tin g   tr ee s   r ely   o n   f in d in g   o p tim al  s p lits   at  th b o u n d ar ies  b etwe en   class es.  Gen er atin g   d ata  ex clu s iv ely   d ee p   in s id s af clu s ter s   p r o v i d es  n o   n ew  s tr u ctu r al  in f o r m atio n   to   th m o d el' s   d ec is io n   b o u n d ar y .   C o n v er s ely ,   SMOT E - R ADI ANT   allo wed   s tan d ar d   in ter p o la tio n   ac r o s s   b o u n d ar ies  an d   s u b s eq u en tly   u tili ze d   DB S C AN   to   au to n o m o u s ly   d etec an d   f ilter   o u o v er lap p in g   n o is e.   T h lo g s   r ev ea th at  R ADI ANT   in ten tio n ally   d r o p p ed   5 , 3 3 6   s y n th etic  s am p les  ( an   1 8 d r o p   r ate)   ac r o s s   th m in o r ity   class es   b ec au s th ey   v io lated   d en s ity   h e u r is tics .   B y   s ac r if icin g   tar g et  v o lu m to   p u r g b o u n d ar y - d is to r tin g   a n o m alies,  R ADI AN T   m ain tain ed   th e   n ec ess ar y   s tr u ctu r al  ten s io n   at  th d ec is io n   b o u n d a r y ,   d ir ec tly   lea d in g   to   th s tatis tically   s ig n if ican t p er f o r m an ce   i n cr ea s o b s er v ed   in   L i g h tGB M.   T h is   d iv er g en ce   also   h ig h lig h t s   th at  th ef f ec t iv en ess   o f   o v er s am p lin g   is   s tr o n g ly   m o d el - d ep en d en t.   L ig h tGB M’ s   leaf - wis g r o wth   en ab les  lo ca lized   s p litt in g   in   m in o r ity - d en s r eg i o n s ,   allo w in g   it  to   s elec tiv ely   ex p lo it  th e   clea n   s y n th etic  b o u n d a r y   s am p les  p r o v id ed   b y   R ADI ANT .   Me an wh ile,   X GB o o s t’ s   lev el - wis e   g r o wth   ten d s   to   p r o p a g ate  s y n th etic  p er tu r b atio n s   m o r u n if o r m ly   ac r o s s   th t r ee ,   r en d er in g   it  h ig h ly   s en s itiv to   b o u n d ar y   d is to r ti o n   ev e n   wh en   d en s ity   f ilter in g   is   ap p lied .   Similar   m o d el - s p ec if ic  s en s itiv itie s   h av b ee n   r ep o r ted   i n   p r i o r   wo r k   [ 2 5 ] ,   [ 2 9 ] ,   [ 3 5 ] .   Fu r th e r m o r e,   w h ile  clu s ter in g - g u id e d   m eth o d s   aim   to   r estrict  s y n th esis   o r   f ilter   o u tlier s   [ 3 0 ] ,   [ 3 2 ] ,   [ 3 3 ] ,   th eir   a d v an tag es  d o   n o alwa y s   tr an s late  s ea m le s s ly   to   ex tr em ely   s p ar s T F - I DF  s p a ce s ,   wh er s tan d ar d   d en s ity   esti m atio n   ca n   b u n r eliab le  with o u in tellig en t   h eu r is tic  tu n in g   [ 2 5 ] ,   [ 3 3 ] ,   [ 3 4 ] .   Featu r e - lev el  an aly s is   s u p p o r ts   th is   in ter p r etatio n .   L ex ical  f ea tu r es  ( T F I DF  an d   B M2 5 )   ca p tu r e   d ialec tal  d is tin ctio n s   ef f ec tiv ely   [ 1 2 ] ,   [ 1 3 ] ,   wh ile  th n ewly   en g in ee r e d   s tatis tical  f ea tu r es - s u ch   as   NB - SVM   p r io r s   an d   OOF  s tack in g   p r o b a b ilit ies - p r o v id p o wer f u l,  co m p lem e n tar y   d ec is io n   cu es  [ 1 7 ] ,   [ 1 9 ] .     T h ese  f ea tu r es   in ter ac c o n s tr u ctiv ely   with   SMOT E - R ADI ANT   in   L i g h tGB M,   s o lid if y in g   th e   f ea tu r e   h ier ar ch y   with o u t a m p lify in g   s en s itiv ity   to   o v er lap p in g   lex i ca l n o is [ 2 5 ] ,   [ 2 9 ] .   I is   im p o r tan t o   ac k n o wle d g th at  lex ic o n - b ased   an d   f r eq u e n cy - d r iv en   r ep r esen tatio n s   m ay   in ad v er ten tly   en c o d t o p ical,   s tan ce - r elate d ,   o r   s en tim en t - b ea r in g   p atter n s   i n   ad d itio n   to   p u r ely   s tr u ctu r al   d ialec tal  m ar k er s .   T h is   is   p ar t icu lar ly   tr u in   s o cial  m ed ia  co r p o r a ,   wh er d ialec u s ag o f ten   co - v ar ies  with   af f ec tiv ex p r ess io n   an d   d is cu s s io n   th em es  [ 1 6 ] ,   [ 2 4 ] .   Fo r   in s tan ce ,   ce r tain   d ialec ts   m ay   b d is p r o p o r tio n ately   ass o ciate d   with   s p ec if ic  p o liti ca l,  c u ltu r al,   o r   s o cial  to p ics,  i n tr o d u cin g   laten t   to p ic  b ias   in to   th f ea tu r d is tr ib u tio n s .   Ho wev er ,   b ec au s o u r   5 , 6 4 4 - d im e n s io n al  f ea tu r ex t r a ctio n   p ip elin an d   v alid atio n   s p lits   wer s tr ictly   f ix ed   ac r o s s   all  r eb alan ci n g   s ce n ar io s ,   a n y   s u ch   b ias  r em ain ed   c o n s tan t   th r o u g h o u th e x p er im e n ts .   C o n s eq u en tly ,   th co m p ar ativ ef f ec ts   o b s er v ed   am o n g   th e   Or ig in al,   SMOT E ,   ASTRA - SM OT E ,   SMOT E - R ADI ANT ,   an d   C lass W eig h co n f ig u r atio n s   ca n   b e   r eliab l y   attr ib u ted   to   t h im b alan ce - h an d lin g   s tr ateg ies  th em s elv es r ath er   th an   u n co n t r o lled   s h if ts   in   lex ical  b ias.   Fro m   a   p r ac tical  s tan d p o in t,   ac h iev in g   s tatis tically   s ig n if ican im p r o v em e n in   m in o r ity   d ialec r ec o g n itio n   with o u d eg r ad in g   th m ajo r ity   class   h as  p r o f o u n d   r ea l - wo r ld   im p licatio n s .   R eliab le  d ialec t   id en tific atio n   is   a   cr itical  u p s tr ea m   co m p o n en f o r   d o wn s tr e am   NL ap p licatio n s   s u ch   as  s en tim en an aly s is ,   m ac h in tr an s latio n ,   an d   s p ee ch   tech n o lo g ies.  B y   s u cc ess f u lly   liftin g   th r ec all  o f   u n d er r ep r esen ted   d ialec ts   ( e. g . ,   J o r d a n ian )   s af ely ,   m eth o d o lo g ies  lik R ADI ANT   en s u r th at  d ia lecta m is clas s if i ca tio n   er r o r s   d o   n o t   p r o p a g ate  th r o u g h   p r o ce s s in g   p ip elin es,  th er eb y   p r ev e n tin g   AI   s y s tem s   f r o m   in ad v er te n tly   m ar g in alizin g   s p ec if ic  Ar ab ic - s p ea k in g   r e g io n s .   R ath er   th a n   d i r ec tly   co m p etin g   with   lar g e   p r etr ain e d   m o d els  s u ch   a s   Ar aBER T ,   AR B E R T ,   an d   MA R B E R T   [ 2 0 ] - [ 2 3 ] ,   th is   s tu d y   p r o v i d es m eth o d o lo g ical  clar i ty   b y   ch a r ac ter izin g   o v er s am p lin g   b eh a v io r   with in   tr an s p ar en t,  in te r p r etab le  f ea tu r e - b ased   f r am ewo r k   [ 2 5 ] ,   [ 3 5 ] .   Sev er al  lim itatio n s   r em ain .   T h an aly s is   is   r estricte d   to   th Sh am C o r p u s   an d   f o c u s es  o n   s p ec if ic   g r ad ien t - b o o s tin g   ar c h itectu r e s .   Fu tu r wo r k   s h o u ld   ex te n d   ev alu atio n   to   b r o ad er   Ar a b ic  d ialec b en ch m ar k s   ( e. g . ,   NADI   [ 3 ]   an d   MA D AR   [ 4 ] ) ,   ex p lo r em b ed d in g - awa r ad ap tiv o v er s am p l in g   m eth o d s ,   an d   in v esti g ate  h y b r i d   co s t - s en s itiv tr an s f o r m er - b ased   a p p r o ac h es.       4.   CO NCLU SI O N   T h is   s tu d y   p r esen ted   r ig o r o u s ly   co n tr o lled ,   leak a g e - f r e co m p ar ativ e   ev alu atio n   o f   im b alan ce   m itig atio n   s tr ateg ies  f o r   Ar ab i d ialec id en tific atio n   o n   th Sh am C o r p u s .   Op er atin g   wit h in   h ig h l y   s p ar s 5 , 6 4 4 - d im en s io n al  tex r ep r e s en tatio n ,   we  d em o n s tr ated   th at  co n v en tio n al  m itig atio n   tech n iq u es - s u ch   as   u n co n s tr ain e d   SMOT E ,   clu s ter - r estricte d   ASTRA - SMOT E ,   an d   co s t - s en s itiv class   we ig h tin g - lar g ely   f ailed   to   r ef in d ec is io n   b o u n d ar ies .   T h ese  m eth o d s   f r eq u e n tly   s ac r if iced   m ajo r ity - class   p r ec is io n   o r   in tr o d u ce d   b o u n d ar y - d is to r tin g   n o is in   a n   attem p t to   ar tific ially   in f late  m in o r ity   r ec all.   Ho wev er ,   SMOT E - R ADI AN T - s tr ateg y   th at  co u p les  g en er ativ o v er s am p lin g   with   d e n s ity - b ased   n o is n eu tr aliza tio n   ( DB SC AN) - s u cc ess f u lly   b r o k t h is   d im en s io n ality   b o ttlen ec k .   B y   a u to n o m o u s ly   f ilter in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci Vo l.  4 3 ,   No .   1 ,   Ju ly   20 2 6 :   259 - 27 0   268   o u 1 8 o f   o v e r lap p in g   s y n t h etic  an o m alies  at  t h in ter - cl ass   b o u n d ar ies,   R ADI ANT   p r o v id ed   s tr u ctu r ally   s o u n d   d ata  a u g m e n tatio n .   Val id ated   th r o u g h   r o b u s 1 , 0 0 0 - iter atio n   b o o ts t r ap p in g   p r o ce d u r o n   th h el d - o u t   test   s et,   SMOT E - R ADI ANT   y ield ed   s tatis tically   s ig n if ican m ac r o - F1   im p r o v em e n f o r   L ig h tGB   ( p   0 . 0 0 1 )   ac co m p an ied   b y   lar g ef f ec s ize  ( r   0 . 5 1 1 ) .   T h is   p r o v id es  co m p ellin g   e v id en ce   th at  wh ile  g en er atin g   s y n th etic  t ex d ata  in   s p ar s s p ac es  is   in h er en tly   r is k y ,   s tr ateg ically   n e u tr alizin g   o v e r lap p in g   n o is e   ca n   s af ely   r escu m in o r ity   d ial ec ts   with o u t m ajo r ity - class   d eg r ad atio n .   T h ese  f in d in g s   clar if y   th e   c o m p lex   tr a d e - o f f s   o f   im b ala n ce   m itig atio n ,   h ig h lig h tin g   th at  m o d el  ar ch itectu r ( leaf - wis v s .   le v el - wis e) ,   f ea tu r e   d esig n ,   an d   o v e r s am p lin g   s tr ateg ies  in t er ac in   n o n - tr i v ial  way s .   B ey o n d   d ialec id en tifi ca tio n ,   th is   s tu d y   u n d er s co r e s   th n ec ess ity   o f   ca r ef u lly   v alid ated   im b alan ce   m itig atio n   f o r   b u ild in g   f air   an d   r o b u s Ar ab ic  NL s y s tem s ,   en s u r in g   th at  r eg io n al  in clu s iv ity   is   m ain tain ed   in   d o wn s tr ea m   a p p licatio n s .       ACK NO WL E DG M E N T S   T h is   wo r k   was  s u p p o r ted   b y   th Dep ar tm e n o f   C o m p u te r   Scien ce   an d   E lectr o n ics,  U n iv er s itas   Gad jah   Ma d u n d er   t h Pu b lic atio n   Fu n d in g   Yea r   2 0 2 6 .       F UNDING   I NF O R M A T I O N   T h is   wo r k   was  s u p p o r ted   b y   th Dep ar tm e n o f   C o m p u te r   Scien ce   an d   E lectr o n ics,  U n iv er s itas   Gad jah   Ma d u n d er   t h Pu b lic atio n   Fu n d in g   Yea r   2 0 2 6 .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   s tu d y   f o llo ws  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT) .   T h co n tr i b u tio n s   o f   ea c h   au th o r   ar e   d etailed   as f o llo ws:     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ma u lan I h s an   Ah m ad                               Ain Mu s d h o lifa h                               Ar if   Nu r wid y an t o r o                                   C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au t h o r s   d ec lar e   th at  th e y   h av n o   k n o wn   c o m p etin g   f in an cial  in ter ests   o r   p er s o n al  r el atio n s h ip s   th at  co u ld   h av ap p ea r ed   t o   in f lu en ce   th wo r k   r e p o r te d   in   t h is   p ap er .       DATA AV AI L AB I L I T Y   T h d ata  th at  s u p p o r th f i n d in g s   o f   th is   s tu d y   ar e   p u b licly   av ailab le  as  th Sh am C o r p u s   [ 6 ] .     T o   s u p p o r tr an s p ar e n an d   r e p r o d u cib le  r esear ch ,   t h co m p lete  s o u r ce   co d e   an d   e x p er i m en tal  p ip elin ar e   p u b licly   av ailab le  at:  h tt p s ://g ith u b . co m /m o el - ih s an /ar ab ic - d ialec t - id en tific atio n .       RE F E R E NC E S   [ 1 ]   Y .   M a t r a n e ,   F .   B e n a b b o u ,   a n d   N .   S a e l ,   A   s y s t e m a t i c   l i t e r a t u r e   r e v i e w   o f   A r a b i c   d i a l e c t   se n t i m e n t   a n a l y si s ,   J o u r n a l   o f   K i n g   S a u d   U n i v e rsi t y   -   C o m p u t e a n d   I n f o r m a t i o n   S c i e n c e s ,   v o l .   3 5 ,   n o .   6 ,   p .   1 0 1 5 7 0 ,   Ju n .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 3 . 1 0 1 5 7 0 .   [ 2 ]   O .   F .   Za i d a n   a n d   C .   C a l l i s o n - B u r c h ,   A r a b i c   d i a l e c t   i d e n t i f i c a t i o n ,”  C o m p u t a t i o n a l   L i n g u i st i c s ,   v o l .   4 0 ,   n o .   1 ,   p p .   1 7 1 2 0 2 ,     M a r .   2 0 1 4 ,   d o i :   1 0 . 1 1 6 2 / C O LI _ a _ 0 0 1 6 9 .   [ 3 ]   M .   A b d u l - M a g e e d ,   C .   Z h a n g ,   A .   E l mad a n y ,   H .   B o u a mo r ,   a n d   N .   H a b a sh ,   N A D I   2 0 2 2 :   Th e   T h i r d   N u a n c e d   A r a b i c   d i a l e c t   i d e n t i f i c a t i o n   s h a r e d   t a s k ,   i n   Pro c e e d i n g o f   t h e   Fi f t h   Ar a b i c   N a t u ra l   L a n g u a g e   Pr o c e ss i n g   Wo r k sh o p ,   S t r o u d sb u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 0 ,   p p .   9 7 1 1 0 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 2 . w a n l p - 1 . 9 .   [ 4 ]   H .   B o u a mo r   e t   a l . ,   T h e   m a d a r   A r a b i c   d i a l e c t   c o r p u a n d   l e x i c o n ,   i n   L RE C   2 0 1 8   -   1 1 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   L a n g u a g e   Re so u r c e a n d   Ev a l u a t i o n ,   2 0 1 8 ,   p p .   3 3 8 7 3 3 9 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.