T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   2 A p r il   20 26 ,   p p .   549 ~ 563   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 2 . 27332          549       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   I m pro v ing   m ul til a bel clas sifica tion  of hate  speech  and a busiv la ng ua g e in  Indo nesia using  MA M L       J a s m a n P a rdede ,   G hi x a nd ra   J uly a neu Ira w a di Rizk a   M i la nd g a   M ilenio   D e p a r t me n t   o f   I n f o r mat i c s F a c u l t y   o f   I n d u s t r i a l   T e c h n o l o g y ,   I n st i t u t   T e k n o l o g i   N a si o n a l   B a n d u n g ,   B a n d u n g ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   30 2 0 2 5   R ev i s ed   Dec   17 2 0 2 5   A cc ep ted   J an   30 2 0 2 6       T h is  stu d y   in v e stig a tes   a u to m a te d   m u lt i - lab e d e tec ti o n   o f   h a te  sp e e c h   a n d   a b u siv e   lan g u a g e   (HS AL in   In d o n e sia n   so c ial  m e d ia,  a d d re ss in g   c h a ll e n g e o f   d a ta i m b a lan c e ,   e sp e c iall y   in   m in o rit y   l a b e ls.  Tw o   train in g   a p p ro a c h e s a re   c o m p a re d sta n d a rd   su p e rv ise d   lea rn in g   a n d   m e ta - lea rn in g   u sin g   t h e   m o d e l - a g n o stic  m e ta - lea rn in g   (M A M L a l g o rit h m .   In d o BER T w e e t - BiG RU  is   a d o p te d   a th e   b a se li n e   m o d e l,   w h il e   M A M L   is  lev e ra g e d   to   e n h a n c e   g e n e ra li z a ti o n   a n d   a d a p tab il it y   w it h   li m it e d   train in g   d a ta.  Bo t h   m o d e ls  a re   train e d   o n   a   m u lt il a b e d a tas e w it h   1 3   HSA L   c a teg o ries   e x h ib it in g   h ig h ly   im b a lan c e d   d istri b u ti o n s.   T h e   b e st  su p e rv ise d   m o d e a c h iev e d   a n   F 1 - M icro   o f   8 4 . 0 2 %   a n d   a n   F 1 - m a c ro   o f   7 7 . 9 7 % ,   w h e re a th e   b e st  M A M L - train e d   m o d e re a c h e d   8 4 . 1 2 %   a n d   7 6 . 8 5 % ,   re sp e c ti v e l y .   A lt h o u g h   t h e   o v e ra ll   g a p   is  s m a ll ,   M A M L   d e m o n stra tes   n o tab le  im p ro v e m e n ts  o n   m in o rit y   c l a ss e s   su c h   a h a te  sp e e c h   (HS)  p h y sic a l,   g e n d e r,   a n d   ra c e ,   sh o w n   th ro u g h   h ig h e r   F1 - sc o re   a n d   a re a   u n d e th e   re c e iv e o p e ra ti n g   c h a ra c teristic  c u rv e   ( A UR OC )   v a lu e s.  T h e se   re su lt h ig h li g h it stre n g th   i n   lo w - re so u rc e   c las si f ica ti o n   se tt in g s.  T h is  st u d y   is  li m it e d   to   I n d o n e sia n   lan g u a g e   a n d   Yo u T u b e   tran sc ri p c o n tex ts,  a n d   M A M L   in c u rs  h ig h e train i n g   c o m p lex it y .   Cu lt u ra a n d   li n g u isti c   n u a n c e a lso   p re se n p o ten ti a b ias   in   re a l - w o rld   u se .   De sp it e   th e se   c o n stra in ts,   th e   p r o p o se d   sy ste m   o ff e rs  p ra c ti c a b e n e f it b y   e n a b li n g   f in e - g ra in e d   HSAL   c la ss if ic a ti o n   a n d   s u p p o rti n g   e a rli e d e tec ti o n   o f   h a rm f u o n li n e   c o n ten t.   K ey w o r d s :   Hate   s p ee ch   d etec tio n   I n d o B E R T w ee t - B iGR U   Me ta - lear n in g   Mo d el - ag n o s tic  m eta - lear n i n g   Mu ltil ab el  cla s s i f icatio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   J as m an   P ar d ed e   Dep ar t m en t o f   I n f o r m atic s Fa cu lt y   o f   I n d u s tr ial  T ec h n o lo g y I n s tit u t T ek n o lo g i   Na s io n al  B an d u n g   J l.  K. H. P.  Hasan   Mu s to p No .   2 3 ,   Neg lasar i,  C ib eu n y i n g   Ka ler ,   B an d u n g   4 0 1 2 4 ,   W est J av a,   I n d o n esia   E m ail:  j as m a n @ ite n as.a c. id       1.   I NT RO D UCT I O N   T h r ap id   d is s e m i n atio n   o f   h ar m f u a n d   a g g r e s s i v co n ten o n   t h i n ter n et,   i n clu d i n g   h ate  s p ee ch   ( HS)   an d   ab u s iv b eh av io r ,   p o s es  s i g n i f ica n r is k s   to   o n lin co m m u n itie s ,   p ar ticu lar l y   in   d ig ital  en v ir o n m e n t s   th at  lac k   e m o tio n al  r eg u latio n   an d   ar p r o n to   m i s co m m u n ica tio n   [ 1 ] - [ 3 ] T o   s u p p o r s af er   i n ter ac tio n s ,   au to m ated   HS   an d   ab u s iv la n g u a g ( HS AL )   d etec tio n   s y s te m s   ar u r g en t l y   r eq u ir ed .   T h is   s tu d y   ai m s   to   i m p r o v m u lti - lab el  HS AL   d etec tio n   in   I n d o n es ian   o n li n m ed ia  b y   ad d r ess i n g   p r ac tical   ch allen g es  in   r ea l - w o r ld   d ep lo y m e n t,  esp ec iall y   u n d er   d ata  i m b ala n ce   an d   lo w - r eso u r ce   co n d itio n s .   Pr ev io u s   s t u d ies  h a v ap p lied   m ac h in lear n i n g   a n d   d ee p   n eu r al  m o d els i n clu d i n g   s u p p o r v ec to r   m ac h in e s   ( SVM) c o n v o l u tio n al  n eu r al   n et w o r k s   ( C NN ) lo n g   s h o r t - ter m   m e m o r y   ( L S T M) b i d ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr a n s f o r m er s   ( B E R T ) ,   a n d   R o B E R T a t o   HSA L   d etec tio n   [ 4 ] ,   [ 5 ] .   I n d o B E R T w ee t,  tr ai n ed   o n   in f o r m al  I n d o n esia n   s o cial  m e d ia  tex t,  e f f ec ti v el y   h an d les   co d e - s w itc h in g   a n d   in f o r m al  v o ca b u lar y   [ 6 ] - [ 1 0 ] y et  m o s r esear ch   f o cu s es  o n l y   o n   T w itter C o n v e r s e ly ,   H SA L   d et e c ti o n   in   v i d e o - b a s e d   en v i r o n m en t s ,   es p e c i a l ly   f o r   I n d o n es ia n - l an g u ag e   c o n te n t ,   r em a in s   s ig n if i c an tly   u n d e r e x p l o r e d   [ 5 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 5 4 9 - 563   550   E x is t in g   I n d o n e s i an   HSA L   d at a s et s   al s o   e x h i b i t   ex t r em e   c la s s   im b a l an c e ,   e s p ec i a lly   in   m u l ti l a b el   s c e n a r i o s   w h e r e   m u l ti p l e   h a r m f u l   c a t eg o r i e s   m ay   c o - o c cu r   [ 1 1 ] - [ 1 4 ] .   Mo r eo v er ,   cu r r en d ee p   lear n in g   m o d els  s tr u g g le   w it h   tr a n s cr ip t - s t y le  i n p u ts ,   co m p u tat io n al  e f f icien c y ,   an d   g e n er aliza tio n   i n   lo w - r e s o u r ce   s ettin g s   [ 1 2 ] .   T o   ad d r ess   th ese  li m itatio n s ,   t h is   s tu d y   p r o p o s es  an   ad ap tiv HS AL   d etec tio n   ap p r o ac h   in teg r at in g   I n d o B E R T w ee a n d   b id ir ec tio n al  g ated   r ec u r r en u n it  ( B iGR U)   w it h   t h m o d el - a g n o s tic  m eta - le ar n i n g   ( MA M L )   al g o r ith m ,   en ab li n g   i m p r o v ed   g e n er aliza tio n   an d   f aster   ad ap tatio n   to   m i n o r it y   class es.  T o   th b est   o f   o u r   k n o w led g e,   t h is   i s   t h e   f ir s s tu d y   ap p l y i n g   m eta - lear n in g   f r a m e w o r k   f o r   f in e - g r ain ed   m u l ti - lab el  HS AL   d etec tio n   o n   I n d o n esian   Yo u T u b tr an s cr ip ts ,   u s in g   m o d el  p r e - tr ain ed   o n   s o cial  m ed ia  tex d ata.   T h e   p r o p o s ed   s y s te m   i s   d esig n ed   a s   an   ea r l y - s ta g m o d er atio n   to o to   ass is p r o ac tiv m o n i to r in g   r at h er   th a n   f u ll y   au to m ated   co n te n r e m o v al,   s u p p o r tin g   th e   p r ac tical  n ee d   t o   r ed u ce   ex p o s u r e   to   h ar m f u l   o n li n m ater ial  i n   I n d o n esia n   d ig i tal  p lat f o r m s .   T h is   s t u d y   d e m o n s tr ates  t h p o ten tial  o f   m eta - lear n i n g   to   en h a n ce   H S AL   d etec tio n   r o b u s tn e s s   i n   r ea l d ep lo y m e n t sett in g s   w i th   li m i ted   d ata  av ailab ilit y .       2.   M E T H O   2 . 1 .     Da t a s et   T h is   s tu d y   u s es  a n   I n d o n es ian   m u ltil ab el  HS AL   d atase r elea s ed   b y   Dar m a w a n   et  a l.   [ 1 5 ] co n tain i n g   1 3 , 1 6 9   tw ee t s .   T h d ataset  w a s   d ev elo p ed   in   co llab o r atio n   w it h   th C y b er   C r i m Dir ec to r ate  o f   B ar esk r i m   P o lr th r o u g h   f o cu s   g r o u p   d is c u s s io n   ( FGD)   w it h   r elev a n s ta k e h o ld er s ,   r esu lt in g   in   1 2   HS AL   lab els  an d   o n n o n - h ar m f u lab el.   T h HSAL   lab e ls   in cl u d e:  HS ,   A b u s i v e,   HS_ I n d iv id u al,   HS_ Gr o u p ,   HS_ R eli g io n ,   HS_ R ac e,   H S_ P h y s ical,   HS_ Ge n d er ,   HS_ Ot h er ,   HS_ W ea k ,   H S_ Mo d er ate,   an d   HS_ Stro n g .   T h ad d itio n al  lab el  P ( P o s itiv e/Ne u tr al)   m ar k s   t w ee t s   w it h o u h ar m f u co n te n t.  E ac h   lab el  r ep r esen t s   d if f er e n tar g e o r   s ev er it y   le v el  o f   o f f e n s i v la n g u a g e,   all o w i n g   f o r   f i n e - g r ai n ed   class i f icatio n .   T h lab el   d is tr ib u tio n   i s   s h o w n   i n   Fi g u r 1 .           Fig u r 1 .   Data s et  d is tr ib u tio n       T h ese  lab els  ca teg o r ize  t w ee t s   b ased   o n   th ty p an d   in ten s it y   o f   HS   o r   ab u s iv l a n g u a g e.   Ho w e v er ,   th lab el  d is tr ib u tio n   i s   h i g h l y   i m b ala n ce d ,   as  s h o w n   i n   Fi g u r 1 .   Fo r   in s tan ce ,   5 , 5 6 1   t w ee t s   ar lab eled   as  HS ,   w h ile  o n l y   3 0 6   t w ee t s   f al u n d er   HS_ Gen d er .   Ot h er   m i n o r it y   cla s s e s   i n cl u d HS_ Str o n g ,   H S_ Mo d er ate,   HS_ P h y s ica l,  HS_ R ac e,   HS_ R eli g io n ,   an d   HS_ Gr o u p .   C las s   i m b ala n ce   in   m u l ti - lab el  class i f icatio n   i s   co m m o n l y   ad d r ess ed   u s in g   tec h n iq u e s   s u c h   as   r an d o m   o v er s a m p li n g ,   u n d er   s a m p li n g ,   co s t - s e n s iti v lear n in g ,   f o ca lo s s ,   o r   clas s - b al an ce d   lo s s .   I n   th i s   s tu d y ,   s y n th et ic  m in o r it y   o v er s a m p li n g   tech n iq u ( SMO T E )   ( = 3 )   w as  s elec ted   b ec au s e   it  g e n er ate s   s y n t h etic  m i n o r it y   s a m p les  w i th o u t   d u p licati n g   i n s ta n ce s ,   p r o v id es  m o r s tab le  m i n o r it y   c o v er ag e,   an d   d o es   n o r eq u ir m o d if icatio n s   to   th lo s s   f u n ctio n   o r   m o d el  ar ch itectu r e an   i m p o r tan t   co n s id er atio n   f o r   m ai n tai n in g   s tab le  M A M L   in n er - lo o p   o p ti m izat io n .   P r eli m in ar y   ex p er i m en t s   s h o w ed   t h at  SMOT E   y ield ed   m o r co n s is te n i m p r o v e m e n t s   th an   f o ca lo s s   an d   clas s - b alan ce d   lo s s ,   w h ich   te n d ed   to   p r o d u ce   u n s tab le  g r ad ien ts   w h e n   co m b in ed   w i th   m eta - lear n i n g .   C o s t - s en s iti v lear n i n g   al s o   s h o w ed   s en s iti v it y   to   w ei g h t   s ca lin g   u n d er   h i g h l y   s k e w ed   l ab el  d is tr ib u tio n s ,   r es u lti n g   i n   f l u ct u ati n g   u p d ates  d u r in g   m eta - tr ai n in g .   T h ese   o b s er v atio n s   in d icate   th a SM OT E   o f f er s   m o r r eliab le  i m b a lan ce - h an d li n g   s tr ateg y   f o r   b o th   co n v e n tio n a l   an d   MA ML - b ased   tr ai n in g   i n   th is   s etti n g .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         I mp r o vin g   mu ltil a b el  cla s s ifica tio n   o h a te  s p ee ch   a n d   a b u s i ve   la n g u a g in   I n d o n esia n     ( Ja s ma n   P a r d ed e )   551   2 . 1. 1 .   P re pro ce s s ing   da t a s et   A   p r ep r o ce s s in g   p ip elin w a s   ap p lied   b ef o r m o d el  tr ain i n g .   I co n s is t s   o f   f iv s ta g es:  ca s f o ld in g ,   f ilter i n g ,   to k en izatio n ,   co n v er s io n   to   ten s o r   f o r m at,   a n d   d ataset  co n s tr u ctio n .   First,  all  t ex is   co n v er ted   to   lo w er ca s to   s ta n d ar d ize  w o r d   r ep r esen tati o n .   Fil ter in g   t h e n   r e m o v e s   ir r elev a n ch ar ac te r s ,   s u c h   as  s y m b o ls ,   n u m b er s ,   a n d   ex tr w h i tesp ac e.   Nex t,  to k en iza tio n   i s   p er f o r m ed   u s in g   t h I n d o B E R T w e et  to k e n izer ,   w h ic h   ap p lies   W o r d P iece - b ased   s u b w o r d   ap p r o ac h   to   h an d le  in f o r m al   an d   o u t - of - v o ca b u lar y   t e r m s .   T h to k e n izer   g en er ate s   th r ee   o u tp u ts i n p u t_ id s   w h ic h   r ep r esen th to k en ized   te x as  n u m er ical  i n d ices  b ased   o n   th m o d el s   v o ca b u lar y ,   atten tio n _ m a s k   w h ic h   in d icate s   m ea n i n g f u to k e n s   w it h   v alu e s   o f   1   an d   p ad d in g   to k en s   w it h   v al u es   o f   0 ,   a n d   to k e n _ t y p e_ id s   w h ic h   i n d icate   w h et h er   th in p u co n s is ts   o f   s i n g le   s en te n ce   ( v alu e   0 )   o r   p air   o f   s en te n ce s   ( v al u 1 ) .   T ab le  1   s h o w s   t h f i n al  s tr u ctu r ed   f o r m at  o f   t h p r ep r o ce s s ed   d ata.       T ab le  1 .   E x am p le  o f   p r ep r o ce s s i n g   r es u lt s   R e a l   t e x t   P r e p r o c e sse d   t e x t   T o k e n   I D   A t t e n t i o n   m a sk   T o k e n   t y p e   i d s   4 1 .   S o me t i me s I   w o n d e r   w h y   I   st i l l   b e l i e v e   i n   G o d   e v e n   t h o u g h   I   k e e p   f a l l i n g   o v e r   a n d   o v e r   a g a i n .   S o me t i me s I   f e e l   t h a t   G o d   h a s   a b a n d o n e d   me .   W h e n   my   p a r e n t s p l a n n e d   t o   se p a r a t e ,   w h e n   my   si b l i n g   c h o se   t o   b e c o me   C h r i s t i a n ,   w h e n   I   w a s a   c h i l d   s o me t i me s   i   w o n d e r   w h y   i   st i l l   b e l i e v e   i n   g od  e v e n   t h o u g h   i   k e e p   f a l l i n g   o v e r   a n d   o v e r   a g a i n   s o me t i me i   f e e l   t h a t   g o d   h a a b a n d o n e d   me   w h e n   my   p a r e n t p l a n n e d   t o   se p a r a t e   w h e n   my   si b l i n g   c h o se   t o   b e c o me   a   C h r i st i a n ,   w h e n   i   w a s a   c h i ld   [ 3 ,   3 8 5 1 ,   2 2 5 4 ,   1 0 9 9 0 ,   5 3 9 6 ,   2 2 5 4 ,   2 2 6 1 ,   …,   0 ]   [ 1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   ,   0]   [ 0 ,   0 ,   0 ,   0 ,   0 ,   0 ,   0 ,   …,   0 ]       Af ter   to k e n izatio n ,   t h d ata  w er co n v er ted   in to   te n s o r   f o r m at,   as  r eq u ir ed   b y   t h m o d el.   T h d ataset  w a s   th e n   d iv id ed   in to   th r ee   s u b s ets:   tr ain i n g ,   v alid atio n ,   an d   test .   T h s p lit  p r o p o r tio n s   w e r 8 0 %   f o r   tr ain in g   an d   1 0 % e ac h   f o r   v alid atio n   an d   test i n g .   T ab le  2   s h o w s   th l ab el  d is tr ib u tio n   ac r o s s   t h ese  s u b s ets.       T ab le  2 L ab el  d is tr ib u tio n   o n   s u b s et  d atase t   L a b e l   A mo u n t   o f   d a t a   A mo u n t   o f   d a t a   T r a i n i n g   V a l i d a t i o n   T e st i n g   HS   5 5 6 1   4 4 3 8   5 4 3   5 8 0   A b u si v e   5 0 4 3   4 0 1 0   5 0 2   5 3 1   H S _ I n d i v i d u a l   3 5 7 5   2 8 7 2   3 4 1   3 6 2   H S _ G r o u p   1 9 8 6   1 5 6 6   2 0 2   2 1 8   H S _ R e l i g i o n   7 9 3   6 3 3   74   86   H S _ R a c e   5 6 6   4 5 4   58   54   H S _ P h y si c a l   3 2 3   2 7 6   24   23   H S _ G e n d e r   3 0 6   2 5 0   26   30   H S _ O t h e r   3 7 4 0   2 9 6 0   3 7 4   4 0 6   H S _ W e a k   3 3 8 3   2 7 1 4   3 2 2   3 4 7   H S _ M o d e r a t e   1 7 0 5   1 3 5 0   1 6 7   1 8 8   H S _ S t r o n g   4 7 3   3 7 4   54   45   PS   5 8 6 0   4 6 9 8   5 9 2   5 7 0   T o t a l   a mo u n t   d a t a   1 3 . 1 6 9   1 0 5 3 5   1 3 1 7   1 3 1 7       2 . 2   B a s lin m o del     T h p r im ar y   m o d el  in   th is   s tu d y   co m b in e s   I n d o B E R T w ee an d   B iGR in   co llab o r ativ ar ch itect u r e.   I n itiall y ,   I n d o B E R T w ee t   ac ts   as  f ea t u r ex tr ac to r ,   co n v er tin g   in p u tex in to   d en s v ec to r   r ep r esen tatio n s   t h at  ca p tu r t h co n te x t u al  m ea n i n g   o f   wo r d s .   I ts   o u tp u is   a   th r ee - d i m en s io n a te n s o r   o f   s h ap [ b atch _ s ize,   s eq u e n ce _ len g th ,   h id d en _ s ize] ,   w h er ea ch   to k e n   i s   r ep r esen te d   b y   v ec to r   en co d i n g   s e m a n tic  a n d   co n tex tu al  in f o r m atio n   in   h i g h - d i m en s io n al  s p ac e.   T h is   r ep r esen tatio n   co m es  f r o m   p r etr ain ed   B E R T   an d   r ef lects  r elatio n s h i p s   b etw ee n   w o r d s   in   co n te x t.  T h o v er all  a r ch itectu r o f   th e   p r o p o s ed   m o d el  is   s h o w n   in   F ig u r 2 .   T h e   t en s o r   i s   th en   p as s e d   t o   a   B i G R U   l ay e r ,   w h i ch   c a p tu r es   s e q u en t ia l   d e p en d en c ie s   in   b o th   d i r e c t i o n s .   T h b id ir ec tio n al  B iGR p r o d u ce s   te n s o r   o f   s h ap [ b atch _ s ize,   s eq u en ce _ le n g th ,   h id d en _ s ize   ×  2 ] ,   co m b i n i n g   i n f o r m atio n   f r o m   f o r w ar d   an d   b ac k w ar d   p ass es.   Fin all y ,   t h o u tp u is   f ed   in t o   f u ll y   co n n ec ted   la y er   t h at  s er v es  a s   t h clas s i f icatio n   h ea d .   I p r ed icts   1 3   lab els  p er   s a m p le,   p r o d u cin g   1 3   lo g it  v al u es.  T h ese   lo g its   ar co n v er ted   to   p r o b a b ilit ies  b et w ee n   0   an d   1   u s i n g   s ig m o id   ac tiv a tio n .   L ab els  w it h   p r o b ab ilit ies   ab o v 0 . 5   ar e   co n s id er ed   p o s it iv e.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 5 4 9 - 563   552       Fig u r 2 Mo d el  a r ch itectu r e       2 . 2 . 1.   I nd o B E RT w ee t   B E R T   is   d ee p   lear n in g   m o d el  b ased   o n   t h atte n tio n   m ec h an i s m   [ 1 6 ] I is   w id el y   u s ed   in   n at u r al   lan g u a g p r o ce s s in g   d u to   its   ef f ec ti v en e s s   i n   tr an s f e r   lear n in g   a n d   its   ab ilit y   to   m o d el  co n te x t u al   r elatio n s h ip s   b et w ee n   w o r d s   [ 1 7 ] .   B E R T   o p er ates  w it h i n   t h T r an s f o r m er   en co d er   f r a m e w o r k ,   co m p r i s in g   1 2   la y er s   an d   1 2   atten tio n   h ea d s ,   w it h   7 6 8 - d i m e n s io n al  e m b ed d in g s   an d   h id d en   s tate s   [ 1 2 ] ,   [ 1 8 ] T o k en izatio n   is   p er f o r m ed   u s i n g   W o r d P iece ,   w it h   ad d itio n al  [ C L S]  an d   [ SEP ]   to k en s   to   s tr u ct u r in p u t   [ 1 9 ] .   I n d o B E R T w ee i s   d o m ai n - ad ap ted   B E R T   v ar ian t,  p r etr ain ed   s p ec i f icall y   o n   I n d o n e s ian   t w ee t s   u s i n g   ap p r o x i m atel y   4 0 9 - 4 9 0   m illi o n   to k e n s n ea r l y   t w ice  th at  o f   I n d o B E R T   [ 6 ] ,   [ 9 ] ,   [ 1 5 ] I ts   v o ca b u lar y   a n d   co r p u s   ar o p tim ized   f o r   in f o r m al  s o cial  m ed ia  te x t,  m ak i n g   it  m o r r o b u s i n   h a n d li n g   l in g u i s tic  v ar iatio n s   th an   I n d o B E R T   o r   m B E R T   [ 6 ] .      =   ( _ [  ]   + )   (1 )        ( , , ) =   ( )   ( 2 )     Du r in g   p r etr ain i n g ,   B E R T   u s es  t w o   m a in   o b j ec tiv es:  m a s k ed   lan g u a g m o d eli n g   ( M L M) ,   w h ic h   p r ed icts   m as k ed   to k en s   to   lea r n   co n tex t u al  w o r d   r ep r esen tatio n s ,   an d   n ex s e n te n ce   p r ed i ctio n   ( NSP ) ,   w h ic h   ev alu a tes  s e n ten ce   co h er en ce   u s i n g   th [ C L S]  to k en   an d   s o f t m a x   la y er   ( 1 )   [ 6 ] B E R T   al s o   em p lo y s   s ca led   dot - p r o d u ct  s elf - atte n tio n   ( 2 )   t o   co m p u te  i n ter - to k e n   d ep en d en cies   v ia   lear n ed   q u er y   ( ) ,   k ey   ( ) ,   an d   v al u ( )   m atr ice s ,   en ab li n g   r ic h   s e m an tic  en co d i n g   ac r o s s   s eq u e n c es   [ 1 6 ] .     2 . 2 . 2.   B iG RU   T h B iGR ex ten d s   th e   s ta n d ar d   g ated   r ec u r r en u n it  ( G R U)   b y   p r o ce s s in g   s eq u e n tial  d ata  in   b o t h   f o r w ar d   an d   b ac k w ar d   d ir ec ti o n s .   T h is   b id ir ec tio n al  d esi g n   ca p tu r es  co n te x tu a in f o r m at io n   f r o m   p as an d   f u tu r to k e n s   s i m u l tan eo u s l y ,   i m p r o v i n g   u n d er s ta n d i n g   o f   wo r d   r elatio n s h ip s   w it h i n   s en t en ce   [ 1 9 ] ,   [ 2 0 ] .     = ( + 1 + )   ( 3 )     = ( + 1 + )   ( 4 )     ~ =  ( + ( 1 ) + )   ( 5 )     = ( 1 ) 1 + ~   ( 6 )     =  ( , )   ( 7 )     B iGR s i m p li f ie s   tr ad itio n al  r ec u r r en n eu r al  n et w o r k s   ( R NNs )   b y   co m b i n i n g   t h in p u t   an d   f o r g e t   g ates  in to   s in g le  u p d ate  g a te  an d   ad d in g   r eset  g ate  to   co n tr o in f o r m atio n   f lo w .   T h is   m a k e s   it  m o r e   ef f icien at  h an d li n g   lo n g   s eq u en ce s   [ 1 9 ] ,   [ 2 1 ] T h m o d el   r ec eiv es  e m b ed d in g s   f r o m   I n d o B E R T w ee an d   co m p u tes  h id d en   s tates  th r o u g h   b o t h   f o r w ar d   an d   b ac k w ar d   GR la y er s .   T h ese  la y er s   p r o ce s s   th s eq u e n ce   f r o m   s tar to   e n d   an d   v ice  v e r s a,   ca p tu r in g   b id ir ec tio n al   c o n tex t   [ 2 0 ] .   T h GR m ec h a n is m   co m p u te s   t h u p d ate  g ate  ( 3 ) ,   r eset  g ate  ( 4 ) ,   ca n d id ate  h id d en   s tate  ( 5 ) ,   an d   cu r r en h id d en   s tate  ( 6 )   [ 2 1 ] T h f in al   co n tex t u al  r ep r esen tatio n   is   f o r m ed   b y   co n ca ten a tin g   h id d en   s tates  f r o m   b o th   d ir ec tio n s   ( 7 ) ,   y ield in g   r ich er   an d   m o r co m p r eh en s i v en co d in g   o f   t h i n p u t seq u en ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         I mp r o vin g   mu ltil a b el  cla s s ifica tio n   o h a te  s p ee ch   a n d   a b u s i ve   la n g u a g in   I n d o n esia n     ( Ja s ma n   P a r d ed e )   553   2 . 3 .   T ra ini ng   m et ho d   2 . 3 . 1 .   Co nv ent io na s up er v is ed  lea rning   t ra ini ng   I n   co n v e n tio n al  tr ai n i n g ,   th m o d el  is   tr ai n ed   iter ativ el y   f o r   p r ed ef in ed   n u m b er   o f   ep o ch s ,   ea ch   co n s is tin g   o f   tr ai n i n g   an d   v alid atio n   p h a s e.   T h is   s tu d y   ad o p ts   s u p er v i s ed   m u lt i - lab el  cla s s i f icatio n   ap p r o ac h ,   w h er h u m a n   an n o tatio n s   ar r eq u ir ed   [ 2 1 ] .   T o   m ee th is   r eq u ir e m e n t,  lab el  d ev elo p m e n w as   co n d u cted   th r o u g h   FGD  w it h   t h C r i m i n al  I n v es tig a t io n   A g e n c y   o f   t h I n d o n es i an   Natio n a P o lice   ( B a r eskr im  P o lr i ) .   T h o b j ec tiv d u r i n g   tr ai n i n g   is   to   m i n i m ize  lo s s   a n d   i m p r o v p er f o r m a n ce   m etr ic s ,   in cl u d in g   F1 - s co r e,   A U R O C ,   an d   ex ac m atch   ac c u r ac y .   Du r in g   tr ai n i n g ,   th m o d el  o p er ates  in   tr ai n i n g   m o d to   allo w   g r ad ien u p d ates.  I n p u d ata  ar g r o u p ed   in to   m in i - b at c h es  u s in g   d ata  lo ad er .   Fo r   ea ch   b atch ,   th m o d el  g en er ates  p r o b ab ilit y   o u tp u t s   th r o u g h   s i g m o id   ac ti v atio n   f u n ct io n   f o r   ev er y   lab el.   L o s s   i s   th e n   ca lcu lated   u s i n g   b in ar y   cr o s s - en tr o p y   lo s s   ( B C E L o s s ) .   B ac k p r o p ag atio n   u p d ates  t h m o d el  b y   co m p u ti n g   g r ad i en ts   f r o m   th e   lo s s   f u n ctio n ,   f o llo w ed   b y   p ar am eter   u p d ates u s in g   t h o p ti m izer   an d   g r ad ie n t r esetti n g   w it h   o p ti m izer . ze r o _ g r ad ( ) .   I n   th v alid atio n   p h ase,   th e   m o d el  s w itc h es  to   ev al u ati o n   m o d w it h   g r ad ien t s   d is a b led   u s in g   to r ch . n o _ g r ad ( ) ,   r ed u cin g   m e m o r y   u s a g an d   p r ev e n ti n g   p ar a m eter   u p d ates.  T h p r ed icted   p r o b ab ilit ies  ar e   co n v er ted   in to   b in ar y   lab el s   t h r o u g h   a   p r ed ef in ed   t h r es h o ld .   P er f o r m a n ce   is   e v al u ated   u s i n g   m icr o   an d   m ac r o   F1 - s co r es,  e x ac m atch   ac c u r ac y ,   an d   m icr o - m ac r o - a v er ag ed   A U R OC .   T w o   m o d el  ch e ck p o in ts   ar s to r ed th m o s r ec en m o d el  an d   t h b est - p er f o r m in g   m o d el  b ase d   o n   m ac r o   F1 - s co r e.   A   lear n in g - r ate  s ch ed u ler   ad j u s ts   th tr ai n i n g   d y n a m ics,  an d   tq d m   i s   u s ed   to   d is p la y   p r o g r ess   d u r i n g   t h tr ai n i n g   p r o ce s s .       2 . 3 . 2 .   M A M L   MA M L   is   m eta - lear n in g   f r a m e w o r k   d esig n ed   to   h elp   m o d els  q u ick l y   ad ap to   n e w   t ask s   u s i n g   m i n i m al  tr ain i n g   d ata  [ 2 2 ] ,   [ 2 3 ] .   B ein g   ar ch itectu r e - ag n o s t i c,   MA M L   ca n   b ap p lied   to   an y   g r ad ien t - b ased   m o d el   f o r   ta s k s   s u c h   a s   clas s i f i ca tio n ,   r eg r es s io n ,   o r   r ei n f o r ce m en lear n in g   [ 1 0 ] ,   [ 2 4 ] .   T h f lo w ch ar t   o f   t h e   MA M L   p r o ce s s   is   i llu s tr ated   i n   Fi g u r 3 .           Fig u r 3 .   MA M L   f lo w ch ar t       T h co r id ea   o f   MA M L   i s   to   lear n   an   o p ti m al  i n it iali za tio n   o f   m o d el  p ar a m eter s .   W ith   th i s   in itial izatio n ,   o n l y   f e w   g r ad ien s tep s   ar n ee d ed   to   ac h iev h i g h   p er f o r m a n ce   o n   u n s ee n   tas k s   [ 2 2 ] .   I ts   tr ain i n g   co n s is t s   o f   t w o   lo o p s th in n er   lo o p   u p d ates  p ar a m eter s   u s i n g   t h s u p p o r s et  o f   g iv e n   task   ( 8 ) ,   w h ile  th o u ter   lo o p   o p tim iz es  m eta - p ar a m eter s   b y   m i n i m izi n g   t h m eta - lo s s   ac r o s s   task s ,   as  f o r m alize d     in   ( 9 )   [ 2 2 ] ,   [ 2 4 ]     ( )   ( 8 )     0 ( ) ~ ( )   ( 9 )     B y   r ep ea ted l y   ad ap tin g   to   m u l tip le  task s ,   th o u ter   lo o p   en h an ce s   g e n er aliza tio n .   A s   r esu lt,  MA ML - tr ai n ed   m o d el s   p er f o r m   e f f ic ien t l y   a n d   ef f ec ti v el y ,   esp ec iall y   in   lo w - r eso u r ce   s ce n ar io s .     2 . 3 .3 .   E v a lua t io m et rics   T h is   s t u d y   e m p lo y s   th r ee   p r i m ar y   e v al u atio n   m e tr ics ,   n a m el y   F1 - s co r e,   A UR OC ,   a n d   ex ac m atc h   ac cu r ac y .   T h F1 - s co r is   p ar ticu lar l y   i m p o r tan f o r   i m b ala n ce d   d atasets   as  it   b alan ce s   p r ec is io n   a n d   r ec all,   an d   is   r ep o r ted   in   b o th   m icr o   an d   m ac r o   f o r m s .   Mic r o   F1   a g g r e g ates  tr u e /f al s p o s itiv e s   an d   n eg ati v e s   ac r o s s   all  lab els,  w h ile  m ac r o   F1   av er ag es   th s co r es  p er   class ,   ass i g n in g   eq u al   w ei g h to   ea ch   lab el.   A U R O C   m ea s u r es  t h m o d el s   ab ilit y   to   d is tin g u i s h   b et w ee n   p o s iti v an d   n eg at iv lab els  w i th o u t   r ely in g   o n   f ix ed   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 5 4 9 - 563   554   th r es h o ld ,   b y   an al y zi n g   s e n s i t iv it y   tr u p o s iti v r ate  ( T P R ) )   an d   s p ec i f icit y   ( f a ls p o s iti v r ate  ( FP R ) )   [ 1 2 ] ,   w h ic h   is   cr u cial  f o r   i m b ala n c ed   m u lt i - lab el  tas k s .   E x ac Ma tch   A cc u r ac y   m ea s u r es  wh eth er   t h p r ed icted   lab el  s et  f u ll y   m atch e s   t h g r o u n d   tr u t h   [ 2 5 ] ,   m a k i n g   i s tr ict  in d icato r   o f   p r ed ictiv p er f o r m a n ce A l l   h y p er p ar a m eter   co m b in a tio n s   w er ev al u ated   o n   th h el d - o u test   s et  u s i n g   th e s m etr ics  to   en s u r e   co m p r e h en s iv as s es s m en t.  T ab le  3   s u m m ar ize s   th b aseli n m o d el  p er f o r m a n ce   co m p a r is o n .   Fu r t h er m o r e,   T ab le  4   p r esen ts   t h r es u lts   o f   t h t h r ee   b est - p er f o r m i n g   m o d els  f r o m   ea c h   tr ai n in g   m et h o d ,   in clu d in g   t h es e   m etr ics a n d   th lo w es t tr ain i n g   an d   v al id atio n   lo s s e s .       3.   RE SU L T S AN D I SCU SS I O   3 . 1 .     M o del  c re a t io n   T h ex p er im e n ts   w er ca r r ie d   o u in   tw o   p h ase s .   T h f ir s o p tim ized   th I n d o B E R T w e et - B iGR U   b aselin v ia  co n v e n tio n a s u p er v is ed   lear n i n g ,   ev a lu at in g   1 8 5   c o n f i g u r atio n s   th a v ar ie d   in   lear n in g   r ates,  o p tim izer s ,   lo s s   f u n ct io n s ,   p o o lin g   s tr ateg ies,  b atch   s iz es,  an d   h id d en   s izes.  T h is   s tep   e s tab lis h ed   s tab le   b aselin f o r   co m p ar is o n   w it h   m eta - lear n i n g .   T h s ec o n d   p h ase  ap p lied   th s a m ar ch itec tu r u s i n g   M AM L ,   test i n g   v ar iatio n s   i n   o u te r   an d   in n er   lear n in g   r ates,  n u m b er   o f   in n er   s tep s ,   an d   m eta - b atch   s izes  to   ac h iev o p tim al  f e w - s h o ad ap tatio n .   A d d itio n al   h id d en - s ize  a n d   b atch - s ize  s etti n g s   w er also   e x p lo r ed .   T h th r ee   to p   m o d el s   p er   m et h o d   w er th en   co m p ar ed .   A ll  e x p er i m e n ts   w er co n d u cted   o n   Ka g g l e s   T esla  T 4   g r ap h ics  p r o ce s s in g   u n it  ( GP U)   f o r   co n s is ten t e v al u atio n .       3 . 1 . 1 .   M et ric  e v a lua t io n r esu lt s   o n t esting   da t a   T o   j u s tify   t h ch o ice  o f   I n d o B E R T w ee t - B iG R a s   t h co r ar ch itect u r e,   b aselin co m p ar i s o n s   w er e   p er f o r m ed   u s in g   B iG R a lo n e,   I n d o B E R T w ee t   alo n e,   an d   t h eir   co m b i n atio n ,   tr ain ed   u n d er   b o th   co n v e n tio n al  an d   M A M L   s ettin g s .   T h co m b in ed   m o d el  p r o d u ce d   th m o s b alan ce d   p er f o r m a n ce ,   s u p p o r tin g   its   u s in   s u b s eq u e n ev al u atio n s   o f   m eta - lear n i n g .   T h r esu lts   o f   t h ese  ex p er i m en ts   ar p r esen ted   in   T a b le  3 .   T h is   ex p er im e n w a s   co n d u cted   u s i n g   th co n f i g u r atio n   p r esen ted   in   T ab le   4 ,   r ef er r ed   to   as   C o n v en t io n al_ 1 .       T ab le  3 C o m p ar is o n   o f   b aseli n m o d el  p er f o r m a n ce     M o d e l   B e st   l o ss   Ex a c t   m a t c h   A U R O C   F1 - s c o r e   T r a i n   V a l   M i c r o   M a c r o   M i c r o   M a c r o   B i G R U   0 . 1 5 5 7   0 . 3 2 5 5   0 . 4 9 7 3   0 . 8 8 1 6   0 . 8 4 6 4   0 . 6 5 6 5   0 . 4 0 5 9   I n d o B ER T w e e t   0 . 0 0 2 1   0 . 1 7 1 2   0 . 7 5 1 7   0 . 9 6 1 2   0 . 9 4 6   0 . 8 3 3 9   0 . 7 6 1 8   I n d o B ER T w e e t + B i G R U   0 . 0 0 1 5   0 . 1 6 3 9   0 . 7 5 7 0   0 . 9 6 4 1   0 . 9 5 2 6   0 . 8 4 0 2   0 . 7 7 9 7   B i G R U   +   M A M L   0 . 2 6 8 1   0 . 3 1 5 4   0 . 3 6 7 5   0 . 8 9 3 6   0 . 8 3 0 1   0 . 5 8 6 9   0 . 3 0 3 1   I n d o B ER T w e e t   +   M A M L   0 . 0 2 8 5   0 . 1 7 3 9   0 . 7 4 4 9   0 . 9 6 8 9   0 . 9 5 4 6   0 . 8 3 5 8   0 . 7 6 2 3   I n d o B ER T w e e t + B i G R U   +   M A M L   0 . 0 2 3 7   0 . 1 7 6 6   0 . 7 4 4 1   0 . 9 6 9 4   0 . 9 5 5 2   0 . 8 3 9 8   0 . 7 7 0 1       B ased   o n   th r es u lt s   p r esen t ed   in   T ab le  3 ,   th I n d o B E R T w ee t - B iGR U   m o d el  w a s   s e lecte d   f o r   f u r t h er   h y p er p ar a m eter   t u n i n g   u n d er   b o th   co n v e n tio n al  an d   MA M L   s et u p s .   T h co r r esp o n d in g   h y p er p ar a m eter   co n f i g u r atio n s   o f   th to p   th r ee   m o d el s   f o r   ea ch   tr ain i n g   m e th o d   ar s u m m ar ized   in   T ab le  4 ,   all  tr ain ed   f o r   3 0   ep o ch s .       T ab le  4 .   Hy p er p ar am e ter   c o n f ig u r at io n   M o d e l   S c h e d u l e r   O p t i mi z e r   L o ss  f u n c t i o n   S e e d   L e a r n i n g   r a t e   I n n e r   st e p   M e t a   b a t c h   H i d d e n   si z e   B a t c h   si z e   O u t e r   I n n e r   C o n v e n t i o n a l _ 1   C o si n e A n n e a l i n g L R   A d a mW   B C EL o ss   99   4e - 5   -   -   -   2 5 6   2 5 6   16   M A M L _ 1   C o si n e A n n e a l i n g L R   A d a mW   B C EL o ss   99   4e - 5   2e - 3   9   4   16   C o n v e n t i o n a l _ 2   C o si n e A n n e a l i n g L R   A d a mW   B C EL o ss   99   4e - 5   -   -   -   5 1 2   16   M A M L _ 2   C o si n e A n n e a l i n g L R   A d a mW   B C EL o ss   99   4e - 5   1e - 4   10   4   5 1 2   16   C o n v e n t i o n a l _ 3   C o si n e A n n e a l i n g L R   A d a mW   B C EL o ss   99   4e - 5   -   -   -   5 1 2   32   M A M L _ 3   C o si n e A n n e a l i n g L R   A d a mW   B C EL o ss   99   4e - 5   5e - 4   5   4   5 1 2   32   C o n v e n t i o n a l _ 4   C o si n e A n n e a l i n g L R   A d a m   B C EL o ss   99   4e - 5   -   -   -   2 5 6   16   M A M L _ 4   C o si n e A n n e a l i n g L R   A d a m   B C EL o ss   99   4e - 5   2e - 3   9   4   2 5 6   16   C o n v e n t i o n a l _ 5   C o si n e A n n e a l i n g L R   A d a m   B C EL o ss   99   5 e - 5   -   -   -   5 1 2   32   M A M L _ 5   C o si n e A n n e a l i n g L R   A d a m   B C EL o ss   99   5e - 5   2e - 3   3   4   5 1 2   32   C o n v e n t i o n a l _ 6   C o si n e A n n e a l i n g L R   A d a m   B C EL o ss   99   4e - 5   -   -   -   5 1 2   32   M A M L _ 6   C o si n e A n n e a l i n g L R   A d a m   B C EL o ss   99   4e - 5   5e - 4   5   4   5 1 2   32     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         I mp r o vin g   mu ltil a b el  cla s s ifica tio n   o h a te  s p ee ch   a n d   a b u s i ve   la n g u a g in   I n d o n esia n     ( Ja s ma n   P a r d ed e )   555   T h ch o s en   h y p er p ar a m eter s   r ef lecte d   b alan ce   b et w ee n   ad ap tatio n   s p ee d   an d   s tab ilit y .   O u ter   lear n in g   r ates  o f   4 e - 5   an d   5 e - 5 ef f ec ti v in   co n v en t io n a tr ain in g w er also   u s ed   in   MA M L   f o r   b etter   g en er aliza tio n .   I n n er   lear n i n g   r ates  ( 2 e - 3 ,   5 e - 4 ,   1 e - 4 )   w er t ested   to   ev alu ate  t h eir   i m p ac o n   q u i ck   ad ap tatio n   v er s u s   o p ti m iza tio n   s tab il it y .   T h s tu d y   v ar ied   in n er - lo o p   s tep s   ( 3 ,   5 ,   9 ,   1 0 )   to   g au g ad ap tatio n   d ep th   an d   u s ed   m eta - b atch   s ize  o f   4   to   b alan ce   d iv er s it y   a n d   co s t.  Hid d en   s izes  o f   2 5 6   an d   5 1 2   w er te s ted   f o r   ef f icie n c y   v er s u s   r ep r esen tati o n al  s tr e n g th ,   alo n g   w ith   b atc h   s izes  o f   1 6   an d   3 2   f o r   s tab le  g r ad ien u p d ates.  A   s eq u en ce   le n g th   o f   1 2 8   m atc h ed   th d ataset s   t o k en   d is tr ib u tio n .   T ab le  5   r e p o r ts   th p er f o r m a n ce   ac r o s s   co n f ig u r atio n s .       T ab le  5 C o m p ar is o n   o f   m o d el   p er f o r m a n ce   i n   t w o   tr ai n i n g   m et h o d s   M o d e l   B e st   l o ss   Ex a c t   mat c h   A U R O C   F1 - sco r e   T r a i n i n g   t i me   M e mo r y   u sag e   ( M B )   M o d e l   s i z e   ( M B )   T r a i n   V a l   M i c r o   M a c r o   M i c r o   M a c r o   C o n v e n t i o n a l _ 1   0 . 0 0 1 5   0 . 1 6 3 9   0 . 7 5 7 0   0 . 9 6 4 1   0 . 9 5 2 6   0 . 8 4 0 2   0 . 7 7 9 7   0 2 : 0 5 : 1 5   3 6 6 1     4 2 7 . 8 2 9   M A M L _ 1   0 . 0 2 4 6   0 . 1 7 3 4   0 . 7 4 1 8   0 . 9 6 8 7   0 . 9 5 6 5   0 . 8 3 3   0 . 7 6 2 7   0 6 : 0 5 : 0 4   1 4 3 7 . 4 9     4 2 7 . 8 3   C o n v e n t i o n a l _ 2   0 . 0 0 1 3   0 . 1 6 7 9   0 . 7 5 8 5   0 . 9 6 3 3   0 . 9 4 9 9   0 . 8 3 7 5   0 . 7 7 1 0   0 2 : 2 0 : 2 2   3 7 1 5     4 3 6 . 8 6 6   M A M L _ 2   0 . 0 2 9 4   0 . 1 8 1 8   0 . 7 2 6 7   0 . 9 6 4 7   0 . 9 4 7 8   0 . 8 1 9 6   0 . 7 4 5 3   0 7 : 5 4 : 1 9   1 5 0 6 . 1 2     4 3 6 . 8 7   C o n v e n t i o n a l _ 3   0 . 0 0 1 8   0 . 1 6 5 0   0 . 7 5 2 5   0 . 9 6 6 2   0 . 9 5 4 0   0 . 8 3 8 4   0 . 7 6 6 2   0 2 : 1 6 : 1 4   4 7 6 5     4 3 6 . 8 6 6   M A M L _ 3   0 . 0 2 5 4   0 . 1 7 4 9   0 . 7 4 4 9   0 . 9 6 9 4   0 . 9 5 5 2   0 . 8 3 8 5   0 . 7 6 9 3   0 4 : 3 6 : 2 0   1 5 4 1 . 8 9     4 3 6 . 8 7   C o n v e n t i o n a l _ 4   0 . 0 0 1 7   0 . 1 7 2 2   0 . 7 4 1 1   0 . 9 6 6 4   0 . 9 5 7 3   0 . 8 2 7 3   0 . 7 6 3 6   0 2 : 0 5 : 3 2   3 6 6 1     4 2 7 . 8 2 9   M A M L _ 4   0 . 0 2 5 0   0 . 1 7 7 3   0 . 7 4 6 4   0 . 9 7 0 3   0 . 9 5 7   0 . 8 4 1 2   0 . 7 6 8 5   0 6 : 2 7 : 3 1   1 4 2 4 . 8 7     4 2 7 . 8 3     C o n v e n t i o n a l _ 5   0 . 0 0 1 9   0 . 1 6 2 1   0 . 7 4 8 7   0 . 9 6 2 9   0 . 9 5 2 6   0 . 8 3 0 5   0 . 7 6 2 9   0 2 : 2 4 : 0 7   4 7 6 5     4 2 7 . 8 2 9   M A M L _ 5   0 . 0 2 3 7   0 . 1 7 6 6   0 . 7 4 4 1   0 . 9 6 9 4   0 . 9 5 5 2   0 . 8 3 9 8   0 . 7 7 0 1   0 3 : 4 6 : 4 8   1 5 3 8 . 1 4     4 3 6 . 8 7     C o n v e n t i o n a l _ 6   0 . 0 0 1 8   0 . 1 6 9 6   0 . 7 5 2 5   0 . 9 6 5 0   0 . 9 5 3 8   0 . 8 3 5 9   0 . 7 7 2 1   0 1 : 5 5 : 0 5   4 7 6 5     4 3 6 . 8 6 6   M A M L _ 6   0 . 0 2 7 1   0 . 1 7 7 0   0 . 7 4 7 2   0 . 9 6 9 8   0 . 9 5 6 7   0 . 8 3 9 3   0 . 7 6 7 4   0 4 : 4 0 : 5 8   1 5 3 9 . 6 2     4 3 6 . 8 7       A cr o s s   s i x   co n f ig u r atio n   p air s ,   co n v en t io n al  tr ain i n g   s h o wed   lo w er   tr ain i n g /v al id atio n   lo s s   b u a   lar g er   g ap in d icati n g   s tr o n g e r   o v er f itti n g .   T h o v er f it tin g   co m p ar is o n   s h o w ed   th at  M AM L   ex h ib ited   m o r e   s tab le  g e n er aliza tio n   d e s p ite  h ig h er   tr ai n i n g   lo s s ,   w h ic h   is   r ein f o r ce d   b y   r esear c h   s u g g e s ti n g   th at   th b i - le v el   o p tim izatio n   f r a m e w o r k   o f   MA M L   ca n   r ed u ce   o v er f itt in g   co m p ar ed   to   co n v e n tio n al  m e th o d s   [ 2 6 ] .   P er f o r m a n ce   d if f er en ce s   w e r s m a ll,  w i th   f o u r   co n f i g u r atio n s   f av o r i n g   M A M L   an d   t w o   f a v o r in g   co n v e n tio n al  tr ain i n g .   M A M L   r eq u ir ed   2 - 3 . 5   lo n g er   tr a i n in g   b u u s ed   o n l y   3 0 - 4 0 o f   t h GP m e m o r y ,   w h ile  in f er en ce   ti m d i f f er ed   o n l y   b y   a   f e w   m illi s ec o n d s ,   m a k i n g   b o th   ap p r o ac h es  p r a ctica ll y   s i m ilar   f o r   d ep lo y m en t .   MA M L   h y p er p ar a m eter   s e n s itiv it y   h as  b ee n   n o ted   in   p r ev io u s   s tu d ie s   [ 2 7 ]   an d   w as  f u r th er   ex a m in ed   f r o m   an   o p ti m izatio n   p er s p ec tiv h er e.   MA ML   p e r f o r m an ce   d ep en d ed   h ea v il y   o n   th r atio   b et w ee n   in n er - lo o p   an d   o u ter - lo o p   lear n in g   r ates.  Me ta - b atc h   s ize  also   p lay ed   k e y   r o le:  to o   s m all  led   to   u n s tab le  g r ad ien ts ,   w h ile  to o   lar g r ed u ce d   task   d iv er s it y .   E x p er im en ts   i n d icate d   th at  m eta - b atch   s ize  o f   f o u r   p r o d u ce d   th m o s s tab le  o u t co m e s   an d   w a s   ad o p ted   f o r   all  r ep o r te d   s ettin g s .   T h n u m b er   o f   in n er   s tep s   in f lu e n ce d   r es u lts   as  w el l,  b u its   e f f ec w a s   clo s el y   tied   t o   lear n in g   r ate  c h o ices.  W it h   th ese   s etti n g s ,   p er - lab el  p er f o r m a n ce   w as e v al u at ed ,   w ith   d etailed   r es u lt s   s h o wn   in   T ab le  6 .       T ab le  6 E v alu atio n   m etr ic  f o r   ea ch   lab el   L a b e l   F1 - s c o r e   A U R O C   M A M L   C o n v e n t i o n a l   M A M L   C o n v e n t i o n a l   HS   0 . 8 9 0 4   0 . 8 7 7 6   0 . 9 5 9 9   0 . 9 5 0 4   A b u si v e   0 . 9 2 6   0 . 9 2 4 4   0 . 9 8 1 6   0 . 9 7 7 4   H S _ I n d i v i d u a l   0 . 8 0 6 2   0 . 7 9 4 5   0 . 9 4 1 3   0 . 9 3 7 4   H S _ G r o u p   0 . 7 3 1 9   0 . 7 0 3 6   0 . 9 2 6 7   0 . 9 1 6 5   H S _ R e l i g i o n   0 . 7 5   0 . 7 6 0 2   0 . 9 8 3 9   0 . 9 7 5 6   H S _ R a c e   0 . 8 1 5 5   0 . 7 9 6 1   0 . 9 9 1 4   0 . 9 8 8 3   H S _ P h y si c a l   0 . 5   0 . 5 5 8 1   0 . 9 6 6   0 . 9 7 7 5   H S _ G e n d e r   0 . 6 6 6 7   0 . 6   0 . 9 2 1 5   0 . 9 4 6 8   H S _ O t h e r   0 . 8 3 4   0 . 8 2 6 3   0 . 9 4 6 6   0 . 9 3 7 1   H S _ W e a k   0 . 7 8 2 5   0 . 7 7 7 6   0 . 9 3 7 2   0 . 9 3 2 8   H S _ M o d e r a t e   0 . 6 6 4 8   0 . 6 2 3 2   0 . 9 1 3 6   0 . 8 9 9 6   H S _ S t r o n g   0 . 7 3 1 2   0 . 7 7 0 8   0 . 9 7 2   0 . 9 7 3   PS   0 . 9 1 2 4   0 . 9 0 5 6   0 . 9 7 6 5   0 . 9 7 0 8       Fo r   th f i f t h   m o d el  p air ,   MA M L   i m p r o v ed   F1 - s co r es  a n d   A UR OC   f o r   s ev er al  m i n o r it y   lab els,   in cl u d in g   HS_ Gr o u p ,   HS_ Ge n d er ,   an d   HS_ Mo d er ate.   Desp ite  th s ig n i f ica n d ata  i m b ala n ce ,   M A M L   p r o v ed   s tab le  an d   ef f ec t iv [ 2 8 ] MA ML   in cr ea s ed   av er ag F1 - Ma cr o   b y   5 . 1 9 an d   im p r o v ed   m i n o r it y - lab el  F1   b y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 5 4 9 - 563   556   u p   to   1 . 0 0 %.  A UR O C   r o s b y   a n   av er ag o f   0 . 2 8 %,  co n f i r m in g   th a MA ML   lead s   to   b etter   g en er alize d   m o d el  i n itial izatio n   f o r   f ast  ad ap tatio n   [ 2 9 ]   an d   g en er alize s   b etter   u n d er   d ata  im b ala n ce .   T ab le   7   p r o v id e s   an   ex ten d ed   co m p ar is o n   t h at  i n cl u d es n o r m aliza tio n   a n d   d r o p o u t to   f u r th er   s u p p o r t th is   f i n d in g .   W ith   n o r m al izatio n   an d   d r o p o u t,  co n v e n tio n al  m o d els  s til ac h iev ed   h i g h er   F1   an d   E x ac Ma tch   s co r es  b u co n t in u ed   to   ex h ib it   o v er f itti n g .   M AM L   m ai n tai n ed   h i g h er   AUR O C ,   in d icati n g   b etter   d is cr i m i n ati v ab ilit y   u n d er   im b a lan ce ,   w h i le  s h o w i n g   m o r s tab le  v al id atio n   p er f o r m a n ce .   T h ap p licatio n   o f   r eg u lar izatio n   s tr ateg ie s   w it h i n   th m eta - lear n i n g   f r a m e w o r k   [ 2 6 ]   c o n f ir m s   tr a d e - o f f co n v e n tio n a l   m o d el s   o p ti m ize  ac cu r ac y   o n   d o m in a n clas s es,  w h er ea s   MA M L   y ie ld s   s tr o n g er   g e n er aliza tio n .   L a y er   n o r m aliza t io n   a n d   d r o p o u co n tr ib u te  to   tr ai n i n g   s tab il it y ,   b u t   th e   i n h er e n m et h o d o lo g ical  d i f f er e n ce s   r e m ain .       T ab le  7 .   C o m p ar is o n   o f   m o d el   p er f o r m a n ce   i n   t w o   tr ai n i n g   m et h o d s   w ith   n o r m aliza tio n   a n d   d r o p o u t   M o d e l   B e st   l o ss   Ex a c t   m a t c h   A U R O C   F1 - s c o r e   T r a i n   V a l   M i c r o   M a c r o   M i c r o   M a c r o   C o n v e n t i o n a l _ 1   0 . 0 0 1 6   0 . 1 7 3 6   0 . 7 5 7   0 . 9 6 3 6   0 . 9 5 0 5   0 . 8 3 9   0 . 7 6 9 9   M A M L _ 1   0 . 0 2 6 5   0 . 1 7 8 5   0 . 7 4 1 8   0 . 9 7 0 8   0 . 9 5 9 1   0 . 8 3 1 3   0 . 7 7 1 4   C o n v e n t i o n a l _ 2   0 . 0 0 1 3   0 . 1 6 6 1   0 . 7 5 0 9   0 . 9 6 2 9   0 . 9 5 1 9   0 . 8 3 3 7   0 . 7 6 5 5   M A M L _ 2   0 . 0 2 1 4   0 . 1 8 0 4   0 . 7 3 3 5   0 . 9 7 0 9   0 . 9 6 0 5   0 . 8 3 6 3   0 . 7 5 7 4   C o n v e n t i o n a l _ 3   0 . 0 0 1 9   0 . 1 6 1 6   0 . 7 4 2 6   0 . 9 6 2 9   0 . 9 5 2 2   0 . 8 3 2 8   0 . 7 6 5 3   M A M L _ 3   0 . 0 2 4 0   0 . 1 8 0 3   0 . 7 3 6 5   0 . 9 6 9 2   0 . 9 5 8 2   0 . 8 3 2 6   0 . 7 6 0 6   C o n v e n t i o n a l _ 4   0 . 0 0 1 8   0 . 1 6 9 3   0 . 7 6 1 6   0 . 9 6 5   0 . 9 5 4 8   0 . 8 4 3 7   0 . 7 6 8 2   M A M L _ 4   0 . 0 2 4 2   0 . 1 7 9 3   0 . 7 3 6 5   0 . 9 6 9 2   0 . 9 5 6 6   0 . 8 2 8   0 . 7 5 4 4   C o n v e n t i o n a l _ 5   0 . 0 0 1 5   0 . 1 6 8 1   0 . 7 5 1 7   0 . 9 6 3 4   0 . 9 5 2   0 . 8 4 0 4   0 . 7 6 2 4   M A M L _ 5   0 . 0 2 6 6   0 . 1 7 9 4   0 . 7 2 8 9   0 . 9 6 8 9   0 . 9 5 7   0 . 8 3 1 1   0 . 7 5 6 7   C o n v e n t i o n a l _ 6   0 . 0 0 1 9   0 . 1 6 6 1   0 . 7 5 9 3   0 . 9 6 2 7   0 . 9 5 2   0 . 8 4 3 1   0 . 7 8 1 8   M A M L _ 6   0 . 0 2 4 6   0 . 1 7 6 7   0 . 7 3 6 5   0 . 9 6 9 5   0 . 9 5 7 1   0 . 8 3 7 3   0 . 7 5 3 4       T o   m o r clea r ly   q u a n ti f y   t h o b s er v ed   p er f o r m a n ce   tr ad e - o f f s ,   th r esu lts   s h o w   t h at  MA M L   ac h iev e s   an   a v er ag F1 - m ac r o   i m p r o v e m e n o f   0 . 9 1 ac r o s s   th s ix   m o d el  p air s   in   T ab le  5 ,   w it h   g ai n s   o f   u p   to   1 . 0 0 o n   m in o r it y   lab els  s u ch   a s   HS_ Ge n d er   an d   HS_ Mo d er ate  T ab le  6 .   I n   ter m s   o f   A U R O C ,   M A M L   ex ce ed s   co n v en t io n al  tr ai n i n g   b y   a n   av er a g m ar g i n   o f   0 . 2 8 %,  in d icati n g   s i g n i f i ca n ad ap tatio n   b en e f it s   [ 2 9 ]   an d   i m p r o v ed   d is cr i m i n ati v e   ca p ab ilit y   ac r o s s   i m b alan ce d   class es.  W h e n   n o r m aliza ti o n   an d   d r o p o u ar ap p lied   T a b le  7 ,   th co n v en ti o n al  m o d els  r etain   s lig h ad v an ta g in   F1 - s co r es,  b u MA M L   co n s is te n tl y   y ield s   h ig h er   A U R OC ,   u p   to   +   0 . 7 5 o n   s o m co n f i g u r atio n s d e m o n s tr ati n g   s tr o n g e r   g en er aliza tio n   to   u n s ee n   d is tr ib u tio n s .   T h ese  q u an tita tiv e   r es u lts   r ein f o r ce   th at   M A M L   o f f er s   m o r b alan ce d   tr ad e - o f f   b et w ee n   ac cu r ac y   a n d   r o b u s tn ess ,   p ar ticu lar l y   u n d er   lo w - r es o u r ce   an d   i m b alan ce d   co n d iti o n s .   T o   ex ten d   th e   an al y s is ,   an   ad d itio n al  d ata - b alan ci n g   m et h o d ,   SMOT E   w i th   = 3 ,   w a s   ap p lied .   T h o v er s am p led   d atase t   w a s   tr ain ed   u s i n g   b o th   co n v e n tio n al  s u p er v i s ed   lear n in g   an d   MA M L   f o r   o n l y   t w o   ep o ch s   d u to   r u n ti m e   li m it s   in   Ka g g le.   T h ese  m o d els  f o llo w   t h f i f t h   co n f i g u r atio n   in   T ab le  4 ,   an d   th eir   p er f o r m an ce   i s   s u m m ar ized   in   T ab le  8 .       T ab le  8 P er f o r m a n ce   co m p ar i s o n   o f   m o d el s   o n   th o v er s a m p led   d ataset  u s in g   t w o   tr ai n in g   m eth o d s   M o d e l   B e st   l o ss   Ex a c t   m a t c h   A U R O C   F1 - s c o r e   T r a i n i n g   t i me   M e mo r y   u sag e   ( MB )   M o d e l   s i z e   ( MB )   T r a i n   V a l   M i c r o   M a c r o   M i c r o   M a c r o   C o n v e n t i o n a l   0 . 0 0 2 7   0 . 0 0 2 9   0 . 9 9 5 1   1 . 0   0 . 9 9 9 9   0 . 9 9 8 7   0 . 9 9 4 2   0 3 : 2 7 : 1 6   5 4 0 3     4 3 6 . 8 6 6     M A M L   0 . 0 1 8 9   0 . 0 2 1 4   0 . 9 7 2 5   0 . 9 9 9 6   0 . 9 9 8 7   0 . 9 9 2 1   0 . 9 7 2 9   0 5 : 5 7 : 1 3   1 5 3 8 . 9 8     4 3 6 . 8 7         On   th SMOT E - o v er s a m p led   d ataset  ( tw o   ep o ch s   d u to   r u n ti m li m i ts ) ,   co n v e n tio n a tr ain in g   ac h iev ed   s li g h tl y   b etter   F1   an d   v alid atio n   lo s s   th a n   M AM L .   Ho w e v er ,   th s h o r tr ain in g   d u r atio n   li k el y   p r ev en ted   M A M L   f r o m   f u ll y   o p ti m izi n g .   L o n g er   tr ain i n g   w o u ld   b n ee d ed   to   f air ly   a s s e s s   M A M L p er f o r m a n ce   u n d er   o v er s a m p li n g .     T o   q u an titati v el y   co m p ar co n v e n tio n al  an d   M A M L - b ased   tr ain in g ,   p air ed   W ilco x o n   s i g n ed - r an k   test s   w er co n d u cted   u s i n g   p er - s a m p le  m ac r o - F1   a n d   ex ac t - m atc h   s co r es  f o r   ea ch   co n f i g u r atio n   ( T ab le  9 ) ,   ba s ed   o n   th m o d els  s u m m a r ized   in   T a b le  5 .   T h m ea n   p er - s a m p le  s co r es  ar r ep o r ted   alo n g   w ith   t h e   co r r esp o n d in g   W ilco x o n   p - v al u es,  w it h   s tat is tica ll y   s ig n i f ica n t r es u lts   ( < 0 . 05 )   s h o w n   i n   b o ld .   T h s tatis tical  a n al y s i s   s h o w s   th a o n l y   c o n f i g u r atio n   2   p r esen ts   s i g n i f ican p er f o r m an ce   d if f er e n ce ,   w it h   th co n v en t io n al  m o d el  o u tp er f o r m i n g   M AM L   in   b o th   m ac r o - F1   an d   ex a ct - m atc h   ac cu r ac y .   A ll  o th er   co n f ig u r atio n s   ex h ib it  n o   s ig n i f ica n d if f er en ce s ,   alth o u g h   c o n f i g u r atio n   4   in d icate s   s lig h t   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         I mp r o vin g   mu ltil a b el  cla s s ifica tio n   o h a te  s p ee ch   a n d   a b u s i ve   la n g u a g in   I n d o n esia n     ( Ja s ma n   P a r d ed e )   557   ten d en c y   i n   f av o r   o f   M A M L .   T h ese  f i n d in g s   s u g g est   th at  M A M L s   g en er aliza t io n   c ap ab ilit y   is   h i g h l y   s en s iti v to   h y p er p ar a m eter   c h o ices,  c h alle n g r ec o g n ized   in   s t u d ies  o n   m eta - o p ti m izati o n   f o r   lo w - r eso u r c e   s ce n ar io s   [ 2 7 ] ,   y ield in g   co m p etitiv o r   s u p er io r   r esu lt s   o n l y   u n d er   ap p r o p r iately   a lig n ed   s ettin g s .   De s p ite  t h i s   v ar iab ilit y ,   t h o v er all  co m p ar ab le  m ac r o - F1   s co r es   d em o n s tr ate  t h at  M A M L   ca n   r eliab l y   m atc h   co n v e n tio n al   tr ain in g   w h ile   o f f er in g   ad v a n ta g es  in   r ap id   ad ap tatio n .   Fu r t h er m o r e,   alter n ativ m eta - lear n in g   s tr ateg ie s s u ch   a s   R ep tile a n d   P r o to MA ML ,   w h ich   s i m p l if y   in n er - lo o p   o p ti m izatio n   o r   lev er ag m etr ic - b ased   r ep r esen tatio n s   [ 1 0 ] ,   [ 1 5 ] m a y   p r o v id en h an ce d   s tab ilit y   i n   lo w - r eso u r ce   o r   i m b alan ce d   s ce n ar io s .   P o s itio n in g   M A M L   w i th in   t h is   b r o a d er   m eta - lear n i n g   la n d s ca p u n d er s co r es  b o th   it s   p o ten tial  an d   t h e   o p p o r tu n itie s   f o r   f u t u r w o r k   to   r ef i n HS AL   d etec tio n   u n d er   m u lt ilin g u al  a n d   i m b alan ce d   co n d itio n s .   A d d itio n al l y ,   i m b a lan ce - o r ien ted   s tr ateg ies  s u c h   as  clas s - b al an ce d   lo s s   o r   f o ca lo s s   co u ld   also   b ex p lo r ed   in   co m b i n atio n   w it h   m eta - lear n in g ,   o f f er in g   al ter n ati v w a y s   to   m i tig a te  m i n o r it y - lab e s p ar s it y   b e y o n d   s y n t h etic  o v er s a m p li n g .       T ab le  9 Statis tical  c o m p ar is o n   b et w ee n   c o n v e n tio n al  a n d   MA M L - b ased   m o d els  a cr o s s   s ix   c o n f i g u r atio n s   C o n f i g u r a t i o n     F1 - m a c r o   Ex a c t   ma t c h   a c c u r a c y   C o n v e n t i o n a l   M A M L     C o n v e n t i o n a l   M A M L     1   1 3 1 7   0 . 9 0 6   0 . 9 0 5   0 . 5 4 3   0 . 7 5 7   0 . 7 4 2   0 . 1 0 7   2   1 3 1 7   0 . 9 0 6   0 . 8 9 7   0 . 0 2 6   0 . 7 5 9   0 . 7 2 7   0 . 0 0 1   3   1 3 1 7   0 . 9 0 7   0 . 9 0 7   0 . 8 8 4   0 . 7 5 2   0 . 7 4 5   0 . 3 6 5   4   1 3 1 7   0 . 8 9 9   0 . 9 0 6   0 . 0 6 1   0 . 7 4 1   0 . 7 4 3   0 . 8 6 3   5   1 3 1 7   0 . 9 0 3   0 . 9 0 8   0 . 2 0 3   0 . 7 3 8   0 . 7 4 1   0 . 2 9 8   6   1 3 1 7   0 . 9 0 5   0 . 9 0 7   0 . 7 7 9   0 . 7 4 4   0 . 7 4 6   0 . 3 8 6       3 . 1 . 2 .   L o s s   a nd   F 1 - s co re   a cc ura cy   g ra ph   T o   p r o v id d ee p er   an aly s is   o f   th f i n d i n g s ,   g r ap h s   ar p r esen ted   to   ill u s tr ate  t h d y n a m i cs  o f   lo s s   an d   F1 - s co r ( b o th   m icr o   an d   m ac r o )   d u r in g   tr ai n i n g   a n d   v al id atio n   p r o ce s s es.  T h ese  v is u a lizatio n s   ar b ased   o n   th f i f th   m o d el  p air   in   T a b les  5   an d   7 .   Fig u r 4   s h o w s   th d etailed   p r o g r ess io n   o f   t h ese  m etr ics  u n d e r   d if f er e n tr ai n in g   co n d it io n s ,   co m p ar i n g   co n v e n ti o n al  an d   M A M L - b ased   m o d els  w it h   a n d   w it h o u t   n o r m aliza t io n   an d   d r o p o u t .   Fig u r 4   co m p ar es  th tr ai n i n g   d y n a m ics  o f   th co n v en t i o n al  an d   MA ML   m o d els,  b o th   w it h   an d   w it h o u la y er   n o r m aliza t io n   an d   0 . 2   d r o p o u r ate.   I n   th co n v en tio n al  m o d el  w it h o u r eg u lar izat io n     Fig u r 4 ( a) ,   s ev er o v er f itti n g   o cc u r s .   T r ain in g   lo s s   q u ic k l y   a p p r o ac h es  ze r o ,   w h ile   v al id atio n   lo s s   co n ti n u e s   to   r is e,   an d   v alid atio n   F1 - s co r es  s h o w   m in i m al  p r o g r e s s   w it h   o cc asio n al  d ec li n es MA M L   w i th o u t   r eg u lar izatio n   F ig u r 4 ( b )   ex h ib its   m o r s tab le  lear n in g   b e h av io r .   B o th   tr ain in g   a n d   v a lid atio n   lo s s   d ec r ea s e,   al th o u g h   v al id atio n   p r o g r ess es  m o r g r ad u a ll y ,   a n d   m i cr o   an d   m ac r o   v alid atio n   F1 - s co r es  i n cr ea s e   co n s is ten tl y   f r o m   ea r l y   ep o ch s ,   r ef lecti n g   b etter   g en er aliza tio n W h e n   n o r m aliza tio n   an d   d r o p o u t a r ad d ed   to   th co n v en tio n al  m o d el   Fi g u r 4 ( c) ,   o v er f itti n g   i s   r ed u ce d   Valid atio n   lo s s   b ec o m e s   m o r s tab le,   a n d   v alid atio n   F1 - s co r es  i m p r o v e   s lig h tl y h o w ev er ,   clea r   g ap   b etw ee n   tr ain i n g   a n d   v alid atio n   lo s s   r e m ai n s ,   in d icati n g   li m ited   g e n er aliza t io n   to   m in o r it y   c lass e s .   W ith   r eg u lar izatio n   ap p lied   to   MA M L   Fi g u r 4 ( d ) ,   p er f o r m a n ce   i m p r o v es  f u r th e r .   T h is   co n f i g u r atio n   p r o d u ce s   th s m allest  tr ain - v alid ati o n   lo s s   g ap ,   w h il e   v alid atio n   F1 - s co r es r is s m o o th l y   a n d   p latea u   at  s tr o n g   le v e ls .   Ov er all,   t h co n v e n tio n al   m o d el  lear n s   r ap id l y   b u i s   h ig h l y   p r o n to   o v er f itti n g .   M A M L   o f f er s   a   m o r b ala n ce d   lear n in g   p r o ce s s   b y   o p ti m izi n g   p ar a m eter s   f o r   ad ap tab ilit y   ac r o s s   tas k s ,   w h ich   is   k e y   b en e f i t   o f   th m eta - lear n in g   o p ti m izat io n   s tr ateg y   [ 2 9 ] R eg u lar izati o n   f u r t h er   en h a n ce s   tr ai n i n g   s t ab ilit y   an d   r ed u ce s   p er f o r m a n ce   f l u ct u a tio n s .   T h u s ,   MA M L   w it h   n o r m a liz atio n   an d   d r o p o u p r o v id es  th m o s r eliab le  p er f o r m a n ce   a m o n g   th te s ted   co n f i g u r atio n s .   Fin all y ,   alt h o u g h   M A M L   i m p r o v es  g e n er aliza tio n   in   lo w - r eso u r ce   s etti n g s ,   et h ical  r i s k s   m u s b e   co n s id er ed   w h e n   d ep lo y in g   HS AL   d etec tio n   in   r ea p latf o r m s .   I n d o n e s ia n   lin g u is tic   n u a n ce s ,   s u c h   as   s ar ca s m ,   r e g io n al   ex p r es s io n s ,   an d   d ialec t s ,   m a y   a f f ec p r ed ictio n s   an d   i n tr o d u ce   u n in te n d ed   b ias.  T h is   co n ce r n   is   p ar ticu lar l y   r ele v an f o r   s en s iti v ca teg o r ies  l ik HS_ Gen d er ,   HS_ Gr o u p ,   an d   HS_ R e li g io n ,   w h er e   m is c lass if ica tio n   co u ld   u n f air l y   i m p ac m ar g i n alize d   co m m u n it ies.  T h er ef o r e,   an y   r ea l - w o r ld   d ep lo y m e n t   s h o u ld   in clu d f air n es s   ass e s s m en ts ,   u s er   f ee d b ac k   lo o p s ,   a n d   o n g o in g   m o n ito r in g   to   p r e v en d is cr i m i n ato r y   o u tco m es.     3. 2   Web  a pp lica t io n   dev elo p m ent   T h b est - p er f o r m i n g   m o d el  f r o m   th i s   co m p ar ati v s t u d y   w a s   th e n   u s ed   as  t h b asis   f o r   d ev elo p in g   a   w eb - b ased   ap p licatio n   an d   s u b s eq u en tl y   test ed   u s i n g   tr a n s cr ip tio n   d ata  f r o m   Yo u T u b v id eo s .   T h m o d el   u s ed   at  th i s   s tag i s   th f if th   m o d el  p air   f r o m   T ab le  5 T h r e s u lt s   o f   th is   ev al u atio n   ar p r e s en ted   in   F ig u r 5 .   Fig u r 5 ( a)   illu s tr ates  th o v e r all  an al y s is   o u tp u o f   th p r o p o s ed   w eb - b a s ed   co n ten m o d er atio n   ap p licatio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   1 6 9 3 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   2 A p r il  20 26 5 4 9 - 563   558   af ter   p r o ce s s in g   Yo u T u b v id eo   tr an s cr ip t.  Fi g u r 5 ( b )   p r esen ts   th d etailed   s en t en ce - lev el  a n al y s i s   p r o d u ce d   b y   th clas s i f icatio n   m o d el.         ( a)       ( b )       ( c)       ( d )     Fig u r 4 Gr ap h s : ( a)   co n v en ti o n al   m o d el,   ( b )   MA M L - b ased   m o d el,   ( c)   co n v en tio n a m o d e w it h   n o r m aliza t io n   an d   d r o p o u t,  an d   ( d )   MA ML - b ased   m o d el  w it h   n o r m a lizatio n   a n d   d r o p o u t   Evaluation Warning : The document was created with Spire.PDF for Python.