I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   3 ,  J u n e   20 25 ,   p p .   2977 ~ 2 9 8 5   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 3 . pp 2 9 7 7 - 2 9 8 5           2977       J o ur na l  ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m   Cla ss ificatio n of  c usto mer com pla i nts on so cia l medi a  f o r    e - co mm erce  in  In do nesia       Achm a d Riz k i A dita m a ,   Alf a n F a rizk i Wic a k s o no   F a c u l t y   o f   C o m p u t e r   S c i e n c e ,   U n i v e r si t a s   I n d o n e si a ,   D e p o k ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   J u n   1 3 ,   2 0 2 4   R ev is ed   Dec   2 8 ,   2 0 2 4   Acc ep ted   J an   1 6 ,   2 0 2 5       Th e   e - c o m m e rc e   in d u str y   in   I n d o n e sia   h a s  e x p e rien c e d   ra p i d   g ro wt h ,   e sp e c ially   d u r in g   th e   COV ID - 1 9   p a n d e m ic,  wh ich   a c c e lera ted   th e   sh ift   to   o n li n e   p latfo rm s.  T h e   m a rk e t  is  e x p e c ted   to   g r o w  b y   1 0 5 . 5 %   fr o m   2 0 2 5   t o   20 30   d u e   to   i n c re a se d   in tern e t  a n d   sm a rtp h o n e   u se .   As   e - c o m m e rc e   e x p a n d s,   c o m p a n ies   m u st i m p ro v e   h o w t h e y   h a n d le cu sto m e r  c o m p lain ts t o   b u il d   tru st   a n d   l o y a lt y .   S o c ial  m e d ia  is  a   c ru c ial  c h a n n e l  f o r  c u st o m e r  in tera c ti o n s,  b u t   it   a lso   i n c lu d e s  n o n - c o m p lain t   m e ss a g e s  li k e   p o siti v e   c o m m e n t s,  g e n e ra l  que stio n s,  a n d   sp a m s  t h a t  n e e d   t o   b e   fi lt e re d   o u t.   Th is  re se a rc h   p ro p o se s  a   m a c h in e   lea rn in g   m o d e l  to   a u t o m a ti c a ll y   c las sify   so c ial  m e d ia  i n tera c ti o n s   in to   c o m p lain ts  a n d   n o n - c o m p lain ts,  fo c u si n g   o n   I n d o n e sia n - lan g u a g e   c o n ten t.   Th e   m o d e li n g   p ro c e ss   u ti li z e d   1 0 , 6 0 0   d a ta  p o i n ts  c o l lec ted   fro m   so c ial  m e d ia  X.  Th e   b e st  m o d e l,   a   b id irec ti o n a l  e n c o d e r  re p re se n t a ti o n   fro m   tran sfo rm e rs  (BERT )  b a se d   c las s ifi e r,   a c h iev e d   a n   F 1 - sc o re   o f  9 8 . 3 % .   Th e   M c Ne m a r  tes t  re v e a led   sig n ifi c a n t  p e rfo rm a n c e   d iffere n c e s  b e twe e n   se v e ra l  m o d e ls,  with   t h e   BERT - b a s e d   m o d e l  o u tp e rfo rm i n g   o th e rs.  Th is  d e m o n stra tes   th a t  it   is  h ig h l y   e ffe c ti v e   in   d isti n g u ish i n g   b e twe e n   c o m p lain ts   a n d   n o n - c o m p lai n ts,   m a k in g   i t   a   v a lu a b le   to o l   fo r   e n h a n c in g   c u sto m e r  se rv ice   in   In d o n e sia ' s e - c o m m e r c e   se c to r.   K ey w o r d s :   B id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   E - co m m er ce   Ma ch in e  lear n in g   So cial  m ed ia   T ex t c lass if icatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ach m ad   R izk i A d itam a   Ma s ter   o f   I n f o r m atio n   T ec h n o lo g y ,   Un iv e r s itas   I n d o n esia   Facu lty   o f   C o m p u ter   Scien ce   B u ild in g ,   UI   C am p u s   Dep o k   1 6 4 2 4 ,   I n d o n esia   E m ail: a ch m ad . r izk i 0 2 @ u i.a c. id       1.   I NT RO D UCT I O N     T h e  e - c o m m er ce   in d u s tr y   i n   I n d o n esia  h as  ex p er ien ce d   s u b s tan tial  g r o wth   in   r ec en t  y ea r s ,   p ar ticu lar ly   d u e   to   th e  C OVI D - 1 9   p an d e m ic,   wh ic h   f o r ce d   m an y   b u s in ess es  to   m o v e  o n lin e  [ 1 ] .  T h e  r ap id   g r o wth   o f   e - c o m m er ce   h as  b ee n   a  k ey   f ac to r   in   d r iv in g   th e  d ig ital  tr an s f o r m atio n   o f   th e  n atio n al  ec o n o m y   [ 2 ] .   T h e   m ar k et  is   an ticip ated   to   g r o w  b y   ab o u t  1 0 5 . 5 %  f r o m   2 0 2 5   to   2 0 3 0 ,   d r iv e n   p r i m ar ily   b y   th e  r is in g   n u m b er   o f   i n ter n et  an d   s m ar tp h o n e  u s er s ,   f ac ilit atin g   ea s ier   o n lin e  s h o p p in g   [ 3 ] .   As  th e  e - co m m er ce   s ec to r   ex p an d s ,   co m p a n ies  m u s t  im p r o v e  th eir   cu s to m er   h an d lin g   p r o ce s s es.  Qu ick   an d   ef f ec tiv e   r esp o n s es  to   cu s to m er   co m p lain ts   ar e  c r u cial  f o r   en h an cin g   s atis f ied   an d   lo y alty   [ 4 ] .   A n   in teg r ated   cu s to m er   r elatio n s h ip   m an ag e m en t  s y s tem   ca n   s ig n if ican tly   b o o s t  cu s to m e r   s atis f ac tio n   [ 5 ] .   On e   ef f ec tiv e  s tr ateg y   is   u tili zin g   m u ltip le  ch a n n els,  in clu d in g   s o cial  m ed ia,   t o   e n g ag e   with   cu s to m er s .   So cial  m ed ia  en ab les  cu s to m er s   to   q u ick ly   f ile  co m p lain ts   an d   r ec eiv e  r esp o n s es,  h elp in g   co m p an ies  m an ag e  th ese  in ter ac tio n s   ef f icien tly .   Mo r e o v er ,   s o cial  m ed ia  ac tiv ities   ca n   s ig n if ican tly   im p ac t  cu s to m er   s atis f ac tio n   an d   en g ag em e n t,  th er eb y   en h an ci n g   b r an d   lo y alty   an d   p u b lic  p er ce p tio n   [ 6 ] .   Ho wev er ,   s o cia l  m ed ia  in ter ac tio n s   ar e  n o t  lim ited   to   co m p lain ts ;  th ey   also   in clu d e  p o s itiv e  r em ar k s ,   g en er al  q u er ies,  an d   s p am ,   wh ich   m u s t  b e   f ilter ed   o u t  [ 7 ] .   C o m p an ies  n ee d   to   d if f er en tiate  ac tu al  co m p lain ts   f r o m   o th er   in ter ac tio n s   to   en s u r e  tim ely   cu s to m er   f ee d b ac k   m a n ag em e n t,  th er eb y   im p r o v in g   cu s to m e r   s atis f ac tio n   an d   o p er atio n al  e f f icien cy .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 9 7 7 - 2 9 8 5   2978   I n   ad d r ess in g   th ese  ch allen g es,  m ac h in e  lear n in g   ca n   h elp   b y   au to m atica lly   s o r tin g   in ter a ctio n s   in to   co m p lain ts   an d   n o n - c o m p lain ts .   T h is   m ak es  th e   co m p an y ' s   o p er atio n s   m o r e  ef f icien t,  as   r eso u r ce s   a r e  o n ly   u s ed   f o r   is s u es  n ee d in g   s p ec ial  atten tio n .   W e  ar g u e  th at   th is   im p r o v es  cu s to m e r   in te r ac tio n   m an a g em en t   an d   s atis f ac tio n ,   s u p p o r tin g   th e   g r o wth   o f   e - co m m er ce   in   I n d o n esia.  Desp ite  th is   p o ten tial,  th er e  ar e  s o m e   ch allen g es,  in clu d in g   tech n ical,   o p er atio n al,   an d   h u m an   r eso u r ce   is s u es.  T h er ef o r e,   it  is   im p o r tan t  to   u n d er s tan d   h o w  th e y   cu r r en tly   m an ag e  s o cial  m ed ia   in ter ac tio n s   an d   wh ic h   o n es n ee d   f u r th er   h an d lin g .   R ec en t  s tu d ies  s h o w  th at  m ac h in e  lear n in g   is   ef f ec tiv e  f o r   class if y in g   cu s to m er   co m p l ain ts .   Key   tech n iq u es  in clu d e  o b tain in g   n u m e r ical  r ep r esen tatio n s   o f   tex t  d ata  u s in g   b id i r ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr a n s f o r m er s   ( B E R T )   [ 8 ] .   Fo r   th e  I n d o n esian   lan g u ag e,   alter n ativ e  m o d els  o r   l o ca lized   v er s io n s   o f   B E R T   m ay   b e   n ec ess ar y .   An o th er   ap p r o ac h   is   g en er atin g   n u m e r ical  tex t   r ep r e s en tatio n s   b ased   o n   ter m   f r eq u en c y - in v er s e  d o cu m en t  f r eq u e n cy   ( T F - I DF) ,   wh ich   ca n   b e  co m b in ed   with   v ar io u s   alg o r ith m s   [ 9 ] .  Ma ch in e  lear n i n g   m eth o d s ,   in clu d in g   s u p p o r t  v ec t o r   m ac h i n e  ( SVM) ,   r an d o m   f o r est  ( R F),   ex tr e m e  g r ad ien t   b o o s tin g   ( XGBo o s t) ,   n eu r al  n etwo r k s   ( NN) ,   an d   B E R T ,   h av e  b ee n   e f f ec tiv e  i n   class if y in g   d if f e r en t  d ata  class es  [ 1 0 ] – [ 1 2 ] .   Mo d el   ev alu atio n   is   cr itical  f o r   en s u r i n g   r eliab le  p r ed ictio n s .   K - f o ld   cr o s s - v alid atio n   in v o lv es  d iv id i n g   th e   d ataset  in to   k - f o ld s ,   u s in g   ea ch   f o l d   f o r   test in g   wh ile  tr ain in g   o n   th e  o th er s ,   an d   r ep ea tin g   th is   p r o ce s s   k   tim e s ,   p r o v id i n g   s tab le  p e r f o r m an ce   esti m atio n   [ 1 3 ] .   A  co n f u s i o n   m atr ix   ass ess e s   m o d el  p er f o r m an ce   u s in g   m e tr ics  s u ch   as   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e  [ 1 4 ] .   Ad d itio n ally ,   th e   Mc Nem ar   test   ca n   co m p ar e  th e  p er f o r m a n ce   o f   two   m o d els  o n   th e  s am e  d ataset  to   d eter m in e  if   d if f er en ce s   in   p r ed ictio n   e r r o r s   ar e   s tatis tical ly   s ig n if ican t  [ 1 5 ] .   T h is   r esear ch   p r o p o s es  d ev elo p in g   a  m ac h in e  lear n in g   m o d el  to   au to m atica lly   class if y   s o cial  m ed ia   in ter ac tio n s   as  co m p lain ts   o r   n o n - c o m p lain ts ,   en h a n cin g   r eso u r ce   u s e  ef f ec tiv en ess   an d   s o cial  m ed ia   in ter ac tio n   m an a g em en t.  T ec h n iq u es  s u ch   as  B E R T   an d   T F - I DF  h av e  p r o v en   ef f ec tiv e  with   tex t  d ata  in   p r ev io u s   s tu d ies.  Alg o r ith m s   l ik e  SVM,   R F,  XGBo o s t,  NN,   an d   B E R T   h a v e  d em o n s tr ated   ef f icac y   in   v ar i o u s   class if icatio n   task s .   E v alu atin g   th ese  m o d els  u s in g   k - f o ld   c r o s s - v alid atio n ,   co n f u s io n   m a tr ix ,   an d   Mc Nem ar   test   en s u r es  r eliab le  p r ed ictio n s .   T h e  k ey   r esear ch   q u esti o n   is :  “T o   wh at  ex ten t  ca n   c u s to m er   co m p lain t   in ter ac tio n s   b e  au to m atica lly   d etec ted   f r o m   s o cial  m ed ia?”   T h is   m o d el  aim s   to   en h an ce   o p er atio n al  ef f icien cy   an d   s u p p o r t th e  g r o wth   o f   I n d o n esia' s   e - co m m er c e  s ec to r .       2.   M E T H O D   T h e  s tu d y   r esear ch   d esig n   ap p lies   th e  cr o s s - in d u s tr y   s tan d ar d   p r o ce s s   f o r   d ata   m in in g   ( C R I SP - DM )   f r am ewo r k ,   ex clu d in g   th e  d ep lo y m en t  p h ase.   C R I SP - DM   i s   a  g en er al  r ef er en ce   f o r   d ata  m in in g ,   ex p lain i n g   th e  d if f er e n t  s tag es  o f   th e  d at a  m in in g   p r o ject  life   cy cle.   T h is   m o d el  is   k n o wn   f o r   its   r el iab ilit y ,   s im p licity ,   co m p atib ilit y ,   f lex ib ilit y   in   its   ap p licatio n ,   iter ativ e  p r o ce s s es,  an d   ef f icien t  tim e  co n s u m p tio n   [ 1 6 ] .   T h is   s tu d y   in v o lv es  s ev er al   s tag es:  b u s in ess   u n d er s tan d in g ,   d ata   u n d er s tan d in g ,   d ata  p r ep ar ati o n ,   m o d elin g ,   an d   ev alu atio n .   I n itially ,   it  is   c r u cial  to   u n d er s tan d   th e   p r o b lem s   th is   b u s in ess   f ac es  in   id e n tify in g   an d   a d d r ess in g   cu s to m er   in ter ac tio n s .   I n   t h e  d ata  u n d er s tan d in g   p h ase,   s o c ial  m ed ia  d ata  is   m a n u ally   an n o tated .   Du r in g   th e   d ata  p r ep ar atio n   p h ase,   d ata  cl ea n in g   in v o lv es  r em o v i n g   s p e cial  ch ar ac ter s ,   co n v er tin g   tex t  to   lo wer ca s e,   an d   elim in atin g   s to p   wo r d s .   T h e  clea n ed   tex t  is   th en   u s ed   f o r   f ea tu r e  ex tr ac tio n   an d   co n v er ted   in to   n u m er ic   v ec to r s .   T h ese  v ec to r s   ar e  u s ed   in   th e  m o d elin g   s tag e  f o r   class if icatio n .   T h e  d ata  is   s p li t  in to   5 - f o ld   cr o s s - v alid atio n   an d   class if ied   u s in g   alg o r ith m s   s u ch   as  SV M,   R F ,   XGBo o s t,  N N,   an d   B E R T .   Mo d el  p er f o r m an ce   is   ev alu ated   u s in g   a  c o n f u s io n   m atr ix   an d   m etr ics - ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - m ea s u r e - ap p ly in g   th e   Mc Nem ar   test   to   d eter m in e  w h ich   m o d el  b est cla s s if ies cu s t o m er   co m p lain ts .     2 . 1 .     B us ines s   un dersta nd i ng   T h er e  ar e   s ev er al  lim itatio n s   en co u n ter e d   in   im p lem en tin g   s o cial  m ed ia  as  a  ch a n n el  f o r   cu s to m er   in ter ac tio n s .   T h ese  lim itatio n s   in clu d e  tech n ical  asp ec ts ,   o p e r atio n al  ch allen g es,  an d   h u m a n   r eso u r ce s   th at  ar e  n o t  y et  f u lly   o p tim ized   to   lev er ag e  th e  f u ll  p o ten tial  o f   s o c ial  m ed ia.   T h er ef o r e,   it  is   cr u cial  to   u n d er s tan d   h o w  th e  co m p an y   cu r r en tly   id en tifie s   an d   m an a g es c u s to m e r   in ter ac tio n s   o cc u r r in g   o n   s o c ial  m ed ia.     2 . 2 .    Da t a   un dersta nd ing   T h r o u g h   th e  d ata  co llectio n   p r o ce s s ,   th is   s tu d y   u tili ze s   i n ter ac tio n   d ata  f r o m   o n e  o f   I n d o n esia    e - co m m er ce   ac c o u n ts   o n   s o ci al  m ed ia  X.   Data   co llectio n   was  co n d u cted   u s in g   a  cr awlin g   m eth o d .   T h e  d ata   was c o llected   f r o m   in ter ac tio n s   ex clu d in g   r ep lies .     2 . 3 .    Da t a   prepa ra t io n   I n   th is   s tag e,   ir r elev an t  c h ar a cter s   an d   n u m b er s   ar e  f ilter e d   o u t,  f o llo wed   b y   co n v er tin g   all  v alid   ch ar ac ter s   to   l o wer ca s e  an d   r e m o v in g   s to p   w o r d s .   T h e  g o al  is   to   p r o d u ce   clea n   tex t   r ea d y   f o r   f u r th e r   an al y s is   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       C la s s i fica tio n   o f c u s to mer  co mp la in ts   o n   s o cia l m ed ia   f o r   …   ( A ch ma d   R iz ki  A d ita ma )   2979   [ 1 7 ] .   T h is   is   cr u cial  as  s o cial  m ed ia  d ata   o f ten   in clu d es  r an d o m   te x ts   with   m ea n in g less   wo r d s ,   ch a r ac ter s ,   o r   em o jis .   C h ar ac ter   f ilter in g   r e m o v es  m ea n in g less   ch ar ac ter s   o r   em o jis   an d   u n r elate d   p u n ct u atio n   m ar k s ,   u s in g   r eg ex   to   elim in ate  all  p u n ct u at io n   m ar k s .   C ase  f o ld in g   ch a n g es  all  u p p er ca s e  letter s   to   lo wer ca s e  to   u n if y   th e  tex t  u s in g   th e  lo wer   f u n ctio n .   Sto p   wo r d s   ar e  r em o v ed   u s in g   a  r u le - b ased   m eth o d   with   a  lis t  o f   ir r elev an t  co m m o n   wo r d s .   Featu r e  ex tr a ctio n   th en   tr an s f o r m s   th is   clea n ed   d ata  in to   r ep r esen tatio n s   s u itab le  f o r   m ac h in e   lear n in g   al g o r ith m s   b y   id en tif y in g   a n d   s elec tin g   th e  m o s t  r e lev an t  attr ib u tes  f r o m   th e  r aw  d ata.   T h is   e n h an ce s   m o d el  p er f o r m an ce   b y   co n v er tin g   tex t   d ata   in to   s im p ler   n u m e r ical  f ea tu r es,  allo win g   m ac h i n e  lear n in g   m o d els  to   p r o ce s s   an d   an aly z e  th e  d ata  m o r e  ef f ec tiv ely   [ 1 8 ] .   T wo   m eth o d s   u s ed   f o r   f ea tu r e  ex tr ac tio n   ar e   TF - I DF a n d   B E R T .     TF - I DF  m ea s u r es  h o w  im p o r tan t  a  wo r d   is   in   a  d o cu m en t  co m p ar ed   t o   o th er   d o cu m e n ts .   T er m   f r eq u e n cy   T F  c o u n ts   h o w  o f te n   a  wo r d   ap p ea r s ,   wh ile  in v er s e  d o cu m en t   f r eq u en cy   ( I DF)   r ed u ce s   th e  weig h t   o f   co m m o n   wo r d s   ap p ea r in g   in   m an y   d o c u m en ts .   T h e   co m b in atio n   o f   T F  a n d   I DF  g iv es  h ig h er   s co r es  to   s ig n if ican t  wo r d s   in   a  s p ec if ic  d o cu m en t  co n te x t  [ 1 9 ] .   W h ile  T F - I DF  is   p o p u lar   in   tr ad itio n al  m ac h in e   lear n in g ,   B E R T   is   an   ad v an ce d   m o d el  b ased   o n   n eu r al  n etw o r k s   f o r   au t o m atic  f ea tu r e  ex tr ac tio n   f r o m   tex tu a l   d o cu m e n ts   [ 2 0 ] .   T r ad itio n al  m eth o d s   lik e  T F - I DF  p r o ce s s   tex t  in   a  u n id ir ec tio n al  m an n e r ,   eith er   lef t  t o   r ig h t   o r   r ig h t  t o   lef t,  p o ten tially   m is s in g   im p o r tan t  c o n tex tu al  i n f o r m atio n .   B E R T   u n d e r s tan d s   th e  co n tex t  o f   wo r d s   b id ir ec tio n ally ,   allo win g   f o r   d ee p er   a n d   m o r e  ac cu r ate  tex t  co m p r e h en s io n .   B E R T   u s es  a  tr an s f o r m er   ar ch itectu r e  with   an   atten tio n   m ec h an is m   to   co n tex t u alize   wo r d s   b ased   o n   all  o th e r   wo r d s   in   th e  s en ten ce   an d   ca n   b e  u s ed   f o r   v ar io u s   tex t m in in g   ap p licatio n s ,   in clu d in g   t ex t c lass if icatio n   [ 2 1 ] .     2 . 4 .    Cla s s if ica t io n  m o delin g   T h e  n e x t  s tag e,   class if icatio n   m o d elin g   in v o lv es  ca teg o r izin g   tex t   in to   p r ed ef in ed   class es  o r   lab els   u s in g   th e  ex tr ac ted   f ea tu r es.  T ex t  class if icatio n   is   a  tech n iq u e  in   tex t  m in in g   th at  aim s   to   ca teg o r ize  tex t  in to   p r ed ef in e d   class es  o r   lab els  [ 2 2 ] .   I t  u s es  f ea tu r es  ex tr ac ted   f r o m   th e  tex t  t o   lear n   an d   id en tify   p atter n s   f o r   class if icatio n .   T h is   p r o ce s s   cl ass if ies  d o cu m en ts   in to   p r ed e f in ed   class es  o r   lab els  b ased   o n   p atter n s   f o r m ed   f r o m   p r e v io u s   d ata  [ 1 9 ] .   I n   th i s   s tu d y ,   we   s et  u p   f i v e  d i f f er e n t  m o d els  to   f in d   th e   b est  o n e,   s u ch   as   SVM,   R F,  XGBo o s t,  NN,   an d   tr an s f o r m e r - b ased   class if ier .     SVM  is   a  p o p u lar   tech n i q u e  f o r   class if y in g   d o cu m en ts   u s in g   d is cr im in ativ e  class if ier s .   SVM  wo r k s   b y   f i n d in g   th e   h y p er p la n e  th a t  b est  s ep ar ates  d ata   in to   class es.  I n itially   u s ed   f o r   b in a r y   class if icatio n   task s ,   SVMs  h av e  n o w   b ee n   ex te n d e d   to   m u lti - class   p r o b lem s .   T h e y   ar e   v er s atile  an d   ca n   b e  ap p l ied   in   v ar io u s   d ata  m in in g   ar ea s ,   in cl u d in g   tex t,   im ag es,  an d   v i d eo s   [ 1 3 ] .   R F  is   an   en s em b le   lear n i n g   m eth o d   th at   co m b in es  m u ltip le  d ec is io n   tr ee s   to   im p r o v e  class if icatio n   ac cu r ac y .   E ac h   tr ee   in   th e  f o r est  is   tr ain ed   u s in g   a   r an d o m ly   s elec ted   s u b s et  o f   th e   d ata.   T h e  f in al  p r ed ictio n   is   m ad e   b y   av er a g in g   th e  p r ed ictio n s   o f   all  th e  tr ee s .   T h is   m eth o d   r e d u ce s   o v er f itti n g   a n d   im p r o v es th e  m o d el' s   ab ilit y   to   g en er alize   [ 2 3 ] .    XGBo o s t   is   an   ad v an ce d   e n s e m b le   m et h o d   th at   u s es   b o o s ti n g   t o   im p r o v e   cl ass i f ic ati o n   p e r f o r m a n c e.   I t   b u il d s   tr ee s   s eq u e n tial ly ,   wit h   ea ch   tr ee   f i x i n g   th e   e r r o r s   o f   t h e   p r e v i o u s   o n e .   I t  is   k n o w n   f o r   i ts   h i g h   ef f ic ie n c y   a n d   a cc u r ac y ,   m a k in g   i t  a  p o p u l ar   c h o ic e  f o r   m an y   m a c h i n e  le ar n i n g   co m p et iti o n s   [ 2 4 ] .   NN  is   d esi g n e d   t o   l ea r n   f r o m   d a ta   t h r o u g h   m u lt i p le   i n t e r c o n n ec t ed   l ay e r s   o f   n o d es  o r   n e u r o n s .   E ac h   la y e r   p r o ce s s es   th e   i n p u t   d ata   a n d   p ass es  it  t o   th e  n e x t  l a y e r ,   g r a d u al ly   e x t r ac ti n g   h i g h e r - le v el   f ea t u r es .   Neu r a l  n et wo r k   c an   ac c o m m o d at e  c o m p l ex   r el ati o n s h ip s   i n   d at a,   m ak in g   t h e m   s u ita b le   f o r   a   wi d e   r a n g e  o f   cl ass if i ca t io n   tas k s   [ 1 3 ] .    T r an s f o r m e r   is   o n e  o f   n eu r al  n etwo r k   ar c h itectu r e  d esig n e d   to   h an d le  s eq u en tial  d ata,   s u ch   as  tex t,  m o r e  ef f ec tiv ely .   I t  im p lem en ts   a  m ec h an is m   ca lled   s elf - att en tio n   to   weig h   th e   im p o r tan c e  o f   u n iq u e   wo r d s   in   a  s en ten ce ,   allo win g   th e  m o d el  to   u n d er s tan d   c o n tex t  b e tter .   B E R T   is   an   en co d er   p ar t  o f   th e  tr an s f o r m er   m o d el  th at  p r o ce s s es  tex t  b id ir ec tio n ally ,   p r o v id in g   an   ac cu r ate  v ec to r   r ep r esen tatio n   f o r   a  tex tu al  d o cu m en t   [ 2 0 ] ,   [ 2 5 ] .   A d d itio n ally ,   we  u s e  th e  p r e - tr ain ed   B E R T   B ah asa  ( in d o b er t - b ase - p 1 )   ca n   b e   u s ed   n o t  o n ly   f o r   f ea tu r e  ex tr ac tio n   b u t  also   as  an   en d - to - e n d   class if icatio n   m o d el  b y   ad d in g   a  f ee d - f o r war d   n eu r al  n etwo r k   ( FF N)   lay er   o n   to p   o f   B E R T   [ 2 6 ] .    E ac h   m o d elin g   alg o r ith m   is   r u n   f iv e  tim es  u s in g   th e  k - f o ld   m eth o d .   T h is   m eth o d   is   u s ed   to   en s u r e  th at  th e  m o d el' s   p er f o r m an ce   is   co n s is ten t  an d   r eliab le  b y   av er ag in g   th e  r esu lts   o v e r   m u ltip le  tr ain in g   a n d   test in g   s p lits ,   r ed u cin g   th e  v ar ian ce   ass o ciate d   with   a  s in g le  tr ain - test   s p lit  [ 2 7 ] .   T h e  en tire   d ataset  is   d iv id ed   in to   f iv e   v er s io n s   o f   tr ain in g   a n d   test in g   d ata.   I n   t h e  f ir s t  iter atio n ,   th e   f ir s t  ⅕   o f   th e   d ata  w ill  b e  th e   test   d ata   an d   th e  r est  will  b e  th e  tr ain i n g   d ata.   T h is   p r o ce s s   r ep ea ts   u n til  th e  last   ⅕   o f   th e  d ata  b e co m es  th e  test   d ata  an d   th e  r est  is   tr ain in g   d ata.   T h e  p r ed ictio n   r esu lts   f r o m   t h e  test   d ata  in   ea ch   iter atio n   f o r   ea ch   m o d el  a r e   co m b in ed   an d   e v alu ated   b ased   o n   th e  o r ig in al  d ataset.     2 . 5 .    E v a lua t io n   T h e  ev al u atio n   o f   class if icatio n   m o d els  u tili ze s   th e  c o n f u s io n   m atr ix   m eth o d ,   a  ta b le  u s ed   to   ass ess   th e  p er f o r m an ce   o f   class if icatio n   m o d els  b y   d is p lay in g   p r e d ictio n s   in   r o ws  an d   ac tu al  d e cisi o n s   in   co lu m n s ,   co n s is tin g   o f   tr u e   p o s itiv e  ( T P),   tr u e   n eg ativ e  ( T N) ,   f alse  p o s itiv e  ( FP ) ,   an d   f alse  n eg ativ e  ( FN) .   C o m m o n ly   u s ed   m etr ics  in clu d e  ac c u r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e.   T h ese  e v alu atio n   m etr ic s   co m p lem en t  ea c h   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 9 7 7 - 2 9 8 5   2980   o th er   to   p r o v id e  a   co m p r eh e n s iv e  p ictu r e  o f   th e   m o d el' s   p e r f o r m a n ce .   Acc u r ac y   g iv es  a n   o v e r all  v iew  ( 1 ) ,   p r ec is io n   in f o r m s   ab o u t  th e  ac cu r ac y   o f   p o s itiv e  p r ed icti o n s   ( 2 ) ,   r ec all  m ea s u r es  th e   m o d el' s   ab ilit y   t o   id en tify   tr u e   p o s itiv es ( 3 ) ,   an d   F1 - s co r e  co m b in es p r ec is io n   an d   r ec all  f o r   an   o v er all  e v alu atio n   ( 4 ) .       = (  +  ) (  +  +  +  )   ( 1 )       =  (  +  )     ( 2 )       =  (  +  )   ( 3 )     1 = ( ( 2 ∗   ∗ ) (  + ) )   ( 4 )     Ad d itio n ally ,   Mc Nem ar   test   is   a  s tatis tical  m eth o d   u s ed   to   co m p ar e  th e  p e r f o r m an ce   o f   two   class if icatio n   m o d els  o n   th e  s am e  d ataset.   A  th r esh o ld   o f   0 . 0 5   is   co m m o n ly   u s ed   to   d eter m in e  s tatis tical   s ig n if ican ce   in   h y p o t h esis   tes tin g ,   in clu d in g   Mc Nem ar   test ,   wh er e  a  p - v alu e  o f   less   th an   0 . 0 5   in d icate s   a  s tatis t ically   s ig n if ican t  d if f er en ce   b etwe en   m o d el  p er f o r m an ce s .   T h is   m eth o d   is   s u i tab le  wh en   d ata   is   ca teg o r ized   as   co r r ec t   o r   in c o r r ec t  p r ed ictio n s   b y   b o th   m o d els.  Mc Nem ar   test   ca lcu la tes  th e  d if f e r en ce   b etwe en   th e   n u m b er   o f   er r o r s   m ad e  b y   b o th   m o d els  a n d   test s   f o r   s tatis tical  s ig n if ican ce ,   h elp in g   to   d eter m in e  if   th e  d if f e r en ce   in   p r ed ictiv e  er r o r s   b etwe en   t h e  two   m o d els is   s ig n if ican t.       3.   RE SU L T S AN D  D I SCU SS I O N   Sev er al   s tag es we r e  co n d u cted   to   ex am in e  th e  class if icatio n   o f   cu s to m er   c o m p lain ts   o n   s o c ial  m ed ia.   I n itially ,   cu s to m er   in ter ac tio n   d ata  f r o m   s o cial  m ed ia  was  co llected   an d   m an u ally   lab eled .   T h e  p r ep r o ce s s in g   s tag e  in v o lv ed   clea n in g   th e  d ata  b y   r em o v in g   ir r ele v an t  ch ar ac ter s ,   co n v e r tin g   all  tex t  to   lo wer ca s e,   an d   elim in atin g   s to p   wo r d s .   C lean ed   tex t  was  th en   co n v er ted   i n to   n u m e r ical  v ec to r s   f o r   f ea tu r e  ex tr ac tio n   u s in g   TF - I DF  an d   B E R T .   T h ese  v ec to r s   wer e  u s ed   in   th e  class if icatio n   m o d elin g   s tag e,   w h er e  th e  d ata  was  s p lit   u s in g   5 - f o ld   cr o s s - v alid atio n   a n d   class if ied   u s in g   f iv e  d if f e r e n t m o d els:   SVM,   R F,  XG B o o s t,  NN,   an d   B E R T .   E ac h   m o d el  was  r u n   m u ltip le   tim es  u s in g   th e  k - f o ld   m et h o d   f o r   co n s is ten cy   an d   r eliab ili ty .   Fin ally ,   m o d el  p er f o r m an ce   was e v alu ated   u s in g   a  co n f u s io n   m atr ix   an d   m e tr ics lik e  ac cu r ac y ,   p r ec is io n ,   r ec all,   F1 - m ea s u r e,   an d   th e  Mc Nem ar   test   to   d eter m in e  th e  b est m o d el  f o r   class i f y in g   c u s to m er   co m p lain ts .     3 . 1 .     Da t a   co llect io n   T h is   s tu d y   u s es  in ter ac tio n   d ata  f r o m   two   s o cial  m ed ia   ac co u n ts   o n   X,   b o t h   b el o n g in g   to   a  s in g le   I n d o n esian   e - co m m er ce   co m p an y .   On e  ac co u n t  is   d ed icate d   to   h an d lin g   co m p lain ts   ( ac co u n t  A) ,   wh ile  th e  o th er   s er v es  as  t h e  g e n er al  c o m p an y   ac co u n t  ( ac c o u n t   B ) .   Data   co llectio n   was  co n d u cte d   u s in g   a  cr awlin g   m eth o d ,   f o cu s in g   o n   I n d o n esian - lan g u a g e  co n ten t d u e   to   its   r elev an ce   to   th e   I n d o n esian   e - co m m er ce   s ec to r .   T h e  r esu lts   w er e   m an u all y   an n o tated   b ased   o n   p r ed ef i n ed   cr iter ia  to   en s u r e  c o n s is ten t  lab elin g   o f   co m p lain ts   an d   n o n - c o m p lain ts .   T h e  an n o tatio n   p r o ce s s   in v o lv ed   th r ee   t r ain ed   a n n o tato r s ,   wh o   ar e  ty p ically   r esp o n s ib le  f o r   h an d lin g   an d   p r o ce s s in g   cu s to m er   co m p lai n ts ,   en s u r in g   th at  th eir   ex p er t is e  was   ap p lied   in   ac cu r ately   lab elin g   th e   s o cial  m ed ia  in ter ac tio n s .   I n ter - an n o tato r   ag r ee m en t  was  ca lcu lated   to   e n s u r e   r eliab ilit y   an d   co n s is ten cy   in   th e  lab elin g   p r o ce s s .   Du r in g   th e  co llectio n   p er io d ,   1 0 , 7 9 2   in ter ac tio n s   wer e  g ath er ed ,   o f   wh ic h   6 , 2 2 0   wer e  lab eled   as  co m p lain ts   an d   4 , 5 7 2   as  n o n - co m p lain ts .   A f ter   f ilter in g   u s in g   wh itelis ted   k ey wo r d s ,   th e  f in al  d ataset  co m p r is ed   6 , 2 0 4   c o m p lain ts   an d   4 , 3 9 5   n o n - co m p lain ts ,   as  s h o wn   in   T ab le  1 .       T ab le  1 .   Data   d is tr ib u tio n   I n t e r a c t i o n   C o m p l a i n t   N o n - c o m p l a i n t   M e n t i o n i n g   a c c o u n t   A   2 , 6 4 9   7 8 9   M e n t i o n i n g   a c c o u n t   B   1 , 6 9 2   3 , 6 9 3   M e n t i o n i n g   b o t h   a c c o u n t   1 , 8 7 0   89       3. 2 .    M o del  perf o rm a nce   B ased   o n   th e  r esu lts   in   T ab le s   2   an d   3 ,   it c an   b e  co n cl u d ed   th at  B E R T   m o d el  with   a  FF N  cl ass if ier   is   th e  b est - p er f o r m in g   m o d el.   T h is   m o d el  ac h iev es  an   im p r ess iv e  o v er all  F1 - s co r e  o f   9 7 . 6 9 %  an d   an   ac cu r ac y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       C la s s i fica tio n   o f c u s to mer  co mp la in ts   o n   s o cia l m ed ia   f o r   …   ( A ch ma d   R iz ki  A d ita ma )   2981   o f   9 7 . 7 5 %,  h ig h lig h tin g   its   ef f ec tiv en ess   in   b o th   f ea tu r e  e x tr ac tio n   an d   class if icatio n   task s .   Fo r   th e  c o m p lain t   class ,   B E R T - FF N  ac h iev es  an   F1 - s co r e  o f   9 8 . 0 8 %,  s ig n if ic an tly   o u tp e r f o r m in g   o th er   m o d els,  d em o n s tr atin g   its   s u p er io r   ab ilit y   to   ac c u r atel y   id en tif y   an d   class if y   co m p la in t  in s tan ce s .   I n   th e  n o n - co m p lain t  class ,   B E R T - FF N  al s o   ac h iev es  an   F1 - s co r e  o f   9 7 . 2 9 %,  in d icatin g   a  b a lan ce d   p er f o r m an ce   ac r o s s   d if f er en t  class es  an d   en s u r in g   h i g h   p r ec is io n   an d   r e ca ll r ates.   C o m p a r a ti v el y ,   o t h e r   m o d els   s u c h   as  T F - I DF  w it h   S VM ,   R F ,   N N,   a n d   X GB o o s t   s h o w  c o m m e n d a b le   p e r f o r m a n c e  b u t   f al l   s h o r t   o f   B E R T - FF N.   T F - I DF   wit h   SV M,   f o r   i n s t an ce ,   ac h i e v es   a n   o v e r al l  F1 - s c o r e   o f   9 3 . 0 2 %  an d   a n   ac c u r ac y   o f   9 3 . 2 8 %,   w h i le   T F - I DF   wit h   R F  s c o r es   a n   o v e r a ll   F1 - s co r e   o f   9 1 . 8 6 %  an d   a n   ac c u r a cy   o f   9 2 . 2 0 % .   Similar l y ,   T F - I DF  with   NN  r ec o r d s   a n   o v er all  F1 - s co r e  o f   9 1 . 5 6 %  an d   an   ac c u r ac y   o f   9 1 . 8 5 %,  an d   T F - I DF  with   XG B o o s t  ac h iev es  an   o v er all  F1 - s co r e  o f   9 2 . 0 5 %  an d   an   ac cu r ac y   o f   9 2 . 3 0 %.  T h e   s ize  o f   th e  d ata  u s ed   f o r   t r ain i n g   an d   ev alu atio n   is   co n s is ten t a cr o s s   m o d els.   Fro m   Mc Nem ar   test   r esu lts ,   s ig n if ican t  d if f er en ce s   wer e   f o u n d   b etwe en   s ev er al  m o d el  p air s ,   in d icatin g   th eir   p er f o r m a n ce   d if f er en ce s .   T h e  th r esh o ld   o f   0 . 0 5   is   co m m o n l y   u s ed   to   d eter m in e  s tatis tical   s ig n if ican ce   in   h y p o th esis   test in g ,   in clu d in g   Mc Nem ar   te s t,  wh er e  a  p - v alu e   less   th a n   0 . 0 5   i n d icate s   a  s tatis t ically   s ig n if ican t  d if f er e n ce   b etwe en   m o d el  p er f o r m a n ce s   [ 2 8 ] .   T h e  Mc Nem ar   test   r esu lts   ca n   b e  s ee n   in   T ab le  4 .       T ab le  2 .  Mo d el’ s   p er f o r m an ce   f o r   ea c h   class   F e a t u r e   e x t r a c t i o n   C l a s si f i e r   C o m p l a i n t   N o n - c o m p l a i n t   P r e c i s i o n   R e c a l l   F1 - sc o r e   S i z e   d a t a   P r e c i s i o n   R e c a l l   F1 - sc o r e   S i z e   d a t a   TF - I D F   S V M   9 2 . 5 9 %   9 6 . 2 3 %   9 4 . 3 7 %   6 , 2 0 4   9 4 . 3 7 %   8 9 . 1 3 %   9 1 . 6 7 %   4 , 3 9 6   TF - I D F   RF   9 0 . 9 3 %   9 6 . 2 8 %   9 3 . 5 3 %   6 , 2 0 4   9 4 . 2 7 %   8 6 . 4 5 %   9 0 . 1 9 %   4 , 3 9 6   TF - I D F   NN   9 1 . 9 3 %   9 4 . 3 6 %   9 3 . 1 3 %   6 , 2 0 4   9 1 . 7 3 %   8 8 . 3 1 %   8 9 . 9 9 %   4 , 3 9 6   TF - I D F   X G B o o st   9 2 . 8 0 %   9 4 . 1 5 %   9 3 . 4 7 %   6 , 2 0 4   9 1 . 5 7 %   8 9 . 7 0 %   9 0 . 6 2 %   4 , 3 9 6   B ER T   FFN   9 8 . 0 4 %   9 8 . 1 3 %   9 8 . 0 8 %   6 , 2 0 4   9 7 . 3 6 %   9 7 . 2 3 %   9 7 . 2 9 %   4 , 3 9 6       T ab le  3 .  Ov e r all  m o d el’ s   p e r f o r m an ce   F e a t u r e   e x t r a c t i o n   C l a s si f i e r   A l l   c l a s s   P r e c i s i o n   R e c a l l   F1 - sc o r e   A c c u r a c y   S i z e   d a t a   TF - I D F   S V M   93 . 4 8 %   92 . 6 8 %   93 . 0 2 %   93 . 2 8 %   10 , 600   TF - I D F   RF   92 . 6 0 %   91 . 3 6 %   91 . 8 6 %   92 . 2 0 %   10 , 600   TF - I D F   NN   91 . 8 3 %   91 . 3 3 %   91 . 5 6 %   91 . 8 5 %   10 , 600   TF - I D F   X G B o o st   92 . 1 9 %   91 . 9 2 %   92 . 0 5 %   92 . 3 0 %   10 , 600   B ER T   FFN   97 . 7 7 %   97 . 6 8 %   97 . 6 9 %   97 . 7 5 %   10 , 600       T ab le  4 .  Mc Nem ar   test   r esu lt   M o d e l   p a i r   p - v a l u e   S V M   a n d   R F   <   0 . 0 5   S V M   a n d   N N   <  0 . 0 5   S V M   a n d   X G B o o st   <   0 . 0 5   S V M   a n d   B ER T   <   0 . 0 5   R F   a n d   N N   0 . 2 1   R F   a n d   X G B o o s t   0 . 6 2   R F   a n d   B ER T   <   0 . 0 5   N N   a n d   X G B o o st   0 . 1 1   N N   a n d   B ER T   <   0 . 0 5   X G B o o st   a n d   B E R T   <   0 . 0 5       Sig n if ican t  d if f e r en ce s   ( p - v al u e   <   0 . 0 5 )   wer e  o b s er v ed   b e twee n   s ev er al  m o d el  p ai r s :  SVM  an d   r an d o m   f o r est ,   SVM  an d   NN,   SVM  an d   XGBo o s t,  SVM  a n d   FF N,   r an d o m   f o r est  an d   F FN,  NN  an d   FF N,   an d   XGBo o s t  an d   FF N.   T h is   m ea n s   th ese  m o d el  p air s   d if f e r   s ig n if ican tly   in   p er f o r m an ce .   On   th e  o t h er   h a n d ,   n o   s ig n if ican t  d if f er e n ce s   ( p - v alu e   >   0 . 0 5 )   wer e  f o u n d   b et wee n   r an d o m   f o r est  an d   NN,   r an d o m   f o r est  an d   XGBo o s t,  an d   NN  a n d   XGBo o s t.  T h is   in d icate s   th at  th ese   m o d el   p air s   p er f o r m   s im ilar ly   in   class if y in g   th e   d ata.   I n   o th er   w o r d s ,   th e   ef f e ctiv en ess   o f   th ese  m o d els  in   class if icatio n   task s   is   co m p ar ab le,   an d   ch o o s in g   b etwe en   th em   m a y   d ep e n d   o n   f ac to r s   lik e  co m p u tatio n al  ef f icien cy   o r   ea s e  o f   im p lem e n tatio n .     3. 3 .    M o del  im plem ent a t io n   B ased   o n   th e   b est  class if icatio n   m o d el,   th e  im p lem en tatio n   ca n   u s e  p r o b a b ilit y   v al u es,  co n f id en ce   s co r es,  an d   th r esh o ld s   to   d ec i d e  if   th e  au to m ated   r esu lts   ar e  r eliab le  o r   n ee d   m an u al  r e v iew.   T h is   h elp s   to   r ed u ce   FP ,   FN,  an d   im p r o v e  o v er all  ac cu r ac y   a n d   p r ec is io n .   As  s h o wn   in   Fig u r e  1 ,   th e  er r o r   d is tr ib u tio n   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 9 7 7 - 2 9 8 5   2982   FP   is   v is u alize d   u s in g   k er n el  d en s ity   esti m atio n   ( KDE ) .   Fig u r e  2   illu s tr ates  th e  KDE   v i s u aliza tio n   f o r   FN .   T h ese  v is u aliza tio n s   m ak e  it   ea s y   to   s ee   wh er e  th e   m o d el  wo r k s   well  an d   wh e r e  it  n ee d s   im p r o v em en t,   h ig h lig h tin g   ar ea s   with   h ig h   er r o r   d e n s ity   an d   id e n tify in g   p at ter n s   th at  m ig h t r e q u ir e  f u r th e r   tu n in g .   T h e  KDE   d iag r am   ab o v e  h e lp s   id en tify   wh er e  t h e  p r o b a b ilit y   o f   th e  m o d el  is   lik ely   to   m ak e   m is tak es,  allo win g   f o r   b etter   d ec is io n - m ak in g   wh e n   r ev ie win g   u n ce r tain   p r e d ictio n s .   T h is   ap p r o ac h   ca n   im p r o v e   th e  o v er all  p er f o r m a n ce   o f   th e  class if icatio n   s y s tem .   T ab le  5   s h o ws  th e   s tatis ti ca l  m ea s u r es  o f   th e   m o d el  f o r   p r e d ictin g   th e  c h an c es o f   FP   an d   FN.           Fig u r e  1 .   KDE   f o r   FP   b ased   o n   p r o b ab ilit y           Fig u r e  2 .   KDE   f o r   FN b ased   o n   p r o b ab ilit y       T ab le  5 .  Statis tical  v alu es  o f   FP   an d   FN     FP   FN   mea n   0 . 8 9   0 . 8 9   mi n   0 . 5 1   0 . 5 8   p 2 5   0 . 8 6   0 . 8 9   p 5 0   0 . 9 6   0 . 9 6   p 7 5   0 . 9 8   0 . 9 7   max   1 . 0 0   1 . 0 0   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       C la s s i fica tio n   o f c u s to mer  co mp la in ts   o n   s o cia l m ed ia   f o r   …   ( A ch ma d   R iz ki  A d ita ma )   2983   T o   d eter m in e  t h e  o p tim al  p r o b ab ilit y   th r esh o ld ,   an   an aly s is   is   n ee d ed   to   b alan c e  th e   tr ad e - o f f s   b etwe en   d if f e r en t  ty p es  o f   e r r o r s   an d   th e  b e n ef its   o f   T P  an d   T N  o u tco m es.  Fo r   co m p lain ts ,   b ased   o n   th e   s tatis t ical  v alu es,  a  h ig h er   th r esh o ld ,   ar o u n d   th e  m e d ian   FN  v alu e  o f   0 . 9 6   o r   h ig h e r ,   is   r ec o m m en d e d   to   m in im ize  FN.  Fo r   n o n - co m p lain ts ,   lo wer in g   th e  p r o b ab ili ty   th r esh o ld   h elp s   in   co r r ec tl y   id en tify in g   n o n - co m p lain ts ,   th er e b y   r ed u ci n g   FP   an d   in cr ea s in g   T N.   A  lo w er   th r esh o l d ,   a r o u n d   t h e  2 5 th   p er ce n tile  FP   v alu e   o f   0 . 8 6   o r   lo wer ,   is   r ec o m m en d ed   to   m i n im ize  FP .     T h ese  th r esh o ld s   en s u r e  a   b a lan ce d   tr ad e - o f f   b etwe en   d if f er en t  ty p es  o f   er r o r s   an d   e n h an ce   th e  o v er all  p er f o r m a n ce   o f   th e  c lass if icatio n   m o d el.   Ad d itio n ally ,   f in e - tu n i n g   th ese  th r esh o ld s   b ased   o n   th e   s p ec if ic  co n tex t   an d   th e  im p o r tan ce   o f   d if f er e n t  er r o r   ty p es  ca n   f u r th er   im p r o v e   th e  m o d el' s   ac cu r ac y   an d   r eliab ilit y .   R eg u lar ly   r ea s s ess in g   an d   ad j u s tin g   th e  th r esh o ld s   as  n ew  d ata  b ec o m es  av ailab le  will  h elp   m ain tain   o p tim al  p e r f o r m an c e  o v er   tim e.   Fu r th er m o r e,   i n co r p o r atin g   d o m ain   ex p er ti s e  in   s ettin g   th ese  th r esh o ld s   ca n   p r o v i d e  v alu a b le  in s ig h ts ,   en s u r in g   th e  m o d el  alig n s   with   p r ac tical  b u s in ess   n ee d s   an d   o b jectiv es.   I n   im p lem e n tin g   th e  m o d el  i n   r ea l - wo r ld   s ettin g s ,   t h e  in teg r a tio n   with   ex is tin g   cu s to m er   r el atio n s h ip   m an ag em en t  ( C R M)   s y s tem s   is   f ea s ib le  th r o u g h   ap p licatio n   p r o g r am m in g   in ter f ac e  ( API ) .   T h is   in teg r atio n   f ac ilit ates  r ea l - tim e  co m p lain t  id en tific atio n   an d   r esp o n s e,   en ab lin g   co m p an ies  to   ad d r ess   cu s to m er   is s u es  p r o m p tly   a n d   ef f ec tiv ely .   T h e   m o d el  is   ex p ec ted   to   p r o ce s s   in p u t  tex t  in   th e  f o r m   o f   s en te n ce s   o b tain ed   f r o m   v ar io u s   s o cial  m ed ia   p latf o r m s ,   allo win g   f o r   a  th o r o u g h   class if icatio n   o f   in ter ac tio n s   as  e ith er   co m p lain ts   o r   non - c o m p lain ts .     T h e  d esire d   o u tp u t  f r o m   th is   m o d el  is   a  co n f id en ce   s co r e  f o r   ea ch   o f   th e  d ef in e d   lab e ls ,   wh ich   q u an tifie s   th e   m o d el’ s   ce r tai n ty   r e g ar d in g   its   class if icatio n .   B ased   o n   t h ese  co n f id en c e  s co r es,  th e   C R M  s y s tem   ca n   m ak e  in f o r m ed   d ec is io n s   o n   wh eth er   to   ac t  o n   th e  p r ed ictio n s ,   ad h e r in g   t o   th e  r ec o m m en d ed   th r esh o ld   f o r   class if icatio n   ac cu r ac y .   I f   t h e  co n f id e n ce   s co r e  f alls   b elo w  th is   p r ed eter m in ed   th r esh o ld ,   th e  in ter ac tio n   will  b e  r o u te d   to   t h e  cu r r e n t  an n o tato r s   f o r   f u r t h er   r ev iew,   in d icatin g   th at  th e  m o d el  h as  n o t  y et  r ea ch ed   th e  n ec ess ar y   lev el  o f   ac cu r ac y   to   class if y   th e  in ter a ctio n   r eliab ly .   T h is   p r o ce s s   n o t o n ly   en h a n ce s   th e  ef f icien cy   o f   c u s to m er   s er v ic e  o p er atio n s   b u t  also   en s u r es   th at  co m p lex   o r   am b ig u o u s   ca s es  ar e  h an d led   ap p r o p r iately   b y   h u m an   ex p er ts ,   m ain tain in g   a  h ig h   s tan d ar d   o f   c u s to m er   ca r e.       4.   CO NCLU SI O N   Fro m   th e  a b o v e   r esear ch   a n d   an aly s is ,   th e  f o llo win g   co n cl u s io n s   ca n   b e   d r awn .   Usi n g   p r e - tr ain ed   B E R T   B ah a s a  ( in d o o r - b ase - p 1 )   as  a  f ea tu r e  e x tr ac to r   an d   c lass if ier   g iv es  th e  b est  m o d el,   wh ich   ac h iev ed   a n   F1 - s co r e  o f   9 8 , 3 %.  T h e  b est  m o d el  ca n   d etec t  ac tu al  c o m p lain t  an d   n o n - co m p lain t  i n ter ac tio n s   f r o m   th e  tr ain in g   d ataset  ef f ec tiv ely .   T h e  r esu lt  o f   th e  Mc Nem ar   test   in d icate s   th at  SVM  b e h av ed   s ig n if ican tly   d if f er en tly   co m p ar ed   to   r a n d o m   f o r est ,   NN,   XGBo o s t,  a n d   B E R T .   Similar ly ,   r an d o m   f o r est ,   NN,   an d   XGBo o s t  s h o wed   an   im m en s e  d if f er en ce   f r o m   B E R T .   Me an wh ile,   th e  p er f o r m an ce s   f o r   r an d o m   f o r est   an d   NN,   r an d o m   f o r est  an d   XGBo o s t,  an d   NN  a n d   XGBo o s t  d id   n o t  h av e  a   s tatis tical  d if f er en ce   in   p e r f o r m an ce ,   s h o win g   a  s im ilar ity   in   th eir   p r o ce s s .     Fro m   f u r th er   a n aly s is ,   m o s tly   th e  er r o r   co m es  f r o m   FP   an d   FN   clas s if icatio n .   So m e  o f   co m p lain   d ata  is   b ein g   class if ied   as  n o n - co m p lain t,  a n d   v ice  v er s a.   T h is   h ap p en s   d u e  to   t h e  lack   o f   a d eq u ate  co n tex t  to   k n o w  th e  in ten t  o f   th e  in ter ac t io n .   Mo r eo v er ,   th er e  ar e  a  f e w  ca s es   o f   u n clea r   lab elin g   in   th e  d ataset  b ec au s e   co m m o n   wo r d s   in   th e  o p p o s ite  lab el  ex is t.  T o   tack le  th is   in   th e  im p lem en tatio n   p h ase,   p r o b ab ilit y   v alu es  ca n   b e  u s ed   to   d eter m in e  w h eth e r   th e  au to m ated   r esu lts   s h o u l d   b e  tr u s ted   o r   r e q u ir e d   a  m an u al  r ev iew.   T h is   en s u r es  th at  th e  class if icatio n   is   d o n e  p r o p er ly   a n d   m in im i ze s   th e  p o ten tial  f o r   er r o r s .   I t   is   es s en tial  to   f in d   s u ch   a  th r esh o ld   f o r   th e  b ala n ce   o f   er r o r s   an d   th e  b e n ef it  to   T P  an d   T N.   Ho wev er ,   f o r   co m p lain ts ,   a  h ig h er   th r esh o ld   o f   a r o u n d   0 . 9 6   s h o u ld   m in im ize  FN,  wh ile  f o r   n o n - co m p lain ts ,   a  lo wer   th r esh o ld   o f   ar o u n d   0 . 8 6   m ak es FP lo wer .   T h ese  th r esh o ld s   co m p r o m is e  d if f er e n t ty p es o f   er r o r s   an d   b o o s t o v e r all  p er f o r m an ce .     T h e  s u g g esti o n   f o r   f u r th e r   r es ea r ch   in clu d es  ad d r ess in g   m o r e  f ea tu r es  to   s u p p o r t  t h e  class if icatio n   o f   co m p lain ts   an d   n o n - c o m p lain t s ,   as  u s er s   o n   s o cial  m ed ia   ca n   d is cu s s   a  wid e   v ar iety   o f   to p ics.  E x p a n d in g   th e   class if icatio n   to   in clu d e  o t h er   ty p es  o f   in te r ac tio n s ,   s u ch   as  s u g g esti o n s   f o r   im p r o v em e n ts   o r   co m p lim en ts   o n   f ea tu r es,  wo u ld   p r o v id e  a   m o r e   co m p r eh e n s iv e  u n d er s tan d in g   o f   u s er   i n ter ac t io n s .   T o   im p r o v e   g en er aliza b ilit y ,   f u tu r e  r esear ch   s h o u ld   u s e  d ata  f r o m   m u ltip le  co m p an ies  with in   I n d o n esia ' s   e - co m m er ce .   I m p lem en tin g   th ese  s u g g esti o n s   will  en h an ce   th e  m o d el' s   ef f ec tiv en ess   an d   im p r o v e   class if icatio n   ac cu r ac y   ac r o s s   v ar io u s   ty p es  o f   s o cial  m ed ia  in ter ac tio n s ,   lead in g   to   d ee p er   in s ig h ts .   T h e   class if icatio n   ca teg o r ies  ca n   b e  d ef in e d   b ased   o n   th e  p r im a r y   p r o b lem s   o r   n ee d s   id en tifie d   in   th e  ca s e  s tu d y .         ACK NO WL E DG E M E NT S   T h e  au th o r   d ec lar es  th at  th er e   ar e  n o   co n f licts   o f   in ter est.  T h is   r esear ch   d id   n o t  r ec eiv e  an y   s p ec if ic  g r an t  o r   f in an cial   s u p p o r t  f r o m   f u n d in g   a g en cies  in   th e   p u b lic,   co m m er cial,   o r   n o t - f o r - p r o f it  s ec to r s .   All   d ata  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   3 ,  J u n e   20 25 :   2 9 7 7 - 2 9 8 5   2984   an d   m ater ials   u s ed   in   th is   s tu d y   wer e  o b tain ed   with o u t   an y   ex ter n al  f in an cial  in f lu en ce   o r   b ias,  en s u r i n g   th e   in teg r ity   an d   im p ar tiality   o f   th e  r esear ch   f in d in g s .       ACK NO WL E DG M E N T S   T h e  au th o r   d ec lar es  th at  th e r e   ar e  n o   c o n f licts   o f   in ter est.  T h is   r esear ch   d i d   n o t  r ec eiv e   a n y   s p ec if ic  g r an t  o r   f in an cial   s u p p o r t  f r o m   f u n d in g   a g en cies  in   th e   p u b lic,   co m m er cial,   o r   n o t - f o r - p r o f it  s ec to r s .   All  d ata  an d   m ater ials   u s ed   in   th is   s tu d y   wer e  o b tain ed   with o u t   an y   ex ter n al  f in an cial  in f lu en ce   o r   b ias,  en s u r i n g   th e   in teg r ity   an d   im p ar tiality   o f   th e  r esear ch   f in d in g s .       F UNDING   I NF O R M A T I O N   T h e  au th o r   s tates th at  n o   f u n d i n g   was in v o lv e d   f o r   th is   r esear ch .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ach m ad   R izk i  Ad itam a  Alf an   Far izk i  W icak s o n o   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓     C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au th o r   d ec lar es th at  th e r e  ar e  n o   c o n f licts   o f   in ter est.       DATA AV AI L AB I L I T Y   T h e  d ata  th at  s u p p o r t  th e  f in d in g s   o f   th is   s tu d y   ar e  av aila b le  o n   r eq u est  f r o m   th e  co r r esp o n d in g   au th o r ,   A R A.   T h e  d ata,   wh ich   co n tain   in f o r m atio n   th at  co u ld   co m p r o m is e  th e  p r iv ac y   o f   r esear c h   p ar ticip an ts ,   ar e  n o t p u b licly   a v ailab le  d u e  to   ce r tain   r estrictio n s .       RE F E R E NC E S   [ 1 ]   S .   D .   N e g a r a   a n d   E .   S .   S o e si l o w a t i ,   “ E - c o mm e r c e   i n   I n d o n e si a :   i m p r e ssi v e   g r o w t h   b u t   f a c i n g   seri o u s  c h a l l e n g e s, ”   I S EA S   Pe rsp e c t i v e ,   n o .   1 0 2 ,   p p .   1 – 1 4 ,   2 0 2 1 .   [ 2 ]   A .   F a s h o l a   a n d   F .   K u su ma,   " E - C o m merce   D e v e l o p me n t   f o r   t h e   D i g i t a l   Ec o n o my   i n   I n d o n e s i a , "   Ac t i v a   Y u r i s:   J u r n a l   H u k u m ,    v o l .   4 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 2 5 2 7 3 / a y . v 4 i 2 . 2 0 8 4 2 .   [ 3 ]   M o r d o r   i n t e l l i g e n c e ,   “ I n d o n e s i a   e - c o mm e r c e   m a r k e t   s i z e   &  sh a r e   a n a l y si s - g r o w t h   t r e n d s  &  f o r e c a s t s  ( 2 0 2 5 - 2 0 3 0 ) , ”   Mo r d o r  i n t e l l i g e n c e ,   2 0 2 4 .   A c c e ss e d :   F e b .  14 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / w w w . mo r d o r i n t e l l i g e n c e . c o m / i n d u s t r y - r e p o r t s/ i n d o n e si a - e c o mm e r c e - mar k e t   [ 4 ]   T.   B a y ı r   a n d   S .   B o z y i ğ i t ,   " C o n s u m e r   c o m p l a i n t s   m a n a g e me n t   i n   t h e   d i g i t a l   e r a , "   i n   Pro c e e d i n g s   o f   t h e   2 0 2 3   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o n su m e r B e h a v i o r  a n d   M a rk e t i n g ,   D e c .   2 0 2 3 ,   p p .   5 7 - 9 0 ,   d o i :   1 0 . 4 0 1 8 / 9 7 9 - 8 - 3 6 9 3 - 0 4 2 8 - 0 . c h 0 0 3 .   [ 5 ]   D .   S .   M .   R .   K u r n i a w a n ,   " T h e   e f f e c t   o f   c o m p l a i n t   h a n d l i n g   o n   c u st o mer   l o y a l t y   a n d   i t s   i m p a c t   o n   c u st o mer  s a t i sf a c t i o n   ( s t u d y   o n  c o n su mers   o f   P T  T e l k o m  W i t e l   o f   W e st   K a l i m a n t a n ) , "   Ea st   A f ri c a n   S c h o l a rs  J o u r n a l   o f   E c o n o m i c s,  B u si n e ss  a n d   Ma n a g e m e n t ,  v o l .   6 ,   n o .   1 ,   p p .   1 1 - 1 6 ,   J a n .   2 0 2 3 ,   d o i :   1 0 . 3 6 3 4 9 / e a s j e b m. 2 0 2 3 . v 0 6 i 0 1 . 0 0 2 .   [ 6 ]   K .   J a mi l ,   L .   D u n n a n ,   R .   F .   G u l ,   M .   U .   S h e h z a d ,   S .   H .   M .   G i l l a n i ,   a n d   F .   H .   A w a n ,   “ R o l e   o f   so c i a l   me d i a   m a r k e t i n g   a c t i v i t i e s  i n  i n f l u e n c i n g   c u s t o mer   i n t e n t i o n s:   A   p e r sp e c t i v e   o f   a   n e w   e mer g i n g   e r a , ”   Fr o n t i e rs   i n   Ps y c h o l o g y ,   v o l .   1 2 ,   J a n .   2 0 2 2 ,     d o i :   1 0 . 3 3 8 9 / f p s y g . 2 0 2 1 . 8 0 8 5 2 5 .   [ 7 ]   S h o p i f y ,   “ O m n i c h a n n e l   e c o m merce :   w h a t   i t   i s   a n d   h o w   t o   i mp l e m e n t   i t , ”   S h o p i f y ,   2 0 2 4 .   h t t p s : / / w w w . sh o p i f y . c o m / e n t e r p r i s e / b l o g / o m n i c h a n n e l - e c o mm e r c e   ( a c c e ss e d   M a r .   2 4 ,   2 0 2 4 ) .   [ 8 ]   A .   R .   M a n j r e k a r ,   S .   S .   G o k h a l e ,   a n d   R .   A .   W i l so n ,   “ D e t e c t i o n   o f   a n t i - h u m a n   r i g h t s  d i sc o u r se  f r o m  C o l o m b i a n   s o c i a l   me d i a   c o n v e r sa t i o n s   u si n g   a d v a n c e d   t r a n sf o r mer  m o d e l s , ”   i n   Pr o c e e d i n g s   -   2 2 n d   I EEE   I n t e rn a t i o n a l   C o n f e re n c e   o n   Ma c h i n e   L e a rn i n g   a n d   Ap p l i c a t i o n s ,   I C MLA  2 0 2 3 ,   D e c .   2 0 2 3 ,   p p .   1 5 0 1 – 1 5 0 7 ,   d o i :   1 0 . 1 1 0 9 / I C M LA 5 8 9 7 7 . 2 0 2 3 . 0 0 2 2 6 .   [ 9 ]   M .   K h a l i l   a n d   M .   A z z e h ,   “ Tr u t h   s e e k e r   o f   t h e   l a r g e s t   s o c i a l   me d i a   c o n t e n t   u si n g   ma c h i n e   l e a r n i n g   a l g o r i t h ms , ”   i n   Pr o c e e d i n g s  -   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8       C la s s i fica tio n   o f c u s to mer  co mp la in ts   o n   s o cia l m ed ia   f o r   …   ( A ch ma d   R iz ki  A d ita ma )   2985   2 2 n d   I EE E  I n t e rn a t i o n a l   C o n f e re n c e   o n   M a c h i n e   L e a r n i n g   a n d   Ap p l i c a t i o n s ,   I C MLA   2 0 2 3 ,   D e c .   2 0 2 3 ,   p p .   1 6 0 6 – 1 6 1 0 ,     d o i :   1 0 . 1 1 0 9 / I C M LA 5 8 9 7 7 . 2 0 2 3 . 0 0 2 4 3 .   [ 1 0 ]   J.  H u ss e y ,   K .   S t o n e ,   a n d   T.   C a mp ,   “ P o si t i v e   a n d   u n l a b e l e d   l e a r n i n g   f o r   mo b i l e   a p p l i c a t i o n   t r a f f i c   c l a ssi f i c a t i o n , ”   i n   Pr o c e e d i n g s  -   I EEE  Mi l i t a r y   C o m m u n i c a t i o n s   C o n f e r e n c e   MIL C O M ,   N o v .   2 0 2 2 ,   v o l .   2 0 2 2 - N o v e m ,   p p .   2 5 – 3 0 ,   d o i :   1 0 . 1 1 0 9 / M I LC O M 5 5 1 3 5 . 2 0 2 2 . 1 0 0 1 7 6 9 9 .   [ 1 1 ]   N .   Th a i r   A l i ,   K .   F a l i h   H a ssa n ,   M .   N a j i m  A b d u l l a h ,   a n d   Z.   S a l a m  A l - H c h i m y ,   “ T h e   a p p l i c a t i o n   o f   r a n d o m  f o r e st   t o   t h e   c l a ss i f i c a t i o n   o f   f a k e   n e w s, ”   BI O   We b   o f   C o n f e re n c e s ,   v o l .   9 7 ,   p .   4 9 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 5 1 / b i o c o n f / 2 0 2 4 9 7 0 0 0 4 9 .   [ 1 2 ]   K .   P u r w a n d a r i ,   R .   B .   P e r d a n a ,   J .   W .   C .   S i g a l i n g g i n g ,   R .   R a h u t o mo ,   a n d   B .   P a r d a m e a n ,   “ A u t o m a t i c   sm a r t   c r a w l i n g   o n   Tw i t t e r   f o r   w e a t h e r   i n f o r ma t i o n   i n   I n d o n e s i a , ”   Pr o c e d i a   C o m p u t e r  S c i e n c e ,   v o l .   2 2 7 ,   p p .   7 9 5 – 8 0 4 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s.2 0 2 3 . 1 0 . 5 8 5 .   [ 1 3 ]   C .   M .   B i sh o p ,   Pa t t e rn   re c o g n i t i o n   a n d   m a c h i n e   l e a r n i n g .   S p r i n g e r   N e w   Y o r k ,   2 0 0 6 .   [ 1 4 ]   P. - N .   Ta n ,   M .   S t e i n b a c h ,   a n d   V .   K u m a r ,   I n t r o d u c t i o n   t o   d a t a   m i n i n g ,   2 n d   e d .   P e a r s o n ,   2 0 2 0 .   [ 1 5 ]   S .   R a s c h k a ,   “ M o d e l   e v a l u a t i o n ,   m o d e l   se l e c t i o n ,   a n d   a l g o r i t h m  se l e c t i o n   i n   m a c h i n e   l e a r n i n g , ”   a r Xi v : 1 8 1 1 . 1 2 8 0 8 ,   N o v .   2 0 1 8 ,  d o i :   1 0 . 4 8 5 5 0 / a r X i v . 1 8 1 1 . 1 2 8 0 8 .   [ 1 6 ]   P .   C h a p ma n   e t   a l . ,   “ C R I S P - D M   1 . 0 :   S t e p - by - st e p   d a t a   mi n i n g   g u i d e , ”   S P S S   i n c ,   v o l .   7 8 ,   p p .   1 – 7 8 ,   2 0 0 0 .   [ 1 7 ]   S .   W a n k h e d e ,   R .   P a t i l ,   S .   S o n a w a n e ,   a n d   P .   A .   S a v e ,   “ D a t a   p r e p r o c e ssi n g   f o r   e f f i c i e n t   se n t i me n t a l   a n a l y s i s, ”   i n   Pr o c e e d i n g s  o f   t h e   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n v e n t i v e   C o m m u n i c a t i o n   a n d   C o m p u t a t i o n a l   T e c h n o l o g i e s,  I C I C C T   2 0 1 8 ,   2 0 1 8 ,   p p .   7 2 3 – 7 2 6 ,   d o i :   1 0 . 1 1 0 9 / I C I C C T. 2 0 1 8 . 8 4 7 3 2 7 7 .   [ 1 8 ]   T.   B .   B r o w n   e t   a l . ,   “ La n g u a g e   m o d e l s   a r e   f e w - s h o t   l e a r n e r s , ”   a rX i v : 2 0 0 5 . 1 4 1 6 5 ,   M a y   2 0 2 0 .   [ 1 9 ]   M d ,   “ B l e n d i n g   w e i g h t e d   TF - I D F   B ER T  f o r   i m p r o v i n g   s e ma n t i c   sea r c h , ”   i n   I C ARC   2 0 2 2   -   2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Ad v a n c e d   Re s e a r c h   i n   C o m p u t i n g :   T o w a r d s  a   D i g i t a l l y   Em p o w e re d   S o c i e t y ,   F e b .   2 0 2 2 ,   p p .   1 5 4 – 1 5 9 ,   d o i :   1 0 . 1 1 0 9 / I C A R C 5 4 4 8 9 . 2 0 2 2 . 9 7 5 3 8 7 5 .   [ 2 0 ]   J.  D e v l i n ,   M . - W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   “ B ER T :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r m e r s  f o r   l a n g u a g e   u n d e r s t a n d i n g , ”   a rX i v : 1 8 1 0 . 0 4 8 0 5 ,   O c t .   2 0 1 8 .   [ 2 1 ]   H .   F a n   a n d   Y .   Q i n ,   “ R e s e a r c h   o n   t e x t   c l a ss i f i c a t i o n   b a se d   o n   i mp r o v e d   TF - I D F   a l g o r i t h m,”   i n   Pr o c e e d i n g s  o f   t h e   2 0 1 8   I n t e r n a t i o n a l   C o n f e r e n c e   o n   N e t w o rk,   C o m m u n i c a t i o n ,   C o m p u t e r   E n g i n e e ri n g   ( N C C E  2 0 1 8 ) ,   2 0 1 8 ,   p p .   5 0 1 – 5 0 6 ,   d o i :   1 0 . 2 9 9 1 / n c c e - 1 8 . 2 0 1 8 . 7 9 .   [ 2 2 ]   A .   S i n h a ,   M .   N .   B .   J.  N a sk a r ,   M .   P a n d e y ,   a n d   S .   S .   R a u t a r a y ,   “ Te x t   c l a ssi f i c a t i o n   u si n g   m a c h i n e   l e a r n i n g   t e c h n i q u e s :   c o mp a r a t i v e   a n a l y si s , ”   i n   2 0 2 2   O I T S   I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n f o rm a t i o n   T e c h n o l o g y   ( O C I T ) ,   D e c .   2 0 2 2 ,   p p .   1 0 2 – 1 0 7 ,   d o i :   1 0 . 1 1 0 9 / O C I T5 6 7 6 3 . 2 0 2 2 . 0 0 0 2 9 .   [ 2 3 ]   H .   A .   S a l m a n ,   A .   K a l a k e c h ,   a n d   A .   S t e i t i ,   “ R a n d o m  f o r e st   a l g o r i t h m  o v e r v i e w , ”   B a b y l o n i a n   J o u r n a l   o f   M a c h i n e   L e a r n i n g ,    v o l .   2 0 2 4 ,   p p .   6 9 – 7 9 ,   Ju n .   2 0 2 4 ,   d o i :   1 0 . 5 8 4 9 6 / B J M L / 2 0 2 4 / 0 0 7 .   [ 2 4 ]   T.   C h e n   a n d   C .   G u e s t r i n ,   “ X g b o o s t :   a   sca l a b l e   t r e e   b o o st i n g   s y st e m, ”   i n   Pro c e e d i n g s  o f   t h e   2 2 n d   A C M  S I G K D D   I n t e r n a t i o n a l   C o n f e re n c e   o n   K n o w l e d g e   D i s c o v e r y   a n d   D a t a   Mi n i n g ,   A u g .   2 0 1 6 ,   p p .   7 8 5 – 7 9 4 ,   d o i :   1 0 . 1 1 4 5 / 2 9 3 9 6 7 2 . 2 9 3 9 7 8 5 .   [ 2 5 ]   A .   V a sw a n i   e t   a l . ,   “ A t t e n t i o n   i s   a l l   y o u   n e e d , ”   A d v a n c e s  i n   n e u r a l   i n f o rm a t i o n   p r o c e ssi n g   s y st e m s ,   v o l .   3 0 ,   2 0 1 7 .   [ 2 6 ]   F .   K o t o ,   A .   R a h i mi ,   J.   H .   La u ,   a n d   T.   B a l d w i n ,   “ I n d o LE M   a n d   I n d o B ER T:   A   b e n c h mark   d a t a se t   a n d   p r e - t r a i n e d   l a n g u a g e   m o d e l   f o r   I n d o n e s i a n   N LP , ”   i n   Pr o c e e d i n g s  o f   t h e   2 8 t h   I n t e rn a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 0 ,   p p .   7 5 7 – 7 7 0 ,     d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . c o l i n g - m a i n . 6 6 .   [ 2 7 ]   D .   B e r r a r ,   “ C r o ss - v a l i d a t i o n , ”   i n   E n c y c l o p e d i a   o f   Bi o i n f o rm a t i c s  a n d   C o m p u t a t i o n a l   Bi o l o g y ,   E l se v i e r ,   2 0 1 9 ,   p p .   5 4 2 – 5 4 5 .   [ 2 8 ]   G .   D i   L e o   a n d   F .   S a r d a n e l l i ,   “ S t a t i st i c a l   s i g n i f i c a n c e :   p   v a l u e ,   0 . 0 5   t h r e sh o l d ,   a n d   a p p l i c a t i o n s   t o   r a d i o m i c s — r e a s o n s   f o r   a   c o n ser v a t i v e   a p p r o a c h , ”   E u r o p e a n   R a d i o l o g y   Ex p e r i m e n t a l ,   v o l .   4 ,   n o .   1 ,   M a r .   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s4 1 7 4 7 - 020 - 0 1 4 5 - y.       B I O G RAP H I E S O F   AUTH O RS         Ac h m a d   Riz k i  A d ita m a           is  a   m a ste r  o f  i n fo rm a ti o n   tec h n o l o g y   st u d e n t   i n   t h e   F a c u lt y   o f  C o m p u ter  S c ien c e   a t  Un iv e rsitas   In d o n e sia .   He   o b tain e d   th e ir   b a c h e lo r' s  d e g re e   i n   c o m p u ter  sc ien c e   fr o m   th e   F a c u lt y   o f   Co m p u ter  S c ien c e   a t  Un i v e r sitas   Bra wijay a .   In   a d d i ti o n   to   b e i n g   a n   a c ti v e   st u d e n t,   h e   is  wo rk i n g   p ro fe ss io n a ll y   in   so ftwa re   e n g in e e rin g   a t  o n e   o f  t h e   lea d in g   tec h   c o m p a n ies   in   I n d o n e sia .   His  i n tere st  in   m o d e rn   b a c k e n d   d e v e l o p m e n t,   m icro se rv ice s  a rc h it e c tu re ,   sc a lab le  sy ste m   d e sig n   a n d   e m e rg in g   te c h n o l o g ies   su c h   a s  m a c h in e   lea rn in g .   He   c a n   b e   c o n tac ted   a t  e m a il :  a c h m a d . rizk i0 2 @u i . a c . id .         Alfa n   Fa r izki   Wica k so n o           se rv e s  a s  a   d irec to r   a t   Un i v e rsitas   In d o n e sia   Ce n ter  f o r  Leg a l  In fo rm a ti c s,  w h e re   h is   e x p e rti se   sig n ifi c a n tl y   c o n tr ib u tes   t o   t h e   c e n ter’s   re se a rc h   a n d   d e v e lo p m e n t  i n it iati v e s.  Wi th   a   P h . D.   fro m   th e   Un i v e rsity   o f   M e lb o u r n e ,   a n   M . S c .   fro m   th e   Ko re a   Ad v a n c e d   I n stit u te  o f  S c i e n c e   a n d   Tec h n o l o g y ,   a n d   a   Ba c h e lo r  o f  E n g i n e e rin g   (S . T . )   fro m   In st it u t   Tek n o lo g i  Ba n d u n g .   His  re se a rc h   i n tere sts  li e   a t  t h e   in ters e c ti o n   o f   in f o rm a ti o n   re tri e v a l  a n d   re p re se n tatio n   lea rn i n g .   He   c a n   b e   c o n tac ted   a t  e m a il :  a lfan @c s.u i. a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.