T E L K O M NIKA   T elec o mm un ica t io n Co m pu t i ng   E lect ro nics   a nd   Co ntr o l   Vo l.  24 ,   No .   4 A u g u s t   20 26 ,   p p .   1 157 ~1 1 6 7   I SS N:  1 6 9 3 - 6 9 3 0 ,   DOI : 1 0 . 1 2 9 2 8 / T E L KOM NI K A . v 24 i 4 . 27419       1157       J o ur na l ho m ep a g e :   h ttp : //telko mn ika . u a d . a c. i d   NLP - driv en  hate   speech de tec tion  o Tik To k :   a  cas e  study  f ro m   UIN Suna A m pe l Suraba y a       Ach m a d T eg u h Wibo w o 1 Aris F a na ni 1 M ujib R idw a n 1 B ra m a s t a   K urnia   Aj i 2   1 F a c u l t y   o f   S c i e n c e   a n d   T e c h n o l o g y ,   U I N   S u n a n   A mp e l   S u r a b a y a ,   S u r a b a y a ,   I n d o n e si a   2 I n f o r mat i o n   T e c h n o l o g y   C e n t e r   a n d   D a t a b a se ,   U I N   S u n a n   A mp e l   S u r a b a y a ,   S u r a b a y a ,   I n d o n e si a       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J u l   21 2025   R ev i s ed   A p r   10 2 0 2 6   A cc ep ted   Ma y   25 2026       T h is  stu d y   e x a m in e h a te  sp e e c h   d e tec ti o n   i n   T ik T o k   c o m m e n ts  u sin g   n a tu ra lan g u a g e   p ro c e ss in g   (NL P )   tec h n iq u e w it h in   th e   stu d e n t   c o m m u n it y   o f   UIN   S u n a n   Am p e S u ra b a y a .   A   d a tas e o f   1 0 , 0 0 0   c o m m e n ts  a ss o c iate d   w it h   th e   h a sh tag   # P BA KU INS A2 0 2 3   w a a n a l y z e d   u sin g   a   lex ico n - b a se d   se n ti m e n a n a l y sis  a p p ro a c h   imp lem e n ted   th ro u g h   th e   T e x tBl o b   li b ra ry ,   c o m b in e d   w it h   In d o n e sia n   tex p re p ro c e ss in g   tec h n i q u e s,  in c lu d in g   to k e n iza ti o n ,   n o rm a li z a ti o n ,   st o p w o rd   re m o v a l,   a n d   ste m m in g   u si n g   th e   S a stra w li b ra r y .   T h e   re su lt s   in d ic a te  th a th e   p r o p o se d   a p p ro a c h   a c h iev e d   a n   a c c u ra c y   o f   0 . 8 5 ,   w it h   p re c isio n   o f   0 . 8 8 ,   re c a ll   o f   0 . 8 3 ,   a n d   a n   F 1 - sc o re   o f   0 . 8 5 4 .   M o st  c o m m e n ts  w e re   c las si f ied   a n e u tral,   w h il e   3 1 . 8 %   w e r e   p o siti v e ,   a n d   o n ly   a   s m a ll   p ro p o r ti o n   w e re   n e g a ti v e .   T h e s e   f in d i n g su g g e st  th a d isc u ss io n re late d   to   c a m p u a c ti v it ies   ten d   to   b e   n e u tral   o r   s u p p o rti v e .   Ho w e v e r,   th e   f in d in g a lso   re v e a th a t   se n ti m e n p o larity   d o e s   n o a lw a y s   d irec tl y   c o rre sp o n d   to   h a te  sp e e c h ,   a c e rtain   h a rm f u e x p re ss io n m a y   a p p e a n e u tral  i n   l e x ico n - b a se d   a n a ly sis.  T h is  li m it a ti o n   h ig h li g h t th e   n e e d   f o m o re   c o n tex t - a w a r e   a p p ro a c h e s.  Ov e r a ll ,   th e   p ro p o se d   m e th o d   p ro v id e s   a n   e ff icie n so lu ti o n   f o m o n it o ri n g   o n l in e   d isc o u rse   in   a c a d e m i c   e n v iro n m e n ts .   K ey w o r d s :   Hate   s p ee ch   d etec tio n   L e x ico n - b ased   s en ti m en an al y s is   Natu r al  la n g u a g p r o ce s s in g   Sen ti m e n t a n a l y s is   T ik T o k   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   B r am a s ta  Ku r n ia  A j i   I n f o r m a tio n   T ec h n o lo g y   C e n t er   an d   Data b ase ,   UI Su n a n   Am p el  S u r ab a y a   Ah m ad   Yan S tr ee No .   1 1 7 ,   J e m u r   W o n o s ar i,  W o n o co lo   Dis tr ict,   Su r ab a y C it y ,   I n d o n esi   E m ail: a j ib r a m asta @ u in s a. ac . i d       1.   I NT RO D UCT I O   T h r ap id   g r o w th   o f   s o cial  m ed ia  h as  s i g n i f ica n tl y   tr a n s f o r m ed   co m m u n icatio n   a n d   g en e r ated   lar g e   v o lu m es   o f   u n s tr u c tu r ed   d at th at  ar d i f f ic u lt   to   an al y z an d   m a n a g e.   P latf o r m s   s u ch   as  T ik T o k   h a v b ec o m w id el y   u s ed   co m m u n icatio n   ch a n n els,  p ar ticu lar l y   a m o n g   s t u d en t s   at  UI S u n a n   Am p el  S u r ab a y a.   A lo n g   w it h   t h is   g r o w t h ,   s o ci al  m ed ia  h as  also   f ac i litated   th s p r ea d   o f   h ar m f u co n t en t,  in cl u d in g   h a te  s p ee ch ,   w h ic h   m a y   n e g ati v el y   a f f ec o n l in in ter ac tio n s   an d   d ig ital  e n v ir o n m en t s   [ 1] .   T h er ef o r e,   s y s te m ati c   ap p r o ac h es  ar r eq u ir ed   to   ef f ec ti v el y   p r o ce s s   a n d   an al y ze   s o cial  m ed ia  d ata  in   o r d er   to   d etec p o ten tiall y   h ar m f u l c o n te n [ 2 ] ,   [ 3] .   So cial  m ed ia  h a s   also   c h a n g e d   th r o le  o f   u s er s   f r o m   p as s iv co n s u m er s   o f   in f o r m at io n   to   ac tiv e   p r o d u ce r s   w h o   co n ti n u o u s l y   g en er ate  d i g ital   co n te n a n d   i n ter ac tio n s   [ 4] .   T h is   s h if r es u lts   in   in cr ea s in g l y   co m p le x   d ata  th at  r eq u ir e s   m o d er n   an al y tical  tec h n iq u e s   f o r   ef f ec ti v a n al y s is   [ 5] .   I n   th is   co n tex t,  n at u r al   lan g u a g p r o ce s s in g   ( N L P )   p r o v id es  p o w er f u to o ls   f o r   ex tr ac ti n g   m ea n in g f u in s i g h t s   f r o m   lar g e - s ca le   tex t u al  d ata  g e n er ated   th r o u g h   s o cial  m ed ia  p latf o r m s   [ 6 ] ,   [ 7] .   R ec en s tu d ies  h i g h l ig h th a NL P   tech n iq u es,  i n clu d i n g   s e n ti m en an al y s i s   ap p r o ac h es,  h av b ee n   w id el y   ap p lied   to   d etec h ate  s p ee ch   an d   an al y ze   s e n ti m en p atter n s   i n   o n li n co m m u n icat io n   [ 8 ] ,   [ 9] Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 157 - 1 1 6 7   1158   Sen ti m e n an al y s i s   en ab les  th class if ica tio n   o f   tex t u al  d ata  in to   p o s itiv e,   n eu tr al,   o r   n e g ati v s en ti m e n ts ,   w h ic h   ca n   h elp   id en ti f y   h o s ti l o r   o f f en s i v lan g u a g tar g eti n g   i n d iv id u als  o r   g r o u p s   b ased   o n   attr ib u tes  s u c h   as  r ac e,   r elig io n ,   g en d er ,   o r   n atio n al it y   [ 1 0] .   I n   g e n er al,   s en ti m en a n al y s is   ap p r o ac h es   ca n   b ca te g o r ized   in to   lex ico n - b ased   m et h o d s   a n d   m ac h i n lear n i n g - b ased   m eth o d s   [ 11] .   L ex ico n - b ased   a p p r o ac h es  r ely   o n   p r ed ef in ed   s e n ti m en d ictio n a r ies,  w h i le  m ac h i n lear n i n g   ap p r o ac h es  lear n   s e n ti m e n p atter n s   f r o m   lab eled   d atasets   [ 1 2 ] ,   [ 1 3 ] .   T h is   s tu d y   ap p lies   N L P   tech n i q u es  to   an al y ze   T ik T o k   co m m en ts   i n   o r d er   to   i d en tify   h ate  s p ee ch   an d   s en ti m e n p atter n s   w it h i n   th e   ac ad em ic  co m m u n it y   o f   UI Su n an   Am p el  S u r ab a y [ 14] .   B y   u tili zi n g   a   lex ico n - b ased   s e n ti m e n t a n al y s is   ap p r o ac h   co m b i n ed   w it h   I n d o n esia n   te x t p r ep r o ce s s in g   t ec h n iq u es  u s in g   t h e   s astra w lib r ar y ,   th r esear ch   d ev elo p s   an   au to m ated   s y s te m   ca p ab le  o f   class i f y in g   s en t i m en in   s o cial  m ed ia  co m m e n t s   [ 15] .   T h s y s te m   is   i m p le m en ted   t h r o u g h   p r o to ty p ap p licatio n   d esi g n ed   to   m o n ito r   an d   an al y ze   d is cu s s io n s   r elate d   to   ca m p u s   ac tiv itie s   o n   T ik T o k   [ 16] .   A lt h o u g h   n u m er o u s   s t u d ies  h av i n v esti g ated   h a te  s p ee c h   d etec tio n   o n   s o cial  m ed ia   p latf o r m s ,   li m ited   r esear ch   h a s   s p ec if ic all y   ex a m i n ed   T ik T o k   in ter ac tio n s   w it h i n   I n d o n esia n   ac ad em ic  co m m u n itie s .   T h is   s t u d y   ad d r ess es   th is   g ap   b y   an al y zi n g   T ik T o k   co m m e n ts   a s s o ciate d   w i th   ca m p u s - r elate d   h as h ta g s   a n d   i m p le m en t in g   s en ti m e n an al y s i s   s y s te m   f o r   au to m ate d   m o n ito r i n g .   T h f in d i n g s   ar ex p ec ted   to   p r o v id in s i g h ts   i n to   s tu d en in ter ac ti o n   p atter n s   o n   s o cial  m ed ia  an d   s u p p o r ef f o r ts   to   p r o m o te  s af er   an d   m o r r esp o n s ib le  d ig ital c o m m u n ica tio n   w it h in   ac ad e m ic  en v ir o n m en ts .       2.   M E T H O D   T h is   s tu d y   ap p lies   N L P   tech n iq u e s   to   an al y ze   T ik T o k   co m m en t s   an d   id en ti f y   s e n ti m e n p atter n s   r elate d   to   p o ten tial  h a te  s p e ec h   w it h i n   t h ac ad e m ic  co m m u n it y   o f   UI Su n a n   Am p el  Su r ab a y a.   T h p r o p o s ed   ap p r o ac h   f o llo w s   s tr u ctu r ed   w o r k f lo w   co n s i s ti n g   o f   d ata  co llectio n ,   tex t   p r ep r o ce s s i n g ,   s en ti m en t   an al y s is ,   clas s if icatio n ,   a n d   p e r f o r m an ce   ev al u atio n .   T h o v er all  p ip elin o f   th e   p r o p o s ed   s y s te m   is   ill u s tr ated   in   Fi g u r 1 .           Fig u r e   1 .   Ov er all  w o r k f lo w   o f   th p r o p o s ed   T ik T o k   s en ti m e n t a n al y s is   s y s te m ,   i n cl u d in g   d ata  co llectio n ,   p r ep r o ce s s in g ,   s e n ti m en t a n al y s i s   u s in g   T ex tB lo b ,   an d   r esu l t sto r ag an d   v i s u aliza tio n       2 . 1 .     Da t a   c o llect io n   T h d ataset  u s ed   in   th is   s t u d y   co n s is ts   o f   1 0 , 0 0 0   T ik T o k   co m m en t s   co llected   f r o m   v id eo s   ass o ciate d   w it h   th h as h ta g   # P B A KUI N S A 2 0 2 3 ,   w h ic h   r elate s   to   ca m p u s   o r ien tatio n   ac ti v itie s   at   UI S u n a n   Am p el   Su r ab a y a.   T h d ata  w er r et r iev ed   u s in g   th e   T ik T o k A p i   P y t h o n   lib r ar y ,   f o cu s in g   o n   p u b licl y   av a ilab le  co m m e n t s   p o s ted   b y   u s er s   o n   v id eo s   co n tai n i n g   th s elec te d   h ash tag .   T h co llected   co m m en ts   ar p r i m ar il y   w r itte n   i n   I n d o n es ian   a n d   o f ten   co n tai n   i n f o r m al  ex p r es s io n s ,   ab b r ev iatio n s ,   s lan g ,   a n d   m i x ed - la n g u a g u s a g e   co m m o n l y   f o u n d   i n   s o cial  m ed ia  co m m u n ica tio n .   T h ese  ch ar ac ter is tic s   m a k e   s o cial  m ed ia  te x t   p ar ticu lar l y   c h alle n g in g   f o r   au to m ated   a n al y s i s .   Fro m   t h co llected   d ataset,   8 , 0 0 0   c o m m en ts   w er u s ed   f o r   tr ain i n g   p u r p o s es  an d   2 , 0 0 0   co m m e n t s   w er u s ed   f o r   test in g   in   o r d er   to   ev al u ate  t h p er f o r m a n ce   o f   th e   s en ti m e n cla s s i f icatio n   s y s te m .   T h is   d ata  p ar titi o n   allo w s   th p r o p o s ed   ap p r o ac h   to   b ass es s ed   o n   u n s ee n   d ata  an d   en s u r es a   m o r r eliab le  ev alu a tio n   o f   cla s s i f icat io n   p er f o r m a n ce .     2 . 2 .     Da t a   p re pro ce s s ing   P r i o r   to   p e r f o r m i n g   s e n ti m e n an al y s i s ,   t h te x t u al  d ata  u n d er g o   s e v er al  p r ep r o ce s s in g   s tag e s   i n   o r d er   to   im p r o v d ata  q u alit y   an d   r ed u ce   n o is e   in   t h d ata s et.   T ex o b tain ed   f r o m   s o cia m ed ia  p lat f o r m s   o f ten   co n tai n s   ir r eg u lar   s en t en ce   s tr u ct u r es,  in f o r m al  ex p r ess io n s ,   ab b r ev iatio n s ,   s la n g ,   an d   u n n ec ess ar y   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         N LP - d r iven   h a te  s p ee ch   d etec tio n   o n   TikTo k:   a   ca s s tu d fr o UI N   S u n a n     ( A ch ma d   Te g u h   W ib o w o )   1159   s y m b o ls   th at  m a y   n eg ati v el y   af f ec th ac c u r ac y   o f   s e n ti m en an al y s i s .   T h er ef o r e,   s e v er al  p r ep r o ce s s in g   tech n iq u es a r ap p lied   to   s tan d ar d ize  th tex tu al  d ata  b ef o r e   an al y s is   [ 17]   T h ese  s tep s   i n cl u d to k e n izati o n ,   w h ic h   s p lits   s e n te n ce s   i n t o   in d iv id u al  to k en s   o r   w o r d s ;   s to p w o r d   r e m o v al,   w h ic h   eli m i n ates  co m m o n   w o r d s   t h at  d o   n o s i g n i f ican tl y   co n tr ib u te  to   s en t i m en in ter p r etatio n n o r m aliza t io n ,   w h ich   co n v er ts   in f o r m al  o r   ab b r ev iated   w o r d s   in to   th eir   s tan d ar d   f o r m s a n d   s te m m i n g ,   w h ic h   r ed u ce s   w o r d s   to   th eir   b ase  o r   r o o f o r m .   I n   th is   s t u d y ,   s te m m in g   is   p er f o r m ed   u s i n g   th Sas tr a w lib r ar y ,   w h ic h   is   s p ec i f icall y   d esi g n ed   f o r   I n d o n esia n   lan g u ag p r o ce s s i n g .     2 . 3 .     Senti m ent   a na ly s is   Sen ti m e n clas s if icatio n   i n   th i s   s tu d y   i s   p er f o r m ed   u s i n g   th T ex tB lo b   lib r ar y ,   w h ich   i m p le m en t s   a   lex ico n - b ased   s en t i m e n an al y s i s   ap p r o ac h .   I n   th is   m et h o d ,   ea ch   w o r d   in   th tex is   ass i g n ed   s en ti m e n t   s co r b ased   o n   p r ed ef in ed   s en ti m en lex ico n .   Neg ati v s e n ti m en is   co n s id er ed   p o ten tial  in d icato r   o f   h ate   s p ee ch - r ela ted   ex p r ess io n s   w it h i n   t h a n al y ze d   co m m e n ts .   T ex tB lo b   co m p u tes  t w o   p r im ar y   s e n ti m e n t   in d icato r s   f o r   ea ch   tex in p u t,  n a m e l y   p o lar it y   an d   s u b j ec tiv it y   s co r es  [ 18] T h p o lar ity   s co r r e p r esen ts   th e   s en ti m e n o r ie n tatio n   o f   tex an d   r an g es   b et w ee n   −1   an d   +1 .   A   p o lar it y   v al u g r ea ter   t h an   ze r o   in d icate s   p o s itiv e   s en ti m en t,  v al u eq u al  to   ze r o   r e p r esen ts   n e u tr a s en ti m en t,  an d   v alu less   th an   ze r o   in d icate s   n eg at iv s e n ti m en [ 19] Ma th e m atica ll y ,   t h p o lar it y   v a l u   o f   s e n te n ce   ca n   b r ep r esen t ed   as  th a v er a g e   s en ti m e n t sco r o f   all  w o r d s   co n tain ed   i n   th te x t,  ex p r es s ed   as:     =   = 1   ( 1 )     w h er e:       r ep r esen ts   th p o lar it y   s co r o f   s e n ten ce ,   i n d icati n g   t h o v er all  s en ti m e n t o r ien tatio n .     = 1   d en o tes th s u m m atio n   o p er ato r ,   w h ic h   ad d s   th s e n ti m e n t s co r es o f   all  w o r d s   in   t h s e n te n ce .       r ep r esen ts   th s en t i m e n t sco r e   o f   th   - th   w o r d   in   t h tex t.       d en o tes th to tal  n u m b er   o f   wo r d s   in   th s e n te n ce .   I n   ad d itio n   to   p o lar it y ,   T ex t B lo b   also   ca lcu lates   s u b j ec tiv it y   s co r   ,   w h ic h   m ea s u r es  th e   d eg r ee   o f   p er s o n al  o p in io n   co n tai n ed   in   th te x t.  T h s u b j ec tiv it y   s co r r an g e s   b et w ee n   0   an d   1 ,   w h er v alu e s   clo s er   to   1   in d icate   h i g h l y   s u b j ec tiv ex p r ess io n s ,   w h ile  v alu e s   clo s er   to   0   in d icate   m o r o b j ec tiv s t ate m e n ts .   T o   ev alu ate  t h p er f o r m an ce   o f   th p r o p o s ed   s en ti m e n an a l y s i s   s y s te m ,   t h m o d el  w a s   t ested   u s i n g   2 , 0 0 0   T ik T o k   co m m e n t s   th at  w er n o i n cl u d ed   in   th tr ai n in g   d ata s et.   T h ev alu at io n   ai m s   to   m ea s u r th e   ef f ec tiv e n e s s   o f   th s e n ti m e n class i f ica tio n   ap p r o ac h   in   id en tify i n g   s e n ti m e n p o lar it y   in   s o cial  m ed ia   co m m e n t s .   Se v er al  s ta n d ar d   p er f o r m a n ce   m etr ic s   w er u s ed   to   ass es s   t h clas s i f icatio n   r es u lts ,   in cl u d i n g   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e.   T h ese  m e tr ics  p r o v id co m p r eh e n s iv e v al u at io n   o f   t h m o d el ab ilit y   to   co r r ec tl y   clas s i f y   s e n ti m en p o lar it y   a n d   d etec h a te  s p ee ch - r elate d   e x p r ess io n s   w it h i n   t h d ata s et .   A cc u r ac y   m ea s u r e s   t h p r o p o r tio n   o f   co r r ec tl y   c lass if ied   in s tan ce s   a m o n g   all   ev a lu at ed   s a m p les   [ 20] .   I r ef lects t h o v er all  co r r ec tn es s   o f   th clas s i f icatio n   s y s te m   a n d   is   d ef i n ed   as:         =    +     +    +  +      ( 2 )     w h er tr u p o s it iv ( TP )   r ep r esen ts   co r r ec tl y   clas s i f ied   p o s i tiv i n s tan ce s ,   tr u n e g ati v ( TN )   r ep r esen ts   co r r ec tly   cla s s i f ied   n eg at iv e   in s ta n ce s ,   f al s p o s iti v ( FP )   r ep r esen ts   i n s ta n ce s   in co r r ec tl y   clas s i f ied   as   p o s itiv e,   an d   f al s n e g ati v ( FN )   r ep r esen ts   in s tan ce s   in co r r ec tly   cla s s i f ied   as  n e g ati v e.   P r ec is io n   m ea s u r es   th p r o p o r tio n   o f   co r r ec tly   p r ed icted   p o s itiv in s ta n ce s   a m o n g   all  p r ed icted   p o s itiv i n s ta n c es.  I in d icate s   th e   r eliab ilit y   o f   p o s iti v s e n ti m e n t p r ed ictio n s   an d   is   d ef i n ed   as:         =     +    ( 3 )     R ec all  m ea s u r es  t h p r o p o r ti o n   o f   ac tu al  p o s itiv in s ta n c es  th at  ar co r r ec tly   id en ti f ie d   b y   th s y s te m .   I t   ev alu a tes t h m o d el s   ab ilit y   t o   d etec t r elev an t p o s itiv ca s e s   an d   is   d ef i n ed   as:         =     +      ( 4 )     T h F1 - s co r is   th h ar m o n ic  m ea n   o f   p r ec is io n   an d   r ec all,   p r o v id in g   b alan ce d   ev al u ati o n   b et w ee n   th t w o   m etr ics.  I t is e x p r ess ed   as:       1 = 2   ×     ×    ×      ( 5 )   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 157 - 1 1 6 7   1160   I n   ad d itio n   to   th ese  m e tr ics,  co n f u s io n   m atr i x   w as  u s ed   to   p r o v id m o r d etailed   an aly s i s   o f   th e   class i f icatio n   p er f o r m a n ce .   T h co n f u s io n   m atr i x   p r esen t s   t h d is tr ib u tio n   o f   co r r ec t l y   a n d   i n co r r ec tl y   class i f ied   i n s ta n ce s   b y   s h o w i n g   th n u m b er   o f   T P ,   T N,   FP ,   an d   FN  [ 21] .   T h is   r ep r esen tatio n   allo w s   f o r   d ee p er   u n d er s tan d i n g   o f   th e   m o d el s   s tr e n g th s   a n d   w ea k n ess es,  p ar tic u lar l y   i n   id en ti f y i n g   m is cla s s i f icatio n   p atter n s .   B y   an al y zi n g   t h co n f u s io n   m a tr ix ,   it b ec o m e s   p o s s ib le  to   o b s er v h o w   w ell   th e   m o d el   d is ti n g u i s h e s   b et w ee n   h ate  s p ee ch   an d   n o n - h ate  s p ee ch   co m m en t s   an d   to   i d en tify   p o ten tia l so u r ce s   o f   cl ass i f icatio n   er r o r s .     2 . 4 .     Senti m ent   c la s s if ica t io n   Af ter   o b tain i n g   t h p o lar it y   s co r f r o m   t h s e n ti m en an al y s i s   p r o ce s s ,   ea ch   co m m en i s   class i f ied   in to   o n o f   th r ee   s e n ti m e n c ateg o r ies:   p o s iti v e,   n e u tr al,   o r   n eg at iv e.   T h clas s i f icatio n   i s   d eter m i n ed   b ased   o n   th p o lar it y   v al u o b tain e d   f r o m   th T ex tB lo b   an al y s i s .   T h s en ti m e n clas s i f icatio n   f u n ctio n   ca n   b d ef in ed   as:       ( ) = {   , > 0    . = 0   , < 0 }     ( 6 )     w h er   r ep r esen ts   t h p o lar it y   s co r o f   th an al y ze d   co m m e n t.   T h r o u g h   t h i s   clas s i f icatio n   m ec h an i s m ,   ea ch   T ik T o k   co m m en is   ass ig n ed   s e n ti m e n t   lab el.   T h class i f icatio n   r esu lt s   ar th en   ag g r e g ated   to   an al y ze   th d is t r ib u tio n   o f   s en t i m e n t s   w it h i n   d is cu s s io n s   r elate d   to   th h as h ta g   # P B A KUI NS A2 0 2 3 .   T h is   en ab les   t h id en t if i ca tio n   o f   s e n ti m e n t p atter n s   with i n   th d ata s et.     2 . 5 .     Resul t   s t o ra g e   a nd   v is u a liza t io n   Af ter   th s e n ti m en clas s i f ic atio n   p r o ce s s   is   co m p leted ,   th r esu lt s   ar s to r ed   an d   v is u alize d   to   f ac ilit ate  in ter p r etatio n   o f   th s en ti m e n d is tr ib u tio n .   E ac h   an al y ze d   co m m en is   s to r ed   in   C SV  f ile   co n tain i n g   t h co m m en tex t,  p o lar ity   s co r e,   s u b j ec tiv it y   s c o r e,   an d   s en ti m en c lass if ica ti o n   lab el.   T o   p r esen th s e n ti m en d is tr ib u tio n   i n   m o r in ter p r etab le  f o r m ,   th r es u lt s   ar v is u aliz ed   u s in g   g r ap h ical   r ep r esen tatio n s .   I n   t h i s   s t u d y ,   d o n u ch ar g e n er ated   u s i n g   t h Ma tp lo tlib   lib r ar y   i s   u s ed   to   d i s p la y   th e   p r o p o r tio n   o f   p o s itiv e,   n e u tr al,   an d   n eg at iv co m m e n t s   ass o c iated   w it h   t h an al y ze d   h as h ta g .   T h is   v is u aliza tio n   h elp s   p r o v id clea r   o v er v ie w   o f   s en ti m en tr en d s   in   T ik T o k   d is cu s s io n s   an d   en ab les  ea s ier   in ter p r etatio n   o f   th r e s u l ts   b y   r e s ea r ch e r s   a n d   s ta k eh o ld er s .   F u r t h er m o r e,   g r ap h ica l   v is u aliza t io n   allo w s   th id en ti f icatio n   o f   d o m i n a n s en t i m e n p atter n s   an d   p o ten tial  in d icato r s   o f   h ar m f u o r   n eg at iv o n lin i n ter ac tio n s   with i n   th ac ad e m ic  d ig i tal  en v i r o n m e n t.       3.   RE SU L T S AN D I SCU SS I O N   T h is   s ec tio n   p r esen ts   t h r esu lt s   o b tain ed   f r o m   th i m p le m e n tatio n   o f   t h p r o p o s ed   s en ti m en t   an al y s is   s y s te m   an d   d is c u s s e s   t h p er f o r m a n ce   o f   t h m o d el  in   a n al y zin g   T ik T o k   co m m en ts .   T h r es u lt s   in cl u d th ap p licatio n   i m p le m en tatio n ,   s en ti m e n c lass if ic ati o n   p er f o r m a n ce ,   s e n ti m e n an al y s is   o u tco m es,   an d   in ter p r etatio n   o f   s en t i m e n t p atter n s   f o u n d   i n   th d atase t.     3 . 1 .     Appl ica t io i m ple m ent a t io n a nd   k ey   f ea t ures   T h UI NSA   Se n ti m e n T r ac k er   ap p licatio n   w as  d ev e lo p ed   to   an al y ze   s e n ti m e n f r o m   T ik T o k   co m m e n t s   a s s o ciate d   w it h   s p ec if ic  h a s h tag s .   T h ap p licatio n   w as  i m p le m en ted   u s i n g   th P y t h o n   p r o g r am m i n g   la n g u a g w it h   t h T k in ter   f r a m e w o r k   to   p r o v id u s er - f r ien d l y   g r ap h ical  i n ter f ac e   f o r   s o cia l   m ed ia  s e n ti m e n a n al y s is .   T h r o u g h   t h is   i n ter f ac e,   u s er s   ca n   in p u a   h a s h ta g   to   r etr ie v r el ated   T ik T o k   v id eo s   an d   co m m e n ts .   T h s y s te m   t h en   p r o ce s s es  th co llected   co m m en t s ,   p er f o r m s   s e n ti m e n an al y s i s ,   an d   p r esen ts   th r es u lt s   i n   b o th   n u m er ical   an d   g r ap h ical  f o r m a ts .   F ig u r 2   illu s tr ates  th e   u s er   i n ter f ac o f   t h UI N S S en ti m e n T r ac k er   ap p licatio n ,   in cl u d i n g   t h m ai n   d ash b o ar d   as  in   Fi g u r 2 ( a)   an d   th e   s en ti m e n a n al y s is   p r o ce s s in g   i n ter f ac e   as i n   Fi g u r 2 ( b ) .     T h ap p licatio n   u tili ze s   t h T ex tB lo b   lib r ar y   to   p er f o r m   le x ico n - b ased   s e n ti m e n an a l y s is ,   w h ile  t h Sas tr a w l ib r ar y   is   u s ed   f o r   I n d o n esian   te x p r ep r o ce s s in g ,   p ar ticu lar l y   f o r   s te m m i n g   o p er atio n s .   C o m m e n t s   ex tr ac ted   f r o m   T ik T o k   v id eo s   ar f ir s t p r o ce s s ed   t h r o u g h   t h e   p r ep r o ce s s in g   p ip elin e   b ef o r s en ti m e n t p o lar it y   an d   s u b j ec tiv i t y   s co r es  ar ca lcu lated .   T h p r o ce s s ed   d ata  ar s u b s eq u e n tl y   s to r ed   in   C SV  f ile  f o r   f u r th er   an al y s is   a n d   d o cu m e n tat io n .   T o   f ac ilit ate  i n ter p r etatio n   o f   t h r esu lts ,   t h s e n ti m en d is tr i b u tio n   is   v i s u al ized   u s i n g   d o n u ch ar g en er ated   w it h   th Ma tp lo tlib   lib r ar y ,   w h ic h   d is p la y s   t h p r o p o r tio n   o f   p o s itiv e,   n eu tr al,   an d   n eg at iv s e n ti m e n ts .   T h T k in ter - b ased   in ter f ac p r o v i d es  an   in t u iti v la y o u th at  all o w s   u s er s   to   ea s il y   in ter ac w it h   t h s y s te m   an d   o b s er v th s e n ti m e n t a n al y s is   r esu lt s .     Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         N LP - d r iven   h a te  s p ee ch   d etec tio n   o n   TikTo k:   a   ca s s tu d fr o UI N   S u n a n     ( A ch ma d   Te g u h   W ib o w o )   1161       ( a)   ( b )     Fig u r e   2 .   User   in ter f ac o f   th e   p r o p o s ed   s y s te m : ( a)   ap p licatio n   d ash b o ar d   an d   ( b )   s en ti m e n t a n al y s is   p r o ce s s in g   i n ter f ac e       3 . 2 .     Alg o rit h m   c o m po ne nts   T h d ev elo p ed   a p p licatio n   in t eg r ates  s e v er al  co m p o n e n ts   t o   p er f o r m   au to m ated   s e n ti m e n an al y s i s   o n   T ik T o k   co m m e n ts .   T h s y s te m   u til izes  T k i n ter   to   p r o v id g r ap h ica u s er   i n ter f ac e   ( G UI ) ,   allo w i n g   u s er s   to   in p u t   h a s h tag s   a n d   v ie w   an al y s is   r es u lts .   T ik T o k   co m m en ts   a s s o ciate d   w i th   th e   s p ec if ied   h as h ta g   ar r etr iev ed   u s i n g   th T ik T o k A p P y th o n   lib r ar y .   Af ter   th co m m e n t s   ar co llected ,   th s y s te m   p er f o r m s   te x t   p r ep r o ce s s in g   in cl u d i n g   clea n in g   an d   s te m m i n g   u s i n g   th Sas tr a w lib r ar y   to   s tan d ar d ize  I n d o n esian - lan g u a g tex t.  Se n ti m en an al y s i s   is   th e n   co n d u cted   u s in g   t h T ex tB lo b   lib r ar y ,   w h ic h   ca lcu late s   p o lar ity   an d   s u b j ec tiv it y   s co r es  f o r   ea ch   c o m m e n t.  B ased   o n   t h p o lar it y   v a lu e,   co m m e n t s   ar class if ied   in to   p o s itiv e,   n eu tr al,   o r   n eg a tiv s en t i m e n ca teg o r ies.   T h an al y s is   r es u lt s   ar s to r ed   in   C SV  f ile  a n d   v is u alize d   u s i n g   a   d o n u ch ar g e n er ated   w it h   t h Ma tp lo tlib   lib r ar y .   T h is   v is u aliza t io n   h elp s   ill u s tr ate  th d is tr ib u tio n   o f   s en ti m e n t c ate g o r ies  w it h i n   t h an al y ze d   d ataset  an d   e n ab les   u s er s   to   ea s il y   i n ter p r et  th s e n ti m en t p atter n s   o f   T ik T o k   co m m e n ts .     3 . 3 .     Appl ica t io t esting   T o   ev alu ate  th p er f o r m an ce   o f   th p r o p o s ed   NL P - b ased   a p p r o ac h ,   s ev er al  ev al u atio n   m etr ics  w er e   u s ed ,   i n cl u d in g   ac c u r ac y ,   p r ec is io n ,   r ec all,   F1 - s co r e,   an d   co n f u s io n   m atr i x   a n al y s i s .   T h d ataset  co n s is ted   o f   1 0 , 0 0 0   T ik T o k   co m m e n t s ,   w it h   8 , 0 0 0   co m m e n t s   u s ed   f o r   tr ain i n g   a n d   2 , 0 0 0   co m m e n t s   u s ed   f o r   test i n g .   T h e   m o d el   ac h ie v ed   a n   ac c u r ac y   o f   0 . 8 5 ,   w it h   p r ec is io n   o f   0 . 8 8 ,   r ec all  o f   0 . 8 3 ,   an d   an   F1 - s co r o f   0 . 8 5 4 ,   in d icati n g   e f f ec ti v p er f o r m a n ce   in   clas s i f y i n g   s e n ti m e n i n   i n f o r m al  s o cial  m ed ia  te x t.  T h is   p er f o r m an c ca n   b attr ib u ted   to   th p r ep r o ce s s in g   tec h n iq u es   ap p lied ,   w h ic h   h e lp   n o r m a lize  s la n g ,   ab b r ev iatio n s ,   a n d   n o n - s tan d ar d   ex p r ess io n s   co m m o n l y   f o u n d   in   T ik T o k   co m m e n t s .   Fu r t h er   an al y s is   o f   th cla s s if ica tio n   r es u lt s   is   p r esen ted   u s in g   co n f u s io n   m atr ix   an d   p r ec is io n r ec all  ev a lu atio n .   T h d is tr ib u tio n   o f   t h d ataset  u s ed   f o r   m o d el  tr ai n i n g   a n d   ev al u atio n   is   ill u s tr ated   in   Fig u r 3 .     Fig u r 3 ( a)   s h o w s   th d is tr ib u tio n   o f   d ata  f o r   tr ain in g   an d   test in g ,   w h ile  Fi g u r 3 ( b )   p r esen t s   th e   class   d i s tr ib u tio n   w it h i n   t h t esti n g   d ata s et,   ill u s tr atin g   t h e   p r o p o r tio n   o f   h ate  s p ee ch   a n d   n o n - h a te  s p ee c h   co m m e n t s   u s ed   f o r   m o d el  ev a lu atio n .   T h tes d ataset  co n ta in s   1 , 0 6 0   h ate  s p ee ch   co m m e n ts   ( 5 3 %)  an d   9 4 0   n o n - h a te  s p ee ch   co m m e n ts   ( 4 7 %),   in d icatin g   t h at  t h d at aset  is   r elat iv e l y   b ala n ce d .   b alan ce d   d ataset  i s   i m p o r tan f o r   en s u r in g   t h at  t h class i f icat io n   m o d el  d o es  n o b ec o m e   b iased   to w ar d   o n p ar ticu lar   clas s   a n d   ca n   ef f ec ti v el y   d etec b o th   h at s p ee ch   an d   n o n - h ate  s p ee c h   in s ta n ce s .   T h is   d ata  s p lit  e n s u r es  th a th m o d el  can   b tr ain ed   ef f ec ti v el y   a n d   ev alu ated   u s i n g   u n s ee n   d ata  to   m ea s u r it s   g e n er aliza tio n   ca p ab ilit y .   Fig u r 4   s h o w s   t h v is u aliza tio n   o f   t h ev alu a tio n   m etr ics o f   th h ate  s p ee ch   clas s i f icatio n   m o d el   b ased   o n   th s elec ted   p er f o r m a n ce   m etr ics,  i n clu d i n g   ac cu r a c y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 157 - 1 1 6 7   1162     ( a)       ( b )     Fig u r 3 Data s et  d is tr ib u tio n   u s ed   f o r   m o d el  d ev elo p m e n t: ( a)   d is tr ib u tio n   o f   d ata  f o r   tr ain in g   a n d   test i n g   an d   ( b )   class   d is tr ib u tio n   i n   t h test in g   d ataset           Fig u r 4 Vis u al izatio n   m etr ic s   o f   h ate  s p ee ch   clas s i f icatio n   m o d el       T o   f u r th er   an al y ze   th class i f icatio n   p er f o r m an ce ,   Fi g u r 5   p r esen ts   th ev alu a tio n   r es u lts   o f   t h p r o p o s ed   h ate  s p ee ch   clas s i f ic atio n   m o d el  u s i n g   t w o   co m p le m en tar y   v is u aliza tio n s .   Fi g u r 5 ( a)   illu s tr ates  t h e   co n f u s io n   m a tr i x   o f   t h clas s i f icatio n   r esu lt s ,   w h ile  Fi g u r 5 ( b )   s h o w s   t h p r ec is io n r ec all  tr ad e - o f f   an al y s i s   o f   t h m o d el.   F ig u r 5 ( a)   p r es en ts   th e   co n f u s io n   m a tr ix   s u m m ar izi n g   th e   clas s i f icatio n   r es u lts   i n   ter m s   o f   T P ,   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         N LP - d r iven   h a te  s p ee ch   d etec tio n   o n   TikTo k:   a   ca s s tu d fr o UI N   S u n a n     ( A ch ma d   Te g u h   W ib o w o )   1163   T N,   F P ,   an d   FN.  T h m o d el  co r r ec tly   id en t if ie d   8 8 0   h ate  s p ee ch   co m m e n ts   as  T P   an d   8 2 0   n o n - h a te  s p ee ch   co m m e n t s   as  T N.   Ho w e v er ,   1 8 0   h ate  s p ee ch   co m m en t s   w er m i s clas s if ied   as  n o n - h a te  s p ee ch   o r   FN,  w h ile   1 2 0   n o n - h ate  s p ee c h   co m m en ts   w er i n co r r ec tl y   clas s if ied   as  h ate  s p ee ch   o r   FP .   T h ese  r esu lt s   in d icate   t h at   th p r o p o s ed   m o d el  is   ca p ab le  o f   co r r ec tly   id en tify i n g   th m aj o r it y   o f   in s tan ce s   in   th d ataset.   T h o cc u r r en ce   o f   f alse  n e g ati v e s   s u g g es ts   t h at  ce r tai n   h a te  s p ee ch   ex p r es s io n s   m a y   b s u b tle  o r   co n te x t - d ep en d en t,  w h ile  f alse  p o s iti v es   m a y   ar i s w h e n   n e u tr al  co m m en t s   co n tai n   w o r d s   i n ter p r eted   as  n eg ati v b y   th s e n ti m e n t le x ico n .   Fig u r 5 ( b )   illu s tr ates  th p r ec is io n r ec all  tr ad e - o f f   o f   th class i f icat io n   m o d el,   in d icatin g   a   b alan ce d   p er f o r m an ce   b et w e en   d etec ti n g   h ate  s p ee ch   a n d   m i n i m iz i n g   clas s i f icatio n   er r o r s T h ese  r esu lts   co n f ir m   th e f f ec tiv e n e s s   o f   t h p r o p o s ed   a p p r o ac h   in   id en tify i n g   h ate  s p ee ch   i n   T ik T o k   co m m e n ts .   F u r th er   er r o r   an al y s i s   b ased   o n   th co n f u s io n   m atr i x   s h o w s   t h at  t h m o d el  p r o d u ce d   3 0 0   m is c lass i f ied   co m m e n t s   ( 1 5 % o f   th test   d ataset) ,   co n s is ti n g   o f   1 8 0   f al s n e g ati v es a n d   1 2 0   f alse p o s itiv e s ,   as ill u s t r ated   in   Fig u r 6 .   T h h ig h er   n u m b er   o f   f al s e   n eg ati v es  i n d icate s   th at  ce r tain   h ate  s p ee c h   ex p r ess io n s   w er n o d etec ted   b y   th s y s te m .   T h is   l i m itat io n   m a y   o cc u r   d u to   th co m p le x it y   o f   s o cial  m ed ia  lan g u a g e,   in cl u d in g   in f o r m al  ex p r es s io n s ,   s lan g ,   s ar ca s m ,   o r   co n tex t u al  m ea n i n g s   t h at  ar d if f ic u lt  to   ca p tu r u s i n g   lex ico n - b ased   s en ti m e n a n al y s i s   m et h o d s .   Me an w h ile,   f alse   p o s iti v es  o c cu r   w h en   n e u tr al  o r   i n f o r m al   co m m en t s   co n tain   w o r d s   th a t a r in ter p r eted   as n eg ati v b y   th s en ti m e n t le x ic o n .           ( a)   ( b )     Fig u r 5 .   P er f o r m a n ce   ev al u at io n   o f   th p r o p o s ed   h ate  s p ee ch   clas s if icatio n   m o d el:  ( a)   co n f u s io n   m atr i x   s h o w i n g   t h cla s s i f icatio n   r es u lts   o f   th p r o p o s ed   m o d el  an d   ( b )   p r ec is io n r ec all  tr ad e - o f f   an al y s is   o f   t h p r o p o s ed   h ate  s p ee ch   clas s if ic atio n   m o d el           Fig u r 6 .   E r r o r   an al y s i s   m is cl ass i f icatio n   b r ea k d o w n   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 157 - 1 1 6 7   1164   3 . 4 .     Senti m ent   a na ly s is   re s u lt   T ab le  1   p r esen ts   s a m p le  o f   T ik T o k   co m m en t s   alo n g   with   t h eir   co r r esp o n d in g   p o lar i t y   s co r es,  s u b j ec tiv it y   v al u es,  an d   s en ti m en class i f icatio n   r esu lt s .   T h T ab le   1   illu s tr ates  h o w   t h p r o p o s ed   s en ti m e n an al y s is   s y s te m   as s i g n s   p o lar it y   a n d   s u b j ec tiv it y   s co r es  to   ea ch   co m m en an d   s u b s eq u en tl y   clas s if ies  t h e   s en ti m e n in to   p o s iti v e,   n eu tr al,   o r   n eg ati v ca teg o r ies.   B ased   o n   th o v er all  an al y s is   o f   th d ataset,   th e   m aj o r ity   o f   co m m e n t s   ass o ci ated   w it h   th h a s h tag   # P B AKUI NS A 2 0 2 3   w er clas s i f ie d   as  n eu tr al,   w h il 3 1 . 8 o f   th co m m e n t s   w er id en ti f ied   as  p o s itiv an d   o n l y   s m al p r o p o r tio n   o f   co m m e n ts   w er class i f ied   as  n e g ati v e T h ex a m p le s   s h o w n   in   T ab le  1   illu s tr ate  h o w   t h s e n ti m e n cla s s i f icatio n   p r o ce s s   w o r k s   f o r   in d iv id u al  co m m en ts .   T h ese  r esu lt s   in d icate   th at  d is c u s s io n s   r elate d   to   th h ash ta g   ten d   to   g en er ate  n eu tr al  o r   s u p p o r tiv i n ter ac tio n s   a m o n g   u s er s .   T h p r ed o m i n an ce   o f   n eu tr al  co m m en t s   s u g g e s ts   t h at  th co n v er s atio n   s u r r o u n d in g   th h as h tag   i s   la r g el y   i n f o r m atio n a o r   co n v er s atio n al  r ath er   t h an   e m o tio n a ll y   p o lar ized .   T h is   f i n d in g   in d icate s   t h at  s e n ti m e n p o lar it y   alo n d o es  n o al wa y s   d ir ec tl y   co r r esp o n d   to   h at s p ee ch ,   as  ce r tain   h ar m f u l e x p r es s io n s   m a y   ap p ea r   n eu tr al  d u to   th l i m itatio n s   o f   lex ico n - b ased   s en t i m e n t a n al y s i s .       T ab le  1 .   Sam p le  s e n ti m e n t a n al y s i s   r es u lts   f r o m   T ik T o k   co m m en t s   as s o ciate d   w i th   t h h a s h ta g   # P B A KUI NS A 2 0 2 3   O r i g i n a l   c o mm e n t   En g l i sh   t r a n sl a t i o n   P o l a r i t y   S u b j e c t i v i t y   S e n t i me n t   f a r a b i 1 7 0 5   a d e k   m u   F a r a b i 1 7 0 5 ,   i s t h a t   y o u r   y o u n g e r   si b l i n g ?   0 . 0   0 . 0   N e u t r a l   A l h a md u l i l l a h   d a p e t   T h a n k   G o d ,   I   g o t   i t   0 . 0   0 . 0   N e u t r a l   sap a   a k u   d o n g   k a k   P l e a se   sa y   h i   t o   me   0 . 0   0 . 0   N e u t r a l   c a k e p   a m a t   k a k   d e k a   Y o u   l o o k   v e r y   b e a u t i f u l ,   D e k a   0 . 6 5   1 . 0   P o si t i v e   a h a i i i   t i mse s e   n d e   n g a r e p   i k u   w k w k w   H a h a ,   t h a t t h e   c a m p a i g n   t e a s t a n d i n g   i n   f r o n t   0 . 0   0 . 0   N e u t r a l   w e l l l   W e l l . . .   0 . 0   0 . 0   N e u t r a l   h a l a h ² re me k   T h a t s j u s t   a n   e x a g g e r a t i o n   0 . 0   0 . 0   N e u t r a l   g o o d   p e o p l e   G o o d   p e o p l e   0 . 7   0 . 6   P o si t i v e   k a l o   f y p   d a p e t   a p a   k a k   W h a t   d o   y o u   g e t   i f   t h i s re a c h e s t h e   f o r   y o u   p a g e   ( F Y P ) ?   0 . 0   0 . 0   N e u t r a l   b u t u h   j a s a   v i r a l   k a k   D o   y o u   n e e d   a   so c i a l   me d i a   p r o mo t i o n   se r v i c e ?   0 . 0   0 . 0   N e u t r a l   K e a man a n   t i k   b a n y a n g a n   g a   k e t o k   b l a s   T h e   se c u r i t y   st a f f   i n   t h e   b a c k g r o u n d   a r e   n o t   v i si b l e   a t   a l l   0 . 5   0 . 5   P o si t i v e   o h   i k i   i b n u   O h ,   t h i i s I b n u   0 . 0   0 . 0   N e u t r a l   G i n i   k a n   e n a k k k   T h i s i s   mu c h   b e t t e r   0 . 7   0 . 6   P o si t i v e   z a h w a _ mac h r u n n i s a   l a h   si t i   se   f a k u l t a sama   k m u   Z a h w a _ M a c h r u n n i sa ,   S i t i   i s fr o t h e   same   f a c u l t y   a s y o u   0 . 0   0 . 1 2 5   N e u t r a l   se man g a t   p b a k   K e e p   u p   t h e   s p i r i t !   0 . 0   0 . 0   N e u t r a l   M a sP e n g g g g g g   e mn g   b o w l e h h   W o w ,   t h a t s re a l l y   i mp r e ssi v e !   0 . 0   0 . 0   N e u t r a l   i z i n   p o st   sg   b o l e h   k a k   M a y   I   r e p o st   t h i s   o n   my   st o r y ?   0 . 5   0 . 5   P o si t i v e   k i w   k i w   C h e e r i n g / f l i r t i n g   e x p r e ssi o n   ( w o o h o o ! )   0 . 0   0 . 0   N e u t r a l   l u c u u   S o   c u t e !   0 . 2 5   1 . 0   P o si t i v e   i h h h   so k   c e n t i l   b a n g e t   a k u   H a h a ,   I m b e i n g   so   p l a y f u l / f l i r t y   0 . 2   0 . 2   P o si t i v e       3 . 5 .     Dis cus s io n   T h e   o b tain ed   r esu lts   i n d icate   th at  le x ico n - b ased   s e n ti m e n an al y s is   is   e f f ec ti v in   ca p t u r i n g   g e n er al  s en ti m e n tr e n d s   i n   s o cial  m ed ia  d ata  b u h as   li m itatio n s   in   d etec ti n g   i m p lic it  o r   co n t ex t - d ep en d en h ate   s p ee ch   ex p r ess io n s .   T h p r o p o s ed   ap p r o ac h   ac h iev ed   an   ac cu r ac y   o f   8 5 %,  in d icatin g   th at   th m o d el  is   ab le  to   co r r ec tly   cla s s i f y   t h m aj o r it y   o f   co m m e n ts .   De s p ite  t h ese  p r o m is i n g   r es u lts ,   s e v er al  ch alle n g es  w er e   o b s er v ed   d u r in g   t h an al y s i s   o f   T ik T o k   co m m e n ts .   So cial  m ed ia  lan g u a g o f te n   co n tai n s   a m b ig u it y ,   s la n g ,   an d   in f o r m al  e x p r ess io n s ,   w h ich   ca n   r ed u ce   th e f f ec ti v en ess   o f   le x ico n - b ased   s e n ti m e n an a l y s is   m et h o d s   [ 22] .   I n   ad d itio n ,   h ate  s p ee ch   m a y   d ep en d   h ea v i l y   o n   co n t ex tu a in ter p r etatio n ,   in c lu d i n g   s ar ca s m ,   cu lt u r al   r ef er en ce s ,   o r   i m p licit  m ea n i n g s   t h at  ar d if f icu lt to   ca p tu r u s i n g   s i m p le  lex ica l a p p r o ac h es.   T ex tB lo b   p r o v id es  an   ef f icie n an d   p r ac tical  ap p r o ac h   f o r   p r o to ty p d ev elo p m e n b y   e n ab lin g   t h e   ca lcu latio n   o f   p o lar it y   a n d   s u b j ec tiv it y   s co r es  f o r   s e n ti m en clas s if icatio n .   Ho wev er ,   lex ico n - b ased   ap p r o ac h es  h av li m itatio n s   in   ca p tu r in g   d ee p er   lin g u i s tic  n u a n ce s .   P r ev io u s   s t u d ie s   h a v s h o w n   th a tr an s f o r m er - b a s ed   m o d els  s u ch   as  b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T )   ca n   p r o v id i m p r o v ed   p er f o r m a n c in   s e n ti m en t   an d   h ate   s p ee c h   d etec tio n   b y   ca p t u r in g   co n t ex tu a r elatio n s h ip s   w it h i n   te x [ 23] [ 27] .   Vis u aliza tio n   o f   s en ti m en t   d is tr ib u t i o n s   al s o   s u p p o r ts   b e tter   i n ter p r etatio n   o f   s o cial   m ed ia  d ata  b y   ill u s tr at in g   s en ti m e n p atter n s   a n d   in ter ac tio n   tr en d s   w i th in   t h d a taset  [ 28] .   T h ese  v is u aliza t io n s   h elp   r esear ch er s   an d   s ta k eh o ld er s   q u ic k l y   u n d er s tan d   t h d y n a m ic s   o f   u s er   en g a g e m en o n   s o cial  m ed ia  p latf o r m s .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l         N LP - d r iven   h a te  s p ee ch   d etec tio n   o n   TikTo k:   a   ca s s tu d fr o UI N   S u n a n     ( A ch ma d   Te g u h   W ib o w o )   1165   Fu t u r r esear ch   m a y   f o c u s   o n   in te g r ati n g   ad v a n ce d   d ee p   lear n in g   m o d els,  e x p an d i n g   d a tasets ,   a n d   i m p r o v i n g   p r ep r o ce s s in g   tech n iq u e s   to   b etter   h an d le  s lan g ,   s ar ca s m ,   an d   co n te x t u al  lan g u a g e.   I n   ad d itio n ,   m u lti m o d al  an al y s is ,   w h ic h   co m b in e s   tex t u al,   v i s u al,   an d   au d io   in f o r m atio n ,   m a y   p r o v id m o r e   co m p r e h en s iv e   in s i g h ts   i n to   s o cial  m ed ia  co m m u n icatio n   d y n a m ic s   [ 29] .   Ov er all,   th e   p r o p o s ed   s y s te m   d em o n s tr ate s   t h p o ten tial  o f   NL P - b ased   ap p r o ac h es  f o r   m o n ito r in g   s e n ti m e n p atter n s   i n   T ik T o k   co m m e n t s .   A lt h o u g h   t h cu r r en s y s te m   h as  ce r tai n   li m itat io n s ,   t h f i n d in g s   p r o v id u s e f u f o u n d atio n   f o r   d ev elo p in g   au to m ated   to o ls   t h at  s u p p o r d ig ital  s a f et y   a n d   r esp o n s i b le  s o cial  m ed ia  en g ag e m e n w it h i n   ac ad e m ic   co m m u n itie s   [ 30] .       4.   CO NCLU SI O N   T h is   s t u d y   d e v elo p ed   NL P - b ased   s y s te m   to   an al y ze   s en ti m e n a n d   d etec p o ten tia h ate  s p ee c h   p atter n s   in   T ik T o k   c o m m e n ts   ass o ciate d   w it h   th h a s h t ag   # P B A KUI NS A 2 0 2 3 .   T h e   p r o p o s ed   s y s te m   in te g r ates  T ik T o k   d ata  r etr ie v al,   I n d o n esia n   te x p r ep r o ce s s i n g   u s i n g   th Sa s tr a w lib r ar y ,   a n d   s en ti m e n t   an al y s is   u s i n g   T ex tB lo b   to   au to m a ticall y   c lass if y   u s er   co m m en ts .   T h e v alu a tio n   r es u lts   s h o w   th a th m o d el   ac h iev ed   a n   ac cu r ac y   o f   0 . 8 5 ,   w it h   p r ec is io n   o f   0 . 8 8 ,   r ec a ll  o f   0 . 8 3 ,   an d   an   F1 - s co r o f   0 . 8 5 4 ,   in d icatin g   r eliab le  p er f o r m an ce   in   s e n ti m en class i f icatio n .   T h an aly s is   also   r ev ea ls   th at  m o s co m m en ts   w er n eu tr al,   wh ile  3 1 . 8 w er p o s itiv e,   an d   o n ly   s m a ll  p r o p o r tio n   o f   c o m m e n t s   w er class if ied   as  n e g ati v e .   Ov er all,   th e   r esu lt s   d e m o n s tr ate  t h p o ten t ial  o f   N L P - b ased   ap p r o ac h es  f o r   an al y zi n g   s en ti m en t   p atter n s   i n   s o cial  m ed ia   d is cu s s io n s   an d   s u p p o r tin g   s a f er   d ig ital  c o m m u n icatio n   w i t h in   ac ad e m ic  co m m u n i ties .   F u tu r r esear c h   m a y   i m p r o v clas s i f icatio n   p er f o r m an ce   b y   i n co r p o r atin g   ad v a n ce d   tr an s f o r m er - b ased   m o d e ls   an d   e x p an d in g   t h e   d ataset  to   b etter   ca p tu r lin g u i s tic  v ar iatio n s   i n   s o cial  m ed ia  co n ten t.       F UNDIN G   I NF O RM A T I O   T h is   r esear ch   w a s   s u p p o r ted   b y   r esear c h   g r an t   u n d er   th e   N atio n al  S tr ateg ic   St u d y   R esear ch   C lu s ter   f r o m   UI S u n a n   Am p el  S u r ab a y a,   w h ic h   p r o v id ed   f u n d in g   a n d   f ac ili ties   f o r   th is   s tu d y .       RE F E R E NC E   [ 1]   E.   A ï me u r ,   S .   A mr i ,   a n d   G .   B r a ssar d ,   F a k e   n e w s,  d i si n f o r mat i o n   a n d   mi s i n f o r mat i o n   i n   so c i a l   me d i a :   a   r e v i e w ,   S o c i a l   N e t w o r k   An a l y si a n d   M i n i n g ,   v o l .   1 3 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 3 2 7 8 - 0 2 3 - 0 1 0 2 8 - 5.   [ 2]   R .   L e v y ,   S o c i a l   M e d i a ,   N e w C o n su mp t i o n ,   a n d   P o l a r i z a t i o n :   Ev i d e n c e   f r o a   F i e l d   Ex p e r i me n t ,   Am e r i c a n   E c o n o m i c   R e v i e w v o l .   1 1 1 ,   n o .   3 ,   p p .   8 3 1 8 7 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 2 5 7 / A ER . 2 0 1 9 1 7 7 7 .   [ 3]   A .   G h e r man d i   e t   a l . ,   S o c i a l   me d i a   d a t a   f o r   e n v i r o n me n t a l   su st a i n a b i l i t y :   A   c r i t i c a l   r e v i e w   o f   o p p o r t u n i t i e s,  t h r e a t s,  a n d   e t h i c a l   u se ,   O n e   Ea r t h ,   v o l .   6 ,   n o .   3 ,   p p .   2 3 6 2 5 0 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . o n e e a r . 2 0 2 3 . 0 2 . 0 0 8 .   [ 4]   A .   M a t a mo r o s - F e r n á n d e z   a n d   J.  F a r k a s,  R a c i sm ,   H a t e   S p e e c h ,   a n d   S o c i a l   M e d i a :   A   S y st e mat i c   R e v i e w   a n d   C r i t i q u e ,   T e l e v i s i o n   a n d   N e w   Me d i a ,   v o l .   2 2 ,   n o .   2 ,   p p .   2 0 5 2 2 4 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 7 7 / 1 5 2 7 4 7 6 4 2 0 9 8 2 2 3 0 .   [ 5]   M .   S u b r a ma n i a n ,   V .   E a sw a r a mo o r t h y   S a t h i sk u m a r ,   G .   D e e p a l a k sh m i ,   J .   C h o ,   a n d   G .   M a n i k a n d a n ,   A   su r v e y   o n   h a t e   sp e e c h   d e t e c t i o n   a n d   se n t i me n t   a n a l y si u si n g   mac h i n e   l e a r n i n g   a n d   d e e p   l e a r n i n g   mo d e l s,”   A l e x a n d r i a   E n g i n e e r i n g   J o u rn a l ,   v o l .   8 0 ,   p p .   1 1 0 1 2 1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . a e j . 2 0 2 3 . 0 8 . 0 3 8 .   [ 6]   S .   B a z z a z   A b k e n a r ,   M .   H a g h i   K a sh a n i ,   E.   M a h d i p o u r ,   a n d   S .   M .   Jame i i ,   B i g   d a t a   a n a l y t i c me e t so c i a l   me d i a :   A   s y st e mat i c   r e v i e w   o f   t e c h n i q u e s,  o p e n   i ss u e s,  a n d   f u t u r e   d i r e c t i o n s,   T e l e m a t i c a n d   I n f o rm a t i c s ,   v o l .   5 7 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . t e l e . 2 0 2 0 . 1 0 1 5 1 7 .   [ 7]   N .   H a sa n a t i ,   M .   E.   I b r a h i m,  Q .   A i n i ,   E.   R u s t a m a j i ,   N u r b o j a t m i k o ,   a n d   Z u l f i a n d r i ,   S o c i a l   C o mm e r c e   S e n t i me n t   A n a l y si o n   Y o u T u b e   C o mm e n t w i t h   L e x i c o n - B a se d   a n d   L o n g   S h o r t - T e r M e mo r y   M e t h o d s,”   i n   2 0 2 4   1 2 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C y b e a n d   I T   S e rv i c e   M a n a g e m e n t ,   C I T S 2 0 2 4 ,   2 0 2 4 .   d o i :   1 0 . 1 1 0 9 / C I T S M 6 4 1 0 3 . 2 0 2 4 . 1 0 7 7 5 8 1 7 .   [ 8]   M .   M h a l l a ,   J.  Y u n ,   a n d   A .   N a si r i ,   V i d e o - S h a r i n g   A p p B u si n e ss  M o d e l s:   T i k T o k   C a se   S t u d y ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   a n d   T e c h n o l o g y   Ma n a g e m e n t ,   v o l .   1 7 ,   n o .   0 7 ,   N o v .   2 0 2 0 ,   d o i :   1 0 . 1 1 4 2 / S 0 2 1 9 8 7 7 0 2 0 5 0 0 5 0 9 .   [ 9]   H .   H a ss a n i ,   C .   B e n e k i ,   S .   U n g e r ,   M .   T .   M a z i n a n i ,   a n d   M .   R .   Y e g a n e g i ,   T e x t   M i n i n g   i n   B i g   D a t a   A n a l y t i c s,”   Bi g   D a t a   a n d   C o g n i t i v e   C o m p u t i n g ,   v o l .   4 ,   n o .   1 ,   Ja n .   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / b d c c 4 0 1 0 0 0 1 .   [ 10]   G .   K .   W a d h w a n i ,   P .   K .   V a r sh n e y ,   A .   G u p t a ,   a n d   S .   K u m a r ,   S e n t i me n t   A n a l y si a n d   C o m p r e h e n si v e   Ev a l u a t i o n   o f   S u p e r v i se d   M a c h i n e   L e a r n i n g   M o d e l U si n g   T w i t t e r   D a t a   o n   R u ss i a U k r a i n e   W a r ,   S N   C o m p u t e S c i e n c e ,   v o l .   4 ,   n o .   4 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 4 2 9 7 9 - 0 2 3 - 0 1 7 9 0 - 5.   [ 11]   Y .   Q i   a n d   Z .   S h a b r i n a ,   S e n t i me n t   a n a l y si u si n g   T w i t t e r   d a t a :   a   c o mp a r a t i v e   a p p l i c a t i o n   o f   l e x i c o n -   a n d   ma c h i n e - l e a r n i n g - b a se d   a p p r o a c h ,   S o c i a l   N e t w o r k   A n a l y s i a n d   M i n i n g ,   v o l .   1 3 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 3 2 7 8 - 0 2 3 - 0 1 0 3 0 - x.   [ 12]   C .   M o n t a g ,   H .   Y a n g ,   a n d   J.  D .   El h a i ,   O n   t h e   P sy c h o l o g y   o f   T i k T o k   U se :   A   F i r st   G l i mp se   F r o Emp i r i c a l   F i n d i n g s,”   Fro n t i e r s   i n   Pu b l i c   H e a l t h ,   v o l .   9 ,   2 0 2 1 ,   d o i :   1 0 . 3 3 8 9 / f p u b h . 2 0 2 1 . 6 4 1 6 7 3 .   [ 13]   S .   X u   e t   a l . ,   R u mo r   d e t e c t i o n   o n   s o c i a l   me d i a   u s i n g   h i e r a r c h i c a l l y   a g g r e g a t e d   f e a t u r e   v i a   g r a p h   n e u r a l   n e t w o r k s,”   A p p l i e d   I n t e l l i g e n c e ,   v o l .   5 3 ,   n o .   3 ,   p p .   3 1 3 6 3 1 4 9 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 2 2 - 0 3 5 9 2 - 3.   [ 14]   J.  C h a ,   S .   K i m,  a n d   E .   P a r k ,   A   l e x i c o n - b a se d   a p p r o a c h   t o   e x a m i n e   d e p r e ssi o n   d e t e c t i o n   i n   so c i a l   me d i a :   t h e   c a se   o f   T w i t t e r   a n d   u n i v e r si t y   c o mm u n i t y ,   H u m a n i t i e a n d   S o c i a l   S c i e n c e C o m m u n i c a t i o n s ,   v o l .   9 ,   n o .   1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 5 7 / s 4 1 5 9 9 - 0 2 2 - 0 1 3 1 3 - 2.   [ 15]   Y .   R .   P r a y o g i ,   A .   R .   B a r a k b a h ,   A .   A .   R i p a i ,   a n d   A .   F a r i z a ,   A u t o mat i c   T r a n sl a t i o n   o f   I n d o n e si a n   S i g n   L a n g u a g e   B a se d   o n   M u l t i mo d a l   T e c h n o l o g y   R e c o g n i t i o n ,   i n   2 0 2 5   I n t e rn a t i o n a l   El e c t r o n i c S y m p o s i u m ,   I ES   2 0 2 5 ,   2 0 2 5 ,   p p .   9 2 2 9 2 7 .   d o i :   1 0 . 1 1 0 9 / I ES6 7 1 8 4 . 2 0 2 5 . 1 1 1 6 1 6 3 8 .   [ 16]   N .   C .   D a n g ,   M .   N .   M o r e n o - G a r c í a ,   a n d   F .   D e   l a   P r i e t a ,   S e n t i me n t   a n a l y si b a se d   o n   d e e p   l e a r n i n g :   A   c o m p a r a t i v e   s t u d y ,   El e c t r o n i c s   ( S w i t zer l a n d ) ,   v o l .   9 ,   n o .   3 ,   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s 9 0 3 0 4 8 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   1693 - 6930   T E L KOM NI K A   T elec o m m u n   C o m p u t E C o n tr o l ,   Vo l.  24 ,   No .   4 A u g u s 20 26 1 157 - 1 1 6 7   1166   [ 17]   D .   A .   K r i st i y a n t i ,   S .   A .   S a n j a y a ,   V .   C .   T j o k r o ,   a n d   J.  S u h a l i ,   D e a l i n g   i mb a l a n c e   d a t a se t   p r o b l e i n   se n t i me n t   a n a l y si o f   r e c e ssi o n   i n   I n d o n e si a ,   I AE S   I n t e r n a t i o n a l   J o u r n a l   o f   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 3 ,   n o .   2 ,   p p .   2 0 5 8 2 0 7 0 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 3 . i 2 . p p 2 0 6 0 - 2 0 7 2 .   [ 18]   M .   N .   M a r i a ,   T .   K a b i r ,   S .   A k t e r ,   a n d   R .   K h a n ,   S e n t i me n t   A n a l y si u si n g   N L P   L i b r a r i e a n d   M a c h i n e   L e a r n i n g ,   i n   8 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   I - S MA C   ( I o T   i n   S o c i a l ,   Mo b i l e ,   An a l y t i c s   a n d   C l o u d ) ,   I - S MA C   2 0 2 4   -   Pr o c e e d i n g s ,   2 0 2 4 ,   p p .   9 1 1 9 1 6 .   d o i :   1 0 . 1 1 0 9 / I - S M A C 6 1 8 5 8 . 2 0 2 4 . 1 0 7 1 4 6 5 9 .   [ 19]   Q .   L i u   a n d   H .   S o n ,   M e t h o d f o r   a g g r e g a t i n g   i n v e st o r   se n t i me n t   f r o so c i a l   me d i a ,   H u m a n i t i e a n d   S o c i a l   S c i e n c e s   C o m m u n i c a t i o n s ,   v o l .   1 1 ,   n o .   1 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 5 7 / s4 1 5 9 9 - 0 2 4 - 0 3 4 3 4 - 2.   [ 20]   T .   A n d e r so n ,   S .   S a r k a r ,   a n d   R .   K e l l e y ,   A n a l y z i n g   p u b l i c   se n t i me n t   o n   s u s t a i n a b i l i t y :   A   c o mp r e h e n si v e   r e v i e w   a n d   a p p l i c a t i o n   o f   se n t i me n t   a n a l y si s t e c h n i q u e s,”   N a t u r a l   L a n g u a g e   Pr o c e ss i n g   J o u r n a l ,   v o l .   8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . n l p . 2 0 2 4 . 1 0 0 0 9 7 .   [ 21]   S .   S a t h y a n a r a y a n a n ,   C o n f u si o n   M a t r i x - B a se d   P e r f o r man c e   Ev a l u a t i o n   M e t r i c s,”   A f ri c a n   J o u r n a l   o f   B i o m e d i c a l   Re s e a r c h ,   p p .   4 0 2 3 4 0 3 1 ,   2 0 2 4 ,   d o i :   1 0 . 5 3 5 5 5 / a j b r . v 2 7 i 4 s . 4 3 4 5 .   [ 22]   B .   T a h a y n a ,   R .   K .   A y y a samy ,   R .   A k b a r ,   N .   F .   B .   S u b r i ,   a n d   A .   S a n g o d i a h ,   L e x i c o n - b a se d   N o n - C o mp o si t i o n a l   M u l t i w o r d   A u g me n t a t i o n   E n r i c h i n g   T w e e t   S e n t i me n t   A n a l y si s,”   i n   2 0 2 2   3 r d   I n t e r n a t i o n a l   C o n f e re n c e   o n   Art i f i c i a l   I n t e l l i g e n c e   a n d   D a t a   S c i e n c e s:   C h a m p i o n i n g   I n n o v a t i o n s   i n   Ar t i f i c i a l   I n t e l l i g e n c e   a n d   D a t a   S c i e n c e f o S u st a i n a b l e   F u t u r e ,   Ai D A S   2 0 2 2   -   Pro c e e d i n g s ,   2 0 2 2 ,   p p .   1 9 2 4 .   d o i :   1 0 . 1 1 0 9 / A i D A S 5 6 8 9 0 . 2 0 2 2 . 9 9 1 8 7 4 9 .   [ 23]   B .   M a t h e w ,   P .   S a h a ,   S .   M .   Y i ma m,  C .   B i e man n ,   P .   G o y a l ,   a n d   A .   M u k h e r j e e ,   H a t e X p l a i n :   A   B e n c h mark   D a t a se t   f o r   Ex p l a i n a b l e   H a t e   S p e e c h   D e t e c t i o n ,   i n   3 5 t h   AA AI   C o n f e re n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e ,   AAAI  2 0 2 1 ,   2 0 2 1 ,   v o l .   1 7 A ,   p p .   1 4 8 6 7 1 4 8 7 5 .   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 5 i 1 7 . 1 7 7 4 5 .   [ 24]   R .   H e r n a n d e z   U r b a n o ,   J.   U y   A j e r o ,   A .   L e g a sp i   A n g e l e s,  M .   N .   H a c a r   Q u i n t o s,   J.   M .   R e g a l a d o   I mp e r i a l ,   a n d   R .   L l a b a n e s   R o d r i g u e z ,   A   B ER T - b a se d   H a t e   S p e e c h   C l a ss i f i e r   f r o m T r a n scri b e d   O n l i n e   S h o r t - F o r m V i d e o s,”   A C I n t e rn a t i o n a l   C o n f e r e n c e   Pro c e e d i n g   S e r i e s ,   p p .   1 8 6 1 9 2 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 4 5 / 3 4 8 5 7 6 8 . 3 4 8 5 8 0 6 .   [ 25]   R .   R a u t   a n d   F .   S p e z z a n o ,   En h a n c i n g   h a t e   sp e e c h   d e t e c t i o n   w i t h   u se r   c h a r a c t e r i st i c s,   I n t e r n a t i o n a l   J o u r n a l   o f   D a t a   S c i e n c e   a n d   An a l y t i c s ,   v o l .   1 8 ,   n o .   4 ,   p p .   4 4 5 4 5 5 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 4 1 0 6 0 - 0 2 3 - 0 0 4 3 7 - 1.   [ 26]   R .   Q a si m ,   W .   H .   B a n g y a l ,   M .   A .   A l q a r n i ,   a n d   A .   A l i   A l maz r o i ,   A   F i n e - T u n e d   B ER T - B a se d   T r a n sf e r   L e a r n i n g   A p p r o a c h   f o r   T e x t   C l a ssi f i c a t i o n ,   Jo u r n a l   o f   H e a l t h c a re   En g i n e e r i n g ,   v o l .   2 0 2 2 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 5 5 / 2 0 2 2 / 3 4 9 8 1 2 3 .   [ 27]   M .   S i n g h ,   A .   K .   Jak h a r ,   a n d   S .   P a n d e y ,   S e n t i me n t   a n a l y si o n   t h e   i m p a c t   o f   c o r o n a v i r u i n   so c i a l   l i f e   u si n g   t h e   B E R T   mo d e l ,   S o c i a l   N e t w o r k   A n a l y si a n d   M i n i n g ,   v o l .   1 1 ,   n o .   1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s1 3 2 7 8 - 021 - 0 0 7 3 7 - z.   [ 28]   O .   A r a q u e ,   I .   C o r c u e r a - P l a t a s,  J.  F .   S á n c h e z - R a d a ,   a n d   C .   A .   I g l e si a s,  En h a n c i n g   d e e p   l e a r n i n g   se n t i me n t   a n a l y s i s w i t h   e n se mb l e   t e c h n i q u e i n   so c i a l   a p p l i c a t i o n s,”   Ex p e r t   S y s t e m s   w i t h   Ap p l i c a t i o n s ,   v o l .   7 7 ,   p p .   2 3 6 2 4 6 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . e sw a . 2 0 1 7 . 0 2 . 0 0 2 .   [ 29]   H .   B e y a r i ,   T h e   R e l a t i o n s h i p   b e t w e e n   S o c i a l   M e d i a   a n d   t h e   I n c r e a se   i n   M e n t a l   H e a l t h   P r o b l e ms,”   I n t e r n a t i o n a l   J o u r n a l   o f   En v i r o n m e n t a l   R e se a rc h   a n d   P u b l i c   H e a l t h ,   v o l .   2 0 ,   n o .   3 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / i j e r p h 2 0 0 3 2 3 8 3 .   [ 30]   S .   A .   H a b i b i   a n d   L .   S a l i m,  S t a t i c   v s.  d y n a mi c   me t h o d o f   d e l i v e r y   f o r   sci e n c e   c o mm u n i c a t i o n :   A   c r i t i c a l   a n a l y si o f   u se r   e n g a g e me n t   w i t h   sc i e n c e   o n   so c i a l   m e d i a ,   PL o S   O N E ,   v o l .   1 6 ,   n o .   3   M a r c h   2 0 2 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 2 4 8 5 0 7 .       B I O G RAP H I E S O F   AUTH O RS       Ac h m a d   Te g u h   W i b o w o           is  a n   a ss istan p ro f e s so in   t h e   De p a rtm e n o In f o rm a ti o n   S y ste m s,  F a c u lt y   o f   S c ien c e   a n d   T e c h n o lo g y ,   UI S u n a n   Am p e S u ra b a y a ,   In d o n e sia .   He   is  a lso   i n v o lv e d   in   m a n a g in g   in f o rm a ti o n   tec h n o lo g y   in f ra stru c tu re   a th e   u n iv e rsity   a n d   h a c o n tri b u ted   to   se v e r a re se a rc h   p ro jec ts  re late d   t o   d ig it a tra n sf o rm a ti o n   a n d   in f o rm a ti o n   s y ste m d e v e lo p m e n t.   His  re se a rc h   in tere sts  in c l u d e   c o m p u ter  v isio n ,   d e e p   lea rn in g   a lg o rit h m s,  b lo c k c h a in   tec h n o l o g y ,   a n d   in f o rm a ti o n   s y ste m s.  He   c a n   b e   c o n tac ted   a t   e m a il a tw@u in sa . a c . id .         Ar is  Fa n a n i           is  a   lec tu re in   t h e   De p a rtm e n o f   M a th e m a ti c s,  F a c u lt y   o f   S c ien c e   a n d   T e c h n o lo g y ,   UIN   S u n a n   Am p e S u ra b a y a ,   In d o n e sia .   His  re se a rc h   f o c u se s   o n   c o m p u tatio n a a n d   a p p li e d   m a th e m a ti c s,  p a rti c u larly   in   d ig it a im a g e   p ro c e ss in g ,   in f o rm a ti o n   re tri e v a l,   a n d   d a ta   m in in g .   He   h a c o n tri b u ted   to   se v e ra sc ien ti f ic  p u b li c a ti o n re late d   t o   m a th e m a ti c a m o d e li n g   a n d   d a ta an a ly sis.  He   c a n   b e   c o n tac ted   a e m a il a risf a @u in sa . a c . id .       Evaluation Warning : The document was created with Spire.PDF for Python.