I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 4 ,   No .   5 ,   Octo b er   2 0 2 5 ,   p p .   4 2 1 1 ~ 4 2 2 5   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 5 . p p 4 2 1 1 - 4 2 2 5          4211     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Exploring  so cia media  sentime nt  pa tt erns  for impr o v ed  cy berbully ing  det ection       W a e l   M .   S .   Y a f o o z 1 A bd ul s a ma d   E b r a h i Y a h y a 2 ,   A bd u ll a h   A ls a e ed i 1 ,   R e y a d h   A l lu h a i b i 3 ,     F a is a l J a m il 4 ,   M a hm o ud   Sa la heldi n E ls a y ed 2   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   C o l l e g e   o f   C o mp u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   Ta i b a h   U n i v e r si t y ,   M e d i n a ,   S a u d i   A r a b i a   2 F a c u l t y   o f   C o mp u t i n g   a n d   I n f o r mat i o n   Te c h n o l o g y ,   N o r t h e r n   B o r d e r   U n i v e r si t y ,   R a f h a ,   S a u d i   A r a b i a   3 D e p a r t me n t   o f   A r t i f i c i a l   I n t e l l i g e n c e   a n d   D a t a   S c i e n c e ,   C o l l e g e   o f   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g ,   Ta i b a h   U n i v e r s i t y ,     M e d i n a ,   S a u d i   A r a b i a   4 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   S c h o o l   o f   C o m p u t i n g ,   E n g i n e e r i n g   a n d   I n t e l l i g e n t   S y s t e ms ,   U n i v e r si t y   o f   U l st e r ,     B e l f a st ,   U n i t e d   K i n g d o m       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 3 ,   2 0 2 4   R ev is ed   J u l 5 ,   2 0 2 5   Acc ep ted   Au g   6 ,   2 0 2 5       Ca se o o n li n e   b u ll y in g   a n d   a g g re ss iv e   b e h a v i o rs  d irec ted   a so c ial  m e d ia   u se rs  h a v e   su r g e d   i n   re c e n y e a rs.  Th e se   b e h a v i o rs  h a v e   h a d   n e g a ti v e   imp a c ts  o n   v ictims   fro m   a   wid e   r a n g e   o d e m o g ra p h ic  g ro u p s.  Wh il e   e ffo rts   h a v e   b e e n   m a d e   t o   a d d re ss   p e rsiste n d i g it a h a ra ss m e n t,   th e   e x p e c ted   o u tco m e   h a b e e n   li m it e d   d u e   to   th e   lac k   o e ffe c ti v e   t o o ls  t o   q u ick l y   id e n ti f y   c y b e rb u ll y in g   b e h a v i o rs  a n d   c e n so t h e m   a c c o rd i n g l y   o n   s o c ial   m e d ia  p latfo rm s.  Th is  stu d y   p re se n ts  a   sc a l a b le  a n d   sy ste m a ti c   m e th o d   to   d e tec a n d   a n a ly z e   o ffe n siv e   b e h a v io a n d   b u ll y i n g   o n   Twi tt e (n o k n o w n   a X) .   Ou m e th o d o l o g y   in v o l v e e x trac ti n g   tex t u a l,   u se r - re l a ted ,   a n d   n e two rk - re late d   a tt ri b u tes   to   u n d e rsta n d   th e   traits  o i n d i v i d u a ls  i n v o lv e d   i n   su c h   b e h a v i o rs.  Th is   a p p r o a c h   a ims   to   re c o g n ize   d isti n c ti v e   c h a r a c teristics   th a se t   th e m   a p a rt   fr o m   re g u lar  u se rs.  Th is   stu d y   p r o p o se a   n o v e m o d e b y   e m p lo y i n g   a n   i n teg ra ted   d e e p - le a rn in g   m o d e l ,   c o m b i n i n g   th e   b i d irec ti o n a l   g a ted   re c u rre n u n it   (BiG RU),  tran sfo rm e b lo c k ,   a n d   c o n v o lu t io n a n e u ra l   n e two rk   (CNN ).   T h is  m o d e a ims   to   c las sify   X   c o m m e n ts  i n to   o ffe n siv e   a n d   non - o ffe n si v e   c a teg o ries .   Th e   p r o p o se d   m o d e l’s  e fficia c y   h a s b e e n   e v a lu a ted   th ro u g h   se v e ra e x p e rime n ts  b y   c o m b in i n g   t h re e   wid e l y   re c o g n ize d   d a tas e ts   o h a te  s p e e c h .   T h e   p r o p o se d   m o d e a c h iev e a n   a c c u ra c y   ra te  o f   a p p ro x ima tely   9 8 . 9 5 % ,   s h o wi n g   p r o m isin g   re su lt in   id e n t if y in g   a n d   c a teg o rizin g   o ffe n si v e   b e h a v io r   i n   c y b e r b u ll y i n g .   K ey w o r d s :   C y b er b u lly in g     Dee p   lear n in g   Ma ch in lear n in g     So cial  m ed ia   T r an s f o r m e r s     T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   W ae l M .   S .   Yaf o o z   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   C o lleg o f   C o m p u ter   Sci en ce   an d   E n g in ee r in g ,   T ai b ah   Un iv er s ity   Me d in 4 1 4 7 7 ,   Sau d i A r ab ia   E m ail: w y af o o z@ taib ah u . e d u . s a       1.   I NT RO D UCT I O N   C y b er b u lly in g   is   s ig n if ican th r ea to   o n lin u s er s .   I p ar ticu lar ly   af f ec ts   in d iv id u als  wh o   f r eq u e n tly   v is it  s o cial  m ed ia  p latf o r m s   [ 1 ] [ 3 ] .   Un lik tr ad itio n al  b u lly in g ,   cy b er b u lly in g   o cc u r s   elec tr o n ically   with o u tem p o r al  o r   s p atial  lim ita tio n s   [ 4 ] [ 7 ] .   Du r in g   th ea r ly   2 0 th   ce n tu r y ,   wh en   s o cial  m ed ia  was in   its   n ascen t stag e,   th n eg ativ im p ac ts   o f   cy b er b u lly in g   wer n o t f u lly   ac k n o wled g ed .   Ho wev e r ,   in   th last   1 5   y ea r s ,   ca s es  o f   o n lin h ar ass m en t,  cy b er s talk in g ,   an d   tr o llin g   h av b ee n   o n   t h r is [ 8 ] .   I n   2 0 1 7 ,   4 1 o f   US  r esid en ts   ex p er ien ce d   s o m lev el  o f   o n lin h ar a s s m en t,  an d   6 6 ex p er ien ce d   s o m ty p o f   h ate   s p ee ch ,   wh ich   was  d ir ec ted   at  th em .   Ap p r o x im ately   5 0 o f   y o u n g   p eo p le  u s s o cial  m ed ia  to d ay   f ac e   cy b er b u lly in g   o n   p latf o r m s   l ik T witter   ( n o k n o wn   as  X) .   Desp ite  attem p ts   to   tack le  o n g o in g   d ig ital  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   5 ,   Octo b er   2 0 2 5 4 2 1 1 - 4 2 2 5   4212   h ar ass m en t,  th r esu lts   h av b ee n   co n s tr ain ed   b y   th a b s en ce   o f   ef f icien to o ls   to   p r o m p tly   id e n tify   cy b er b u lly in g   b eh a v io r s   an d   t ak ap p r o p r iate  ce n s o r s h ip   m ea s u r es   [ 9 ] ,   [ 1 0 ] T h er e   h as  b ee n   an   in cr ea s in   in ter est  in   d etec tin g   cy b er b u lly in g   in   t h f ield   o f   n at u r al  lan g u ag p r o ce s s in g   ( NL P)  [ 1 1 ] p r im ar y   g o al  o f   cy b er b u lly in g   d etec tio n   is   to   p r e - p r o ce s s   tex tu al  d ata,   s u ch   as  twee ts   clea n in g ,   an d   ex tr ac r elev a n t   in f o r m atio n   s o   th at  m ac h in lear n in g   ( ML )   alg o r ith m s   ca n   b u s ed   to   tr ain ed   m o d els  to   u n d er s tan d   an d   class if y   th em .   Ma n y   m eth o d s   ar u s ed   to   s im p lify   tex r ep r esen tatio n   an d   tr an s late  wo r d s   in to   n u m er ical   v alu es  in   te x class if icatio n /cate g o r izatio n ,   s u ch   as  b ag   o f   wo r d s   ( B o W ) ,   ter m   f r eq u e n c y - in v er s e   d o c u m en t   f r eq u e n cy ,   a n d   W o r d 2 Vec ,   Gl o V,   an d   f ast  tex t .   T h ese  ty p es  o f   n u m er ical  d ata   ca n   b f ed   in to   ML   class if ier s   s u ch   r an d o m   f o r est  ( R F),   d e cisi o n   tr ee   ( DT ) ,   XGBo o s ( XGB),   k - n ea r est  n eig h b o r s   ( KNN) ,   an d   s u p p o r v ec to r   m ac h i n ( SVM) ,   an d   r ec u r r en n e u r al  n etwo r k s   ( R NNs)  [ 1 2 ] .   Alth o u g h   c o n v e n tio n al  NL m eth o d s   h av s h o wn   c o n s id er ab le  ef f ic ac y   in   id en tif y in g   in s tan ce s   o f   cy b er b u lly in g   o n   s o cial  m ed i p latf o r m s ,   s ev er al   ch allen g es  p er s is t.  T h ese  e n co m p ass   lim itatio n s   im p o s ed   b y   ch ar ac ter   r estrictio n s   o n   s o cial  m ed ia,   d if f er en ce s   b etwe en   o f f e n s iv an d   n o n - o f f e n s iv co m m en ts ,   in h er en t a m b ig u ities   in   n atu r al  lan g u ag e,   an d   th e   ex ten s iv u s o f   s lan g   [ 1 3 ] .   Ov er   th y ea r s ,   n e u r al  n etwo r k - b ased   m o d els  h a v o u tp er f o r m ed   co n v en tio n al   ML   tec h n iq u es  in   v ar io u s   NL task s .   T h is   s u p e r io r ity   o wes  m u ch   to   th e   r ich   v ec to r   r ep r esen tatio n s   o f f er ed   b y   n eu r al  n etwo r k s ,   p ar ticu lar ly   th s ig n if ican s tr id es  m ad in   wo r d   em b e d d in g s   [ 1 4 ] .   Un lik co n v en tio n al  ML   m eth o d s   r ely in g   h ea v ily   o n   m an u ally   cr af ted ,   p o ten tially   in co m p lete  f ea tu r es  th at  ar tim e - co n s u m in g ,   d ee p   lear n in g   ( DL )   tech n iq u es  em p lo y   h ier a r ch i ca au to m atic  f ea tu r e x tr ac t io n   to   u n d er s tan d   i n p u c h a r ac ter is tics .   R ec en t   ad v an ce s   in   NL h av b ee n   d r iv en   b y   th u s o f   n eu r al  n et wo r k   m o d els  lik m u ltil ay er   p er ce p tr o n s   ( ML Ps ) ,   R NNs,   an d   co n v o lu tio n al  n e u r al  n etwo r k s   ( C NNs) .   T h es m o d els  h av d em o n s tr ated   p r o m is in g   r esu lts   ac r o s s   v ar io u s   NL task s .   X iao   an d   C h o   [ 1 5 ]   p r o p o s ed   n o v el   m eth o d o lo g y   f o r   te x class if icatio n   th at   o p er ated   at  th e   ch ar ac ter   lev e l.  T h ey   in co r p o r ated   a   h y b r id   m o d el,   co m b in in g   C NN  f r am ewo r k   with   an   R NN  ar ch itectu r e.   T ai  et  a l [ 1 6 ]   p r o p o s ed   an o th e r   in n o v ativ m eth o d .   T h ey   em p lo y ed   lo n g   s h o r t - ter m   m em o r y   ( L STM )   f o r   s en ten ce - by - s en ten ce   class if icatio n   to   co m p r eh e n d   th s em an tics   o f   th tex an d   u s ed   a   C NN  to   ex tr ac t lo ca l f ea tu r es  f r o m   th e   ex p r ess io n s .     Ma n y   r ese ar ch er s   h a v e x p lo r ed   t h d e te cti o n   o f   c y b e r b u l ly i n g   i n   A r ab ic  [ 6 ] ,   [ 1 7 ] [ 2 3 ] .   Fo r   i n s t an ce ,   Hai d a r   et   a l .   [ 1 7 ]   i n i tia ll y   e x p l o r e d   c y b er b u ll y i n g   d et ec t io n   i n   Ar ab ic ,   wh ile   S ala wu   et   a l .   [ 1 8 ]   c lass i f i ed   d et ec ti o n   a p p r o a c h es  in to   c ate g o r i es  l ik s u p e r v is e d   lea r n i n g ,   le x i c o n - b as ed ,   r u le - b as ed ,   a n d   m ix e d - in iti ati v e   tec h n i q u es.   R o s a   et   a l [ 6 ]   i d e n ti f i ed   m is i n t er p r et ati o n s   a n d   lac k   o f   s ta n d a r d iz e d   ev al u a ti o n   m e th o d o l o g ies   i n   p r e v i o u s   r esea r ch .   I n   c o n t r as t,  A l - G a r a d et  a l .   [ 1 9 ]   e m p h asi ze d   cr u cial   f ac t o r s   i n   d e tect in g   a g g r ess iv e   b e h a v i o r ,   a n d   E ls af o u r y   e a l .   [ 2 0 ]   h i g h li g h te d   t h e   i m p o r t a n c o f   s la n g - b as ed   w o r d   em b ed d i n g   tec h n i q u es .   Kim   et  a l .   [ 2 1 ]   s t r ess ed   h u m a n   i n v o lv em e n i n   al g o r i th m   d e v el o p m e n t ,   w h il Al - H ar ig y   et   a l .   [ 2 3 ]   f o c u s e d   o n   p r o m p an d   e f f ec t iv cy b er b u l ly i n g   d e tec ti o n .   T a b l 1   p r es e n ts   co m p r e h e n s i v e   c o m p a r at iv e   o v er v i ew  o f   th af o r e m e n ti o n e d   s tu d i es,   e lu ci d ati n g   n o ta b l ch ar ac te r is ti cs  a n d   m e th o d o l o g ica l s tr ate g i es.       T ab le  1 .   C r itical  an aly s is   o f   ex is tin g   cy b er b u lly in g   a p p r o ac h es with   p r o p o s ed   m o d el   R e f e r e n c e s   DL   a p p r o a c h e s   D a t a   r e p r e se n t a t i o n   D a t a   a v a i l a b i l i t y   C y b e r b u l l y i n g   a p p l i c a t i o n   Li mi t a t i o n   a n d   s t r e n g t h   Te x t   I mag e s   [ 2 1 ]             [ 2 2 ]             [ 2 5 ]             [ 2 4 ]             [ 2 0 ]             [ 2 3 ]             [ 2 4 ]             P r o p o se d                 T h cu r r en s u r v e y s   o n   th d e tectio n   o f   c y b er b u lly in g   u s in g   DL   tech n iq u es  h av ce r tain   r estra in ts ,   as  th er is   n o   co m p r eh en s iv e   s u r v ey   s p ec if ically   f o cu s ed   o n   th is   f ield .   T h lac k   o f   co m p r eh en s iv a n aly s is   r eg ar d in g   th s tr en g th s   an d   wea k n ess es  o f   DL   m o d els  in   ac cu r ately   class if y in g   cy b er b u lly in g   in s tan ce s   is   attr ib u ted   to   th e   in ef f icien cy   o f   m o s s u r v e y   p ap er s .   T h e   c u r r en t   s u r v ey s   d o   n o en c o m p ass   th tax o n o m y   o f   DL - b ased   cy b er b u lly in g   class if icatio n ,   wh ich   is   cr u cial  f o r   o r g an izin g   an d   ex p an d in g   co m p lex   co n ce p ts .   T h is   s tu d y   ex am in es  im ag e - b ased   d ata  r ep r esen tatio n   tech n iq u es,  ac k n o wled g in g   th ei r   im p o r tan c in   cy b er b u lly in g   class if y in g .   T h ca r ef u c h o ice  o f   s u itab le  f r am ewo r k   is   ess en tial   f o r   th e f f ec tiv e   im p lem en tatio n   o f   r o b u s m o d el  f o r   class if icatio n .   T h av ailab ilit y   o f   ea s ily   o b tain ab le  d atasets   i s   cr u cial   f o r   r esear ch e r s   to   ass ess   th p lau s ib ilit y   o f   th eir   h y p o t h eses .   T h p a p er   also   ex p lo r es  ad d itio n al  f ac to r s   s u ch   as  cu ltu r al  d iv er s ity ,   d ata  r e p r esen tatio n ,   m u ltime d ia  an d   m u ltil in g u al  co n ten t,  a n d   th im p licatio n s   f o r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E xp lo r in g   s o cia l m ed ia   s en tim en t p a tter n s   fo r   imp r o ve d   cy b e r b u llyin g     ( Wa el  Mo h a me d   S h a h er Ya fo o z )   4213   m en tal  well - b ein g .   E n g ag i n g   in   th ese  d is cu s s io n s   is   ess en ti al  to   d ev elo p   a   co m p r eh e n s iv u n d er s tan d in g   o f   th ch allen g es a n d   f u tu r tr en d s   with in   th is   f ield .   T h e r e f o r e ,   t h i s   s t u d y   a i m s   to   in v e s t ig a t e   th p o s s i b i l i t i es   o f   c a t eg o r i z i n g   b r ie f   t e x tu a l   c o n t en t .   T h i s   i n v e s t i g a t i o n   i s   d r iv e n   b y   th n o t a b l a ch i e v e m en t s   w i t n e s s e d   in   d i v er s e   D L   m o d e l s ,   s p e c i f i ca l l y   i n   t a s k s   i n v o lv i n g   ex t e n s i v e   t ex t u a l   co n t en t .   O u r   i n v e s t i g a t io n   c e n t er s   o n   m u l t i c h an n e D L   m o d e l,   wh i c h   i n c o r p o r a t e s   e le m en t s   f r o m   t h r e e   s o p h i s t i c a t e d   D L   ar c h i t e c tu r e s :   b i d ir e c t io n a l   L S T M   ( B i L S T M ) ,   t r a n s f o r m e r   b lo ck ,   a n d   C N N .   E m p lo y in g   ad v an c ed   NL P   a n d   M L   c l a s s i f i er s   o n   s o c i a n e t wo r k s   l ik X   p l a y s   c r u c i a r o l i n   au t o m a t i n g   c y b e r b u l ly i n g   id en t i f i c a t i o n .   H o w ev e r ,   th av a i la b i l i t y   o f   s u i t ab l d a t a s e t s   f o r   t r a in i n g   ML   c l a s s i f i e r s   l i m i t s   t h i s   p o s s i b i l i ty .   T h i s   l im i t a t i o n   u n d e r s co r e s   t h e   i m p o r t an c e   o f   o b t a in i n g   a n   ex t e n s i v e   d a t a s et   e n c o m p a s s i n g   v a r io u s   cy b er b u l ly i n g   in s t a n ce s .   T h p u r p o s e   o f   th i s   p ap e r   i s   t o   p r e s en t   a   m u l t i ch a n n e t ec h n iq u e,   a   f u s i o n   o f   th r e DL   m o d e l s ,   to   e n h a n ce   p r ed i ct i o n   a c cu r a cy .   T o   e v a l u a t e   th e   p r o p o s e d   a p p r o a ch   an d   a s s e s s   t h a c cu r a cy   l ev e l s ,   w e   co m b i n t h r e e   ex t en s i v e l y   a c k n o w l ed g ed   d a t a s e t s   o n   h a te   s p e e ch   [ 2 4 ] [ 2 6 ] .   T h f in d in g s   in d icate   th at  th p r o p o s ed   m eth o d   ca n   ac h iev n o tab le  ac cu r ac y .   T h co n tr ib u tio n s   o f   th is   r esear ch   ar as  f o llo ws:   t h is   s tu d y   in tr o d u ce s   n o v el  h y b r id   m o d el  wh ich   co n s is ts   o f tr an s f o r m er   b lo ck ,   B iG R U,   an d   C NN  all  with in   t h m u ltich a n n el  tech n iq u e,   to   s ig n if ican tly   e n h an ce   th e   p r e d ictio n   ac cu r ac y   i n   d etec tio n   o f f en s iv an d   n o n - o f f en s iv twee ts .   T h is   s tu d y   d e m o n s tr ates  th ac h iev e m en o f   n o tab le   lev els  o f   p r ed ictio n   ac cu r ac y   b y   in teg r atin g   th r ee   wid ely   r ec o g n ized   h ate  s p ee ch   d atasets .   T h is   s tu d y   en h an ce s   o n lin p latf o r m s   d etec tio n   ca p a b ilit ies,  em p o wer in g   th em   to   s tr en g th en   cy b e r s ec u r ity   m ea s u r es   an d   p r o tect  u s er s   f r o m   c y b er b u lly in g .   T h r em i n d er   o f   th e   p ap e r   is   o r g an ized   as  f o llo ws:   s ec tio n   3   in tr o d u ce s   t h in teg r ated   D L   ap p r o ac h .   Sectio n   4   o u tlin es  th d ataset   u s ed   f o r   ev al u atio n   p u r p o s es.  Sectio n   5   p r esen ts ,   an aly ze s   an d   c o m p ar es  t h r esu lts   with   clo s e ly   r elate d   ap p r o ac h es.  Sectio n   6   en ca p s u la tes  th co n clu s io n   o f   th r esear ch   p ap er ,   f o llo wed   b y   d is cu s s io n   o f   p o ten tial a v en u es f o r   f u tu r e   r esear ch   in   s ec tio n   7 .       2.   M E T H O DO L O G Y   T h is   s ec tio n   p r esen ts   th p r o p o s ed   in tellig en t   cy b er b u ll y in g   d etec tio n   p latf o r m .   T h p latf o r m   is   o r g an ized   i n to   two   m ain   c o m p o n e n ts d ata  an aly s is   an d   p r ed ictiv an aly tics .   T h p latf o r m   f u n ctio n s   as  a   r o b u s tar tific ial  in tellig en ce   an d   tex t - m in in g   s o lu tio n   s p ec if ically   d ev elo p e d   f o r   class if y in g   o f   c y b er b u lly in g   in to   o f f en s iv an d   n o n - o f f e n s iv twee ts .   Fig u r 1   d ep icts   th e   m o d el’ s   s tr u ctu r f o r   ca teg o r izin g   cy b er b u lly in g   twee ts   an d   th u s er   d etec tio n   s y s tem   wh ich   was  d ev elo p ed   to   f o r ec ast  o f f en s iv e   an d   n o n - o f f en s iv twee ts .   Fu r th er m o r e ,   th s y s tem   tack l es  th p r o b lem   o f   an o n y m ity   in   cy b er b u lly in g   th r o u g h   th im p lem en tatio n   o f   u s er   id en tific atio n   tech n iq u es .   T h is   s o lu tio n   in clu d es  th ex am in atio n   o f   u s er   b eh av io r   p atter n s ,   lin g u is tic  s ty le,   an d   ad d itio n al  co n tex tu al  cu es  to   es tab lis h   d is tin ct   u s er   p r o f iles .   B y   im p lem en tin g   th is   ap p r o ac h ,   th e   s y s tem   ca n   ef f ec tiv ely   m o n it o r   a n d   tr ac k   p o ten tial   o r   ex is t in g   c y b er b u llies ,   d eter   th e   o c cu r r en ce   o f   ab u s iv co n d u ct,   an d   f o s ter   th d e v elo p m en t o f   an   o n lin co m m u n it y   ch ar ac ter ized   b y   e n h an ce d   l ev els o f   r esp ec t.           Fig u r 1 .   Ar c h itectu r o f   p r o p o s ed   in tellig en t d etec tio n   o f   c y b er b u lly in g   m o d el       T h p latf o r m   em p lo y s   h y b r id   ap p r o ac h ,   le v er ag in g   s em an tic  em b ed d in g s ,   co n tex t u al   s im ilar ity   s co r es,  an d   p r ed ictiv m o d els to   en h a n ce   ac cu r a cy   in   class if y in g   twee ts .   T h e   d ata  an al y s is   m o d u le  co n s is ts   o f   d ata  ac q u is itio n ,   p r ep r o ce s s in g ,   f ea tu r e   ex tr ac tio n ,   an d   f ea tu r s elec tio n   s tep s .   I in co r p o r ates  em b ed d i n g - Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   5 ,   Octo b er   2 0 2 5 4 2 1 1 - 4 2 2 5   4214   b ased   s em an tic  s im ilar ity   m ea s u r es,  in clu d in g   co n tex tu al   em b ed d in g   o v er la p   s im ilar ity   ( C E OS) ,   wh ich   en h an ce s   th p latf o r m s   ab ilit y   to   d is ce r n   s u b tle  n u an ce s   in   twee ts .   T h p r ed ictiv an aly tics   m o d u le,   o n   th e   o th er   h an d ,   in clu d es  tr ain in g   a n d   test in g   ML   an d   DL   m o d els,  o p tim ized   f o r   h ig h   p r ec is io n   in   d etec tio n   task s .   T h m eth o d o lo g y   i n teg r ates   DL   class if icatio n   tech n iq u e s   to   ca teg o r ize  t h twee ts   a n d   u s er s   in to   two   o f f en s iv an d   n o n - o f f en s iv c ateg o r ies.  T h er ar f iv s tep s   in   th d ata  an aly s i s   m o d u le:  twee ac q u is it io n   f r o m   th T witter   API   ( twee tI n v i) n o k n o wn   as  API ,   twee p r e - p r o ce s s in g ,   f ea tu r ex tr ac tio n ,   f ea tu r e   n o r m aliza tio n ,   a n d   f ea tu r s el ec tio n .   Pre d ictiv an aly tics   in v o lv es  tr ain in g   an d   test in g   v ar io u s   DL   m o d els,  it  also   in v o lv es o p tim izin g   h y p e r p ar am eter s .     2 . 1 .     X   da t a   a cquis it io n   T h d ata  f r o m   X   was  o b tain e d   u s in g   th twee tI n v API   to   d etec o n lin cy b er b u lly i n g .   T h d atasets   wer co m p r is ed   o f   twee ts   an d   u s er   n etwo r k s .   T h ese  wer e x tr ac ted   f r o m   tex tu al  d ata,   w h ich   o n ly   ar twee ts ,   h astag es,  co m m en ts ,   an d   p h o to s   d escr ip tio n .   d ataset  o f   2 0 , 0 0 0   twee ts   as  s h o wn   in   Fig u r 2 ,   alo n g   with   u s er I Ds,  h ash tag s ,   d ateT im e,   an d   lo ca tio n   o f   o r ig i n ,   was  co llected   in   J SON  f o r m at.   T wo   s ep ar ate  lab els  f o r   twee ts   wer cr ea ted   to   d is tin g u is h   b etwe en   o f f e n s iv an d   n o n - o f f en s iv twee ts .   T ab le  2   p r o v id es  d etailed   b r ea k d o wn   o f   th d ataset' s   k ey   attr ib u tes.           Fig u r 2 .   C u b e r b u lly in g   d atas et  in clu d es two   class es n o n - o f f en s iv an d   o f f e n s iv e       T ab le  2 .   Data s et  d escr ip tio n   th at  in clu d es f ea tu r es a n d   d ata  c o u n t   S r   n o   F e a t u r e s   A p p l i c a t i o n   p r o g r a m m i n g   i n t e r f a c e   D a t a   c o u n t   D a t a   d e s c r i p t i o n   1   T w e e t   / t w e e t i n v i / t w i t t e r - a p i / t w e e t s   5 , 0 0 0   T h e   i n f o r m a t i o n   w h i c h   u s e r s   s h a r e   t o g e t h e r   2   H a s h T a g s   / t w e e t i n v i / t w i t t e r - a p i / H a s h t a g s   1 , 0 0 0   S h a r e d   h a s h t a g s   p r o j e c t s   o p e n i n g   o n .   3   C o m m e n t s   / t w e e t i n v i / t w i t t e r - a p i / C o m m e n t s   5 , 000   C o m m e n t s   f o r   s h a r e d   t o p i c   4   P h o t o s   / t w e e t i n v i / t w i t t e r - a p i / P h o t o s   9 , 000   S h a r e d   p h o t o s   b y   v a r i o u s   u s e r s       2 . 2 .     P re - pro ce s s ing   o f   X   da t a   Data   p r e - p r o ce s s in g   p lay s   v i tal  r o le  in   g u ar an teein g   th ac cu r ac y   an d   d ep en d ab ilit y   o f   u n p r o ce s s ed   d ata.   Acc u r ac y   is   en h a n ce d   b y   tr an s f o r m i n g   u n p r o ce s s ed   J SON  f iles   in to   s tan d ar d ized   f o r m at.   Af ter war d ,   th tex tu al   d ata  is   s u b jecte d   to   v ar io u s   p r e - p r o ce s s in g   tech n iq u es  i n   NL P.  T h X   d ata  u n d er g o es  th e   f o llo win g   s tep s .     No r m aliza tio n i n   th is   s tep ,   te x ts   wer co n v er ted   in to   s tan d ar d ized   f o r m at  to   im p r o v d a ta  q u ality   an d   en ab le  ef f icien s y s tem   p r o ce s s in g .   No r m aliza tio n   in   o u r   s y s tem   was  ac co m p lis h ed   th r o u g h   s ev er al   tech n iq u es.  First,  th d u p licate   wh ite  s p ac es  wer elim in ated .   Nex t,  th e   tex was  co n v er ted   to   lo wer ca s e.   Af ter   th at,   co n tr ac tio n s   wer ex p an d ed ,   an d   wo r d   n u m er als  wer co n v er ted   to   th eir   co r r esp o n d in g   n u m er ical  v alu es.  T h n o r m ali ze d   was th en   in p u tted   in to   th e   to k en izatio n   m o d u le.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E xp lo r in g   s o cia l m ed ia   s en tim en t p a tter n s   fo r   imp r o ve d   cy b e r b u llyin g     ( Wa el  Mo h a me d   S h a h er Ya fo o z )   4215     T o k en izatio n i n   th is   s tep ,   p ar ag r ap h s   an d   s en ten ce s   wer d iv id ed   in to   in d iv id u al  to k en   tex ts .   T h is   d iv is io n   f ac ilit ates  th as s ig n m en o f   s em an tic  m ea n in g   to   th to k en s ,   th er eb y   en h an ci n g   th o v er all   u n d er s tan d i n g   an d   an aly s is   o f   th tex t.  Ker as,  an   o p en - s o u r ce   d ee p - lear n in g   lib r ar y ,   was  em p lo y ed   f o r   th p u r p o s e   o f   tex p r e - p r o c ess in g ,   s p ec if ically   f o r   t o k e n izatio n .   T h lis o f   t o k en s   o b tain e d   was   s u b s eq u en tly   cr u cial  f o r   t h n e x t p r e - p r o ce s s in g   s tep .     Pu n ctu atio n   a n d   n u m b er   r em o v al:  p u n ctu atio n s   a n d   n u m b e r s   wer r em o v ed   in   t h is   s tep .   Su b s eq u en tly ,   th cu r ated   lis t w as tr an s f er r ed   to   th s u b s eq u e n t p h ase.     L em m atiza tio n i n   t h is   s tep ,   wo r d s   wer tr a n s f o r m ed   in to   th eir   b ase  f o r m s   b y   co n s id er in g   m o r p h o lo g ical  an aly s is .   Fo r   in s tan ce ,   th ter m   co m p u ter s   was  tr an s f o r m ed   in to   th s in g u lar   f o r m   co m p u te r .   As  p ar o f   o u r   m o d el,   we   u s ed   t h W o r d Net   le m m atize r   p r o v id e d   b y   t h n atu r al  lan g u ag e   to o lk it  ( NL T K) .     Par t - of - s p ee ch   ( POS):  t h is   s tep   in v o lv ed   ass ig n in g   POS  tag s   wo r d s   to   e n h an ce   s em an tic  s im ilar ity .   I n   o u r   p r o p o s ed   m o d el,   we  em p l o y ed   POS tag g in g   to   im p r o v th p r ec is io n   o f   s em an tic  s im ilar ity .     E lim in atio n   o f   s to p   wo r d s i n   th is   s tep ,   f r eq u en tly   u s ed   s tr u ctu r al  wo r d s   wer r em o v e d   to   o p tim ize  te x t   m in in g .   I n   th I SE  m o d el,   th r em o v al  o f   s to p   wo r d s   was  im p lem en ted   to   p r io r itize  r elev an t   in f o r m atio n ,   o p tim ize  tex t m in in g   p r o ce d u r es,  an d   m itig ate  i n tr icac y .     2 . 3 .     F e a t ure  e ng ineering   W ith in   th is   s ec tio n ,   th u tili za tio n   o f   th f ea tu r en g in ee r i n g   tech n i q u h as  b ee n   im p le m en ted   to   p r o d u ce   ad d itio n al  d ata  f r o m   th g iv en   d ataset.   T h laten f ea tu r es  th at  h av b ee n   id e n tifie d   an d   d er i v ed   with in   th p r o p o s ed   p latf o r m T h ese  d er iv ed   f ea tu r es a r o u t lin ed   in   T ab le  3 .       T ab le  3 .   Der iv e d   f ea tu r es a n d   th eir   d escr ip tio n   Sr  n o   Ty p e   F e a t u r e   n a me   D e scri p t i o n   R e f e r e n c e   1   Emb e d d i n g   f e a t u r e   v e c t o r   W o r k 2 V e c   Th e   t w e e t - l e v e l   f e a t u r e   r e p r e se n t a t i o n   i s   d e r i v e d   b y   e m p l o y i n g   p r e t r a i n e d   W o r d 2 V e c   e mb e d d i n g s.   [ 2 7 ]   2   S e n t i me n t   f e a t u r e   v e c t o r   S e n t i S t r e n g t h   Th i s   f e a t u r e   i u t i l i z e d   t o   e v a l u a t e   e a c h   t w e e t p o si t i v e   a n d   n e g a t i v e   se n t i me n t   sc o r e s.   [ 2 8 ]   3     M P Q A   s u b j e c t i v i t y   l e x i c o n   D e r i v e l e x i c o n   f e a t u r e s   a t   t h e   p h r a se   l e v e l   t o   d e t e r mi n e   t h e   p o s i t i v e   a n d   n e g a t i v e   c o n t e x t u a l   p o l a r i t y   o f   s e n t i m e n t   e x p r e ssi o n   i n   t w e e t s .   S e n t i m e n t 1 4 0   i a   c o l l e c t i o n   o f   t w e e t l a b e l e d   p o si t i v e ,   n e g a t i v e ,   o r   n e u t r a l   f o r   s e n t i me n t   a n a l y si s .   [ 2 9 ]   4   Le x i c o n   f e a t u r e   v e c t o r   S e n t i me n t - 1 4 0     [ 3 0 ]   5     B i n g Li u   U si n g   f e a t u r e   mi n i n g ,   c u st o mer   r e v i e w a r e   c a t e g o r i z e d   a s   f a v o r a b l e   o r   n e g a t i v e   w i t h o u t   se n t e n c e   se l e c t i o n .   [ 2 9 ]   6     A F I N N   En g l i sh   w o r d f o r   e mo t i o n   p o l a r i t y :   p o s i t i v e ,   n e g a t i v e ,   o r   n e u t r a l .   I t   sco r e w o r d s   n u m e r i c a l l y   f o r   s e n t i m e n t   a n a l y si s   a n d   t e x t   mi n i n g .   [ 3 1 ]   7     Ex p a n d e d   N R C - 10   D e p l o y e d   t o   c l a ss i f y   t w e e t s’   e m o t i o n s   o r   d o i n g   s e n t i m e n t   a n a l y ses.   [ 3 2 ]   8     N R C   h a s h t a g   sen t i m e n t   l e x i c o n   N R C   h a s h t a g   se n t i me n t   l e x i c o n   f o r   h a sh t a g - f o c u se d   s o c i a l   me d i a   sen t i m e n t   r e s e a r c h .   I t   i d e n t i f i e f r e q u e n t   s o c i a l   m e d i a   t e r ms  a s   f a v o r a b l e ,   b a d ,   o r   n e u t r a l .   [ 3 3 ]   9     S e n t i W o r d n e t   S e n t i W o r d N e t   r a n k E n g l i sh   w o r d s’   me a n i n g s   a p o si t i v e ,   n e g a t i v e ,   o r   n e u t r a l .   I t   si m p l i f i e N LP   sen t i m e n t   a n a l y si w i t h   W o r d N e t   s y n se t s a n d   s e n t i m e n t   s c o r e s.   [ 3 4 ]   10     N R C - 10   Th e   N R C   e m o t i o n   l e x i c o n   c l a ss i f i e s   w o r d i n t o   1 0   f u n d a m e n t a l   e mo t i o n s fo r   t e x t   d a t a   s e n t i m e n t   a n a l y si s a n d   c l a ss i f i c a t i o n .   [ 3 5 ]   11     N R C   h a s h t a g   e mo t i o n   a sso c i a t i o n   l e x i c o n   Th e   N R C   h a s h t a g   e m o t i o n   a ss o c i a t i o n   L e x i c o n   h e l p s   so c i a l   me d i a   d a t a   a n a l y st s   a n a l y z e   e m o t i o n b y   l i n k i n g   h a s h t a g s   t o   e mo t i o n s.   [ 3 6 ]   12   K n o w l e d g e   b a s e d   s i m i l a r i t y   C EO S   C o m p u t e s i mi l a r i t y   b e t w e e n   t w e e t s   e m b e d d i n g s   a n d   r e f e r e n c e   e mb e d d i n g s f o r   o f f e n s i v e   a n d   n o n - o f f e n s i v e   c o n t e n t .   P r o p o se d       T h p r o p o s ed   m eth o d   ev alu ates  s em an tic  s im ilar ity   b y   lev er ag in g   co n tex tu al  em b ed d in g s   to   m ea s u r th o v er la p   b etwe en   twee an d   p r ed ef in e d   r ef e r en ce   v ec to r s ,   r e p r esen tin g   o f f en s iv an d   n o n - o f f en s iv lan g u ag e.   T h is   ap p r o ac h   elim in ates  r elian ce   o n   f r eq u en cy - b ased   m ec h a n is m s   an d   in s tead   f o c u s es  o n   th e   s em an tic  r elatio n s h ip s   i n   h ig h - d im en s io n al   em b ed d i n g   s p ac e.   T o   ca lcu late  th e   s im ilar ity ,   em b e d d in g   v ec to r s   ar g e n er ated   f o r   th in p u twee t.  L et        r ep r ese n th em b e d d in g   v ec to r   f o r   th twee t,   ag g r eg ated   f r o m   wo r d - lev el  e m b ed d in g s   as  in   ( 1 ) ,   w h er   (   )   i s   th em b ed d in g   o f   th it - th   wo r d s   an d     wo r d s   in   th e   twee ts .   T wo   r ef e r en ce   v ec to r s   ar p r ec o m p u te d o f f e n s iv       f o r   o f f en s iv lan g u ag e,   as   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   5 ,   Octo b er   2 0 2 5 4 2 1 1 - 4 2 2 5   4216   s h o wn   in   ( 2 ) ,   a n d   n o n - o f f en s i v        f o r   n o n - o f f en s iv lan g u ag e   as  p r esen te d   in   ( 3 ) .   T h e   s im ilar ity   b etwe en   th twee em b ed d in g   an d   ea ch   r ef e r en ce   v ec to r   is   ca lcu lated   u s in g   co s in s i m ilar ity .   Fin aly ,   th C E OS   f o r   twee t   is   th en   ca lcu lated   as  in   ( 4 ) .   p o s itiv C E OS   s u g g ests   h ig h er   lik elih o o d   o f   o f f en s iv co n ten t,  w h ile  n eg ativ e   s co r in d icate s   n o n - o f f e n s iv ten d en cies.   T h is   m eth o d   f o cu s es  o n     s em an tic  r elatio n s h ip s ,   o f f er i n g   a   r o b u s an d   c o n tex t - awa r m ec h a n is m   f o r   d is tin g u is h in g   o f f e n s iv an d     non - o f f en s iv la n g u a g e.         = 1       ( ) = 1     ( 1 )         =      .                        ( 2 )            =      .                              ( 3 )     C E OS =                 ( 4 )     2 . 4 .     F e a t ure  s elec t io n   T o   id en tif y   th e   m o s r elev a n t   f ea tu r es  f o r   t h class if icatio n   m ec h a n is m ,   we  co n d u cte d   th o r o u g h   an aly s is   o f   th p r e p ar ed   d ata s et  in   th is   m o d u le.   T h e   in clu s io n   o f   th is   s tep   is   o f   u tm o s im p o r tan ce   in   th e   p r o ce s s   o f   g ettin g   r i d   o f   p o t en tially   ex p an s iv f ea tu r s p a ce .   B y   r em o v in g   u n n ec ess ar y   ch ar ac ter is tics   th at  d o   n o s u b s tan tially   co n tr ib u t to   th an aly s is   p r o ce d u r e,   th is   p r o ce s s   o p tim izes  d ata  p r o ce s s in g   ef f icien cy .   Fu r th er m o r e ,   it f ac ilit ates  th i d en tific atio n   o f   d ata  f ea t u r es with   th h i g h est  an d   lo west  le v els  o f   i n f lu en ce ,   as  d eter m in ed   b y   th eir   r esp ec tiv e   weig h ts .     I n   th i s   s t u d y ,   we   u t i l i ze d   tw o   w e l l - e s t ab l i s h ed   m e t h o d o l o g i e s   k n o wn   a s   p r i n c i p a l   c o m p o n e n t   a n a l y s i s   ( P C A )   a n d   P e a r s o n   c o r r e l a t i o n   co e f f i c i en t   ( P C C )   t o   e n h an c e   th e   s e l e c t io n   o f   i n i t i a l   f ea t u r e s ,   a s   d e s c r ib e d   i n   T ab l 3 .   I n   a d d it i o n ,   t h e   n e w l y   in t r o d u c e d   C E O S   s c o r e ,   d er i v ed   f r o m   p r e - t r a in e d   e m b e d d i n g   m o d e l s   s u c h   a s   B E R T   o r   Gl o V e ,   h a s   e m e r g e d   a s   a   c r i ti c a l   f e a tu r e ,   o f f e r in g   s e m a n ti c   c o n t ex t   t o   th c l a s s i f i c a t i o n   p r o c e s s .   P C A   a n d   P C C   p r im a r i ly   e m p h a s iz e   t h e   s e l e c t io n   o f   l in e ar   v a r i a b l e s .   P C A   i s   a   t e c h n iq u e   t h a t   i s   u s e d   to   c a l cu l a t e   t h e   f u n d a m en t a l   co m p o n e n t s ,   wh i ch   a i d s   in   r ed u c i n g   t h e   d im e n s io n a l i ty   o f   a   co m p l e x   f e a tu r e   s p ac e   t o   a   m o r e   m a n ag e ab l e   o n e .   T h i s   p r o c e s s   en s u r e s   th a t   cr u c ia l   f e a t u r e   i n f o r m a t io n   i s   r e t a in e d ,   a s   d ep i c t e d   in   F i g u r 3 .   T h e   C E OS   s c o r e   d e m o n s t r a te s   a   h ig h   c o r r e l a t i o n   w i t h   t h e   t a r g e t   v ar i a b l i n   P C C   a n a ly s i s   ( F i g u r e   4 ) ,   r e in f o r c in g   i t s   s i g n i f i c an c e   a s   a   f e a t u r f o r   d i s t i n g u i s h i n g   o f f en s i v a n d   n o n - o f f e n s i v e   tw e e t s .           Fig u r 3 .   Featu r e   im p o r ta n ce   an aly s is   b ased   o n   PC A   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E xp lo r in g   s o cia l m ed ia   s en tim en t p a tter n s   fo r   imp r o ve d   cy b e r b u llyin g     ( Wa el  Mo h a me d   S h a h er Ya fo o z )   4217       Fig u r 4 .   Pear s o n   co r r elatio n   an aly s is   o f   in p u f ea tu r es       2 . 5 .     P re dict iv e   a na ly s is   o f   X   da t a   f o c y berbull y   cla s s if ic a t io n ba s ed  o ML  a lg o rit hm s     T h is   s ec tio n   f o cu s es  o n   o u r   p r o p o s ed   c y b er b u lly in g   d etec tio n   s y s tem s   ML   class if ier s .   T h p u r p o s o f   th is   s tu d y   is   to   p er f o r m   a   th o r o u g h   co m p ar ativ an al y s is   o f   th ef f icac y   o f   v ar io u s   ML   class if ier s   in   d if f er en tiatin g   b etwe en   o f f e n s iv an d   n o n - o f f en s iv twee ts .   T h p r o p o s ed   p latf o r m   in co r p o r ates  r a n g o f   class if icatio n   m o d els f o r   s u p er v is ed   d ata  class if icatio n ,   as d etailed   in   T ab le  4 .     I n   o r d er   to   th o r o u g h ly   ass ess   th p er f o r m an ce   o f   th class if ier ,   we  im p lem en ted   k - f o ld   cr o s s - v alid atio n   m eth o d o lo g y ,   u tili zin g   v alu e   o f   k   eq u al  to   1 0 .   T h is   m eth o d o lo g y   s y s tem atica lly   ev alu ates  an d   co m p ar es  th o u tco m es  o f   th e   ap p lied   class if ier s .   T h d atas et  was  d iv id ed   in to   k   eq u al  s eg m en ts ,   wh er ea ch   s eg m en t w as u tili ze d   f o r   tr ain i n g   class if ier .       T ab le  4 .   Ap p lied   class if ier s   o n   th lab el  d ataset   S R   n o   #   M c l a ssi f i e r s   1   XGB   2   S V M   3   DT   4   Lo g i s t i c   r e g r e ssi o n   ( L R )   5   RF   6   K N N       E ac h   iter atio n   u s ed   d if f er en t   s eg m en f o r   test in g ,   wh ile   th e   r em ain in g   k - 1   s eg m en ts   wer e   allo ca ted   f o r   tr ain i n g .   T h d elib er ate  p a r titi o n in g   o f   th e   d ataset  in to   d is tin ct  tr ain in g   an d   test in g   s ets  is   im p lem en ted   to   ad d r ess   th e   p r o b lem   o f   o v e r f i ttin g   an d   im p r o v e   th e   ac cu r ac y   o f   class if icatio n .   E ac h   class if ier   was  ev alu ate d   b y   m ea s u r in g   th e   p r o p o r tio n   o f   co r r ec tly   class if ied   in s tan ce s   o u o f   th to tal  n u m b e r   o f   class if icatio n s   p er f o r m ed   b y   th class if ier .   I n   th is   s tu d y ,   we  em p lo y ed   v ar io u s   ML   class if ier s ,   s u ch   a s   R F,  DT ,   XG B ,   KN N,   an d   SVM  [ 3 7 ] ,   [ 3 8 ]   with   q u ad r atic  an d   lin ea r   k er n els,  to   f o r ec ast  th class if i ca tio n   o f   twee ts .   E v er y   al g o r it h m   f u n ctio n   b ased   o n   th p r in cip les  o f   s u p er v is e d   lear n in g ,   wh ich   r eq u ir es  d ataset  f o r   tr ain in g   an d   allo ws  f o r   th p r ed ictio n   o f   class   lab els  f o r   in s tan ce s   th a ar n o k n o wn .   I n   co n clu s io n ,   a   r an g o f   p er f o r m an ce   m etr ics,  in clu d in g   p r ec is io n ,   f - m ea s u r e,   ac c u r a cy ,   an d   r ec all ,   wer u tili ze d   to   ev al u ate  th ef f icac y   o f   th im p lem en ted     ML  class if ier s .   T h is   s tu d y   i n tr o d u ce s   a   m u ltich an n el  DL   f r am ewo r k   th at  in teg r ates  th r ee   a d v an ce d   m o d els:   tr an s f o r m er   b lo ck ,   B iGR U,   an d   C NN  to   en h an ce   th ac c u r a cy   o f   c y b er b u lly in g   d etec tio n   b y   lev er a g in g   th eir   co m p lem en tar y   s tr en g th s   as  s h o wn   in   Fig u r 5 .   E ac h   c o m p o n en p lay s   d is tin ct  r o le  in   ca p tu r in g   d if f er e n t   asp ec ts   o f   th tex tu al  d ata,   co n tr ib u tin g   to   h o lis tic  f ea tu r r ep r esen tatio n .   T h tr an s f o r m er   b lo ck   is   d esig n ed   to   ca p tu r lo n g - r an g d ep en d e n cies  an d   r elatio n s h ip s   with in   tex tu al  d ata  u s in g   s elf - atten tio n   m ec h an is m s .   B y   p r o ce s s in g   s eq u e n ce s   in   p ar all el,   th t r an s f o r m e r   e f f ec tiv ely   ca p tu r es  g lo b al  c o n tex tu al   in f o r m atio n ,   allo win g   th m o d el  to   u n c o v er   in tr icat p atter n s   in   th in p u tex t.  T h is   ca p ab ilit y   is   cr itical  f o r   u n d er s tan d in g   s u b tle  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   5 ,   Octo b er   2 0 2 5 4 2 1 1 - 4 2 2 5   4218   cu es  in   twee ts   th at  m ay   in d icate   o f f en s iv b e h av io r .   C o m p lem en tin g   th is ,   th B iGR p r o ce s s es  s eq u en ce s   b id ir ec tio n ally ,   r etain in g   co n tex tu al  in f o r m atio n   f r o m   b o th   p ast  an d   f u tu r wo r d s   in   s en ten ce .   T h is   b id ir ec tio n al  a p p r o ac h   en s u r e s   th at  th e   m o d el  co m p r eh e n d s   th b r o a d er   co n tex t   ar o u n d   ea ch   wo r d .   T h e   B iG R U’ s   o u tp u ts   ar f u r th e r   r ef in ed   t h r o u g h   s p atial  d r o p o u t,  g lo b al  av e r ag p o o lin g ,   a n d   g lo b al  m ax i m u m   p o o lin g ,   wh ich   e n h an ce   f ea tu r r eten tio n   wh ile  m in i m izin g   n o is e.   T h C NN  co m p o n en f o cu s es   o n   ex tr ac tin g   lo ca an d   s p ati al  f ea tu r es  f r o m   th in p u tex t,  s u ch   as     n - g r am s   ( e. g . ,   b ig r am s   an d   t r ig r am s ) ,   wh ich   ar cr itical  f o r   id en tify in g   o f f en s iv lan g u ag e.   B y   ap p ly in g   co n v o l u tio n al  f ilter s ,   th C NN  id en tifie s   p atter n s   th at  o th e r   m o d els  m ig h m is s ,   s u ch   as  lo ca lized   p h r ases   o r   wo r d   g r o u p in g s .   R ec tifie d   lin ea r   u n it  ( R eL U )   ac tiv atio n   in tr o d u ce s   n o n - lin ea r ity   t o   e n h an ce   th m o d el’ s   lear n in g   ca p ac it y ,   wh ile  5 0 % d r o p o u t r ate  r e d u ce s   o v e r f itti n g   an d   im p r o v es g en er aliza ti o n .   T o   ac h iev u n if ied   r ep r esen tatio n ,   th o u tp u ts   o f   th tr an s f o r m er   b l o ck ,   B iGR U ,   an d   C NN  ar co n ca ten ated   i n to   s in g le  f ea tu r v ec to r ,   d e n o ted   in   ( 5 ) w h er T ,   B ,   an d   C   r ep r esen th in d iv id u al  o u t p u ts   o f   th r esp ec tiv m o d els.  T h i s   co n ca ten ated   f ea tu r v ec to r   is   th en   p r o ce s s ed   th r o u g h   t wo   f u lly   co n n ec ted   d en s lay er s   f o r   f u r t h er   f ea t u r in teg r atio n   a n d   d im en s io n ali ty   r ed u ctio n .   T h e   tr an s f o r m atio n s   ap p lied   b y   th e   d en s lay er s   a r g i v en   i n   ( 6 )   an d   ( 7 ) wh er e   1   an d   2   ar e   weig h m atr ices,  1   an d   1   ar b iases ,   an d   ( f )   r ep r esen ts   th R eL ac tiv atio n   f u n ctio n .       = [ , , ]                     ( 5 )     1 = ( 1   . 1 +   2   )         ( 6 )     2 = ( 2   . 1 + 2   )       ( 7 )     T h co n f ig u r atio n   o f   th two   d en s lay er s ,   with   6 0   an d   3 0   n eu r o n s   r esp ec tiv ely ,   was  d eter m in ed   th r o u g h   em p ir ical  ex p er im en t atio n   an d   h y p er p a r am eter   t u n i n g .   Var io u s   co n f ig u r atio n s   we r test ed   to   ac h iev an   o p tim al  b alan ce   b etwe en   m o d el  c o m p lex ity   an d   p er f o r m an ce .   T h is   co n f ig u r atio n   p r o v id ed   t h b est  r esu lts   in   ter m s   o f   ac c u r ac y   an d   g en er aliza tio n ,   as  r ef lecte d   i n   th e   ev alu atio n   m etr ics.   T h e   f in al   class if icatio n   in to   o f f en s iv o r   n o n - o f f en s iv ca t eg o r ies  is   p er f o r m ed   b y   s o f t m ax   ac tiv atio n   lay e r ,   d e f in ed   in   ( 8 ) T o   o p tim ize   th m o d el’ s   p r ed ictio n s ,   th e   b in ar y   cr o s s - en tr o p y   lo s s   f u n ctio n   B C E   is   em p lo y ed ,   wh ich   q u an tifie s   th class if icatio n   er r o r .   T h is   is   f o r m u lated   in   ( 9 ) .     ( ) =   ( 3   . 3 +   3   ( 8 )     =     l og ( 0 ( ) )     ( 9 )     T h en d - to - e n d   w o r k f l o b e g in s   with   p r e p r o ce s s in g   a n d   to k en izatio n   o f   in p u t   twee ts   to   en s u r e   co m p atib ilit y   with   t h DL   m o d els.  T h e   p r e p r o ce s s ed   tex t   is   s im u ltan eo u s ly   f ed   in to   th e   tr an s f o r m er   b lo ck ,   B iG R U,   an d   C NN,   ea ch   ex tr a ctin g   u n iq u e   f ea tu r es  th at   ar e   f u s ed   in to   th co n ca ten ate d   v ec to r   v .   T h is   v ec to r   is   r ef in ed   th r o u g h   t h d e n s lay er s ,   an d   th e   f in al  class if icatio n   is   ac h iev e d   in   th s o f tm ax   lay er .   B y   in teg r atin g   g l o b al,   s eq u e n tial,  an d   lo ca f ea tu r es,  th is   m u l tich an n el  f r am ewo r k   ca p t u r es  co m p r e h en s iv e   r ep r esen tatio n   o f   th d ata,   r es u ltin g   in   im p r o v e d   p r ed ictio n   ac cu r ac y .   T h o v er all  ar ch ite ctu r e,   illu s tr ated   in   Fig u r 5 ,   h ig h lig h ts   t h in te r a ctio n s   am o n g   t h c o m p o n en ts   an d   d em o n s tr ates  h o th eir   i n teg r atio n   en h a n ce s   th m o d el’ s   p e r f o r m an ce   in   d e tectin g   o f f e n s iv b eh av i o r   o n   s o cial  m ed ia  p latf o r m s .           Fig u r 5 .   Pro p o s ed   DL   f r am e wo r k   em p l o y in g   co m b in atio n   o f   B iGR U,   tr an s f o r m er   u n it  an d   C NN  with in   m u ltich an n el  s tr u ctu r f o r   in te llig en t c y b er b u lly in g   d etec tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E xp lo r in g   s o cia l m ed ia   s en tim en t p a tter n s   fo r   imp r o ve d   cy b e r b u llyin g     ( Wa el  Mo h a me d   S h a h er Ya fo o z )   4219   3.   I M P L E M E NT A T I O E NV I RO NM E N T   T h is   s ec tio n   p r esen ts   co m p r eh en s iv o v er v iew  o f   th v a r io u s   to o ls   an d   tech n o lo g ies  u tili ze d   in   cr ea tin g   th p r o p o s ed   cy b e r b u lly in g   p latf o r m   ( T ab le  5 ) .   Py th o n   v er s io n   3 . 6   was  u tili ze d   as  th f u n d am en ta l   p r o g r a m m in g   lan g u ag to   d e v elo p   th e   p latf o r m .   T h p o wer f u in teg r ated   d e v elo p m e n en v ir o n m en ( I DE )   k n o wn   as  Vis u al  Stu d io   C o d e   2 0 2 0   was  em p lo y e d   to   e n h a n ce   th f u n ctio n ality   o f   h i g h - lev el  p r o g r am m in g   in ter f ac es.  T h is   en v ir o n m en p r o v id e d   s u p p o r f o r   th ex p an s io n   o f   f u n d am e n tal  lib r ar i es  s u ch   as  Ker as,   T en s o r Flo w,   an d   Scik it - lear n .   T h p r o ce s s   was in itiated   b y   r etr iev in g   twee ts   f r o m   th API   u s in g   th t wee tI n v i lib r ar y .   Af ter   th at,   th twee ts   o b tain e d   wer e   s u b j ec ted   to   to k e n izatio n   u s in g   t h e   n ltk . to k en ize   lib r ar y .   T h is   p r o ce s s   r esu lted   in   t h g en er atio n   o f   lis o f   to k en s .   T h to k en   lis ts   wer s u b s eq u en tly   u tili ze d   t o   g e n er ate  n - g r am s   ( s p ec if ically ,   uni - g r a m ,   b i - g r am ,   an d   tr i - g r am )   b y   em p lo y in g   th n ltk . n g r am   lib r ar y .   Af ter   co m p u tin g   th ese  f ea tu r es,  th PC l ib r ar ies  wer im p o r ted   in to   th d esig n ated   p latf o r m .   T h h ig h est - p er f o r m i n g   ch ar a cter is tics   wer th en   em p lo y ed   to   tr ai n   an d   ev al u at d if f er e n ML   class if ier s   an d   DL   m o d els  b y   u tili zin g   th e   Ker as,  T en s o r Flo w,   an d   Scik it - lear n   lib r ar ies.   Var io u s   class if icatio n   alg o r ith m s   b ased   o n   ML   h av b ee n   u tili ze d   to   ass e s s   th ef f icac y   o f   th e   cy b er b u ll y in g   p latf o r m   u n d er   co n s id er atio n .   T h e   o u tco m es  o f   ea ch   class if icatio n   alg o r ith m   u n d er g o   r i g o r o u s   v alid atio n   p r o ce s s   u s in g   k - f o ld   c r o s s - v alid atio n .       T ab le  5 .   Pro p o s ed   im p lem e n ta tio n   en v ir o n m en o f   c y b er b u lly in g   d etec tio n   C o m p o n e n t   To o l a n d   t e c h n o l o g i e s   D e scri p t i o n   U sed   h a r d w a r e   P r o g r a m mi n g   l a n g u a g e   P y t h o n   v e r s i o n   3 . 6     I D E   V S   C o d e   1 . 7 4   V     R A M   1 8   G B 0     OS   W i n d o w s   10     C P U   I n t e l   ( R )   C o r e   ( T M )   i 7 - 6 7 0 0   C P U   3 . 4 0   G H z   C o r e   l i b r a r i e s   M a t p l o t l i b N L K T K e r a s   D a t a   v i su a l i z a t i o n   l i b r a r i e s t e x t   a n a l y s i s s u p p o r t   t o o l k i t   a n d   l i b r a r i e s NN   l i b r a r i e s s u p p o r t     P a n d a s   D a t a   p r e p a r a t i o n   P a n d a s   l i b r a r i e s     S k l e a r n   ML   s u p p o r t   l i b r a r y   f o r   c l a ss i f i c a t i o n     Tw e e t I n v i   X   A P I   su p p o r t   l i b r a r y       4.   E XP E R I M E N T A L   RE SUL T S   T h is   s ec tio n   p r esen ts   th em p ir ical  f in d in g s   o f   th e   p r o p o s e d   cy b e r b u lly in g   d etec tio n   p lat f o r m .   T h p latf o r m   was  o r g an ized   b ased   o n   f o u r   d is tin ct  m o d els.  T h e   f ac tu al  d ec is io n   attr ib u tes  wer u s ed   to   f o r ec ast   twee ts   ca teg o r ies  with in   th tr ad itio n al   ML   class if icatio n   m o d el.   Su b s eq u en tl y ,   th f ea tu r e   s elec tio n   m eth o d o l o g y   was  u tili ze d   to   id en tify   r ele v an f ea t u r es  f o r   f o r ec asti n g   o f f en s iv a n d   n o n - o f f e n s iv twee ts .   T h is   id en tific atio n   was  ac co m p lis h ed   b y   e m p lo y i n g   th af o r em en tio n ed   m et h o d s .   T h r esu lts   o f   th ese  ex p er im en ts   ar p r esen ted   in   F ig u r 6 .   C r itical  an aly s is   o f   th g r ap h   s h o ws  th at  ea ch   class if icatio n   m o d el  u tili zin g   th c u r r en s et  o f   f ea tu r es  ac h iev ed   tr u class if icatio n   ac cu r ac y   r ate  e x ce e d in g   7 7 %.  T h e   SVM  an d   K NN  class if ier s   wer e   n o tewo r th y   d u to   th eir   r em ar k ab le  p r ec is io n   in   p r e d ictin g   o u tco m es.  T h SVM  class if ier   ac h iev ed   an   ac cu r ac y   o f   9 4 %,  wh ile  th KNN  clas s if ier   ac h iev ed   an   ac cu r ac y   o f   9 1 . 5 %.  C o m p ar ati v an aly s is   am o n g   d if f er en m o d els  r ev ea led   an   a cc u r ac y   o f   8 9 %,  8 8 . 7 %,  8 7 . 2 %,  an d   8 3 . 8 f o r   DT ,   R F,  an d   XGB,  r esp ec tiv ely   as p r esen ted   in   T ab le  6 .   Fu r th er m o r e ,   wh e n   u tili zin g   s u b s et  o f   f ea t u r es,  th e   p r e d ictiv ac cu r ac y   o f   all  ML   class if ier s   s u r p ass ed   th r esh o ld   o f   7 8 . 7 %.  T o   tr ain   an d   test   th ML   m o d els,  PC an d   PC C   wer u s ed   to   s elec th e   r elev an s u b s et  o f   d ec is io n   f ea tu r es.  Mo d el  co m p lex ity   a n d   o v er f itti n g   wer ef f ec tiv el y   m itig ated   b y   th f ea tu r r ed u ctio n   ap p r o ac h .   T h g r ap h   s h o ws  th e   p o s itiv i m p ac o f   im p lem e n tin g   th is   s tr ateg y   o n   th o v er all   ac cu r ac y   o f   t h ML   m o d els .   T h   m o d el’ s   p e r f o r m an ce   was  s u p er io r   to   o th er   class if ier s ,   ac h iev in g   an   im p r ess iv ac cu r ac y   r ate  o f   9 8 %.  Similar ly ,   th e   KNN,   DT ,   R F,  XGB,  an d   L R   m o d els  h ad   an   ac cu r ac y   o f   9 2 %,  9 2 %,  9 0 . 3 %,  8 8 %,  an d   8 4 . 5 %,  r esp ec tiv ely .   Mu ltip l ass e s s m en m etr ics  wer ca lcu lated   to   ev alu ate  th m o d els’  p e r f o r m an ce ,   s u c h   as  ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e   [ 3 9 ] .   Acc u r ac y   is   d e f in ed   as  th p r o p o r tio n   o f   co r r ec tly   p r ed icte d   o cc u r r en ce s   ( tr u p o s itiv e)   o u o f   th e   to tal  n u m b er   o f   in s tan ce s .   T h m ea s u r o f   ac c u r ac y   f o r   th m u lti - class if icatio n   p r o b lem   is   s h o wn   in   ( 1 0 ) Usi n g   th n u m b er   o f   tr u p o s itiv in s tan ce s   d iv id ed   b y   th e   to tal  n u m b er   o f   in s tan ce s ,   we  ca n   ca lcu late  th e   ac cu r ac y   o f   m o d el.   R ec all  q u an tifie s   th p r o p o r tio n   o f   ex p ec ted   p o s itiv o u tco m es   th at  ar ac cu r ately   id en tifie d   as  p o s itiv e.   I n   m u lti - class if icat io n   is s u e,   th i - th   lab el  o f   th class   is   d eter m in ed   b y   s u m m in g   th e   v alu es in   co lu m n   o f   th co n f u s io n   m atr ix .   T h ca lcu latio n   o f   r ec all  is   d eter m in e d   in   ( 1 1) .     A c c ura c y =             ( 10 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   5 ,   Octo b er   2 0 2 5 4 2 1 1 - 4 2 2 5   4220    =                   (1 1 )     Div id th n u m b er   o f   tr u p o s itiv es  b y   th to tal  n u m b e r   o f   ac tu al  p o s itiv es  to   ca lcu late  th r ec all.   Pre cisi o n   r ef er s   t o   th e   p r o p o r t io n   o f   ac c u r ately   an ticip ated   p o s itiv ca s es  o u t   o f   all  th e   a ctu al  p o s itiv ca s es.  Su m m in g   th v al u es  in   co l u m n   o f   t h co n f u s io n   m atr ix   d eter m in es  th j - th   lab el  o f   t h class   in   m u lti - class if icatio n   is s u e.   Acc u r ac y   is   d ef in ed   as  th r atio   o f   th n u m b er   o f   tr u p o s itiv p r e d ictio n s   to   th n u m b er   o f   tr u n eg ativ p r ed ictio n s .   T h ( T r u ePo s itiv e j )   p r e d icted   p o s itiv in s tan ce s   as   p r o p o r tio n   o f   th to tal  ( T o talPre d icted Po s itiv e j )   as  c alcu lated   in   ( 1 2) .   L et  m   b a   m atr ix ,   w h er r ep r esen ts   t h r o ws  ( p r ed icted   lab el)   an d   r ep r esen ts   th co lu m n s   ( ac tu al  lab el) .      =               (1 2 )     T o   ev alu ate  t h r o b u s tn ess   an d   g en e r aliza tio n   ca p a b ilit y   o f   th p r o p o s ed   m o d el,   we  em p l o y ed   k - f o ld   cr o s s - v alid atio n   k =1 0 .   I n   th i s   m eth o d ,   th e   d ataset  was  d i v id ed   i n to   1 0   eq u al   s u b s ets,  o r   f o ld s .   Fo r   ea ch   iter atio n ,   o n e - f o ld   was  u s ed   as  th tes tin g   s et,   wh ile   th r em ain in g   k - 1   f o ld s   wer u s ed   f o r   tr ain in g .   T h is   p r o ce s s   was  r ep ea ted   1 0   tim e s ,   en s u r in g   th at  e v er y   d ata  p o in was  u s ed   f o r   b o th   t r ain in g   an d   test in g   ex ac tly   o n ce .   T h p er f o r m a n ce   m etr ics,  in clu d in g   ac cu r ac y ,   p r ec is io n ,   r ec all,   an d   F1 - s co r e,   wer av er ag ed   ac r o s s   all  f o ld s   to   p r o v id e   c o m p r e h en s iv ev alu atio n   o f   t h m o d el' s   p er f o r m an ce .   T h is   ap p r o ac h   m in im izes  th r is k   o f   o v er f itti n g   a n d   p r o v i d es a   r eliab le  esti m ate  o f   th m o d el' s   ef f ec tiv en ess   ac r o s s   d if f er en t d a ta  s p lits .   I n   T ab le  6 ,   b o th   th wh o le  an d   s im p lifie d   f ea tu r s ets  ar ill u s tr ated   f o r   th ex p er im e n tal  m o d els.  I n   ter m s   o f   ac cu r ac y ,   p r ec is io n ,   a n d   r ec all,   t h SVM  co n s is ten tly   o u tp e r f o r m ed   o th er   class if icatio n   m o d els  in   all   class es.  On   av er ag e,   th SV co n s is ten tly   s h o ws  th h i g h est  lev el  o f   ac c u r ac y .   I n   co n tr ast,  th KNN  ex h ib ited   im p r o v e d   p r e d ictio n   o u tco m es,  s p ec if ically   in   r e latio n   to   m em o r y .   Ho wev e r ,   L R   h ad   th lo west  p er f o r m an ce   c o m p a r ed   to   th e   o th er   class if icatio n   m o d els.  I t   s h o wed   p o o r   p e r f o r m an ce   ac r o s s   all  ass ess m en t   m ea s u r es,  ir r esp ec tiv o f   e m p l o y in g   f u ll o r   r ed u ce d   d ec is io n   f ea tu r s ets.           Fig u r 6 .   T wee ts   class if icatio n   ( o f f e n s iv an d   n o n - o f f e n s iv e)   r esu lts   u s in g   ac tu al  an d   r ed u c ed   f ea tu r es  s et       T ab le  6 .   E v alu atin g   class if icatio n   m o d els b ased   o n   b o th   f u ll  an d   r ed u ce d   f ea tu r es   C l a s si f i e r s \ m e t r i c s     A c t u a l   f e a t u r e s se t   p e r f o r ma n c e   me a s u r e s     R e d u c e d   f e a t u r e s s e t   p e r f o r ma n c e   m e a su r e s   F1   A c c u r a c y   R e c a l l   P r e c i s i o n   F1   A c c u r a c y   R e c a l l   P r e c i s i o n   S V M   0 . 9 4   94   0 . 9 3 5   0 . 9 2 1   0 . 9 8   98   0 . 9 6 1   0 . 9 8 1   K N N   0 . 9 3   9 1 . 5   0 . 9 0 3   0 . 8 9 5   0 . 9 2   92   0 . 9 0 5   0 . 9 3 2   DT   0 . 9 0   89   0 . 9 0 1   0 . 8 9 2   0 . 9 2   92   0 . 9 0 1   0 . 8 8 1   RF   0 . 9 1   8 8 . 7   0 . 8 9   0 . 8 6   0 . 9 1   9 0 . 3   0 . 8 9 0   0 . 8 9 1   XGB   0 . 8 9   8 7 . 2   0 . 8 8 1   0 . 8 7 5 2   0 . 8 9   88   0 . 8 5 3   0 . 8 6 5   LR   0 . 8 4   8 3 . 8   0 . 8 4 2   0 . 8 2 1   0 . 8 6   8 4 . 5   0 . 8 2 4   0 . 8 2 3   Evaluation Warning : The document was created with Spire.PDF for Python.