I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in a n d   Com p u t e r   S c ience   Vo l .   25 ,   N o .   2 F e b r ua r y   20 22 ,   pp.   1131 ~ 1139   I S S N:  2502 - 4752,   DO I 10 . 11591/i j e e c s . v 25 .i 2 . pp 1131 - 1139       1131       Jou r n al  h o m e page ht tp: // ij e e c s . iaes c or e . c om   C r im e  p r e d ic t io n  u s in g a  h y b r id  se n t i m e n t  an al y si s ap p r oac h   b ase d  on  t h e  b i d ir e c t io n al  e n c od e r  r e p r e se n t a t io n s f r om   t r an sf or m e r s       M oh am m e d   B ou k ab ou s ,   M os t af Az i z i   M A T S I  R e s e a r c L a b,  E c ol e   S upé r ie u r e  de   T e c hn o l o gi e   O uj da   ( E S T O ) , M o ha mm e d F i r s U ni ve r s it y , O uj da , M or oc c o       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le   h is tor y :   R e c e i ve d   J u l   28 ,   2021   R e vi s e d   No v   12 ,   2021   A c c e pt e d   De c   1 ,   2021       Sen t i m en t   a n al y s i s   (SA )   is   w i d e l y   u s e d   t o d a y   in   m an y   are as   s u ch   as   c ri me   d e t ec t i o n   (s e cu ri t y   i n t el l i g en c e )   to   d e t ec t   p o t e n t i a l   s ecu ri t y   t h r e at s   in   r e a l - t i me   u s i n g   s o c i a l   me d i a   p l at fo r m s   s u c h   as   T w i t t e r .   T h e   mo s t   p ro m i s i n g   t e ch n i q u e s   in   s e n t i men t   an a l y s i s   ar e   t h o s e   of   d ee p   l e arn i n g   ( D L ) ,   p art i cu l ar l y   b i d i r ec t i o n al   e n co d e r   r e p re s e n t at i o n s   fro m   t ran s fo r me rs   (BE RT )   in   the   fi el d   of   n at u ral   l an g u a g e   p ro ce s s i n g   ( N L P).   H o w ev e r ,   em p l o y i n g   t h e   B E RT   al g o r i t h m   to   d e t ec t   c r i me s   re q u i r e s   a   c r i me   d at as e t   l ab e l ed   by   t h e   l e x i co n - b as e d   ap p ro ac h .   In   t h i s   p ap e r,   we   u s e d   a   h y b r i d   ap p ro ach   t h at   c o m b i n e s   b o t h   l e x i co n - b as ed   an d   d ee p   l e arn i n g ,   w i t h   BE RT   as   the   DL   mo d el .   We   em p l o y ed   the   l e x i c o n - b as e d   ap p ro ach   to   l ab e l   our   T w i t t e r   d at as e t   w i t h   a   s e t   of   n o r m al   an d   c r i me - r e l at e d   l e x i c o n s ;   t h en ,   we   u s ed   t h e   o b t ai n e d   l ab e l ed   d at as e t   to   t rai n   our   BE RT   m o d el .   T h e   e x p e ri men t al   re s u l t s   s h o w   t h at   our   h y b ri d   t ech n i q u e   o u t p e rf o r m s   e x i s t i n g   ap p ro a c h e s   in   s e v e ra l   me t ri c s ,   w i t h   9 4 . 9 1 %   an d   9 4 . 9 2 %   in   a ccu ra cy   an d   F1 - s c o r e   r e s p ec t i v el y .   K e y w o r d s :   B E R T   C r i m e   t e x t - de t e c t i o n   De e l e a r ni ng   Na t ur a l   l a n gua ge   pr o c e s s i n g   S e c ur i t y   i n t e l li ge n c e   S e n t i m e n t   a n a ly s i s     Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din g   A u th or :   M o h a m m e d   B o uka b o us   M A T S I   R e s e a r c h   L a b ,   E c o l e   S upé r i e ur e   de   T e c hno l o g i e   Ou j d a   ( E S T O ) ,   M o h a m m e d   F i r s t   Uni ve r s i t y   BP   473   c o m p l e xe   Uni ve r s i t a i r e   Al   Qo ds ,   Ou j da   60000,   M o r o c c o   E m a i l :   m . b o uka b o us @ u m p. a c . m a       1.   I NT RODU C T I ON   S e c u r i t y   i n te l l i ge n c e   i s   n o wa da y s   o n e   o f   t h e   pr i m a r y   c o n c e r n s   o f   a ny   c oun tr y .   I i s   a n   or i e n t a t i o n   o f   s e c u r i t y   t e c h ni que s   b a s e d   o n   a r t i f i c i a l   i n t e l l i ge n c e   th a a i m s   to  c o l l e c t   a n or g a ni z e   a l l   da ta   r e l a ted   to  th r e a ts   i n   c y b e r s pa c e   [ 1]   to   d e te c p os s i bl e   a tt a c ks   i n   r e a l - t i m e   a n d   f o c us   on   i de n t i f y i n c r i m i n a l   c h a r a c ter i s t i c s   [ 2] .   T h i s   r e qui r e s   d e e pl y   i de n t i f y i n a n d   a n a l y z i n b ot h   p a tt e r n s   a n tr e n ds   o f   c r i m e   [ 3] .   S uc h   p r o f i l i n a l l o ws   r e l e v a n t   p r ote c t i o n   a n d   a n t i c i pa t i n g   t h e   v a r i ous   i n c i de n t s   by   e a r l i e r   de tec t i o n   o f   m a j or   a tt a c ks .   I n   tod a y 's   w or l d,   i n d i vi dua l s ,   i n c l ud i n g   c y b e r c r i m i n a l s ,   h a v e   b e c o m e   te c h ni c a l l y   s o phi s t i c a t e d   a n d   r e pe a tedl y   e x p r e s s i n g   t h e i r   e m ot i o n s   o n   t h e   we b ,   e s p e c i a l l y   o n   p op u l a r   s oc i a l   m e d i a   we b s i t e s   [ 4] .   T h e   i n t e r n e ph e n o m e n a l   gr o w th   h a s   l e m or e   us e r s   to  e x p r e s s   th e i r   op i ni o n s   o nl i n e   wh e t h e r   i n   da i l y   c h a ( s ta tus   m e s s a g e s   a b ou wh a th e   us e r   i s   d o i n g ) ,   c o n v e r s a t i o n s   ( tw e e t i n to  a   us e r   or   g r oup   o f   us e r s   wi t h i n   a   c o m m uni t y ) ,   i nf or m a t i o n   s h a r i n g   ( p os t i n l i n ks   to  w e b   pa ge s ) ,   or   n e ws   r e p or t i n g   ( up da tes   o n   t h e   c u r r e n c a s e ) .   T r a n s f e r   l e a r ni ng  ha s   b e c o m e   o n e   o f   t h e   m o s t   us e i m a ge   c l a s s if i c a t i o n   a ppr o a c h e s   f o r   r e us i n g   a r c hi t e c t ur e s   a n w e i g h t s   l e a r n e d   o n   h uge   da t a s e t s   to   e nh a n c e   s m a ll   a n pa r t i c u l a r   c l a s s if i c a t i o n   t a s k s   [ 5] .   s i mi l a r   o ut c o m e   m a y   b e   a c hi e v e i n a t ur a l   l a n gua ge   pr o c e s s i ng  ( N L P )   by   r e us i ng  a n t r a n s f e r r i n a   l a n gua ge   m o de l   [ 6] .   T h e   bi d i r e c t i o n a l   e n c o de r   r e pr e s e n t a t i o ns   f r o m   t r a n s f o r m e r s   ( B E R T )   a l go r i t hm ,   i pa r t i c u l a r ,   h a s   b e e n   de m o ns t r a t e to   pe r f o r m   we ll   o n   a   v a r i e t y   o f   E n g l i s t e x t   c a t e g or i z a t i o n   t a s ks ,   s uc h   a s   s e n t i m e n t   a n a ly s i s   [ 7] .   S e n t i m e n t   a n a ly s i s   us i ng   NL P   a n d e e l e a r ni ng  ( DL )   m e t h o ds   h a s   r e c e n t l y   be e n   a   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   25 ,   N o .   2 F e b r ua r y   20 22 :   1131 - 1139   1132   h o t   s t udy   s u bj e c t .   E m o t i o n s   a r e   o n e   o f   t h e   m o s t   i m po r t a n t   c o m po ne n t s   o f   h u m a n   e xi s t e n c e   t h a t   m a y   a i i t h e   i d e n t i f i c a t i o n   o f   t r e n ds   a n us e r   n e c e s s i t i e s .   DL   i s   a   s u bf i e l o f   m a c hi ne   l e a r ni ng  t h a t   a l l o ws   m a c hi ne s   t a u to m a t i c a ll y   li nk  pr o c e s s e s   to ge t h e r ,   by   a ll o w i ng  s e v e r a l   a l go r i t hm s   t o   b e   us e pr o gr e s s i ve ly   w hil e   p a s s i n g   f r o m   s t e t o   s t e p,   i t   c a n   s o l v e   c o m p l e pr o bl e m s   i a lm o s t   t h e   s a m e   w a y   t h e   h u m a b r a i do e s .   B E R T   i s   a   m o de l   f o r   l e a r ni ng  li ngu i s t i c   r e pr e s e n t a t i o ns   t h a t   us e   t h e   a t t e n t i o n   t r a n s f o r m e r s   m e t h o d.   A   D L   m o de l   de s i g n e d   to   h a n d l e   s e que n t i a l   da t a to  l e a r n   t h e   w o r d - to - w o r c o n t e x t ua l   r e l a t i o n   i n   a   t e x t   [ 8] .   T h e   r e s t   o f   t hi s   pa pe r   i s   s t r uc t ur e a s   f o l l o w s .   I n   s e c t i o n   2,   we   d i s c us s   r e l e v a n t   r e l a t e wo r ks .   Our   m e t h o do l o g y   i s   pr e s e n t e i s e c t i o n   3.   E x pe r i m e nt s   a n r e s u l t s   a r e   de s c r i be i s e c t i o 4.   F i na ll y ,   s e c t i o n   5   c o n c l ude s   t h e   s t udy   a n s ugg e s t s   s o m e   a r e a s   f o r   f u t ur e   r e s e a r c h .       2.   RE L AT E WORK     Ve n t i r o z o s   e al.   [ 9]   a ppl i e a   l e xi c o n - ba s e d   a ppr o a c h   to   de t e c t   a ggr e s s i v e ,   a n t i s o c i a l ,   o r   i na ppr o pr i a t e   be h a vi o r ,   w i t hi n   t h e   c o n t e x t   o f   t h e   d i s c us s i o n .   T h e   a ut h o r s   e m p l o y   S A   a t   t h e   m e s s a ge   l e v e l ,   b ut   s t udy   t h e   w h o l e   c o m m u ni c a t i o n   t h r e a us i ng  a   s e o f   n - gr a m ,   w hi c h   i s   us e f o r   c l a s s if y i ng  t h e   w h o l e   t h r e a d   a s   a ggr e s s i ve   o r   n e ut r a l .   T h e   l e xi c o n - b a s e a ppr o a c h   h a s   t h e   a dv a n t a ge   to  n ot   r e qui r e   pr i o r   t r a i nin ( o n   a   da t a s e t)   to   m i ne   t h e   da t a   b ut   t h e   f i na l   r e s u l t   c a n   d i f f e r   a c c o r d i n t o   t h e   c o n t e x t   i n   w hi c h   t h e   l e xi c o n s   we r e   c r e a t e d.   S i r i a r a y a   e al.   [ 10]   a pp l i e t h e   m a c hi ne   l e a r ni ng  ( M L )   a ppr o a c h   to   c r e a t e   a   c r i m e - s o l vi ng  too l   t h a t   g i v e s   c o n t e x t   f o r   c r i mi na l   e v e n t s .   T h e   a ut h o r s   ut i li z e   d a t a   f r o m   T w i t t e r   by   pr o vi d i ng   c o n t e x t ua l   i n f o r m a t i o n   a b o ut   c r i m e   i nc i de n t s   o c c ur r i n g   i a   s p e c i f i c   a r e a   ( S a n   F r a n c i s c o )   us i ng  m a c hi ne   l e a r ni ng  c l a s s if i c a t i o n   m o de l s   ( l o g i s t i c   r e gr e s s i o n   a n s uppo r t   v e c to r   m a c hi ne ) .   T h e   m a c hi ne   l e a r ni ng  a ppr o a c h   c a n   a da pt   a n c r e a t e   tr a i n e m o de l s   f o r   s pe c i f i c   pur po s e s   a n c o n t e x t s ,   b ut   i t   h a s   l o a pp l i c a bil i t y   o n   n e da t a   b e c a us e   i t   n e c e s s i t a t e s   t h e   a v a il a bil i t y   o f   l a b e l e da t a .   P e r e i r a - K o ha t s e al.   [ 11 ]   a ppl i e a   de e l e a r ni ng   a ppr o a c h   to   de v e l o a   T wi t t e r - b a s e i n t e l li ge nc e   s y s t e m   f o r   d e t e c t i n a n d   a n a ly z i ng  h a t e   s pe e c h   c a ll e H a t e r Ne t .   T h e   a ut h o r s   u t i li z e a   m u l t il a y e r   pe r c e pt r o n   n e ur a l   n e t wor t h a t   a c c e p t s   a s   i n put   t h e   t we e t ' s   w o r d ,   e m o j i ,   a n e x pr e s s i o n   e m be dd i n g s   to ke n s   e nha n c e by  t h e   t f - i d f   a n o u t pu t   t h e   a r e a   un de r   t h e   c ur v e   ( A U C ) .   B E R T   i s   o n e   o f   t h e   b e s t   DL   a l go r i t hm s   i S A ,   a s   s h o wn   i [ 12] .   Ya da v   e al.   [ 13]   us e t h e   B E R T   a l go r i t hm   t o   i de n t i f y   c y be r b u l lyi ng  o n   s o c i a l   m e d ia  p l a t f o r m s ,   ut i li z i ng  t h e   B E R T   m o de l   a s   a   c l a s s i f ier   wi t h   a   s i n g l e   li ne a r   n e ur a l   n e t wor l a y e r ,   t r a i n e a n e v a l ua t e o n   t w o   s o c i a l   m e d i a   da t a s e t s ,   o n e   s m a ll   a n o n e   f a i r ly   bi g.   W e i r   e al.   [ 14]   pr o p o s e a   s y s t e m   t h a t   c o m bi ne s   b o t h   m a c hi ne   l e a r ni n a n l e xi c o n - ba s e d   a ppr o a c h e s   t de t e c t e r r or i s t   we b   pa ge s ,   ga uge   t he   s t r e n gt h   o f   t h e i r   c o n t e n t ,   a n c a t e g o r i z e   da t a   c o l lec t e o n   t e r r o r i s m   a n e x t r e m i s m   n e t wo r ks .   T h e   a ut h o r s   d e v e l o pe d   a n   i n - de pt h   f r e qu e n c y   s t ud y   o f   t h e   s y n t a x   u s i ng   t h e   P o s i t   t e x t ua l   a n a ly s i s   t oo l k i t ,   whi c h   i nc l ude d   m u l t i - wo r uni t s   a n t h e i r   r e l a t e pa r t s   o f   s pe e c h .   Af t e r   t h a t,   ut i l i z i ng   k n o w l e dge   e x t r a c t i o n   t e c hni que s ,   t h e   f i nd i ngs   a r e   us e d   i a   k n o w l e dg e   e x t r a c t i o pr o c e s s   ( de c i s i o n   t r e e ,   r a n do m   f o r e s t ).   T h e   a b o v e - m e n t i o n e r e l a t e wo r ks   c a n   g i ve   a   de c e n t   s e n t i m e n t   a n a ly s i s   pr e d i c t i o n   r a t e   i s e c ur i t y   i n t e ll i ge n c e   c o n t e x t .   Ho we v e r ,   wor ks   t h a t   us e   a   hy br i a ppr o a c h   o f   b o t h   l e xi c o n - b a s e a n de e p   l e a r ni ng   a ppr o a c h e s   a r e   r a r e ,   e s pe c i a ll y   i t hi s   c o n t e x t .   A s   a   r e s u l t ,   o ur   r e s e a r c h   c o n t r i b ut e s   t o   t h e   a b o v e - m e n t i o n e d   wo r ks   a s   a n   e s s e n t i a l   e x pe r i m e n t a l   e x pa ns i o n   us i n a   hy b r i d   a ppr o a c h   t h a t   c o m bi ne s   b o t h   l e xi c o n - ba s e a nd   de e l e a r ni ng  a ppr o a c h e s .       3.   M E T HO D   S e n t i m e n t   a na ly s i s   h a s   b e e pr a c t i c e d   o n   a   v a r i e t y   o f   t o pi c s   l i k e   m o vi e   r e vi e ws ,   s e r vi c e   a n d   pr o duc r e vi e ws ,   n e w s ,   bl o gs ,   c h a t b o t,   a n s e c ur i t y   i n t e l li ge n c e   [ 7] .   Dur i n a n   e x t r e m e   i nc i de n t ,   m o s t   o f   t h e   m e s s a ge s   s h a r e o n   T w i t t e r   a r e   c o m m e n t a r y - r e l a t e d,   s uc h   a s   e x pr e s s i ng  t h o ugh t s ,   r e po r t i n t he m ,   a n d   a tt e m pt i n t o   un de r s t a n wh a t   ha ppe n e a n w hy .   S e n t i m e n t   a n a ly s i s   r e s e a r c h   ha s   m a i n ly   f o c us e e i t h e r   o n   i de n t i f y i ng  w h e t h e r   a   g i v e n   t e x t ua l   e n t i t y   i s   o bj e c t i v e   o r   s ubj e c t i ve   o r   o n   i de n t i f yi ng  t h e   po l a r i t y   o f   s u bj e c t i v e   t e x t s   [ 15 ] .   Our   c a s e   s t udi e s   a r e   e x a m p l e s   o f   s e ve r e   o c c ur r e n c e s   b r o ugh t   o n   by   i nd i vi du a l   c h o i c e s   t h a t   h a a   phy s i c a l   im pa c t   o n   i n d i v i dua l s ,   a n t h e r e f o r e   t h e s e   e ve n t s   wo ul h a v e   m u l t i p l e   s o c i a m e d i a   c o m m u ni c a t i o n s .   S e n t i m e n t   a n a ly s i s   ( o r   o pi ni o n   mi n i ng)   i s   e m p l o y e o n   T w i t t e r   by   t h e   m e a ns   o f   o n e   o f   t h e   f o l l o w i n t e c hni que s :     L e xi c o n - ba s e ( r u l e - b a s e d)   a ppr o a c h i t   i s   us e to   c h a r a c t e r i z e   t h e   po l a r i t y   ( n e ga t i v e ,   po s i t i ve ,   a nd   n e ut r a l )   o f   t e x t ua l   m a t e r i a l   ( wo r ds   o r   ph r a s e s   t h a t   c o n v e y   t h e   s e n t i m e n t   o f   t h e   e n t i r e   t e x t ) .   T hi s   m e t h o d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         C r ime   pr e diction  us ing  hy br id  s e nti me nt  analys is   appr oac bas e on  the   …  ( M ohamm e B ouk abo us )   1133   c a n   b e   d i v i de i n t o   i )   c o r pus - b a s e ( us i ng  c o r pus   da t a   i n   e i t h e r   a   s t a t i s t i c a l   o r   s e m a n t i c   m a nn e r )   a n d   ii d i c t i o n a r y - ba s e ( us i ng  d i c t i o n a r y   d a t a ) .     M a c hi ne   l e a r ni ng  a ppr o a c h :   t hi s   t e c hni que   a ll o w s   m a c hi ne s   t o   l e a r n   t a s ks   w i t h o ut   b e i n p a r t i c u l a r ly   pr o g r a m m e t o   pe r f o r m   t h e m .   B y   t r a i ni ng  M L   a lgo r i t hm s   w i t h   e x a m p l e s   o f   l a b e l e e m o t i o ns   i n   t e x t s   ( da t a s e t ) ,   m a c hi ne s   a ut o m a t i c a ll y   l e a r n   h o to   pr e d i c t   s e n t i m e n t   w i t h o ut   h u m a n   i n t e r v e n t i o n .   M L   m o de l s   c a n   be   t r a i n e i S A   t a s ks   t o   r e a b e y o n s im p l e   de f i ni t i o ns ,   a n u n de r s t a n m o r e   c o m p l e t hi n gs   li ke   c o n t e x t ,   m e t a ph o r ,   s a r c a s m ,   a n m i s a pp l i e wo r ds .   T h e   m o s t   pr o m i s i ng  a l go r i t hm s   a r e   DL   o n e s .     H y b r i a ppr o a c h i t   i s   t h e   c o m bi na t i o n   o f   M L   m e t h o ds   a n l e xi c o n - b a s e a ppr o a c h e s   i n t o   o n e   s y s t e m   t o   e nh a nc e   t h e   m o de l 's   pe r f o r m a n c e   a s   we ll   a s   s e n t i m e n t   s c o r i n g.   T hi s   g i ve s   us   a   m a c hi ne   l e a r ni n mo de l   t h a h a s   b e e n   t r a i n e o n   a   l a b e l e c o r pus .   Our   pr o p o s e m e t h o i s   t o   us e   t h e   hy b r i a ppr o a c h   t o   b u i l a   B E R T   m o de l   o a   t we e t s   da t a s e t ,   l a b e l e us i ng  t h e   l e xi c o n - b a s e a ppr o a c h   by   f o l l o w i n t h e   n e x t   s t e ps   a s   s h o wn   i n   F i gur e   1.   i)   F i r s t   S t e p:  Da t a   c o l l e c t i o n .   I n   t hi s   s t a ge ,   da t a   f o r   o ur   a n a ly s i s   i s   c r a w l e f r o m   T w i t t e r   us i n T w i t t e r   a pp l i c a t i o n   pr o gr a m mi ng  i n t e r f a c e   ( A P I ) .   W e   r e mi nd  t h a t   t h e   da t a   f r o m   t hi s   s o c i a l   m e d i a   p l a t f o r m   is   a   v a l ua bl e   r e c o r o f   t h e   i n t e r s u bj e c t i v e   u n d e r s t a n d in o f   a n   e x t r e m e   e v e n t   by   i nd i vi du a l s   a n gr o ups   due   to   t h e   n a vi ga t i o n a l   e a s e ,   a n o nymi t y   ( t h e   a bil i t y   t o   po s t   a ny   m a t e r i a l   w i t h o u t   di s c l o s i ng  n a m e s ) ,   a n th e   publi c a t i o n   s y s t e m 's   f l a w s   ( us e r s   o n l y   ne e to   h a ve   e a c h   a   va l i a c c o un t ) .     ii )   S e c o n S t e p:  E n r i c hm e n t .   W e   u s e t h e   S pa r na t ur a l   l a n gua ge   t oo l k i t   ( NL T K )   li b r a r y   t o   b r e a t h e   s e n t e n c e s   i n t o   wo r ds   a n t a gg i n t h e m .   Af t e r   do i ng  t h e   pa r t s   o f   s p e e c h   ( P OS )   t a gg i n w hi c h   s t a n ds   f o r   P a r o f   S pe e c h   t a gg i n o n   t h e   wo r ds   o f   t we e t s ,   we   a l s o   t a gge t h e   d i f f e r e n t   wo r ds   b a s e o n   f i ve   d i c t i o n a r i e s   t h a t   we   f e i n t o   o ur   s y s t e m   ( po s i t i v e ,   ne ga t i v e ,   i n c r e m e n t a l ,   de c r e m e n t a l ,   a n i nv e r s e   wo r ds )   e a c h   o n e   w i t h   a   d i f f e r e n t   w e i g h t .   ii i )   T hi r S t e p:  Da t a   c l a s s if i c a t i o n .   Us i ng   t h e   a b o v e   d i c t i o n a r y   ( t a gs ) ,   t h e   m o de l   c a l c u l a t e s   t h e   s e n t i men s c o r e   o f   e a c h   s e n t e n c e   a n g i ve s   t h e   o v e r a ll   s e n t i m e n t   s c o r e .   A   po s i t i v e   s c o r e   i s   t a ke n   a s   a   n o r m a l   t we e a n a   ne ga t i v e   o n e   i s   t a ke n   a s   a   c r i m e - r e l a t e t we e t.   i v)   F o ur t h   S t e p:  P r e - pr o c e s s i n g .   B e f o r e   we   s t a r t   b u i l d i ng  o ur   B E R T   m o de l ,   t h e   a c qu i r e da t a   i s   c l e a n e d   to  m a ke   i t   r e a d y   f o r   f e e d i ng  i t   i n t t h e   c l a s s if i e r .   v)   F i f t h   S t e p:  B u i l d i ng  t h e   m o de l .   W e   l o a t h e   pr e - tr a i ne B E R T   S e que n c e   C l a s s i f i e r   a n T o ke n i z e r .   T h e n ,   we   us e t h e   S e que n c e   C l a s s if i e r   a n B E R T ' s   T o ke ni z e r ,   to   b u i l o ur   m o de l   a n t o ke ni z e r .   F i na ll y ,   we   us e t hi s   m o de l   o n   t h e   T wi t t e r   da t a s e t   t h a we   a l r e a d y   l a b e l e t f i ne - t un e   t h e   c l a s s i f i e r .   vi )   S i x t h   S t e p:  E v a l ua t i n t h e   m o de l .   W e   a s s e s s   o ur   m o de l   us i ng  t h e   t e s t   da t a s e by   pr e d i c t i n s e n t i m e n t s   a f t e r   i t   h a s   b e e n   b u il t   a n ge ne r a t e d.           F i gur e   1.   P r o p o s e m e t h o d       3. 1.     L ab e l in t h e   d at a   T h e   T w i t t e r   da t a   c o l l e c t e f o r   t e x t   a n a ly s i s   c o n t a i n   70 , 000   t we e t s   ( 27 , 000   c r i m e   t we e t s ,   43 , 000   n o r m a l   t e x t s ) .   T h e   c o r pus   f o r   C h r i s t c h ur c h   M o s qu e   a tt a c ks   c o n t a i ns   37 , 000   t we e t s ,   E l   P a s o   s h o ot i n c o n t a i ns   15 , 000   a n Ha n a a t t a c ks   c o n t a i n   18 , 000 .   T h e   s t r e a m i ng  T w i t t e r   A P I   wa s   us e d   to   ga t h e r   t h e s e   t we e t s .   W e   we r e   un a bl e   t o   a c qui r e   hi s t o r i c a l   da t a   us i n g   T w i t t e r   s i n c e   i t   o nly   pe r m i t s   us   t o   c o l l e c t   da t a   f r o m   t h e   l a s t   s e v e da y s ,   a n s o   we   b e g i t o   c o l l e c t   t we e t s   da t a   t h e s e   l a s t   t h r e e   y e a r s .   T h e   da t a   we   us e d   wa s   t a ke n   o v e r   t h r e e     D a t a   L o a d in g T r a n s fo r m   t o   D a t a F r a m e Po s i t i v e   w o r d s N e g a t i v e   w o r d s I n c r e m e n t a l   w o r d s D e c r e m e n t a l   w o r d s I n v e r s e   w o r d s A s s i g n   p o s i t i v e   t a g s A s s i g n   n e g a t i v e   t a g s A s s i g n   i n c r e m e n t a l   t a g s A s s i g n   de c r e m e n t a l   t a g s A s s i g n   i n v e r s e   t a g s P O S   T a g g e r T a g   f i lt e r T a g   s e n t e n c e C a l c ul a t e   s e n t i m e n t   s c o r e P r e d ic t   s e n t ime n t L a b e le d   D a t a B E R T R e m o v e   t w e e t s   f e a t u r e s R e m o v e   r e p e a t e d   t w e e t s R e m o v e   r e p e a t e d   l e t t e r s   R e m o v e   s t o p   w o r ds Lo w e r c a s i n g Ta g   f i l t e r T o k e n iz e P a r t it io n in g T e s t in g   s e t T r a in in g   S e t P a r a m e t e r s   a d j us t e m e n t T r a i n i n g   t h e   M o d e l P r e d i c t i n g   t e s t   d a t a S a v in g   t h e   mo d e l Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   25 ,   N o .   2 F e b r ua r y   20 22 :   1131 - 1139   1134   da y s   f o r   e a c h   o f   t h e   i n c i d e n t s ,   o n e   da y   b e f o r e ,   o n e   da y   a f t e r ,   a n t h e   da y   i q ue s t i o n ,   a l l   u s i n t h e   c i t y 's   n a me   a s   a   ke y wo r d.     C h r i s t c h ur c h   M o s que   a tt a c ks   a r e   a   s e r i e s   o f   f a r - r i gh t   t e r r or i s t   a tt a c ks   c o m m i t t e o n   M a r c h   15,   2019 ,   b y   B r e n t o n   T a r r a n t   a ga i ns t   t w o   m o s que s   i t h e   c i t y   o f   C h r i s t c h ur c h ,   Ne Z e a l a n d,   w hi c h   l e f t   51   de a a nd   49   i nj ur e d   [ 16] .   I t   i s   t h e   d e a d li e s t   m a s s a c r e   t o   h a ve   o c c ur r e i n   p e a c e t i m e   i Ne w   Z e a l a n s i nc e   t h a t   o f   B o y i n   1809  ( 66  to  70  de a d) .     E l   P a s o   s h o ot i n t oo k   pl a c e   o n   A ugus t   3,   2019,   i E l   P a s o ,   T e x a s   [ 17] .   T we n t y - t h r e e   pe o p l e   a r e   k il led,   a t   l e a s t   t we n t y - t h r e e   ot h e r s   a r e   i nj ur e d.   T h e   k i ll e r   wa s   a r r e s t e a f t e r   s ur r e n de r i n t t h e   po l i c e ,   s a ys   h e   wa n t e to  ki ll   a s   m a ny   M e xi c a ns   a s   po s s i bl e .   R a c i s t   h a t e   c r i m e   i s   t h e   hy po t h e s i s   f a v o r e by   a   s ur v e y .   T h e   M e xi c a n   go v e r nm e n t   c o n s i de r s   i t   a n   a n t i - M e xi c a n   a t t a c k,   a n t h e   UN   s pe a ks   o f   a   t e r r o r i s t   a c t   a ga i ns t   t h e   L a t i n   Am e r i c a n   c o m m u ni t y   i n   t h e   U ni t e S t a t e s .     Ha n a a tt a c ks   too pl a c e   o n   F e b r ua r y   19,   2020,   43 - y e a r - o l T o bi a s   R a t hj e n   f r o m   Ha n a u,   h e r e i na f t e r   r e f e r r e to   a s   " R . ,   s h o t   a n k i ll e ni ne   Ha n a c i t ize ns   w i t h   a   mi gr a t i o n   ba c kgr o un i n   f r o n t   o f   a   s his ha   b a r   [ 18] .   He   t h e n   s h o t   hi m s e lf   a n hi s   m o t h e r   i n   his   pa r e n t s '   a pa r t m e n t .   Af t e r   c o l l e c t i n t he   da t a s e t ,   we   to ke ni z e   i t   a n d   pe r f o r m   pa r t   o f   s pe e c h   t a gg i n g   ( P OS)   f o r   e a c wo r d   us i n t h e   S pa r N L T K   li br a r y   t o   b r e a t h e   s e n t e nc e s   i n t o   wor ds   a n t a t h e m .   T h e n ,   we   e n r i c h   i t   u s i n f i ve   d i c t i o n a r i e s   t h a t   we   f e i n t o   o ur   s y s t e m   ( po s i t i ve ,   n e g a t i ve ,   i nc r e m e n t a l ,   de c r e m e n t a l ,   a n i nve r s e   wo r ds )   e a c h   o n e   w i t h   a   d i f f e r e n t   we i g h t   ( + 1,   - 1,   *2,   /2 ,   * - 1,   r e s pe c t i v e ly ) .   T h e   po s i t i v e   a n d   n e ga t i v e   d i c t i o na r i e s   a r e   b a s e o n   L i a n Hu  o pi ni o n   l e xi c o n   [ 19]   t h a t   w e   h a v e   c o m p l e t e w i t h   ot h e r   s e c ur i t y   i n t e l li ge n c e   l e xi c o f r o m   d i f f e r e n t   publi c   s e c ur i t y   s o ur c e s   li ke   t h e   F B I   NI B R S   da t a   [ 20] .   W e   h a v e   a l s o   i nc l ude i o ur   n e ga t i v e   l e xi c o t h e   I s l a m o p h o bi a   ( t e r r or i s m   a n e x t r e m i s m   a ga i ns t   M us li m s )   m o s t   us e wo r ds ,   r e s u l t i n f r o m   i nc i de n t s   a n e v e n t s   t h a t   a f f e c t   M us l im   c o m m u ni t i e s   i ge n e r a l   [ 21]   a s   s h o wn  i n   F i gur e   2.   S ubs e que n t l y ,   w e   ge t   l a b e l e wo r ds   whi c h   we   us e t o   c a l c u l a t e   s e nt e n c e s   s e n t i m e n t s   i n   g e n e r a l ,   w h e t h e r   n o r m a l   o r   c r i m i na l .   An s o   o n ,   we   we r e   a bl e   t l a b e l   o ur   da t a s e t.           F i gur e   2 W o r d   c l o ud  o f   I s l a m o p h o bi a       3. 2.     P r e p r oc e s s in g   Af t e r   t h e   T w i t t e r   da t a   h a s   b e e n   ga t h e r e d   a n c o nv e r t e to   t e x t   f o r m a t ,   i t   m us t   b e   c l e a n e a n pr e - pr o c e s s e b e f o r e   b e i ng  ut i li z e i s e n t i m e n t   a n a lys i s .   T w i t t e r   da t a   i s   n oto r i o us   f o r   b e i ng  hi g hly   l o u d,   w i t h   a   l o t   o f   b a na l   c h a t t e r   a n li ngu i s t i c   i nc o ns i s t e n c i e s   [ 22] .   T o   m a ke   t h e   T w i t t e r   da t a   a s   c l e a a n e a s y   a s   f e a s i b l e   f o r   o u r   s e n t i m e n t   a n a ly s i s   a l go r i t hm ,   t h e   f o l l o w i ng   pr e pa r a t i o n   pr o c e dur e s   we r e   d o n e .     R e m o va l   o f   t we e t s   f e a t ur e s T we e t s   a r e   f r e que n t l y   c l o gge w i t h   d a t a   t h a t   i s n' t   i mm e d i a t e l y   r e l e v a nt   o r   us e f u l   f o r   s e n t i m e n t   a n a ly s i s .   T h e   h a s h t a s i g n   ( #) ,   UR L s hy pe r l i nk s ,   n u m be r s ,   r e f e r e n c e s   t o   o th e r   us e r s ,   r e t we e s y m b o l   ( R T ) ,   a n e m o t i c o ns   a r e   a l l   i nc l ude i n   t hi s   da t a .   W hil e   n o n e c e s s a r i ly   l a c k i n in  i n t r i ns i c   wo r t h ,   s e n t i m e n t   a n a ly s i s   a l go r i t hm s   d o   n ot   i de n t i f y   t hi s   da t a   c o r r e c t l y ,   t h u s   i t   m u s t   b e   e l im i na t e f i r s t .     R e m o va l   o f   r e pe a t e l e tt e r s   a n d   t we e t s I n   t we e t s ,   wor ds   a r e   f r e que n t l y   wr i t t e n   i e x t e n de d   o r   e x a gg e r a t e f o r m s   ( f o r   e x a m p l e ,   n o   a n n o oo! ! ) .   T o   a c c o m m o da t e   f o r   t hi s ,   t h e   c o r r e c t l y   s pe ll e d   v a r i a n t   o f   e a c h   l e n gt hy   v e r s i o n   o f   a   wo r h a s   b e e s ubs t i t u t e d.   A dd i t i o n a ll y ,   w hil e   e x t r a c t i n t we e t s ,   t h e   A P I   o c c a s i o n a ll y   pr o vi d e s   i de n t i c a l   t we e t s ,   wh i c h   we   r e m o v e to   pr e v e n t   g i vi ng  a   s i ng l e   twe e t   e x c e s s i ve   we i g h t .     R e m o va l   o f   s t o p   w o r ds we   f i l t e r e t h e   s t o p   wo r ds   us i n P y t h o n   N L T K   s t o w or ds   a s   t h e y   a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         C r ime   pr e diction  us ing  hy br id  s e nti me nt  analys is   appr oac bas e on  the   …  ( M ohamm e B ouk abo us )   1135   c o n s i de r e n e ut r a l   po l a r i t y   a n a r e   n o us e f u l   f o r   po l a r i t y   de c i s i o n s .     L o we r c a s i n g:   a s   s e n t i m e n t   a n a ly s i s   a l go r i t hm s   i n c l ude   c a s e   s e n s i t i v i t y ,   a ll   c a p i t a l   c h a r a c t e r s   m us t   be   c o n v e r t e to   l o we r c a s e .   W o r ds   w i t h   t h e   d i s t i nc t   c a s e   wo u l d   ot h e r w i s e   b e   c o n s i de r e d   a s   i nde p e n d e n t   wo r ds   a n pr o c e s s e d   a c c o r di n g ly .   F i na ll y ,   w e   f il t e r   o ur   t a gs   to   h a v e   o nly   a d j e c t i v e s ,   a dve r bs ,   a n n o un s   a s   t h e y   a r e   t h e   m o s t   r e l e v a n t   P OS  i n   S A   f o r   a ny   l a n gua ge   [ 23] .     3. 3.     B u il d in ou r   m od e l   No t h a we   h a ve   c l e a n e a n pr e pa r e o u r   da t a ,   we   di vi de   i t   i n t da t a   ( t e x t s )   a n l a b e l   Y   ( s e n t i m e n t s ) ,   a n t h e n   i n t o   a   r a n do m   t r a i ni ng  s u b s e t   ( 80 % )   a n t e s t i n s u b s e t   ( 20% ) .   W e   b u i l t   o ur   S A   m o de l   us i n g   a   hy br i a ppr o a c h   w i t h   f i r s t   t h e   l e xi c o n - b a s e to   ge n e r a t e   l a b e l e o ut pu t .   T h e n ,   t h e   o ut pu t   wa s   f e i n t o   o ur   B E R T   m o de l   f o r   t r a i ni ng.   T hi s   m o d e l   us e d   t h e   ba s i c   B E R T   m o de l   ( B E R T - ba s e   t h a t   c o n s i s t s   o f   1 2   t r a n s f o r m e r   l a y e r s )   a n b u il t   o ur   s e n t i m e n t   c l a s s if ier   o n   to p   o f   i t .   F o r   t r a i ni n t h e   B E R T   m o de l ,   we   n e e to   d s o m e   a dd i t i o n a l   pr e pr o c e s s i ng:     A dd  s pe c i a l   t o ke n s   to  s e pa r a t e   s e n t e n c e s   a n do   c l a s s if i c a t i o n :     [ S E P ] e n d i n o f   a   s e n t e n c e .     [ C L S ] s t a r o f   e a c h   s e n t e n c e .     [ P A D] s pe c i a l   t o ke n   f o r   pa dd i n g.     [ UN K ] e v e r y t hi ng  e l s e   ( un k n o wn   t o ke n ) .     P a s s   t h e   s e que n c e s   w i t h   a   c o n s t a n t   l e n gt h   ( pa dd i ng ) ,   t h a we   l im i t   t 512  to ke n s .     C r e a t e   a n   a r r a y   o f   pa dde t o ke n s   ( 0   s )   a n r e a l   o n e s   ( 1   s )   c a l l e a t t e n t i o n   m a s k.   W e   t r a i n e o ur   m o de l   o n   t h r e e   e po c hs   ( B E R T   m o de l s   a r e   a l r e a d y   pr e - t r a i n e d,   a n a   de li c a t e   f i ne - t uni n us ua ll y   g i ve s   b e t t e r   r e s ul t s )   w i t h   a   ba t c h   s ize   o f   s i x   ( t h e   t ot a l   n u m be r   o f   t r a i ni ng  s a m p l e s   i n   a   b a t c h )   a n a   l e a r ni ng  r a t e   o f   2e - 5.   T o   ge t   t h e   pr e d i c t e pr o b a bil i t i e s   f r o m   o ur   t r a i n e m o de l ,   we   a pp li e t h e   s o f t m a f u n c t i o n   t o   t h e   o u tpu t s .   On   t h e   pr e d i c t i o n   s t e p,   we   us e a   f o r wa r pa s s   t o   c o m put e   l o g i t s   a n s o f t m a x   t c a l c u l a t e   pr o b a bi li t i e s .       4.   E XP E R I M E NT S   AN RE S UL T S   4. 1.     T e c h n ical   r e s ou r c e s   T h e   f o l l o w i n g   h a r dwa r e   s pe c s   w e r e   us e d   i o ur   s t udi e s   o n   t h e   M A R W AN   hi g h - pe r f o r m a n c e   c o m put i n ( HPC )   i nf r a s t r uc t ur e :     C P U:  I n t e l   Xe o n   Go l 6148,     R AM 192  GB ,     GPU:  2x   NV I DI A   T e s l a   P 100  ( 12   GB ) .   W e   ut i li z e K e r a s   ( 2. 4. 0)   [ 24] ,   a n   o pe n - s o ur c e   p y t h o n   D L   f r a m e wo r t h a t   o pe r a t e s   o n   to o f   Go o gl e ' s   o pe n - s o ur c e   da t a   f l o s o f t wa r e ,   a n T e n s o r F l o w - GPU  [ 25]   a s   t h e   b a c ke n e n g i ne   i n   o ur   e x pe r i m e n t .     4. 2.     E val u at ion   m e t r ics   T o   e v a l ua t e   o ur   m o de l ,   we   us e d   t h e   f o l l o w i ng   m e t r i c s a cc ur a c y ,   l o s s ,   pr e c i s i o n ,   r e c a l l ,   F 1 - s c o r e ,   a n t h e   c o nf u s i o n   m a t r i x .     A c c ur a c y i s   t h e   pe r c e n t a ge   o f   c o r r e c t   p r e d i c t i o ns   a m o n a ll   pr e d i c t i o n s   a s   s h o wn   i n   ( 1 ) .     L o s s i s   t h e   d i f f e r e n c e   b e t we e n   t h e   m o de l 's   pr e d i c t e v a l ue   a n t h e   a c t ua l   v a l ue .   C r o s s - e n t r o py   i s   t h e   m o s t   w i de ly   us e l o s s   f u n c t i o i D L   a s   s h o wn  i ( 2 ) ,   wh e r e   p( x )   i s   t h e   r e a l   d i s t r i b ut i o n   a n d   q( x )   i s   t h e   e s t i m a t e d i s t r i b ut i o n ,   b o t h   s pe c i f i e o v e r   t h e   d i s c r e t e   v a r i a bl e   x   [ 26] .       =    +   +  +  +    ( 1 )     ( , ) = ( ) log   ( ( ) )     ( 2 )     W h e r e :     T r ue   p o s i t i v e   (  ) i s   t h e   n u m be r   o f   s uc c e s s f u l ly   c l a s s if i e po s i t i ve   c l a s s   r e c o r ds .     T r ue   n e ga t i v e   (  ) i s   t h e   n u m be r   o f   s uc c e s s f u l ly   c l a s s if i e n e g a t i ve   c l a s s   r e c o r ds .     F a l s e   po s i t i v e   (  ) i s   t h e   n u m be r   o f   i n c o r r e c t l y   c l a s s if i e n e ga t i v e   c l a s s   r e c o r ds .     F a l s e   n e ga t i v e   (  ) i s   t h e   n u m be r   o f   i n c o r r e c t l y   c l a s s if i e po s i t i v e   c l a s s   r e c o r ds .     P r e c i s i o n i s   t h e   pe r c e n t a ge   o f   a l l   po s i t i v e   r e s u l t s   th a t   we r e   a c c ur a t e l y   i de n t i f i e a s   s h o wn   i n   ( 3 ) .     R e c a ll i s   t h e   pr o por t i o n   o f   a c c ur a t e l y   i de n t i f i e d   po s i t i ve   r e s u l t s   a m o n t h e   tot a l   n u m be r   o f   e xi s t i n g   po s i t i v e   c l a s s   a s   s h o wn   i n   ( 4 ) .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   25 ,   N o .   2 F e b r ua r y   20 22 :   1131 - 1139   1136      =     +    ( 3 )       =     +    ( 4 )       F1 - s c o r e :   c o m m o nly   k n o wn   a s   t h e   F - s c o r e ,   i s   t he   h a r m o ni c   m e a n   o f   pr e c i s i o n   a n r e c a ll   [ 27] ,   w i t h   a   v a l ue     t h a e m p ha s i z e   o n e   or   t h e   ot h e r   a s   s h o wn   i n   ( 5 ) .   F - s c o r e   h a s   a   m a xim u m   v a l ue   o f   a n a   mi n im u m   v a l ue   o f   0,   a n i s   a l wa y s   b e t we e n   pr e c i s i o n   a n r e c a l ,     F β   =   ( 1+ β 2 ) p r e c i s i o n r e c a l l p r e c i s i o n + r e c a l l   ( 5 )     w h e r e   = 1 ,   we   h a v e   t h e   s t a n da r F - m e a s ur e   o r   b a l a n c e 1 - s c or e   a s   s h o wn   i n   ( 6 ) .     F 1 - s co r e   =   2 p r e c i s i o n r e c a l l p r e c i s i o n + r e c a l l   ( 6 )       C o nf us i o n   m a t r i x i s   a   t a bl e   t h a t   vi s ua li z e s   t h e   m o de l 's   pe r f o r m a n c e   by   put t i n pr e d i c t e c l a s s   i ns t a nc e s   i n   t h e   r o ws   a n r e a l   c l a s s   i ns t a n c e s   i n   t h e   c o l u m ns .     4. 3.     E val u at in ou r   m od e l   T hi s   s t ud y   c o ns i s t s   o f   pr e d i c t i n c r im e s   us i ng  da t a   f r o m   s o c i a l   m e d i a   ( T w i t t e r )   wi t h   a   hy b r i d   a ppr o a c h   ( l e xi c o n - b a s e a n d   B E R T )   a n d   h a s   pr o vi de ve r y   pr o m i s i ng   r e s u l t s .   I n   t h e   f o ll o w i ng   f i gur e s   ( F i gur e s   3   to   5)   ge n e r a t e d   by   T e n s o r b o a r d,   we   p r e s e n t   t h e   tr a i ni ng  a c c ur a c y ,   va l i d a t i o n   a c c ur a c y ,   t r a i ni ng   l o s s ,   a n v a li da t i o n   l o s s   a n f o r   e a c h   c l a s s ,   we   pr e s e n t   t h e   R e c a l l   a n P r e c i s i o n ,   a l o n w i t h   t he   F s c o r e   whi c wa s   t r a i ne o v e r   t h r e e   e po c hs .   A s   s h o wn  i F i gur e   3,   o ur   m o de l   i t h e s e   t h r e e   e po c h s   ( 7   h o ur s   10   mi n ut e s   o f   t r a i ni ng)   t h e   a c c ur a c y   r e a c h e 97 . 24%   a n t h e   l o s s   a t t a i n e 8 . 41%   i n   t r a i ni ng,   a n d   f o r   t h e   v a li da t i o n ,   i t   r e a c h e 94 . 91%   i n   t h e   a c c ur a c y   a n d   16 . 26%   i n   t h e   l o s s   a s   s h o wn   i n   F i gur e   4 .   R e ga r d i n t h e   R e c a ll ,   P r e c i s i o n ,   a n F 1 - s c o r e ,   we   o b t a i n e m o r e   pr e c i s e   r e s u l t s   f o r   e a c h   o f   o ur   t w o   c l a s s e s   ( c r i m e   o r   n ot) .   W e   s e e   t h a t   f o r   t h e   c r i m e - r e l a t e c l a s s ,   we   got   a   pr e c i s i o o f   92% ,   a   r e c a ll   o f   94% ,   a n d   a n   F 1 - s c o r e   o f   93% ,   a n f o r   t h e   n o r m a l   c l a s s   ( n o r m a l   t e x t   c h a t ) ,   we   o b ta i n e d   a   pr e c i s i o o f   96% ,   a   r e c a ll   o f   95% ,   a n d   a n   F 1 - s c o r e   o f   95%   a s   s h o wn   in   F i gur e   5.               F i gur e   3 .   T r a i ni ng  a n va l i d a t i o n   a c c ur a c y   F i gur e   4 .   T r a i ni ng  a n va l i d a t i o n   l o s s       T v e r i f y   t h e   pe r f o r m a n c e   o f   o ur   m o de l ,   we   c o m p a r e d   t h e   r e s u l t s   o b t a i n e ( a c c ur a c y   a n F 1 - s c o r e )   w i t h   o t h e r   pa pe r s r e s u l t s   t h a t   a l s o   us e T w i t t e r   a s   t h e   da t a s e t   a n de a l t   w i t h   t h e   s e c ur i t y   i n t e ll i ge n c e   f i e l a s   s h o w n   i n   T a bl e   1.   W e   c a n   s e e   t h a t   t h e   hy br i a p pr o a c h   us i n t h e   N L P s   m o de l   B E R T   g i v e s   b e t t e r   r e s u l t s   t h a n   t h e   l e xi c o n - b a s e a n m a c hi ne   l e a r ni ng  a pp r o a c h e s   i n   b o t h   a c c ur a c y   a n F 1 - s c o r e   m e t r i c s ,   a s   B E R T   o u t pe r f o r m   t h e   o t h e r   NL P s   m o de l   i c o n t e x t   un d e r s t a n d i n pa r t ,   e s pe c i a l ly   i t h e   c o n t e x t   h e a vy   o n e ,   f o r   whi c h   i t   i s   s o   i m po r t a n t   f o r   a n a ly t i c s   pur po s e s .     0.82 0.84 0.86 0.88 0.9 0.92 0.94 0.96 0.98 0 1 2 3 4 A c c ur a c y E po c hs T r a in in g V a li da ti on 0 0.05 0.1 0.15 0.2 0.25 0.3 0 1 2 3 4 L o s s E po c hs T r a in in g V a li da ti on Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         C r ime   pr e diction  us ing  hy br id  s e nti me nt  analys is   appr oac bas e on  the   …  ( M ohamm e B ouk abo us )   1137       F i gur e   5 .   M o de l   c o nf us i o n   m a t r i x       T a bl e   1.   C o m pa r i s o n   o f   o ur   r e s u l t s   w i t h   t h o s e   o f   oth e r   pa pe r s   P a pe r   A ppr o a c h   A c c u r a c y   F1 - s c o r e   O ur  a ppr o a c h   H y br id   ( l e x ic o n - ba s e d +  B E R T )   94.91%   94.92%   [ 28]   M a c hi ne   L e a r ni ng - S V M   91.55%   -   M a c hi ne   L e a r ni ng  -   C N B   88.17%   -   M a c hi ne   L e a r ni ng - DT   82.46%   -   M a c hi ne   L e a r ni ng - K N N   78.06%   -   [ 29]   L e x i c o n - ba s e d   -   55%   [ 30]   M a c hi ne   L e a r ni ng - M N B   -   83%   M a c hi ne   L e a r ni ng - S V M   -   89%   M a c hi ne   L e a r ni ng - RF   -   87%   [ 31]   L e x i c o n - ba s e d   93%   -       T h e   i s s ue   o f   a n a ly z i ng  a n pr o c e s s i n E n g li s h   m e t a ph o r i c a l ,   s a r c a s t i c ,   a n e n c r y pt e e x pr e s s i o ns   i t h e   c o n t e x t   o f   s e n t i m e n t   a n a ly s i s   pr o duc e s   a   de gr a da t i o n   i t h e   pe r f o r m a n c e   o f   t h e   m o de l   w h e n   i t   c o m e s   t t h e s e   t y p e s   o f   s e n t e n c e s .   Al t h o ugh   s u b s t a n t i a l   pr o gr e s s   h a s   b e e n   a c hi e ve i n   t h e s e   a r e a s   o f   s t ud y ,   pr e s e n t   c o m put a t i o n a l   m o de l s   a n m e t h o ds   a r e   s t i ll   u n a bl e   to   h a n d l e   t h e s e   s o r t s   o f   e x pr e s s i o n s .   A   m e t a ph o r   i s   a   f i gur e   o f   s pe e c h   t h a t   pr o vi de s   a   l a n gua ge   t e c hni que   f o r   c o n v e yi ng  t h o ugh t s   a n d   n o t i o n s   t h a t   a r e   n ot  t h e   s a m e   a s   t h e y   a ppe a r   o n   t h e   s ur f a c e ,   i t   di r e c t l y   r e f e r s   t o n e   t hi n by   m e n t i o ni ng   a n o t h e r ,   a n to   e f f i c i e n t l y   i d e n t i f y   i t s   hi dde n   s e n ti m e n t ,   t h e   m o de l   m us t   b e   c a pa bl e   o f   r e a d i ng  b e t we e n   t he   li ne s .   I n   a   s a r c a s t i c   m e s s a ge ,   pe o pl e   us e   o p t i mi s t i c   p h r a s e s   t o   e x pr e s s   t h e i r   b a f e e li ng s .   B e c a u s e   o f   t hi s ,   s a r c a s m   m a y   r e a d il y   m i s l e a S A   m o de l s   unl e s s   t h e y   a r e   e x pr e s s ly   c o n s t r uc t e to  a c c o un f o r   i t .   I c a n   be   d i f f i c u l t   t o   de t e r m i ne   i t s   s e n t i m e n t   w i t h o ut   a   t h o r o ugh   a wa r e n e s s   o f   t h e   s i t ua t i o n ,   t h e   s u bj e c t ,   a n t h e   s ur r o un d i n e nvi r o nm e n t .   C r y pt o g r a phy   f o c us   o n   pr ot e c t i n m e s s a g e s   ( e ns ur i n g   c o nf i d e n t i a l i t y ,   a ut h e n t i c i t y ,   a n i n t e gr i t y )   by   o f t e n   us i ng  s e c r e t   ke y s .   I t   m a k e s   a   m e s s a ge   s uppo s e d l y   u ni n t e ll i g i b l e   t o   a ny o n e   o th e r   t h a t h o s e   wh o   a r e   e n t i t l e t i t ,   a n s i t   i s   n o   l o n ge r   po s s i bl e   to   un de r s t a n i t s   c o n t e n t   wi t h o ut  m o r e   kn o w l e dge .       5.   CONC L USI ON   T hi s   p a pe r   pr e s e n t s   a   c r i m e   de t e c t i o a n d   c l a s s i f ica t i o m e t h o b a s e o a   l e xi c o n - ba s e d   a ppr o a c c o m bi ne w i t h   t h e   B E R T   de e l e a r ni ng  a l go r i t hm .   T h e   c l a s s if i c a t i o n   a c c ur a c y   o f   t h e   m e t h o us e i n   t hi s   a r t i c l e   o n   t h e   T w i t t e r   da t a s e t   r e a c h e 94. 91% ,   a l o n w i t h   16. 26%   l o s s ,   94. 94%   pr e c i s i o n ,   94. 91%   r e c a l l ,   a n d   94. 92  F 1 - s c o r e .   I t   c a n   b e   s e e n   f r o m   t h e   e x pe r i m e n t a l   r e s u l t s   t h a t   t h e   m e t h o us e i t hi s   a r t i c l e   c a n   b e   e f f e c t i v e   f o r   c r i m e   de t e c t i o n .   F ur t h e r m o r e ,   i t   c a n   b e   o b s e r ve t h a t   t h e   hy br i m e t h o b a s e on   B E R T   o u t pe r f o r m s   e xi s t i n wo r ks   i n   c r i m e   d e t e c t i o n .   A s   f ut ur e   wo r ks ,   we   wi ll   de t e c t   c r i m e   us i ng  ot h e r   m e d i a   s uc a s   a ud i o ,   i m a ge s ,   a n vi d e o s   b a s e o n   t hi s   m o de l .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2502 - 4752   I n do n e s i a n   J   E l e c   E n &   C o m S c i Vo l .   25 ,   N o .   2 F e b r ua r y   20 22 :   1131 - 1139   1138   AC K NOWL E DGE M E NT S   T hi s   r e s e a r c h   w a s   s uppo r t e t h r o ugh   c o m put a t i o n a l   r e s o ur c e s   o f   HPC - M A R W AN   ( ww w. m a r wa n . m a / h pc )   pr o vi de by   t h e   Na t i o n a C e n t e r   f o r   S c i e n t i f i c   a n T e c hni c a l   R e s e a r c h   ( C NR S T ) ,   R a b a t ,   M o r o c c o .       RE F E R E NC E S   [ 1]   I I dr is s i,   M B o uka b o us M A z iz i,   O M o us s a o ui a nd  H E F a di li T o w a r a   de e l e a r ni ng - ba s e in t r us io d e t e c ti o s y s t e m   f or   I oT   a ga in s bo tn e a tt a c ks ,”   I A E I nt e r nat io nal   J our nal   of   A r ti f ic ia I nt e ll ig e nc e   ( I J - A I ) vol 10,  n o 1,   pp.  110 - 120,   M a r .   2021, do i:   10.11591/i ja i. v 10. i1 .pp110 - 120 .   [ 2]   M B e r r a ha a nd  M A z iz i,   A ugme nt e bi na r y   mul ti - la be l e C N N   f or   pr a c ti c a f a c ia a tt r ib ut e   c la s s if i c a ti o n ,”   I ndone s ia n   J our nal   o f   E le c tr i c al   E ngi ne e r in and   C om put e r   Sc i e nc e   ( I J E E C S) vo l.   23,  no 2,   pp.  973 - 979,   2021 do i :   10.11591 /i je e c s .v 23.i 2.pp973 - 979 .   [ 3]   E A K ir il l ov a R A K ur ba n ov N V S ve c hni k ov a T E Z ul f uga r z a d e a nd  S S Z e ni n,  P r o bl e ms   of   f ig ht in c r im e s   o t he   in te r n e t,   J our nal  of  A dv anc e d R e s e a r c h i n L aw  and E c onomic s , vo l.  8, n o . 3, pp. 849 856, J un. 2017.   [ 4]   M . S a lt e r C r ime , j us ti c e  and s oc ia m e di a , E ngl a nd, U.K .:   R o u tl e dg e , J a n. 2016 .   [ 5]   L T or r e y   a nd  J S ha v li k,  T r a ns f e r   le a r n in g,”   in   H andbook   of   r e s e ar c on   m ac hi ne   le a r ni ng  appl ic at io ns   and  tr e n ds :   al gor it hm s m e th ods and  te c hni que s ,   e di te b y   E S or ia J M a r ti n,  R M a gda le na M M a r ti ne z ,   a nd  A S e r r a no ,   I G I   gl oba l,   2009 , pp. 242 264.   [ 6]   I I dr is s i,   M A z iz i,   a nd  O M o us s a o ui A c c e l e r a ti ng  th e   u p da te   of   a   D L - b a s e I D S   f or   I oT   us in de e tr a ns f e r   l e a r ni n g ,”   I ndone s ia J our nal   o f   E le c tr i c al   E ngi n e e r in and  C o m put e r   Sc ie nc e   ( I J E E C S) vo l.   23,  n o 2,   pp.  1059 - 1067,   2021 do i :   10.11591/i je e c s .v 23.i 2.pp1059 - 1067 .   [ 7]   M . B o uka bo us  a nd M . A z iz i,  “ R e v i e w   of   L e a r n in g - B a s e T e c h ni que s   of  S e nt im e nt  A na l y s is   f or  S e c ur it y   P ur p o s e s ,”   I nnov at io ns   in   Sm ar C it ie s   A ppl ic at io ns   V ol um e   4.   SC A   2020.  L e c tu r e   N ot e s   in   N e tw or k s   and  S y s te m s v o l.   183,  pp.  96 109 ,   d o i :   10.1007/978 - 3 - 030 - 66840 - 2 _ 8.   [ 8]   A . V a s w a ni   e al . , “ A tt e nt i o n i s  a ll   y o u n e e d,”   ar X iv . 2017.   [ 9]   F K V e nt ir oz o s I V a r la mi s a nd  G T s a ts a r o ni s D e t e c ti ng  a ggr e s s iv e   be ha v i or   in   di s c us s io th r e a ds   us in te x mi ni ng,”   I n:   G e lb ukh A. ( e ds )   C om put at io nal   L in gui s ti c s  and I nt e ll ig e nt  T e x P r oc e s s in g. C I C L in g 2017. L e c tu r e  N ot e s  i n C om put e r  Sc ie n c e vo l.  10762,   2018 ,   d o i:  10.1007/978 - 3 - 319 - 77116 - 8_31.   [ 10]   P S ir ia r a y a   e al . W it n e s s in c r im e   th r o ugh  tw e e ts A   c r i me   in ve s ti ga ti o t oo ba s e d   o s oc ia m e di a ,”   SI G S P A T I A L   ' 19:   P r oc e e di ngs   of   th e   27t A C M   SI G SP A T I A L   I nt e r nat io nal   C onf e r e nc e   on  A dv an c e s   in   G e ogr aphi c   I n f or m at io Sy s te m s 20 19 pp. 568 571,   do i:  10.1145/3347146.3 359082.   [ 11]   J C P e r e ir a - K o ha ts u,  L Q ui ja no - S á n c he z F L ib e r a t or e a nd  M C a ma c ho - C o l la do s D e t e c ti ng  a nd  mo ni t o r in ha te   s pe e c h   in   twi tt e r ,”   Se ns or s  ( Sw it z e r la nd) vo l.  19, n o . 21,  2019, d o i 10.3 390/ s 19214654.   [ 12]   M B o uka b o us   a nd  M A z iz i,   A   c o mpa r a ti ve   s tu d y   of   D L - ba s e la ngua ge   r e pr e s e nt a ti o l e a r ni ng  m o d e ls ,”   I ndone s ia J our nal   of   E le c tr i c al   E ngi ne e r in and   C om put e r   Sc i e nc e   ( I J E E C S) vo l.   22,  n o 2,  pp.  1032 1040,  2021,  d o i :   10.11591/i je e c s .v 22.i 2.pp1032 - 1040.   [ 13]   J Y a da v D K uma r a nd  D C ha uh a n,  C y b e r bul l y in D e t e c t i o us in P r e - T r a in e B E R T   M o d e l,   2020  I nt e r nat io nal   C onf e r e nc e   on  E le c tr oni c s   and  Su s ta in abl e   C om m u ni c at io Sy s te m s   ( I C E SC ) 2020,  pp.  1096 - 1100,  do i:   10.1109/I C E S C 48915.2020.9155700 .   [ 14]   G R S W e ir E D o s   S a nt o s B C a r twr ig ht a nd  R F r a nk,  P o s it in th e   p r o bl e m:   E nha n c in c la s s if i c a ti o of   e x t r e mi s w e b   c o nt e nt   th r o ugh  t e x tu a a na l y s is ,”   2016  I E E E   I nt e r nat io nal   C o nf e r e nc e   on  C y be r c r im e   and  C om put e r   F or e ns ic   ( I C C C F ) 20 16,  pp. 1 - 3, do i 10.1109/I C C C F .2016.7740431 .   [ 15]   B . P a ng  a nd  L .   L e e , “ O pi ni o n m in in g a nd s e nt im e nt  a na l y s is ,”   F ounda ti ons  and T r e nds  i I nf or m at io n R e tr ie v al , vo l.  2,  n o . 1 2,   pp. 1 135, 2008, do i:  10.1561/150000000 1.   [ 16]   K G e l in e a a nd  J G a mbr e ll N e w   Z e a la nd  M o s que   s h oo t e r   i s   a   w hi te   na ti o na li s w ho   ha te s   im mi g r a nt s doc um e nt s   a nd  v id e r e ve a l,   C hi c ago T r ib une , 2019.   A c c e s s e d:  A p r . 09, 2011.   [ O nl in e ] . A v a il a bl e ht tp s :/ /ww w .c hi c a g o tr ib un e . c o m/ na ti o n - w o r ld / c t - mo s que - ki ll e r - w hi te - s upr e ma c y - 20190315 - s to r y .ht ml   [1 7]   T L a w   a nd  J B a te s E P a s o   S h oo ti ng  S us p e c T o ld   P o li c e   H e   W a s   T a r ge ti ng  M e x i c a ns .’   H e r e s   W ha to   K n o w   A bo u th e   C a s e ,”   T ime , 2019.   A c c e s s e d:  A pr . 09, 2011.  [ O nl in e ] . A v a il a bl e ht tp s :/ /t im e . c o m/ 5643110/ e l - pa s o - t e x a s - ma ll - s h oo ti ng/   [ 18]   F G a r dn e r ,   G e r ma n y   s h oo ti ng:   F a r - r ig ht   e x tr e mi s t’   c a r r ie d   out   s hi s ha   ba r s   a tt a c ks   -   B B C   N e w s ,”   B B C   N e w s 2020.   A c c e s s e d:   A pr . 09, 2011.  [ O nl in e ] .   A v a il a bl e ht tp s :/ /ww w .bbc . c o m/ n e w s /wo r ld - e u r o pe - 51567971   [ 19]   M H a nd  B L iu M in in a nd  s umm a r i z in c us t o m e r   r e v i e w s ,”   K D D   ' 04:   P r oc e e di ngs   of   th e   te nt A C M   SI G K D D   in te r nat io nal  c onf e r e nc e  on K now le dge  di s c ov e r y  and data min in g 2004 , pp. 168 177,   do i:  10.1145/1014052.1 014073.   [ 20]   F B I F e d e r a B ur e a of   in ve s ti ga ti o n,  c r im e   da ta   e x pl o r e r ,   F B I   U ni f or m   C r im e   R e por ti ng  P r ogr am ,   2021.  A c c e s s e d:   A pr 08,   2021. [ O nl in e ] . A v a il a bl e ht tp s :/ / c r i me - da ta - e x pl or e r . f r . c l o ud. gov /d o w nl o a ds - a nd - d oc s   [ 21]   C a le E l f e nb e in D a ta     M a ppi ng  I s la mo pho bi a ,   M appi ng  I s la m ophobia 20 21.  A c c e s s e d:   J un.  10,  2021.  [ O nl in e ] A v a il a b le :   ht tp s :/ /m a ppi ngi s la mo ph o bi a . o r g/ da ta /   [ 22]   P B ur na a nd  M L W il li a ms C y be r   ha te   s p e e c o twi tt e r A a ppl ic a ti o of   ma c h in e   c la s s if ic a ti o a nd  s ta ti s ti c a m o d e li n f or  p o li c y  a nd de c is i o n ma ki ng,”   P ol ic y  and I nt e r ne t vo l.  7, n o. 2, pp. 223 - 242,  2015, do i 10.1002/p o i3 .85.   [ 23]   M S o k o l ov a   a nd  G L a pa lm e C la s s if i c a ti o of   o pi ni o ns   w it h   no n - a f f e c ti v e   a dve r bs   a nd  a dj e c ti ve s ,”   I nt e r nat io nal   C onf e r e n c e   R A N L P  2009  -   B or ov e ts , B ul gar ia ,   2009 , pp. 421 - 427 .   [ 24]   K e r a s th e  P y th o n d e e p l e a r ni ng A P I ,   K e r as . A c c e s s e d:  A ug.  18, 2020. [ O nl in e ] . A v a il a bl e :   ht tp s :/ /k e r a s .i o /   [ 25]   T e ns o r F l o w .”   A c c e s s e d A ug. 18, 2020. [ O nl in e ] . A v a il a bl e :   ht tp s :/ /ww w .t e ns o r f l o w . o r g/ ? hl = f r   [ 26]   Z Z ha ng  a nd  M R S a bunc u,  G e n e r a li z e C r o s s   E nt r o p y   L o s s   f o r   T r a in in D e e N e u r a N e tw or ks   w it N o is y   L a b e l s ,”   P r oc e e di ngs  of  t he  32nd I nt e r nat io nal  C on f e r e nc e  on N e u r al  I nf or m at io n P r oc e s s in g Sy s te m s , 2018, pp. 8778 8788.   [ 27]   L .   D e r c z y ns ki C o mpl e m e n ta r it y ,   F - s c or e ,   a nd  N L P   e v a lu a ti o n,”   P r oc e e di ngs   of   th e   T e nt I nt e r nat io nal   C on f e r e nc e   on  L anguage  R e s our c e s  and E v al uat io n ( L R E C ' 16) ,   2016 , pp. 261 - 266 .   [ 28]   H A L - S a i f   a nd  H A l - D o s s a r i,   D e t e c t in a nd  c la s s i f y in c r im e s   f r o a r a bi c   twi tt e r   p o s ts   us in te x mi ni ng  t e c hni qu e s ,”   I nt e r nat io nal   J our nal   of   A dv anc e C om put e r   Sc ie nc e   a nd  A ppl ic at io ns vo l.   9,  n o 10,   pp.  377 387,  2018,  do i:   10.14569/I J A C S A .2018.091046.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n &   C o m S c i     I S S N:   2502 - 4752         C r ime   pr e diction  us ing  hy br id  s e nti me nt  analys is   appr oac bas e on  the   …  ( M ohamm e B ouk abo us )   1139   [ 29]   S A gha ba ba e a nd M M a kr e hc hi M in in T w it t e r   da ta   f o r   c r i me   tr e nd  pr e di c ti o n,”   I nt e ll ig e nt   D at A nal y s is vo l.   22,  no 1,  pp.   117 - 141,  2018, do i 10.3233/I D A - 163183.   [ 30]   H E H a nna c a nd  M B e nkha li f a W o r dN e ba s e i mpl ic it   a s pe c s e n ti m e nt   a na l y s is   f o r   c r im e   id e nt i f i c a ti o f r o T w it t e r ,”   I nt e r nat io nal   J our nal   of   A dv anc e C om put e r   Sc ie nc e   a nd  A ppl ic at io ns vo l.   9,  n o .   12,  pp.   150 - 159,  2018,   d o i :   10.14569/I J A C S A .2018.091222.   [ 31]   J H a o   a nd  H D a i,   S oc ia m e di a   c o nt e nt   a nd  s e nt im e nt   a na l y s is   o c o ns ume r   s e c ur it y   b r e a c h e s ,”   J our nal   o f   F in anc ia C r ime vo l.  23, n o . 4,  2016, d o i:  10.1108/J FC - 01 - 2016 - 0001.       B I OG RA P HI E S   OF   AU T HO RS         M o h a m m ed   Bo uk a bo u s           i s   Ph . D .   c an d i d at i n   Co m p u t e E n g i n ee ri n g   at   Mo h a mme d   Fi rs t   U n i v e rs i t y   i n   O u j d a,   Mo r o cc o ,   w h e r h e   i s   c o n d u c t i n g   r e s e ar ch   i n   s ec u r i t y   i n t el l i g en ce   u s i n g   d ee p   l e ar n i n g   a l g o ri t h m s   i n   e x ch an g e d   me s s ag e s .   H e   h o l d s   a   M. S c .   d eg r ee   i n   i n t e r n e t   o t h i n g s   fro m   Si d i   Mo h a me d   B e n   A b d e l l ah   U n i v e rs i t y   i n   F e z,   Mo r o cc o   (2 0 1 9 ),   a s   w el l   as   B. S c .   d e g r ee   i n   C o m p u t e E n g i n ee r i n g   fro Mo h a mme d   F i rs t   U n i v e rs i t y   (2 0 1 6 ).   Fu rt h e r mo r e ,   h e   h o l d s   s e v e ra l   ce rt i f i c at i o n s   i n   n a t u ral   l an g u a g e   p ro ce s s i n g ,   art i fi ci al   i n t el l i g en ce ,   s ec u r i t y   i n t e l l i g e n ce,   b i g   d at a,   a n d   cy b e r s e cu ri t y .   A d d i t i o n al l y ,   h e   s e r v e d   as   re v i ew e fo v ari o u s   i n t e rn at i o n a l   co n f e r en c e s .   H e   i s   cu rre n t l y   em p l o y ed   at   Mo h a mme d   Fi rs t   U n i v e rs i t y   as   an   ad mi n i s t rat i v e .   H e   c a n   b e   c o n t ac t e d   at   em ai l :   m . b o u k ab o u s @ u m p . a c . m a .         P ro f .   D r.   M o s ta f a   A zi z i           rece i v e d   St at e   E n g i n eer  d e g r ee   i n   A u t o m at i o n   a n d   I n d u s t ri al   C o m p u t i n g   fro m   t h e   E n g i n ee ri n g   S c h o o l   E MI   o Rab at ,   Mo ro cc o   i n   1 9 9 3 ,   t h e n   Mas t e d e g r ee   i n   A u t o m at i o n   an d   I n d u s t ri al   Co m p u t i n g   fr o m   t h e   Fa cu l t y   o S ci en ce s   o f   O u j d a,   Mo r o cc o   i n   1 9 9 5 ,   an d   Ph . D .   d eg r ee   i n   Co mp u t e Sc i en ce   fro m   t h e   U n i v e rs i t y   o f   Mo n t re a l ,   Can ad a   i n   2 0 0 1 .   H e   e ar n e d   al s o   t en s   o o n l i n ce rt i fi c at i o n s   i n   Pr o g ra mmi n g ,   N e t w o rk i n g ,   A I,   Co m p u t e S ecu ri t y.   H e   i s   cu rr e n t l y   Pro fe s s o at   t h e   E ST O ,   U n i v e rs i t y   Mo h a mme d   Fi rs t   o f   O u j d a.   H i s   r e s e ar c h   i n t e r e s t s   i n c l u d S ec u r i t y   a n d   N e t w o rk i n g ,   A I ,   So ft w are   E n g i n ee ri n g ,   I o T ,   an d   E m b ed d ed   S y s t em s .   H i s   re s e ar ch   fi n d i n g s   w i t h   h i s   t e a m   are  p u b l i s h ed   i n   o v e 1 0 0   p e e r - re v i ew ed   co mm u n i c at i o n s   an d   p ap e rs .   H e   al s o   s e rv e d   as   PC  mem b e a n d   r e v i ew e i n   s ev e ral   i n t e rn at i o n a l   co n f e r en ce s   an d   j o u rn a l s .   H e   c a n   b e   c o n t ac t e d   at   em ai l :   azi z i . m o s @ u m p . a c . m a .     Evaluation Warning : The document was created with Spire.PDF for Python.