I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   19 ,   N o .   2 A ugus t   20 20 ,   pp .   1 0 10 ~ 1020   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 19 .i 2 . pp 101 0 - 1020             101 0       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   E x p l o r a t i o n   o f   t h e   b e st   p e r f o r m a n c e   m e t h o d   o f   e m o t i o n c l a ssi f i c a t i o n   f o r   a r a b i c   t w e e t s       M o h amm e d   A b d u l l ah   A l - H a ge r y M an ar   A b d u l l ah   A l - as s af ,   F ai z a   M o h am m ad   A l - k h a r b ou s h   D e pa r t m e n t   o f   C o m put e r   S c i e nc e ,   C o l l e g e   o f   C o m put e r Q a s s i m   U ni v e r s i t y ,   K i ng do m   o f   S a udi   A r a bi a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   N ov   13 ,   201 9   R e v i s e J a n   1 4 ,   20 20   A c c e pt e M a r   9 ,   20 20       A r a us e r s   o f   s o c i a l   m e di a   h a v e   s i g n i f i c a nt l y   i nc r e a s e d,   t hus   i nc r e a s i ng     t he   o ppo r t u ni t i e s   f o r   e xt r a c t i ng   kno w l e dg e   f r o m   v a r i o us   a r e a s   o f   l i f e   s uc a s   t r a de ,   e d uc a t i o n,   ps y c ho l o g i c a l   he a l t s e r v i c e s ,   e t c .   T h e   a c t i v e   A r a pr e s e nc e   o T w i t t e r   m o t i v a t e s   m a ny   r e s e a r c he r s   t o   c l a s s i f y   a nd  a na l y s i s   A r a bi c   t w e e t s   f r o m   num e r o us   a s p e c t s .   T hi s   s t udy   a i m e t o   e xp l o r e   t he   b e s t   pe r f o r m a nc e   s c e na r i o s   i t he   c l a s s i f i c a t i o o f   e m o t i o ns   c o nv e y e t hr o ug A r a b i c   t w e e t s .   H e nc e ,   v a r i o us   e xp e r i m e n t s   w e r e   c o nduc t e t o   i nv e s t i g a t e   t h e   e f f e c t s   of   f e a t u r e   e xt r a c t i o t e c hni q ue s   a nd   t he   N - g r a m   m o de l   o t he   pe r f o r m a nc e   o f   t hr e e   s upe r v i s e m a c hi n e   l e a r ni ng   a l g o r i t hm s ,   w hi c a r e   S uppo r t   V e c t o r   M a c hi n e   ( S V M ) ,   N a ï v e   B a y e s   ( N B ) ,   a n L og i s t i c   R e g r e s s i o ( L R ) .     T he   g e ne r a l   m e t ho o f   t h e   e xpe r i m e n t s   w a s   ba s e d   o f i v e   s t e ps ;   d a t a   c o l l e c t i o n,   pr e pr o c e s s i ng ,   f e a t u r e   e x t r a c t i o n,   e m o t i o c l a s s i f i c a t i o n,     a nd  e v a l ua t i o o f   r e s ul t s .   T o   i m pl e m e nt   t he s e   e xpe r i m e nt s ,   a   r e a l - w o r l d   T w i t t e r   da t a s e t   w a s   g a t he r e d.   T he   be s t   r e s ul t   a c hi e v e by   t he   S V M   c l a s s i f i e r   w he us i ng   a   ba g   o f   w o r ds   ( B o W )   w e i g ht i ng   s c he m a   ( w i t un i g r a m s   a n bi g r a m s   o r   w i t un i g r a m s ,   b i g r a m s ,   a nd  t r i g r a m s )   e xc e e d e d   t h e   b e s t   pe r f o r m a nc e   r e s ul t s   o f   o t he r   a l g o r i t hm s .   Ke y w or d s :   A ra b i c   t w e e t s   E m o t i o n   a n a l y s i s   c l a s s i f i c a t i o n     M a c hi n e   l e a rni n g     F e a t u r e   e xt r a c t i o   N - gra m   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M o h a m m e A b dul l a A l - H a ge r y ,     D e pa rt m e n t   o f   Co m put e S c i e n c e ,     Co l l e ge   of   Co m put e r ,   Q a s s i m   U n i v e r s i t y ,     Al - M ul i da ,   Q a s s i m   R e gi o n ,   K i n g do m   o f   S a udi   A ra b i a .   E m a i l :   h a j r y @ qu. e du. s a       1.   I N TR O D U C TI O N     S o c i a l   m e di a   p r o c e s s i n i n   t h e   r e a l   w o r l i n c l ude s   a na l y s i s   of   r e a l   p r o b l e m s ,   e v e n t s ,   a nd  a   w i de   ra n ge   o f   a ppl i c a t i o n s   [1 - 3],   a s   w e l l   a s   a na l y s i s   of   t w e e t s   a s s oc i a t e w i t h   t h e   c y b e r s e c ur i t y   pr ob l e m s   [4,   5],   o pi n i o n s   m i ni n g ,   a n a l y s i s   of  t w e e t s   a s s oc i a t e w i t h   a r e a s   l i ke   a ut o m a t e b us i n e s s ,   e duc a t i o n   [6 ,   4]o r   o t h e r   s oc i a l   i s s ue s .   U s ua l l y ,   t h e   c o n c e n t ra t i o n   o f   t h e s e   a na l y s e s   i s   o n   t h e   c o n t e nt s   gi v e n   a s   a   t e xt   s e gm e n t ,   s uc h   a s   t w e e t s ,   e m a i l s ,   m e s s a ge s ,   e t c .   T h e   e xp r e s s i o n   o f   e m o t i o n s   i s   a   pa rt i c ul a r l y   i nt e gra l   pa rt   o f   t e xt   s e gm e n t s   i s oc i a l   m e d i a   b e c a us e   e m o t i o n s   r e pr e s e nt   a   u n i v e r s a l   l a n g ua ge   t h a t   a l l   pe o pl e   c a n   u n de r s t a nd.   E m o t i o n s   r e p r e s e n t   a   ke y   f a c t o r   i n   hum a n   na t u r e   a n b e h a v i o ur   a nd  a r e   a   m e a n s   f o r   i n di v i du a l s   t o   e xp r e s s   t h e i pe r s pe c t i v e s   a n o pi ni o n s ,   a n a l y s e   e ve n t s ,   p r o v i de   a s s e s s m e nt s ,   a nd  c o m m u n i c a t e   w i t h   e a c h   a n o t h e r   v i a   s oc i a l   m e di a   m e s s a ge s   [7].   T h e r e f o r e ,   s oc i a l   m e di a   n e t w o r k s   pr o v i de   a   h o s t   of   i n f o r m a t i o n   r e v e a l i n u s e r s ’  o pi n i o n s   a n d   i n s i g ht s   i n t o   c u rr e n t   a f f a i r s ,   o n go i n g   e v e n t s ,   a nd  h u m a i nt e r e s t s   [8 - 10 ].     T w i t t e r   i s   a   m a s s i v e   r e po s i t o r y   of   t e xt   s e gm e n t s   [8]  t ha t   a r e   c o n s t a n t l y   be i n w r i t t e n   by   us e r s .   It   i s   a   ra pi d l y   gr o w i n m i c r o - b l o ggi n s o c i a l   m e di a   p l a t f o r m   w h e re   i n di v i du a l s   po s t   t h e i r   e m o t i o n s   a nd  o pi ni o n s   i n   s i m pl e   e xp r e s s i o n s .   T w i t t e r   p ub l i s h e s   m o r e   t ha n   4 00  m i l l i o n   t w e e t s   da i l y   [11],   w i t h   a   m a xi m u m   o f   280  c h a ra c t e r s   i n   e a c h   t w e e t .   In   J a nua r y   2019,   T w i t t e r   us e r s   i n   S a udi   A ra b i a   r a n ke f o ur t h   i n   t h e   w o r l d ,   i n di c a t i n g   hi g A r a b i c   i nt e ra c t i o n   o n   T w i t t e r .   T h e   s t a t i s t i c s   a r e   g ra p hi c a l l y   i l l us t ra t e i F i gu r e   1.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E x p l or at i on   of   t h e   be s t   p e r f or m an c e   m e t hod   of   e m o t i o ns   c l as s i f i c at i on     ( Moham m e A bdu l l ah   A l - H ag e r y )   1011       F i gu r e   1 .   L e a di ng  c o unt r i e s ,   w i t h   t h e   n u m b e r   o f   t w i t t e us e r s   i m i l l i o n s   [12]       A na l y s i n t w e e t s   f a c e s   m a n y   di ff i c ul t i e s   due   t o   s pe l l i n m i s t a ke s ,   e m o t i c o n s ,   a nd  s l a n (c o l l o qui a l   w o r di n g)   [13]  p r e s e n t e i t h e   t w e e t s ,   i a dd i t i o n   t o   t h e   t y pe   of   l a n gu a ge   us e a n d   i t s   c o m pl e xi t y   dur i ng  pr o c e s s i n a nd  a na l y s i s .   T h e r e f o r e ,   t h e s e   di f f i c ul t i e s   a f f e c t   t h e   c l a s s i f i c a t i o n   o f   h um a e m o t i o n   i   t w e e t s   [14].   M a n y   r e s e a r c h e r s   h a v e   s t udi e e m o t i o n s   i E n g l i s t w e e t s ,   y e t   fe w   of   t h e m   ha v e   fo c us e o n   e m o t i o n s   i A ra b i c   t w e e t s   [15].     D ue   t o   t h e   na t u r e   o f   t h e   A ra b i c   l a n gu a ge ,   a na l y s i n e m o t i o n s   i s   c o n s i de r e a   di f f i c ul t   c ha l l e n ge ,   e s pe c i a l l y   dur i n t h e   pr e p r o c e s s i n p h a s e .   A ra b i c   i s   a   c o m pl i c a t e l a n gu a ge   f o r   v a r i o us   r e a s o n s ;   i t   h a s   a e xc e pt i o n a l l y   c o m pl e m o r p h o l o g y   c o m pa r e t o   o t h e r   l a n g ua ge s .   It   a l s o   ha s   c o m pl e s e n t e n c e s   a n m a n y   vo c a b ul a r i e s   t h a t   ha v e   m ul t i p l e   s y n o n y m s .   T hi s   c a us e s   a   h i gh e r   di f f i c ul t y   i n   a n a l y s i n g   e m o t i o n s   w r i t t e n   i n   A ra b i c   t h a i n   o t h e r   l a ngua ge s .     M a n y   s c i e n t i s t s   h a v e   s t udi e t h e   f i e l of   s e n t i m e n t   a n a l y s i s   (S A );   h o w e v e r ,   f e w   of   t h e m   ha v e   a n a l y s e o r   de t e c t e e m o t i o n s   i n   t w e e t s .   E m o t i o n   a na l y s i s   (E A a nd  c ha r a c t e r i s a t i o n   a r e   n o t   l i ke   S A   [16].     Fo r   e xa m pl e ,   S A   a i m s   t o   c l a s s i fy   a   t e xt   a s   po s i t i v e ,   n e ga t i v e ,   o r   n e u t r a l ;   E A   i s   m o r e   o pe n   t o   e l uc i da t e   e m o t i o n s   c o n v e y e i n   t h e   t e xt ,   s uc h   a s   s a d n e s s ,   o pt i m i s m ,   j o y ,   a n s o   o n .   A l t h o ug h   j us t   s i o r   e i g h t   e m o t i o n s   a r e   v i e w e a s   f unda m e nt a l   e m o t i o n s ,   t h e   num b e o f   e m o t i o n s   c o n s i de r e d   by   E A   c a n   b e   m uc g r e a t e [17] .     T h e   E A   c a n   i nt r o duc e   s e r v i c e s   fo r   ps y c h o l o gi c a l   h e a l t h   t ha t   i m p r o v e   t h e   fo l l ow - up  of   pa t i e nt s   w i t h   de pr e s s i o n   by   us i n a pp l i c a t i o n s   b a s e o n   m a c hi n e   l e a rni n g.   M a c hi n e   l e a rni n t e c hni que s   a r e   us e t r e c o gn i s e ,   a na l y s e ,   o r   c l a s s i fy   h um a n   f e e l i n gs ,   o pi n i o n s ,   a s s e s s m e n t s ,   de m e a n o u r s ,   a nd  e m o t i o n s   t o w a r e n t i t i e s   s uc h   a s   p r o duc t s ,   a dm i n i s t r a t i o n s ,   pe o pl e ,   i s s ue s ,   e t c .   [6,   18] .   T h e r e f o r e ,   t h e   a b i l i t y   of   m a c hi n e s   t o   c l a s s i fy   us e r s ’  e m o t i o n s   c o rr e c t l y   s h o u l b e   e xpl o i t e t o   fo l l ow   up  o n   pa t i e nt s ’  ps y c h o l o gi c a l   s t a t e s .     W h e n   pa t i e n t s   a n s w e r   t h e i do c t o r ’s   que s t i o n,   H ow   h a s   y o u r   c o n d i t i o n   b e e n   i t h e   l a s t   m o nt h ? ,   t h e   a n s w e r   do e s   n o t   a c c ur a t e l y   r e f l e c t   t h e   ps y c h o l o gi c a l   s t a t e   o f   t h e   pa t i e nt .   S i n c e   t h e s e   a n s w e r s   do   n o t   pr o v i de   f ur t h e de t a i l s   a b o ut   t h e   p a t i e nt ' s   c o n d i t i o n   d a i l y ,   t h e y   a r e   ge n e ra l   a n d   l a c a   de e a n a l y t i c a l   v i s i o n .   Co n s e que n t l y ,   a   m a c h i n e ’s   a b i l i t y   s h o ul b e   ut i l i z e t o   gi ve   t h e   m o s t   a c c ur a t e   a n s w e r   by   c l a s s i fy i n t h e   pa t i e n t ’s   t w e e t s   b a s e d   o n   h i s   o r   h e r   e m o t i o n s .   I n de e d,   E A   s e r v i c e s   a r e   n o t   l i m i t e t o   ps y c h o l o gi c a l   h e a l t h   b ut   c a a l s o   c o n t r i b ut e   t o   t h e   de t e c t i o n   of  c h r o n i c   ps y c h i a t ri c   i l l n e s s e s   s uc h   a s   de pr e s s i o n   [19 - 21] .   T h e r e f o r e ,   t hi s   r e s e a r c h   f o c u s e o n   e m pl oy i n a   v a l ua b l e   a pp r o a c h   f o r   a na l y s i n t h e   e m o t i o n   o t w e e t s   w r i t t e n   i n   A r a b i c   t o   b e   ut i l i s e e ff e c t i v e l y   fo r   i ndi v i dua l s ’  ps y c h o l o gi c a l   h e a l t h.   A ddi t i o na l l y ,   t h i s   s t udy   r e duc e t h e   c h a l l e n ge s   po s e by   a n a l y s i n g     t h e   A r a b i c   l a n gu a ge ,   e s pe c i a l l y   i t h e   p r e p r o c e s s i n g   p ha s e ,   b y   us i n P y t h o l i b r a ri e s .   T he re f o re ,   t he   o b j e c t i v e   o f   t hi s   s t u d y   i s   t o   e x p l o re   t he   b e s t   m e t ho d   f o c l a s s i f y i ng   e m o t i o ns   i A ra b i c   t w e e t s   t o   u nd e rs t a nd   p e o p l e s   i m p re s s i o ns   o f   p ro v i de d   s e rv i c e s   o p ro d u c t s .   T he   s t u dy   us e   t he   f o l l o w i ng   m e t ho d s :   t w e e t s   c o l l e c t i o n,   p re p ro c e s s i ng ,   f e a t u r e   e x t ra c t i o n,   e m o t i o c l a s s i f i c a t i o n,   a nd   e v a l u a t i o o f   re s u l t s .   T hi s   p a p e i s   o rg a ni z e d   a s   f o l l o w s :   S e c t i o 2   e l uc i d a t e s   t he   l i t e ra t u re   re v i e w .   T he   m e t ho d o l o gy   i s   d e s c ri b e d   i S e c t i o 3 ,   a s   w e l l   a s   S e c t i o 4   p re s e nt s   t he   e x p e ri m e n t a l   re s u l t s   w he re a s   S e c t i o 5   s ho w s   t he   d i s c u s s i o a nd   e v a l u a t i o o f   t he   re s u l t s .   F i n a l l y ,   S e c t i o 6   p ro v i d e s   c o nc l u s i o ns   a nd   f u t u re   w o rk .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     1010   -   1020   1012   2.   LI TER A TU R R EV I EW   E A   i s   m o s t l y   b a s e upo n   e m pi r i c a l   s t udi e s   t h a t   i n v e s t i ga t e   h o w   t de t e c t   e m o t i o n s   i n   t e x t s .   T h e r e f o r e ,   t hi s   s e c t i o n   p r o v i de s   b r i e f   r e v i e w s   of   r e l a t e w o r o E A   a n d   p r e s e n t s   r e c e n t   e f fo r t s   m a de   i n     t h i s   f i e l a s   w e l l .   F o r   e xa m p l e ,   a   s ugge s t e m o de l   f o r   c l a s s i fy i n e m o t i o n s   i A r a b i c   t w e e t s   a c c o m pl i s h e d   [14]  a nd  W a i ka t o   E n v i r o nm e nt   f o r   K n o w l e dge   A n a l y s i s   (W E K A w a s   ut i l i z e f o r   b ui l di ng  t hi s   m o de l ,   w h i c c a t e go r i s e A ra b i c   t w e e t s   i nt o   fo ur   p r i n c i p l e   f e e l i n gs :   s a d n e s s ,   j oy ,   di s gus t ,   a n a nge r.   T h e   a c c ura c y   o f   t h i s   m o de l   r e a c h e 80 %.   I a n o t h e r   s t udy ,   a   r ul e s - b a s e a pp r o a c h   a n d   k n o w l e dge   b a s e   w e r e   us e t o   c l a s s i fy   v a s t   a m o u n t s   o f   t w e e t s   i nt o   fo ur   c l a s s e s   of   e m o t i o n   b a s e o n   t h e   c i r c um pl e m o de l .   F o r   f e a t u r e   e xt r a c t i o n ,   pa rt   of  s pe e c h   (P O S t a gg i n w a s   e m pl oy e t i m pl e m e n t   r u l e s   t o   de t e c t   e m o t i o n   c o n v e y e d   i n   t w e e t s   c o r r e c t l y .     T h e   o ve r a l l   a c c ura c y   of   t h i s   m e t h o w a s   85% ,   w hi c i s   c o n s i de r e a   s a t i s f a c t o r y   r e s ul t   [ 22] .   F u r t h e rm o r e ,     t h e   f i r s t   e m o t i o n   i nt e n s i t y   da t a s e t   f o r   t w e e t s   b ui l t   i n   [2 3].   T h e   r e s e a r c h e r s   ut i l i z e b e s t - w o r s t   s c a l i ng  t o   i n c r e a s e   t h e   c o n s i s t e n c y   of   a nn o t a t i o n s   a n t o   ob t a i n   f i n e - gra i n e s c o r e s .   T h e y   fo un t h a t   t h e   e m o t i o n a l   i n t e n s i t y   of   t h e   t w e e t s   w a s   e xpr e s s e by   e m o t i o n - w o r h a s ht a gs .   A l s o ,   B a da rn e h   e t   a l .   c o n s i de r e E A   a s   a   f i n e - g r a i n e a pp r o a c h,   t a c kl i n g   a n   E A   p r o b l e m   a s   a   m u l t i - l a b e l   pr o b l e m .   T h e y   c r e a t e a   da t a s e t   o f   A r a b i c   t w e e t s   t ha t   w a s   a nn o t a t e by   t w o   n a t i v e   A r a b i c   s pe a ke r s .   Co h e n ’s   k a pp a   w a s   us e t o   m e a s u r e   t h e   a g r e e m e nt   b e t w e e n   a nn o t a t o r s .     T h e   a nn o t a t i o t a s w a s   a p pl i e f r o m   r e a de r   a n w ri t e r   pe r s pe c t i v e s ;   t h e   h i g h e s t   a g r e e m e n t   i   t h e   w r i t e r   d a t a s e t   w a s   a b o ut   j oy ,   w h i l e   t h e   h i g h e s t   a g r e e m e nt   i t h e   r e a de r   da t a s e t   w a s   a b o ut   f e a r   [17] .   A ddi t i o n a l l y ,   J a i n   e t   a l .   p r o po s e a   c o m put a t i o n a l   m o de l   of  e m o t i o n   s w i t c h i n f o r   a n   i nt e l l i ge nt   a g e n t   [24 ].   S a n ga m ,   S hi n de   c o m b i n e t w o   c l a s s i f i e r s   S V M   a n A N N   fo r   s e n t i m e n t   c l a s s i f i c a t i o n   [6] ,   i t   i s   a   ge n e r a l   m o de l ,   t h e   e xpe r i m e n t s   w e r e   pe r fo r m e o n   m o v i e   r e v i e w s   d a t a s e t   f o r   a n y   l a n g ua ge ,   w i t h o ut   c o n s i de ra t i o n   of  c o m pl e l a n g ua ge s   s uc h   a s   A ra b i c   l a ngu a ge   t ha t   h a s   b e e n   t a ke n   i n t o   c o n s i de ra t i o n   i o ur  r e s e a r c h .   H a s a n   e t   a l .   i m p r o v e d   a   s y s t e m   b a s e o n   s upe r v i s e m a c h i n e   l e a rni n t ha t   a u t o m a t i c a l l y   c l a s s i f i e d   e m o t i o n   i n   t w e e t s .   T h e i r   m e t h o i n v o l ve t w o   ph a s e s ;   t h e   f i r s t   p ha s e   w a s   a n   o ff l i n e   t ra i n i n t a s k ,   w hi l e   t h e   s e c o n p h a s e   r e l a t e t o   c l a s s i fy i n t h e   t e x t s   o n l i n e .   I n   t h e   f i r s t   t a s k ,   t h e   m o de l   c l a s s i f i e e m o t i o n s   c o r r e c t l y   i n   90%   o f   E n g l i s h   t w e e t s .   T h e   s e c o n p ha s e   c o n t a i n e t w o   s t a ge s ;   t h e   f i r s t   s t a ge   w a s   a   b i na r y   c l a s s i f i c a t i o n   of   t w e e t s   w i t h   o r   w i t h o ut   e m o t i o n.   T h e n ,   a   f i n e - g r a i n e e m o t i o n   c l a s s i f i c a t i o n   w a s   c o n duc t e o n   e m o t i o n a l   t w e e t s   [25].   I n   t h e   o t h e r   ha n d ,   t h e   r e s e a r c h e r s   i [26]  c o l l e c t e a   T w i t t e r   da t a s e t   a nd  c l a s s i f i e t h e   da t a   i n t o   ni n e   e m o t i o n a l   c a t e go ri e s :   a n ge r ,   f e a r,   di s gus t ,   gui l t ,   j oy ,   i n t e r e s t ,   s a d n e s s ,   s ha m e ,   a nd  s urp r i s e .     T h e s e   c l a s s i f i c a t i o n s   w e r e   m a de   us i n s upe r v i s e m a c h i n e   l e a rn i ng  c l a s s i f i e r s .   T o   f i n t h e   e f f e c t i v e   c l a s s i f i e r   fo r   e m o t i o n   e xt ra c t i o n   o f   t h e   da t a s e t ,   t h e y   p e r f o r m e a   c om pa ra t i v e   s t ud y   o n   t h e   pe r f o r m a n c e   of   A r t i f i c i a l   N e ur a l   N e t w o r (A N N ),   S V M ,   a n d   N B   c l a s s i f i e r s .   T h e   r e s e a r c h e r s   a l s o   s e pa ra t e l y   i n v e s t i ga t e   t h e   pe r f o r m a n c e   o f   t h e s e   c l a s s i f i e r s   w i t h   t h e   b a o f   w o r ds   (B oW a n b i g ra m   f e a t u r e s .   A c c o r di n t o   t h e i r e s ul t s ,   t h e   b i g ra m   f e a t u r e   p r o v i de b e t t e r   pe r f o r m a n c e   t ha t h e   B oW   fe a t ur e .   F u r t h e rm o r e ,   S V M   pe r f o r m e b e t t e r   t ha t h e   o t h e r   t w o   c l a s s i f i e r s .   M o r e ov e r ,   m a n y   a t t e m p t s   h a v e   b e e n   m a de   f o r   us i ng  t h e   l e xi c a l   a pp r o a c h   t o   de t e c t   t h e   s t r e ngt of  r e l a xa t i o n   a n s t r e s s   e xpr e s s e i n   m e s s a ge s   a v a i l a b l e   o n   s oc i a l   m e d i a ,   f o r   e xa m pl e ,   T e n s i S t r e n gt h   s y s t e m .   T h i s   s y s t e m   w a s   a b l e   t o   e xt ra c t   a b e rr a nt   a n di r e c t   e xp r e s s i o n s   o f   r e l a xa t i o n   a n s t r e s s .   T h e   r e s ul t s   i n d i c a t e t h a t   T e n s i S t r e ngt h   w o r ke w e l l   f o r   s o m e   i nt e l l i ge nt   a ppl i c a t i o n s [27].   A s   w e l l ,   i [28] ,   t h e   r e s e a r c h e r s   a pp l i e d   a   n um b e r   o f   s upe r v i s e a l go r i t h m s   f o r   i r o n y   di s c ove r y   i n   A ra b i c   t w e e t s .   T h e y   us e a   b i n a r y   c l a s s i f i e r ,     w h i c h a hi g a c c u r a c y ;   pr e c i s i o r e a c h e d   72 . 76% .   A b de l a a l   e t   a l .   [29]  c l a s s i f i e A r a b i c   t w e e t s   i nt o   f i v e   c l a s s e s s p o r t s ,   po l i t i c s ,   c ul t u r e ,   ge n e r a l   t o pi c s ,   a nd  t e c hn o l o g y us i n e n s e m b l e   m e t h o ds   (boo s t i ng,   b a ggi n g ,   a n s t a c ki n g) .   T h e s e   c l a s s i f i c a t i o n s   w e r e   b a s e d   o n   t h e   t w e e t s ’  c o n t e nt s   a n m o r p h o l o gi c a l   c ha ra c t e ri s t i c s .   T h e   r e s ul t s   c o n f i rm e t ha t   e n s e m b l e   m e t h o ds   a c hi e v e be t t e r   pe r f o r m a n c e   t h a s i n g l e   c l a s s i f i e rs   s uc h   a s   N a ï v e   B a y e s   (N B ),   de c i s i o n   t r e e ,   a n d   s e que n t i a l   m i n i m a l   o pt i m i s a t i o c l a s s i f i e r s   [29] .     A s   w e l l ,   o t h e r   s t udi e s   c o m pa r e m a n y   c l a s s i f i c a t i o n   m o de l s   us i n a n   E n g l i s h   c o r pus   [30 - 39 ,   40] .   A l s o ,   X e t   a l .   pr o po s e di f fe r e n t   s a m pl i n m e t h o ds   t o   i m pr o v e   t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   of  E n g l i s t e xt   by   r e duc i n t h e   i m b a l a n c e   r a t i o   b e t w e e n   t r a i n i ng  c l a s s e s   [41].   O u s t udy ,   h o w e v e r ,   e xpl o r e t h e   b e s t   pe r f o r m a n c e   s c e na r i o s   i t h e   c l a s s i f i c a t i o n   o f   e m o t i o n s   c o n v e y e t hr o ugh  A r a b i c   t w e e t s .       3.   M ET H O D O L O G Y   T h e   m e t h o do l o g y   c o n s i s t e of   t w e e t s   c o l l e c t i o n ,   pr e p r o c e s s i n g,   f e a t u r e s   e n g i n e e r i ng,     c r o s s - v a l i da t i o n   s a m pl i n g ,   t w e e t s   c l a s s i f i c a t i o n   (b a s e o n   f o ur   e m o t i o n s   a nd  us i n g   t hr e e   m a c hi n e   l e a rn i ng  a l go ri t hm s ) ,   a n d   e v a l ua t i o o f   r e s ul t s .   F i gu r e   s h o w s   t h e   m a i n   p ha s e s   o f   t h e   m e t h o do l o g y .         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E x p l or at i on   of   t h e   be s t   p e r f or m an c e   m e t hod   of   e m o t i o ns   c l as s i f i c at i on     ( Moham m e A bdu l l ah   A l - H ag e r y )   1013       F i gu r e   2 .   T h e   o v e r a l l   f ra m e w o r k       3. 1 .     Tw e e ts   c o l l e c ti o n   an d   l ab e l l i n g   T h e   t w e e t s   w e r e   c o l l e c t e f r o m   T w i t t e r   us i n N e t l y t i c   [42] ,   w h i c h   o ff e r s   a   us e r - f ri e ndl y   i n t e r f a c e   a n f a s t   w a y   t o   c o l l e c t   a n v i s ua l i z e   pub l i c   da t a   f r o m   v a r i o us   s oc i a l   m e di a   s o ur c e s .   W i t h   N e t l y t i c ,   t w e e t s   m a t c hi n a   s pe c i f i c   h a s h t a w e r e   c o l l e c t e d.   T o   c o l l e c t   a n l a b e l   t w e e t s   de pe n di n o n   e m o t i o n   s t a t us ,     t h e   Ci r c um p l e m o de l ,   w h i c h   w a s   i n t r o duc e a n ut i l i s e by   [43] .   A c c o r di n t o   t h i s   m o de l ,   a l l   e m o t i o n a l   s t a t e s   of   h um a n s   a r e   de s c r i b e i n   t w o - di m e n s i o na l   s p a c e .   T h e   h o ri z o n t a l   a x i s   r e p r e s e nt s   t h e   ha ppi n e s s   o r   s a d n e s s   of   a   pe r s o n,   w h i l e   t h e   v e r t i c a l   a xi s   r e p r e s e n t s   t h e   a c t i v a t i o n   o f   a   pe r s o n’s   e m o t i o n.   I n   o t h e r   w o r ds ,   t h e   m o de l   di v i de s   h um a n   e m o t i o n s   i nt o   fo ur   m a i n   c l a s s e s :   H a pp y - A c t i v e ,   H a pp y - In a c t i v e ,   U nh a ppy - A c t i v e ,   a n U nh a ppy - In a c t i v e ,   a s   s h o w n   i n   F i gu r e   3.   I n   t h e   p r e s e n t   s t udy ,   a   l i s t   o 28  ke y w o r ds   r e pr e s e nt i n t h e   f o ur   e m o t i o n   c l a s s i f i c a t i o n s   o f   t h e   Ci r c um pl e m o de l   w a s   c r e a t e d,   a n t h e s e   ke y w o r ds   w e r e   t h e n   t r a n s l a t e t o   t h e   A ra b i c   l a n gua ge .   T h e s e   ke y w o r ds   w e r e   s ubs e que n t l y   us e t o   f i n e m o t i o na l   t w e e t s   c o n t a i ni n t h e   ke y w o r ds   a s   ha s h t a gs .             F i gu r e   3 .   C i r c um p l e m o de l   [43]   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     1010   -   1020   1014   3. 2 .     P r e p r o c e s s i n g   T h e   P r e p r o c e s s i n g   o f   t h e   A ra b i c   c o n t e n t   i s   a   c r i t i c a l   t a s k;   A r a b i c   h a s   a n   e xt r e m e l y   c o m pl e x   m o r p h o l o g y   c o m pa r e t o   E n g l i s h.   T h e r e f o r e ,   t h e   a c c ura c y   of   t h e   c l a s s i f i c a t i o n   A ra b i c   t e xt   w a s   a ff e c t e d     by   pr e pr o c e s s i n g.   T h e   m a i n   s t e ps   of   t a s i n c l ude da t a   c l e a ni n g ,   t o ke n i z a t i o n ,   s t e m m i n g ,   n o rm a l i s a t i o n ,   a n s t o p - w o r r e m o v a l     3. 2 . 1.     D ata  c l e an i n g   D a t a   c l e a n i ng  i s   a   p r o c e s s   t h a t   c a i m p r o v e   t h e   qu a l i t y   of   t he   da t a ,   t h e r e by   i m pr o v i ng  t h e   e ff i c i e n c y   of   m a c hi n e   l e a rni n a l go ri t hm s   i E A .   D a t a   c l e a ni n c a re m ov e   n o i s y   w o r ds   a n u nm e a ni n gf ul   c o n t e n t ,   r e s ul t i n g   i r e duc e da t a   s i z e   a nd  i n c r e a s e da t a   qu a l i t y .   T h e   da t a   c l e a n i ng  s t e ps   o f   A r a b i c   t w e e t s   i n c l u de d:   a)   R e m o ve   T w i t t e r ’s   s h o r t c ut s ,   s uc a s   @ us e rn a m e ,   r e t w e e t   a nd  r e pl a y .   b)   D e l e t e   s pe c i a l   c ha ra c t e r s   l i ke   @ ,   %,   # ,   & ,   ,   e t c .   c)   R e m o ve   pun c t u a t i o m a r ks ,   e m o t i c o n s ,   a nd  num b e r s .   d)   D e l e t e   U R L   l i n ks .   e)   D e l e t e   w o r ds   c o n t a i n i ng  o n l y   o n e   c ha r a c t e r ,   s uc h   a s   ص   P y A r a b i c   l i b r a r y ,   i n   w h i c h   a   s pe c i f i c   A ra b i c   l a n gu a ge   l i b r a r y   i n   P y t h o n   p r o v i de s   b a s i c   f un c t i o n s   t o   m a ni pul a t e   A ra b i c   l e t t e r s   a n d   t e xt ,   w a s   us e d.     3. 2 . 2.     To k e n i z at i o n   T o ke n i z a t i o i s   t h e   m e t h o o f   di v i di n t h e   gi v e c o n t e n t   i nt o   s m a l l   pi e c e s   c a l l e t o ke n s .   I t hi s   s t e p,   t h e   c o n t e n t   o t h e   t w e e t s   w a s   di v i de d   i n t o   a   s e que n c e   of   t oke n s ,   w h e r e   e a c h   t o ke n   r e p r e s e n t e o n e   o r   m o r e   w o r ds .   T h e   N L T K   P y t h o n   l i b ra r y   w a s   us e t o   c o n ve r t   t h e   t w e e t s   t o   t o ke n s .     3. 2 . 3.     N o r m al i s at i o n   In  n a t u ra l   l a ngua ge   p r o c e s s i n g ,   n o r m a l i s a t i o n   s t a n d a r d i s e s   t he   s h a pe   o f   t h e   t e xt ,   p l a c i n g   a l l   w o r ds   o t h e   s a m e   f oo t i n t o   b e   pr o c e s s e un i f o r m l y .   T hi s   t a s de pe n ds   o n   t h e   na t u r e   of   l e t t e r s   i n   t h e   l a n gu a ge   t ha t   w i l l   b e   n o r m a l i s e d .   I t h e   A r a b i c   l a n g u a ge ,   n o rm a l i s a t i o n   i nvo l ve s   t h e   f o l l ow i n s t e ps :   a)   R e pl a c e   s o m e   A ra b i c   c ha r a c t e r s   s uc h   a s   ( أ ,   إ آ w i t ) ا ( ,   )   ى (   w i t ي ),   ( ة w i t ( ه ),   a n d   ( ؤ w i t ( و ).   b)   D e l e t e   dupl i c a t e   c ha ra c t e r s .   F o e xa m pl e ,   ( ل ا ا ا ا ا ا ا ا ا ي خ w a s   c ha n ge d   t o   ( ل ا ي خ ).   c)   D e l e t e   t h e   ( ـ ـ ـ ـ t ha t   s o m e   A r a b i c   t e xt   c o n t a i n s ,   s uc a s   ( ل ؤ ا ـ ـ ـ ـ ـ فت ),   w hi c w a s   c ha n ge d   t o   ( ل ؤ ا فت ).     3. 2 . 4.     S t e m m i n g   S t e m m i ng  i s   a   l i n gu i s t i c   n o r m a l i s a t i o p r o c e s s   i n   w hi c a l l   de ri v e w o r ds   a r e   c o n v e r t e t o     t h e i r   b a s e   o r   s t e m   fo r m s .   I n   a   n o n - A r a b i c   l a n gu a ge ,   t h e   s t e m   fo r m   o t h e   w o r ds   c a n   b e   ob t a i n e by   r e m o v i n e i t h e r   p r e f i xe s   o r   po s t - f i xe s   of   t h e   de r i v e w o r d.   T o   o b t a i n   t h e   s t e m   f o r m   o f   a n   A ra b i c   w o r d,   t h e   r o o t   l e t t e r s   of   t h e   w o r m us t   b e   e xt ra c t e [44] .   F o r   e xa m pl e ,   t h e   w o r ds   م س ،   تا م ل ا س   c o m e   f r o m   t h e   r o o t   س نل .   T h e r e f o r e ,   t h e   s t e m m i n g   o f   t h e   A ra b i c   l a n gu a ge   i s   v i e w e a s   a   c ha l l e ngi n g   t a s k.     3. 2 . 5.     S to p - w o r d   r e m ov al     R e m o v i n s t o w o r ds   i s   a   t y pi c a l   s t e i n   p r e p r o c e s s i n g .   S t o w o r ds   a r e   us ua l l y   t h e   m o s t   c o m m o n   w o r ds   i n   l a ngua ge s .   T h e s e   w o r ds   do   n o t   p r o v i de   i m po r t a n t   m e a n i ng;   f o r   e xa m pl e ,   c o n j un c t i o n s ,   a rt i c l e s ,   a n r e l a t i o n a l   w o r ds   a r e   s t o w o r ds .   R e m ov i n s t o w o r ds   he l ps   i n   r e c o gn i z i n t h e   m o s t   i m po r t a n t   w o r ds .     T h e   A r a b i c   s t o w o r ds   us e i n   t hi s   s t udy   w e r e   de f i n e i a   l i s t   a v a i l a b l e   i n   [45 - 47] .   T hi s   w a s   w i t h   t h e   e xc e pt i o n   o f   n e ga t i o n s ,   w hi c w e r e   de l e t e d.     3. 3 .     F e atu r e   e x tr ac ti o n   F e a t u r e s   e n gi n e e ri n r e f e r s   t o   ge n e ra t i n m e t r i c s   f o r   t h e   a n a l y s i s   pr o c e s s   b a s e o n   t h e   da t a s e t .     M o s t   fe a t ur e   e n gi n e e r i n g   t e c hni que s   c r e a t e   a   l a r ge   n u m b e r   o f   f e a t ur e s   t ha t   r e p r e s e nt   t h e   d a t a .   H ow e v e r ,   s o m e   of   t h e s e   f e a t ur e s   a r e   i rr e l e v a n t   a n r e s ul t   i de gra d i n t h e   pe r f o r m a n c e   o f   t e xt   c l a s s i f i e r s .   F e a t u r e   s e l e c t i o t e c hn i q ue s   c h o o s e   a   s ub s e t   of   a   t o t a l   n um b e r   o f   fe a t ur e s   t o   e l i m i na t e   r e du n d a n t   f e a t u r e s   [48] .   A f t e r   f e a t u r e s   a r e   s e l e c t e d,   t h e y   m us t   b e   e xt r a c t e t o   n u m e r i c a l   f o r m   f o r   t h e   a na l y s i s .   T h e s e   f e a t ur e s   c a n   t h e n   b e   i n pu t   t o   t h e   m a c hi n e   l e a rni n a l go ri t hm s .   U s i n a   c o n v e n i e n t   f e a t ur e   e xt ra c t i o n   t e c hni que   c a n   i m p r o v e     t h e   pe r f o rm a n c e   o f   t e xt   c l a s s i f i e r s   [49 50] .   M a ny   m o de l s   ha v e   b e e u s e d   f o f e a t u re   e x t ra c t i o n,   s u c a s   B o W ,   t e rm   f re q u e nc y - i nv e rs e   do c u m e nt   f re q u e nc y   ( T F - I D F ) ,   a nd   N - g ra m   m o d e l s .   T he   B o W   w a s   f o u nd   t o   b e   t he   m o s t   c o m m o m o d e l   us e i t he   l i t e ra t u re .   I t he   B o W   m o de l ,   t w e e t s   a re   re p re s e nt e d   a s   v e c t o rs   c o nt a i ni ng   w o rd s .   I n   t he   B o W   m o de l ,     t he   o rd e r   o f   t he   w o rd s   i t he   s e nt e nc e   i s   i g no re d   a nd   w o rd s   f re q u e nc y   i s   c o u nt e d .   A s   a no t he m o d e l ,   T F - I D F   re p re s e nt s   a   no r m a l i s e d   c o u nt   o f   t he   w o rd s   i w hi c t he   c o u nt   o f   e a c w o rd   i s   d i v i de d   b y   t he   nu m b e   F i gu r e   2 :   C i r c um p l e M o de l [2 5]         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E x p l or at i on   of   t h e   be s t   p e r f or m an c e   m e t hod   of   e m o t i o ns   c l as s i f i c at i on     ( Moham m e A bdu l l ah   A l - H ag e r y )   1015   o f   t w e e t s   i w hi c t he   w o rd   a p p e a rs .   F i na l l y ,   N - g ra m   m o d e l s   a i m   t o   b re a k   t e x t   i nt o   a   s e q u e nc e   o f   w o rd s   d e p e nd i ng   o a   s p e c i f i e d   ra ng e .   F o i ns t a nc e ,   N - g ra m   m o d e l s   s pe l t   e a c w o rd   a s   a   u ni q u e   g ra m   t o   f o rm   U ni g ra m   f e a t u re .   In   t h i s   s t u dy ,   T F - ID F   a n B o W   w e r e   us e w i t h   s i ra n g e s   o f   t h e   N - gr a m   m o de l   t o   i n v e s t i ga t e     t h e   b e s t   s c e n a r i o s   f o r   t h e   c o l l e c t e da t a s e t .   T h e   us e ra nge s   a r e   s h o w n   i n   T a b l e   1 .   A   s i n gl e   w o r w a s   c o n s i de r e a   u n i g ra m ;   b i gra m s   r e p r e s e n t e t w o   c o n s e c ut i v e   w o r ds ,   a nd  t r i g ra m s   w e r e   t hr e e   s uc c e s s i ve   w o r ds .   Co n s e que nt l y ,   t h e   w o r ds   o f   t e xt s   w e r e   s e pa ra t e d   a c c or d i n g   t o   t h e   s e l e c t e ra n ge s   o f   N - gra m   f e a t u r e s .     3. 4 .     A l go r i th m   s e l e c ti o n   fo r   e m o ti o n   c l as s i fi c ati o n   S i n c e   E A   i s   a   t y pe   o f   t e xt   c l a s s i f i c a t i o n ,   t h e   m o s t   c o m m o n   t e xt   c l a s s i f i c a t i o n   a l go ri t hm s   us e w e r e   t h e   N B ,   S V M ,   a n L R   c l a s s i f i e r s .   T h e s e   a l go ri t hm s   w e r e   t ra i n e us i n a   d i f fe r e nt   r a n ge   o f   N - gr a m   f e a t u r e s ,   de pe n di n o n   B oW   a n T F - ID F .   T h e   N B   a n L R   a r e   prob a b i l i s t i c   c l a s s i f i e r s   t h a t   p r o v i de   a   pr o b a b i l i t y   di s t r i b ut i o n   o v e r   o ut put   c a t e go r i e s .   O n   t h e   o t h e r   ha n d ,   S V M   do e s   n o t   pr o v i de   pr o b a b i l i s t i c   v a l ue s .   I n s t e a d ,     i t   p r o v i de s   r e t u rn  de c i s i o n   s c o r e s ,   w h i c h   a r e   p r o po r t i o n a l   t o   t h e   di s t a n c e   f r o m   t h e   s e pa ra t i n h y pe r pl a n e .     T h e   r e s ul t s   ge n e ra t e a c c o r di n g   t o   t h e   f o l l ow i n s t e ps :   a)   U s e   t h e   N - g r a m   m o de l   t o   p r o duc e   s i x   c o m b i n a t i o n s   o f   N - gr a m   f e a t u r e s ,   a s   i l l us t ra t e i T a b l e   1.   b)   Cr e a t e   B o W   fe a t ur e s   w i t s i x   r a nge s   o f   N - gr a m   f e a t ur e s .   c)   Co n s t r uc t   a   T F - ID F   f e a t u r e   w i t h   s i ra n ge s   o f   N - gra m   f e a t u re s .   d)   G e n e ra t e   a   t e s t   s e t   a n d   t ra i ni n g   s e t   us i n c r o s s - v a l i da t i o n.   e)   F i t   N B ,   S V M ,   a n d   L R   a l go r i t hm s   w i t h   a l l   p r e v i o u s   f e a t ur e s ’  fo r m s .   f)   E v a l ua t e   t h e   a l go r i t hm ’s   a c c ur a c y   us i n g   v a r i o us   pe r f o r m a n c e   m e a s u r e s .       T a b l e   1 .   R a n ge s   o f   N - gra m   f e a t u r e s   i t h e   e xpe r i m e n t s   #   N - g ra m s   1   U n i g ra m   2   Bi g ra m s   3   T ri g ra m s   4   U n i g ra m s ,   b i g ra m s   5   Bi g ra m s ,   t ri g ra m s   6   U n i g ra m ,   b i g ra m s ,   t ri g ra m s       4.   TH E   EX P ER I M EN TA L   R ES U LTS   B e fo r e   t h e   da t a   a na l y s i s ,   t h e   c o l l e c t e da t a s e t   c o n t a i n e d   4000  t w e e t s .   A f t e r   d a t a   c l e a ni n g   a nd  n o rm a l i s a t i o n ,   3171  t w e e t s   w e r e   i n c l ude d .   T h e   di s t r i b ut i o of   c l a s s e s   i n   t h e   c o l l e c t e da t a s e t   i s   s h o w n   i n   F i gu r e   4.   S t e m m i ng  r e duc e t h e   f e a t u r e s   by   up  t o   14% .   I a ddi t i o n,   s t o p - w o r r e m o v a l   r e duc e f e a t ur e s   a s   m uc a s   s t e m m i ng  d i d .             F i gu r e   4 .   T h e   d i s t r i b ut i o n   o f   e m o t i o n a l   c l a s s e s   i n   t h e   d a t a s e t       T o   a na l y s e   t h e   i m p a c t   o f   t h e   f e a t ur e   f o r m s   o n   t h e   pe r f o r m a n c e   o f   t h e   m a c h i n e   l e a rni n a l go r i t h m s ,   a pp r o xi m a t e l y   37  e xpe r i m e n t s   c o n duc t e i n   di f f e r e n t   s c e n a r i o s   t o   de t e r m i n e   t h e   b e s t   s i t ua t i o n   o   t h e   a l go ri t hm s ’  pe r f o r m a n c e ,   a s   s h o w n   i n   T a b l e   2.   T h e   r e s ul t s   o f   t h e   e xpe r i m e nt s   w e r e   s ubj e c t e t e v a l ua t i o n   f o r   a   c o m pa r a t i v e   a na l y s i s   o t h e   pe r f o r m a n c e   of   t h e   c l a s s i f i c a t i o n   a l go ri t hm s .   T h e   a c c ura c y ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     1010   -   1020   1016   pr e c i s i o n,   r e c a l l ,   a n F1 - s c o r e   w e r e   us e t o   de f i n e   t h e   b e s t   a l go ri t hm   a nd  f e a t u r e   c o n s t r uc t i o n   m e t h o d.   A c c ur a c y   w a s   a   r a t i o   of   c o rr e c t l y   c l a s s i f i e t w e e t s   a c c o r di n t o   a l l   t w e e t s .   P r e c i s i o n   r e p r e s e n t e   t h e   pe r c e n t a ge   of   t h e   r e l e v a n t   i n s t a n c e s   a c c o r di n t o   a c t ua l   c l a s s e s ,   a n r e c a l l   w a s   t h e   r a t e   of   t h e   t o t a l   r e l e v a nt   r e s ul t s   c o rr e c t l y   pr e di c t e d.   T h e   F1 - s c o r e   r e v e a l e t he   ha r m o n i c   m e a o f   pr e c i s i o n   a n d   r e c a l l .       T a b l e   2 .   T h e   e xpe ri m e nt a l   r e s ul t s   T h e   E x p e ri m e n t s   Re s u l t s   V a l i d a t i o n   #   Cl a s s i fi e r   N - g ra m   F e a t u r e   e x t ra c t i o n   t e c h n i q u e   A c c u ra c y   (% )   P re c i s i o n   (% )   Re c a l l   (% )   F1 - s c o re   (% )   1   S V M   U n i g ra m   Bo W     8 2 . 2 7   8 3 . 4 7   8 2 . 2 7   8 2 . 7 2   2   Bi g ra m s   3 4 . 3 1   5 3 . 6 5   3 4 . 3 1   5 3 . 6 5   3   T ri g ra m s   30 . 55   5 9 . 9 7   3 0 . 5 5   1 5 . 4 0   4   U n i g ra m s ,   b i g ra m s   8 2 . 4 3   8 3 . 5 9   8 2 . 4 3   8 2 . 8 7   5   Bi g ra m s ,   t ri g ra m s   3 4 . 3 1   5 3 . 6 5   3 4 . 3 1   2 2 . 9 1   6   U n i g ra m ,   b i g ra m s ,   t ri g ra m s   8 2 . 4 3   8 3 . 5 9   8 2 . 4 3   8 2 . 8 7   7   NB   U n i g ra m   7 4 . 0 7   7 3 . 0 5   7 4 . 0 7   7 3 . 2 1   8   Bi g ra m s   3 4 . 7 2   5 1 . 2 9   3 4 . 7 2   2 5 . 7 7   9   T ri g ra m s   3 0 . 7 7   5 9 . 9 9   3 0 . 7 7   1 5 . 8 5   10   U n i g ra m s ,   b i g ra m s   7 3 . 7 9   7 2 . 8 7   7 3 . 7 9   7 3 . 1 0   11   Bi g ra m s ,   t ri g ra m s   3 4 . 5 6   5 1 . 0 3   3 4 . 5 6   2 5 . 5 2   12   U n i g ra m ,   b i g ra m s ,   t ri g ra m s   7 3 . 6 0   7 2 . 8 2   7 3 . 6 0   7 3 . 0 7   13   LR   U n i g ra m   8 2 . 0 8   8 2 . 9 3   8 2 . 0 8   8 2 . 4 4   14   Bi g ra m s   3 4 . 8 1   5 0 . 8 6   3 4 . 8 1   2 4 . 8 0   15   T ri g ra m s   3 0 . 7 7   5 9 . 9 9   3 0 . 7 7   1 5 . 8 5   16   U n i g ra m s ,   b i g ra m s   8 2 . 2 1   8 3 . 0 5   8 2 . 2 1   8 2 . 5 7   17   Bi g ra m s ,   t ri g ra m s   3 4 . 8 1   5 0 . 8 6   3 4 . 8 1   2 4 . 8 0   18   U n i g ra m ,   b i g ra m s ,   t ri g ra m s   8 2 . 2 1   8 3 . 0 6   8 2 . 2 1   8 2 . 5 7   19   S V M   U n i g ra m   TF - ID F     7 7 . 4 1   7 8 . 7 0   7 7 . 4 2   7 7 . 3 3   20   Bi g ra m s   3 4 . 1 9   5 2 . 5 0   3 4 . 1 8   2 2 . 8 3   21   T ri g ra m s   3 0 . 5 6   5 9 . 9 7   3 0 . 5 6   1 5 . 4 0   22   U n i g ra m s ,   b i g ra m s   7 7 . 1 4   7 8 . 4 2   7 7 . 1 4   7 7 . 0 2   23   Bi g ra m s ,   t ri g ra m s   3 4 . 2 2   5 2 . 6 9   3 4 . 2 2   2 2 . 8 4   24   U n i g ra m ,   b i g ra m s ,   t ri g ra m s   7 7 . 1 7   7 8 . 4 8   7 7 . 1 7   7 7 . 0 5   25   NB   U n i g ra m   7 0 . 5 5   6 9 . 7 5   7 0 . 5 5   6 8 . 6 5   26   Bi g ra m s   3 4 . 9 4   5 1 . 4 3   3 4 . 9 4   2 5 . 7 9   27   T ri g ra m s   3 0 . 7 8   5 9 . 9 9   3 0 . 7 9   1 5 . 8 5   28   U n i g ra m s ,   b i g ra m s   7 0 . 9 9   7 0 . 1 6   7 0 . 9 8   6 9 . 1 6   29   Bi g ra m s ,   t ri g ra m s   3 4 . 8 8   5 1 . 3 2   3 4 . 8 8   2 5 . 6 4   30   U n i g ra m ,   b i g ra m s ,   t ri g ra m s   7 0 . 8 9   7 0 . 1 1   7 0 . 8 9   6 9 . 0 8   31   LR   U n i g ra m   8 0 . 6 0   8 1 . 0 8   8 0 . 6 1   8 0 . 8 2   32   Bi g ra m s   3 4 . 7 5   5 0 . 3 2   3 4 . 5 2   2 4 . 7 8   33   T ri g ra m s   3 0 . 7 8   5 9 . 9 9   3 0 . 7 8   1 5 . 8 5   34   U n i g ra m s ,   b i g ra m s   8 0 . 8 9   8 1 . 3 6   8 0 . 8 9   8 1 . 1   35   Bi g ra m s ,   t ri g ra m s   3 4 . 7 9   5 0 . 8 4   3 4 . 7 8   2 4 . 8 4   36   U n i g ra m ,   b i g ra m s ,   t ri g ra m s   8 0 . 8 6   8 1 . 3 3   8 0 . 8 6   8 1 . 0 6       5.   R ES U LTS   D I S C U S S I O N   B a s e d   o n   t h e   e xpe r i m e n t s ,   t h e   a l go r i t h m s   w e r e   c o m pa r e a n e v a l ua t e v e r t i c a l l y ,   w i t h   di f f e r e n t   f e a t ur e   fo r m s ,   a n h o ri z o n t a l l y ,   w i t h   e a c h   o t h e r.   It   w a s   ob s e r v e t h a t   w h e n   a   u n i g r a m   w a s   pr e s e n t   i n   N - g ra m   c o m b i na t i o n s ,   t h i s   p r o duc e b e t t e r   r e s ul t s   c o m pa r e t o   g r o ups   t h a t   di n o t   i n c l ude   a   u n i g r a m   a s   a   f e a t u r e .   G e n e ra l l y ,   i t e r m s   o f   a l go r i t h m s ,   t h e   r e s ul t s   o f   S V M   s o m e w h a t   s u r p a s s e t h e   r e s ul t s   o f   o t h e r   a l go ri t hm s     i n   b o t h   a c c ur a c y   a n F1 - s c o r e s .   O n   t h e   o t h e r   h a nd,   t h e   N B   a l go r i t hm   p r o duc e t h e   w o r s t   r e s ul t s   f o r   a n y   c i r c um s t a n c e   o f   fe a t u r e s .   F u r t h e r   a na l y s i s   s h o w e t ha t   e a c h   a l go ri t hm   r e qui r e a pp r o p r i a t e   f e a t u r e s   i n   o r de r   t o   pe r f o r m   i t s   b e s t   pe r f o r m a n c e .     F i gu r e   5   s h o w s   t ha t   S V M   a nd  L R   r e po r t e t h e i r   b e s t   p e r f o r m a n c e   w i t h   (U n i g ra m s ,   b i g ra m s )     o r   (U n i g ra m s ,   b i g r a m s ,   t r i g r a m s a nd  B o W   f e a t ur e s .   H ow e v e r ,   N B   s h o w e t h e   g r e a t e s t   pe r f o r m a n c e   w i t uni g ra m   a n d   B o W   f e a t ur e s .   I n   t h e   c a s e   o f   S V M ,   t h e   b e s t   a c c ur a c y   a n F1 - s c o r e s   w e r e   pr o duc e w i t a n y     N - gra m   c o m b i na t i o n   t h a t   c o n t a i n e uni g ra m s .   T h e   hi g h e s t   a c c ur a c y   a n F1 - s c o r e   of  S V M   w e r e   82. 43  a n d   82. 72 ,   r e s pe c t i v e l y ;   t h e s e   w e r e   o b t a i n e w i t h   B o W   a n d   (U n i gra m s ,   b i g r a m s o (U n i g ra m ,   b i g ra m s ,   t ri g ra m s )   a s   f e a t ur e s   c o m b i na t i o n s .   O n   t h e   o t h e r   h a nd,   t r i g ra m s   n e g a t i v e l y   a ff e c t e t h e   pe r f o r m a n c e   o S V M   i n   a l l   f e a t ur e   e xt r a c t i o t e c hni que s   us e d.   T h e   N B   c l a s s i f i e a c hi e v e t h e   b e s t   r e s ul t s   w i t B o W   a n d   u n i g ra m   f e a t ur e s ,   f o r   w h i c h   t h e   a c c ur a c y   a n F1 - s c o r e   w e r e   74. 07  a n d   73. 21,   r e s pe c t i v e l y .   A s   i n   t h e   pe r f o r m a n c e   of  S V M ,   t h e   a c c u r a c y   a n F1 - s c o r e s   s i g n i f i c a n t l y   dr o ppe w i t h   t r i g r a m s   i b o t h   B o W   a n T F - ID F .   T h e   i m p a c t   of   N - gr a m   f e a t u r e s   a nd  f e a t ur e   e xt ra c t i o n   o n   L w a s   s i m i l a r   t o   S V M .   T h e   b e s t   a c c ur a c y   fo r   t hi s   m e t h o w a s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E x p l or at i on   of   t h e   be s t   p e r f or m an c e   m e t hod   of   e m o t i o ns   c l as s i f i c at i on     ( Moham m e A bdu l l ah   A l - H ag e r y )   1017   73. 79   w i t h   (U ni g ra m s ,   b i g r a m s i n   B o W ,   a n d   t h e   h i g h e s t   F1 - s c o r e   a c hi e v e w a s   73. 07   i B o W   w i t a   (U n i g r a m s ,   b i g r a m s ,   t ri g ra m s f e a t u r e   c o m b i n a t i o n.   I n   c o m pa r i n t h e   pe r f o r m a n c e   a n t h e   a l go ri t hm s     i n   f e a t ur e s   e xt r a c t i o n   a n gl e ,   t h e   b e s t   pe r f o r m a n c e   i n   B oW   w a s   a c h i e v e by   S V M ,   w h i c h   r e a c h e 82 . 43     i n   a c c ura c y   a n 82. 87  i n   F1 - s c o r e .   T h e   L R   a l go ri t hm   w a s   s e c o n d,   f o l l ow e by   N B ,   w h i c h   r e a c h e   a n   a c c ur a c y   a n d   F1 - s c o r e   o f   30. 77  a nd  15 . 85 ,   r e s pe c t i v e l y .   B a s e o n   t h e   f e a t u r e s   e xt ra c t i o t e c hni que s   a ppl i e i t h e   e xpe r i m e n t s ,   t h e   r e s ul t s   o f   t h e   t hr e e   a l go ri t hm s   w o r ki n g   w i t h   B o W   w e r e   b e t t e r   t ha t h e   r e s ul t s   w i t h   T F - ID F .   I c o n t ra s t ,   t h e   L R   a l go ri t hm   p r o v i de a   di s t i n c t   pe r f o r m a n c e   w i t h   T F - ID F   c o m pa r e t o   o t h e r   a l go ri t hm s .   F o r   T F - ID F ,   t h e   a c c ura c y   r e a c h e a   pe a o f   80. 98  f o r   L R ,   a n t h e   F1 - s c o r e   r e a c h e 81. 6,   w hi c w a s   c o n s i de r e t h e   b e s t   pe r f o r m a n c e .   T h e   w o r s t   pe r f o r m a n c e   i n   T F - ID F   w a s   c a us e d   by   N B ,   w h e r e     t h e   a c c u r a c y   w a s   30. 78   a nd  F1 - s c o r e   w a s   15 . 85 .                   F i gu r e   5 .   T h e   a c c u r a c y   a n d   F1 - s c o r e   f o r   e a c N - g ra m   by   fe a t u r e   e xt ra c t i o t e c hni que s   v s .   c l a s s i f i e r s       A s   s e e n   i n   T a b l e   2,   f e a t ur e   e xt r a c t i o n   m e t h o ds   a ff e c t   t h e   pe r f o r m a n c e   o t h e   c l a s s i f i e r s .   T h us ,     us i n go o c l a s s i f i e r s   w i t h   n o n - c o n v e n i e n t   f e a t ur e   m e t h o ds   pr o duc e s   po o r   r e s ul t s .   F o i n s t a n c e ,   t h e   a c c u r a c y   of   S V M   w i t h   B o W   a n b i g ra m s   r e a c h e 30. 55 %.   T h e   i m p a c t s   of   fe a t u r e   m e t h o ds   o n   t h e   pe r f o r m a n c e   o t h e   c l a s s i f i e r s   ha v e   b e e n   e xa m i n e by   di ff e r e n t   r e s e a r c h e r s .   A z i m   e t   a l .   [26]   c o m pa r e t h e   pe r f o r m a n c e   o f   S V M ,   N B ,   a nd  A N N   w i t B o W   a n b i gra m s ,   s e pa ra t e l y .   T h e i r   b e s t   r e s ul t   w a s   f o un w i t h   S V M   w i t h   b i g ra m s ,     fo r   w h i c a c c ura c y   w a s   77%.   S i m i l a r l y ,   t h e   p r e s e nt   s t udy ’s   e xpe r i m e n t s   s h o w e t ha t   S V M   c o ul r e a c a a c c ur a c y   of  82%  us i n B o W   a n (U n i g r a m s ,   b i g r a m s ).   M o re ove r ,   A b dul l a h   e t   a l .   [14]   us e o n l y   b i gr a m s   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   2 A ugus t   20 20  :     1010   -   1020   1018   de t e c t   e m o t i o n s   i n   A ra b i c   t w e e t s .   I n   t h e i r   w o r k,   t h e   S V M   c l a s s i f i e r   w i t h   T F - ID F   pe r f o r m e b e t t e r   t ha o t h e r   m e t h o ds ;   i t s   a c c ura c y   r e a c h e 80 . 6% .   T h e   r e s ul t   o f   t h e   S V M   c l a s s i f i e r   i n   t h e   p r e s e n t   s t u dy   w a s   be t t e r   t ha n   i t h e   s t udy   a c c o m pl i s h e by   [14]   w h e n   us i n B o W   a n a n y   c o m b i n a t i o n   o f   N - gr a m   t h a t   c o n t a i n e u n i g ra m s .   T h e r e f o r e ,   r e s e a r c h e r s   s h o ul c o n d uc t   m ul t i pl e   e xpe r i m e nt s   w i t h   B o W ,   b e c a us e   i t   w a s   m o r e   us e f ul   t ha n     TF - ID F   f o r   de t e c t i n g   e m o t i o n s   i A r a b i c   t w e e t s .   T h e   b e s t   pe r f o r m a n c e   r e s ul t s   a r e   s h o w n   i F i g u r e   6 .             F i gu r e   6 .   T h e   b e s t   pe r f o r m a n c e   s c e n a ri o s       6.   C O N C LU S I O N S   A N D   F U TU R E   W O R K   E A   i s   a   t e xt   c l a s s i f i c a t i o n   s y s t e m   t h a t   a i m s   t o   i de nt i fy   h um a n   f e e l i n c o n v e y e t hr o ug h   t e xt s .     In   r e c e n t   y e a r s ,   A ra b   us e r s   ha v e   e xpr e s s e t h e i r   e m o t i o n s   a n a t t i t ude s   o n   m a n y   of   t h e   i s s ue s   r a i s e t hr o ug t h e   T w i t t e r   pl a t f o r m .   T h e r e f o r e ,   t hi s   s t udy   f oc us e o n   t h e   m o s t   po pul a r   c l a s s i f i c a t i o n   a l go ri t hm s   s uc h   a s   S V M ,   N B ,   a nd  L R   a n d   a pp l i e t h e m   t o   a   t w e e t ’s   da t a s e t   a s   s h o rt   t e xt   c o n t e nt .   D u r i ng  t h e   e xpe r i m e n t s ,     t h e   i m pa c t   o f   Bo W   a n T F - ID F ,   a s   w e l l   a s   N - gr a m   f e a t ur e s ,   o n   t h e s e   a l go ri t hm s   w e r e   i n v e s t i ga t e t de t e r m i n e   t h e   b e s t   m e t h o d.   T h e   r e s ul t s   s h o w e t h a t   B oW   pe r f o r m e b e t t e r   t ha n   T F - ID F   i n   a l l   c a s e s M o r e ov e r ,   t h e   u n i g r a m   f e a t u r e   f r o m   t h e   N - g ra m   m o de l   o ut pe r f o r m e a n y   c o m b i n a t i o n   o f   N - gra m   f e a t u r e s   t h a t   e xc l ude t h e   u ni g ra m   f e a t u r e .   A m o n t h e   d i f f e r e n t   c o m b i na t i o n s   o f   fe a t u r e s   a n a l go r i t hm s ,   S V M   a nd  L R   a c h i e v e t h e   be s t   pe r f o r m a n c e   w i t h   (U ni g r a m s ,   b i g ra m s o r   (U n i g r a m s ,   b i g ra m s ,   t r i g r a m s a nd  B oW   f e a t ur e s .   N B   a c hi e v e t h e   l o w e s t   pe r f o r m a n c e   i n   a l l   c o n d uc t e e xpe r i m e nt s .   T h e   be s t   r e s ul t   w a s   a c h i e v e d   by   t h e   S V M   c l a s s i f i e r   w h e n   us i n B oW   w i t h   u n i g ra m s   a n b i gra m s   o r   uni g ra m s ,   b i gra m s ,   a n t r i g r a m s   f o r   c l a s s i fy i n t h e   t w e e t s   w r i t t e n   i n   A ra b i c   a s   a   c o m pl e l a ngua ge .   A c c o r di n t o   t h e s e   r e s ul t s ,   A ra b i c   ps y c h i a t ri c   c l i n i c s   c a e xpl o r e   t h e   e m o t i o n a l   s t a t e s   o f   t h e i r   pa t i e n t s   a ut o m a t i c a l l y   by   us i n t h e   b e s t   m o de l ,   a s   s h o w n   i F i gu r e   6 .   A ddi t i o n a l l y ,   t h e   a n a l y s i s   r e s ul t s   c o ul p r o v i de   v a l ua b l e   kn o w l e dge   fo r   m a n y   a ppl i c a t i o n s   i n   d i f fe r e nt   a re a s .   F o r   e xa m pl e ,   t h e   f i n d i n gs   c o ul pr o v i de   v a l ua b l e   kn o w l e dge   fo r   t h e   e c o n o m i c ,   e duc a t i o n ,   s e c uri t y   s e c t o r s   a n o t h e r   s e c t o r s   t hr o ug h   k n o w l e dge   e xt ra c t i o t o   s uppo rt   de c i s i o n - m a ki n g .   F u rt h e r m o r e ,   t h e   r e s ul t s   c o ul p r o v i de   a   m e t h o t o   e xpl o r e     t h e   o pi n i o n s   a n i m p r e s s i o n s   o pe o pl e   w r i t t e n   i n   A ra b i c   a bo ut   s e r v i c e s   pr o v i de o r   pr o duc t s   off e r e d,     t h e r e   by   i n c r e a s i n s a l e s   a n p r o f i t s   by   i m pr o v i n t h e   qua l i t y   of  t h e   p r o duc t s   o r   of   t h e   s e r v i c e s   pr o v i de t c us t o m e r s .   M a n y   m e t h o ds   c o ul b e   us e t o   e xt e n t h i s   r e s e a r c h   i n   t h e   f ut u r e .   O n e   o f   t h e m   c o ul b e   c a pt u r i ng  e m o t i c o n s ,   w h i c h   a r e   us ua l l y   us e t o   c o n v e y   t h e   w r i t e r’s   e m o t i o n s   o r   i nt e n de t o n e .   F u rt h e r m o r e ,   a   s t udy   w i t h   m o r e   fo c us   o n   t h e   e m o t i o n   c l a s s e s   i n   a   s pe c i f i c   f i e l w o ul pr o v i de   a   c l e a r e r   pi c t u r e   o f   pe o pl e s   e m o t i o n a l   s t a t e s ,   o pi ni o n s ,   a nd  s ugge s t i o n s   b a s e o n   t h e   b e s t   c l a s s i f i e r   i de n t i f i e by   t hi s   p r e s e n t   s t u dy .   A dv a n c e r e s e a r c h   s h o ul b e   do n e   t o   i l l um i n a t e   w h y   s o m e   fe a t ur e s   w o r w e l l   w i t h   s o m e   a l go ri t hm s   a nd  po o r l y   w i t h   o t h e r s .       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       E x p l or at i on   of   t h e   be s t   p e r f or m an c e   m e t hod   of   e m o t i o ns   c l as s i f i c at i on     ( Moham m e A bdu l l ah   A l - H ag e r y )   1019   R EF ER EN C ES   [ 1]   D .   S p i n a ,   A .   Z ub i a g a ,   A .   S h e t h ,   a nd   M .   S t r o hm a i e r ,   P r o c e s s i ng   s o c i a l   m e di a   i r e a l - t i m e ,   I n f o r m at i on   P r oc e s s i ng   &   M anage m e nt ,   v o l .   56,   no .   3 ,   pp.   1 081 1083 ,   201 9   [ 2]   J .   D .   G .   P a u l e ,   Y .   S un ,   a nd  Y .   M o s hf e g hi ,   O f i n e - g r a i n e g e o l o c a l i s a t i o o f   t w e e t s   a nd  r e a l - t i m e   t r a f f i c   i nc i de nt   de t e c t i o n,   I n f or m a t i on   P r oc e s s i ng   &   M an age m e nt ,   v o l .   5 6,   no .   3,   pp.   11 19 1 132 ,   2019 .   [ 3]   M .   H a s a n ,   M .   A .   O r g un,   a n R .   S c hw i t t e r ,   R e a l - t i m e   e v e n t   de t e c t i o f r o m   t h e   T w i t t e r   d a t a   s t r e a m   us i ng     t he   T w i t t e r N e w s +   F r a m e w o r k,   I n f or m at i on   P r oc e s s i ng   an M an a ge m e nt ,   v o l .   56,   no .   3 ,   pp.   1 146 1165 ,   201 9.   [ 4]   A .   J a v e d,   P .   B u r na p,   a nd  O .   R a na ,   P r e d i c t i o o f   dr i v e - b y   d o w nl oa a t t a c ks   o T w i t t e r ,   I nf o r m a t i o P r oc e s s i ng   and  M a nage m e nt ,   v o l .   5 6,   no .   3 ,   pp.   1 133 1145 ,   201 9.   [ 5]   M .   D r a g o ni ,   M .   F e d e r i c i ,   a nd  A .   R e xha ,   A uns upe r v i s e a s pe c t   e xt r a c t i o s t r a t e g y   f o r   m o ni t o r i ng   r e a l - t i m e   r e v i e w s   s t r e a m ,   I n f o r m at i o P r oc e s s i n a nd   M anage m e nt ,   v o l .   56 ,   no .   3,   pp .   110 3 11 18 ,   2 019 .   [ 6]   S .   S a ng a m   a nd  S .   S h i nde ,   S e n t i m e nt   c l a s s i f i c a t i o o f   s oc i a l   m e di a   r e v i e w s   us i ng   a e ns e m bl e   c l a s s i f i e r ,   I ndo ne s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S) ,   v o l .   16 ,   no .   1,   pp .   355 363 ,   201 9.   [ 7]   I .   P e r i ko s   a nd  I .   H a t z i l y g e r o ud i s ,   R e c o g ni z i ng   e m o t i o ns   i t e xt   us i ng   e ns e m b l e   o f   c l a s s i f i e r s ,   E ngi ne e r i ng   A ppl i c a t i ons   o f   A r t i f i c i al   I nt e l l i ge nc e ,   v o l .   51 ,   p p.   19 1 20 1,   20 16 .   [ 8]   S .   W i l s o a nd  R .   S i v a kum a r ,   T w i t t e r   da t a   a na l y s i s   u s i ng   h a do op  e c o s y s t e m s   a nd  a pa c he   z e p pe l i n ,   I n done s i an   J our nal   o f   E l e c t r i c a l   E ngi ne e r i ng   and   C om p ut e r   Sc i e nc e   ( I J E E C S) ,   v o l .   16 ,   no .   3,   p p 14 90 - 1498 ,   201 9.   [ 9]   H .   B e c ke r ,   D .   I t e r ,   M .   N a a m a n,   a nd  L .   G r a v a no ,   I de nt i f y i ng   c o nt e nt   f o r   pl a nn e e v e n t s   a c r o s s   s o c i a l   m e d i a   s i t e s ,   P r o c .   f i f t h   A C M   I nt .   C o nf .   W e b   s e a r c da t a   M i n .   -   W S D M   12 ,   no .   533,   p .   533 ,   201 2.   [ 10]   H .   K w a k,   C .   L e e ,   H .   P a r k,   a nd  S .   M o o n,   W ha t   i s   T w i t t e r ,   a   s o c i a l   ne t w o r o r   a   ne w s   m e di a ? ,   P r oc .   19 t I nt .   C onf .   W or l w i de   w e -   W W W   10 ,   p.   5 91,   2 010 .   [ 11]   H a s s a S a i f ,   M i r i a m   F e r na nde z ,   Y u l a H e ,   a n H a r i t A l a ni   E v a l ua t i o da t a s e t s   f o r   T w i t t e r   s e n t i m e nt   a na l y s i s :     s ur v e y   a nd  a   ne w   d a t a s e t ,   t h e   S T S - G o l d,   C on f e r e nc e :   W or k s ho p:   E m o t i on  a nd  Se nt i m e nt   i S oc i al   and   E x pr e s s i v e   M e di a :   app r oa c he s   and   pe r s pe c t i v e s   f r om   A I   ( E SSE M )   at   A I * I A   C on f e r e nc e ,   A t   T u r i n,   I t a l y ,   201 3.   [ 12]   S t a t i s t a ,   C o unt r i e s   w i t h   m o s t   I ns t a g r a m   us e r s   2 019 ,   S t a t i s t a ,   2 019 .   [ O n l i n e ] .   A v a i l a bl e :   ht t ps : / / w w w . s t a t i s t a . c o m / s t a t i s t i c s / 5 7836 4/ c o unt r i e s - w i t h - m o s t - i ns t a g r a m - us e r s / .   [ 13]   L .   W i ka r s a   a nd   S .   N .   T ha hi r ,   A   t e x t   m i ni ng   a pp l i c a t i o o f   e m o t i o c l a s s i f i c a t i o ns   o f   T w i t t e r s   us e r s   u s i ng   N a ï v e   B a y e s   m e t ho d,   2 015   1s t   I n t e r na t i ona l   C onf e r e nc e   o W i r e l e s s   an d   T e l e m at i c s   ( I C W T ) ,   201 6.   [ 14]   M .   A bdul l l a h,   M .   O .   A l m a s a w a ,   I .   S .   M a kk i ,   M .   J .   A l s o l m i ,   a n S .   S .   M a h r o us ,   E m o t i o ns   c l a s s i f i c a t i o f o r   A r a bi c   t w e e t s ,   I nt e r na t i ona l   J ou r na l   of   C om p ut e r s   a nd  A pp l i c at i o ns p p.   1 15 ,   2018 .   [ 15]   M .   N . ,   I .   M . ,   A .   H . ,   a n H .   A . ,   O pi ni o m i n i ng   a nd  a na l y s i s   f o r   A r a bi c   l a ng ua g e ,   I n t e r nat i o nal   J ou r na l   of   A dv an c e C om pu t e r   Sc i e nc e   and   A p pl i c a t i ons ,   v o l .   5 ,   no .   5,   pp .   18 1 195 ,   201 4.   [ 16]   M .   H a s a n,   E .   R und e ns t e i n e r ,   a nd  E .   A g u,   E M O T E X :   D e t e c t i ng   e m o t i o ns   i n   t w i t t e r   m e s s a g e s ,   201 A SE   B I G D A T A / SO C I A L C O M / C Y B E R SE C U R I T Y   C on f e r e nc e ,   2 014 .   [ 17]   O .   B a da r n e h,   M .   A l - A yy o ub,   N .   A l hi nda w i ,   L .   A .   T a w a l be h ,   a nd  Y .   J a r a r w e h ,   F i ne - g r a i ne e m o t i o a na l y s i s   o f   A r a bi c   t w e e t s :   A   m ul t i - t a r g e t   m u l t i - l a be l   a ppr o a c h ,   2018  I E E E   12t I n t e r na t i ona l   C onf e r e nc e   on  Se m ant i c   C om put i ng   ( I C SC ) p p.   34 0 34 5,   20 18.   [ 18]   A .   S huk l a ,   S .   S huk l a ,   A   s ur v e y   o s e nt i m e n t   c l a s s i f i c a t i o a n a n a l y s i s   u s i ng   da t a   m i n i ng ,   I n t e r na t i ona l   J our nal   of   A dv a nc e R e s e ar c i n   C om p ut e r   Sc i e nc e v o l .   6 ,   no .   7 ,   pp .   20 - 25 ,   2015 .   [ 19]   D .   M o w e r y ,   C .   B r y a n,   a nd  M .   C o nw a y ,   F e a t u r e   S t u di e s   t o   I nf or m   t he   C l a s s i f i c a t i o o f   D e pr e s s i v e   S y m pt o m s   f r o m   T w i t t e r   D a t a   f o r   P o pu l a t i o H e a l t h ,   ar X i v : 17 01. 0822 9v 1   [ c s . I R ] pp.   0 4,   2 017 .   [ 20]   S .   C .   G un t uk u,   D .   B .   Y a d e n ,   M .   L .   K e r n ,   L .   H .   U ng a r ,   a n J .   C .   E i c hs t a e dt ,   D e t e c t i ng   de pr e s s i o a nd  m e n t a l   i l l ne s s   o s o c i a l   m e di a :   a n   i nt e g r a t i v e   r e v i e w ,   C u r r e nt   O pi ni on  i n   B e hav i o r al   S c i e nc e s ,   v o l .   18 ,   pp.   4 3 49 ,   201 7.   [ 21]   W .   Y a ng   a nd  L .   M u,   G I S   a na l y s i s   o f   de pr e s s i o a m o ng   T w i t t e r   us e r s ,   A p pl i e G e ogr aphy ,   v o l .   60,     pp.   21 7 22 3,   20 15.   [ 22]   S .   B a dug a nd   M .   S uha s i n i ,   E m o t i o D e t e c t i o o T w i t t e r   D a t a   u s i ng   K no w l e dg e   B a s e   A ppr o a c h,   I nt e r na t i ona l   J our nal   o f   C om pu t e r   A p pl i c a t i on s ,   v o l .   1 62 ,   no .   10 ,   pp .   28 - 33 ,   2 01 7.   [ 23]   S .   M .   M o ha m m a a n F .   B r a v o - M a r que z ,   E m o t i o i n t e ns i t i e s   i T w e e t s ,   P r oc e e di ngs   o f   t he   6t J oi nt   C onf e r e nc e   on   L e x i c a l   a nd   C om pu t a t i ona l   Se m an t i c s   ( *SE M   2017) ,   pp .   65 - 77 ,   2 017 .   [ 24]   S .   J a i a n K .   A s a w a ,   E M I A :   E m o t i o m o de l   f o r   i n t e l l i g e nt   a g e nt ,   J ou r na l   o f   I nt e l l i ge nt   S y s t e m s ,   v o l .   24,   no .   4 ,   pp.   44 9 46 5,   20 15.   [ 25]   M .   H a s a n,   E .   R un de n s t e i n e r ,   a nd  E .   A g u,   A ut o m a t i c   e m o t i o de t e c t i o i t e x t   s t r e a m s   by   a na l y z i ng   T w i t t e r   da t a ,   I nt e r n at i on al   J o ur n al   o f   D a t a   Sc i e nc e   a nd  A na l y t i c s ,   2 018 .   [ 26]   M .   A .   A z i m   a nd  M .   H .   B hu i y a n,   T e xt   t o   e m o t i o e xt r a c t i o us i ng   s upe r v i s e m a c hi n e   l e a r n i ng   t e c hni que s ,   T E L K O M N I K A   ( T e l e c om m un i c a t i on   C om pu t upe r   E l e c t r on ic   C ont r ol ) ,   v o l .   16 ,   no .   3,   p .   1394 - 1 401 ,   2018 .   [ 27]   M .   T h e l w a l l ,   T e n s i S t r e ng t h:   S t r e s s   a n r e l a x a t i o m a g ni t ud e   de t e c t i o f o r   s oc i a l   m e d i a   t e x t s ,   I n f o r m at i o P r oc e s s i ng   &   M a nage m e nt ,   v o l .   53,   no .   1 ,   pp.   1 06 1 21,   2 017 .   [ 28]   J .   K a r o ui ,   F .   B .   Z i t o une ,   a nd  V .   M o r i c e a u ,   S O U K H R I A :   T o w a r ds   a n   i r o n y   de t e c t i o s y s t e m   f o r   A r a bi c   i s o c i a l   m e di a ,   P r oc e di C om put e r   Sc i e nc e ,   v o l .   11 7,   pp .   161 168 ,   20 17.   [ 29]   H .   M .   A bde l a a l ,   A .   N .   E l m a h dy ,   A .   A .   H a l a w a ,   a nd  H .   A .   Y o une s s ,   I m pr o v e   t he   a ut o m a t i c   c l a s s i f i c a t i o a c c ur a c y   f o r   A r a bi c   t w e e t s   us i ng   e n s e m b l e   m e t ho ds ,   J .   E l e c t r .   Sy s t .   I n f .   T e c hnol . ,   no .   20 17 ,   p p.   1 8,   2 018 .   [ 30]   G .   F o r m a n ,   A e x t e n s i v e   e m pi r i c a l   s t udy   of   f e a t ur e   s e l e c t i o m e t r i c s   f o r   t e x t   c l a s s i f i c a t i o n ,   J our nal   o f   M a c hi ne   L e ar ni n R e s e ar c h ,   v o l .   3 ,   pp .   128 9 13 05 ,   2 003 .   [ 31]   H .   W a ng ,   L .   W a ng ,   a nd  L .   Y i ,   M a x i m um   e n t r o py   f r a m e w o r us e i t e x t   c l a s s i f i c a t i o n,   i P r oc e e di ng s   -   201 I E E E   I n t e r na t i o na l   C o nf e r e nc e   on   I nt e l l i ge nt   C om pu t i ng   and   I nt e l l i ge nt   S y s t e m s ,   pp .   828 833 ,   2010 .   Evaluation Warning : The document was created with Spire.PDF for Python.