I n t e r n a t i o n a l   J o u r n a l   o f   E l e c t r i c a l   a n d   C o m p u t e r   E n g i n e e r i n g   ( I J E C E )   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9 ,   p p .   6 5 2 ~ 6 5 9   I S S N :   2 0 8 8 - 8 7 0 8 ,   D O I :   1 0 . 1 1 5 9 1 / i j e c e . v 9 i 1 . p p 6 5 2 - 6 5 9             6 5 2       J o u r n a l   h o m e p a g e :   h t t p : / / i a e s c o r e . c o m / j o u r n a l s / i n d e x . p h p / I J E C E   T h e   e f f e c t   o f   t r a i n i n g   s e t   s i z e   i n   a u t h o r s h i p   a t t r i b u t i o n :   a p p l i c a t i o n   o n   s h o r t   A r a b i c   t e x t s       M o h a m m e d   A L - S a r e m 1   ,   A b d e l - H a m i d   E m a r a 2   1 D e p a r t m e n t   o f   I n f o r m a t i o n   S y s t e m ,   T a i b a h   U n i v e r s i t y ,   M a d i n a h ,   K S A   1 D e p a r t m e n t   o f   C o m p u t e r   S c i e n c e ,   S a b a ' a   R e g i o n   U n i v e r s i t y ,   M a r e b ,   Y e m e n   2 D e p a r t m e n t   o f   C o m p u t e r   S c i e n c e ,   T a i b a h   U n i v e r s i t y ,   M a d i n a h ,   K S A   2 C o m p u t e r s   a n d   S y s t e m s   E n g i n e e r i n g   D e p a r t m e n t ,   A l - A z h a r   U n i v e r s i t y ,   E g y p t       A r t i c l e   I n f o     A B S T R A C T     A r t i c l e   h i s t o r y :   R e c e i v e d   A p r   1 4 ,   2 0 1 8   R e v i s e d   S e p   3 ,   2 0 1 8   A c c e p t e d   S e p   2 6 ,   2 0 1 8       A u t h o r s h i p   a t t r i b u t i o n   ( A A )   i s   a   s u b f i e l d   o f   l i n g u i s t i c s   a n a l y s i s ,   a i m i n g   t o   i d e n t i f y   t h e   o r i g i n a l   a u t h o r   a m o n g   a   s e t   o f   c a n d i d a t e   a u t h o r s .   S e v e r a l   r e s e a r c h   p a p e r s   w e r e   p u b l i s h e d   a n d   s e v e r a l   m e t h o d s   a n d   m o d e l s   w e r e   d e v e l o p e d   f o r   m a n y   l a n g u a g e s .   H o w e v e r ,   t h e   n u m b e r   o f   r e l a t e d   w o r k s   f o r   A r a b i c   i s   l i m i t e d .   M o r e o v e r ,   i n v e s t i g a t i n g   t h e   i m p a c t   o f   s h o r t   w o r d s   l e n g t h   a n d   t r a i n i n g   s e t   s i z e   i s   n o t   w e l l   a d d r e s s e d .   T o   t h e   b e s t   o f   o u r   k n o w l e d g e ,   n o   p u b l i s h e d   w o r k s   o r   r e s e a r c h e s ,   i n   t h i s   d i r e c t i o n   o r   e v e n   i n   o t h e r   l a n g u a g e s ,   a r e   a v a i l a b l e .   T h e r e f o r e ,   w e   p r o p o s e   t o   i n v e s t i g a t e   t h i s   e f f e c t ,   t a k i n g   i n t o   a c c o u n t   d i f f e r e n t   s t y l o m a t r i c   c o m b i n a t i o n .   T h e   M a h a l a n o b i s   d i s t a n c e   ( M D ) ,   L i n e a r   R e g r e s s i o n   ( L R ) ,   a n d   M u l t i l a y e r   P e r c e p t r o n   ( M P )   a r e   s e l e c t e d   a s   A A   c l a s s i f i e r s .   D u r i n g   t h e   e x p e r i m e n t ,   t h e   t r a i n i n g   d a t a s e t   s i z e   i s   i n c r e a s e d   a n d   t h e   a c c u r a c y   o f   t h e   c l a s s i f i e r s   i s   r e c o r d e d .   T h e   r e s u l t s   a r e   q u i t e   i n t e r e s t i n g   a n d   s h o w   d i f f e r e n t   c l a s s i f i e r s   b e h a v i o r s .   C o m b i n i n g   w o r d - b a s e d   s t y l o m a t r i c   f e a t u r e s   w i t h   n - g r a m s   p r o v i d e s   t h e   b e s t   a c c u r a c y   r e a c h e d   i n   a v e r a g e   9 3 % .   K e y w o r d s :   A r a b i c   l a n g u a g e   A u t h o r s h i p   a t t r i b u t i o n   t r a i n i n g   s e t   s i z e   L i n e a r   r e g r e s s i o n   M a h a l o n o b i s   d i s t a n c e   M L P   c l a s s i f i e r   C o p y r i g h t   ©   2 0 1 9   I n s t i t u t e   o f   A d v a n c e d   E n g i n e e r i n g   a n d   S c i e n c e .     A l l   r i g h t s   r e s e r v e d .   C o r r e s p o n d i n g   A u t h o r :   M o h a m m e d   A l - S a r e m ,     D e p a r t m e n t   o f   I n f o r m a t i o n   S y s t e m ,   T a i b a h   U n i v e r s i t y ,   P O   b o x   3 4 4 ,   M e d i n a ,   K i n g d o m   o f   S a u d i   A r a b i a .   E m a i l :   m o h s a r e m @ g m a i l . c o m       1 .   I N T R O D U C T I O N     U n l i k e   t e x t   c a t e g o r i z a t i o n ,   a u t h o r s h i p   a t t r i b u t i o n   ( A A )   i s   a   s u b f i e l d   o f   l i n g u i s t i c s   a n a l y s i s   w h i c h   a i m s   t o   i d e n t i f y   t h e   o r i g i n a l   a u t h o r   a m o n g   a   s e t   o f   c a n d i d a t e   a u t h o r s   [ 1 ] .   T h e   i d e a   c a n   b e   c r e a t e d   b a s i c a l l y   a s   f o l l o w s :   f o r   g i v e n   t e x t   s e t s   o f   k n o w n   a u t h o r s h i p ,   t h e   a u t h o r   o f   t h e   u n s e e n   t e x t   i s   e s t i m a t e d   b y   m a t c h i n g   t h e   a n o n y m o u s   t e x t   t o   o n e   a u t h o r   o f   t h e   c a n d i d a t e   s e t .   T h e   e s t i m a t e d   f u n c t i o n   d e p e n d s   o n   t h e   e x t r a c t e d   h u m a n   s t y l o m e t r i c   f i n g e r p r i n t   f e a t u r e s .   D e s p i t e   a u t h o r ' s   w r i t i n g   s t y l e   t h a t   c a n   c h a n g e   f r o m   t o p i c   t o   t o p i c ,   s o m e   p e r s i s t e n t ,   u n c o n t r o l l e d   h a b i t   a n d   w r i t i n g   s t y l e s   a r e   s t i l l   v a l i d   o v e r   t h e   t i m e .     A l t h o u g h   t h e   i m p o r t a n c e   o f   A r a b i c   l a n g u a g e   a n d   t h e   g l o b a l   p o s i t i o n   w h i c h   i t   h o l d s   a n d   t h e   w i d e l y   u s e   b y   h u n d r e d s   o f   m i l l i o n s   o f   p e o p l e ,   o n l y   a   v e r y   s m a l l   n u m b e r   o f   a u t h o r s h i p   a t t r i b u t i o n   s t u d i e s   t h a t   e m p l o y   m a c h i n e - l e a r n i n g   m e t h o d s   h a s   b e e n   p u b l i s h e d   f o r   A r a b i c   t e x t s   s o   [ 2 ] .   A b b a s i   a n d   C h e n ,   e . g . ,   a p p l i e d   s u p p o r t   v e c t o r   m a c h i n e   ( S V M )   a n d   C 4 . 5   d e c i s i o n   t r e e s   o n   p o l i t i c a l   a n d   s o c i a l   A r a b i c   w e b   f o r u m   m e s s a g e s   [ 3 ] .   D e s p i t e   t h e   n o t a b l e   r e s u l t s   t h e y   h a v e ,   t h e   d a t a s e t   i s   q u i t e   l a r g e   t o   e x t r a c t   e n o u g h   f e a t u r e s .   S t a m a t a t o s   [ 4 ]   t e s t e d   a l s o   t h e   u s e   o f   S V M   o n   A r a b i c   n e w s p a p e r .   A l t h o u g h   t h e   e x p e r i m e n t   w a s   c o n d u c t e d   t o   i n v e s t i g a t e   t h e   e f f e c t   o f   c l a s s   i m b a l a n c e   p r o b l e m ,   t h e   f i n d i n g s   e n c o u r a g e d   u s   t o   i n v e s t i g a t e   w h i c h   s i z e   a n d   l e n g t h   e f f e c t   t h e   p e r f o r m a n c e   o f   A A   c l a s s i f i e r s   h a s .   I n   [ 2 ] ,   t h e   l i n e a r   d i s c r i m i n a n t   a n a l y s i s   ( L D A )   i s   u s e d .   F o r   a t t r i b u t i n g   t e x t ,   f u n c t i o n   w o r d s   w e r e   u s e d   a s   f e a t u r e .   A t   t r a i n i n g   a n d   t e s t i n g   p h a s e ,   t h e   u s e d   t e x t s   w e r e   d i v i d e d   i n t o   t w o   c h u n k s :   t h e   f i r s t   c h u n k   w i t h   1 0 0 0 - w o r d s ,   w h i l e   t h e   s e c o n d   c h u n k   w i t h   2 0 0 0 - w o r d s .   T h e   f i n d i n g s   i n d i c a t e   t h a t   t h e   l o n g e r   t h e   t e x t   i s ,   t h e   h i g h e r   t h e   o b t a i n e d   p e r f o r m a n c e .   T h e   b e s t   p e r f o r m a n c e   t h e y   o b t a i n e d   w i t h   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       T h e   e f f e c t   o f   t r a i n i n g   s e t   s i z e   i n   a u t h o r s h i p   a t t r i b u t i o n :   a p p l i c a t i o n   o n   s h o r t   . . .   ( M o h a m m e d   A L - S a r e m )   6 5 3 s e c o n d   c h u n k   w a s   a r o u n d   8 7 %   a c c u r a c y .   T h e   s a m e   f i n d i n g s   w e r e   r e p o r t e d   i n   [ 5 ]   i n   w h i c h   t h e   a u t h o r s   e x a m i n e d   t h e   p e r f o r m a n c e   o f   s e v e r a l   c l a s s i f i e r s ,   n a m e l y ,   S V M ,   M L P ,   L i n e a r   R e g r e s s i o n ,   S t a m a t a t o s   d i s t a n c e   a n d   M a n h a t t a n   d i s t a n c e .   T h e   r e s u l t s   c o n f i r m e d   t h e   f i n d i n g s   b y   E d e r   i n   2 0 1 3   f o r   t h e   E n g l i s h   l a n g u a g e   [ 6 ]   a n d   t h e   m i n i m u m   s i z e   o f   t e x t u a l   d a t a   i s   2 5 0 0   w o r d s   p e r   d o c u m e n t s .     E x i s t i n g   w o r k s   o n   a u t h o r s h i p   a t t r i b u t i o n   a r e   c o n d u c t e d   w i t h   l o n g   t e x t   s i z e .   B e s i d e s   t h a t ,   t h e r e   a r e   m a n y   p r o b l e m s   f a c i n g   r e s e a r c h e r s   i n   t h i s   d o m a i n ,   e s p e c i a l l y   i n   A r a b i c :   a .   R e s e a r c h e s   i n   A A   a r e   q u i t e   f e w   a n d   a r e   n o t   t a c k l e d   a s   m u c h   a s   i n   o t h e r   l a n g u a g e s ;   b .   A b s e n c e   a   b e n c h m a r k   d a t a   s e t s ,   f u l l   a d a p t a b l e   s u p p o r t   t o o l s   l e a d   t o   i n c r e a s e   t h e   e x e r t e d   e f f o r t   i n   e x t r a c t i n g   t h e   n e c e s s a r y   f e a t u r e s ;   c .   N a t u r e   o f   A r a b i c   l a n g u a g e   a l s o   a d d s   e x t r a   s t e p s   t o   t e x t   p r e p r o c e s s i n g ,   a n d   w o r d s   i n   A r a b i c   t e n d   t o   b e   s h o r t ,   w h i c h   m i g h t   r e d u c e   t h e   e f f e c t i v e n e s s   o f   s o m e   s t y l i s t i c   f e a t u r e s ,   s u c h   a s   w o r d   l e n g t h   d i s t r i b u t i o n   [ 3 ] .     L i k e   a n y   s u p e r v i s e d   l e a r n i n g   p r o b l e m ,   s o l v i n g   t h e   A A   p r o b l e m s   g o   t h r o u g h   t h r e e   k e y   p h a s e s :   ( i )   d a t a   p r e p r o c e s s i n g   p h a s e   w h e r e   t h e   t y p i c a l   d a t a s e t   c o l l e c t i o n ,   f e a t u r e   e x t r a c t i o n ,   f e a t u r e   s e l e c t i o n ,   a n d   d i m e n s i o n   r e d u c t i o n   a r e   n e c e s s a r y   s t e p s ;   ( i i )   t r a i n i n g / t e s t i n g   p h a s e :   a t   t h i s   s t e p ,   t h e   c l a s s i f i e r s   a r e   s e l e c t e d   a n d   t h e   m o d e l   i s   b u i l t ;   a n d   ( i i i )   p a t t e r n   e v a l u a t i o n :   t o   e n s u r e   t h e   p e r f o r m a n c e   o f   t h e   s e l e c t e d   c l a s s i f i e r ,   k - f o l d   c r o s s   v a l i d a t i o n   w i t h   d i f f e r e n t   f e a t u r e   c o m b i n a t i o n   i s   c o n d u c t e d   a n d   a c c u r a c y   o f   t h e   m o d e l s   a r e   c o m p u t e d .   C u r r e n t   p a p e r   t r i e s   t o   d r a w   t h e   r e s e a r c h e r s '   a t t e n t i o n   t o   i n c r e a s e   t h e i r   e f f o r t s   t o   e n h a n c e   r e s e a r c h   i n   A r a b i c   l a n g u a g e   d o m a i n .   S i n c e   t h e   A A   p r o b l e m s   i n   A r a b i c   d o m a i n   a r e   m a n y ,   c u r r e n t   s t u d y   f o c u s e s ,   o n   o n e   h a n d ,   o n   i n v e s t i g a t i n g   t h e   e f f e c t   o f   t r a i n i n g   s e t   s i z e   w i t h   s h o r t   t e x t   l e n g t h .   T h e   r e a s o n   b e h i n d   s u c h   s e l e c t i o n   i s   t o   p r o v i d e   i n s i g h t s   o n   t h e   w a y   t h e   t r a i n i n g   s e t   s i z e   i m p a c t s   t h e   a c c u r a c y   p e r f o r m a n c e .   O n   t h e   o t h e r   h a n d ,   t o   h e l p   g u i d e   o t h e r s   i n   s e l e c t i n g   s u i t a b l e   c l a s s i f i e r s   b a s e d   o n   t h e   s i z e   o f   t h e   t r a i n i n g   s e t   s o   t h a t   i t   w i l l   g i v e   t h e   o p t i m u m   r e s u l t .       I n   t h e   p r e p a r a t i o n   f o r   t h i s   r e s e a r c h ,   t h e r e   a r e ,   t o   t h e   b e s t   o f   o u r   k n o w l e d g e ,   n o   p u b l i s h e d   w o r k s   o r   r e s e a r c h e s   i n   t h i s   d i r e c t i o n   o r   e v e n   i n   o t h e r   l a n g u a g e s .   S i n c e   t h e r e   a r e   n u m e r o u s   m e t h o d s   w h i c h   h a v e   b e e n   d e v e l o p e d   t o   t a c k l e   t h e   A A   p r o b l e m ,   t h e   r e s e a r c h e r   l i m i t s   h i s   i n v e s t i g a t i o n   t o   s e l e c t e d   m e t h o d s   a n d   w r i t i n g   s t y l e   f e a t u r e s ;   h o w e v e r ,   t h e   i d e a   i s   s t i l l   v a l i d   t o   a s s e s s   o t h e r   c l a s s i f i e r s   w i t h   d i f f e r e n t   w r i t i n g   s t y l e   c o m b i n a t i o n .     T h i s   p a p e r   i s   o r g a n i z e d   a s   f o l l o w s :   S e c t i o n   I I   g i v e s   a   g e n e r a l   o v e r v i e w   o f   t h e   a u t h o r s h i p   a t t r i b u t i o n   p r o b l e m ,   t h e   s e l e c t e d   w r i t i n g   s t y l e s ,   a n d   t h e   s e l e c t e d   c l a s s i f i e r s .   S e c t i o n   I I I   p r e s e n t s   t h e   c o n d u c t e d   e x p e r i m e n t   a n d   f i n d i n g   r e s u l t s   a n d   S e c t i o n   I V   p r o v i d e s   s o m e   c o m p a r i s o n   w i t h   o t h e r   e x i s t i n g   w o r k s   i n   t e r m   o f   a c c u r a c y .   F i n a l l y ,   S e c t i o n   V   s u m m a r i z e s   t h e   w h o l e   p a p e r .       2 .   A U T H O R S H I P   A T T R I B U T I O N   2 . 1   T h e   s e l e c t e d   w r i t i n g   s t y l e   f e a t u r e s   T o   i d e n t i f y   t h e   a u t h o r   o f   a n   u n s e e n   t e x t ,   s e t   o f   p o p u l a r   f e a t u r e s   a r e   e x t r a c t e d   i n   o r d e r   t o   q u a n t i f y   t h e   w r i t i n g   s t y l e .   I n   t h e   l i t e r a t u r e ,   s e v e r a l   f e a t u r e s   c a n   b e   f o u n d .   T h e   i n t e r e s t e d   r e a d e r   i s   r e f e r r e d   t o   [ 1 ] ,   [ 5 ] ,   [ 7 ]   a n d   [ 8 ] .   T h e s e   f e a t u r e s   c a n   b e   c a t e g o r i z e d   i n t o   s e v e n   m a i n   g r o u p s :   l e x i c a l ,   c h a r a c t e r ,   s y n t a c t i c ,   s e m a n t i c ,   c o n t e n t - s p e c i f i c ,   s t r u c t u r a l   a n d   l a n g u a g e - s p e c i f i c .   I n   t h i s   p a p e r ,   t h e   l e x i c a l   f e a t u r e s ,   n a m e l y   w o r d - b a s e d   f e a t u r e s   h a v e   b e e n   s e l e c t e d .   T h e   f e a t u r e s   w e r e   c o m b i n e d   w i t h   n - g r a m   m e t h o d   a n d   P a r t - o f - S p e e c h   a n d   o r g a n i z e d   d i f f e r e n t   s e t s   f o r   t e s t i n g   a s   f o l l o w s :   S e t 1 :   W o r d - b a s e d   L e x i c a l   F e a t u r e s   ( W L F ) .   S e t 2 :   N - G r a m .   S e t 3 :   P a r t - o f - S p e e c h   ( P O S )   S e t 4 :   N - g r a m   +   P O S   S e t 5 :   W L F + N - g r a m   S e t 6 :   W L F + P O S   S e t 7 :   W L F + N - g r a m +   P O S     2 . 2   T h e   s e l e c t e d   c l a s s i f i e r s   S i n c e   t h e r e   a r e   v a r i o u s   m a c h i n e   l e a r n i n g   m e t h o d s   t h a t   c a n   b e   u s e d   f o r   A A   a n d   d u e   t o   m a n y   c l a s s i f i e r s   c a n   b e   s e l e c t e d ,   o u r   s e l e c t i o n   w a s   r a n d o m l y   a n d   t h e   f o l l o w i n g   m e t h o d s   w e r e   u s e d :   M a h a l a n o b i s   d i s t a n c e   ( M D ) ,   L i n e a r   R e g r e s s i o n   ( L R ) ,   a n d   M u l t i l a y e r   P e r c e p t r o n   ( M P ) .       2 . 2 . 1 .   M a h a l a n o b i s   d i s t a n c e   T h e   M a h a l a n o b i s   d i s t a n c e   i s   a   m e a s u r e   o f   d i s t a n c e   b e t w e e n   a n   o b s e r v a t i o n   = ( , , , , ) ,   a   s e t   o f   i t s   m e a n s   = ( , , , , )     a n d   a   d i s t r i b u t i o n D (   c o v a r i a n c e   m a t r i x   S   )   a s   f o l l o w s :     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     6 5 2   -   6 5 9   6 5 4 ) ( ) ( ) ( 1 x S x x D T M   ( 1 )   I t   c a n   a l s o   b e   d e f i n e d   a s   a   d i s s i m i l a r i t y   m e a s u r e   b e t w e e n   t w o   r a n d o m   v e c t o r s x a n d   y   o f   t h e   s a m e   d i s t r i b u t i o n   w i t h   t h e   c o v a r i a n c e   m a t r i x   S :     ) ( ) ( ) , ( 1 y x S y x y x d T   ( 2 )     I n   t h e   c a s e s   t h e   w h e r e   t h e   c o v a r i a n c e   m a t r i x   i s   t h e   i d e n t i t y   m a t r i x ,   t h e   M a h a l a n o b i s   d i s t a n c e   i s   r e d u c e d   t o   t h e   E u c l i d e a n   d i s t a n c e .   I n   a d d i t i o n   t o   t h i s ,   i f   t h e   c o v a r i a n c e   m a t r i x   i s   d i a g o n a l ,   t h e n   t h e   r e s u l t i n g   d i s t a n c e   m e a s u r e   i s   c a l l e d   a   n o r m a l i z e d   E u c l i d e a n   d i s t a n c e :       N i i i i s y x y x d 1 2 2 ) ( ) , (   ( 3 )     w h e r e   i s i s   t h e   s t a n d a r d   d e v i a t i o n   o f   t h e   i x a n d   i y   o v e r   t h e   s a m p l e   s e t .   T h e   M a h a n a l o b i s   d i s t a n c e   i s   w i d e l y   u s e d   i n   L D A ,   C l u s t e r i n g   a n a l y s i s ,   a n d   c l a s s i f i c a t i o n   t e c h n i q u e s .       2 . 2 . 2 .   L i n e a r   r e g r e s s i o n   L R   i s   o n e   o f   t h e   o l d e s t   m e t h o d s   t h a t   i s   w i d e l y   u s e d   i n   p r e d i c t i v e   a n a l y s i s .   T h e   m a i n   i d e a   b e h i n d   i t   i s   t o   m i n i m i z e   t h e   s u m   o f   t h e   s q u a r e d   e r r o r s   t o   f i t   a   s t r a i g h t   l i n e   t o   a   s e t   o f   d a t a   p o i n t s .     T h e   L R   m o d e l   a s s u m e s   t h a t   t h e   r e l a t i o n s h i p   b e t w e e n   t h e   d e p e n d e n t   v a r i a b l e   i y   a n d   t h e   p - v e c t o r   o f   r e g r e s s o r s   i x   i s   l i n e a r .   F o r m a l l y ,   t h e   m o d e l   t a k e s   t h e   f o r m :     X y   ( 4 )     w h e r e ,   y i s   c a l l e d   t h e   r e g r e s s a n d   o r   r e s p o n s e   v a r i a b l e ,   X a r e   r e g r e s s o r s   o r   p r e d i c t o r   v a r i a b l e s ,   a r e   a   " e s t i m a t e d   e f f e c t s "   o r   r e g r e s s i o n   c o e f f i c i e n t s ,   a n d   i s   a n   e r r o r   t e r m .     2 . 2 . 3 .   M u l t i l a y e r   p e r c e p t r o n   T h e   M L P   i s   a   c l a s s i c a l   n e u r a l   n e t w o r k   c l a s s i f i e r   i n   w h i c h   t h e   e r r o r s   o f   t h e   o u t p u t   a r e   u s e d   t o   t r a i n   t h e   n e t w o r k   [ 9 ] .   W h e n   a p p l y i n g   M L P   c l a s s i f i e r ,   w e   s h o u l d   t a k e   i n   c o n s i d e r a t i o n   t h e   h i g h   c o m p u t a t i o n a l   e f f o r t   f o r   t r a i n i n g   [ 1 0 ]   a n d   p r o b l e m   f a l l i n g   i n   a   l o c a l   m i n i m a   w h i c h   l e a d s   t o   s o m e   e r r o r s   o f   c l a s s i f i c a t i o n .   I n   n a t u r e ,   t h e   M L P   i s   a   c l a s s   o f   f e e d   f o r w a r d   n e t w o r k .   I t   c o n s i s t s   o f   t h r e e   l a y e r s   o f   n o d e s   w i t h   a t   l e a s t   o n e   o r   m o r e   h i d d e n   l a y e r ( s ) .   T o   e n s u r e   t r a i n i n g   o f   t h e   n e t w o r k s ,   s e v e r a l   b a c k -   p r o p a g a t i o n   t e c h n i q u e s   h a v e   b e e n   u t i l i z e d .   F i g u r e   1   r e p r e s e n t s   a   M L P   w i t h   a   s i n g l e   h i d d e n   l a y e r   ( i n t e r e s t e d   r e a d e r   c a n   r e f e r   [ 1 1 ] .           F i g u r e   1 .   A   M L P   w i t h   s i n g l e   h i d d e n   l a y e r       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       T h e   e f f e c t   o f   t r a i n i n g   s e t   s i z e   i n   a u t h o r s h i p   a t t r i b u t i o n :   a p p l i c a t i o n   o n   s h o r t   . . .   ( M o h a m m e d   A L - S a r e m )   6 5 5 3 .   E X P E R I M E N T   A N D   F I N D I N G   R E S U L T S   3 . 1 .     D a t a s e t   O u r   d a t a s e t   c o r p u s   c o n s i s t s   o f   4 6 3 1   t e x t s   d o c u m e n t s   w h i c h   w e r e   e x t r a c t e d   f r o m   D a r   A l - i f t a   A L   M i s r i y y a h   w e b s i t e .   T h e   t e x t s   i n c l u d e   I s l a m i c   f a t w a s   f r o m   1 8 9 6   t o   1 9 9 6 .   T h e   o r i g i n a l   t e x t s   w e r e   u n s t r u c t u r e d   a n d   r e q u i r e d   s p e c i a l   t o o l   t o   e x t r a c t   t h e   f a t w a   s t r u c t u r e   f r o m   t h e   w h o l e   d o c u m e n t s .   F o r   t h i s   p u r p o s e ,   a   C #   t o o l   w a s   i m p l e m e n t e d .   S i n c e   w e   s e e k   t o   i n v e s t i g a t e   t h e   s i z e   a n d   w o r d   l e n g t h   e f f e c t s   o n   A A   c l a s s i f i e r s ,   w e   g r o u p e d   f a t w a s   b y   t h e   w o r d   l e n g t h   a n d   s i z e   i n t o   d i f f e r e n t   g r o u p s .   T h e n ,   a   s e t   w i t h   t h e   s m a l l e s t   t e s t   s i z e   i s   u s e d   l a t e r   d u r i n g   t h e   e x p e r i m e n t .   T a b l e   3   s u m m a r i z e s   t h e   s t a t i s t i c a l   f e a t u r e s   o f   t h e   u s e d   d a t a s e t .   T h e   w o r d   s i z e   r a n g e s   w i d e l y .   I t   v a r i e s   f r o m   1 1   w o r d s   t o   1 5 0 0   w o r d s   p e r   t e x t s .     3 . 2 .     D e s i g n   o f   e x p e r i m e n t     A s   m e n t i o n e d   p r e v i o u s l y ,   A A   p r o b l e m   c a n   b e   c o n s i d e r e d   a   s u p e r v i s e d   l e a r n i n g   t a s k   w h i c h   m e a n s   t h e r e   i s   a   n e e d   t o   t r a i n   t h e   m o d e l ,   a n d   t h e n   t e s t   i t   o n   a   s e t   o f   u n s e e n   t e x t s .   D e s p i t e   t h e   w h o l e   t e x t   m i n i n g   p r o c e s s ,   w e   f o c u s   h e r e   o n l y   o n   t h e   t r a i n i n g / t e s t   p h a s e s   a n d   e v a l u a t e   t h e   p e r f o r m a n c e   o f   t h e   c l a s s i f i e r s   b y   t h e   n u m b e r   o f   r i g h t   p r e d i c t e d   t e x t s .   A s   s a i d   e a r l i e r ,   a   c o m b i n a t i o n   o f   W L F ,   N - g r a m ,   a n d   P O S   f e a t u r e s   a r e   u s e d   a n d   t h r e e   t y p e s   o f   c l a s s i f i e r s   a r e   e m p l o y e d   ( i . e . ,   M a h a l a n o b i s   d i s t a n c e ,   M L P ,   a n d   L i n e a r   R e g r e s s i o n ) .     F i g u r e   2   p r e s e n t s   i n   a d d i t i o n   t o   t h e   t y p i c a l   s o l u t i o n   o f   a n   A A   p r o b l e m ,   t h e   w a y   t h a t   w e   a r e   f o l l o w e d   d u r i n g   t h e   e x p e r i m e n t   ( t h e   c o l o r e d   l i n e s   i n   r e d ) .   B e l o w ,   t h e   g e n e r a l   p r o c e d u r e   o f   t h e   e x p e r i m e n t :   a .   A f t e r   e x e c u t i n g   t h e   w h o l e   t r a i n i n g   a n d   a t t r i b u t i n g   p h a s e ,   t h e   f i n d i n g   r e s u l t s   a r e   r e c o r d e d .   T h e n ,   a t   t h e   n e x t   i t e r a t i o n ,   w e   i n c r e a s e   t h e   t r a i n i n g   s e t   s i z e   a n d   t h e   w h o l e   p r o c e d u r e   i s   e x e c u t e d   a g a i n   a n d   a g a i n .   W e   l i m i t   t h e   e x p e r i m e n t   w i t h   4 - f o l d   i t e r a t i o n s .   H o w e v e r ,   t h e r e   i s   a   p o s s i b i l i t y   t o   i n c r e a s e   n u m b e r   o f   i t e r a t i o n s   b a s e d   o n   t h e   p a r t i t i o n e d   t r a i n i n g   s e t s .         b .   T h e   c l a s s i f i e r   t y p e   i s   s t i l l   t h e   s a m e   u n t i l   w e   i n v e s t i g a t e   a l l   t h e   p a r t i t i o n e d   t r a i n i n g   s e t s .   c .   T h e   a l l   w r i t i n g   f e a t u r e   c o m b i n a t i o n s   a r e   e x a m i n e d ,   a n d   t h e n   t h e   a c c u r a c y   o f   t h e   m o d e l   i s   r e c o r d e d .     T o   a v o i d   a   b i a s   t h a t   m a y   o c c u r ,   t h e   p a r t i t i o n e d   t r a i n i n g   s e t s   w e r e   c o l l e c t e d   c a r e f u l l y   a n d   t - t e s t s   w e r e   c o n d u c t e d   t o   e n s u r e   t h a t   t h e   t r a i n i n g   s e t s   a r e   n o t   s i g n i f i c a n t   d i f f e r .   T h e   t r a i n i n g   s e t s   w e r e   o r g a n i z e d   a s   f o l l o w s :   a .   T S 1 :   t h e   t r a i n i n g   s e t   w i t h   3 3 0   d o c u m e n t s   b .   T S 2 :   t h e   t r a i n i n g   s e t   w i t h   3 7 8   d o c u m e n t s   c .   T S 3 :   t h e   t r a i n i n g   s e t   w i t h   4 1 4   d o c u m e n t s   d .   T S 4 :   t h e   t r a i n i n g   s e t   w i t h   4 3 8   d o c u m e n t s           F i g u r e   2 .   D e s i g n   o f   e x p e r i m e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     6 5 2   -   6 5 9   6 5 6 3 . 3 .       E x p e r i m e n t a l   f i n d i n g s   3 . 3 . 1 .   A u t h o r s h i p   a t t r i b u t i o n   u s i n g   W L S   f e a t u r e s   W e   r e c o r d e d   t h e   a c c u r a c y   p e r f o r m a n c e   a f t e r   e m p l o y i n g   t h e   c l a s s i f i e r s   w i t h   d i f f e r e n t   t r a i n i n g   s e t s   a s   s h o w n   i n   T a b l e   1 .   A s   w e   c a n   s e e ,   t h e   c l a s s i f i e r s   p e r f o r m e d   d i f f e r e n t l y   w i t h i n   t h e   t r a i n i n g   s e t s .   I n   a l m o s t   d a t a   s e t s ,   t h e   M L P   o v e r c o m e s   o t h e r s   c l a s s i f i e r s   w h e n   t h e   t r a i n i n g   s e t s   h a v e   b e e n   i n c r e a s e d .       T a b l e   1 .   P e r f o r m a n c e   o f   c l a s s i f i e r s   w i t h   W L F   f e a t u r e s   C l a s s i f i e r   T y p e   T S 4   T S 3   T S 2   T S 1   M L P   7 7 . 0 8 %   9 1 . 6 7 %   7 9 . 1 6 7 %   7 5 %   L R   7 2 . 9 1 6 %   9 1 . 6 7 %   7 0 . 8 3 %   8 3 . 3 3 %   M D   6 4 . 5 8 %   6 6 . 6 7 %   3 7 . 5 %   5 8 . 3 3 %       I n t e r e s t i n g   f i n d i n g   i s   n o t a t e d   t h a t   a c c u r a c y   o f   t h e   M L P   c l a s s i f i e r   i n c r e a s e d   w i t h   i n c r e a s i n g   t h e   t r a i n i n g   s e t   s i z e ,   t h e n   d e c r e a s e d   v a s t l y .   T h e   s a m e   t h i n g   c a n   b e   s a i d   a b o u t   L R   a n d   M D   m e t h o d s   w i t h   s o m e   n u a n c e   c h a n g e .   T h e   L R   p e r f o r m e d   b e t t e r   t h a n   M D .   I n   a d d i t i o n ,   i t   g i v e s   a l s o   b e t t e r   r e s u l t s   w h e r e   t h e   t r a i n i n g   s e t   i s   q u i t e   f e w .     3 . 3 . 2 .   A u t h o r s h i p   a t t r i b u t i o n   u s i n g   N - g r a m   f e a t u r e s   T o   i n v e s t i g a t e   i m p a c t   o f   t h e   t r a i n i n g   s e t s   s i z e   o n   A A   u s i n g   w o r d   N - g r a m .   I n d e e d ,   t h e   v a l u e   o f   t h e   g r a m   c a n   b e   s e l e c t e d   r a n d o m l y .   H o w e v e r ,   t o   c a p t u r e   m o r e   w o r d s ,   w e   a d j u s t e d   t h e   n - g r a m   t o   b e   f i v e .   T a b l e   2   s h o w s   t h e   p e r f o r m a n c e   o f   c l a s s i f i e r s   r e g a r d i n g   e a c h   t r a i n i n g   s e t .   T a b l e   3   s u m m a r i z e s   t h e   s t a t i s t i c a l   f e a t u r e s   o f   t h e   u s e d   d a t a s e t .   T h e   w o r d   s i z e   r a n g e s   w i d e l y .   I t   v a r i e s   f r o m   1 1   w o r d s   t o   1 5 0 0   w o r d s   p e r   t e x t s .       T a b l e   2 .   P e r f o r m a n c e   o f   c l a s s i f i e r s   w i t h   N - g r a m   C l a s s i f i e r   T y p e   T S 4   T S 3   T S 2   T S 1   M L P   8 9 . 5 8 %   9 1 . 6 7 %   9 1 . 6 7 %   1 0 0 %   L R   8 9 . 5 8 %   9 1 . 6 7 %   8 7 . 5 %   1 0 0 %   M D   9 5 . 8 3 %   9 4 . 4 4 %   9 5 . 8 3 %   1 0 0 %       T a b l e   3 .   S t a t i s t i c a l   f e a t u r e s   o f   d a t a s e t   S t a t i s t i c a l   F e a t u r e s   T e x t u a l   D a t a   F e a t u r e   #   w o r d s   #   s e n t e n c e s   A v g .   w o r d s / s e n t .   #   p a r a g r a p h s   A v g .   w o r d s   l e n g t h   M e a n   1 2 5 . 2 6   4 . 5 1   2 8 . 0 4   1 2 . 4 9 7 5   4 . 5 1 4 7 5 5   S t .   D e v .   1 4 7 . 7 3   3 . 2 8 5 0   2 2 . 1 1 5   1 2 . 5 1 3 8   0 . 2 8 9 7   V a r i a n c e   2 1 8 2 4 . 9   1 0 . 7 9   4 8 9 . 0 7 9   1 5 6 . 5 9 6   0 . 0 8 3 9 5   M a x .   1 8 4 4   3 1   1 9 5 . 5   1 6 0   5 . 5 8 5   M i n .   1 1   2   4 . 7 5   1 6 0   3 . 7 6 1       C o m p a r i n g   t h e   c l a s s i f i e r s '   p e r f o r m a n c e   w i t h   n - g r a m   w i t h   t h e i r   p e r f o r m a n c e   w i t h   W L F ,   w e   n o t e   a n   i m p r o v e m e n t   i n   A A   a c c u r a c y .   H o w e v e r ,   w i t h   i n c r e a s e   t h e   t r a i n i n g   s e t   s i z e   t h e   p e r f o r m a n c e   d e t e r i o r a t e d .   F u r t h e r m o r e ,   t h e   M D   m e t h o d   o v e r c o m e s   o t h e r   c l a s s i f i e r s   e v e n   w i t h   i n c r e a s i n g   t h e   t r a i n i n g   s e t   s i z e   a s   s h o w n   i n   F i g u r e   3 .           F i g u r e   3 .   C l a s s i f i e r   P e r f o r m a n c e   w i t h   N - g r a m   f e a t u r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       T h e   e f f e c t   o f   t r a i n i n g   s e t   s i z e   i n   a u t h o r s h i p   a t t r i b u t i o n :   a p p l i c a t i o n   o n   s h o r t   . . .   ( M o h a m m e d   A L - S a r e m )   6 5 7 3 . 3 . 3 .   A u t h o r s h i p   a t t r i b u t i o n   u s i n g   P O S   f e a t u r e s   W i t h   P O S   m e t h o d ,   t h e   p e r f o r m a n c e   o f   t h e   c l a s s i f i e r s   a r e   d i f f e r e n t .   B o t h   t h e   a c c u r a c y   o f   M L P   a n d   L R   m e t h o d s   i n c r e a s e s   w i t h   i n c r e a s i n g   t h e   t r a i n i n g   s e t   s i z e   u n t i l   a   c e r t a i n   p o i n t ,   t h e n   d e c r e a s e s   a g a i n   w i t h   i n c r e a s i n g   t h e   s i z e .   T h e   M L P   c l a s s i f i e r   d e c r e a s e s   s i g n i f i c a n t l y   c o m p a r i n g   w i t h   L R .   O n   t h e   o p p o s i t e ,   t h e   M D   m e t h o d   s h o w s   a   d i f f e r e n t   b e h a v i o r .   T h e   a c c u r a c y   o f   M D   c l a s s i f i e r   i s   s t i l l   b e t t e r   t h a n   o t h e r   c l a s s i f i e r s   a s   s h o w n   i n   F i g u r e   4 .           F i g u r e   4 .   C l a s s i f i e r   p e r f o r m a n c e   w i t h   P O S       3 . 3 . 4 .   A u t h o r s h i p   a t t r i b u t i o n   w i t h   a l l   f e a t u r e s   I n   t h i s   p a r t ,   w e   i n v e s t i g a t e   p e r f o r m a n c e   o f   t h e   c l a s s i f i e r s   w i t h   d i f f e r e n t   c o m b i n a t i o n .   T a b l e   4   s u m m a r i z e s   a l l   t h e   f i n d i n g   r e s u l t s   w i t h   d i f f e r e n t   c o m b i n a t i o n s .   I n   m o s t   c a s e s ,   t h e   L R   o v e r c o m e s   t h e   o t h e r   c l a s s i f i e r s .   T h e   M D   p r o v i d e s   l o w   p e r f o r m a n c e   a c c u r a c y ,   e s p e c i a l l y   w h e n   t h e   W L F   f e a t u r e s   c o m b i n e d   w i t h   P O S .   I n   g e n e r a l ,   c o m b i n i n g   P O S   w i t h   N - g r a m s   e n h a n c e s   t h e   p e r f o r m a n c e   o f   a t t r i b u t i o n   t a s k .   H o w e v e r ,   t h e   a c c u r a c y   i s   s t i l l   l o w e r   t h a n   t h e   W L F   a n d   n - g r a m   c o m b i n a t i o n .   I t   i s   a l s o   n o t a b l e   t h a t   t h e   c l a s s i f i e r ' s   p e r f o r m a n c e   a f f e c t e d   n e g a t i v e l y   w i t h   i n c r e a s i n g   t h e   t r a i n i n g   s e t   s i z e .   I n   c o n t r a r y ,   a p p l y i n g   t h e   f u l l   c o m b i n a t i o n   o f   W L F ,   N - g r a m s ,   a n d   P O S   l e a d   t o   d e c r e a s i n g   t h e   a c c u r a c y   o f   A A .       T a b l e   4 .   P e r f o r m a n c e   o f   c l a s s i f i e r s   w i t h   d i f f e r e n t   c o m b i n a t i o n   T r a i n i n g   S e t s   ( T S )   M e t h o d s   T S 1   T S 2   T S 3   T S 4   6 9 . 4 4 %   8 3 . 3 3 %   9 1 . 6 7 %   8 3 . 3 3 %   M L P   W L F + N - g r a m   6 2 . 5 %   8 3 . 3 3 %   9 1 . 6 7 %   6 6 . 6 7 %   L R   4 1 . 6 7 %   6 0 . 4 2 %   6 1 . 1 1 %   5 0 %   M D   5 8 . 3 3 %   6 6 . 6 7 %   8 3 . 3 3 %   7 9 . 1 6 7 %   M L P   W L F +   P O S   4 8 . 6 1 %   7 0 . 8 3 %   8 6 . 1 1 %   7 9 . 1 6 7 %   L R   3 4 . 2 2 %   4 1 . 6 7 %   4 7 . 2 2 %   3 7 . 5 %   M D   6 6 . 6 7 %   8 3 . 3 3 %   6 9 . 4 4 %   8 7 . 5 %   M L P   A l l   6 2 . 5 %   8 7 . 5 %   9 4 . 4 4 %   6 2 . 5 %   L R   3 0 . 5 6 %   5 6 . 2 5 %   6 1 . 1 1 %   4 1 . 6 7 %   M D   7 9 . 1 7 %   8 1 . 2 5 %   9 1 . 6 7 %   9 1 . 6 7 %   M L P   n - g r a m   +   P O S   8 6 . 1 1 %   7 9 . 1 7 %   9 1 . 6 7 %   8 7 . 5 %   L R   6 2 . 5 %   6 2 . 5 %   7 7 . 7 8 %   7 5 %   M D       4 .   C O M P A R I S O N   W I T H   O T H E R   W O R K S   A s   c o n c l u s i o n   o f   t h e   p r e v i o u s   s e c t i o n s ,   w e   f o u n d   t h a t   c o m b i n i n g   w o r d - b a s e d   s t y l o m a t r i c   f e a t u r e s   w i t h   n - g r a m s   p r o v i d e s   t h e   b e s t   a c c u r a c y   r e a c h e d   i n   a v e r a g e   9 3 % .   T h u s ,   c u r r e n t   s e c t i o n   c o m p a r e s   p e r f o r m a n c e s   o f   t h o s e   c l a s s i f i e r s   t h a t   a r e   u s e d   i n   t h e   r e v i e w e d   w o r k s   w i t h   o u r   f i n d i n g s   i n   t e r m   o f   a c c u r a c y .   E v e n   i f   t h e y   o b t a i n e d   c o m e   f r o m   d i f f e r e n t   d a t a s e t s ,   t h e   c o m p a r i s o n   g i v e s   a n   i n d i c a t i o n   o f   t h e   p e r f o r m a n c e   o f   t h e   d i f f e r e n t   m e t h o d s .   T a b l e   5   p r e s e n t s   t h e   c o m p a r i s o n   r e g a r d l e s s   t h e   t e x t   s i z e .   I t   p r e s e n t s   a c c u r a c y   o f   t h e   u s e d   c l a s s i f i e r s   o f   t h o s e   w o r k s   m e n t i o n e d   t h r o u g h o u t   t h i s   p a p e r   r e g a r d l e s s   t h e   t e x t   s i z e ,   w h i l s t   T a b l e   6   p r e s e n t   t h e   a c c u r a c y   t a k i n g   i n   c o n s i d e r a t i o n   t h e   s a m e   t e x t   s i z e .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 0 8 8 - 8 7 0 8   I n t   J   E l e c   &   C o m p   E n g ,   V o l .   9 ,   N o .   1 ,   F e b r u a r y   2 0 1 9   :     6 5 2   -   6 5 9   6 5 8 T a b l e   5 .   C o m p a r i s o n   o f   t h e   b e s t   r e a c h e d   a c c u r a c y   i n   t h i s   w o r k   w i t h   a c c u r a c y   o f   o t h e r   m e t h o d s   r e g a r d l e s s   t h e   t e x t   s i z e   R e f e r e n c e   A c c u r a c y   D a t a     O u r   W o r k   1 0 0 %   I s l a m i c   F a t w a s   c o l l e c t e d   f r o m   D a r   A l - i f t a   A L   M i s r i y y a h   w e b s i t e   S h a k e r   a n d   C o r n e   [ 2 ]   8 7 . 6 3 %   A r a b i c   b o o k s   o b t a i n e d   f r o m   t h e   w e b s i t e   o f   t h e   A r a b   W r i t e r s   U n i o n   A b b a s i   a n d   C h e n   [ 3 ]   8 5 . 4 %   A r a b i c   w e b   f o r u m   m e s s a g e s   f r o m   Y a h o o   g r o u p s   S t a m a t a t o s   [ 4 ]   9 3 . 4 %   A r a b i c   n e w s p a p e r   r e p o r t   o f   A l h a y a t   O u a m o u r   e t   a l .   [ 5 ]   1 0 0 %   A n c i e n t   h i s t o r i c a l   b o o k s   i n   A r a b i c     A l t h e n e y a n   a n d   E l   B a c h i r   M e n a i   [ 1 2 ]   9 7 , 8 4 %   A r a b i c   b o o k s   c o l l e c t e d   f r o m   A l w a r a q   w e b s i t e       T a b l e   6 .   C o m p a r i s o n   o f   t h e   b e s t   r e a c h e d   a c c u r a c y   i n   t h i s   w o r k w i t h   a c c u r a c y   o f   o t h e r   m e t h o d s   r e g a r d i n g   t h e   t e x t   s i z e   R e f e r e n c e   A c c u r a c y   D a t a   S i z e   O u r   W o r k   9 3 %   [ 1 1 - 1 5 0 0 ]   w o r d s   p e r   d o c u m e n t   O u a m o u r   e t   a l .   [ 5 ]   8 0 %   [ 1 0 0 - 1 5 0 0 ]   w o r d s   p e r   d o c u m e n t   A l - A y y o u b   e t   a l .   [ 8 ]   5 9 . 8 %   U p   t o   1 4 0   w o r d s   p e r   t w e e t s           5 .   C O N C L U S I O N S   A N D   F U T U R E   W O R K   T h i s   s t u d y   h a s   i n v e s t i g a t e d   t h e   e f f e c t   o f   i n c r e a s i n g   t r a i n i n g   s e t   s i z e   o n   p e r f o r m a n c e   o f   a u t h o r s h i p   a t t r i b u t i o n   c l a s s i f i e r s .   T h e   e x p e r i m e n t   w a s   d e s i g n e d   t o   m e a s u r e   a c c u r a c y   o f   c l a s s i f i e r s   w i t h   s h o r t   A r a b i c   t e x t s .   I t   w a s   a l s o   d e s i g n e d   t o   i n v e s t i g a t e   t h e   p e r f o r m a n c e   o f   A A   c l a s s i f i e r   u s i n g   d i f f e r e n t   c o m b i n a t i o n   o f   s t y l o m a t r i c   f e a t u r e s .   W e   l i m i t e d   o u r   e x p e r i m e n t   t o   a s s e s s   t h r e e   w e l l - k n o w n   c l a s s i f i e r s ,   n a m e l y   l i n e a r   r e g r e s s i o n ,   m u l t i l a y e r   p e r c e p t r o n ,   a n d   M a h a n o l o b i s   d i s t a n c e .   H o w e v e r ,   t h e   r e s e a r c h   m e t h o d o l o g y   i s   s t i l l   v a l i d   w i t h   o t h e r   c l a s s i f i e r s .       T h e   o v e r a l l   r e s u l t s   s h o w   t h a t   t h e   c l a s s i f i e r s   h a v e   d i f f e r e n t   b e h a v i o r s   r e g a r d i n g   t h e   u s e d   A A   f e a t u r e s   a n d   t r a i n i n g   s e t   s i z e .   T h e   M L P   c l a s s i f i e r   e x c e e d s   t h e   o t h e r   c l a s s i f i e r s   w h e n   t h e   W L F   f e a t u r e s   a r e   u s e d .   T h e   M L P ,   t o   a   c e r t a i n   p o i n t ,   i s   p o s i t i v e l y   a f f e c t e d   b y   t h e   i n c r e a s e   i n   t h e   t r a i n i n g   s e t   s i z e ,   t h e n   d e c r e a s e d .   T h e   n - g r a m   m e t h o d s   l e a d   t o   d e c r e a s i n g   t h e   c l a s s i f i e r s '   p e r f o r m a n c e   w i t h   i n c r e a s i n g   t h e   t r a i n i n g   s e t   s i z e .   H o w e v e r ,   g e n e r a l l y   s p e a k i n g ,   t h e   n - g r a m   f e a t u r e s   p r o v i d e   t h e   b e s t   r e s u l t s   a m o n g   t h e   a l l   s t y l o m a t r i c   f e a t u r e s .   W i t h   P O S   f e a t u r e s ,   t h e   c l a s s i f i e r s   s h o w   d i f f e r e n t   b e h a v i o r s .   T h e   M L P   c l a s s i f i e r   d e c r e a s e s   s i g n i f i c a n t l y   c o m p a r e d   w i t h   L R .   O n   t h e   c o n t r a r y ,   t h e   M D   s h o w s   a   d i f f e r e n t   b e h a v i o r s   a n d   p r o v i d e s   b e t t e r   a c c u r a c y   t h a n   M L P   a n d   L R .   W e   a l s o   a p p l i e d   t h e   c l a s s i f i e r s   w i t h   d i f f e r e n t   f e a t u r e s   c o m b i n a t i o n   ( W L F +   n - G r a m ,   W L F +   P O S ,   n - G r a m +   P O S ,   a n d   a   s e t   o f   a l l   f e a t u r e s ) .   T h e   M D   p r o v i d e s   l o w   a c c u r a c y   e s p e c i a l l y   w h e n   t h e   W L F   f e a t u r e s   c o m b i n e d   w i t h   P O S .   C o m b i n i n g   P O S   w i t h   N - g r a m s   i m p r o v e s   t h e   p e r f o r m a n c e   o f   a t t r i b u t i o n   t a s k .   C o n t r a r y   t o   t h e   e x p e c t e d   r e s u l t s ,   a p p l y i n g   t h e   f u l l   c o m b i n a t i o n   o f   W L F ,   N - g r a m s ,   a n d   P O S   l e a d s   t o   d e c r e a s i n g   t h e   a c c u r a c y   o f   A A .   F o r   f u t u r e   w o r k ,   w e   i n t e n d   t o   e x t e n d   t h e   e x p e r i m e n t s   t o   i n v e s t i g a t e   a c c u r a c y   o f   o t h e r   c l a s s i f i e r s   a n d   t o   a   l a r g e r   t r a i n i n g   s e t .   W e   a l s o   p l a n   t o   i n v e s t i g a t e   t h e   i m p a c t   o f   o t h e r   f e a t u r e   s e l e c t i o n   m e t h o d s   o n   t h e   p e r f o r m a n c e   o f   t h e   A A   p r o b l e m .       R E F E R E N C E S   [ 1 ]   A .   A l - F a l a h i ,   M .   R a m d a n i ,   M .   B e l l a f k i h ,   M .   A l - S a r e m ,   " A u t h o r s h i p   A t t r i b u t i o n   i n   A r a b i c   P o e t r y '   C o n t e x t   U s i n g   M a r k o v   C h a i n   c l a s s i f i e r , "   I E E E ,   2 0 1 5 .   [ 2 ]   S h a k e r ,   K . ,   C o r n e ,   D . ,   A u t h o r s h i p   A t t r i b u t i o n i n   A r a b i c   U s i n g   A   H y b r i d   O f   E v o l u t i o n a r y   S e a r c h   A n d   L i n e a r   D i s c r i m i n a n t   A n a l y s i s ,   I n :   2 0 1 0 U K   W o r k s h o p o n   C o m p u t a t i o n a l   I n t e l l i g e n c e   ( U K C I ) ,   p p . 1 6 .   2 0 1 0 ,   D o i : 1 0 . 1 1 0 9 / U K C I . 2 0 1 0 . 5 6 2 5 5 8 0 .   [ 3 ]   A b b a s i ,   A . ,   C h e n ,   H . ,   A p p l y i n g   A u t h o r s h i p   A n a l y s i s   T o   A r a b i c   W e b c o n t e n t ,   I n :   K a n t o r ,   P . ,   M u r e s a n ,   G . ,   R o b e r t s ,   F . , Z e n g ,   D . D . ,   W a n g ,   F . - Y . ,   C h e n ,   H . ,   M e r k l e ,   R . C .   ( E d s . ) ,   I n t e l l i g e n c e   a n d   S e c u r i t y   I n f o r m a t i c s ,   v o l .   3 4 9 5 .   S p r i n g e r - V e r l a g ,   B e r l i n ,   H e i d e l b e r g ,   p p .   1 8 3 1 9 7 ,   2 0 0 5 .   [ 4 ]   S t a m a t a t o s ,   E . ,   A u t h o r   I d e n t i c a t i o n :   U s i n g   T e x t   S a m p l i n g   T o   H a n d l e   T h e   C l a s s   I m b a l a n c e   P r o b l e m ,   I n f .   P r o c e s s .   M a n a g e .   4 4   ( 2 ) ,   7 9 0 7 9 9 ,   2 0 0 8 ,   h t t p : / / d x . d o i . o r g / 1 0 . 1 0 1 6 / j . i p m . 2 0 0 7 . 0 5 . 0 1 2 .   [ 5 ]   O u a m o u r ,   S . ,   K h e n n o u f ,   S . ,   B o u r i b ,   S . ,   H a d j a d j ,   H . ,   &   S a y o u d ,   H .   E f f e c t   o f   t h e   T e x t   S i z e   o n   S t y l o m e t r y - A p p l i c a t i o n   o n   A r a b i c   R e l i g i o u s   T e x t s .   I n   A d v a n c e d   C o m p u t a t i o n a l   M e t h o d s   f o r   K n o w l e d g e   E n g i n e e r i n g   p p .   2 1 5 - 2 2 8 ,   S p r i n g e r ,   C h a m . ,   2 0 1 6 .   [ 6 ]   E d e r ,   M . ,   D o e s   S i z e   M a t t e r ?   A u t h o r s h i p   A t t r i b u t i o n ,   S m a l l   S a m p l e s ,   B i g   P r o b l e m ,   L i t .   L i n g .   C o m p u t .   2 0 1 3 .   d o i : 1 0 . 1 0 9 3 / l l c / f q t 0 6 6 .   [ 7 ]   S a r a   E l   M a n a r   E l   B o u a n a n i ,   I s m a i l   K a s s o u ,   " A u t h o r s h i p   A n a l y s i s   S t u d i e s :   A   s u r v e y , "   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r   A p p l i c a t i o n s   ( 0 9 7 5 - 8 8 8 7 )   V o l u m e   8 6 - N o   1 2 ,   J a n u a r y   2 0 1 4 .   [ 8 ]   M .   A l - A y y o u b ,   Y .   J a r a r w e h ,   A . ,   R a b a b a ' a h ,   a n d   M . ,   A l d w a i r i .   F e a t u r e   E x t r a c t i o n   a n d   S e l e c t i o n   f o r   A r a b i c   T w e e t s   A u t h o r s h i p   A u t h e n t i c a t i o n ,   J .   A m b i e n t   I n t e l l   H u m a n   C o m p u t .   8 : 3 8 3 - 3 9 3 ,   2 0 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 2 6 5 2 - 0 1 7 - 0 4 5 2 - 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   E l e c   &   C o m p   E n g     I S S N :   2 0 8 8 - 8 7 0 8       T h e   e f f e c t   o f   t r a i n i n g   s e t   s i z e   i n   a u t h o r s h i p   a t t r i b u t i o n :   a p p l i c a t i o n   o n   s h o r t   . . .   ( M o h a m m e d   A L - S a r e m )   6 5 9 [ 9 ]   S a y o u d ,   H . ,   A u t o m a t i c   S p e a k e r   R e c o g n i t i o n - C o n n e x i o n n i s t   A p p r o a c h ,   P h D   t h e s i s ,   U S T H B   U n i v e r s i t y ,   A l g i e r s ,   2 0 0 3 .   [ 1 0 ]   F . J   T w e e d i e ,   S .   S i n g h ,   a n d   D . I .   H o l m e s ,   " N e u r a l   N e t w o r k   A p p l i c a t i o n   i n   S t y l o m e t r y :   T h e   F e d e r a l i s t   P a p e r s , "   C o m p u t e r s   a n d   t h e   H u m a n i t i e s ,   v o l .   3 0 ,   p p .   1 - 1 0 ,   1 9 9 6 .   [ 1 1 ]   P a l ,   S .   K . ,   &   M i t r a ,   S .   M u l t i l a y e r   P e r c e p t r o n ,   F u z z y   S e t s ,   a n d   C l a s s i f i c a t i o n ,   I E E E   T r a n s a c t i o n s   o n   n e u r a l   n e t w o r k s ,   3 ( 5 ) ,   6 8 3 - 6 9 7 ,   1 9 9 2 .   [ 1 2 ]   A l t h e n e y a n   A S ,   M e n a i   M E B   N a ï v e   B a y e s   C l a s s i f i e r s   f o r   A u t h o r s h i p   A t t r i b u t i o n   o f   A r a b i c   T e x t s ,   J   K i n g   S a u d   U n i v   C o m p u t   I n f   S c i ,   2 6   ( 4 ) : 4 7 3 4 8 4 ,   2 0 1 4 .       B I O G R A P H I E S   O F   A U T H O R S     M o h a m m e d   A l - S a r e m   i s   a n   a s s i s t a n t   p r o f e s s o r   o f   i n f o r m a t i o n   s y s t e m   a t   t h e   T a i b a h   U n i v e r s i t y ,   A l   M a d i n a h   A l   M o n a w a r a h ,   K S A .   H e   r e c e i v e d   t h e   P h D   i n   I n f o r m a t i c s   f r o m   H a s s a n   I I   U n i v e r s i t y ,   M o h a m m a d i a ,   M o r o c c o   i n   2 0 1 4 .   H i s   r e s e a r c h   i n t e r e s t s   c e n t e r   o n   E - l e a r n i n g ,   e d u c a t i o n a l   d a t a   m i n i n g ,   A r a b i c   t e x t   m i n i n g ,   a n d   i n t e l l i g e n t   a n d   a d a p t i v e   s y s t e m s .   H e   p u b l i s h e d   s e v e r a l   r e s e a r c h   p a p e r s   a n d   p a r t i c i p a t e d   i n   s e v e r a l   l o c a l / i n t e r n a t i o n a l   c o n f e r e n c e s         A b d e l   H a m i d   E m a r a   r e c e i v e d   h i s   B S c ,   M S c ,   a n d   P h D   i n   S y s t e m s   a n d   c o m p u t e r s   e n g i n e e r i n g   f r o m   A l - A z h a r   u n i v e r s i t y   i n   1 9 9 2 ,   2 0 0 0 ,   2 0 0 6 ,   r e s p e c t i v e l y .   H e   w o r k s   a s   a   l e c t u r e r   i n   S y s t e m s   a n d   C o m p u t e r s   E n g i n e e r i n g   D e p a r t m e n t   a t   A l - A z h a r   U n i v e r s i t y   i n   C a i r o ,   E g y p t .   H e   h a s   e x p e r i e n c e   o f   1 2   y e a r s   w h i c h   i n c l u d e s   b o t h   a c a d e m i c   a n d   r e s e a r c h .   H e   i s   c u r r e n t l y   a n   A s s i s t a n t   P r o f e s s o r   i n   C o m p u t e r   S c i e n c e   D e p a r t m e n t   a t   U n i v e r s i t y   o f   T a i b a h   a t   A l -   M a d i n a h   A l   M o n a w a r a h ,   K S A .   H e   i s   r e s e a r c h   i n t e r e s t   i n c l u d e s   K n o w l e d g e   D i s c o v e r y   a n d   D a t a   M i n i n g ,   D a t a   S e c u r i t y ,   D a t a   a n a l y s i s   a n d   A r t i f i c i a l   i n t e l l i g e n c e .   H e   h a s   p u b l i s h e d   q u a l i t y   I n t e r n a t i o n a l   j o u r n a l   p a p e r s .     Evaluation Warning : The document was created with Spire.PDF for Python.