I n d on e s i an   Jo u r n al   o f  El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   22 ,   N o .   2 ,  M a y   2021 ,   pp .   67 8 ~ 68 7   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 22 .i 2 . pp 6 7 8 - 68 7             678       Jou r n al   h o m e pa ge :  ht t p: / / i j e e c s . i a e s c or e . c om   C l a ss i f i c a t i o n   o f   Qu r ’ a n i c   t o p i c s ba sed o n   i m b a l a n c e d   c l a ssi f i c a t i o n       B as s am   A r k o k ,   A k r am   M .   Ze k i   K ul l i y y a h  of   I n f o r m a t i o n  a nd   C o m m uni c a t i o n  T e c hno l o gy ,   I nt e r na t i o na l   I s l a m i c   U n i v e r s i t y   M a l a y s i a ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J un   3 0 ,   202 0   R e v i s e d  A pr   7 ,   2021   A c c e pt e d  A p r   13 ,   2021       I m ba l a nc e d  c l a s s i f i c a t i o n  t e c hni qu e s   ha v e   be e n  a pp l i e d  w i de l y   i n  t he   f i e l d  o f   da t a   m i n i ng .   I t   i s   us e d  t o   c l a s s i f y   t he   i m ba l a nc e d  c l a s s e s   t ha t   a r e   no t   e qua l   i n   t he   num b e r   o f   s a m pl e s .   T he   pr o bl e m   o f   i m ba l a nc e d  c l a s s e s   i s   t ha t   t he   c l a s s i f i c a t i o n  pe r f o r m a nc e   t e n ds   t o   t h e   c l a s s   w i t h   m o r e   s a m pl e s   w hi l e   t he   c l a s s   w i t h  f e w   s a m p l e s   w i l l   o bt a i n  po o r   pe r f o r m a nc e .   T hi s   p r o bl e m   c a n  be   o c c ur r e d  i n  t he   Q ur ’ a n i c   c l a s s i f i c a t i o n  due   t o   t he   d i f f e r e n t   i n  t he   num be r   o f   v e r s e s .   M a ny   s t udi e s   c l a s s i f i e d  Q ur ’ a n i c   v e r s e s ,   w h i c h  de pe nd e d  o n  t he   t r a di t i o na l   c l a s s i f i c a t i o n .   H o w e v e r ,   no   s t udy   c l a s s i f i e d  Q ur ’ a ni c   t o pi c s   ba s e d   o n  t he   t e c hn i qu e s   o f   i m b a l a nc e d  c l a s s i f i c a t i o n.   T he r e f o r e ,   t h i s   pa p e r   a i m s   t o   a ppl y   t he   m e t ho ds   o f   i m ba l a n c e d  c l a s s i f i c a t i o n  a s   s y nt he t i c   m i no r i t y   o v e r - s a m pl i ng   t e c hni q ue   ( S M O T E ) ,   r a n do m   ov e r   s a m p l e   ( R O S ) ,   a n d  r a ndo m   unde r   s a m p l e   ( R U S )   m e t ho ds   t o   c l a s s i f y   t he   Q ur ’ a n i c   t o pi c s   t ha t   a r e   i m ba l a nc e d .   M a ny   m e t r i c s   w e r e   us e d  i n   t h i s   r e s e a r c h  t o   e v a l ua t e   t h e   e xpe r i m e n t a l   r e s u l t s .   T he s e   m e t r i c s   a r e   s e ns i t i v i t y / r e c a l l ,   s pe c i f i c i t y ,   ov e r a l l   a c c ur a c y ,   f - m e a s ur e ,   g - m e a n,   a n d  m a t t he w s   c o r r e l a t i o n  c o e f f i c i e nt   ( M C C ) .   T he   r e s u l t s   s ho w e d  t ha t   t he   Q ur ’ a ni c   c l a s s i f i c a t i o n  pe r f o r m a nc e   i m pr o v e d  w he n  i m ba l a nc e d  c l a s s i f i c a t i o n  t e c hni q ue s   w e r e   a pp l i e d.     Ke y w or d s :   Im b a l a n c e d  c l a s s i f i c a t i o n   Q ura n   Re - s a m pl i n g   m e t h o ds   T e xt   c l a s s i f i c a t i o n   T o pi c s   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   B a s s a m   A r ko k   D e pa rt m e n t   o f   Co m put e r  S c i e n c e   K ul l i y y a h   o f   In f o r m a t i o n   a n d   Co m m u n i c a t i o n  T e c hn o l o g y   Int e rna t i o na l   Is l a m i c   U n i v e r s i t y   M a l a y s i a ,   J a l a n  G o m b a k,   53 10 0,   S e l a n go r ,   M a l a y s i a   E m a i l :   b a s s a m . a r ko k@ g m a i l . c o m       1.   I N TR O D U C TI O N   T h e   H o l y   Q ur a n   i s   o n e   o f  t h e   h o l y   b oo ks   of   A l l a h   S W T .   I t   i s   c o n s i de r e d  o n e   o f   t h e   pri m a r y   r e f e r e n c e s   fo r   a n   e s t i m a t e d  1. 6   b i l l i o n   M us l i m s   a r o un d  t h e   w o r l d.   M a n y   a r t i f i c i a l   i n t e l l i ge n c e   (A I)  r e s e a r c h e s   ha v e   be e n   c o n duc t e d  o n   t h e   h o l y   Q ur a n ,   s uc h   a s   a u t o m a t i c   t e xt   c l a s s i f i c a t i o n   (A T C) .   T h e   t o pi c a l   c l a s s i f i c a t i o n   o f   Q ur ’a ni c   t e xt   i s   a s s i g n i ng  o n e   o r   m o r e   t o pi c s   a ut o m a t i c a l l y   fo r   t h e   Q u r ’a ni c   t e xt   b a s e d  o n   t h e i r   c o n t e n t .   T h e   Q u r ’a ni c   v e r s e s   c l a s s i f i c a t i o n   c a n   b e   c o n s i de r e d  o n e   of   t h e   e s s e n t i a l   r e s e a r c h es   i n   M a c hi n e   l e a rn i ng.   T h e   r e s e a r c h e r s   ha v e   b e e n   i n t e r e s t e d  i n   t h e   c l a s s i f i c a t i o n   o f   t h e   Q ur ’ a n i c   v e r s e s   b e c a us e   t h e   Q ur a n  i s   t h e   f i r s t   s o ur c e   of   r e l i gi o us   t e xt s   fo r   M us l i m s .   T h e   Q u r ’ a n i c   t e xt   i s   p r e s e nt e d  a s   e i t h e r   i n s t r uc t i v e   o r   na rr a t i v e ,   a nd  i t   h a s   a n  u n de r l y i n g  de e p  c o n n e c t i o n  t ha t   j o i n s   t h e   e n t i r e   t e xt   i n t o   o n e   w h o l e   r e l a t e d  c o n c e pt   [1] .  T h e   e s s e n t i a l   i de a s   a n d  m e a ni n g  o f   t h e   Q ur ’ a n   o v e r l a p  f r o m   c ha pt e r   t o   c h a pt e r   a n d  v e r s e   t o   ve r s e .   T h e r e f o r e ,   f i n di n g   o ut   t h e   i m pl i e d  c o nn e c t i o n s   w o ul d  n e e d  t i m e   a nd  m o r e   i n - de pt h  s t udy   t o   di s c ove r   t h e   hi dde n   t o pi c s   i n   t h e   Q u r ' a n   a s   t h e r e   a r e   m a n y   t o pi c s   fo u n d  [2] .  B e s i de s ,   t h e   Q ur ’ a n i c   v e r s e s   s h o ul d  be   c l a s s i f i e d  t o   e xt r a c t   t h e   r e v e a l e d  k n o w l e dge   i n  t h e   Q u r a n  t o   he l p  M us l i m s   u n de r s t a nd  t h e   Q u r ’ a n i c   t e xt   w e l l .     Im b a l a n c e d  t e x t   c l a s s i f i c a t i o n  a s s i g n s   o n e   o r   m o r e   c l a s s e s   t o   a   do c um e n t   a c c o r di n g   t o   t h e i r  c o n t e n t   fo r   t h e   t e xt ,   w h i c h   i s   hi g h l y   i m b a l a n c e d.   Im b a l a n c e d  c l a s s i f i c a t i o n   i s   a   po pul a r   t e c hn i q ue   fo r   i m b a l a n c e d  Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Cl as s i f i c a t i o n  o f   Q ur ’ a ni c   t opi c s   b as e d   on   i m ba l anc e d   c l as s i f i c at i on   ( B as s am   A r k o k )   679   da t a s e t s   i n   di f f e r e n t   l a n gu a ge s .   T h e   da t a   s e t   i s   c a l l e d  a n   i m b a l a n c e d  da t a s e t   w h e n   o n e   c l a s s   c o n s i s t s   o f   m o r e   s a m pl e s   s i g n i f i c a n t l y   t h a n   t h e   o t h e r s   [3 ] - [ 5] .   T h e   c l a s s   w i t h   m o r e   s a m pl e s   i s   c a l l e d  t h e   m a j o r i t y   c l a s s ,   w h i l e   t h e   c l a s s   w i t h   a   f e w   s a m pl e s   i s   c a l l e d  t h e   m i n o r i t y   c l a s s .   T h e   c l a s s e s   a r e   i m b a l a n c e d  i f   t h e   i m b a l a n c e d  c l a s s e s '   r a t e   r a nge   i s   b e t w e e n   0. 01 - 29 . 1 %  [6] .  R e s e a r c h e r s   h a v e   pa i d  a t t e n t i o n   t o   t h e   i m b a l a n c e d  da t a s e t s   c l a s s i f i c a t i o n   d ue   t o   t h e i r   i m po r t a n c e   i n   m a n y   r e a l - w o r l d  p ra c t i c e s   s uc h   a s   t e xt   c l a s s i f i c a t i o n,   b i o l o gi c a l   da t a   a n a l y s i s ,   f r a ud   de t e c t i o n,   a n d   i m a ge   c l a s s i f i c a t i o n   [7 ] .     T h e   t r a d i t i o n a l   c l a s s i f i c a t i o n   f a i l s   w h e n   a ppl i e d  t o   c l a s s i fy  t h e   i m b a l a n c e d  da t a   b e c a us e   t h e   h i g h  a c c ur a c y   t e n ds   fo r   t h e   m a j o r i t y   c l a s s   w h i l e   t h e   l o w   a c c ur a c y   t e n ds   f o r   t h e   m i n o ri t y   c l a s s .   T h e s e   a r e   s e v e r a l   m e t h o ds   t o   s o l v e   t h e   pr o b l e m   of   i m b a l a n c e d  c l a s s i f i c a t i o n.   O n e   s o l ut i o n   i s   r e - s a m p l i n g  m e t h o ds ,   w h i c h   a r e   a m o ng  t h e   m o s t   c o m m o n   t e c hn i que s   di s c ove r e d  i n   s o l v i n g  t hi s   p r o b l e m .   T h e y   a r e   c o n s i de r e d  a   p r e - pr o c e s s i n g   p h a s e   b e fo r e   t h e   c l a s s i f i c a t i o n   t a s k  t ha t   r e l i e s   o n   ge n e ra t i n g  n e w   s a m pl e s   fo r   t h e   m i n o r i t y   c l a s s   o r   e l i m i na t i n g  s a m pl e s   f r o m   t h e   m a j o r i t y   c l a s s   t o   r e - b a l a n c e   t h e   i m b a l a n c e d  da t a s e t s .   H un d r e ds   of   a l go r i t hm s   ha v e   b e e n   p r o po s e d  i n   di f f e r e n t   l a n gu a ge s   i n   t h e   pa s t   d e c a de   [4]   t o  c l a s s i fy   t h e   i m b a l a n c e d  da t a s e t s .   H ow e ve r ,   f e w   s t udi e s   w e r e   c o n duc t e d  t o   c l a s s i fy   i m b a l a n c e d  A r a b i c   t e xt   [5 ] ,  [ 8 ] - [ 9] .   M a n y   Q ur ’a n i c   t o pi c s   c a n   b e   c o n s i de r e d  a s   i m b a l a n c e d  da t a s e t s   due   t o   t h e   d i f fe r e n c e   i n   t h e   n um b e r  of   v e r s e s .   A s   i t   i s   n o t i c e d  i n   t h e   us e d  i n de x  f o r   t h i s   r e s e a r c h,   m o s t   Q ur ’ a n i c   t o pi c s   w i l l   b e   i m b a l a n c e d  w h e n   c l a s s i f i e d  a l t o ge t h e r .   F o r   e xa m pl e ,   t h e   T a w h e e d  t o pi c   h a s   940  v e r s e s ,   w h i l e   t h e   S hi r k  t o pi c   h a s   94  v e r s e s   o n l y .   T h e n ,   t a w h e e d  a n d  s h i rk  a r e   c o n s i de r e d  a s   i m b a l a n c e d  c l a s s e s   i f   t h e y   a r e   c l a s s i f i e d  t o ge t h e r .   T h e r e fo r e ,   t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   w i l l   b e   t e n de d  t o   t h e   s a m pl e s   of   T a w h e e d  t o pi c s ,   w hi l e   S h i rk  t o pi c   s a m p l e s   w i l l   be   ob t a i n e d  po o r   pe r fo r m a n c e .   N e ve r t h e l e s s ,   m a n y   s t udi e s   c l a s s i f i e d  Q ur ’a ni c   v e r s e s   i n   A r a b i c   a n d  n o n - A ra b i c   l a n g ua ge   c o r pus   b a s e d   o n   di ff e r e n t   t e c hni que s ,   b ut   t h e s e   s t udi e s   di d  n o t   pa y   a t t e n t i o n   t o   t h e   i m b a l a n c e d  i s s ue .   S o ,   t h i s   r e s e a r c h   a i m s   t o   c l a s s i fy   Q ur ’a n i c   t o pi c s   us i ng  t h e   m e t h o ds   of   i m b a l a n c e d  c l a s s i f i c a t i o n.     T h e   pur po s e   of  t h i s   r e s e a r c h   i s   t w ofo l d:   f i r s t ,   t h e   c l a s s i f i c a t i o n   o f   Q ur ’a ni c   t o pi c s   us i n g  s o m e   t e c hn i q ue s   of   i m b a l a n c e d  c l a s s i f i c a t i o n   a n d  c o m pa ri s o n   w i t h   t h e   t ra d i t i o n a l   c l a s s i f i c a t i o n .   T h e   s e c o n d  i s   t o  de t e r m i n e   t h e   b e s t   m e t h o d  a m o n g   t h e s e   t e c hni que s   f o r   Q u r ’ a n i c   c l a s s i f i c a t i o n   l a t e r.   T h e   r e s t   o f   t hi s   pa pe r  i s   o r ga ni z e d  a s   f o l l ow s :   t h e   n e xt   s e c t i o n   i s   a   l i t e ra t u r e   r e v i e w   t ha t   w i l l   m e n t i o n   s o m e   s t ud i e s   b a s e d  o n   c l a s s i f i e d   Q ur ’ a n i c   d a t a s e t s   by   di ffe r e nt   m e t h o ds .   T h e   m e t h o do l o g y   of   t h e   r e s e a r c h   w i l l   b e   of fe r e d  t o   c l a ri fy   t h e   s t e ps   a n d  p ha s e s   o f   t h e   c l a s s i f i c a t i o n  p r o c e s s .   F i na l l y ,   t h e   r e s ul t s   a n d  t h e   e xpe r i m e n t s   w i l l   b e   r e v e a l e d  t o   c o n c l ude   s o m e   of   t h e   f i n d i n gs   a n d  s h o w   t h e   pe r f o r m a n c e   o f   t h e   c l a s s i f i c a t i o n   f o r   t h e   H o l y   Q ur a n   w i t h  o r   w i t h o ut   us i n g  t h e   i m b a l a n c e d  c l a s s i f i c a t i o n.       2.   LI TER A TU R E  R EV I EW   T h e r e   a r e   m a n y   s t udi e s   c l a s s i f i e d  Q ur ’a n i c   v e r s e s   fo r   A r a b i c   a n d  n o n - A ra b i c   l a n gu a ge   c o r pus   t o   de t e r m i n e   i t s   c o rr e s po n d i n g  t o pi c .   T h e   f i r s t   a t t e m p t   o f   c l a s s i fy i n g  Q u r ’a ni c   A r a b i c   t o pi c s   w a s   by   [10] .   T h e   a ut h o r s   de s i gn e d  a   s t a t i s t i c a l   m o de l   t o   c a t e go r i z e   t h e   v e r s e s   a ut o m a t i c a l l y   f o r   t h e   c ha pt e r s   o f   F a t i ha   a n d   Y a s e e n   fo r   pr e de f i n e d  c l a s s e s .   A   c l a s s i f i e r   c l a s s i f i e s   t h e   v e r s e s   i n   e a c h   c h a p t e r   b a s e d  o n   c o m put i ng  a   s c o r e   fo r   e v e r y   v e r s e   a ga i n s t   e a c h   c a t e go r y   a s   a   f i r s t   s t a ge ,   a n d  t h e n   t h e   v e r s e s   w e r e   a s s i gn e d  t o   c l a s s e s   w i t h   t h e   hi g h e s t   s c o r e .   T h i s   s t udy   i s   c o n s i de r e d  l i m i t e d  a n d  p ri m i t i v e   i n   t h e   t o pi c a l   c l a s s i f i c a t i o n   o f   t h e   Q ur ’ a ni c   v e r s e s   [11] .    N a s s o ur o u  [12]   d i s c us s e d  t h e   c l a s s i f i c a t i o n  o f   Q ur ’a ni c   c ha pt e r s   a c c o r di n g  t o   t h e   m a j o r   p ha s e s   of  t h e   P r o p h e t   M o h a m m a d’s   m e s s e n ge r s hi p  us i n g   m a c hi n e   l e a rni n g  a l go r i t h m s .   F i r s t ,   t h e   c h a pt e r s   w e r e   c l a s s i f i e d  a c c o r di n g  t o   pl a c e s   of   t h e   r e v e l a t i o n   us i n g  N a ï v e   B a y e s   a n d  S uppo r t   v e c t o r   m a c hi n e   c l a s s i f i e r s .   M o r e ov e r ,   t h e   c h a pt e r s   w e r e   c l a s s i f i e d  i n t o   M e c c a n   a n d   M e di na n .   A f t e r   t h a t ,   t h e   M e c c a n  a nd  M e di na n   c h a p t e r s   w e r e   c l us t e r e d  i n t o   gr o ups   de pe n de d  o n   c i t i e s   of   r e v e l a t i o n .   T h i s   s t udy   c o n c l ude d  t ha t   t h e   M e di n a n  c h a p t e r s   go t   a   hi g h e r   pe r f o r m a n c e   f r o m   t h e   M e c c a n  c ha pt e r s ,   w h e t h e r  f o r   SVM   o r  N a ï v e   B a y e s .     In   [11] ,   t h e   a u t h o r s   c l a s s i f i e d  v e r s e s   of   t h e   Q u r a n  a c c o r di n g   t o   t h e i r  t o pi c s .   T h e y   a ppl i e d  w e l l - kn o w n   c l a s s i f i c a t i o n   a l go r i t hm s :   k - n e a r e s t   n e i g h b o ur s   (K - N N ),   de c i s i o n   t r e e s ,   n a ï v e   b a y e s   (N B ),   a n d  s uppo rt   v e c t o r   m a c h i n e s   (S V M )   f o r   t hr e e   s e l e c t e d  t o pi c s .   T h e   p r e - p r o c e s s i n g  p ha s e   w a s   pe r f o r m e d  o n   t h e   Q u r ’ a n i c   da t a s e t ,   a nd  s i x  pe r f o r m a n c e   m e t ri c s   w e r e   us e d  fo r   t h e   e v a l ua t i o n .   H ow e ve r ,   o nl y   1, 227  v e r s e s   w e r e   us e d  o ut   of   t h e   w h o l e   6, 236  v e r s e s   of   t h e   H o l y   Q ur a n   f o r   t ra i ni n g  a n d  e v a l ua t i n g  t h e   s e l e c t e d  t o pi c s .   T h e   t o pi c s   w e r e   (Ig n o r a nt   o f   r e l i g i o n,   “ A l j ahi l un  b i al di y n " ),   (O n e n e s s   o f   G od,   “ T aw hi d  A l l ah   " ),   a n d  (P e n a l t y   of   A p o s t a t e s ,   “ J az a'  al m ur t adi n " ).   T h e s e   t o pi c s   w e r e   c o n s i de r e d  b a s e d  o n   t h e   v e r s e s   of   t h e   t o pi c s   b e i n g  u n b a l a n c e d.   T h e r e   a r e   1, 21 8  v e r s e s   fo r   O n e n e s s   of   G o d,   a n d  t hr e e   v e r s e s   o n l y   f o r   Ign o r a nt   o f   r e l i gi o n ,   w hi l e   t h e   P e n a l t y   of  A po s t a t e s   h a s   s i x  v e r s e s .   T h e r e f o r e ,   t h e   a u t h o r s   c l a s s i f i e d  t h e s e   i m b a l a n c e d  t o pi c s   by   us i n g  t r a di t i o na l   c l a s s i f i c a t i o n.   A ko ur   e t   a l .   [13]   a i m e d  t o   e v a l ua t e   s i m i l a ri t y   i n   t h e   do c um e nt s   a nd  t h e   t e xt   i n   t h e   A r a b i c   l a n gu a ge   b a s e d  o n   t h e   H o l y   Q ur a n .   T h e   Q ur ’ a n i c   v e r s e s   w e r e   us e d  a s   que r i e s   t o   s e a r c h   a n d  e v a l ua t e   s i m i l a ri t y .   T h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     6 7 8   -   6 8 7   680   m e a s u r i n g  qu r ’a ni c   v er s e s   s i m i l a r i t y   a n d  s u ra   c l a s s i f i c a t i o n   ( M Q V C)  a pp r o a c h   w e r e   e m pl oy e d  t o  r e t r i e v e   t h e   m o s t   s i m i l a r  v e r s e s   c o m pa r e d  t o   a   us e r   i n pu t   v e r s e   a s   a   que ry .   T h e   da t a s e t   c o n s i s t s   o f   ov e r   2000  v e r s e s   f r o m   t h e   Q ura n,   a n d   t h e y   i m pl e m e nt e d  t h e   M Q V C  a pp r o a c h   ra n do m l y   o n   70  o f   t h e   114  c ha pt e r s   o f   t h e   H o l y   Q ura n .   T h e   e xpe r i m e nt   w a s   pe r f o r m e d  us i ng  t h e   N - g ra m   t e c hn i q ue   b e s i de s   t h e   m a c h i n e   l e a rn i ng  a l go ri t hm   (L i b S V M   c l a s s i f i e r )  t o   c l a s s i fy   t h e   s e l e c t e d  Q u r a n  c h a p t e r s   i nt o   c ha pt e r s   o f   M a kki   a nd  M a da ni .     W h i l e   H a s s a n   e t   a l .   [14]   a ppl i e d  K N N   a l go r i t hm   t o   c l a s s i fy   t h e   T a f s e e r   ve r s e s   of   t h e   H o l y   Q ur a n  i n t o   p r e de f i n e d  c a t e go ri e s   a n d   t o   c o n duc t   t h e   c l a s s i f i c a t i o n,   a   d a t a b a s e   of   1000  A y a t   of   t h e   Q u ra n  w a s   di v i de d  i nt o   t w o   d o c um e n t   s e t s   w i t h   t h e   t r a i n i ng  s e t   c o n s i s t s   of   800  v e r s e s   a n d  t h e   t e s t   s e t   c o n s i s t   of   200   v e r s e s .   F o r   t h i s   c l a s s i f i c a t i o n ,   s e v e n   of   t h e   T a f s e e r   t e xt s   w e r e   c h o s e n :   I nh e r i t a n c e ,   M a rr i a ge ,   R e s pe c t i n g   P a r e nt s ,   P ra y ,   Z a ka t ,   J i ha d,   a nd  H a l a l   a f t e r   t ra n s l a t i n g  t h e m   f r o m   t h e   A r a b i c   t o   t h e   M a l a y   l a n gu a ge .   T h i s   da t a s e t   w a s   e xpe r i m e nt e d   b a s e d  o n   R e c a l l   a n d  P r e c i s i o n   m e t r i c s .   ‘I nh e r i t a n c e ’  ha s   t h e   l o w e s t   r e c a l l   v a l ue   of  0. 74 ,   w hi l e   t h e   ‘ m a rri a ge ’  c a t e go r y   ha s   t h e   h i g h e s t   r e c a l l   v a l ue   o f   0. 9.   In  a n o t h e r  r e s e a r c h   [15] ,   i t   a i m e d   t o   de v e l o p  t h e   e f f i c i e n c y   o f   i n f o r m a t i o n  r e t r i e v a l   f r o m   t h e   H o l y   Q ura n   b a s e d  o n   que s t i o n   a n s w e r i ng  s y s t e m   (Q A S )  t hr o ug h   c l a s s i fy i n g  t h e   v e r s e s   by   us i n g  t h e  n e u ra l   n e t w o r k   (N N )  t e c hn i q ue .   T hi s   r e s e a r c h   h a d  us e d  t h e   m o s t   po pul a r   E ngl i s h   t ra n s l a t i o n   o f   t h e   Q ura n   o f   A b dul l a h   Y us uf   A l i   a s   t h e   d a t a   s e t .   T h e   Q A S   t a c kl e d  s o m e   pr o b l e m s   by   e xpa ndi n g  t h e   que s t i o n,   us i ng  W o r dN e t ,   a n d  b e n e f i t t i ng  f r o m   c o l l e c t i n g  Is l a m i c   t e rm s   t o   a v o i d  di f f e r e nc e s   i n   t h e   que s t i o n s   a n d   t ra n s l a t i o n s .   T hi s   Q A S   c l a s s i f i e d  t h e   A l - B a qa ra h   s u r a h   i nt o   t w o   c l a s s e s ,   f a s t i n g  a nd  pi l g ri m a ge .   It   i s   b a s e d  o n   t h e   N N   c l a s s i f i e r ,   t o   r e duc e   t h e   r e t ri e v a l   o f   i rr e l e v a n t   v e r s e s   s i n c e   a   us e r' s   q ue s t i o n s   a r e   as k ed   a b o ut   F a s t i ng  a n d   P i l g r i m a ge .   H e n c e ,   t h e   Q A S   r e t r i e v e s   t h e   r e l e v a nt   v e r s e s   t o   t h e   que s t i o n   b a s e d  o n   t h e   N - g r a m   t e c hn i que ,   t h e n   ra n k i n g  t h e   r e t ri e v e d  ve r s e s   b a s e d  o n   t h e   hi g h e s t   s i m i l a r i t y   s c o r e   t o   s a t i s fy   t h e   us e r' s   de s i r e .     In   [16 ] ,   t h e   a u t h o r s   p r e s e n t e d  a   f e a t ur e   s e l e c t i o n   a pp r o a c h   t o   l a be l   Q ur ’a ni c   v e r s e s   a ut o m a t i c a l l y   t o  r e l a t e   t h e   v e r s e s   w i t h   t h e   f i v e   pi l l a r s   o f   Is l a m ;   t h e   ‘S h a ha d a ’   (p r o fe s s i o n   of   f a i t h ) ,   t h e   ‘S o l a t ’   (da i l y   pr a y e r s ),   t h e   ‘Z a ka t ’  ( a l m s gi v i n g) ,   t h e   ‘S a u m ’  (f a s t i n g  du r i ng  R a m a da n ) ,   a nd  t h e   ‘H a j j ’  (pi l g r i m a ge   t o   M e c c a ).   T h e   pr o po s e d  fe a t u r e   s e l e c t i o n   a p p r o a c h  us e d   a   g r o up - b a s e d  t e rm   c o un t   t o   r e p r e s e n t   t h e   f e a t u r e s   e xt r a c t e d  f r o m   t hr e e   di ff e r e n t   Q u r ’a ni c   t ra n s l a t i o n s .   T h e   a pp r o a c h   a do pt e d  t w o   c o m m o n   f e a t ur e   s e l e c t i o n   a l go ri t hm s   t o  r e duc e   t h e   f e a t ur e   s pa c e   fo r   200  r a ndo m l y   s e l e c t e d  ve r s e s   ba s e d  o n   t h e   m a nua l   i n de x ,   l i m i t e d  t o   Is l a m ' s   f i r s t   t w o  pi l l a r s .   F i n a l l y ,   t h e   k - N N ,   S V M ,   a n d  N B   c l a s s i f i e r s   w e r e   i m pl e m e nt e d  i n de pe n de nt l y   o n   t h e   f e a t ur e   s e l e c t i o n   a l go r i t h m s   t o   de t e rm i n e   c l a s s   m e m b e r s hi p  f o r   e a c h  v e r s e   a n d  m e a s u r e   t h e   r e s ul t s   i n  t e rm s   o f   a r e a   unde r  t h e   r e c e i v e r   o pe r a t i ng  c h a ra c t e r i s t i c s   c ur v e   (A U C).     Ro s t a m   a n d  M a l i m   [ 17]   p r o po s e d  a   m e t h o d  t o   c l a s s i fy   s e l e c t e d  c l a s s e s   by   de t e r m i ni n g  t h e   i n t e rr e l a t i o n   b e t w e e n   t h e   r e s o ur c e s   o f  t h e   Q ur ’ a n   a nd  H a di t h   us i ng  t h e   t e c hn i que s   of   t e xt   c l a s s i f i c a t i o n.   S e ve r a l   e xpe r i m e n t s   w e r e   i m pl e m e n t e d  b y   us i n g  a   c o m b i n a t i o n   o f   di ff e r e n t   Q u ra n   a n d  H a d i t h   da t a s e t s .   T hr e e   c a t e go r i e s   w e r e   s e l e c t e d,   H a j j ,   P r a y e r ,   a n d  Z a k a t ,   w hi c h   w e re   c o m pa r e d  us i n g  t hr e e   c l a s s i f i e r s ,   S V M ,   N a ï v e   B a y e s ,   a n d  K N N   v i a   t e r m   f r e que n c y – i n v e r s e   do c um e n t   f r e que n c y   (T F - ID F )  a s   w e l l   a s   t e r m   w e i ght i n g .   F urt h e rm o r e ,   e n s e m b l e   m e t h o ds   w e r e   e xpe r i m e n t e d  w i t h   t o   f i n d  o ut   w h e t h e r   t h e y   a r e   f i t   t o   c l a s s i fy   t h e   i n t e rr e l a t e d  d a t a s e t s   a s   t h e   r e s o ur c e s   o f   t h e   Q u r ’ a n  a nd  H a di t h.     U l um udi n   e t   al .   [18]   b ui l t   a   m o de l   t o   c l a s s i fy   a   m ul t i - l a b e l   Q u r’a ni c   c o r pus   t ra n s l a t e d  t o   E ngl i s h  us i n g  K N N   c l a s s i f i e r .   I n   t h i s   s t udy ,   K N N   c l a s s i f i e r   w a s   c o m b i n e d  w i t h   T F - ID F   a n d  W e i g ht e d  T F - ID F   m e t h o ds   t o   de t e r m i n e   t h e   b e s t   a pp r o a c h.   A c c o r di n g  t o   t h e   r e s ul t s   o b t a i n e d  i n   t hi s   r e s e a r c h ,   W e i g ht e d  T F - ID F   m e t h o d  a c h i e v e d   b e t t e r   r e s ul t s   c o m pa r e d  t o   T F - ID F .     In   [1 9] ,   t h e   a u t h o r s   c o m b i n e d  t w o   fe a t ur e   s e l e c t i o n   t e c hn i q ue s   t o   i m pr o v e   c l a s s i f i c a t i o n  pe r f o r m a n c e   a n d   a t   t h e   s a m e   t i m e   t o   r e duc e   t h e   c o m put a t i o na l   r u nt i m e .   T h e   c o m b i n e d  a l go r i t h m s   w e r e   c hi - s qua r e   a n d  w ra ppe r   c o rr e l a t i o n - b a s e d  (CF S ).   F i r s t l y ,   CH I  w a s   i m pl e m e n t e d  t o   r e duc e   t h e   f e a t ur e s   s pa c e   di m e n s i o na l i t y ,   a n d  CF S   w a s   i m p l e m e n t e d  l a t e r   t o   s e l e c t   t h e   e s s e n t i a l   f e a t u r e s   f r o m   t h e   r e duc e d  f e a t ur e s .   T h i s   p r o po s e d  t e c h ni que   w a s   a ppl i e d  t o   c l a s s i fy   Q ur ’a n i c   v e r s e s   us i n g  t h e   s t a n da rd  c l a s s i f i e r s ,   S V M ,   N B ,   a n d  J 48 .   T h e   Q u ra n i c   c l a s s i f i c a t i o n   w a s   a c h i e v e d  be t t e r   r e s ul t s   t h a n  t h e   b a s i c   s e l e c t i o n   f e a t ur e   m e t h o ds   w h e n   t h e   p r o po s e d  a pp r o a c h   w a s   a pp l i e d.     E l m i t w a l l y   a n d  A l s a y a t   [20]   p r o po s e d  a   m o de l   t ha t   c a n  c l a s s i fy   t h e   Q u r ’a ni c   v e r s e s   a ut o m a t i c a l l y .   It   c a n   a l s o   c o n c l ude   t h e   e s s e n t i a l   f e a t u r e s   t hr o ugh   t h e   c l a s s i f i c a t i o n   o f   t h e   f i r s t   s i x  c ha pt e r s   i n  t h e   Q u r ’ a n .   T hi s   s t udy   us e d  S V M ,   N a ï v e   B a y e s ,   J 48,   a n d  K N N   c l a s s i f i e r s   t o   c l a s s i fy   t h e   Q ur ’ a n i c   t e xt .   I n   t h e   e n d,   a   m u l t i - c l a s s   c l a s s i f i c a t i o n  m o de l   w a s   b ui l t   f o r   t h e   c ha pt e r   na m e s   of   t h e s e   Q ur ’ a n i c   v e r s e s   us i n g  G a us s i a n N B   a nd  s uppo r t   v e c t o r   c l a s s i f i e r   (S V C ).         3.   R ES EA R C H   M ET H O D   T h i s   s e c t i o n   e xpl a i n s   t h e   r e s e a r c h   m e t h o do l o g y   i n   de t a i l ,   w h i c h   c o m pri s e s   m a n y   s t e ps   be f o r e   t h e   c l a s s i f i c a t i o n  t a s k.   I n  F i gu r e   1 ,   i t   i s   s h o w n   a l l   t h e s e   s t e ps   us i n g   t h e   f o l l ow i n g  f l o w c h a rt .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Cl as s i f i c a t i o n  o f   Q ur ’ a ni c   t opi c s   b as e d   on   i m ba l anc e d   c l as s i f i c at i on   ( B as s am   A r k o k )   681       F i gu r e   1 .   F l o w c h a r t   o f   t hi s   r e s e a r c h       3. 1 .       D at as e t   c o l l e c t e d   T h i s   w o r k  c l a s s i f i e s   ve r s e s   of   8  Q ur ’a n i c   t o pi c s   de c l a r e d  by   t h e   l e xi c o n   fo r   t h e   Q u r a n ’s   t o pi c s   b y   Is l a m i c   s c h o l a r s   [21] .   T h e s e   t o pi c s   a r e   i m b a l a n c e d  da t a s e t   w h i c h   c a nn o t   b e   c l a s s i f i e d  by   t h e   t ra d i t i o n a l   m e t h o ds   c o r r e c t l y .   T a b l e   1  pr e s e n t s   t h e   c o l l e c t e d  da t a   w i t h  t h e   n um b e r   o f   s a m pl e s   fo r   e a c h   b i na r y   da t a s e t ,   i m b a l a n c e d  r a t i o s   (IR )  a m o n g   t h e s e   t o pi c s ,   a n d   t h e   f e a t u r e s   num b e r .       T a b l e   1 .  P r e s e n t s   t h e   c o l l e c t e d  da t a   w i t h   t h e   n u m b e r   o f   s a m p l e s   f o r   e a c h  b i na r y   da t a s e t ,   IR   a n d   t h e   num b e r  o f   f e a t ur e s       #   o f   m a j o ri t y   c l a s s   #   o f   m i n o ri t y   c l a s s   IR   #   o f   fe a t u r e s   1   T a w h e e d _ S h i rk   940   94   10   1119   2   P ra y e r_ Z a k a t   186   37   5 . 0 3   645   3   L a b o r_ S c i e n c e   537   76   7 . 0 7   947   4   P ro p h e c y _ R e l i g i o n   322   86   3 . 7 4   743   5   Q _ s t o ri e s _ P o l i t i c a l _ R   301   32   9 . 4 1   726   6   J i h a d _ F a s t i n g   153   29   5 . 2 8   624   7   Is l a m _ F a i t h   1291   993   1 . 3 0   1477   8   O rg a n i z a t i o n   o f   fi n a n c i a l   Re l a t i o n s _ Ca l l _ t o _ A l l a h   211   140   1 . 5 1   760       3. 2 .       D at a  r e p r e s e n t ati o n   T h e   c o l l e c t e d  t o pi c s '   Q ura n i c   r o o t s   w e r e   e xt r a c t e d  by   [22 ]   t h a t   h a s   b e e n   pub l i s h e d  i n   IJ A S A T   j o ur na l .   S o ,   t h e   p r e - p r o c e s s i n g  s t e p  t o   ge t   t h e   Q ur ’ a n i c   r o o t s   i s   c a n c e l l e d  a n d  i g n o r e d  i n   t h i s   w o r k.   T h e   c o l l e c t e d  t o pi c s   w e r e   r e p r e s e nt e d  us i n g   t h e   t e rm   f r e que n c y - i n v e r s e   do c um e n t   f r e que n c y   (T F - ID F )  t e c hni que   i n   t h e   c l a s s i f i c a t i o n  m a t ri x .   F i r s t l y ,   a l l   Q u r ’a ni c   r o o t s   w e r e   fo r m a t t e d  i n   a   v e c t o r   s pa c e .   T h e n ,   T F - ID F   f o r   a l l   Q ur ’ a n i c   w o r ds   f o r   e a c h  v e r s e   w a s   c o m put e d,   a nd  i t s   v a l u e   w a s   put   u n de r   i t s   f e a t u r e   i n   t h e   s pa c e   v e c t o r .   A f t e r   t ha t ,   t h e   m a t ri x  w a s   r e pr e s e nt e d  t h a t   c o l l e c t e d  a l l   ve c t o r s   fo r   t h e s e   v e r s e s .   F i n a l l y ,   t h e s e   ve c t o r s   a r e   l a b e l l e d  i n  t h e   m a t ri x  b a s e d  o n   t h e   l e xi c o n  us e d.   M o r e ov e r ,   a l l   c o m m o n   v e r s e s   f o r   b o t h   c l a s s e s   a r e   r e m o v e d  fr o m   t h e   m a t ri x .   F o r  e xa m pl e ,   24  v e r s e s   e xi s t   i n   T a w h e e d  a n d  S h i rk  t o pi c s   a t   t h e   s a m e   t i m e ,   s o   t he s e   v e r s e s   a r e   de l e t e d  f r o m   T a w h e e d  a n d  S hi r k   c l a s s e s .   D e l e t i n g  t h e   c o m m o n   v e r s e s   f r o m   t h e   da t a s e t s   h e l ps   t o   ge t   pur e   da t a   t o   pr e v e n t   c o n f us i o n   i n   t h e   c l a s s i f i c a t i o n  p ha s e   a n d   a v o i d  o v e r l a pp i n g   b e t w e e n   t h e   t ra i n i n g   a nd  t e s t i n g   d a t a s e t s .     3. 3 .       F e a tu r e s   s e l e c ti o n   In  t hi s   s t a ge ,   t h e   f o r m a t t e d  d a t a   f e a t u r e s   i n  t h e   m a t r i x  a r e   r e duc e d  a n d   c h o s e n  by   t h e   C hi - s qua r e   a l go ri t hm .   C h i - s qu a r e   a l go ri t hm   h a s   b e e n   us e d  t o  s e l e c t   t h e   i m po rt a nt   f e a t ur e s   w h i c h   h e l p  i n   i m p r o v i n g  t h e   pe r f o r m a n c e   of   t h e   c l a s s i f i c a t i o n .   T h e   f e a t u r e s   a r e   pi c ke d  out   by   t h e   Ch i - s qua r e   a l go r i t h m ,   w h i c h   w a s   us e d   w i de l y   fo r   t h e   A ra b i c   t e xt   c l a s s i f i c a t i o n   [2 3 ] - [ 24] .   A f t e r   t h e   f e a t ur e s   a r e   s e l e c t e d,   t h e   dupl i c a t e d  s a m p l e s   a r e   de l e t e d  a ga i n   f r o m   t h e   r e p r e s e n t e d  da t a .   T h e   r e pe a t e d  s a m pl e s   a r e   r e m o v e d  t o  ge t   pur e   da t a   a n d  a l s o   t o  e v a l ua t e   t h e   d i f fe r e nt   m e t h o ds   m o r e   p r e c i s e l y .   In   o t h e r   w o r ds ,   w h e n   t h e   s a m e   s a m p l e   e xi s t s   i n   b o t h  t ra i ni n g   a n d  t e s t i ng  da t a s e t s ,   t h i s   s a m pl e   ha s   100%  a c c ur a c y .   T h e r e f o r e ,   t h i s   i s s ue   i s   t a ke n   i nt o   a c c o un t   t o   ge t   r e s ul t s   m o r e   a c c u r a t e   a nd  s t ri c t l y   e v a l ua t e   t h e   di f f e r e n t   m e t h o ds .     3. 4 .       D i v i s i o n   o f  d atas e ts   T h e   da t a s e t s   a r e   di v i de d  i nt o   70%  a s   t r a i n i ng  d a t a   a nd  30 %  a s   t e s t i n g   da t a   t o   b ui l d  t h e   t ra i ni n g   m o de l s   a n d  t e s t   t h e   c l a s s i f i e r s .   T hi s   di v i s i o n   c o n s i de r s   t h e   i m b a l a n c e d  ra t i o s   of   t h e   Q ur ’a ni c   da t a s e t ,   w h i c h   m e a n s   70%  o f  e ve r y   c l a s s   i s   c h o s e n   fo r   t h e   t ra i ni n g  da t a   a n d  t h e   s a m e   po l i c y   fo r   t h e   t e s t i n g  da t a .   T hi s   di v i s i o n   i s   b a s e d  o n   t h e   s t udy   do n e   by   [23] ,   w h i c h   c o n c l ud e d  t ha t   c l a s s i f i c a t i o n  a c c ura c y   i s   i m pr o v e d  w h e n  t h e   t e s t i n g  d a t a s e t   i s   s m a l l e r   t ha n   t h e   t r a i n i ng  da t a s e t .   T a b l e   2  s h o w s   t h e   f i n a l   da t a s e t s   a f t e r   a pp l y i n g  t h e   pr e v i o us   s t e ps   w i t h   t h e   n um b e r   o f   s a m pl e s   fo r   e a c h   t o pi c   i n   t h e   t ra i ni n g  p ha s e ,   t h e   i m b a l a n c e d  r a t i o s   (IR ),   a n d  t h e   n u m b e r   o f   e a c h  da t a s e t ' s   f e a t u r e s .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     6 7 8   -   6 8 7   682   T a b l e   2 .  S h o w s   t h e   f i n a l   da t a s e t s   a f t e r   a pp l y i n g  t h e   p r e v i o us   s t e p s       #   o f   m a j o ri t y   c l a s s   #   o f   m i n o ri t y   c l a s s   IR    #   o f   fe a t u r e s   1   T a w h e e d _ S h i rk   185   57   3 . 2 5   53   2   P ra y e r_ Z a k a t   32   16   2   18   3   L a b o r_ S c i e n c e   228   51   4 . 4 7   98   4   P ro p h e c y _ R e l i g i o n   95   51   1 . 8 6   36   5   Q _ s t o ri e s _ P o l i t i c a l _ R   121   22   5 . 5   86   6   J i h a d _ F a s t i n g   27   20   1 . 3 5   3 4   7   Is l a m _ F a i t h   778   529   1 . 4 7   133   8   O rg a n i z a t i o n   o f   fi n a n c i a l   Re l a t i o n s _ Ca l l _ t o _ A l l a h   90   67   1 . 3 4   60       3. 5 .       Re - s am p l i n g  p h as e   T h e   m o s t   c o m m o n   t e c hn i q ue s   i n   t h e   re - s a m pl i n g  t e c hn i q u e s   a r e   a ppl i e d  i n   t hi s   r e s e a r c h .   T h e s e   m e t h o ds   a r e   r a ndo m   u n de r   s a m p l i ng  (R U S ),   ra n do m   o v e r   s a m p l i ng  (R O S ),   a n d  s y n t h e t i c   m i n o r i t y   o ve r - s a m pl i n g  t e c hn i que   (S M O T E ) .   R U S   m e t h o d  e l i m i na t e s   t he   m a j o r i t y   c l a s s   s a m pl e s   ra n do m l y   fo r   t h e   r e - b a l a n c i n g  o f  s a m pl e s   i n   b o t h   c l a s s e s   [25] .   W h i l e   i n   R O S   m e t h o d,   t h e   s a m p l e s   of  m i n o r i t y   c l a s s   a r e   dupl i c a t e d   ra n do m l y   a l s o  fo r   t h e   r e - b a l a n c i n g .   RU S   a n d  R O S   m e t h o ds   r e l y   o n   r e - b a l a n c i n g   t h e   s a m pl e s   ra n do m l y ,   s o  t h e y   a r e   i m pl e m e n t e d  100 0  t i m e s   i n   t hi s   r e s e a r c h.   T h e   a v e ra ge   of   a l l   t h e s e   e xpe r i m e n t s   i s   c o m put e d  t o   ob t a i n   t h e   e xpe r i m e nt a l   r e s ul t s   f o r   t h e m .   B ut ,   t h e   S M O T E   m e t h o d  o ve r s a m p l e s   t h e   m i n o r i t y   c l a s s   b a s e d  o n   t h e   n e i g h b o uri n g  s a m pl e s   [26] .   N e w   s a m pl e s   of   s y n t h e t i c   m i n o ri t y   c l a s s   a r e   a d de d  by   i n t e rpo l a t i n g  p a i r s   o f  c l o s e s t   n e i g h b o ur s   r a ndo m l y   i n  t h e   m i n o r i t y   c l a s s .     3. 6 .      C l as s i fi c at i o n   p h as e   T h i s   w o r k  us e s   w a i ka t o   e n v i r o n m e nt   f o r   kn o w l e dge   a n a l y s i s   ( W E K A   3. 6 )  t o o l   t o  upl o a d  t h e   Q ur ’ a n i c   da t a s e t s   c o l l e c t e d  a n d  i m pl e m e nt   t h e   c l a s s i f i e r s   r e qui r e d.   4  d i f fe r e nt   b a s e   c l a s s i f i e r s   w e r e   us e d  fo r   t h e   c l a s s i f i c a t i o n  t a s k :   N a i v e   B a y e s ,   J 48,   V o t e d  pe r c e pt r o n,   a n d  L i b S V M   c l a s s i f i e r s .   B ut ,   b e f o r e   t h e   c l a s s i f i c a t i o n   p r o c e s s ,   t h e   t ra i ni n g  da t a s e t s   s h o ul d  b e   r e - s a m pl e d  by   t h e   r e - s a m pl i n g  m e t h o ds .   M o r e ov e r ,   m a n y   c l a s s i f i e r s   w e r e   c o m b i n e d  w i t h   t h e s e   r e - s a m pl i n g  m e t ho ds   i n   t hi s   s t udy   t o   s h ow   t h e   pe r f o r m a n c e   o f   t h e   b e s t   c o m b i n a t i o n  f o r   t h e   Q u r a ni c   t o pi c s .     3. 7 .       Ev al u ati o n   p h as e   T h i s   s t e p  c o m p r i s e s   a   p ha s e   o f   t h e   e v a l ua t i o n  t o   t e s t   t h e   e xpe r i m e nt e d  m e t h o ds .   T e s t i n g  o f   t h e   e xpe r i m e nt s   i s   e v a l u a t e d  us i n g  t r a i n e d  m o de l s   t o   r e v e a l   t h e   pe r f o r m a n c e   o f   t h e   c l a s s i f i e r s .   A s   l o ng  a s   t h e   da t a s e t   i s   i m b a l a n c e d ,   t h e n   t h e   a c c ur a c y   m e t r i c   i s   n o t   e n o ugh   t o   t e s t   t h e   i m b a l a n c e d  c l a s s i f i c a t i o n  pe r f o r m a n c e   b e c a us e   t h e   pr e d i c t i o n   i s   t e n de d  f o r   t h e   m a j o r i t y   c l a s s   [8 ] ,  [ 27 ] - [ 28] .   S o ,   f o r   t hi s   p ha s e ,   di f f e r e n t   m e t r i c s   a r e   us e d  h e r e   t o   e v a l ua t e   t h e   pe r f o r m a n c e   o f  i m b a l a n c e d  c l a s s i f i c a t i o n .   T h e s e   m e t ri c s   a r e   s e n s i t i v i t y / r e c a l l ,   s pe c i f i c i t y ,   ov e r a l l   a c c ura c y ,   f - m e a s ur e ,   g - m e a n,   a n d  m a t t h e w s   c o rr e l a t i o n   c o e ff i c i e n t   (M CC)   us e d  i n  t h e   i m b a l a n c e d  c l a s s i f i c a t i o n  [4] .   T h e   f o r m u l a s   f o r   t h e s e   m e t ri c s   a r e :         (1)       (2)       (3)       (4)       (5)       (6)         Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Cl as s i f i c a t i o n  o f   Q ur ’ a ni c   t opi c s   b as e d   on   i m ba l anc e d   c l as s i f i c at i on   ( B as s am   A r k o k )   683   4.   EX P ER I M EN TA L  R ES U L TS   A N D   A N A L Y S I S   In  t hi s   s e c t i o n ,   t h e   e xpe ri m e nt a l   r e s ul t s   o b t a i n e d  b y   t h i s   r e s e a r c h  a r e   p r e s e nt e d  i n  4  f o r m a t s .   F i r s t l y ,   t h e   c l a s s i f i e r s '   a v e ra ge   r e s ul t s   w i t h o ut   us i n g   a n y   r e - s a m p l e   m e t h o d.   T h e s e   a r e   t h e   r e s ul t s   o f   t ra d i t i o n a l   c l a s s i f i c a t i o n   t o   p r o ve   t ha t   t h e   t ra d i t i o n a l   c l a s s i f i c a t i o n   i s   po o r   w h e n  us e d  t o   c l a s s i fy   Q ur ’a ni c   t o pi c s   t h a t   a r e   i m b a l a n c e d.   S e c o n d,   t h e   r e s ul t s   a v e r a ge   o b t a i n e d  us i n g  S M O T E   m e t h o d  f o r   t h e   r e qui r e d .   T hi r d ,   t h e   r e s ul t s   a v e r a ge   a c hi e v e d  us i n g  RU S   m e t h o d  i n   a l l   c l a s s i f i e r s .   F i na l l y ,   t h e   r e s ul t s   a v e r a ge   o f  t h e   c l a s s i f i e r s   us i n g  R O S   m e t h o d  i n   a l l   Q u r ’a ni c   da t a s e t s .   T a b l e   3  s h o w s   t h e   a v e r a ge   r e s ul t s   f o r   a l l   Q u r ’ a ni c   da t a s e t s   fo r   a l l   t e c hn i q ue s   us e d.   A l l   r e s ul t s   a b o ve   w i l l   b e   c a t e g o r i z e d  b a s e d  o n   t h e   us e d  c l a s s i f i e r s :   L i b S V M ,   N a ï v e   B a y e s ,   J 48,   a n d   V o t e d  pe r c e pt r o n.     4. 1 .       E x p e r i m e n tal   r e s u l ts   o b tai n e d   b y   Li b S V M   c l as s i f i e r   T a b l e   3  a n d  F i gu r e   2  r e v e a l   t h e   e xpe r i m e nt a l   r e s ul t s   o b t a i ne d  us i n g  L i b S V M   c l a s s i f i e r   i n   a l l   us e d  t e c hn i q ue s .   A s   i s   n o t i c e d  i n  T a b l e   3  a nd  F i g u r e   2,   t h e   t ra d i t i o n a l   c l a s s i f i c a t i o n,   w hi c h  w a s   i m p l e m e n t e d  by   L i b S V M   c l a s s i f i e r ,   it  o b t a i n e d  h i g h e r   r e s ul t s   i n   S e n s i t i v i t y / R e c a l l   m e t r i c s ,   b ut   i t   w a s   t h e   w o r s t   a m o ng  t h e   o t h e r s  i n   t h e   S pe c i f i c i t y   m e t r i c .   It   m e a n s   t h e   t r a di t i o na l   c l a s s i f i c a t i o n   t e nds   t o   a c h i e v e   h i g h e r   a c c ura c y   fo r   t h e   m a j o r i t y   c l a s s ,   w h i l e   t h e   s a m p l e s   o f   m i n o ri t y   c l a s s   ge t   p oo r   pe r f o r m a n c e .   T h i s   w e a k n e s s   i n   t ra d i t i o n a l   c l a s s i f i c a t i o n   pe r f o r m a n c e   w a s   n o t   o bs e r v e d  b e c a us e   i t   e a rne d  a   h i g h e r   v a l ue   i n   t h e   O v e r a l l   a c c ura c y   m e t ri c .   S o ,   i t   w a s   de c i de d   i n   t h e   f i e l d  of  i m b a l a n c e d  c l a s s i f i c a t i o n   t ha t   t h e   O v e r a l l   a c c ur a c y   m e t r i c   i s   n o t   e n o ugh   t o   e v a l ua t e   t h e   i m b a l a n c e d  c l a s s i f i c a t i o n   pe r f o r m a n c e .   H ow e ve r ,   t h e   i m b a l a n c e d  c l a s s i f i c a t i o n   t e c hni que s   a ppl i e d  i n   t hi s   r e s e a r c h   o b t a i n e d  s i m i l a r   r e s ul t s   i n   t h e   O v e r a l l   a c c u r a c y   m e t r i c .   It   i s   a l s o   s h ow n   t h a t   t h e   t r a d i t i o n a l   c l a s s i f i c a t i o n   w a s   t h e   w e a ke s t   i n   t h e   pe r f o r m a n c e   i n   G - m e a n   a n d  M CC  m e t r i c s .   T h e   t ra di t i o na l   c l a s s i f i c a t i o n   o ut pe r f o r m e d  t h e   r e - s a m p l i n g  m e t h o ds   i n   F - m e a s u r e   s l i g h t l y   i n   1%  o r   2%   pe r c e n t a ge s   o n l y .   F i na l l y ,   i n   T a b l e   3,   i t   i s   s e e n   t ha t   t h e   S M O T E   m e t h o d  i m p r o v e d  t h e   r e s ul t s   of   t r a d i t i o n a l   c l a s s i f i c a t i o n   s i g n i f i c a n t l y   w h e n  i t   w a s   c o m b i n e d  w i t h  L i b S V M   c l a s s i f i e r ,   e s pe c i a l l y   i n   S pe c i f i c i t y   a n d   G - m e a n  m e t r i c s .         T a b l e   3 .   R e ve a l s   t h e   e xpe r i m e n t a l   r e s ul t s   o b t a i n e d   us i n g   l i b s v m   c l a s s i f i e r   T e c h n i q u e   S e n s i t i v i t y / R e c a l l   S p e c i f i c i t y   O v e ra l l   A c c u ra c y   F - M e a s u re   G - M e a n   M CC   L i b S V M   0 . 9 3   0 . 6 3   0 . 8 4   0 . 8 9   0 . 7 6   0 . 6 2   RU S _   L i b S V M   0 . 8 7   0 . 7 7   0 . 8 4   0 . 8 7   0 . 8 1   0 . 6 5   RO S _   L i b S V M   0 . 8 8   0 . 7 6   0 . 8 4   0 . 8 8   0 . 8 2   0 . 6 5   S M O T E _   L i b S V M   0 . 8 7   0 . 8 0   0 . 8 5   0 . 8 8   0 . 8 3   0 . 6 6           F i gu r e   2 .   S h o w s   t h e   pe r f o r m a n c e   o f   a l l   t e c hn i que s   us i n g   L i b S V M   c l a s s i f i e r       4. 2 .       Ex p e r i m e n tal   r e s u l ts   o b tai n e d   b y  K N N   c l as s i fi e r   T a b l e   4  a n d  F i gu r e   3  s h o w   t h e   e xpe r i m e n t a l   r e s ul t s   w e r e   r e v e a l e d  us i n g  K N N   c l a s s i f i e r   f o r   t h e   c o l l e c t e d  Q ur ’a ni c   i n   a l l   r e qui r e d  t e c hni que s   i n   t hi s   r e s e a r c h.   It   i s   n o t i c e d  i n   t h e   t a b l e   a n d  f i gu r e   a b ov e   t ha t   t h e   m a j o r i t y   c l a s s ' s   a c c ur a c y   w a s   s i gn i f i c a nt l y   h i g h e r   t h a n   t h e   a c c u r a c y   of   t h e   m i n o ri t y   c l a s s   i n   K N N   c l a s s i f i e r .   B ut   t h e s e   a c c ur a c i e s   w e r e   a dj us t e d  s o m e w h a t   i n   S M O T E   a nd  R O S   m e t h o ds .   M o r e o ve r ,   t h e   pe r f o r m a n c e   w a s   s i m i l a r  i n   a l l   t e c hn i q ue s   i n   O v e r a l l   a c c ura c y   a n d  F - m e a s u r e   m e t ri c s .   A l s o ,   i t   i s   s e e n   t ha t   S M O T E   m e t h o d  o ut pe r f o r m e d  s l i g ht l y   i n   G - m e a n  m e t ri c   a n d   s i g ni f i c a nt l y   i n  M CC  o n   t h e   o t h e r s .   A l s o ,   i n  Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     6 7 8   -   6 8 7   684   T a b l e   4,   i t   i s   s e e n   t ha t   S M O T E   m e t h o d  i m p r o v e d  t h e   r e s ul t s   o f   t r a di t i o na l   c l a s s i f i c a t i o n   s i g n i f i c a n t l y   w h e n  i t   w a s   c o m b i n e d  w i t h  K N N   c l a s s i f i e r   i n   m o s t   m e t r i c s .         T a b l e   4 .   S h o w s   t h e   e xpe r i m e nt a l   r e s ul t s   r e v e a l e d  us i n g   K N N   c l a s s i f i e r   T e c h n i q u e   S e n s i t i v i t y / R e c a l l   S p e c i f i c i t y   O v e ra l l   A c c u ra c y   F - M e a s u re   G - M e a n   M CC   K N N   0 . 8 6   0 . 5 5   0 . 7 7   0 . 8 3   0 . 6 8   0 . 4 5   RU S _   K N N   0 . 8 0   0 . 6 7   0 . 7 6   0 . 8 1   0 . 7 3   0 . 4 7   RO S _   K N N   0 . 8 5   0 . 5 6   0 . 7 8   0 . 8 3   0 . 6 9   0 . 4 6   S M O T E _   K N N   0 . 8 4   0 . 7 4   0 . 8 1   0 . 8 5   0 . 7 9   0 . 5 8           F i gu r e   3 . S h o w s   t h e   pe r f o r m a n c e   o f   a l l   t e c hn i que s   us i n g   K N N   c l a s s i f i e r       4. 3 .       Ex p e r i m e n tal   r e s u l ts   o b tai n e d   b y  J48   c l as s i fi e r   T a b l e   5  a nd  F i gu r e   4  s h o w   t h e   e xpe r i m e n t a l   r e s ul t s   o b t a i ne d  us i n g  t h e   J 48  c l a s s i f i e r   f o r   r e qui r e d   t e c hn i q ue s .   I n   t h e   T a b l e   a n d   F i gu r e   a b ov e ,   i t   i s   n o t i c e d  t ha t   t h e   pe r f o r m a n c e   o f   t r a di t i o na l   c l a s s i f i c a t i o n ,   us i n g  J 48  c l a s s i f i e r ,   a l s o   de m o n s t r a t e d  t h e   pr o b l e m   of  i m ba l a n c e d  c l a s s i f i c a t i o n   w h e n   w a s   us e d   t o  c l a s s i f y   i m b a l a n c e d  Q u r ’a ni c   t o pi c s .   T h e r e fo r e ,   t h e   c l a s s i f i c a t i o n   pe r f o r m a n c e   t e nde d  t o   t h e   m a j o r i t y   c l a s s   a n d  p a i d   l e s s   a t t e nt i o n   t o   t h e   m i n o ri t y   c l a s s .   M o r e ove r ,   t h e   r e - s a m p l i n g  m e t h o ds   o ut pe r f o r m e d  t h e   t r a d i t i o na l   c l a s s i f i c a t i o n   i n   t h e   o t h e r   m e t ri c s   be s i de s   t h e   O v e r a l l   a c c u ra c y   m e t r i c   e xc e pt   fo r   F - m e a s ur e .   In   F - m e a s u r e ,   t h e   t ra di t i o n a l   c l a s s i f i c a t i o n   a c hi e v e d   s i m i l a r   pe r f o r m a n c e   t o   t h e   pe r f o r m a n c e   of   r e - s a m pl i ng  m e t h o ds .   F urt h e rm o r e ,   a s   i n  T a b l e   5,   t h e   S M O T E   m e t h o d  o ut pe r f o r m e d  t h e   o t h e r s   i n   m a n y   m e t ri c s .           F i gu r e   4 .  S h o w s   t h e   pe r f o r m a n c e   o f   a l l   t e c hn i que s   us i n g   J 48   c l a s s i f i e r   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Cl as s i f i c a t i o n  o f   Q ur ’ a ni c   t opi c s   b as e d   on   i m ba l anc e d   c l as s i f i c at i on   ( B as s am   A r k o k )   685   T a b l e   5 .   S h o w s   t h e   e xpe r i m e nt a l   r e s ul t s   o b t a i n e d  us i n g   J 48  c l a s s i f i e r   T e c h n i q u e   S e n s i t i v i t y / R e c a l l   S p e c i f i c i t y   O v e ra l l   A c c u ra c y   F - M e a s u re   G - M e a n   M CC   J 4 8   0 . 8 7   0 . 6 1   0 . 7 5   0 . 8 5   0 . 7 2   0 . 4 8   RU S _   J 4 8   0 . 7 5   0 . 7 7   0 . 7 4   0 . 7 9   0 . 7 5   0 . 5 0   RO S _   J 4 8   0 . 8 3   0 . 6 9   0 . 7 6   0 . 8 3   0 . 7 5   0 . 5 1   S M O T E _   J 4 8   0 . 8 4   0 . 7 2   0 . 7 8   0 . 8 5   0 . 7 7   0 . 5 4       4. 4 .       Ex p e r i m e n tal   r e s u l ts   o b tai n e d   b y  v o te d   p e r c e p tr o n   c l as s i f i e r   T h e   e xpe r i m e nt a l   r e s ul t s   o b t a i n e d  us i n g  V o t e d  pe r c e pt r o n  c l a s s i f i e r   a r e   e xpl o r e d  i n   T a b l e   6  a n d   F i gu r e   5  f o r   t h e   a ppl i e d   t e c hni que s .   A s   i n   t h e   t a b l e   a n d  f i g ur e   a b o ve ,   t h e   m a j o r i t y   c l a s s   s a m pl e s   a c h i e v e d   hi g h e r   pe r f o r m a n c e ,   w hi l e   t h e   s a m pl e s   o f   t h e   m i n o ri t y   c l a s s   o b t a i n e d  po o r   pe r f o r m a n c e   i n   t ra d i t i o n a l   c l a s s i f i c a t i o n   pe r f o r m a n c e   i n   a l l   m e t ri c s .   B ut ,   t h e   pe r f o r m a n c e   of   r e - s a m pl i n g  m e t h o ds   w a s   be t t e r   i n   a l l   m e t r i c s .   M o r e ov e r ,   t h e   M CC  m e t r i c   i s   i m p r o v e d  s i gni f i c a nt l y   t h a n  t h e   t r a d i t i o n a l   c l a s s i f i c a t i o n   i n  S M O T E   a n d  R O S   m e t h o ds .   It   m e a n s   t ha t   t h e   c l a s s i f i c a t i o n   o f   Q ur ’ a ni c   t o pi c s ,   w h i c h   a r e   i m b a l a n c e d,   w i l l   be   e nh a n c e d  w h e n   c l a s s i f i e d  by   i m b a l a n c e d  c l a s s i f i c a t i o n  t e c hni que s .   F i na l l y ,   a s   s h o w n   i n  T a b l e   6,   t h e   S M O T E   m e t h o d  i m p r o v e d  t r a d i t i o n a l   c l a s s i f i c a t i o n   r e s ul t s   s i g ni f i c a n t l y   w h e n   c o m b i n e d  w i t h   a   V o t e d  pe r c e pt r o n   c l a s s i f i e r .   T hi s   i m p r o v e m e n t   w a s   p r o v e n   i n  a l l   m e t ri c s   e xc e pt   i n   S e n s i t i v i t y / Re c a l l   m e t r i c   t ha t   go t   a   s i m i l a r  pe r f o r m a n c e   i n   t h i s   m e t ri c .       T a b l e   6 .  P r e s e n t s   e xpe ri m e n t a l   r e s ul t s   o b t a i n e d  us i ng  v o t e d  pe r c e pt r o n   c l a s s i f i e r   T e c h n i q u e   S e n s i t i v i t y / R e c a l l   S p e c i f i c i t y   O v e ra l l   A c c u ra c y   F - M e a s u re   G - M e a n   M CC   VP   0 . 8 5   0 . 6 4   0 . 7 9   0 . 8 4   0 . 7 3   0 . 5 0   RU S _ V P   0 . 7 4   0 . 7 9   0 . 7 5   0 . 8 0   0 . 7 6   0 . 4 9   RO S _ V P   0 . 8 2   0 . 7 9   0 . 8 1   0 . 8 5   0 . 8 1   0 . 5 9   S M O T E _ V P   0 . 8 4   0 . 8 7   0 . 8 5   0 . 8 8   0 . 8 5   0 . 6 8           F i gu r e   5 .  S h o w s   t h e   pe r f o r m a n c e   o f   a l l   t e c hn i que s   us i n g   v o t e d  pe r c e pt r o n   c l a s s i f i e r       5.   R ES U LTS   A N A L Y S I S   I N   G EN ER A L   T h e   pe r f o r m a n c e   o f   r e - s a m pl i n g  m e t h o ds   i s   c o m pa r e d  i n  a l l   r e qui r e d  c l a s s i f i e r s   i n   t h i s   s e c t i o n.   T h i s   c o m pa ri s o n   i s   c o n duc t e d   t o   pi c k  o ut   t h e   b e s t   o n e   fo r   t h e   Q ur ’ a ni c   c l a s s i f i c a t i o n.   I n   T a b l e   7,   i t   i s   s h o w n   t h e   pe r f o r m a n c e   of   a l l   r e - s a m p l i n g   t e c hni que s   i n  a l l   us e d  m e t ri c s .   A s   n o t i c e d  i n  t h e   T a b l e   a b o ve ,   a l l   r e - s a m pl i n g   m e t h o ds   w e r e   t h e   b e s t   m e t h o ds   i n   S e n s i t i v i t y / R e c a l l   m e t ri c s   w h e n   c o m b i n e d  w i t h   L i b S V M   c l a s s i f i e r ,   w h i l e   S M O T E   w i t h   V o t e d  pe r c e pt r o n   c l a s s i f i e r   w a s   t h e   b e s t   o n e   i n   S pe c i f i c i t y   m e t ri c .   M o r e o ve r ,   a l l   t h e s e   c o m b i na t i o n s   w e r e   t h e   b e s t   t e c hn i q ue s   i n   O v e r a l l   A c c u ra c y   a n d  F - M e a s u r e   m e t r i c s .   I n  c o n t r a s t ,   t h e   c o m b i na t i o n   o f   S M O T E   w i t h   V o t e d  pe r c e pt r o n   a c h i e v e d  hi g h e r   pe r f o r m a n c e   p r a c t i c a l l y   i n   G - m e a n   a n d  M CC  m e t r i c s .   A s   a   r e s ul t   o f   t h e   a b ov e ,   t h e   c a ndi d a t e   a s   t h e   b e s t   pe r f o r m e r   i n   t hi s   r e s e a r c h   i s   S M O T E   w i t h   V o t e d  pe r c e pt r o n   c l a s s i f i e r   due   t o   h i s   s upe r i o r i t y   o ve r   t h e   o t h e r s   i n   5   o ut   o f   6  m e t ri c s .   A c c o r di n g  t o   t h e   r e s ul t s   o b t a i n e d  i n   S e c t i o n   4,   S M O T E   w a s   t h e   b e s t   r e - s a m pl i n g  m e t h o d  c o m pa r e d  t o   t h e   o t h e r   t e c hni que s   i n  t h i s   r e s e a r c h .   T h e r e f o r e ,   S M O T E   c a n  b e   c o n s i de r e d  t h e   b e s t   a pp r o a c h  t o   c l a s s i fy   i m b a l a n c e d  Q u r ’ a n i c   t o pi c s .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i ,   V o l .   22 ,   N o .   2 ,  M a y   202 1   :     6 7 8   -   6 8 7   686   T a b l e   7 .   R e ve a l s   t h e   pe r f o r m a n c e   o f   a l l   r e - s a m p l i n g   m e t h o ds   T e c h n i q u e   S e n s i t i v i t y / R e c a l l   S p e c i f i c i t y   O v e ra l l   A c c u ra c y   F - M e a s u re   G - M e a n   M CC   RU S _ J 4 8   0 . 7 5   0 . 7 7   0 . 7 4   0 . 7 9   0 . 7 5   0 . 5 0   RO S _ J 4 8   0 . 8 3   0 . 6 9   0 . 7 6   0 . 8 3   0 . 7 5   0 . 5 1   S M O T E _ J 4 8   0 . 8 4   0 . 7 2   0 . 7 8   0 . 8 5   0 . 7 7   0 . 5 4   RU S _ L i b S V M   0 . 8 7   0 . 7 7   0 . 8 4   0 . 8 7   0 . 8 1   0 . 6 5   RO S _ L i b S V M   0 . 8 8   0 . 7 6   0 . 8 4   0 . 8 8   0 . 8 2   0 . 6 5   S M O T E _ L i b S V M   0 . 8 7   0 . 8 0   0 . 8 5   0 . 8 8   0 . 8 3   0 . 6 6   RU S _ V P   0 . 7 4   0 . 7 9   0 . 7 5   0 . 8 0   0 . 7 6   0 . 4 9   RO S _ VP   0 . 8 2   0 . 7 9   0 . 8 1   0 . 8 5   0 . 8 1   0 . 5 9   S M O T E _ V P   0 . 8 4   0 . 8 7   0 . 8 5   0 . 8 8   0 . 8 5   0 . 6 8   RU S _ K N N   0 . 8 0   0 . 6 7   0 . 7 6   0 . 8 1   0 . 7 3   0 . 4 7   RO S _ K N N   0 . 8 5   0 . 5 6   0 . 7 8   0 . 8 3   0 . 6 9   0 . 4 6   S M O T E _ K N N   0 . 8 4   0 . 7 4   0 . 8 1   0 . 8 5   0 . 7 9   0 . 5 8       6.   C O N C LU S I O N   T e xt   c l a s s i f i c a t i o n   i s   o n e   of   t h e   m o s t   i m po r t a nt   a s pe c t s   us e d  w i de l y   n ow a da y s .   S e v e r a l   s t udi e s   c l a s s i f i e d  t h e   Q ur’a ni c   t e xt   us i n g  d i f f e r e n t   m e t h o ds .   H ow e ve r ,   t h e r e   i s   n o   s t udy   fo r   t h e   c l a s s i f i c a t i o n  of  Q ur ’ a n i c   t e xt   b a s e d  o n   i m b a l a n c e d  c l a s s i f i c a t i o n.   T h i s   w o r k  a i m e d  t o   c l a s s i fy   i m b a l a n c e d  Q ur ’a ni c   t o pi c s   us i n g  R e - s a m pl i n g  m e t h o ds   t o   r e - b a l a n c e   t h e   Q u r ’a ni c   da t a s e t   b e fo r e   t h e   c l a s s i f i c a t i o n   p ha s e .   A l s o ,   i n   t hi s   r e s e a r c h,   c l a s s i f i e r s '   pe r f o r m a n c e   i s   c o m pa r e d  b e fo r e   a n d  a f t e r   us i n g  t h e s e   r e - s a m p l i n g  m e t h o ds .   T h e   r e s ul t s   s h o w e d   t h a t   t h e   Q ur’a ni c   c l a s s i f i c a t i o n   pe r f o r m a n c e   i m p rov e d  s i gni f i c a nt l y   by   a ppl y i n g  t h e   i m b a l a n c e d  c l a s s i f i c a t i o n   a l m o s t   f o r   m a n y   of   t h e   m e t r i c s   w i t h  t h e   s t a b i l i t y   o f   t h e   a c c ur a c y   m e t r i c .   T h e   f ut u r e   w o r k  o f   t h i s   r e s e a r c h   i s   a p pl y i n g  t h e   i m b a l a n c e d  c l a s s i f i c a t i o n   t e c hni que s   fo r   t h e   S unna h   b o o ks   t o   i m pr o v e   t h e   H a di t h s   c l a s s i f i c a t i o n.       A C K N O WL ED G E M EN TS   T h i s   pa pe r   w a s   s uppo r t e d  by   In t e rna t i o na l   Is l a m i c   U n i v e r s i t y   of   M a l a y s i a   un de r   (F R G S 19 - 083 - 0691)  r e s e a r c h   p r o j e c t .       R EF ER EN C ES   [ 1]   S i dd i qu i ,   M .   A . ,   S .   M .   F a r a z ,   a nd  S .   A .   S a t t a r .  " D i s c o v e r i ng   t he   t h e m a t i c   s t r uc t u r e   o f   t he   Q ur a n  us i ng   pr o ba bi l i s t i c   t o pi c   m o de l ,"   i n  201 3  T ai bah  U n i v e r s i t y   I n t e r na t i ona l   C on f e r e nc e   on  A dv an c e s   i n  I nf or m a t i on  T e c hno l og y   f o r   t he   H ol y   Q ur an  and   I t s   S c i e nc e s .   2 013 .   I E E E ,   do i :   10. 11 09 / no o r i c . 201 3. 55 .     [ 2]   S a l l o um ,   S .   A ,  e t   al . ,   " A   s ur v e y   of   A r a bi c   t e x t   m i n i ng , "   i n  I nt e l l i ge nt   N a t ur al   L an guage   P r oc e s s i ng :   T r e nds   and   A ppl i c a t i ons ,   S p r i ng e r .   p p .   417 - 43 1 ,   20 18 ,  d oi :   1 0. 10 07 / 9 78 - 3 - 3 19 - 6 7 05 6 - 0_ 20 .     [ 3]   A l i ,   H . ,   e t   a l . ,  " A   r e v i e w   o n  da t a   pr e - pr o c e s s i ng   m e t ho ds   f o r   c l a s s   i m ba l a nc e   pr o bl e m ,"   I nt e r na t i ona l   J o ur n al   of   E ngi ne e r i n g  & T e c hnol ogy ,   v o l .   8 ,   no .   3 ,   p p .   390 - 397 ,   201 9 ,   do i :   10 . 144 19/ i j e t . v 8i 3. 2 9508 .     [ 4]   H a i x i a ng ,   G . ,   e t   a l . ,   " L e a r ni ng   f r o m   c l a s s - i m ba l a nc e d  da t a :   R e v i e w   o f   m e t ho ds   a nd  a pp l i c a t i o ns ,"   E x pe r t   Sy s t e m s   w i t h  A p p l i c a t i ons ,   v o l .   73 ,   p p .   220 - 23 9 ,   20 17 ,   do i :   10 . 101 6/ j . e s w a . 2 016. 12 . 035 .     [ 5]   N a y a l ,   A . ,   H .   J o m a a ,   a nd  M .   A w a d,   " K e r M i nS V M   f o r   i m ba l a nc e d  da t a s e t s   w i t h  a   c a s e   s t u dy   o n   a r a b i c   c o m i c s   c l a s s i f i c a t i o n , "   E ngi ne e r i ng  A pp l i c a t i o ns   o f   A r t i f i c i al   I nt e l l i ge nc e ,   vo l .   59 ,   p p .   1 59 - 169 ,   201 7 ,   do i :  10. 1 016 / j . e ng a ppa i . 2 017 . 01 . 0 01 .     [ 6]   K ha l i l i a ,   M ,   S .   C ha k r a bo r t y ,   a nd  M .   P o pe s c u,   " P r e d i c t i ng   d i s e a s e   r i s k s   f r o m   hi g hl y   i m ba l a nc e d  da t a   us i ng   r a n do m   f o r e s t , "   B M C   m e di c al   i nf or m a t i c s   an d  de c i s i on   m ak i ng .  v o l .   11 ,   no .   1 ,   p p.   51 ,   201 1 ,  do i :   10. 1186 / 14 72 - 6947 - 11 - 51 .     [ 7]   A l i be i g i ,   M ,   S .   H a s he m i ,   a nd  A .   H a m z e h ,   " D B F S :   A n  e f f e c t i v e   D e ns i t y   B a s e d  F e a t u r e   S e l e c t i o n  s c he m e   f o r   s m a l l   s a m pl e   s i z e   a n d  h i g h  d i m e ns i o na l   i m ba l a nc e d  da t a   s e t s , "   D a t a  &   K now l e dge   E ngi ne e r i ng .  v o l .   81 ,  p p .   67 - 103 ,  2012 ,   do i :  10. 101 6/ j . da t a k . 20 12 . 08 . 001 .     [ 8]   Al - A z a ni ,   S   a nd  E . - S.   M .   E l - A l f y .   " U s i ng   W o r d  E m be dd i ng   a nd  E ns e m b l e   L e a r ni ng   f o r   H i g hl y   I m ba l a nc e d  D a t a   S e nt i m e n t   A na l y s i s   i n  S ho r t   A r a bi c   T e x t ,"   i n  A N T / SE I T ,  2 017 ,   do i :  10. 1 016 / j . p r o c s . 2017 . 05 . 3 65 .     [ 9]   M o unt a s s i r ,   A ,   H .   B e nb r a h i m ,   a nd   I .   B e r r a da ,   " S o m e   m e t ho ds   t o   a dd r e s s   t he   p r o bl e m   o f   unba l a nc e d   s e nt i m e n t   c l a s s i f i c a t i o n  i n   a n   a r a b i c   c o nt e xt , "   i n   20 12  C o l l oqu i um   i n  I n f o r m at i on  S c i e nc e   a nd  T e c h nol ogy ,   2 012 ,   I E E E ,   do i :  10. 1 109 / C I S T . 2012 . 63 8806 1 .     [ 10]   Al - K a bi ,   M .   N ,  e t   al . ,   " S t a t i s t i c a l   c l a s s i f i e r   o f   t h e   ho l y   Q ur a n   v e r s e s   ( F a t i ha   a nd   Y a s e e n   c ha p t e r s ) , "   J our na l   o f   A ppl i e d  S c i e nc e s .  v o l .   5 ,   no .   3   p p .   580 - 583 ,   200 5 ,  do i :   10. 3923 / j a s . 2005 . 580 . 5 83.     [ 11]   Al - K a bi ,   M .   N . ,   e t   al . ,   " A   t o pi c a l   c l a s s i f i c a t i o n  o f   Q ur a ni c   A r a bi c   t e x t , "   i n  P r oc e e di ngs   o f   t he   2013  T a i bah   U ni v e r s i t y   I n t e r na t i ona l   C onf e r e nc e   on  A dv a nc e s   i n  I nf or m a t i on  T e c hnol o gy   f o r   t he   H ol y   Q ur an  a nd  I t s   Sc i e nc e s .  2013 .     [ 12]   N a s s o ur o u,   M ,  " U s i ng   M a c hi ne   L e a r n i ng   A l go r i t hm s   f o r   C a t e g o r i z i ng   Q ur a ni c   C ha p t e r s by   M a j o r   P ha s e s   o f   P r o phe t   M o ha m m a d' s   M e s s e ng e r s h i p , "   I n t e r na t i o nal   J ou r na l   o f   I nf or m a t i on  an d  C om m un i c at i on  T e c h nol ogy   R e s e ar c h:   C i t e s e e r ,   v o l .   2,   20 12 .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a n  J   E l e c   E ng  &   Co m p  S c i     IS S N :   2502 - 4752       Cl as s i f i c a t i o n  o f   Q ur ’ a ni c   t opi c s   b as e d   on   i m ba l anc e d   c l as s i f i c at i on   ( B as s am   A r k o k )   687   [ 13]   A k o ur ,   M ,   I .   M .   A l s m a d i ,   a nd  I .   A l a z z a m ,   " M Q V C :   M e a s u r i ng   qur a ni c   v e r s e s   s i m i l a r i t y   a nd  s ur a   c l a s s i f i c a t i o n  us i ng   N - g r a m , "   W SE A S  T r ans ac t i o ns   on   C om pu t e r s ,   v o l .   13 ,  p p .   48 5 - 491 ,   20 14 .     [ 14]   H a s s a n,   G .   S . ,   S .   K .   M o ha m m a d ,   a nd  F .   M .   A l w a n,   " C a t e g o r i z a t i o n  o f   ‘ H o l y   Q ur a n - T a f s e e r ’ us i ng   K - ne a r e s t   ne i g hbo r   a l g o r i t hm , "   I n t .   J .   C om pu t .   A pp l ,   v o l .   1 29 ,   no .   12 ,  p p .   1 - 6 ,   201 5 .   [ 15]   H a m e d,   S .   K   a nd   M .   J .   A b  A z i z ,   " A   Q ue s t i o n  A ns w e r i ng   S y s t e m   o n  H o l y   Q ur a n   T r a ns l a t i o n  B a s e d  o n  Q u e s t i o n   E xpa n s i o n  T e c hni q ue   a n d   N e u r a l   N e t w o r k  C l a s s i f i c a t i o n , "   J .   C om put .   S c i . ,   v o l .   12 ,   no .   3 ,   p p .   16 9 - 177 ,   2 016 ,   do i :  10. 3 844 / j c s s p. 2016 . 1 69. 177 .     [ 16]   A de l e ke ,   A .   O . ,   e t   a l . ,   " C o m pa r a t i v e   a n a l y s i s   o f   t e x t   c l a s s i f i c a t i o n  a l g o r i t hm s   f o r   a u t o m a t e d   l a be l l i ng   o f   Q ur a ni c   v e r s e s , "   I n t .   J .   A dv .   Sc i .   E ng .   I n f .   T e c h no l ,   v o l .   7 ,   no .   4,   p .   1419 ,   20 17 ,  do i :   10. 1 8517 / i j a s e i t . 7 . 4 . 21 98 .     [ 17]   R o s t a m ,   N .   A.   P   a nd  N .   H.   A.   H .   M a l i m ,   " T e x t   c a t e g o r i s a t i o n  i n  Q ur a n  a nd  H a di t h:   O v e r c om i ng   t he   i nt e r r e l a t i o n   c ha l l e ng e s   u s i ng   m a c hi n e   l e a r n i ng   a nd  t e r m   w e i g ht i ng , "   J our nal   o f   K i ng  Saud  U ni v e r s i t y - C om pu t e r   an d   I nf or m a t i on  Sc i e nc e s ,   201 9 ,   do i :  10. 1016 / j . j ks uc i . 2 019 . 03 . 0 07 .     [ 18]   U l um ud i n ,   G ,   A .   A di w i j a y a ,   a n d  M .   M uba r o k.   " A   m ul t i l a b e l   c l a s s i f i c a t i o n  o n  t o pi c s   o f   qur ’ a ni c   v e r s e s   i n   E ng l i s h   t r a ns l a t i o n  u s i ng   K - N e a r e s t   N e i g hbo r   m e t ho d  w i t h   W e i g ht e d  T F - I D F , "   i n  J o ur n al   of   P hy s i c s :   C o nf e r e nc e   Se r i e s .  2019 .   I O P   P ub l i s h i ng ,  do i :   10. 108 8/ 1742 - 65 96/ 1192 / 1 / 01 2026 .     [ 19]   A de l e ke ,   A . ,   e t   a l . ,   " A   t w o - s t e p  f e a t u r e   s e l e c t i o n  m e t ho d  f o r   qur a ni c   t e xt   c l a s s i f i c a t i o n, "   I ndone s .   J .   E l e c t r .   E ng.   C om put .   Sc i . ,   v o l .   16 ,   no .   2 ,   p p .   730 - 73 6 ,   20 19 ,   do i :  10. 115 91 / i j e e c s . v 16. i 2 . pp 730 - 736 .     [ 20]   E l m i t w a l l y ,   N .   S   a nd  A .   A l s a y a t ,   " T he   M u l t i - C l a s s   C l a s s i f i c a t i o n  f o r   t h e   F i r s t   S i x  S u r a t s   o f   t he   H o l y   Q ur a n, "   I nt e r n at i on al   J our n al   o f   A dv anc e d  C om pu t e r   Sc i e nc e   and  A pp l i c at i ons ,   v o l .   11 ,   no .   1 ,   p p .   32 7 - 332 ,   2020 ,  do i :   10. 1 4569 / I J A C S A . 2020. 0 1101 41 .     [ 21]   Al - K ha i r ,   A .   A   a nd   M .   A .   K a bba n i ,   " Q u r a n   t e a c h e r   i n t o na t i o n, "   T he   T uni s i a n   C o m pa ny   f o r   D i s t r i bu t i o n,   2003 .   2003 ، عي ز و ت ل ل   ة ي س ن و ت ل ا   ة كر ش ل ا   ،   د ي و ج ت ل ا   م ل عم  فح ص م  ، ي ن ا ب قل ا   ي ب ر ع   د محم  ، ر ي خ ل ا   و ب أ   ي ل ع .    [ 22]   K he dhe r ,   M .   Z . ,   " M u l t i w o r d  c o r pus   o f   t he   H o l y   Q ur a n, "   I nt e r na t i on al   J ou r na l   on  I s l am i c   A pp l i c at i on s   i n  C om pu t e r   Sc i e nc e   A n d  T e c hno l ogy .  v o l .   5 ,   no .   1 ,   p p .   1 - 11 ,   2 017 .     [ 23]   K ho r s he e d,   M .   S .   a n d  A .   O .   A l - T hub a i t y ,   " C o m pa r a t i v e   e v a l ua t i o n  o f   t e xt   c l a s s i f i c a t i o n  t e c hni q ue s   us i ng   a   l a r g e   di v e r s e   A r a bi c   da t a s e t , "   L ang uage   r e s our c e s   and  e v a l ua t i o n ,   vo l .   47 ,   no .   2 ,   p p .   5 13 - 538 ,   201 3 ,   do i :  10. 1 007 / s 1 0579 - 01 3 - 9221 - 8 .     [ 24]   A l a bba s ,   W . ,   H .   M .   A l - K ha t e e b ,   a nd   A .   M a ns o ur .   " A r a b i c   t e x t   c l a s s i f i c a t i o n  m e t ho ds :   S y s t e m a t i c   l i t e r a t ur e   r e v i e w   o f   pr i m a r y   s t udi e s , "   i n  201 6  4 t h  I E E E   I nt e r n at i on al   C ol l oq ui um   on  I n f o r m at i o n  Sc i e nc e   and  T e c h nol ogy   ( C i St ) ,   I E E E .   2016 ,   do i :   10. 11 09/ C I S T . 201 6. 7805 072 .     [ 25]   L i u,   X . - Y ,   J .   W u,   a n d  Z . - H .   Z ho u,   " E x pl o r a t o r y   unde r s a m p l i ng   f or   c l a s s - i m ba l a nc e   l e a r ni ng , "   I E E E   T r a ns a c t i on s   on  Sy s t e m s ,   M an ,   an d  C y be r ne t i c s ,   P a r t   B   ( C y be r ne t i c s ) ,   vo l .   39 ,   no .   2 ,   p p .   539 - 550 ,   20 09 ,   do i :  10. 1 109 / T S M C B . 2 008 . 20 0785 3 .     [ 26]   C ha w l a ,   N .   V ,  e t   al . ,  " S M O T E :   s y n t he t i c   m i no r i t y   o v e r - s a m pl i n g   t e c hni que , "   J our n al   o f   ar t i f i c i a l   i n t e l l i ge nc e   r e s e ar c h .  v o l .   16 ,   p p .   32 1 - 357 ,   2 002 ,  do i :   10. 16 13/ j a i r . 9 53 .     [ 27]   T a ng ,   Y ,  e t   a l . ,   " S V M s   m o de l i ng   f o r   hi g hl y   i m ba l a nc e d  c l a s s i f i c a t i o n , "   I E E E   T r an s ac t i ons   on  S y s t e m s ,   M an ,   an d   C y be r ne t i c s ,   P a r t   B   ( C y be r ne t i c s ) ,   v o l .   39 ,   no .   1 ,   p p .   281 - 288 ,   200 9 ,  do i :   10. 110 9/ T S M C B . 20 08. 2002 909 .     [ 28]   P a t e l ,   H   a nd  G .   S .   T ha k ur ,   " C l a s s i f i c a t i o n  o f   i m ba l a nc e d  da t a   us i ng   a   m o di f i e d  f uz z y - ne i g hbo r   w e i g ht e d  a ppr o a c h, "   I nt e r n at i on al   J our n al   o f   I n t e l l i ge n t   E ng i ne e r i ng  an d  Sy s t e m s ,   v o l .   10 ,   no .   1 ,   p p .   56 - 64 ,   201 7 ,  do i :   10. 2 2266 / i j i e s 201 7. 0 228 . 07 .       Evaluation Warning : The document was created with Spire.PDF for Python.