I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 ,  Dec em b er   2 0 2 0 ,   p p .   6 6 2 9 ~ 6 6 4 3   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 6 . pp 6 6 2 9 - 6 6 4 3          6629       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   A  s y ste m a tic  r ev ie w  of  t ex t  cla ss ifi ca tion  r esea rch  b a sed o n   d eep  l ea rning   m o dels  in  A ra bic  l a n g ua g e       Ahla m   Wa hd a n 1 ,  Se nd ey a h  H a nto o bi 2 ,  Sa id A.   Sa llo u m 3 ,  K ha led Sha a la n 4   1 , 2, 3, 4 F a c u lt y   o f   En g in e e rin g   a n d   I T ,   T h e   Brit ish   Un iv e rsity   in   Du b a i,   Un it e d   A ra b   Em irate s   3 Re se a rc h   In stit u te o f   S c ien c e s a n d   En g i n e e rin g ,   Un iv e rsity   o f   S h a rjah ,  Un i ted   A ra b   Em irate s       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   A p r   10 ,   2 0 20   R ev i s ed   J u n   6 ,   2020   A cc ep ted   J u n   1 7 ,   2 0 2 0       C las sify in g   o r  c a teg o rizin g   te x ts  is  th e   p ro c e ss   b y   w h ich   d o c u m e n ts  a r e   c las si f ied   in to   g ro u p s  b y   su b jec t,   ti tl e ,   a u t h o r ,   e tc.  T h is  p a p e r  u n d e rtak e s   a   s y st e m a ti c   re v ie w  o f  th e   late st  re se a rc h   in   th e   f ield   o f   th e   c l a ss i f ica ti o n   o f  A ra b ic  te x ts.  S e v e ra l  m a c h in e   lea rn in g   tec h n i q u e s  c a n   b e   u se d   f o r  tex t   c las si f ica ti o n ,   b u t  w e   h a v e   f o c u se d   o n ly   o n   th e   re c e n t  tren d   o f   n e u ra l  n e tw o rk   a lg o rit h m s.  In   th is  p a p e r,   t h e   c o n c e p t  o f   c las sify in g   te x ts   a n d   c las sif i c a ti o n   p ro c e ss e s   a re   r e v ie we d .     De e p   lea rn in g   tec h n iq u e s  in   c las sif ica ti o n   a n d   it s  ty p e   a re   d isc u ss e d   in   th is  p a p e r  a s  w e ll .   N e u ra l  n e tw o rk s  o f  v a rio u s  ty p e s,   n a m e l y ,   RNN ,   CNN ,   F F NN ,   a n d   L S T M ,   a re   id e n ti f ied   a s  t h e   su b jec t  o f   stu d y .   T h ro u g h   sy ste m a ti c   stu d y ,   1 2   re se a rc h   p a p e rs  re late d   to   t h e   f ield   o f    th e   c las sif ica ti o n   o f   A ra b ic  tex ts  u sin g   n e u ra l  n e tw o rk s  a re   o b tai n e d :  f o r  e a c h   p a p e r  th e   m e th o d o lo g y   f o r  e a c h   ty p e   o f   n e u ra l  n e tw o rk   a n d   th e   a c c u ra c y   ra ti o n   f o r  e a c h   ty p e   is  d e ter m in e d .   T h e   e v a lu a ti o n   c rit e ria   u se d   in     th e   a lg o rit h m s  o f   d iffere n t  n e u ra l  n e tw o rk   t y p e s  a n d   h o w   th e y   p la y   a   larg e   ro le  in   th e   h ig h ly   a c c u ra te  c l a ss if ic a ti o n   o f   A r a b ic  tex ts  a re   d isc u ss e d .     Ou r  re su lt s  p ro v id e   so m e   f in d in g s  re g a rd in g   h o w   d e e p   lea rn in g   m o d e ls  can   b e   u se d   t o   im p ro v e   tex t  c las sif i c a t io n   re se a rc h   in   A ra b ic l a n g u a g e .     K ey w o r d s :   L ea r n i n g   m a n a g e m en t  s y s te m     Neu r al  n et w o r k   alg o r it h m s   S y s te m a tic  r ev ie w   T ex t  class if icatio n   V ir tu al  lear n in g   en v ir o n m e n t    Co p y rig h t  ©   2 0 2 0   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Said   A .   Sal lo u m ,     R esear ch   I n s ti tu te  o f   Scie n ce s   an d   E n g in ee r i n g ,   Un i v er s it y   o f   S h ar j ah ,   A ca d e m ic  cit y   R o ad ,   P .   O. B o x   2 7 2 7 2   Sh ar j ah ,  Un ited   A r ab   E m ir ates .   T el:  +9 7 1   6   5 5 8 5 0 0 0 ,  Fax : + 9 7 1   6   5 5 8 5 0 9 9   E m ail: s s allo u m @ s h ar j ah . ac . ae       1.   I NT RO D UCT I O N     T h e  class if icat io n   o f   te x ts   i s   a  m eth o d   o f   s ea r ch in g   f o r   d ata  an d   ex p lo r in g   t h e  d ata  a m o n g   lar g e  d ata  an d   clas s i f y i n g   t h e m   i n to   g r o u p s   f o r   ea s y   r e f er en ce   [1 - 5] .   I n ter n et   p ag es,  b o o k s   [ 6 ] ,   m a g az in e s ,   a n d   s o cia l   m ed ia  [7 - 2 0 ] ,   h a v e  b ec o m e  a  r ich   s o u r ce   o f   i n f o r m atio n   t h a t  n ee d s   to   b e  ca teg o r ized   an d   o r g an ized   f o r   ea s y   r ef er en ce   [ 2 1 - 25] .   T h er e  h as  b ee n   a  lo t  o f   r esear ch   in   t h i s   f ield ,   b u t  m o s t  o f   it  i n v o lv e s   th e  clas s i f icatio n   o f   E n g l is h   an d   Sp an is h   tex ts   an d   tex ts   i n   o th er   lan g u a g e s .   T h er e  is   a   lack   o f   r esear ch   in   A r ab ic  tex t  class i f icatio n ,   an d   th e  tech n iq u es  an d   al g o r ith m s   u s ed   o n   E n g l is h   tex t s   d o   n o t  f it  th e  A r a b ic  lan g u ag e  te x ts .   T h is   is   b ec au s e   th e   A r ab ic   lan g u ag e   h a s   ce r tai n   c h ar ac ter is tics   w h e r e   th e   s tr u ct u r e  o f   t h e  w o r d   i s   co n ce r n e d   [ 2 6 ] .   T h e  m ai n   ai m   o f   th is   s tu d y   w as  to   m a k e  r ev ie w i n g   A r ab ic  tex t  clas s i f icati o n   b ased   o n   n eu r a l   n et w o r k s .   So ,   th is   r esear c h   s u m m ar ized   th e  l is t  o f   n eu r al   n et w o r k   tech n iq u es  t h at  w e r e  u s ed   to   class i f y   A r ab ic  te x ts   a n d   d eter m i n ed   w h ic h   o n es   w er e  m o r e  ef f ic i en t  a n d   ac cu r ate.   Fi n d in g   t h e   g ap   in   t h e  c u r r en t  liter atu r e  w a s   a n o th er   i m p o r t an t  ai m .   I n   th i s   r esear c h ,   w e   f o c u s ed   m o r e  o n   th e   u s e  o f   n eu r al   n et w o r k s   in   th e  cla s s i f icatio n   o f   A r ab ic  t ex ts .   W e  d is c u s s ed   t h e  co n c ep t  o f   t h e  clas s i f i ca tio n   o f   t ex ts   f ir s t  alo n g s id e   th e  t y p e s   o f   cla s s i f icatio n   t h e n   w e  p r esen ted   t h e  to p ic  o f   n eu r al  n et w o r k s ,   t h eir   t y p es,  a n d   th e  cla s s i f icatio n   p r o ce s s es  f o r   th e   d if f er en t  t y p es.  T h r o u g h   s y s te m atic  r e v ie w ,   th e   r esear ch   q u e s tio n s   w er e  in i tiall y   id e n ti f ied ,   th en   t h e  r esear ch   s tr ate g y   w a s   d ev elo p ed   to   o b tain   th e  to p ics  m o r e  ac c u r atel y .   S u b s eq u e n tl y ,   q u alit y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 2 9   -   6 6 4 3   6630   ass es s m en t  cr iter ia  w er e  d ev elo p ed   to   ass ess   th e  q u ali t y   o f   th e  r ese ar c h   p ap er s   i n   o r d er   to   ex tr ac t   th e  i m p o r ta n t o n es.  I n   t h e  d is c u s s io n   s ec t io n ,   all  r esear ch   q u esti o n s   w er e  an s w er ed   in   d etai l.     I n   o r d er   to   ac h iev e  t h e  m ai n   a i m   o f   t h is   s t u d y ,   w e  d ef i n ed   o u r   r esear ch   q u es tio n s   as f o llo w s :   -   R Q1 :   W h ich   co r p o r a  w er e  m ain l y   u s ed   f o r   A r ab ic  tex t  cla s s i f icatio n ?   W er e   th e y   o p en   s o u r ce   o r   cr ea ted   b y   t h e  au th o r ?   -   R Q2 :    W h ich   co u n tr ie s   f o c u s e d   o n   p u b lis h i n g   r esear ch   o n   AT C ?   -   R Q3 :   W h ic h   d atab ases   h ad   m o r e  p u b licatio n s ?   -   R Q4 :   Du r i n g   w h ic h   y ea r s   w as   th er e  m o r e  f o cu s   o n   A T C ?   -   R Q5 :   W h at  w er e  th e  t y p es  o f   n eu r al  n et w o r k   alg o r it h m s   u s ed   to   class if y   A r ab ic  tex ts ?   An d   w h ic h   o n e   w a s   m o s t u s ed ?   -   R Q6 :   W h at  w er e  th e  e f f icie n c y   m ea s u r e s   u s ed ?     -   R Q7 :   Did   th e  au t h o r   co m p ar e  NN  w it h   o th er   tech n iq u e s ?   An d   w h ic h   o n es  w er e  th e  m o s t  f r eq u en t l y   co m p ar ed   w it h   NN?   -   R Q8 :   W h ic h   t y p e  o f   n eu r al  n e t w o r k   al g o r ith m   p r o v ed   m o s t  ef f icien t?       2.   L I T E R AT U RE   R E VI E W   2 . 1 .     Def ini t io n o f   T C   T h e  tex t  cla s s i f icat io n   p r o ce s s   is   t h e  p r o ce s s   o f   a u to m ati n g   a  s et  o f   d o cu m en ts   in to   s p ec if ic  g r o u p s   b ased   o n   th e  co n ten t  o f   t h e  tex t  its el f   t h r o u g h   th e  u s e  o f   ce r tain   tech n o lo g ie s   an d   alg o r ith m s   [ 2 4 ,   2 7 - 3 0 ] .   E lh as s an   a n d   Ah m ed   [ 3 0 ]   al s o   d ef in ed   th e  cla s s i f icatio n   o f   tex t s   as  a  m et h o d   o f   s ea r ch in g   f o r   d ata  an d   ex p lo r in g   t h e m   a m o n g   lar g e  d ata  an d   cla s s i f y in g   th e m   i n t o   g r o u p s   f o r   ea s y   r ef er e n ce .   A cc o r d in g   to   [ 3 1 ] ,   th e  clas s i f icatio n   o f   te x ts   w a s   d ef i n ed   as  t h e  p r o ce s s   o f   o r g an izi n g   d o c u m en t s   ac co r d in g   to   a  k n o w n   a n d   p r e - ex is tin g   s tr u ct u r e  o f   s p ec if ic  ca te g o r ies  th a t  s u ited   th i s   t y p e  o f   te x t.  Ot h er s   m e n tio n ed   th at  t h er e  w as   a  s li g h t  d i f f er e n ce   b et w ee n   te x t  ca te g o r izatio n   an d   cla s s i f ic atio n .   W h er ea s   th e   ca te g o r izatio n   o f   tex ts   e n taile d   so r tin g   th e m   ac co r d in g   to   th e ir   co n ten t,  t h eir   clas s i f icatio n   p lace d   th e m   i n   ce r tai n   g r o u p s   th at  s u ited   t h ei r   co n ten t  ac co r d in g   to   a u t h o r ,   s u b j ec t,  titl e,   lan g u ag e,   a n d   o th er   clas s i f icatio n s   [ 3 2 ] .   Sp ec ialized   r esear ch   o n   th e  cla s s i f icatio n   o f   tex ts   h as  in cr e ased   s i g n i f ican tl y   d u e  to   th e  e n o r m o u s   d ata  a v ailab le  f r o m   m a n y   s o u r ce s ,   in cl u d in g   I n ter n e t  p ag es,  e - m ail  m es s ag e s ,   n e w s   p ag e s ,   tex ts   cir cu lated   th r o u g h   s o cial  m ed ia,   r ep o r ts ,   an d   j o u r n al  ar ticles.  T h er ef o r e,   th is   r esear ch   f o cu s ed   atten tio n   i n   o r d er   to   m a k e  th e  b est  p o s s ib le  u s e  o f   all  th e s e  d ata  an d   class i f y   t h e m   [ 3 3 ] .     2 . 2 .     Ara bic  t ex t   cla s s if ica t io n      A r ab ic  is   o n e  o f   t h e  s i x   p r im ar y   lan g u ag e s   w o r ld w id e.   I t s   u s e  i s   s p r ea d   ac r o s s   m a n y   c o u n tr ies   i n     th e  w o r ld ,   an d   it  is   t h e  b asi s   o f   th e   A r ab   w o r ld ,   b u t   s o m e   I s la m ic  co u n tr ies  a ls o   u s e  t h e  A r ab ic  la n g u a g e  a s   th eir   p r i m ar y   la n g u a g e  b ec au s e  it  i s   t h e  la n g u a g e  o f   t h e  Q u r ' a n .   T h e  A r ab ic  la n g u a g e  c o n s is ts   o f   2 8   letter s ,   in cl u d in g   h a m za s   a n d   el m o d o d .   E ac h   letter   h as  ce r tain   s tr u ctu r es  t h at  d ep en d   o n   th e  p o s i tio n   o f   th e  le tter   in   th e  w h o le,   t h at   is ,   w h et h er   i t   is   a t  t h e  b e g in n i n g   o f   t h e  wo r d ,   in   th e   m id d le  o f   th e   w o r d ,   o r   at  th e   en d   o f     th e  w o r d   [ 3 4 ] .   T h er e  ar e  n o   u p p er -   an d   lo w er - ca s e   let ter s   i n   A r ab ic  u n li k e  E n g li s h   o r   o t h er   lan g u ag e s   [ 3 1 ] .  T h e  m o r p h o lo g y   o f   th e  A r ab i c  lan g u a g e  is   n o t  ea s y ;  it  m a y   b e  co m p licated   as  i t  h a s   r ad ical  w o r d s ,   p r ef i x es,   an d   s u f f ix e s ;  m o r eo v er ,   u n li k e  th o s e  in   o th er   lan g u ag e s ,   its   w o r d s   d o   n o t  co n s is t  o f   s eq u en t ial  f o r m s   as  its   w o r d   s tr u c tu r es   ar e  co m p let el y   d i f f er e n t  a n d   d ep en d   o n   p o s itio n   in   th e   s e n ten ce   an d   m ea n i n g   [ 3 1 ] .    As  m e n tio n ed   ab o v e,   th e  cla s s if ica tio n   o f   tex t s   h as  b ec o m e  w id esp r ea d ,   an d   m o s t  o f   t h e  r esear ch   in c lu d es     th e  class if icatio n   o f   o th er   la n g u a g es,  s u c h   as  E n g lis h .   L ittl e  o f   th e  r esear ch   o n   th e  clas s i f icatio n   o f   tex t s   h as   f o cu s ed   o n   A r ab ic.   Ma n y   tec h n iq u es  an d   alg o r it h m s   h a v e  b ee n   cr ea ted   to   class if y   E n g l is h   te x ts ,   an d   th e y   g iv e   e x ce lle n t  r es u lt s   a n d   h i g h   ac c u r ac y   d u e   to   t h e  n at u r e  o f   t h e  la n g u a g e,   letter s ,   a n d   w o r d s .   B u t   w h en   it   co m e s   to   t h e  A r ab ic  la n g u a g e,   th e   ap p licati o n   o f   th e s e  al g o r i th m s   d o es  n o t   g iv e   s i m ilar   ac c u r ac y   an d   v alid it y   in   cla s s i f icat io n .   T h er ef o r e,   ap p r o p r iate  alg o r ith m s   h av e   b ee n   cr ea ted   to   s y n t h esize   wo r d s   in   t h e   A r ab ic  lan g u a g e,   b u t t h e y   h av e  n o t  y e t d em o n s tr ated   f u l l y   r eliab le  m er it f o r   t h e  class if ica tio n   p r o ce s s   [ 3 4 ] .     2 . 3 .    Cla s s if ica t io n t ec hn iqu e     T h er e  ar e  t w o   b asic  m et h o d s   o f   cla s s i f y in g   tex t s .   O n e  i s   t h e  g r a m m ar   o r   li n g u i s tic  b a s e d   m et h o d ,   w h ic h   d ep en d s   o n   p r ep ar in g   ce r tain   r u les   an d   o p er atin g   th e m   i n   s o m e   e x p er t  s y s te m s   i n   o r d er   to   clas s i f y     th e  te x t s .   T h e  s ec o n d   m et h o d   is   t h e  p r o ce s s   o f   f ee d in g   t h e  t ex t  e x tr ap o latio n   p r o ce s s   w it h   a  s et   o f   d o cu m e n ts   ca lled   tr ain in g   d o cu m en ts   t h at  h a v e  p r ev io u s l y   b ee n   c lass i f ied   ac co r d in g   to   s p ec i f ic   ca teg o r ies  [ 3 0 ] .    B elo w   ar e  th e  ex p la n atio n s   o f   th e  t w o   m et h o d s .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la m  W a h d a n )   6631   2 . 3 . 1.     M a nu a l a nd   s t a t is t ica l   t ec hn iqu e s     Ma n u al  tex t  c lass if ica tio n   ( T C )   is   d o n e  b y   w r i tin g   s p ec i f ic  q u er ie s   m a n u all y   f o r   ea ch   ca teg o r y ,     f o r   ex a m p le  s p o r ts ,   n u tr itio n ,   clo th in g ,   an d   h ea lt h .   T h en   th e  tex t  en ter ed   w it h i n   a  s p ec if ic  s ea r ch   en g in e  is   ca teg o r ized   b ased   o n   th e   p r ed ef i n ed   q u er ies.   Ho w ev er ,   t h i s   m et h o d   w o r k s   o n   s m all  te x t s ,   n o t o n   lar g e   o n es   o r   o n   m a n y   d o cu m e n t s .   T h e  ac cu r ac y   o f   th i s   ap p r o ac h   to   class i f icatio n   d ep en d s   o n   t h e  v a l id it y   o f   q u ir es  a n d     th e  s k il l  b eh i n d   t h e  q u er y   d esig n .   E x p er t  s y s te m s   h a v e  b ee n   cr ea ted   th at   p r ep ar e  r u les  an d   in q u ir ies.     An   ex a m p le  is   C o n s tr u e - T I S,  th e  o n e  cr ea ted   f o r   R eu ter s   Ne w s ,   w h ic h   w a s   ab le  to   ap p ly   6 7 4   ca teg o r ies  an d   to   g et   to   k n o w   m o r e  t h a n   1 7 0 , 0 0 0   co m p an ie s   [ 3 2 ] .   T h is   cla s s if ica tio n   w as   n o t   b ased   o n   in d iv id u al   w o r d s   b u t   o n   co n ce p ts   g r ad ed   f r o m   th e   ac tu al  te x t  a s   s h o w n   i n   Fi g u r e   1 .   T ec h n iq u es  w h ic h   r el y   o n   m at h e m a tical  r u les  an d   p r in cip les  ar e  also   ca lled   s tatis t ical  tex t  cla s s i f icat io n .   T h ese  tech n iq u es  ar e  s u itab le  f o r   s m all  d ata,   s u ch   as “ Fre q u en t is t  p r o ce d u r es,  B ay esia n   p r o ce d u r es,  an d   th e  B i n ar y   a n d   m u lticla s s   p r o ce d u r es”  [ 3 4 ] .           Fig u r e  1 .   T h e  r u le  o f   th e  ca teg o r y   Au s tr alia n   Do llar       2 . 3 . 2.     M a chine le a rning   t ec hn iq ues     Du e  to   th e  lar g e  a m o u n ts   o f   in f o r m at io n   d u r in g   th e  p ast  t w o   d ec ad es,  th er e  em er g ed   a  n ee d   f o r   tech n ical  m et h o d s   o f   clas s i f y i n g   h u g e  te x ts   as  s tatis tical  an d   m a n u al  m et h o d s   h ad   n e v er   b ec o m e  u s ele s s   i n   th is   f ie ld   [ 3 5 - 48] .   T h er ef o r e,   m ac h in e  lear n i n g   c lass if i ca t io n   tech n iq u es  ap p ea r ed   w h i ch   ai m   to   clas s if y   u n s tr u ct u r ed   tex t s   an d   d o cu m en ts   b ased   o n   ce r tain   al g o r ith m s   d esi g n ed   f o r   th is   p u r p o s e.   Ma ch in e  lear n i n g   tech n iq u es   ca n   b e  d i v id ed   in to   g r o u p s   as   s h o w n   in   Fi g u r e  2   [ 3 4 ] .   I n   th e  Su p er v is ed   L ea r n i n g   tec h n iq u e,   d if f er e n t  d ata  ar e  r ec o g n ized ,   w h et h er   v i s u al,   a u d io ,   o r   tex t.   T h e  d ata  ar e  co m p ar ed   w it h   th e  ex p ec ted   id ea l  d ata  o r   r esu lt s   t h r o u g h   a  p r o ce s s   ca l led   b ac k p r o p ag atio n   in   w h ic h   t h e  d ata  ar e   d ir ec ted   f r o m   t h e  o u tp u t  la y er s   to   th e  in p u t  la y er s   an d   er r o r s   ar e  co r r ec ted   an d   m i n i m iz ed   to   ac h iev e  b etter   ac cu r ac y .   I n   U n s u p er v is ed   L ea r n i n g ,   t h e  lear n i n g   p r o ce s s   tak e s   p lace   d u r i n g   t h e  p r o ce s s in g .   T h er e  ar e  n o   p r ev io u s   d ata  f o r   co m p ar i s o n   as  th e   n et w o r k   an a l y ze s   t h e  d ata  an d   p r o ce s s es  t h e m ;  t h e n ,   b u ild s   a  f u n ctio n   to   d eter m i n e   th e  er r o r   r ate  an d   r ed u ce   it  to   o b tain   h i g h   ac c u r ac y .   T h e  Se m i - Su p er v is ed   lea r n in g   tec h n iq u e  i s   a  co m b i n at io n   o f   t h e  p r ev io u s   t w o   tec h n iq u e s .   R e s ea r ch er s   s a w   t h at  t h er e  w as   litt le   u n n a m ed   d ata  th at   co u ld   co n tr i b u te  to   i m p r o v in g     th e  ac cu r ac y   o f   t h e  lear n i n g   p r o ce s s   th at  to o k   p lace   d u r in g   t h e  d ata  cla s s i f icatio n   s tag e.   So ,   a  s m al l   p er ce n tag e  o f   t h e  d ata  w a s   u s e d   in   Se m i - Su p er v i s ed   lear n i n g .           Fig u r e  2 .   Ma ch in e  l ea r n i n g   t e ch n iq u es   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 2 9   -   6 6 4 3   6632   2 . 4 .    Neura l n et w o rk     A l g o r ith m s   o f   n e u r al  n et w o r k s   g iv e  v er y   ac c u r ate  r esu lt s   in   th e  ar ea   o f   N L P   an d   s u p p o r t  d ee p   lear n in g   v er y   s i g n if ican tl y   as  th e y   s o lv e  s o m e  er r o r s   an d   p r o b lem s   r elate d   to   th e  v ar ian c e  o f   d ata  r esu ltin g   f r o m   t h e  p r o ce s s   o f   d ee p   lear n in g   [ 3 6 - 39] .   Neu r al  n et w o r k s   ar e  u s ed   i n   t h e  clas s i f icatio n   o f   te x t s   to   ad d r ess   lin ea r   an d   n o n - li n ea r   p r o b lem s .   T h e  b ac k p r o p ag atio n   m o d el  class if ies  tex t s   u s in g   n e u r al  n et w o r k s   b y   m ea n s   o f   a  g r o u p   o f   n o d es  t h at  f o r m   an d   r ep r esen t  a   m ath e m atica l   m o d el  o f   b io lo g ical  n er v e s .   No   in te r f er en ce   a n d   s elf - lear n in g   a f f ec t  th e s e  n eu r al  n et w o r k s   a s   t h e y   ar e  u s ed   t o   id en ti f y   s y s te m s   an d   p atter n s   an d   to   class if y   te x t   an d   i m a g e  p r o ce s s in g   [ 4 0 ] .   Ma n y   co n s id er   n eu r al  n e t w o r k s   to   b e  u n its   th at  ar e  co n n ec ted   to   ea ch   o th er   an d   in ter t w i n ed   s i m ilar l y   t o   th e  d y n as ticit y   o f   th e  n e u r o n .   I n   ad d itio n ,   th r o u g h   t h is   p r o ce s s   o f   en ta n g le m en t,     th e  i n p u ts   ar e   m ad e  a n d   t h e  o th er   n eu r o n   allo w s   t h e  e x it  o f   th e   tr an s m itted   o u tp u ts .   T h e  d esig n   o f   A NN   is   s i m ilar   in   s tr u ctu r e  to   th at  o f   th e  b r ain   an d   its   n e u r al  n et wo r k .   A ll  t y p e s   o f   s ab o tag e  o f   th e  n e u r al  n et w o r k   h av e   a  b asic  p r i n cip le,   w h ich   is   t h at  e v er y   n e u r o n   i n   t h e  n et w o r k   r ec eiv es   i n p u ts ,   p r o ce s s es  th e m ,   a n d   s e n d s   o u tp u ts .   E ac h   n e u r o n   is   lin k ed   to   at  lea s t o n e  n eu r o n ,   an d   ea ch   co n n ec tio n   o r   as s o ciatio n   h as a   s p ec if ic   d ig i tal   w ei g h t  ca lled   t h e  w e ig h t  f ac to r ,   w h ich   w o r k s   to   r ef lect   t h e  i m p o r tan ce   o f   t h e  co m m u n ica tio n   b et w ee n   n eu r o n s   i n   th e  n et w o r k   [ 4 1 ] .   So m e  p o p u lar   p r i m ar y   t y p es o f   n eu r al  n et w o r k s   f o llo w .       2 . 4 . 1.   F ee dfo r w a rd  neura l net w o rk   ( F NN)     I t  is   a  n eu r al  n et w o r k   w h o s e  ce lls   ar e  lin ea r l y   co n n ec ted   to   ea ch   o th er   an d   d o   n o t  r e p r esen t  a  c y cle   lik e  an y   o th er   n e u r al  n e t w o r k .   T h e  s in g le  la y er   p er ce p tr o n   ( SL P )   is   th e  s i m p les t  f o r m   o f   t h is   t y p e  o f   n eu r al  n et w o r k   s in ce   t h e  in p u ts   ar e  d ir ec tly   r elate d   to   th e  o u tp u t.  I n   t h e  S L P ,   th e  i n p u ts   g o   th r o u g h   s ev er al   la y er s   o f   tr a n s f o r m atio n ,   s o   t h e y   ar e  co n s id er ed   v er y   s u ita b le  f o r   ca teg o r izin g   tex t s   [ 4 2 ] .   T h e  s tr u ct u r e  o f   th e  f ee d f o r w ar d   n e u r al  n e t w o r k   is   s h o w n   in   F ig u r e  3 .           Fig u r e  3 .   FNN       2 . 4 . 2.   Co nv o lutio na l  neura l  net w o rk   ( CNN)     C o n v o l u tio n al  n eu r al   n et w o r k s   ar e  in s p ir ed   b y   t h e  m u lti - l a y er   p er ce p tr o n   ( ML P )   an d   ar e  d esig n ed   to   ex tr ac t  t h e  s p atial  s tr u ct u r e   in   i m a g e  d ata  an d   t h e  p o s itio n s   o f   o b j ec ts   th at  ca n   b e  u s ed   in   t h e  i m a g e  [ 4 3 ] .  T h e  s a m e   p r i n cip le  a n d   id ea   w er e   u s ed   to   clas s i f y   te x ts   an d   o n e - d i m e n s io n al  w o r d s ,   an d   t h is   w as  d o n e   th r o u g h   in ter ac tio n   w i th   n e ig h b o r in g   n eu r o n s .   I ts   n a m e  is   “ c o n v o l u tio n al”   d u e  to   f o ld i n g   p r o ce s s   th a t  o cc u r s   b et w ee n   n e u r o n s   d u r i n g   t h e  class i f icatio n   p r o ce s s .   T h e  s tr u ctu r e  o f   t h e  co n v o l u tio n a l  n eu r al  n et w o r k   is   s h o w n   in   F ig u r e  4 .           Fig u r e  4 .   C NN       2 . 4 . 3.   Rec urre nt  neura l net wo rk   ( RNN)     T h e  s tr u ctu r e  i n   th is   t y p e  o f   n et w o r k   i s   d o n e  co n ti n u o u s l y   an d   s eq u en t iall y   s i n ce   t h e  o u tp u ts   o f     th e  p r ev io u s   s ta g e  ar e  th e  i n p u ts   o f   th e  n e x t  s ta g e.   B y   co n t r ast,  w i th   tr ad itio n al  n e u r al  n et w o r k s ,   th e  in p u ts   an d   o u tp u ts   ar e   s ep ar ate  u n i t s   f r o m   ea c h   o t h er .   So m e ti m es  t h er e  is   a  n e ed   to   p r ed ict  th e   d esire d   w o r d ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la m  W a h d a n )   6633   an d   th er e f o r e,   th e  n ee d   d ev e lo p s   to   r ef er   to   th e  w o r d s   p r io r   to   th e  r ev ie w ,   a n d   th is   is   w h a t  r ec u r r en t   n eu r al  n et w o r k s   d o .   A   h id d en   la y er   h a s   b ee n   u s ed   to   h elp   w it h   th i s   t y p e  o f   n et w o r k   an d   to   co m p lete   th e  p r o ce s s   [ 4 4 ] .   A n   ex a m p le  o f   a  f r eq u e n t n e u r al  n et w o r k   i s   s h o w n   i n   Fi g u r e  5 .           Fig u r e  5 .   R NN       2 . 4 . 4.   L o ng   s ho rt - t er m   m e mo ry   ( L ST M )     L ST M  ar e  lo n g   s h o r t - ter m   m e m o r y   n et w o r k s   as   th e y   a r e  a  s p ec if ic  r ec u r r en t  n eu r a l  n et w o r k   s tr u ct u r e  ( R NN)   d esi g n ed   f o r   u s e   i n   m o d elin g   lo n g - r a n g e  ti m e  s er ie s   t h at   ar e  o b s er v ed   to   o p er ate  m o r e   p r ec is el y   t h a n   R NN.   T h e  n eu r o n s   o f   t h is   n et w o r k   a r e  m ad e  u p   o f   u n its   t h at  ar e  g ates ; i n   t h is   w a y ,   t h e  n et w o r k   ca n   co n tr o l  t h e  f lo w   o f   t h e  i n p u ts   t h at  lead   to   t h e  f i n al  o u t p u t.  T h u s ,   o n l y   a  f e w   in p u ts   m a y   p ar ticip ate  i n     th e  o u tp u t,  s o   th e   er r o r   r ate  is   r ed u ce d   [ 4 5 ] .   L ST M  co n tai n s   u n i ts   ca lled   m e m o r y   b lo c k s ,   a n d   th e y   ar e  lo ca ted   in   th e  h id d en   la y er .   T h ese  b lo ck s   h a v e  s el f - co n n ec tio n s   i n   m e m o r y   ce lls   t h at  r ec o r d   th e  ti m e  s tat u s   o f     th e  n e t w o r k   d u r i n g   t h e  w o r k .   T h ey   al s o   co n tai n   u n it s   ca lle d   g ates  t h at  co n tr ib u te  to   co n tr o llin g   t h e  f lo w   o f   in p u t s   an d   o u tp u t s .   T h eir   in p u t  g ates  co n tr o l  th e  ac tiv a tio n   p r o ce s s   f o r   en ter in g   in f o r m atio n   in to   th e  m e m o r y .   As  f o r   t h e  o u tp u t  p o r t,  it  co n t r o ls   th e  o u tp u t  a f ter   th e  ac t iv a tio n   p r o ce s s ,   w h ic h   ta k es  p lac e  at  th e  e n tr y   g ate.   A  p o r tal  ca lled   t h e  f o r g et   g at e,   w h ic h   ad d r ess e s   t h e  w ea k n es s   o f   L ST M  in   d eter m i n i n g   f lo w s   f o r   s p ec if ic   u n i ts ,   h a s   also   b ee n   ad d ed   [ 4 6 ] .   Fig u r e   6   s h o w s   th e  s tr u ct u r e  o f   L ST M  R NN.           Fig u r e  6 .   L ST M       2 . 5 .    Ara bic Tex t   cla s s if ica t io n pro ce s s     T h er e  ar e   th r ee   m a in   s ta g e s   in   th e  clas s i f icatio n   o f   tex t s ,   wh ich   b ased   o n   t h e  t y p e  o f   n e u r al  n et w o r k   u s ed   as s h o w n   i n   Fi g u r e   7 .           Fig u r e  7 .    A r ab ic  t ex t  c la s s i f ic atio n   p r o ce s s     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 2 9   -   6 6 4 3   6634   2 . 5 . 1.   Da t a   pre - pro ce s s ing     A t   th is   s ta g e,   t h e  w o r d   i s   f il ter ed   an d   r etu r n ed   to   i ts   o r ig in al  r o o t  b y   r e m o v i n g   all   th e   ch a n g in g   p o lices  r elate d   to   th e  w h o le,   f o r   in s tan ce ,   h a m za h ,   T a  Ma r b o u ta  (   “   ة ”  ) ,   tash k ee l  f r o m   all  t h e  w o r d s ,   n u m b er s ,   an d   p u n c tu at io n   m a r k s .   Als o ,   th e  w o r d s   t h at  l i n k   w o r d s ,   s u c h   as  ( “   كل ذ ل   ،   ل   ة ب س ن ل ا ب ”) ,   ar e  r em o v ed .     P r ef ix es  a n d   s u f f i x es  ar e  also   r e m o v ed ,   an d   all  w o r d s   o f   th e   s a m e  r o o t  ar e  g r o u p ed .   T h is   s tag e  ai m s   to   g i v e  p r ec is io n   to   th e  class i f icatio n   p r o ce s s   an d   s av e  ti m e  [ 3 4 ] .   A f ter   r e m o v i n g   all  o f   th e  ap p en d ag es,  th e  w o r d   is   r etu r n e d   to   th e  r o o t  b y   t h r e e  m et h o d s :   “ th e  r o o t - b a s ed   s te m m er ,   t h e  li g h t  s te m m er ,   an d   th e  s tati s tical   s te m m er . ”  T h en   t h e  d o cu m e n t   is   class i f ied   b ased   o n   th e  v ec t o r s   f o r   ea ch   d o cu m e n t  [ 3 0 ] .     2 . 5 . 2.   T ex t   cla s s if ica t io n     T h e  tr ain in g   p h a s e  ta k es  p la ce   h er e;  a  s p ec if ic   alg o r it h m   is   ap p lied   to   th e   w o r d s   o b tain ed   f r o m     th e  p r ev io u s   s tag e   in   o r d er   to   co m p lete   th e   clas s i f icatio n   p r o ce s s .   Se v er al  co m p ar is o n s   ca n   also   b e  m ad e  h er e   b y   u s in g   a  d i f f er en t  al g o r it h m   to   clas s i f y   th e   tex t  an d   t h e n   ch o o s i n g   t h e  b est  i n   ter m s   o f   p er f o r m a n ce   an d     th e  r esu lt o f   ac c u r ac y   i n   class i f icatio n   [ 3 0 ] .     2 . 5 . 3.   E v a lua t io n     Af ter w ar d s ,   an d   at  th is   s ta g e,   th e  ef f ec tiv e n es s   o f   class if ica tio n   is   ev al u ated ;  s ev er al  tec h n iq u e s   ar e  u s ed ,   b u t  th e  m o s t  f a m o u s   an d   f r eq u e n tl y   u s ed   o n e  i n   t h e  class if icatio n   o f   te x t s   is   “ F1 ,   p r ec is io n   a n d   r ec all”  [ 3 0 ] .       3.   RE S E ARCH   M E T H O D   Fig u r e  8   d em o n s tr ate s   th e  k e y   p h ase s   w e  f o llo w ed .   Gen er all y ,   r esear ch   q u e s tio n s   w er e  id en tif ied   th en   w e  id en ti f ied   t h e  s ea r ch   s tr ateg y   a n d   th e  k e y w o r d s   w e  u s ed   in   o u r   r esear ch .   S u b s eq u en tl y ,   w e  id en ti f ied   th e  q u ali t y   a s s es s m en t  q u esti o n s .   Af ter   th a t,  ex tr ac tio n   o f   t h e  p ap er s   o cc u r r ed .   I n   th e  last   s tep ,   w e  d id   cr itical   an al y s is   o f   th e  c h o s e n   p ap er s .           Fig u r e  8 .    S y s te m atic  r e v ie w   m et h o d o d lo y       3 . 1 .    Da t a   s o urce   T h is   s tu d y   h as  b eg u n   i n   J an u ar y   2 0 2 0 ,   an d   w e  in c lu d ed   m o s t  r esear ch es  f r o m   2 0 1 6   to   2 0 1 9   an d   s o m e  r esear ch e s   b ef o r e  t h at  p er io d .   T h e  d atab ases   w e  u s ed   f o llo w :  I E E E ,   Scien ce   Dir ec t,  Sp r in g er ,   AC M.   T h e  Fig u r e  9   s h o w s   th e  d ata  s o u r ce   an d   th e  n u m b er   o f   ar ticl es th at  w er e  u s ed .           Fig u r e  9 .   Data   s o u r ce       3 . 2 .    Sea rc h str a t eg y   T h e  k e y w o r d s   w e  u s ed   to   co ll ec t a ll th e  p r ev io u s   s t u d ies  f o ll o w :   -   “A r ab ic  tex t”  an d   “ clas s if icati o n ”  an d   “n e u r al  n et w o r k s ”   -   “A r ab ic  tex t”  an d   “ clas s if icati o n ”  an d   “ d ee p   lear n i n g ”   -   “A r ab ic  s cr ip t”  an d   “ clas s i f ica tio n ”  an d   “ d ee p   lear n in g ”   -   “A r ab ic  s cr ip t”  an d   “ ta g g i n g ”  an d   “ d ee p   lear n i ng”   -   “A r ab ic  s cr ip t”  an d   “ ca teg o r iz atio n ”  an d   “ d ee p   lear n in g ”   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la m  W a h d a n )   6635   3 . 3 .    I nclus io n c rit er ia   I n   th e  s elec tio n   cr iter ia  s tep ,   in cl u s io n   an d   e x cl u s io n   cr iter ia  w er e  s et  to   en s u r e  th at  th e   r esear ch   in cl u d ed   in   th i s   s t u d y   w a s   v al u ab le  an d   r elev a n t a n d   w o u ld   lead   u s   t o   o u r   m ai n   ai m .       3 . 3 . 1.   E x clu s io n  cr it er ia   -   Mu s t b e  a  tex t c la s s i f ica tio n   s t u d y   -   Mu s t b e  f o r   A r ab ic  tex t c la s s i f icatio n   o n l y   -   Mu s t  u s e  n eu r al  n et w o r k   f o r   tex t c las s i f icatio n   -   Mu s t r ep o r t th e  m o d el  an d   it s   p er f o r m a n ce   m ea s u r es,  f o r   in s tan ce ,   ac cu r ac y   o r   an o t h er   m et r ic   -   Mu s t a d d r ess   s u m m ar y   f o r   th e   co r p u s   u s ed .     3 . 3 . 2.   Select io n c rit er ia   -   P ap er s   n o t f o r   A r ab ic  tex t c las s if ica tio n   -   P ap er   d id n ’ t a d d r ess   th e  ac c u r ac y     -   P ap er   h ad   n o t b ee n   p u b lis h ed   in   j o u r n al  o r   co n f er en ce   -   P ap er   d id   n o t u s e  NN     3 . 4 .    Q ua lity   a s s ess m ent   I n   th i s   p ar t,  w e  d esig n ed   q u alit y   as s es s m e n t  q u e s tio n s   to   m ak e  a  ch ec k li s t  f o r   th e  r e s ea r ch   an d   en s u r e  th at  it  w o u ld   s ati s f y   t h e   ai m   o f   t h is   s y s te m atic  r ev ie w .   B elo w   ar e  t h e  q u est io n s .   Q1 : W as th e  co r p u s   id en ti f ied   an d   d escr ib ed   w ell?   Q2 : W as th e   co r p u s   id en ti f ied   w ell  r e g ar d in g   th e  e x te n t o f   tr ain i n g   a n d   test i n g ?   Q3 : W er e  th e  tex t c las s if icatio n   ( m o d el  / f r a m e w o r k )   s tep s   d escr ib ed   clea r ly ?   Q4 : D id   th e  au t h o r   m a k e  co m p ar is o n s   w it h   tech n iq u es o th er   th an   t h e  NN  h e  u s ed ?   Q5 : W as th e  p er f o r m an ce   o f   t h e  m o d el  id en ti f ied   clea r l y ?   Scale:  A  th r ee - p o in t   s ca le   w as   u s ed   in   t h is   ass e s s m e n t.    I f   th e  p ap er   ad d r ess ed   th e  q u e s tio n   e x ac tl y ,   it  w o u ld   b e  g r ad ed   1 ,   an d   if   it  d id   n o t  ad d r ess   it,  it  w o u ld   b e  g r ad ed   0 ,   b u t  if   it  an s w er ed   th e  q u e s tio n   p ar tiall y ,   it  w o u l d   b e  g r ad ed   0 . 5 .     T ab le  1   s h o w s   t h e  r es u l t  o f   ev al u ati n g   t h e  r esear ch   u s in g   t h e  d esi g n ed   ass es s m en t q u esti o n s .         T ab le  1 .   Qu alit y   as s ess m e n t e v alu a tio n   S t u d y   Q1   Q2   Q3   Q4   Q5   T o t a l   P e r c e n t a g e   S1   1   1   1   1   0   4   8 0 %   S2   1   1   1   1   0 . 4   4 . 5   9 0 %   S3   1   1   1   1   1   5   1 0 0 %   S4   1   1   1   1   1   5   1 0 0 %   S5   1   1   1   1   1   5   1 0 0 %   S6   1   1   0 . 5   1   1   4 . 5   9 0 %   S7   1   1   1   0   1   4   8 0 %   S8   1   1   1   1   1   5   1 0 0 %   S9   1   1   1   1   1   5   1 0 0 %   S 1 0   1   0 . 5   1   0   1   3 . 5   7 0 %   S 1 1   1   0 . 5   1   1   0   3 . 5   7 0 %   S 1 2   1   1   0 . 5   1   1   4 . 5   9 0 %       4.   RE SU L T S  A ND  D I SCU SS I O N   a.   R Q1 :   W h ic h   co r p o r a  w er e  m a in l y   u s ed   f o r   A r ab ic  tex t  class if icatio n ?   W er e  th ey   o p en   s o u r ce   o r   cr e ated   b y   t h e  au th o r ?   Fro m   th e  g r ap h   s h o w n   i n   Fi g u r e  01 ,   it  is   clea r   th at  th e  d o cu m e n t s   th at  w er e  u s ed   in   t h e  p r o ce s s   o f   class i f y in g   t h e  A r ab ic  tex t s   wer e  m o s t l y   o p en   s o u r ce   an d   n e w s   s ites   w i th   4   s o u r ce s   in   ea ch   ca s e.   So m e  also   u s ed   b o o k s :  t w o   r esear ch   p ap er s   ap p lied   th e  clas s i f icati o n   p r o ce s s   to   u s ed   b o o k s .   On e  r esear c h   p ap er   class i f ied   g u es t  r ev ie w s   o f   a  h o tel,   w h ich   co u ld   b e  co n s id er ed   to   n o t  b e  an   o p en   s o u r ce .   T h at  is ,   th e  n u m b er   o f   o p en   s o u r ce   r eso u r ce s   i n   t h e  r esear ch   p ap er s   u n d er   s tu d y   w a s   1 1 ,   an d   t h e  n u m b er   o f   n o n - o p en   s o u r ce   o n es   w a s   o n l y   o n e  as s h o w n   i n   T ab le  2 .   b.   R Q2 :   W h ich   co u n tr ie s   f o c u s i n g   o n   p u b lis h i n g   r esear c h es i n   A T C ?   Ma n y   r esear c h er s   f r o m   A r ab   co u n tr ies  w er e  in ter e s ted   in   s tu d y i n g   an d   p u b lis h in g   r esear ch   r elate d   to   th e  cla s s i f icatio n   o f   A r ab ic   tex t s .   J o r d an   w as   at  t h e  f o r ef r o n t  o f   t h e  co u n tr ie s   th at  w er e  cla s s i f ied .     Af ter   th e  liq u id atio n ,   w e  o b tain ed   th r ee   r esear ch   p ap er s   o f   r esear ch er s   f r o m   J o r d an ,   th en   s o m e  f r o m   Mo r o cc o ,   th e  Un ited   A r ab   E m ir ates,  a n d   th e  U n ited   S tates   o f   Am er ica  at  a  r ate  o f   t w o   r esear ch   p ap er s   f r o m   ea ch   co u n tr y .   As  f o r   th e  le ast  p u b lis h ed   co u n tr ies  in   t h e  p er io d   id en tif ied   i n   t h i s   r esear ch ,   A l g er ia,     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 2 9   -   6 6 4 3   6636   Sau d i  A r ab ia,   an d   T u n is ia  q u alif ied ,   w ith   o n e  r esear c h   p ap er   f r o m   ea ch   co u n tr y .   I t  is   clea r   th at  th e  A r ab   co u n tr ies   h av e   s tar ted   to   s t u d y   a n d   p u b li s h   o n   th e   s u b j ec t  o f   t h e  c lass if ica tio n   o f   A r ab ic  t ex ts   in   o r d er   to   u s e   th e  la n g u a g e  i n   al m o s t  all  f iel d s .   A l s o ,   th e s e  co u n tr ies  h av e  s tar ted   to   u s e  A r ti f icia l  I n tel li g en ce   tech n iq u e s   i n   al m o s t  all  f ield s .   T h er ef o r e,   th e  A r ab ic  lan g u a g e  s h o u ld   m ak e  a  co n tr ib u tio n   in   t h e  f ield s   o f   A r ti f icial   I n telli g en ce   a n d   Ma ch i n e  L ea r n in g .   Fi g u r e  1 0   illu s tr ates t h e  n u m b er   o f   s t u d ied   ar ticles  in   ea ch   co u n tr y .           Fig u r e  10 .   co r p o r a   w er e  m ai n l y   u s ed     in   th e  s elec ted   p ap er s       T ab le  2 .   Op en   s o u r ce s   co r p o r a   u s ed   an d   p r iv ate  s o u r ce s   S t u d y   N u mb e r   o f   d o c u me n t s  u se d   S o u r c e   S1   3 1 9 , 2 5 4 , 1 2 4   w o r d s a n d   1 1 1 , 7 2 8   d o c u me n t s1   T h r e e   N e w sp a p e r   O n l i n e   A r t i c l e   S2   2 0 0 K   a r t i c l e s   S A N A D   ( A l a r a b i y a . n e t   ,   a l k h a l e e j . a e   a n d   a k h b a r o n a . c o m   S3   6 9 3 k   b o o k s   B R A D   ( A r a b i c   C o r p u s   i n   G i t h u b )   S4   5 0 7 0   d o c u me n t s    C N N   A r a b i c   n e w s   S5   1 6 K   d o c u me n t s   A l j a z e e r a h . n e t   a n d   A l h a r b i   S a u d i   p r e s s a g e n c y   S6   1 4 0 0   d o c u me n t s   A l j a z e e r a   n e w s  w e b si t e ,   S a u d i   P r e ss A g e n c y .     S7   1 5   K   t w e e t s    A r a S e n T i   S8   4 5 3   H a d i t h   C o l l e c t i o n   o f   P r o p h e t   b e   u p o n   h i m ( ﷺ )   h a d i t h   f r o m t h e   N i n e   b o o k s  e n c y c l o p e d i a   S9   1 0 6 5   H a d i t h   C o l l e c t i o n   o f   P r o p h e t   b e   u p o n   h i m  h a d i t h   ( ﷺ )    S 1 0   2 2 , 4 2 9   d o c u me n t s   O p e n   S o u r c e   A r a b i c   C o r p o r a   ( O S A C )   S 1 1   1 1   b o o k s   1 0   T a sh k i l a   b o o k s  a s  a   c o l l e c t i o n   f r o m  I sl a mi c   h e r i t a g e   b o o k s    A n d   H o l y   Q u r a n   S 1 2   2 2 9 1   r e v i e w s t e x t s   6 0 2 9   a n n o t a t e d   se n t e n c e s   A r a b i c   H o t e l s’   r e v i e w s             Fig u r e  1 1 .   C o u n tr ie s   p u p lis i h i n g   r ea s r ac h   in   A r ab ic  t e x t  c las s if ica tio n       c.   R Q3 :   W h ic h   d atab ase  h av e  m o r e  p u b licatio n s ?   A cc o r d in g   to   th e  c h ar t  b elo w  in   Fi g u r e  1 2 ,   a  n u m b er   o f   w ell - k n o w n   s cien tific   j o u r n al s   p u b lis h ed   r esear ch   r elate d   to   t h e  clas s i f icatio n   o f   A r ab ic  tex ts .   I E E E   w a s   at  th e  f o r ef r o n t.  6 0   r esear ch   p ap er s   w er e  o b tain ed   f r o m   I E E E ,   4 0   w er e  o b tain ed   f r o m   Sp r in g er ,   an d   1 7   w er e  o b tain ed   f r o m   A C M.   As  f o r   th e  s c ien ti f i c   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la m  W a h d a n )   6637   j o u r n als  in   w h ic h   t h e  n u m b er   o f   p u b lis h ed   p ap er s   o n   th e  t o p ic  w as  s m a ll,  th e y   w er e  E m er ald   an d   E ls e v ier   w it h   8   an d   4   r esear ch   p ap er s   o n   av e r ag e,   r esp ec ti v el y .   T h e  r ea s o n   f o r   I E E E ’ s   p o s itio n   at  th e  to p   w a s     th e  h o ld in g   o f   a  n u m b er   o f   co n f er e n ce s   w i th   th i s   f o cu s ,   w it h   m an y   r esear ch er s   p ar ticip ati n g   in   t h i s   f ield   w it h   th eir   r esear ch   p ap er s .   I n   all  c ases ,   th e  s u b j ec t  o f   th e  c lass if icatio n   o f   A r ab ic  te x ts   i s   s til l  u n d er   d ev elo p m e n t   w h e n   co m p ar ed   to   th at  o f   o th e r   lan g u ag e s ,   s u ch   a s   E n g lis h   a n d   Sp an is h .           Fig u r e  1 2 .   Nu m b er   o f   A r ticles   b ased   o n   s cien ce   j o u r n al s       d.   R Q4 :   Du r i n g   w h ic h   y ea r s   w as   th er e  m o r e  f o cu s   o n   A T C ?   B ased   o n   th e  g r ap h   ill u s tr ate d   in   Fig u r e  1 3 ,   th e  p er io d   f r o m   2 0 1 7   to   2 0 1 9   w it n e s s ed   a  s ig n i f ica n t   d ev elo p m en t  in   th e  f ield   o f   A r ab ic  tex t  clas s i f icatio n   r e s ea r ch .   Si x   r esear ch   p ap er s   w er e  d is tr ib u ted   b et w ee n   2 0 1 8   an d   2 0 1 9 ,   th at  is ,   th r ee   r esear ch   p ap er s   f o r   ea ch   y ea r .   I n   th e  p er io d   b et w ee n   2 0 1 3   a n d   2 0 1 6 ,   o n ly   f o u r   r esear ch   p ap er s   w er e  s t u d ied ;  th e y   w er e  d is tr ib u ted   as  f o llo w s :  o n e  ar ticle  i n   2 0 1 5   a n d   th r ee   in   2 0 1 6 .     On l y   t w o   r esear c h   p ap er s   w e r e  o b tain ed   b etw ee n   2 0 0 9   an d   2 0 1 2 .   Fr o m   t h e  d ata  w e  h a v e,   it  is   clea r   th at  r esear ch   in ter est  i n   t h e  f ie ld   o f   t h e  clas s if icatio n   o f   A r ab ic  t ex ts   i s   s tar ti n g   to   in cr ea s e  d u e   to   th e  i m p o r ta n ce   o f   th e  A r ab ic  lan g u ag e,   it s   u s e   in   m o r e  th a n   o n e  f ield ,   an d   its   u s e  i n   m o r e  A r ab   I s la m ic   co u n tr ies.           Fig u r e  1 3 .   Nu m b er   o f   a r ticles  s elec ted   p er   y ea r       e.   R Q5 :  W h at   w er e  t h e  t y p e s   o f   n eu r al  n et w o r k   al g o r ith m s   u s ed   to   class if y   A r ab ic  te x ts ?   An d   w h ic h   o n e   w a s   m o s t u s ed ?   Ma n y   t y p es  o f   n e u r al  n et w o r k s   w er e  u s ed   i n   p r ev io u s   r esear ch .   T h e y   in cl u d ed   co n v o l u tio n al  n e u r al   n et w o r k s   ( C NN) ,   r ec u r r en t  n eu r al  n et w o r k s   ( R NN) ,   B ir NN ,   L ST M,   th e  d ee p   b elie f   n et w o r k   ( DB N) ,   b ac k p r o p ag atio n   au to e n co d er   ( B P NN) ,   th e  m u ltil a y er   p er ce p tr o n   ( ML P ) ,   an d   f ee d   f o r w ar d   n eu r al  n et w o r k s   ( FF NN) .     L ST M  an d   C NN  w e r e  th e  m o s t  u s ed   n e u r al  n et w o r k s .   B o th   w er e  u s ed   in   f o u r   s t u d ies.  L ST M  w er e   u s ed   i n   [ 4 7 - 50] .   C o n v o lu tio n al  n e u r al  n et w o r k s   ( C NN)   w er e  u s ed   to   clas s if y   A r a b ic  tex t  i n   [ 5 0 - 53] .   R ec u r r en t  n e u r al  n et w o r k s   ( R NN)   w er e  u s ed   i n   o n l y   o n e  s tu d y   [ 5 2 ] .   I n   th is   s tu d y ,   t h e  a u th o r   al s o   tr ied   to   b u ild   en s e m b le  m et h o d s ,   w h ic h   co m b i n ed   R N N  w it h   C NN,   i n   o r d er   to   i m p r o v e  ef f icie n c y .   I n   th e   s a m e  s tu d y ,   an o th er   m o d el  w a s   b u il t  u s in g   a  s p ec ial  t y p e  o f   R NN:  B i R N N.     T h r ee - la y er   f ee d - f o r w ar d   NN  h a v e  b ee n   u s ed   t w ice  i n   [ 4 0 ]   an d   in   [ 5 4 ] .   B u t,  in   [ 5 5 ] ,   th e  m u l tila y er   p e r ce p tr o n   ( ML P )   w as  u s ed   as   a  p ar t  o f   3 - la y er     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 ,  Dec em b er   2 0 2 0   :    6 6 2 9   -   6 6 4 3   6638   f ee d - f o r w ar d   NN.   T h e  d ee p   b elief   n et w o r k   ( DB N)   w as   o n l y   u s ed   i n   o n e  s tu d y   [ 5 6 ] .   B ac k p r o p ag atio n   au to en co d er   w as  u s ed   j u s t  o n ce   in   [ 5 7 ] .   Fig u r e  1 4   s h o w s   t h e  t y p es  o f   NN  an d   h o w   m an y   ti m e s   it  h as  b ee n   u s ed   in   all  r ev ie w ed   p ap er s .   T ab le   3   s h o w s   t h e  r ef er en ce s   f o r   ea ch   t y p e  o f   n e u r al  n et w o r k   f o u n d ed   in   ea c h   p ap er .   T h e  p ap er s   d id   n o t  m e n tio n   th e   r ea s o n   b e h in d   c h o o s in g   t h ese  t y p es  o f   NN.   W e  b el iev e  t h at  t h e  r ea s o n   s h o u ld   b e  s tated .           Fig u r e  1 4 .   T y p es o f   N N       T ab le  3 .   T y p es o f   NN   Ty p e s  o f   N N   R e f e r e n c e s   C N N   [ 4 7 - 5 0 ]     L S T M   [ 5 0 - 5 3 ]   R N N   [ 5 2 ]   C N N   &   R N N   [ 5 2 ] .   F e e d   f o r w a r d   N N   ( F F N N )   [ 4 0 ,   5 4 ]   M L P   [ 5 5 ]   D B N   [ 5 6 ]   B a c k p r o p a g a t i o n   A u t o _ e n c o d e r   3   l a y e r s (BPN N )   [ 5 7 ]       f.   R Q6 : W h at  w er e  th e  e f f icie n c y   m ea s u r e s   u s ed ?      T h e  ef f icie n c y   m ea s u r e  m ai n l y   u s ed   i n   th e s e  s t u d ies  was  p r i m ar il y   ac c u r ac y ;  t h e  o th er s   u s ed   in cl u d ed   R ec all,   F - m ea s u r e,   an d   P r ec is io n   a s   s h o w n   i n   Fi g u r e  1 5 .   A cc u r ac y   w as  u s ed   in   8   s tu d ie s   i n   o u r   s y s te m a tic  r ev ie w   as  s h o w n   in   T a b le  4 ,   b u t  n o t  all  o f   th ese  s t u d ies  id en ti f ied   it  w ell.     A c cu r ac y   w as  id en ti f ied   w ell  a n d   th e  r esear c h er s   clea r e d   th e  d ef in itio n   o r   th e  eq u at io n   in   o n l y   f o u r   s t u d ies :   [ 4 8 - 5 0 ,   5 7 ] .   T h e  R ec all  ef f icie n c y   m ea s u r e  ca m e  i n   s ec o n d   p o s itio n :  it   w as  u s ed   in   f i v e  s t u d ies.  P r ec is io n   an d     F - m ea s u r e  w er e  th e   least   u s e d ;  th e y   w er e  u s ed   in   o n l y   4   s t u d ies.  T ab le  4   s h o w s   t h e  e f f ic ien c y   m ea s u r e  t h at   u s ed   in   ea c h   p ap er .           Fig u r e  1 5 .   E f f icie n c y   m ea s u r e s     Evaluation Warning : The document was created with Spire.PDF for Python.