I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   6 Dec em b er   2 0 2 0 ,   p p .   6 6 2 9 ~ 6 6 4 3   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 6 . pp 6 6 2 9 - 6 6 4 3          6629       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   s y ste m a tic  r ev ie w  of  t ex cla ss ifi ca tion  r esea rch  b a sed o n   d eep  l ea rning   m o dels  in  A ra bic  l a n g ua g e       Ahla m   Wa hd a n 1 Se nd ey a H a nto o bi 2 Sa id A.   Sa llo u m 3 K ha led Sha a la n 4   1 , 2, 3, 4 F a c u lt y   o f   En g in e e rin g   a n d   I T ,   T h e   Brit ish   Un iv e rsity   in   Du b a i,   Un it e d   A ra b   Em irate s   3 Re se a rc h   In stit u te o f   S c ien c e s a n d   En g i n e e rin g ,   Un iv e rsity   o f   S h a rjah Un i ted   A ra b   Em irate s       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   A p r   10 ,   2 0 20   R ev i s ed   J u n   6 ,   2020   A cc ep ted   J u n   1 7 ,   2 0 2 0       C las sify in g   o c a teg o rizin g   te x ts  is  th e   p ro c e ss   b y   w h ich   d o c u m e n ts  a r e   c las si f ied   in to   g ro u p b y   su b jec t,   ti tl e ,   a u t h o r ,   e tc.  T h is  p a p e u n d e rtak e s   a   s y st e m a ti c   re v ie o th e   late st  re se a rc h   in   th e   f ield   o f   th e   c l a ss i f ica ti o n   o A ra b ic  te x ts.  S e v e ra m a c h in e   lea rn in g   tec h n i q u e c a n   b e   u se d   f o tex t   c las si f ica ti o n ,   b u w e   h a v e   f o c u se d   o n ly   o n   th e   re c e n tren d   o f   n e u ra n e tw o rk   a lg o rit h m s.  In   th is  p a p e r,   t h e   c o n c e p o f   c las sify in g   te x ts   a n d   c las sif i c a ti o n   p ro c e ss e s   a re   r e v ie we d .     De e p   lea rn in g   tec h n iq u e in   c las sif ica ti o n   a n d   it ty p e   a re   d isc u ss e d   in   th is  p a p e a w e ll .   N e u ra n e tw o rk o v a rio u ty p e s,   n a m e l y ,   RNN ,   CNN ,   F F NN ,   a n d   L S T M ,   a re   id e n ti f ied   a t h e   su b jec o f   stu d y .   T h ro u g h   sy ste m a ti c   stu d y ,   1 2   re se a rc h   p a p e rs  re late d   to   t h e   f ield   o   th e   c las sif ica ti o n   o f   A ra b ic  tex ts  u sin g   n e u ra n e tw o rk a re   o b tai n e d f o e a c h   p a p e th e   m e th o d o lo g y   f o e a c h   ty p e   o f   n e u ra n e tw o rk   a n d   th e   a c c u ra c y   ra ti o n   f o e a c h   ty p e   is  d e ter m in e d .   T h e   e v a lu a ti o n   c rit e ria   u se d   in     th e   a lg o rit h m o f   d iffere n n e u ra n e tw o rk   t y p e a n d   h o w   th e y   p la y   a   larg e   ro le  in   th e   h ig h ly   a c c u ra te  c l a ss if ic a ti o n   o f   A r a b ic  tex ts  a re   d isc u ss e d .     Ou re su lt p ro v id e   so m e   f in d in g re g a rd in g   h o w   d e e p   lea rn in g   m o d e ls  can   b e   u se d   t o   im p ro v e   tex c las sif i c a t io n   re se a rc h   in   A ra b ic l a n g u a g e .     K ey w o r d s :   L ea r n i n g   m a n a g e m en s y s te m     Neu r al  n et w o r k   alg o r it h m s   S y s te m a tic  r ev ie w   T ex class if icatio n   V ir tu al  lear n in g   en v ir o n m e n   Co p y rig h ©   2 0 2 0   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   Said   A .   Sal lo u m ,     R esear ch   I n s ti tu te  o f   Scie n ce s   an d   E n g in ee r i n g ,   Un i v er s it y   o f   S h ar j ah ,   A ca d e m ic  cit y   R o ad ,   P .   O. B o x   2 7 2 7 2   Sh ar j ah Un ited   A r ab   E m ir ates .   T el:  +9 7 1   6   5 5 8 5 0 0 0 Fax : + 9 7 1   6   5 5 8 5 0 9 9   E m ail: s s allo u m @ s h ar j ah . ac . ae       1.   I NT RO D UCT I O N     T h class if icat io n   o f   te x ts   i s   m eth o d   o f   s ea r ch in g   f o r   d ata  an d   ex p lo r in g   t h d ata  a m o n g   lar g d ata  an d   clas s i f y i n g   t h e m   i n to   g r o u p s   f o r   ea s y   r e f er en ce   [1 - 5] .   I n ter n et   p ag es,  b o o k s   [ 6 ] ,   m a g az in e s ,   a n d   s o cia l   m ed ia  [7 - 2 0 ] ,   h a v b ec o m r ich   s o u r ce   o f   i n f o r m atio n   t h a n ee d s   to   b ca teg o r ized   an d   o r g an ized   f o r   ea s y   r ef er en ce   [ 2 1 - 25] .   T h er h as  b ee n   lo o f   r esear ch   in   t h i s   f ield ,   b u m o s o f   it  i n v o lv e s   th clas s i f icatio n   o f   E n g l is h   an d   Sp an is h   tex ts   an d   tex ts   i n   o th er   lan g u a g e s .   T h er is   a   lack   o f   r esear ch   in   A r ab ic  tex class i f icatio n ,   an d   th tech n iq u es  an d   al g o r ith m s   u s ed   o n   E n g l is h   tex t s   d o   n o f it  th A r a b ic  lan g u ag te x ts .   T h is   is   b ec au s e   th e   A r ab ic   lan g u ag e   h a s   ce r tai n   c h ar ac ter is tics   w h e r e   th e   s tr u ct u r o f   t h w o r d   i s   co n ce r n e d   [ 2 6 ] .   T h m ai n   ai m   o f   th is   s tu d y   w as  to   m a k r ev ie w i n g   A r ab ic  tex clas s i f icati o n   b ased   o n   n eu r a l   n et w o r k s .   So ,   th is   r esear c h   s u m m ar ized   th l is o f   n eu r al   n et w o r k   tech n iq u es  t h at  w e r u s ed   to   class i f y   A r ab ic  te x ts   a n d   d eter m i n ed   w h ic h   o n es   w er m o r ef f ic i en a n d   ac cu r ate.   Fi n d in g   t h e   g ap   in   t h c u r r en liter atu r w a s   a n o th er   i m p o r t an ai m .   I n   th i s   r esear c h ,   w e   f o c u s ed   m o r o n   th e   u s o f   n eu r al   n et w o r k s   in   th cla s s i f icatio n   o f   A r ab ic  t ex ts .   W d is c u s s ed   t h co n c ep o f   t h clas s i f i ca tio n   o f   t ex ts   f ir s alo n g s id e   th t y p e s   o f   cla s s i f icatio n   t h e n   w p r esen ted   t h to p ic  o f   n eu r al  n et w o r k s ,   t h eir   t y p es,  a n d   th cla s s i f icatio n   p r o ce s s es  f o r   th e   d if f er en t y p es.  T h r o u g h   s y s te m atic  r e v ie w ,   th e   r esear ch   q u e s tio n s   w er in i tiall y   id e n ti f ied ,   th en   t h r esear ch   s tr ate g y   w a s   d ev elo p ed   to   o b tain   th to p ics  m o r ac c u r atel y .   S u b s eq u e n tl y ,   q u alit y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 2 9   -   6 6 4 3   6630   ass es s m en cr iter ia  w er d ev elo p ed   to   ass ess   th q u ali t y   o f   th r ese ar c h   p ap er s   i n   o r d er   to   ex tr ac t   th i m p o r ta n t o n es.  I n   t h d is c u s s io n   s ec t io n ,   all  r esear ch   q u esti o n s   w er an s w er ed   in   d etai l.     I n   o r d er   to   ac h iev t h m ai n   a i m   o f   t h is   s t u d y ,   w d ef i n ed   o u r   r esear ch   q u es tio n s   as f o llo w s :   -   R Q1 :   W h ich   co r p o r w er m ain l y   u s ed   f o r   A r ab ic  tex cla s s i f icatio n ?   W er e   th e y   o p en   s o u r ce   o r   cr ea ted   b y   t h au th o r ?   -   R Q2 :    W h ich   co u n tr ie s   f o c u s e d   o n   p u b lis h i n g   r esear ch   o n   AT C ?   -   R Q3 :   W h ic h   d atab ases   h ad   m o r p u b licatio n s ?   -   R Q4 :   Du r i n g   w h ic h   y ea r s   w as   th er m o r f o cu s   o n   A T C ?   -   R Q5 :   W h at  w er th t y p es  o f   n eu r al  n et w o r k   alg o r it h m s   u s ed   to   class if y   A r ab ic  tex ts ?   An d   w h ic h   o n e   w a s   m o s t u s ed ?   -   R Q6 :   W h at  w er th e f f icie n c y   m ea s u r e s   u s ed ?     -   R Q7 :   Did   th au t h o r   co m p ar NN  w it h   o th er   tech n iq u e s ?   An d   w h ic h   o n es  w er th m o s f r eq u en t l y   co m p ar ed   w it h   NN?   -   R Q8 :   W h ic h   t y p o f   n eu r al  n e t w o r k   al g o r ith m   p r o v ed   m o s ef f icien t?       2.   L I T E R AT U RE   R E VI E W   2 . 1 .     Def ini t io n o f   T C   T h tex cla s s i f icat io n   p r o ce s s   is   t h p r o ce s s   o f   a u to m ati n g   s et  o f   d o cu m en ts   in to   s p ec if ic  g r o u p s   b ased   o n   th co n ten o f   t h tex its el f   t h r o u g h   th u s o f   ce r tain   tech n o lo g ie s   an d   alg o r ith m s   [ 2 4 ,   2 7 - 3 0 ] .   E lh as s an   a n d   Ah m ed   [ 3 0 ]   al s o   d ef in ed   th cla s s i f icatio n   o f   tex t s   as  m et h o d   o f   s ea r ch in g   f o r   d ata  an d   ex p lo r in g   t h e m   a m o n g   lar g d ata  an d   cla s s i f y in g   th e m   i n t o   g r o u p s   f o r   ea s y   r ef er e n ce .   A cc o r d in g   to   [ 3 1 ] ,   th clas s i f icatio n   o f   te x ts   w a s   d ef i n ed   as  t h p r o ce s s   o f   o r g an izi n g   d o c u m en t s   ac co r d in g   to   k n o w n   a n d   p r e - ex is tin g   s tr u ct u r o f   s p ec if ic  ca te g o r ies  th a s u ited   th i s   t y p o f   te x t.  Ot h er s   m e n tio n ed   th at  t h er w as   s li g h d i f f er e n ce   b et w ee n   te x ca te g o r izatio n   an d   cla s s i f ic atio n .   W h er ea s   th e   ca te g o r izatio n   o f   tex ts   e n taile d   so r tin g   th e m   ac co r d in g   to   th e ir   co n ten t,  t h eir   clas s i f icatio n   p lace d   th e m   i n   ce r tai n   g r o u p s   th at  s u ited   t h ei r   co n ten ac co r d in g   to   a u t h o r ,   s u b j ec t,  titl e,   lan g u ag e,   a n d   o th er   clas s i f icatio n s   [ 3 2 ] .   Sp ec ialized   r esear ch   o n   th cla s s i f icatio n   o f   tex ts   h as  in cr e ased   s i g n i f ican tl y   d u to   th e n o r m o u s   d ata  a v ailab le  f r o m   m a n y   s o u r ce s ,   in cl u d in g   I n ter n e p ag es,  e - m ail  m es s ag e s ,   n e w s   p ag e s ,   tex ts   cir cu lated   th r o u g h   s o cial  m ed ia,   r ep o r ts ,   an d   j o u r n al  ar ticles.  T h er ef o r e,   th is   r esear ch   f o cu s ed   atten tio n   i n   o r d er   to   m a k th b est  p o s s ib le  u s o f   all  th e s d ata  an d   class i f y   t h e m   [ 3 3 ] .     2 . 2 .     Ara bic  t ex t   cla s s if ica t io     A r ab ic  is   o n o f   t h s i x   p r im ar y   lan g u ag e s   w o r ld w id e.   I t s   u s i s   s p r ea d   ac r o s s   m a n y   c o u n tr ies   i n     th w o r ld ,   an d   it  is   t h b asi s   o f   th e   A r ab   w o r ld ,   b u t   s o m e   I s la m ic  co u n tr ies  a ls o   u s t h A r ab ic  la n g u a g a s   th eir   p r i m ar y   la n g u a g b ec au s it  i s   t h la n g u a g o f   t h Q u r ' a n .   T h A r ab ic  la n g u a g c o n s is ts   o f   2 8   letter s ,   in cl u d in g   h a m za s   a n d   el m o d o d .   E ac h   letter   h as  ce r tain   s tr u ctu r es  t h at  d ep en d   o n   th p o s i tio n   o f   th le tter   in   th w h o le,   t h at   is ,   w h et h er   i t   is   a t h b e g in n i n g   o f   t h wo r d ,   in   th e   m id d le  o f   th e   w o r d ,   o r   at  th e   en d   o f     th w o r d   [ 3 4 ] .   T h er ar n o   u p p er -   an d   lo w er - ca s e   let ter s   i n   A r ab ic  u n li k E n g li s h   o r   o t h er   lan g u ag e s   [ 3 1 ] T h m o r p h o lo g y   o f   th A r ab i lan g u a g is   n o ea s y it  m a y   b co m p licated   as  i h a s   r ad ical  w o r d s ,   p r ef i x es,   an d   s u f f ix e s m o r eo v er ,   u n li k th o s in   o th er   lan g u ag e s ,   its   w o r d s   d o   n o co n s is o f   s eq u en t ial  f o r m s   as  its   w o r d   s tr u c tu r es   ar co m p let el y   d i f f er e n a n d   d ep en d   o n   p o s itio n   in   th e   s e n ten ce   an d   m ea n i n g   [ 3 1 ]   As  m e n tio n ed   ab o v e,   th cla s s if ica tio n   o f   tex t s   h as  b ec o m w id esp r ea d ,   an d   m o s o f   t h r esear ch   in c lu d es     th class if icatio n   o f   o th er   la n g u a g es,  s u c h   as  E n g lis h .   L ittl o f   th r esear ch   o n   th clas s i f icatio n   o f   tex t s   h as   f o cu s ed   o n   A r ab ic.   Ma n y   tec h n iq u es  an d   alg o r it h m s   h a v b ee n   cr ea ted   to   class if y   E n g l is h   te x ts ,   an d   th e y   g iv e   e x ce lle n r es u lt s   a n d   h i g h   ac c u r ac y   d u e   to   t h n at u r o f   t h la n g u a g e,   letter s ,   a n d   w o r d s .   B u t   w h en   it   co m e s   to   t h A r ab ic  la n g u a g e,   th e   ap p licati o n   o f   th e s al g o r i th m s   d o es  n o t   g iv e   s i m ilar   ac c u r ac y   an d   v alid it y   in   cla s s i f icat io n .   T h er ef o r e,   ap p r o p r iate  alg o r ith m s   h av e   b ee n   cr ea ted   to   s y n t h esize   wo r d s   in   t h e   A r ab ic  lan g u a g e,   b u t t h e y   h av n o y e t d em o n s tr ated   f u l l y   r eliab le  m er it f o r   t h class if ica tio n   p r o ce s s   [ 3 4 ] .     2 . 3   Cla s s if ica t io n t ec hn iqu e     T h er ar t w o   b asic  m et h o d s   o f   cla s s i f y in g   tex t s .   O n i s   t h g r a m m ar   o r   li n g u i s tic  b a s e d   m et h o d ,   w h ic h   d ep en d s   o n   p r ep ar in g   ce r tain   r u les   an d   o p er atin g   th e m   i n   s o m e   e x p er s y s te m s   i n   o r d er   to   clas s i f y     th te x t s .   T h s ec o n d   m et h o d   is   t h p r o ce s s   o f   f ee d in g   t h t ex e x tr ap o latio n   p r o ce s s   w it h   s et   o f   d o cu m e n ts   ca lled   tr ain in g   d o cu m en ts   t h at  h a v p r ev io u s l y   b ee n   c lass i f ied   ac co r d in g   to   s p ec i f ic   ca teg o r ies  [ 3 0 ]   B elo w   ar th ex p la n atio n s   o f   th t w o   m et h o d s .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la W a h d a n )   6631   2 . 3 . 1.     M a nu a l a nd   s t a t is t ica l   t ec hn iqu e s     Ma n u al  tex c lass if ica tio n   ( T C )   is   d o n b y   w r i tin g   s p ec i f ic  q u er ie s   m a n u all y   f o r   ea ch   ca teg o r y ,     f o r   ex a m p le  s p o r ts ,   n u tr itio n ,   clo th in g ,   an d   h ea lt h .   T h en   th tex en ter ed   w it h i n   s p ec if ic  s ea r ch   en g in is   ca teg o r ized   b ased   o n   th e   p r ed ef i n ed   q u er ies.   Ho w ev er ,   t h i s   m et h o d   w o r k s   o n   s m all  te x t s ,   n o t o n   lar g e   o n es   o r   o n   m a n y   d o cu m e n t s .   T h ac cu r ac y   o f   th i s   ap p r o ac h   to   class i f icatio n   d ep en d s   o n   t h v a l id it y   o f   q u ir es  a n d     th s k il b eh i n d   t h q u er y   d esig n .   E x p er s y s te m s   h a v b ee n   cr ea ted   th at   p r ep ar r u les  an d   in q u ir ies.     An   ex a m p le  is   C o n s tr u e - T I S,  th o n cr ea ted   f o r   R eu ter s   Ne w s ,   w h ic h   w a s   ab le  to   ap p ly   6 7 4   ca teg o r ies  an d   to   g et   to   k n o w   m o r t h a n   1 7 0 , 0 0 0   co m p an ie s   [ 3 2 ] .   T h is   cla s s if ica tio n   w as   n o t   b ased   o n   in d iv id u al   w o r d s   b u t   o n   co n ce p ts   g r ad ed   f r o m   th e   ac tu al  te x a s   s h o w n   i n   Fi g u r e   1 .   T ec h n iq u es  w h ic h   r el y   o n   m at h e m a tical  r u les  an d   p r in cip les  ar also   ca lled   s tatis t ical  tex cla s s i f icat io n .   T h ese  tech n iq u es  ar s u itab le  f o r   s m all  d ata,   s u ch   as “ Fre q u en t is p r o ce d u r es,  B ay esia n   p r o ce d u r es,  an d   th B i n ar y   a n d   m u lticla s s   p r o ce d u r es”  [ 3 4 ] .           Fig u r 1 .   T h r u le  o f   th ca teg o r y   Au s tr alia n   Do llar       2 . 3 . 2.     M a chine le a rning   t ec hn iq ues     Du to   th lar g a m o u n ts   o f   in f o r m at io n   d u r in g   th p ast  t w o   d ec ad es,  th er em er g ed   n ee d   f o r   tech n ical  m et h o d s   o f   clas s i f y i n g   h u g te x ts   as  s tatis tical  an d   m a n u al  m et h o d s   h ad   n e v er   b ec o m u s ele s s   i n   th is   f ie ld   [ 3 5 - 48] .   T h er ef o r e,   m ac h in lear n i n g   c lass if i ca t io n   tech n iq u es  ap p ea r ed   w h i ch   ai m   to   clas s if y   u n s tr u ct u r ed   tex t s   an d   d o cu m en ts   b ased   o n   ce r tain   al g o r ith m s   d esi g n ed   f o r   th is   p u r p o s e.   Ma ch in lear n i n g   tech n iq u es   ca n   b d i v id ed   in to   g r o u p s   as   s h o w n   in   Fi g u r 2   [ 3 4 ] .   I n   th Su p er v is ed   L ea r n i n g   tec h n iq u e,   d if f er e n d ata  ar r ec o g n ized ,   w h et h er   v i s u al,   a u d io ,   o r   tex t.   T h d ata  ar co m p ar ed   w it h   th ex p ec ted   id ea d ata  o r   r esu lt s   t h r o u g h   p r o ce s s   ca l led   b ac k p r o p ag atio n   in   w h ic h   t h d ata  ar e   d ir ec ted   f r o m   t h o u tp u la y er s   to   th in p u la y er s   an d   er r o r s   ar co r r ec ted   an d   m i n i m iz ed   to   ac h iev b etter   ac cu r ac y .   I n   U n s u p er v is ed   L ea r n i n g ,   t h lear n i n g   p r o ce s s   tak e s   p lace   d u r i n g   t h p r o ce s s in g .   T h er ar n o   p r ev io u s   d ata  f o r   co m p ar i s o n   as  th e   n et w o r k   an a l y ze s   t h d ata  an d   p r o ce s s es  t h e m t h e n ,   b u ild s   f u n ctio n   to   d eter m i n e   th er r o r   r ate  an d   r ed u ce   it  to   o b tain   h i g h   ac c u r ac y .   T h Se m i - Su p er v is ed   lea r n in g   tec h n iq u i s   co m b i n at io n   o f   t h p r ev io u s   t w o   tec h n iq u e s .   R e s ea r ch er s   s a w   t h at  t h er w as   litt le   u n n a m ed   d ata  th at   co u ld   co n tr i b u te  to   i m p r o v in g     th ac cu r ac y   o f   t h lear n i n g   p r o ce s s   th at  to o k   p lace   d u r in g   t h d ata  cla s s i f icatio n   s tag e.   So ,   s m al l   p er ce n tag o f   t h d ata  w a s   u s e d   in   Se m i - Su p er v i s ed   lear n i n g .           Fig u r 2 .   Ma ch in l ea r n i n g   t e ch n iq u es   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 2 9   -   6 6 4 3   6632   2 . 4   Neura l n et w o rk     A l g o r ith m s   o f   n e u r al  n et w o r k s   g iv v er y   ac c u r ate  r esu lt s   in   th ar ea   o f   N L P   an d   s u p p o r d ee p   lear n in g   v er y   s i g n if ican tl y   as  th e y   s o lv s o m er r o r s   an d   p r o b lem s   r elate d   to   th v ar ian c o f   d ata  r esu ltin g   f r o m   t h p r o ce s s   o f   d ee p   lear n in g   [ 3 6 - 39] .   Neu r al  n et w o r k s   ar u s ed   i n   t h clas s i f icatio n   o f   te x t s   to   ad d r ess   lin ea r   an d   n o n - li n ea r   p r o b lem s .   T h b ac k p r o p ag atio n   m o d el  class if ies  tex t s   u s in g   n e u r al  n et w o r k s   b y   m ea n s   o f   g r o u p   o f   n o d es  t h at  f o r m   an d   r ep r esen a   m ath e m atica l   m o d el  o f   b io lo g ical  n er v e s .   No   in te r f er en ce   a n d   s elf - lear n in g   a f f ec th e s n eu r al  n et w o r k s   a s   t h e y   ar u s ed   t o   id en ti f y   s y s te m s   an d   p atter n s   an d   to   class if y   te x t   an d   i m a g p r o ce s s in g   [ 4 0 ] .   Ma n y   co n s id er   n eu r al  n e t w o r k s   to   b u n its   th at  ar co n n ec ted   to   ea ch   o th er   an d   in ter t w i n ed   s i m ilar l y   t o   th d y n as ticit y   o f   th n e u r o n .   I n   ad d itio n ,   th r o u g h   t h is   p r o ce s s   o f   en ta n g le m en t,     th i n p u ts   ar e   m ad a n d   t h o th er   n eu r o n   allo w s   t h e x it  o f   th e   tr an s m itted   o u tp u ts .   T h d esig n   o f   A NN   is   s i m ilar   in   s tr u ctu r to   th at  o f   th b r ain   an d   its   n e u r al  n et wo r k .   A ll  t y p e s   o f   s ab o tag o f   th n e u r al  n et w o r k   h av e   b asic  p r i n cip le,   w h ich   is   t h at  e v er y   n e u r o n   i n   t h n et w o r k   r ec eiv es   i n p u ts ,   p r o ce s s es  th e m ,   a n d   s e n d s   o u tp u ts .   E ac h   n e u r o n   is   lin k ed   to   at  lea s t o n n eu r o n ,   an d   ea ch   co n n ec tio n   o r   as s o ciatio n   h as a   s p ec if ic   d ig i tal   w ei g h ca lled   t h w e ig h f ac to r ,   w h ich   w o r k s   to   r ef lect   t h i m p o r tan ce   o f   t h co m m u n ica tio n   b et w ee n   n eu r o n s   i n   th n et w o r k   [ 4 1 ] .   So m p o p u lar   p r i m ar y   t y p es o f   n eu r al  n et w o r k s   f o llo w .       2 . 4 . 1.   F ee dfo r w a rd  neura l net w o rk   ( F NN)     I is   n eu r al  n et w o r k   w h o s ce lls   ar lin ea r l y   co n n ec ted   to   ea ch   o th er   an d   d o   n o r e p r esen c y cle   lik an y   o th er   n e u r al  n e t w o r k .   T h s in g le  la y er   p er ce p tr o n   ( SL P )   is   th s i m p les f o r m   o f   t h is   t y p o f   n eu r al  n et w o r k   s in ce   t h in p u ts   ar d ir ec tly   r elate d   to   th o u tp u t.  I n   t h S L P ,   th i n p u ts   g o   th r o u g h   s ev er al   la y er s   o f   tr a n s f o r m atio n ,   s o   t h e y   ar co n s id er ed   v er y   s u ita b le  f o r   ca teg o r izin g   tex t s   [ 4 2 ] .   T h s tr u ct u r o f   th f ee d f o r w ar d   n e u r al  n e t w o r k   is   s h o w n   in   F ig u r 3 .           Fig u r 3 .   FNN       2 . 4 . 2.   Co nv o lutio na neura net w o rk   ( CNN)     C o n v o l u tio n al  n eu r al   n et w o r k s   ar in s p ir ed   b y   t h m u lti - l a y er   p er ce p tr o n   ( ML P )   an d   ar d esig n ed   to   ex tr ac t h s p atial  s tr u ct u r e   in   i m a g d ata  an d   t h p o s itio n s   o f   o b j ec ts   th at  ca n   b u s ed   in   t h i m a g [ 4 3 ] T h s a m e   p r i n cip le  a n d   id ea   w er e   u s ed   to   clas s i f y   te x ts   an d   o n e - d i m e n s io n al  w o r d s ,   an d   t h is   w as  d o n e   th r o u g h   in ter ac tio n   w i th   n e ig h b o r in g   n eu r o n s .   I ts   n a m is   c o n v o l u tio n al”   d u to   f o ld i n g   p r o ce s s   th a o cc u r s   b et w ee n   n e u r o n s   d u r i n g   t h class i f icatio n   p r o ce s s .   T h s tr u ctu r o f   t h co n v o l u tio n a n eu r al  n et w o r k   is   s h o w n   in   F ig u r 4 .           Fig u r 4 .   C NN       2 . 4 . 3.   Rec urre nt  neura l net wo rk   ( RNN)     T h s tr u ctu r i n   th is   t y p o f   n et w o r k   i s   d o n co n ti n u o u s l y   an d   s eq u en t iall y   s i n ce   t h o u tp u ts   o f     th p r ev io u s   s ta g ar th i n p u ts   o f   th n e x s ta g e.   B y   co n t r ast,  w i th   tr ad itio n al  n e u r al  n et w o r k s ,   th in p u ts   an d   o u tp u ts   ar e   s ep ar ate  u n i t s   f r o m   ea c h   o t h er .   So m e ti m es  t h er is   n e ed   to   p r ed ict  th e   d esire d   w o r d ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la W a h d a n )   6633   an d   th er e f o r e,   th n ee d   d ev e lo p s   to   r ef er   to   th w o r d s   p r io r   to   th r ev ie w ,   a n d   th is   is   w h a r ec u r r en t   n eu r al  n et w o r k s   d o .   A   h id d en   la y er   h a s   b ee n   u s ed   to   h elp   w it h   th i s   t y p o f   n et w o r k   an d   to   co m p lete   th p r o ce s s   [ 4 4 ] .   A n   ex a m p le  o f   f r eq u e n t n e u r al  n et w o r k   i s   s h o w n   i n   Fi g u r 5 .           Fig u r 5 .   R NN       2 . 4 . 4.   L o ng   s ho rt - t er m   m e mo ry   ( L ST M )     L ST ar lo n g   s h o r t - ter m   m e m o r y   n et w o r k s   as   th e y   a r s p ec if ic  r ec u r r en n eu r a n et w o r k   s tr u ct u r ( R NN)   d esi g n ed   f o r   u s e   i n   m o d elin g   lo n g - r a n g ti m s er ie s   t h at   ar o b s er v ed   to   o p er ate  m o r e   p r ec is el y   t h a n   R NN.   T h n eu r o n s   o f   t h is   n et w o r k   a r m ad u p   o f   u n its   t h at  ar g ates ; i n   t h is   w a y ,   t h n et w o r k   ca n   co n tr o t h f lo w   o f   t h i n p u ts   t h at  lead   to   t h f i n al  o u t p u t.  T h u s ,   o n l y   f e w   in p u ts   m a y   p ar ticip ate  i n     th o u tp u t,  s o   th e   er r o r   r ate  is   r ed u ce d   [ 4 5 ] .   L ST co n tai n s   u n i ts   ca lled   m e m o r y   b lo c k s ,   a n d   th e y   ar lo ca ted   in   th h id d en   la y er .   T h ese  b lo ck s   h a v s el f - co n n ec tio n s   i n   m e m o r y   ce lls   t h at  r ec o r d   th ti m s tat u s   o f     th n e t w o r k   d u r i n g   t h w o r k .   T h ey   al s o   co n tai n   u n it s   ca lle d   g ates  t h at  co n tr ib u te  to   co n tr o llin g   t h f lo w   o f   in p u t s   an d   o u tp u t s .   T h eir   in p u g ates  co n tr o th ac tiv a tio n   p r o ce s s   f o r   en ter in g   in f o r m atio n   in to   th m e m o r y .   As  f o r   t h o u tp u p o r t,  it  co n t r o ls   th o u tp u a f ter   th ac t iv a tio n   p r o ce s s ,   w h ic h   ta k es  p lac at  th e n tr y   g ate.   p o r tal  ca lled   t h f o r g et   g at e,   w h ic h   ad d r ess e s   t h w ea k n es s   o f   L ST in   d eter m i n i n g   f lo w s   f o r   s p ec if ic   u n i ts ,   h a s   also   b ee n   ad d ed   [ 4 6 ] .   Fig u r e   6   s h o w s   th s tr u ct u r o f   L ST R NN.           Fig u r 6 .   L ST M       2 . 5   Ara bic Tex t   cla s s if ica t io n pro ce s s     T h er ar e   th r ee   m a in   s ta g e s   in   th clas s i f icatio n   o f   tex t s ,   wh ich   b ased   o n   t h t y p o f   n e u r al  n et w o r k   u s ed   as s h o w n   i n   Fi g u r e   7 .           Fig u r 7 .    A r ab ic  t ex c la s s i f ic atio n   p r o ce s s     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 2 9   -   6 6 4 3   6634   2 . 5 . 1.   Da t a   pre - pro ce s s ing     A t   th is   s ta g e,   t h w o r d   i s   f il ter ed   an d   r etu r n ed   to   i ts   o r ig in al  r o o b y   r e m o v i n g   all   th e   ch a n g in g   p o lices  r elate d   to   th w h o le,   f o r   in s tan ce ,   h a m za h ,   T Ma r b o u ta  (     ة ”  ) ,   tash k ee f r o m   all  t h w o r d s ,   n u m b er s ,   an d   p u n c tu at io n   m a r k s .   Als o ,   th w o r d s   t h at  l i n k   w o r d s ,   s u c h   as  (   كل ذ ل   ،   ل   ة ب س ن ل ا ب ”) ,   ar r em o v ed .     P r ef ix es  a n d   s u f f i x es  ar also   r e m o v ed ,   an d   all  w o r d s   o f   th e   s a m r o o ar g r o u p ed .   T h is   s tag ai m s   to   g i v p r ec is io n   to   th class i f icatio n   p r o ce s s   an d   s av ti m [ 3 4 ] .   A f ter   r e m o v i n g   all  o f   th ap p en d ag es,  th w o r d   is   r etu r n e d   to   th r o o b y   t h r e m et h o d s :   th r o o t - b a s ed   s te m m er ,   t h li g h s te m m er ,   an d   th s tati s tical   s te m m er . ”  T h en   t h d o cu m e n t   is   class i f ied   b ased   o n   th v ec t o r s   f o r   ea ch   d o cu m e n [ 3 0 ] .     2 . 5 . 2.   T ex t   cla s s if ica t io n     T h tr ain in g   p h a s ta k es  p la ce   h er e;  s p ec if ic   alg o r it h m   is   ap p lied   to   th e   w o r d s   o b tain ed   f r o m     th p r ev io u s   s tag e   in   o r d er   to   co m p lete   th e   clas s i f icatio n   p r o ce s s .   Se v er al  co m p ar is o n s   ca n   also   b m ad h er e   b y   u s in g   d i f f er en al g o r it h m   to   clas s i f y   th e   tex an d   t h e n   ch o o s i n g   t h b est  i n   ter m s   o f   p er f o r m a n ce   an d     th r esu lt o f   ac c u r ac y   i n   class i f icatio n   [ 3 0 ] .     2 . 5 . 3.   E v a lua t io n     Af ter w ar d s ,   an d   at  th is   s ta g e,   th ef f ec tiv e n es s   o f   class if ica tio n   is   ev al u ated s ev er al  tec h n iq u e s   ar u s ed ,   b u th m o s f a m o u s   an d   f r eq u e n tl y   u s ed   o n i n   t h class if icatio n   o f   te x t s   is   F1 ,   p r ec is io n   a n d   r ec all”  [ 3 0 ] .       3.   RE S E ARCH   M E T H O D   Fig u r 8   d em o n s tr ate s   th k e y   p h ase s   w f o llo w ed .   Gen er all y ,   r esear ch   q u e s tio n s   w er id en tif ied   th en   w id en ti f ied   t h s ea r ch   s tr ateg y   a n d   th k e y w o r d s   w u s ed   in   o u r   r esear ch .   S u b s eq u en tl y ,   w id en ti f ied   th q u ali t y   a s s es s m en q u esti o n s .   Af ter   th a t,  ex tr ac tio n   o f   t h p ap er s   o cc u r r ed .   I n   th last   s tep ,   w d id   cr itical   an al y s is   o f   th c h o s e n   p ap er s .           Fig u r 8 .    S y s te m atic  r e v ie w   m et h o d o d lo y       3 . 1   Da t a   s o urce   T h is   s tu d y   h as  b eg u n   i n   J an u ar y   2 0 2 0 ,   an d   w in c lu d ed   m o s r esear ch es  f r o m   2 0 1 6   to   2 0 1 9   an d   s o m r esear ch e s   b ef o r t h at  p er io d .   T h d atab ases   w u s ed   f o llo w I E E E ,   Scien ce   Dir ec t,  Sp r in g er ,   AC M.   T h Fig u r 9   s h o w s   th d ata  s o u r ce   an d   th n u m b er   o f   ar ticl es th at  w er u s ed .           Fig u r 9 .   Data   s o u r ce       3 . 2   Sea rc h str a t eg y   T h k e y w o r d s   w u s ed   to   co ll ec t a ll th p r ev io u s   s t u d ies  f o ll o w :   -   “A r ab ic  tex t”  an d   clas s if icati o n ”  an d   “n e u r al  n et w o r k s   -   “A r ab ic  tex t”  an d   clas s if icati o n ”  an d   d ee p   lear n i n g   -   “A r ab ic  s cr ip t”  an d   clas s i f ica tio n ”  an d   d ee p   lear n in g   -   “A r ab ic  s cr ip t”  an d   ta g g i n g ”  an d   d ee p   lear n i ng”   -   “A r ab ic  s cr ip t”  an d   ca teg o r iz atio n ”  an d   d ee p   lear n in g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la W a h d a n )   6635   3 . 3   I nclus io n c rit er ia   I n   th s elec tio n   cr iter ia  s tep ,   in cl u s io n   an d   e x cl u s io n   cr iter ia  w er s et  to   en s u r th at  th e   r esear ch   in cl u d ed   in   th i s   s t u d y   w a s   v al u ab le  an d   r elev a n t a n d   w o u ld   lead   u s   t o   o u r   m ai n   ai m .       3 . 3 . 1.   E x clu s io cr it er ia   -   Mu s t b tex t c la s s i f ica tio n   s t u d y   -   Mu s t b f o r   A r ab ic  tex t c la s s i f icatio n   o n l y   -   Mu s u s n eu r al  n et w o r k   f o r   tex t c las s i f icatio n   -   Mu s t r ep o r t th m o d el  an d   it s   p er f o r m a n ce   m ea s u r es,  f o r   in s tan ce ,   ac cu r ac y   o r   an o t h er   m et r ic   -   Mu s t a d d r ess   s u m m ar y   f o r   th e   co r p u s   u s ed .     3 . 3 . 2.   Select io n c rit er ia   -   P ap er s   n o t f o r   A r ab ic  tex t c las s if ica tio n   -   P ap er   d id n t a d d r ess   th ac c u r ac y     -   P ap er   h ad   n o t b ee n   p u b lis h ed   in   j o u r n al  o r   co n f er en ce   -   P ap er   d id   n o t u s NN     3 . 4   Q ua lity   a s s ess m ent   I n   th i s   p ar t,  w d esig n ed   q u alit y   as s es s m e n q u e s tio n s   to   m ak ch ec k li s f o r   th r e s ea r ch   an d   en s u r th at  it  w o u ld   s ati s f y   t h e   ai m   o f   t h is   s y s te m atic  r ev ie w .   B elo w   ar t h q u est io n s .   Q1 : W as th co r p u s   id en ti f ied   an d   d escr ib ed   w ell?   Q2 : W as th e   co r p u s   id en ti f ied   w ell  r e g ar d in g   th e x te n t o f   tr ain i n g   a n d   test i n g ?   Q3 : W er th tex t c las s if icatio n   ( m o d el  / f r a m e w o r k )   s tep s   d escr ib ed   clea r ly ?   Q4 : D id   th au t h o r   m a k co m p ar is o n s   w it h   tech n iq u es o th er   th an   t h NN  h u s ed ?   Q5 : W as th p er f o r m an ce   o f   t h m o d el  id en ti f ied   clea r l y ?   Scale:  th r ee - p o in t   s ca le   w as   u s ed   in   t h is   ass e s s m e n t.    I f   th p ap er   ad d r ess ed   th q u e s tio n   e x ac tl y ,   it  w o u ld   b g r ad ed   1 ,   an d   if   it  d id   n o ad d r ess   it,  it  w o u ld   b g r ad ed   0 ,   b u if   it  an s w er ed   th q u e s tio n   p ar tiall y ,   it  w o u l d   b g r ad ed   0 . 5 .     T ab le  1   s h o w s   t h r es u l o f   ev al u ati n g   t h r esear ch   u s in g   t h d esi g n ed   ass es s m en t q u esti o n s .         T ab le  1 .   Qu alit y   as s ess m e n t e v alu a tio n   S t u d y   Q1   Q2   Q3   Q4   Q5   T o t a l   P e r c e n t a g e   S1   1   1   1   1   0   4   8 0 %   S2   1   1   1   1   0 . 4   4 . 5   9 0 %   S3   1   1   1   1   1   5   1 0 0 %   S4   1   1   1   1   1   5   1 0 0 %   S5   1   1   1   1   1   5   1 0 0 %   S6   1   1   0 . 5   1   1   4 . 5   9 0 %   S7   1   1   1   0   1   4   8 0 %   S8   1   1   1   1   1   5   1 0 0 %   S9   1   1   1   1   1   5   1 0 0 %   S 1 0   1   0 . 5   1   0   1   3 . 5   7 0 %   S 1 1   1   0 . 5   1   1   0   3 . 5   7 0 %   S 1 2   1   1   0 . 5   1   1   4 . 5   9 0 %       4.   RE SU L T A ND  D I SCU SS I O N   a.   R Q1 :   W h ic h   co r p o r w er m a in l y   u s ed   f o r   A r ab ic  tex class if icatio n ?   W er th ey   o p en   s o u r ce   o r   cr e ated   b y   t h au th o r ?   Fro m   th g r ap h   s h o w n   i n   Fi g u r 01 ,   it  is   clea r   th at  th d o cu m e n t s   th at  w er u s ed   in   t h p r o ce s s   o f   class i f y in g   t h A r ab ic  tex t s   wer m o s t l y   o p en   s o u r ce   an d   n e w s   s ites   w i th   4   s o u r ce s   in   ea ch   ca s e.   So m also   u s ed   b o o k s t w o   r esear ch   p ap er s   ap p lied   th clas s i f icati o n   p r o ce s s   to   u s ed   b o o k s .   On r esear c h   p ap er   class i f ied   g u es r ev ie w s   o f   h o tel,   w h ich   co u ld   b co n s id er ed   to   n o b an   o p en   s o u r ce .   T h at  is ,   th n u m b er   o f   o p en   s o u r ce   r eso u r ce s   i n   t h r esear ch   p ap er s   u n d er   s tu d y   w a s   1 1 ,   an d   t h n u m b er   o f   n o n - o p en   s o u r ce   o n es   w a s   o n l y   o n as s h o w n   i n   T ab le  2 .   b.   R Q2 :   W h ich   co u n tr ie s   f o c u s i n g   o n   p u b lis h i n g   r esear c h es i n   A T C ?   Ma n y   r esear c h er s   f r o m   A r ab   co u n tr ies  w er in ter e s ted   in   s tu d y i n g   an d   p u b lis h in g   r esear ch   r elate d   to   th cla s s i f icatio n   o f   A r ab ic   tex t s .   J o r d an   w as   at  t h f o r ef r o n o f   t h co u n tr ie s   th at  w er cla s s i f ied .     Af ter   th liq u id atio n ,   w o b tain ed   th r ee   r esear ch   p ap er s   o f   r esear ch er s   f r o m   J o r d an ,   th en   s o m f r o m   Mo r o cc o ,   th Un ited   A r ab   E m ir ates,  a n d   th U n ited   S tates   o f   Am er ica  at  r ate  o f   t w o   r esear ch   p ap er s   f r o m   ea ch   co u n tr y .   As  f o r   th le ast  p u b lis h ed   co u n tr ies  in   t h p er io d   id en tif ied   i n   t h i s   r esear ch ,   A l g er ia,     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 2 9   -   6 6 4 3   6636   Sau d A r ab ia,   an d   T u n is ia  q u alif ied ,   w ith   o n r esear c h   p ap er   f r o m   ea ch   co u n tr y .   I is   clea r   th at  th A r ab   co u n tr ies   h av e   s tar ted   to   s t u d y   a n d   p u b li s h   o n   th e   s u b j ec o f   t h c lass if ica tio n   o f   A r ab ic  t ex ts   in   o r d er   to   u s e   th la n g u a g i n   al m o s all  f iel d s .   A l s o ,   th e s co u n tr ies  h av s tar ted   to   u s A r ti f icia I n tel li g en ce   tech n iq u e s   i n   al m o s all  f ield s .   T h er ef o r e,   th A r ab ic  lan g u a g s h o u ld   m ak co n tr ib u tio n   in   t h f ield s   o f   A r ti f icial   I n telli g en ce   a n d   Ma ch i n L ea r n in g .   Fi g u r 1 0   illu s tr ates t h n u m b er   o f   s t u d ied   ar ticles  in   ea ch   co u n tr y .           Fig u r 10 .   co r p o r a   w er m ai n l y   u s ed     in   th s elec ted   p ap er s       T ab le  2 .   Op en   s o u r ce s   co r p o r a   u s ed   an d   p r iv ate  s o u r ce s   S t u d y   N u mb e r   o f   d o c u me n t u se d   S o u r c e   S1   3 1 9 , 2 5 4 , 1 2 4   w o r d s a n d   1 1 1 , 7 2 8   d o c u me n t s1   T h r e e   N e w sp a p e r   O n l i n e   A r t i c l e   S2   2 0 0 K   a r t i c l e s   S A N A D   ( A l a r a b i y a . n e t   ,   a l k h a l e e j . a e   a n d   a k h b a r o n a . c o m   S3   6 9 3 k   b o o k s   B R A D   ( A r a b i c   C o r p u s   i n   G i t h u b )   S4   5 0 7 0   d o c u me n t   C N N   A r a b i c   n e w s   S5   1 6 K   d o c u me n t s   A l j a z e e r a h . n e t   a n d   A l h a r b i   S a u d i   p r e s s a g e n c y   S6   1 4 0 0   d o c u me n t s   A l j a z e e r a   n e w w e b si t e ,   S a u d i   P r e ss A g e n c y .     S7   1 5   K   t w e e t   A r a S e n T i   S8   4 5 3   H a d i t h   C o l l e c t i o n   o f   P r o p h e t   b e   u p o n   h i m ( )   h a d i t h   f r o m t h e   N i n e   b o o k e n c y c l o p e d i a   S9   1 0 6 5   H a d i t h   C o l l e c t i o n   o f   P r o p h e t   b e   u p o n   h i h a d i t h   (   S 1 0   2 2 , 4 2 9   d o c u me n t s   O p e n   S o u r c e   A r a b i c   C o r p o r a   ( O S A C )   S 1 1   1 1   b o o k s   1 0   T a sh k i l a   b o o k a a   c o l l e c t i o n   f r o I sl a mi c   h e r i t a g e   b o o k   A n d   H o l y   Q u r a n   S 1 2   2 2 9 1   r e v i e w s t e x t s   6 0 2 9   a n n o t a t e d   se n t e n c e s   A r a b i c   H o t e l s’   r e v i e w s             Fig u r 1 1 .   C o u n tr ie s   p u p lis i h i n g   r ea s r ac h   in   A r ab ic  t e x c las s if ica tio n       c.   R Q3 :   W h ic h   d atab ase  h av m o r p u b licatio n s ?   A cc o r d in g   to   th c h ar b elo in   Fi g u r 1 2 ,   n u m b er   o f   w ell - k n o w n   s cien tific   j o u r n al s   p u b lis h ed   r esear ch   r elate d   to   t h clas s i f icatio n   o f   A r ab ic  tex ts .   I E E E   w a s   at  th f o r ef r o n t.  6 0   r esear ch   p ap er s   w er o b tain ed   f r o m   I E E E ,   4 0   w er o b tain ed   f r o m   Sp r in g er ,   an d   1 7   w er o b tain ed   f r o m   A C M.   As  f o r   th s c ien ti f i c   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       A   s ystema tic  r ev ie w   o f te xt  cla s s ifica tio n   r esea r ch   b a s ed   o n   . . .   ( A h la W a h d a n )   6637   j o u r n als  in   w h ic h   t h n u m b er   o f   p u b lis h ed   p ap er s   o n   th t o p ic  w as  s m a ll,  th e y   w er E m er ald   an d   E ls e v ier   w it h   8   an d   4   r esear ch   p ap er s   o n   av e r ag e,   r esp ec ti v el y .   T h r ea s o n   f o r   I E E E s   p o s itio n   at  th to p   w a s     th h o ld in g   o f   n u m b er   o f   co n f er e n ce s   w i th   th i s   f o cu s ,   w it h   m an y   r esear ch er s   p ar ticip ati n g   in   t h i s   f ield   w it h   th eir   r esear ch   p ap er s .   I n   all  c ases ,   th s u b j ec o f   th c lass if icatio n   o f   A r ab ic  te x ts   i s   s til u n d er   d ev elo p m e n t   w h e n   co m p ar ed   to   th at  o f   o th e r   lan g u ag e s ,   s u ch   a s   E n g lis h   a n d   Sp an is h .           Fig u r 1 2 .   Nu m b er   o f   A r ticles   b ased   o n   s cien ce   j o u r n al s       d.   R Q4 :   Du r i n g   w h ic h   y ea r s   w as   th er m o r f o cu s   o n   A T C ?   B ased   o n   th g r ap h   ill u s tr ate d   in   Fig u r 1 3 ,   th p er io d   f r o m   2 0 1 7   to   2 0 1 9   w it n e s s ed   s ig n i f ica n t   d ev elo p m en in   th f ield   o f   A r ab ic  tex clas s i f icatio n   r e s ea r ch .   Si x   r esear ch   p ap er s   w er d is tr ib u ted   b et w ee n   2 0 1 8   an d   2 0 1 9 ,   th at  is ,   th r ee   r esear ch   p ap er s   f o r   ea ch   y ea r .   I n   th p er io d   b et w ee n   2 0 1 3   a n d   2 0 1 6 ,   o n ly   f o u r   r esear ch   p ap er s   w er s t u d ied th e y   w er d is tr ib u ted   as  f o llo w s o n ar ticle  i n   2 0 1 5   a n d   th r ee   in   2 0 1 6 .     On l y   t w o   r esear c h   p ap er s   w e r o b tain ed   b etw ee n   2 0 0 9   an d   2 0 1 2 .   Fr o m   t h d ata  w h a v e,   it  is   clea r   th at  r esear ch   in ter est  i n   t h f ie ld   o f   t h clas s if icatio n   o f   A r ab ic  t ex ts   i s   s tar ti n g   to   in cr ea s d u e   to   th i m p o r ta n ce   o f   th A r ab ic  lan g u ag e,   it s   u s e   in   m o r th a n   o n f ield ,   an d   its   u s i n   m o r A r ab   I s la m ic   co u n tr ies.           Fig u r 1 3 .   Nu m b er   o f   a r ticles  s elec ted   p er   y ea r       e.   R Q5 W h at   w er t h t y p e s   o f   n eu r al  n et w o r k   al g o r ith m s   u s ed   to   class if y   A r ab ic  te x ts ?   An d   w h ic h   o n e   w a s   m o s t u s ed ?   Ma n y   t y p es  o f   n e u r al  n et w o r k s   w er u s ed   i n   p r ev io u s   r esear ch .   T h e y   in cl u d ed   co n v o l u tio n al  n e u r al   n et w o r k s   ( C NN) ,   r ec u r r en n eu r al  n et w o r k s   ( R NN) ,   B ir NN ,   L ST M,   th d ee p   b elie f   n et w o r k   ( DB N) ,   b ac k p r o p ag atio n   au to e n co d er   ( B P NN) ,   th m u ltil a y er   p er ce p tr o n   ( ML P ) ,   an d   f ee d   f o r w ar d   n eu r al  n et w o r k s   ( FF NN) .     L ST an d   C NN  w e r th m o s u s ed   n e u r al  n et w o r k s .   B o th   w er u s ed   in   f o u r   s t u d ies.  L ST w er e   u s ed   i n   [ 4 7 - 50] .   C o n v o lu tio n al  n e u r al  n et w o r k s   ( C NN)   w er u s ed   to   clas s if y   A r a b ic  tex i n   [ 5 0 - 53] .   R ec u r r en n e u r al  n et w o r k s   ( R NN)   w er u s ed   i n   o n l y   o n s tu d y   [ 5 2 ] .   I n   th is   s tu d y ,   t h a u th o r   al s o   tr ied   to   b u ild   en s e m b le  m et h o d s ,   w h ic h   co m b i n ed   R N w it h   C NN,   i n   o r d er   to   i m p r o v ef f icie n c y .   I n   th e   s a m s tu d y ,   an o th er   m o d el  w a s   b u il u s in g   s p ec ial  t y p o f   R NN:  B i R N N.     T h r ee - la y er   f ee d - f o r w ar d   NN  h a v b ee n   u s ed   t w ice  i n   [ 4 0 ]   an d   in   [ 5 4 ] .   B u t,  in   [ 5 5 ] ,   th m u l tila y er   p e r ce p tr o n   ( ML P )   w as  u s ed   as   p ar o f   3 - la y er     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   6 Dec em b er   2 0 2 0     6 6 2 9   -   6 6 4 3   6638   f ee d - f o r w ar d   NN.   T h d ee p   b elief   n et w o r k   ( DB N)   w as   o n l y   u s ed   i n   o n s tu d y   [ 5 6 ] .   B ac k p r o p ag atio n   au to en co d er   w as  u s ed   j u s o n ce   in   [ 5 7 ] .   Fig u r 1 4   s h o w s   t h t y p es  o f   NN  an d   h o w   m an y   ti m e s   it  h as  b ee n   u s ed   in   all  r ev ie w ed   p ap er s .   T ab le   3   s h o w s   t h r ef er en ce s   f o r   ea ch   t y p o f   n e u r al  n et w o r k   f o u n d ed   in   ea c h   p ap er .   T h p ap er s   d id   n o m e n tio n   th e   r ea s o n   b e h in d   c h o o s in g   t h ese  t y p es  o f   NN.   W b el iev t h at  t h r ea s o n   s h o u ld   b s tated .           Fig u r 1 4 .   T y p es o f   N N       T ab le  3 .   T y p es o f   NN   Ty p e o f   N N   R e f e r e n c e s   C N N   [ 4 7 - 5 0 ]     L S T M   [ 5 0 - 5 3 ]   R N N   [ 5 2 ]   C N N   &   R N N   [ 5 2 ] .   F e e d   f o r w a r d   N N   ( F F N N )   [ 4 0 ,   5 4 ]   M L P   [ 5 5 ]   D B N   [ 5 6 ]   B a c k p r o p a g a t i o n   A u t o _ e n c o d e r   3   l a y e r s (BPN N )   [ 5 7 ]       f.   R Q6 : W h at  w er th e f f icie n c y   m ea s u r e s   u s ed ?      T h ef f icie n c y   m ea s u r m ai n l y   u s ed   i n   th e s s t u d ies  was  p r i m ar il y   ac c u r ac y t h o th er s   u s ed   in cl u d ed   R ec all,   F - m ea s u r e,   an d   P r ec is io n   a s   s h o w n   i n   Fi g u r 1 5 .   A cc u r ac y   w as  u s ed   in   8   s tu d ie s   i n   o u r   s y s te m a tic  r ev ie w   as  s h o w n   in   T a b le  4 ,   b u n o all  o f   th ese  s t u d ies  id en ti f ied   it  w ell.     A c cu r ac y   w as  id en ti f ied   w ell  a n d   th r esear c h er s   clea r e d   th d ef in itio n   o r   th eq u at io n   in   o n l y   f o u r   s t u d ies :   [ 4 8 - 5 0 ,   5 7 ] .   T h R ec all  ef f icie n c y   m ea s u r ca m i n   s ec o n d   p o s itio n it   w as  u s ed   in   f i v s t u d ies.  P r ec is io n   an d     F - m ea s u r w er th e   least   u s e d th e y   w er u s ed   in   o n l y   4   s t u d ies.  T ab le  4   s h o w s   t h e f f ic ien c y   m ea s u r t h at   u s ed   in   ea c h   p ap er .           Fig u r 1 5 .   E f f icie n c y   m ea s u r e s     Evaluation Warning : The document was created with Spire.PDF for Python.