I nte rna t io na l J o urna l o f   I nfo rm a t ics a nd   Co m m un ica t io n T ec hn o lo g y   ( I J - I CT )   Vo l. 9 ,   No . 3 ,  Dec em b er   2 0 2 0 ,   p p .   15 7 ~ 1 70   I SS N:  2252 - 8 7 7 6 ,   DOI : 1 0 . 1 1 5 9 1 /iji ct. v 9 i3 . p p 1 5 7 - 1 70          157       J o ur na l ho m ep a g e :  h ttp : //ij ict. ia esco r e. co m   Im pro v ed ICH I  s qua re f ea t ure sel e ction met ho d f o r  Ara bic  cla ss ifiers       H a deel  N.   Als ha er ,   M o ha m m ed  A.   O t a ir,   L a it h Abua lig a h   F a c u lt y   o f  C o m p u ter  S c ien c e s a n d   In f o rm a ti c s,  Am m a n   Ara b   Un iv e rsity ,   Jo r d a n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   23 ,   2 0 20   R ev is ed   Mar   3 ,   2 0 20   Acc ep ted   Mar   2 0 ,   2 0 20       F e a tu re   se lec ti o n   p ro b lem   is  o n e   o f  t h e   m a in   im p o rtan t  p ro b lem s  in   t h e   tex t   a n d   d a ta  m in i n g   d o m a in .   T h is  p a p e r  p re se n ts  a   c o m p a ra ti v e   st u d y   o f  fe a tu re   se lec ti o n   m e th o d s  f o r  Ara b ic  tex t   c las sifica ti o n .   F iv e   o f  th e   fe a tu r e   se lec ti o n   m e th o d s  we re   se lec ted :  ICHI  sq u a re ,   CHI  sq u a re ,   In fo rm a ti o n   G a in ,   M u tu a l  In fo rm a ti o n   a n d   Wr a p p e r.   It  wa s  tes ted   with   fi v e   c las sifica ti o n   a lg o rit h m s:  Ba y e s Ne t,   Na iv e   Ba y e s,  Ra n d o m   F o re st ,   De c isio n   Tree   a n d   Artifi c ial  Ne u ra l  Ne two rk s.  In   a d d it io n ,   Da ta Co ll e c ti o n   wa s u se d   in   Ara b ic c o n sisti n g   o f  9 0 5 5   d o c u m e n ts,   wh ich   we re   c o m p a r e d   b y   f o u r   c rit e ria:  P re c isio n ,   Re c a ll ,   F - m e a su re   a n d   Ti m e   to   b u il d   m o d e l.   Th e   re su lt s  sh o we d   t h a t  th e   imp ro v e d   I CHI fea tu re   se lec ti o n   g o t  a lmo st  a ll   th e   b e st r e su lt s in   c o m p a riso n   with   o t h e r   m e th o d s.   K ey w o r d s :   C las s if icatio n   alg o r ith m s   Featu r e  s elec tio n   m eth o d s   T ex t c lass if icatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   L aith   Ab u alig ah ,   Facu lty   o f   C o m p u ter   Scien ce s   an d   I n f o r m atics,    Am m an   Ar ab   Un i v er s ity ,   J o r d an   Stre et – Mu b is ,  Am m a n - J o r d an .   E m ail:  lx . 8 9 @ y ah o o . co m       1.   I NT RO D UCT I O N   R esear ch   an d   d ev elo p m en t  in   th e  s cien ce   o f   in f o r m ati o n   r etr iev al  an d   d ev el o p m e n t  in   th e  tech n o lo g y   u s ed   h as  in cr ea s ed   in   m an y   ap p licatio n s   in   v a r io u s   d ata  s u ch   as  tex ts ,   im ag es,  s o u n d   . . .   etc.   T h ese  d ata  ar e  tex tu al  in   d if f er e n t  lan g u ag es,  an d   h er e  we  s p ea k   th e  Ar ab ic  lan g u a g e  as  th e  Ar ab ic  lan g u ag e   f lo u r is h ed   in   t h e  f ield   o f   in f o r m atio n   r etr ie v al  an d   s p ec if ical ly   in   th e  f ield   o f   class if icatio n   [ 1 ] .   T h is   b o o m   h as   led   r esear ch er s   to   r esear ch   an d   d e v elo p   p r o p er ties   th at   im p r o v e  r esu lts   an d   im p r o v e   ef f ici en cy .     I n f o r m atio n   R etr iev al  ( I R )   is   a  f ie ld   o f   co m p u ter   s cien ce   o f   g r ea t im p o r tan ce   in   o u r   tim e  b ec au s e  o f   t h e  i n cr ea s in g   v o lu m e   o f   in f o r m atio n   [ 2 ] .   T h is   in f o r m atio n   m ay   n ee d   to   b e  a r r an g ed   an d   class if ied   s o   th at  it  ca n   b e  ea s ily   r etr iev ed .   T ex t  class if icatio n   ( T C )   a  p r o ce s s   th at  h as  b ee n   e m er g ed   in   an   im p o r tan t  m a n n er   in   v ar i o u s   f ield s ,   esp ec ially   in   ar ea s   o n   th e   I n ter n et  [ 3 ] .   T ex t  m in in g   is   a  tex tu al  an aly s is   o f   d ata  in   n atu r al  lan g u ag e  tex t  an d   s ee k s   to   ex t r ac t  u s ef u l  in f o r m atio n   f r o m   tex tu al  d ata   [ 4 ] .   I n   ad d itio n ,   te x t  m in in g   h elp s   o r g a n izatio n s   ex tr ac t  v alu ab le  id ea s   f r o m   d o cu m e n t  co n ten t .   T ex t  m in i n g   p r o ce s s   u s ed   to   in c r ea s e  th e  ef f icien cy   o f   t h e  tex t  r etr iev al  p r o ce s s   b y   d is co v er in g   p atter n s   in   th e  te x t  an d   th e  r elatio n s h ip s   b etwe en   th em   to   h elp   th e  r etr iev al  o f   tex ts   co r r ec tly   [ 5 ] .   T h e  m o s t  im p o r tan t  a p p licatio n s   o n   T ex t  Min in g   a r e:  I R ,   I n f o r m atio n   E x tr ac tio n ,   C lass if icatio n   an d   Natu r al  L an g u ag e   Pro ce s s in g   ( NL P).   Me an in g   it   ex tr ac ts   u s ef u l  in f o r m atio n   f r o m   a   lar g e   am o u n t  o f   d ata   to   r ep lace   d ata  an d   in f o r m atio n   s ea r ch   p r o b lem s   [ 6 ] .   T h er e  ar e  m an y   p r o ce s s es  th at  ca n   b e  s ea r ch ed   f r o m   th e   d ata  co llectio n   u s ed   th r o u g h   th e  p r e - p r o ce s s in g   to   th e  class if icatio n   p r o ce s s   as  p r e - p r o ce s s in g   co n tain s   s ev er al  s tep s   [ 7 ,   8 ] ,   i n clu d in g :   T o k en izatio n ,   No r m aliza tio n ,   Sto p wo r d   r e m o v al  a n d   Stem m in g .   T h er e  ar e  s ev e r al  alg o r ith m s   in   th es e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  9 ,   No .   3,   Dec em b e r   20 20 :  15 7   –   1 70   158   p r o ce s s es.  I n   ad d itio n   to   th is   t h er e  is   a  s tag e  ca lled   f ea tu r e  s elec tio n   s tep   an d   th er e  ar e  s ev er al  alg o r ith m s   th at  d o   th is   p r o ce s s   an d ,   in   th is   r esear ch ,   will  talk   ab o u t  s o m e  alg o r ith m s ,   n am ely :  C HI   s q u ar e,   I C HI   s q u ar e,   I n f o r m atio n   Gain ,   Mu tu al  I n f o r m atio n   an d   W r ap p er .   W h er e  th ey   will  b e  co m p ar ed   in   th eir   u s e  with   th e   class if icatio n   p r o ce s s   an d   u s in g   s ev er al  alg o r ith m s   class if i ca tio n :  B ay es  Net,   Naiv e  B ay es,  R an d o m   Fo r est,  Dec is io n   T r ee   an d   Ar tific ial  Neu r al  Netwo r k s .   T h e  r esu lts   wil l  b e  co m p ar ed   b ased   o n   s ev er al  cr iter ia:  Pre cisi o n ,   R ec all,   F - m ea s u r e   an d   T im e  to   b u ild   m o d el  .   T h ese  alg o r ith m s   will  b e   test ed   u s in g   t h e  p r e - p r o ce s s in g   s tep ,   T o k e n izatio n ,   No r m aliza tio n ,   Sto p w o r d   r e m o v al  an d   Stem m in g   with   f e atu r e  s elec tio n   s tep   an d   with o u t  u s in g   th e   p r e - p r o ce s s in g   s tep .   T h ese  p r o ce s s es  ar e  u s ed   in   d ata  m in i n g   ap p licatio n s   a n d   ex am p les  o f   im p o r tan t  ap p lic atio n s   in   d ata  m in in g :  Natu r a l  L an g u ag e  Pro c ess in g   ( NL P),   C lass if icatio n   an d   I n f o r m atio n   E x tr ac tio n   [ 9 ,   1 0 ] .   Featu r e  s elec tio n   p r o b lem   is   o n e  o f   th e  m ain   im p o r tan t   p r o b lem s   in   th e  tex t  an d   d ata  m in in g   d o m ain .   Featu r e  s elec tio n   is   a   co m m o n   p r o b lem   u s ed   in   m a n y   d ata   m in in g   ar ea s ;  it  is   u s ed   to   elim in ate  t h e  ir r elev an t  f ea tu r e  f o r   r e d u cin g   th e  n u m b er   o f   s elec ted   f ea t u r es  an d   in cr ea s in g   th e  c o m p u tatio n al  tim e.   T h is   p ap er   p r esen ts   a  co m p a r ativ e   s tu d y   o f   f ea tu r e  s el ec tio n   m eth o d s   f o r   Ar ab ic  tex t  class if icatio n .   Fiv e  o f   th e   f ea tu r e  s elec tio n   m eth o d s   wer e  s elec ted :  I C HI   s q u ar e,   C H I   s q u ar e,   I n f o r m atio n   Gain ,   Mu tu al  I n f o r m atio n   an d   W r ap p er .   I t  was  test ed   with   f iv e  class if icatio n   alg o r ith m s :  B ay es  Net,   Naiv e  B ay es,  R an d o m   Fo r est,  Dec is io n   T r ee   an d   Ar tific ial  Neu r al  Netwo r k s .   B esid es,  D ata  C o llectio n   was  u s ed   in   A r ab ic  co n s is tin g   o f   9 0 5 5   d o cu m en ts ,   wh ich   wer e   co m p ar e d   b y   f o u r   cr iter ia:  Pre cisi o n ,   R ec all,   F - m ea s u r e  an d   T im e  to   b u ild   m o d el.   T h e  r esu lts   s h o wed   t h at  th e  im p r o v e d   I C HI   Sq u ar e   Featu r e  Selectio n   Me th o d   f o r   Ar ab ic  C lass if ier s   g o t  b etter   r esu lts   in   alm o s t  a ll  test   ca s es  in   th is   p ap er .   F u r th er m o r e,   t h e  im p r o v e d   I C HI   Sq u ar e   Featu r e  Selectio n   Me th o d   f o r   Ar a b ic   C las s if ier s   is   co m p ar ed   to   o th er   well - k n o wn   f ea tu r e  s elec tio n   m eth o d s   an d   class if icatio n   alg o r ith m   an d   it  s h o ws  its   s u p er io r   ab ilit y   in   s o lv in g   th e  f ea t u r e  s elec tio n   p r o b lem s .   T h e  r est  o f   th is   p ap er   is   o r g an ized   as  Sectio n   2   p r esen ts   th e  liter atu r e  r ev iew  f o r   m o r e   r elat ed   wo r k s ,   t h e  tex t  p r ep r o ce s s in g ,   th e  f ea tu r e  s elec tio n   m eth o d s ,   an d   th e  ev al u atio n   cr iter ia.   Sectio n   3   p r e s en ts   ex p er im en ts   r esu lts   an d   an aly s is .   Fin ally ,   Sectio n   4   p r esen ts   co n clu s io n s   an d   f u t u r e  r esear ch .       2.   L I T E R AT U RE   R E VI E W   2 . 1 .     Da t a   c o llect io n   Data   co llectio n   h as  b ee n   co m p iled   f r o m   s ev e r al  Ar ab   n ews p ap er s   an d   m a g az in es.  I t  co n s is ts   o f   9 0 5 5   d o cu m e n ts   class if ied   in to   1 2   ca teg o r ies:   Ar t  &   C u ltu r e,   E co n o m y ,   E d u ca tio n ,   E n g in e er in g ,   L aw,   L o ca l ,   Me d icin e,   Miscellan eo u s ,   Po li tics ,   R elig io n ,   Scien ce   an d   T e ch n o lo g ical,   T ab le  1   s h o ws  th e  d ata  co llectio n   in   d etail.   E ac h   d o c u m en t c o n s is ts   o f   7 5 - 1 3 0   wo r d s   o r   m o r e   [ 1 0 ] .       T ab le  1 .   Ar a b ic  d ata  co llectio n   N o .   C l a s s Nam e   N o .   o f   D o c u me n t   1   A r t   & C u l t u r e   7 0 0   2   Ec o n o my   1 0 8 2   3   Ed u c a t i o n   5 5 0   4   En g i n e e r i n g   5 7 0   5   La w   8 0 0   6   Lo c a l   4 5 0   7   M e d i c i n e   6 0 0   8   M i s c e l l a n e o u s   4 6 0   9   P o l i t i c s   1 1 4 5   10   R e l i g i o n   1 0 7 8   11   S c i e n c e   7 7 0   12   Te c h n o l o g i c a l   8 5 0   To t a l     9 0 5 5       2 . 2 .     P re - pro ce s s ing     2 . 2 . 1 .   O v er v iew   Pre - p r o ce s s in g   is   a  v er y   im p o r tan t  s tep   in   d ata  m in in g   o p er atio n s   as  it  s u p p o r ts   th e  r esu lts   an d   in cr ea s es  th eir   ef f icien cy   s o   it  is   v er y   im p o r tan t  to   g o   th r o u g h   th is   s tep   b ef o r e  an y   p r o ce s s .   I n   th is   r esear ch ,   we  will  u s e  f o u r   p r o ce s s es  o f   p r e - p r o ce s s in g   t o   im p r o v e  th e  class if icatio n   p r o ce s s   an d   th ese  p r o ce s s es  ar e:   T o k en izatio n ,   No r m aliza tio n ,   Sto p wo r d   r em o v al  an d   Stem m in g .   Fig u r e  1   s h o ws  th e  s tep s   o f   th is   p h ase  f r o m   d ata  co llectio n   to   class if icatio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       I mp r o ve d   I C HI   s q u a r e  fea tu r e   s elec tio n   meth o d   fo r   A r a b ic  c la s s ifie r s   ( Ha d ee l N )   159       Fig u r e  1 .  Pre - p r o ce s s in g   life   c y cle       2 . 2 . 2 .   T o k eniza t io n    At  th is   p h ase,   th e  s en ten ce s   ar e  cu t  in to   a   s er ies  o f   wo r d s ,   d e p en d in g   o n   th e  wh ite  s p ac e   b e twee n   th e   wo r d s ,   to   f ac ilit ate  th e  co m p ilatio n   o f   wo r d s   b elo n g in g   to   th e  s am e  ca teg o r y .   T h ey   ar e   s eg m en ted   in to   a  s er ies  o f   k ey wo r d s ,   p h r ases ,   etc. ,   w h e r e  s o m e  c h ar ac t er s   an d   s y m b o ls   s u ch   as  p u n ctu atio n   in   t h e   T o k en izatio n   p r o ce s s   ar e  ig n o r ed .   T h is   s er ies  b ec o m es  in p u t  in to   an o th er   p r o ce s s   s u ch   as   d ata  an aly s is   an d   d ata  m in in g .   T o k e n izatio n   is   a ls o   a  lan g u ag e  t y p e  an d   th is   p r o ce s s   is   v er y   im p o r tan t i n   d ata   m in in g   to o ls   [ 1 1 ] .     2 . 2 . 3 .   No rma liza t io n   T h is   p h ase  co n v er ts   th e  s et  o f   wo r d s   an d   s en ten ce s   in to   m o r e  co m p lex   an d   m o r e  p r ec is e  s en ten ce s ,   s o   th at  th e  p r o ce s s   o f   p r o ce s s in g   is   ea s y   an d   d ata  h an d lin g   e asier .   No r m aliza tio n   im p r o v es  tex t  m atch in g   an d   im p r o v es  r etr iev al  b y   tak in g   s y n o n y m s   f o r   m ea n in g f u l  wo r d s   to   p r o d u ce   th e  b est  r esu lts   an d   h ig h er   ef f icien cy .   Fo r   ex am p le,   in   th i s   p r o ce s s   th e  u n - d o tted   Ar ab ic   letter   ( ى )   r ep lace   to   th e  d o tted   letter   ( ي )  [ 1 2 ] .     2 . 2 . 4 .   Sto pwo rd  re m o v a l   T h is   p h ase  r em o v es  th e  s to p wo r d   f r o m   th e  d o cu m en t  wh er e  th e  s to p wo r d   h as  n o   m e an in g   lik e   p r o n o u n s ,   v o wels  an d   th e  lik e .   T h at  is ,   at  th is   p o in t  s to p wo r d   r em o v al,   wo r d s   an d   s y m b o l s   th at  d o   n o t  af f ec t   th e  m ea n in g   ar e  r em o v e d   an d   th u s   im p r o v e  th e  r esu lts   o f   th e  r etr iev al  an d   class if icatio n   p r o ce s s es.  E x am p les  ar e  ico n s   ( @ ,   # ,   ! ,   $ , %,  & ,   * ,   ^,   +,   - ,   . . . . ) .   T h e  p r ep o s itio n   (   ن ع   ، يف  ، ىلع .... ) ,   an d   t h e  ad v e r b s   (   تح ت   ، ق وف .... )  [ 1 3 ] .     2 . 2 . 5 .   Ste mm ing   T h e  s tem m in g   p r o ce s s   is   im p o r tan t  to   f in d   th e   r o o t  o f   th e  wo r d ,   t o   r e d u ce   th e   s ize  o f   th e  d o c u m en t   b y   r em o v in g   th e   Pre f ix   a n d   S u f f ix es  in   ad d itio n   to   r em o v i n g   th e   in cr ea s e  ch a r ac ter s   s u ch   as  ( ى  ، و  ، أ ) .   T h e   p r o ce s s   o f   s tem m in g   is   b y   p r e - p r o ce s s in g   th e   in f o r m atio n   r etr iev al  an d   also   f ac ilit ates  s ea r ch es  in   s ea r ch   en g in es th u s   in cr ea s in g   th e  r es u lts   [ 1 4 ] .     2 . 3 .     F e a t ure  s elec t io n m et ho ds   2 . 3 . 1 .   O v er v iew   T h e  f ea tu r e  s elec tio n   p r o ce s s   is   im p o r tan t  t o   r e d u ce   t h e  am o u n t  o f   u n wan ted   d ata   an d   to   m ain tain   th e  m o s t  im p o r tan t  d ata .   T h e  f ea tu r es  ar e  d ef in e d   ac co r d in g   to   p r e d ef in ed   c r iter ia  an d   a r e  a  p r e - p r o ce s s in g   s tag e  an d   ar e  im p o r tan t in   im p r o v in g   th e  class if icatio n   p r o ce s s .   F ig u r e  2   s h o ws th e  s tag es   i n   th e  class if icatio n   p r o ce s s   u s in g   f ea tu r e   s elec tio n   m eth o d s .           Fig u r e  1 .   Featu r e   s elec tio n   life   cy cle   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  9 ,   No .   3,   Dec em b e r   20 20 :  15 7   –   1 70   160   2 . 3 . 2 .   CH I   s qu a re   I s   a  s tati s tical  m eth o d   b y   s elec tin g   r an d o m   d ata  an d   d e p en d s   o n   two   in d ep e n d en t  v a r iab les  o r   v ar iab les  f r o m   th e  d ata  s am p l e  an d   is   co n s id er ed   as  a  f ea tu r e  s elec tio n   m eth o d .   C HI   s q u ar e  is   an   im p o r tan t   p r e - p r o ce s s in g   in   th e  class if icatio n   p r o ce s s   an d   C HI   s q u ar e  is   u s ed   in   th e  class if icatio n   s y s tem   [ 1 5 ] .     2 . 3 . 3 .  I m pro v ed  CH I   s qu a re   ( I CH I )   I C HI   is   a  d ev elo p m en t  o f   th e  C HI   s q u ar e  m eth o d   a n d   is   d o n e  b y   im p r o v in g   th e  b asic   p r o p e r ties   wh er e  I C HI   s q u ar e  is   an   ex ten s io n   o f   th e  o r ig in al  C HI   s q u ar e  m eth o d .   I C HI   s q u ar e  h as  b ee n   u s ed   with   C h in ese  lan g u ag e.   T h e   r esu lts   h av e  p r o v ed   ef f ec tiv e  in   u s in g   I C HI   s q u ar e  with   C h in ese  lan g u ag e.   [ 1 6 ]   I n   ad d itio n ,   I C HI   s q u ar e  was  u s ed   in   Ar ab ic  u s in g   s ev er al  alg o r ith m s :  B ay es  Net,   Naïv e  B ay es,  Naïv e  B ay e s   Mu ltin o m ial,   R an d o m   Fo r est,   Dec is io n   T r ee   an d   Ar tific ial  Neu r al  Netwo r k s .   T h e  r esu lts   p r o v e d   ef f ec tiv e  in   u s in g   Ar ab ic  [ 1 7 ] .     2 . 3 . 4 .   I nfo rm a t io n  g a in  ( I G )   I n f o r m atio n   Gain   is   b ased   o n   th e  m ea s u r e m en t  o f   th e  n u m b er   o f   b its   g ain ed   b y   th e  i n f o r m atio n   o b tain ed   b y   p r ed ictin g   th e   ca t eg o r y   b y   th e   p r esen ce   o f   th e  w o r d   o r   n o t i n   th e  d o cu m e n t [ 1 8 ] .     2 . 3 . 5 .   M utua l  info rm a t io n  ( M I )   Mu tu al  in f o r m atio n   is   b ased   o n   th e  f ac t  th at  in f o r m atio n   ex ch an g e d   is   a  m ea s u r e  o f   d ep en d en ce   b etwe en   v ar iab les,  s in ce   th e  in f o r m atio n   ex ch a n g ed   is   a  m ea s u r e  o f   in f o r m atio n   th at  is   ( p o s s ib ly   m u lti - d im en s io n al) .   W h er e  th e  a m o u n t  o f   in f o r m atio n   o b tai n ed   is   d eter m in ed   b y   o n e   o r   m o r e  r an d o m     v ar iab les [ 1 9 ] .     2 . 3 . 6 .   Wra pp er   W r ap p er   Alg o r ith m   is   b ased   o n   th e  u s e  o f   lear n in g   alg o r i th m s   wh er e  it  s elec t s   r elev an t  f ea tu r es  b ased   o n   th e  p er f o r m an ce   o f   lear n in g   alg o r ith m s .   I n   a d d iti o n   to   th at  th e  p r o ce s s   o f   tr ain in g   th e  m o d el  with   d if f er en t  f ea tu r es,  o r   s elec tin g   th e  f ea tu r es  th at  lead   to   th e  b est  r esu lts   o u t  o f   th e  m o d el  an d   b e  an   ex am p le  o f   a  co m p lex   m o d el  o f   s ev er al  f e atu r es r elate d   to   ea ch   o th er   [ 2 0 ] .     2 . 4 .     Ara bic  t e x t   cla s s if iers   2 . 4 . 1 .   O v er v iew   I n   o r d er   to   ca r r y   o u t  th e  clas s if icatio n   p r o ce s s ,   we  n ee d   al g o r ith m s   th at  p er f o r m   th e   class if icatio n   p r o ce s s   th r o u g h   th e  class if icatio n   p r o ce s s   th r o u g h   th e  tr ain in g   p r o ce s s   b ased   o n   a  d ata  s et  c ateg o r ized   in to   th e   test in g   p r o ce s s   o f   a  n ew  tex t  an d   d is tin g u is h   it  in to   wh ich   ca teg o r y   b elo n g s .   As  th e  clas s if icatio n   p r o ce s s   i s   s u p er v is ed   lear n in g   an d   is   s et  to   in p u t.  Fig u r e  3   s h o ws T ex t  C las s if icatio n   s y s tem .           Fig u r e  2 .   C lass if icatio n   s y s te m       2 . 4 . 2 .   B a y es  net   ( B N)   B ay es  Net  clas s if ier   is   a  m o d el  th at  r ef lects  s itu atio n s   th at  ar e  p ar t  o f   th e  B ay es  Net  class if ier   an d   h o w  th ey   r elate   t o   ea ch   o t h er .   T h is   m o d el  m ay   b e  r elate d   to   an y   en tity   in   t h is   wo r ld   an d   ca n   b e  r e p r esen ted   b y   B N  cla s s if ier   an d   all  en titi e s   o cc u r   f r eq u en tly   wh en   an o t h er   en tity   ex is ts .   T h is   m o d el  is   v er y   im p o r tan t  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       I mp r o ve d   I C HI   s q u a r e  fea tu r e   s elec tio n   meth o d   fo r   A r a b ic  c la s s ifie r s   ( Ha d ee l N )   161   b ec au s e  it  h elp s   u s   to   p r ed ic t  th e  r esu lts   o f   th e  en tity   in   th is   wo r ld   an d   it  is   ea s y   to   r ep r esen t  th e  en tity   th r o u g h   th is   m o d el  [ 2 1 ] .   2 . 4 . 3 .   Na ïv e  ba y es  ( NB )   Naiv e  B ay es  clas s if ier   is   b ase d   o n   B ay es  T h e o r e m ,   wh er e  NB   is   ea s y   to   b u ild   an d   v e r y   u s ef u l  with   lar g e  d ata.   Desp ite  th e  ea s e  o f   b u ild in g   th e  NB   m o d el  it  o u tp er f o r m s   m an y   o f   th e   wo r k b o o k s   in   th e   class if icatio n   p r o ce s s   [ 1 1 ] .   I n   th e  NB   an aly s is   p r o ce s s ,   th e  f in al  class if icatio n   is   p r o d u ce d   b y   c o m b in in g   all  s o u r ce s   o f   in f o r m atio n .   T h e  m o d el  is   cr ea ted   b ased   o n   tr ain in g   d ata  to   class if y   th e  d o cu m en t  in to   a n y   ca teg o r y   [ 2 1 ] .     2 . 4 . 4 .   Ra nd o m   f o re s t   ( RF )   R an d o m   Fo r est  C lass if ier   is   a  s et  o f   class if icat io n   alg o r ith m s   th at  ar e  wid ely   u s ed   in   m an y   ap p licatio n s ,   esp ec ially   with   th e  lar g e  d ata  s et  d u e  to   its   ch ar ac ter is tic  p r o p er ties .   T h e  R an d o m   Fo r est   alg o r ith m   is   u s ed   in   m an y   ap p licatio n s ,   in clu d in g :  Netwo r k   in tr u s io n   d etec tio n ,   E m ail  s p am   d etec tio n ,   g e n e   class if icatio n ,   C r ed it c ar d   f r au d   d etec tio n ,   a n d   T e x t c las s if icatio n   [ 2 2 ] .     2 . 4 . 5 .   Dec is io n  t re e  ( DT )   Dec is io n   T r ee   is   an   alg o r ith m   th at  co m p iles   an d   is   also   u s ed   in   th e  f ield   o f   e x tr ac tin g   d ata  in   v ar io u s   f ield s   o n   th e  I n ter n et.   Als o   u s ed   in   d ata  m in in g   alg o r ith m s ,   in   ad d itio n ,   th e  Dec is io n   T r ee   alg o r ith m   is   u s e d   in   Ar ab ic  T ex t  C lass if icatio n   [ 2 3 ] .   T h e  Dec is io n   T r ee   with   t h e  C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d   was  u s ed   with   d ata  co llectio n   in   Ar ab ic  lan g u ag e,   an d   Dec is io n   T r ee   was  u s ed   with   th e  I C HI   s q u ar e  as  a  f ea tu r e  s elec tio n   m eth o d .   R esu lts   s h o wed   th at  t h e  I C HI   s q u ar e  s u r p ass ed   th e  r eg u lar   C HI   s q u ar e  [ 2 4 ] .     2 . 4 . 6 .   Art if icia l  neura l net wo rk s   ( ANNs)   Ar tific ial  Neu r al  Netwo r k s   i s   an   alg o r ith m   th at  is   u s ed   f o r   class if icatio n .   I n   ad d itio n ,   its   b r an ch   o f   ar tific ial   in tellig en ce ,   wh er e  d if f er e n t  s ets  o f   f u n ctio n s   h av e  b ee n   s tu d ied   f r o m   tr ai n in g   an d   lear n in g   to   th e  test in g   p r o ce s s .   [ 2 5 ]   ANNs  h as  b ee n   s u cc ess f u lly   ap p lied   to   p r o b lem s   in :  p atter n   class if icatio n ,   f u n ctio n   ap p r o x im atio n ,   o p tim izatio n ,   an d   p atter n   m atch in g   [ 2 6 ] .     2 . 5 .     E v a lua t i o n  m ea s ure    2 . 5 . 1 .  O v er v iew   Af ter   th e  class if icatio n   p r o ce s s   s h o ws  u s   m an y   r esu lts   an d   u n til  th e  r esu lts   ar e  r ea d   an d   co m p ar ed ,   th er e  m u s t  b e   cr iter ia  f o r   th is   co m p ar is o n .   T h ese  r esu lts   ar e  co m p ar e d   to   f o u r   cr iter ia:  P r ec is io n ,   R ec all,   F - m ea s u r e  an d   T im e   to   b u ild   m o d el.     2 . 5 . 2 .   P re cisi o n   Pre cisi o n   is   a  p o s itiv e  p r ed ictiv e  v alu e  wh ich   is   a  p ar t  o f   t h e  ca s es  r etr iev ed   r elev an t  f r o m   all  ca s es   r etr iev ed   f r o m   th e  r esu lts   o f   th e  p r o ce s s   [ 2 6 ,   27 ,   2 8 ].   W h er e  p r ec is io n   is   r ep r esen ted   b y   th e  f o llo win g   eq u atio n :       (1 )     2 . 5 . 3 .   Rec a ll   T h e  r ec all  is   d escr ib ed   as  th e  s en s itiv ity   m ea s u r e,   wh ich   is   t h e  p ar t  o f   th e  r elev a n t  ca s es  o f   th e  to tal  n u m b er   o f   r ec o v e r ed   ca s es.       (2 )     2 . 5 . 4 .   F - m ea s ure   T h e  F - m ea s u r e  is   a  m ea s u r e  o f   th e  ac cu r ac y   o f   th e  class if ier   b ein g   test ed ,   wh ich   is   a  p r ec is io n   an d   r ec all  r atio .       (3 )     2 . 5 . 5 .   T im e   I t  is   th e  tim e   it  tak es   to   b u ild   th e  d ata  m o d el,   wh ich   is   also   t h e  tim e  u s ed   in   th e  p r o ce s s   o f   an aly zin g   th e  d ata  an d   ca lcu latin g   t h e  p r o ce s s es p er f o r m ed   b y   th e  m o d el.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  9 ,   No .   3,   Dec em b e r   20 20 :  15 7   –   1 70   162     3.   E XP E R I M E N T A L   RE SUL T S AN D  A NALY SI S   3 . 1 .     Resul t s   wit ho ut   na t ura l la ng ua g e  pro ce s s ing   3 . 1 . 1 .   B a y es  net   ( B N)   T ab le  2   s h o ws  b ay es  n et  cla s s if ier   r esu lts   with o u t  p r e - p r o ce s s in g   u s in g   s ev er al  f ea tu r e  s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   th at  in   th e  ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e   class if ier   wh en   u s ed   wi th   I C HI   s q u ar e   as  a  f ea t u r e  s e lectio n   m eth o d ,   b u t  in   th e  ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a   f ea tu r e  s elec tio n   m et h o d   an d   in   th e  ca s e   o f   T im e   was  th e   less   tim e  to   b u ild   m o d el   o f   th e   class if ier   wh en   u s ed   with   I n f o r m atio n   Gain   as  a   f ea tu r e  s elec tio n   m eth o d .   Fig u r e  4   s h o ws d iag r am   B ay es  Net  r esu lts   with o u t p r e - p r o ce s s in g .       T ab le  2 .   B ay es  n et  r esu lts   with o u t p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 9 7 6   0 . 9 4 0   0 . 9 5 7   2 5 . 6   C H I   0 . 8 5 8   0 . 9 1 0   0 . 8 8 3   1 8 . 2 0   IG   0 . 8 5 1   0 . 8 9 9   0 . 8 7 4   1 3 . 3   MI   0 . 8 1 9   0 . 8 7 3   0 . 8 4 5   2 2 . 5   W r a p p e r   0 . 8 3 2   0 . 8 8 8   0 . 8 5 9   2 0 . 7   A v e r a g e   0 . 8 6 7 2   0 . 9 0 2   0 . 8 8 3   2 0 . 0 6   W i t h o u t   F S   0 . 8 0 5   0 . 8 7 1   0 . 8 3 6   1 6 . 7         Fig u r e  4 .   B ay es  n et  r esu lts   with o u t p r e - p r o ce s s in g       3 . 1 . 2 .   Na ïv e  ba y es  ( NB )   T ab le  3   s h o ws  n aïv e  b a y es  class if ier   r esu lts   with o u t  p r e - p r o ce s s in g   u s in g   s ev er al  f ea tu r e   s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   th at  in   th e  ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e   class if ier   wh en   u s ed   wi th   I C HI   s q u ar e   as  a  f ea t u r e  s e lectio n   m eth o d ,   b u t  in   th e  ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a   f ea tu r e  s elec tio n   m et h o d   an d   in   th e  ca s e   o f   T im e   was  th e   less   tim e  to   b u ild   m o d el   o f   th e   class if ier   wh en   u s ed   with   W ith o u t  FS   a s   a  f ea tu r e  elec tio n   m eth o d .   Fig u r e  5   s h o ws d iag r am   Naïv e  B ay es r esu lts   with o u t p r e - p r o ce s s in g .       T ab le  3 .   Naiv e  b ay es r esu lts   with o u t p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 9 7 6   0 . 9 5 4   0 . 9 6 4   1 8 . 2 0   C H I   0 . 9 2 6   0 . 9 5 0   0 . 9 3 7   4 . 1 1   IG   0 . 9 2 2   0 . 9 5 2   0 . 9 3 8   9 . 5   MI   0 . 9 1 3   0 . 9 4 5   0 . 9 2 8   8 . 4   W r a p p e r   0 . 9 1 9   0 . 9 5 0   0 . 9 3 4   9 . 2   A v e r a g e   0 . 9 3 1   0 . 9 5 0   0 . 9 4 0   9 . 8 8   W i t h o u t   F S   0 . 9 1 3   0 . 9 5 1   0 . 9 3 1   3 . 1 6         Fig u r e  5.   Naiv e  b ay es r esu lts   with o u t  p r e - p r o ce s s in g       3 . 1 . 3 .   Ra nd o m   f o re s t   ( RF )     T ab le  4   s h o ws  r an d o m   f o r est  class if ier   r esu lts   with o u t  p r e - p r o ce s s in g   u s in g   s ev er al  f ea t u r e  s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   th at  in   th e  ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e   class if ier   wh en   u s ed   wi th   I C HI   s q u ar e   as  a  f ea t u r e  s e lectio n   m eth o d ,   b u t  in   th e  ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class i f ier   wh en   u s ed   with   I C HI   s q u ar e  as  a   f ea tu r e  s elec tio n   m et h o d   an d   in   th e  ca s e   o f   T im e  was  th e   less   tim e  to   b u ild   m o d el   o f   th e  class if ier   wh en   u s ed   with   W r ap p er   as   a  f ea tu r e  s elec tio n   m eth o d .   Fig u r e  6   s h o ws d iag r am   R an d o m   Fo r est r esu lts   with o u t p r e - p r o ce s s i ng .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       I mp r o ve d   I C HI   s q u a r e  fea tu r e   s elec tio n   meth o d   fo r   A r a b ic  c la s s ifie r s   ( Ha d ee l N )   163   T ab le   4 .   R an d o m   f o r est r esu lts   with o u t p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 9 4 7   0 . 9 4 2   0 . 9 4 4   9 4 . 3   C H I   0 . 9 3 8   0 . 8 0 5   0 . 8 6 6   6 6 . 5   IG   0 . 9 3 1   0 . 8 9 9   0 . 9 1 4   6 9 . 1   MI   0 . 9 1 7   0 . 8 4 9   0 . 8 8 1   7 0 . 3   W r a p p e r   0 . 9 2 9   0 . 8 5 1   0 . 8 8 8   6 6 . 4   A v e r a g e   0 . 9 3 2   0 . 8 6 9   0 . 8 9 9   7 3 . 3   W i t h o u t   F S   0 . 9 1 5   0 . 8 4 4   0 . 8 7 8   7 1 . 4 8         Fig u r e  6 .   R an d o m   f o r est r esu lts   with o u t p r e - p r o ce s s in g       3 . 1 . 4 .   Dec is io n  t re e  ( DT )   T ab le  5   s h o ws  d ec is io n   tr ee   c lass if ier   r esu lts   with o u t  p r e - p r o ce s s in g   u s in g   s ev er al  f ea tu r e   s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   th at  in   th e  ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   w ith   C HI   s q u ar e  as  a  f ea tu r e  s elec tio n   m eth o d ,   b u t  in   th e  ca s e   o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a   f ea tu r e  s elec tio n   m et h o d   an d   in   th e  ca s e   o f   T im e  was  th e   less   tim e  to   b u ild   m o d el   o f   th e  class if ier   wh en   u s ed   with   W r ap p er   as   a  f ea tu r e  s elec tio n   m eth o d .   Fig u r e  7   s h o ws d iag r am   Dec is io n   T r ee   r esu lts   with o u t p r e - p r o ce s s in g .       T ab le  5 .   Dec is io n   tr ee   r esu lts   with o u t p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 6 0 4   0 . 5 1 8   0 . 5 5 7   4 . 4 0   C H I   0 . 5 5 2   0 . 5 3 7   0 . 5 4 4   2 . 5 1   IG   0 . 5 4 7   0 . 5 3 3   0 . 5 3 9   3 . 7   MI   0 . 5 2 9   0 . 5 0 0   0 . 5 1 4   8 . 9   W r a p p e r   0 . 5 3 9   0 . 5 3 0   0 . 5 3 4   6 . 3   A v e r a g e   0 . 5 5 4   0 . 5 2 3   0 . 5 3 8   5 . 1 6   W i t h o u t   F S   0 . 5 2 8   0 . 5 2 3   0 . 5 2 5   1 . 0 1         Fig u r e  7 .   Dec is io n   tr ee   r esu lts   with o u t p r e - p r o ce s s in g       3 . 1 . 5 .   Art if icia l  neura l ne t wo rk s   ( ANNs)   T ab le  6   s h o ws  ar tific ial  n eu r al  n etwo r k s   class if ier   r esu lts   with o u t  p r e - p r o ce s s in g   u s in g   s ev er a l   f ea tu r e  s elec tio n   alg o r it h m s .   T h e  r esu lts   s h o wed   th at   in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est   r esu lt  o f   class if ier   wh en   u s ed   with   I C H I   s q u ar e  as  a   f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   t h at  in   t h e  ca s e  o f   R ec all  was   th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   C HI   s q u ar e  as  a  f ea tu r e  s elec tio n   m et h o d ,   b u t   in   th e   ca s e  o f   F - m ea s u r e   was  th e   h ig h es t  r esu lts   o f   t h e  class if ier   wh en   u s ed   with   C HI   s q u a r e  as  a  f ea tu r e   s elec tio n   m eth o d   an d   in   th e  ca s e  o f   T im e  was  th e   le s s   tim e  to   b u ild   m o d el   o f   th e  class if ier   wh en   u s e d   with   W ith o u t  F S  as a   f ea tu r e  s elec tio n   m eth o d .   Fig u r e  8   s h o ws d iag r am   ANNs  r esu lts   with o u t p r e - p r o ce s s in g .       T ab le  6 .   ANNs  r esu lts   with o u t p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 7 1 3   0 . 4 9 2   0 . 5 8 2   4 4 . 1 7   C H I   0 . 6 9 9   0 . 5 4 2   0 . 6 1 1   4 3 . 7   IG   0 . 6 3 5   0 . 5 2 3   0 . 5 7 3   5 0 . 1   MI   0 . 5 9 0   0 . 4 6 0   0 . 5 1 6   5 9 . 9   W r a p p e r   0 . 6 0 1   0 . 4 9 9   0 . 5 4 5   4 9 . 1   A v e r a g e   0 . 6 4 7   0 . 5 0 3   0 . 5 6 5   4 9 . 4   W i t h o u t   F S   0 . 5 8 6   0 . 4 5 2   0 . 5 1 0   3 6 . 3 4         Fig u r e  8 .   ANNs  r esu lts   with o u t p r e - p r o ce s s in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  9 ,   No .   3,   Dec em b e r   20 20 :  15 7   –   1 70   164   3 . 2 .   Resul t s   wit h   na t ura l la ng ua g e  pro ce s s ing   3 . 2 . 1 .   B a y es  net   ( B N)   T ab le  7   s h o ws  b ay es  n et  class if ier   r esu lts   with   p r e - p r o c ess in g   u s in g   s ev er al  f ea tu r e  s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   th at  in   th e  ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e   class if ier   wh en   u s ed   w i th   I C HI   s q u ar e   as  a  f ea t u r e  s e lectio n   m eth o d ,   b u t  in   th e  ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a   f ea tu r e  s elec tio n   m et h o d   an d   in   th e  ca s e   o f   T im e  was  th e   less   tim e   to   b u ild   m o d el   o f   th e  cla s s if ier   wh en   u s ed   with   W r ap p er   as  a  f ea tu r e     s elec tio n   m eth o d .   Fig u r e  9   s h o ws d iag r am   B ay es Ne t r esu lts   with   p r e - p r o ce s s in g .       T ab le  7 .   B ay es  n et  r esu lts   with   p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 8 8 3   0 . 9 2 2   0 . 9 0 2   2 0 . 3   C H I   0 . 8 5 1   0 . 8 8 8   0 . 8 6 9   2 2 . 5   IG   0 . 8 4 4   0 . 8 9 1   0 . 8 6 6   2 7 . 1   MI   0 . 7 9 0   0 . 8 0 1   0 . 7 9 5   2 1 . 1   W r a p p e r   0 . 8 3 9   0 . 8 7 0   0 . 8 5 4   1 7 . 2   A v e r a g e   0 . 8 4 1   0 . 8 7 4   0 . 8 5 7   2 1 . 6   W i t h o u t   F S   0 . 8 2 8   0 . 8 9 3   0 . 8 5 9   1 6 . 7         Fig u r e   9 .   B ay es  n et  r esu lts   with   p r e - p r o ce s s in g       3 . 2 . 2 .   Na ïv e  ba y es  ( NB )   T ab le  8   s h o ws  n aïv e   b ay es  class if ier   r esu lts   with   p r e - p r o ce s s in g   u s in g   s ev er al   f ea tu r e  s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   C HI   s q u ar e  as  a  f ea tu r e  s elec tio n   m eth o d .   Mo r e o v er ,   th at  in   th e  ca s e  o f   R ec al l  was   th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e  s elec tio n   m eth o d ,   b u t  in   th e  ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class if ie r   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e  s elec tio n   m e th o d   an d   in   th e  ca s e  o f   T im e  was  th e   less   tim e  to   b u ild   m o d el   o f   th e   class if ier   wh en   u s ed   with   W ith o u t  FS   as  a  f ea tu r e   s elec tio n   m eth o d .   Fig u r e  1 0   s h o ws d iag r am   Naïv e  B ay es r esu lts   with   p r e - p r o ce s s in g .       T ab le  8 .   Naiv e  b ay es r esu lts   with   p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   C H I   0 . 9 4 4   0 . 9 6 6   0 . 9 5 4   5 . 5   I C H I   0 . 9 5 3   0 . 9 5 6   0 . 9 5 4   9 . 1 1   IG   0 . 9 2 9   0 . 9 5 0   0 . 9 3 9   1 1 . 2   MI   0 . 9 1 4   0 . 9 4 5   0 . 9 2 9   1 3 . 7   W r a p p e r   0 . 9 2 0   0 . 9 4 9   0 . 9 3 4   1 7 . 1   A v e r a g e   0 . 9 3 2   0 . 9 5 3   0 . 9 4 2   1 1 . 3   W i t h o u t   F S   0 . 9 0 5   0 . 9 4 4   0 . 9 2 4   3 . 1 1         Fig u r e   1 0 .   Naiv e  b ay es r esu lts   with   p r e - p r o ce s s in g       3 . 2 . 3 .  Ra nd o m   f o re s t   ( RF )   T ab le  9   s h o ws  r a n d o m   f o r est  class if ier   r esu lts   with   p r e - p r o ce s s in g   u s in g   s ev er al  f ea tu r e  s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   th at  in   th e  ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e   class if ier   wh en   u s ed   wi th   I C HI   s q u ar e   as  a  f ea t u r e  s e lectio n   m eth o d ,   b u t  in   th e  ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a   f ea tu r e  s elec tio n   m et h o d   an d   in   th e  ca s e   o f   T im e  was  th e   less   tim e  to   b u ild   m o d el   o f   t h e  class if ier   wh en   u s ed   with   W ith o u t  FS   as  a  f ea tu r e     s elec tio n   m eth o d .   Fig u r e  1 1   s h o ws d iag r am   R an d o m   Fo r est  r esu lts   with   p r e - p r o ce s s in g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J I n f   &   C o m m u n   T ec h n o l   I SS N:  2252 - 8 7 7 6       I mp r o ve d   I C HI   s q u a r e  fea tu r e   s elec tio n   meth o d   fo r   A r a b ic  c la s s ifie r s   ( Ha d ee l N )   165   T ab le  9 .   R an d o m   f o r est r esu lts   with   p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 9 5 8   0 . 8 6 8   0 . 9 1 1   7 0 . 1   C H I   0 . 9 1 7   0 . 7 9 6   0 . 8 5 2   9 1 . 2   IG   0 . 9 1 0   0 . 7 8 9   0 . 8 4 5   9 1 . 3   MI   0 . 8 5 1   0 . 7 7 1   0 . 8 0 9   8 4 . 1   W r a p p e r   0 . 8 9 1   0 . 7 8 1   0 . 8 3 2   7 1 . 9   A v e r a g e   0 . 9 0 5   0 . 8 0 1   0 . 8 4 9   8 1 . 7   W i t h o u t   F S   0 . 8 4 9   0 . 7 6 5   0 . 8 0 4   6 1 . 3         Fig u r e  1 1 .   R an d o m   f o r est r esu lts   with   p r e - p r o ce s s in g       3 . 2 . 4 .   Dec is io n  t re e  ( DT )   T ab le  1 0   s h o ws  d ec is io n   tr ee   class if ier   r esu lts   with   p r e - p r o ce s s in g   u s in g   s ev er al  f ea tu r e  s elec tio n   alg o r ith m s .   T h e  r esu lts   s h o wed   th at  in   th e  ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a  f ea tu r e   s elec tio n   m eth o d .   Mo r eo v er ,   th at  in   th e  ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e   class if ier   wh en   u s ed   wi th   I C HI   s q u ar e   as  a  f ea t u r e  s e lectio n   m eth o d ,   b u t  in   th e  ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu lts   o f   th e  class if ier   wh en   u s ed   with   I C HI   s q u ar e  as  a   f ea tu r e  s elec tio n   m et h o d   an d   in   th e  ca s e   o f   T im e  was  th e   less   tim e  to   b u ild   m o d el   o f   th e  class if ier   wh en   u s ed   with   W ith o u t   FS   as  a  f ea tu r e  s elec tio n   m eth o d .   Fig u r e  1 2   s h o ws d iag r am   Dec is io n   T r ee   r esu lts   with   p r e - p r o ce s s in g .       T ab le  10 .   Dec is io n   tr ee   r esu lts   with   p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 5 7 7   0 . 5 3 9   0 . 5 5 7   3 . 1   C H I   0 . 5 2 3   0 . 5 0 2   0 . 5 1 2   3 . 3 4   IG   0 . 5 2 1   0 . 5 0 3   0 . 5 1 2   4 . 1   MI   0 . 5 1 5   0 . 5 0 0   0 . 5 0 7   5 . 4   W r a p p e r   0 . 5 1 9   0 . 5 0 2   0 . 5 1 0   8 . 2   A v e r a g e   0 . 5 3 1   0 . 5 0 9   0 . 5 1 9   4 . 8 2   W i t h o u t   F S   0 . 5 1 6   0 . 5 0 3   0 . 5 0 9   1 . 0 5         Fig u r e  1 2 .   Dec is io n   tr ee   r esu lt s   with   p r e - p r o ce s s in g       3 . 2 . 5 .   Art if icia l  neura l n et wo rk s   ( ANNs)   T ab le  1 1   s h o ws  ar tific ial  n eu r al  n etwo r k s   class if ier   r e s u lts   with   p r e - p r o ce s s in g   u s in g   s ev er al  f ea tu r e  s elec tio n   alg o r ith m s .   T h e   r esu lts   s h o wed   th at  i n   th e   ca s e  o f   Pre cisi o n   was  th e  h ig h est  r esu lt  o f   class if ier   wh e n   u s ed   with   I C HI   s q u ar e   as  a   f ea tu r e  s elec tio n   m eth o d .   M o r eo v er ,   th at  i n   th e   ca s e  o f   R ec all  was  th e  h ig h est  r esu lts   o f   th e   class if ier   wh en   u s ed   with   I C HI   s q u ar e   as  a   f ea tu r e   s elec tio n   m eth o d ,   b u t  in   th e   ca s e  o f   F - m ea s u r e  was  th e  h ig h est  r esu l ts   o f   th e   class if ier   wh en   u s ed   with   I C HI   s q u ar e   as  a  f ea tu r e  s elec tio n   m eth o d   an d   in   th e  ca s e  o f   T im e  was  t h e   less   tim e   to   b u ild   m o d el   o f   th e  class if ier   wh en   u s ed   with   Mu tu al  I n f o r m atio n   as a   f ea tu r e  s elec tio n   m eth o d .   Fig u r e  1 3   s h o ws d iag r am   AN N s   r esu lts   with   p r e - p r o ce s s in g .       T ab le   1 1 .   ANNs  r esu lts   with   p r e - p r o ce s s in g   A l g o r i t h m   P r e c i s i o n   R e c a l l   F - mea su r e   Ti me   I C H I   0 . 7 1 9   0 . 5 6 0   0 . 6 2 9   5 1 . 2   C H I   0 . 6 7 2   0 . 4 6 7   0 . 5 5 1   3 9 . 1   IG   0 . 6 6 6   0 . 5 5 9   0 . 6 0 7   2 9 . 1   MI   0 . 5 9 9   0 . 5 0 1   0 . 5 4 5   2 1 . 4   W r a p p e r   0 . 6 5 1   0 . 5 4 1   0 . 5 9 1   3 9 . 2   A v e r a g e   0 . 6 6 1   0 . 5 2 5   0 . 5 8 5   3 5 . 9   W i t h o u t   F S   0 . 5 8 0   0 . 5 0 6   0 . 5 4 0   3 9 . 3         Fig u r e 13 .   ANNs  r esu lts   with   p r e - p r o ce s s in g       3 . 3 .     Dis cus s io n t he  re s u lt s   w it ho ut  pre - pro ce s s ing   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 7 7 6   I n t J I n f   &   C o m m u n   T ec h n o l ,  Vo l.  9 ,   No .   3,   Dec em b e r   20 20 :  15 7   –   1 70   166   3 . 3 . 1 .   Resul t s   ba s ed  o n  avg .   prec is io n   T ab le  1 2   a n d   Fig u r e  1 4   s h o ws  r esu lts   b ased   o n   av g .  p r ec is io n   with o u t   p r e - p r o ce s s in g .   W e  f o u n d   th a t   wh en   we  co m p a r e  th e  s tate  o f   Pre cisi o n   an d   also   with o u t  p r e - p r o ce s s in g ,   th e  b est r esu lts   ar e  as f o llo ws:   •   B ay es Ne t Cl a s s if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   Naïv e  B ay es C las s if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   R an d o m   Fo r est C lass if ier   wh e n   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   Dec is io n   T r ee   C lass if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f e atu r e  s elec tio n   m eth o d .   •   Ar tific ial  Neu r al  Netwo r k s   C lass if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .       T ab le  1 2 .   R esu lts   b ased   o n   a v g .   p r ec is io n   with o u t p r e - p r o ce s s in g   A l g o r i t h m   I C H I   C H I   IG   MI   W r a p p e r   W i t h o u t   FS   BN   0 . 9 7 6   0 . 8 5 8   0 . 8 5 1   0 . 8 1 9   0 . 8 3 2   0 . 8 0 5   NB   0 . 9 7 6   0 . 9 2 6   0 . 9 2 2   0 . 9 1 3   0 . 9 1 9   0 . 9 1 3   RF   0 . 9 4 7   0 . 9 3 8   0 . 9 3 1   0 . 9 1 7   0 . 9 2 9   0 . 9 1 5   DT   0 . 6 0 4   0 . 5 5 2   0 . 5 4 7   0 . 5 2 9   0 . 5 3 9   0 . 5 2 8   ANNs   0 . 7 1 3   0 . 6 9 9   0 . 6 3 5   0 . 5 9 0   0 . 6 0 1   0 . 5 8 6         Fig u r e  1 4 .   R esu lts   b ased   o n   av g .   p r ec is io n   with o u t p r e - p r o ce s s in g       3 . 3 . 2 .   Resul t s   ba s ed  o n a v g .   re ca ll   T ab le  1 3   an d   Fig u r e  1 5   s h o w s   r esu lts   b ased   o n   a v g .  r ec all   with o u t   p r e - p r o ce s s in g .   W e  f o u n d   th at  wh en   we  co m p a r e  th e  s tate  o f   R ec all  an d   also   with o u t p r e - p r o ce s s in g ,   th e  b est r esu lts   ar e  a s   f o llo ws:   •   B ay es Ne t Cl a s s if ier   wh en   u s e d   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   Naïv e  B ay es C las s if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   R an d o m   Fo r est C lass if ier   wh e n   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   Dec is io n   T r ee   C lass if ier   wh en   u s ed   with   C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   Ar tific ial  Neu r al  Netwo r k s   C lass if ier   wh en   u s ed   with   C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .       T ab le  1 3 .   R esu lts   b ased   o n   a v g .   r ec all  with o u t  p r e - p r o ce s s in g   A l g o r i t h m   I C H I   C H I   IG   MI   W r a p p e r   W i t h o u t   FS   BN   0 . 9 4 0   0 . 9 1 0   0 . 8 9 9   0 . 8 7 3   0 . 8 8 8   0 . 8 7 1   NB   0 . 9 5 4   0 . 9 5 0   0 . 9 5 2   0 . 9 4 5   0 . 9 5 0   0 . 9 5 1   RF   0 . 9 4 2   0 . 8 0 5   0 . 8 9 9   0 . 8 4 9   0 . 8 5 1   0 . 8 4 1   DT   0 . 5 1 8   0 . 5 3 7   0 . 5 3 3   0 . 5 0 0   0 . 5 3 0   0 . 5 2 3   ANNs   0 . 4 9 2   0 . 5 4 2   0 . 5 2 3   0 . 4 6 0   0 . 4 9 9   0 . 5 2 3         Fig u r e   15 .   R esu lts   b ased   o n   av g .   r ec all  with o u t  p r e - p r o ce s s in g       3 . 3 . 3 .   Resul t s   ba s ed  o n a v g .  f - m ea s ure   T ab le  1 4   a n d   Fig u r e   1 6   s h o ws  r esu lts   b ased   on  av g .  f - m ea s u r e  with o u t  p r e - p r o ce s s in g .   W e  f o u n d   th at  wh en   we  co m p ar e  th e  s tat e  o f   F - m ea s u r e  a n d   also   with o u t p r e - p r o ce s s in g ,   th e  b est  r esu lts   ar e  as f o llo ws:   •   B ay es Ne t Cl a s s if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   Naïv e  B ay es C las s if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec tio n   m eth o d .   •   R an d o m   Fo r est C lass if ier   wh e n   u s ed   with   I C HI   s q u ar e  as a   f ea tu r e  s elec ti o n   m eth o d .   •   Dec is io n   T r ee   C lass if ier   wh en   u s ed   with   I C HI   s q u ar e  as a   f e atu r e  s elec tio n   m eth o d .   Evaluation Warning : The document was created with Spire.PDF for Python.