I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute r  E ng in ee ring   ( I J E CE )   Vo l.   10 ,   No .   4 ,  A u g u s t   2 0 2 0 ,   p p .   3 7 3 4 ~ 3 7 4 2   I SS N:  2 0 8 8 - 8708 ,  DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 1 0 i 4 . p p 3 7 3 4 - 3 7 4 2          3734       J o ur na l ho m ep a g e :  h ttp : //ij ec e. ia esco r e. co m/in d ex . p h p /I JE C E   Tex t  cla ss ificatio n bas ed on g a ted  recurren t  un it   co m bin es w ith  supp o rt  v ector   ma chine       M uh a mm a d  Z u lqa rna in,  Ro za ida   G ha za li,  Ya na   M a z w in M o hm a d H a s s i m ,   M uh a m m a d Re ha n   F a c u lt y   o f   Co m p u ter S c ien c e   a n d   In f o rm a ti o n   T e c h n o l o g y ,   Un iv e rs it i  T u n   Hu ss e in   On n   M a la y sia ,   M a la y sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   22 ,   2 0 1 9   R ev i s ed   J an   18 ,   2 0 2 0   A cc ep ted   Feb   1 ,   2 0 2 0     A s  th e   a m o u n t  o f   u n str u c tu re d   t e x t  d a ta  th a t  h u m a n it y   p ro d u c e   l a rg e l y   a n d   a   lo t  o f   te x ts  a r e   g ro w s   o n   th e   In t e rn e t,   so   th e   o n e   o f   th e   in telli g e n t  tec h n iq u e   is  re q u ire  p r o c e ss in g   it   a n d   e x trac ti n g   d if f e r e n t  ty p e s  o f   k n o w led g e   f ro m   it .   G a t e d   re c u rre n t  u n it   (G RU)  a n d   su p p o rt   v e c to r  m a c h in e   (S V M )   h a v e   b e e n   su c c e ss f u ll y   u se d   to   Na tu ra l  Lan g u a g e   P ro c e ss in g   (NL P )  s y st e m s  w it h   c o m p a ra ti v e ,   re m a r k a b le  re su lt s.  G RU  n e t w o rk s  p e r f o r m   w e ll   in   se q u e n ti a l  lea rn in g   tas k s  a n d   o v e rc o m e   t h e   issu e s  o f   “ v a n ish in g   a n d   e x p lo si o n   o f   g ra d ien ts  in   sta n d a rd   re c u rre n t   n e u ra l  n e tw o rk s  (RNN s)  w h e n   c a p tu re in g   lo n g - term   d e p e n d e n c ies .   In   th is   p a p e r,   w e   p ro p o se d   a   tex t  c la ss if ic a ti o n   m o d e l  b a se d   o n   i m p ro v e d   a p p ro a c h e s  to   th is  n o rm   b y   p re se n ti n g   a   li n e a r   su p p o rt  v e c to r  m a c h in e   (S V M )   a s  th e   re p lac e m e n t  o f   S o f t m a x   in   th e   f in a l  o u t p u t  lay e r   o f   a   G R U  m o d e l.   F u rth e rm o re ,   th e   c ro ss - e n tro p y   f u n c ti o n   sh a ll   b e   re p lac e d   w it h   a   m a r g i n - b a se d   f u n c ti o n .   Em p iri c a l  re su lt s  p re se n t  th a t   th e   p ro p o se d   G RU - S V M   m o d e l  a c h iev e d   c o m p a ra ti v e l y   b e tt e r  re su lt s  th a n   th e   b a se li n e   a p p ro a c h e s BL S T M - C,   DA BN.   K ey w o r d s :   Dee p   lear n in g   GR U   Su p p o r t v ec to r   m ac h i n e   T ex t c lass if icatio n   Co p y rig h t  ©   2 0 2 0   In st it u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   R o za id a  Gh az ali,   Facu lt y   o f   C o m p u ter   Scien ce   an d   I n f o r m atio n   T ec h n o lo g y ,   Un i v er s iti T u n   H u s s ei n   On n   Ma la y s ia, ”     8 6 4 0 0 ,   P ar it R aj a,   B atu   P ah at,   J o h o r ,   Ma lay s ia.   E m ail:  r o za id a@ u th m . ed u . m y       1.   I NT RO D UCT I O N   W ith   th e  q u ick l y   a n d   co n ti n u o u s   p r o d u ctio n   o f   i n f o r m atio n s   tec h n o lo g ies  i n   d ig it al  f o r m at,   th e  r ap id l y   in cr ea s in g   i n   th e  n u m b er   o f   elec tr o n ic  te x t  m a s s a g e,   o n   th e  w o r ld   w id e  w e b   ( www ) ,   s u c h   as   i m p o r tan t  n e w s   s i tes,  f o r u m s ,   b lo g s   an d   s o o n   tex t  class if ica t io n   h as  b ec o m e  v er y   s er io u s   p r o b lem   f o r   th e  b ig   o r g an izatio n   a n d   co m p an ies  t o   m a n ag e   an d   o r g a n ize   th e   t ex tu a l  d ata.   T ex t  cla s s i f icat io n   i s   a  tech n iq u e   o f   class i f y in g   u n o r g a n ized   te x t  a u to m at icall y   ac co r d in g   to   th e  p r ed ef in e d   class e s   o r   ca teg o r ies  b ased   o n   th e  te x t   co n ten t s   th r o u g h   a  g iv e n   clas s if icatio n   s y s te m .   No w ad a y s ,   T ex t  class if ica tio n   b ec o m es  a n   i m p o r tan t  ta s k   f o r   au to m at icall y   c lass if y i n g   t h e   d o cu m en t s   to   th eir   r esp ec t iv e  ca teg o r ies.  F u r t h er m o r e,   tex t  clas s i f icatio n   t ec h n iq u e  h a v e  to   u s e  in   m a n y   ap p licatio n s   o f   N L P ,   s u c h   as  s p a m   f ilter i n g   [ 1 ] ,   u s er   i n t en tio n   an al y s is   [ 2 ] ,  tex t   clas s i f icatio n   [3 ,   4] ,   p e r s o n alize d   n e w s   r ec o m m e n d atio n   [ 5 ] ,   em ail  ca te g o r izati o n   [ 6 ] ,   s en ti m e n t   an al y s is   [ 7 ] ,   an d   s e n ta n ce s   class i f icatio n   [ 8 ] ,   in   w h ic h   r eq u ir e  to   all o ca te  p r e - d ef i n ed   ca teg o r ies  to   a  s eq u e n tial  o f   te x t.  A   m o s t  o f   g e n er al  a n d   b asic  tec h n iq u e  o f   r ep r ese n ti n g   tex t s   i s   b a g - of - w o r d s .   W h ile,   in   b ag - of - w o r d s   ap p r o ac h   h as  an   is s u e  to   lo s e  th e  w o r d s   s eq u en ce   a n d   ig n o r e  th e  s e m an tic  o f   w o r d s   [ 5 ] .   T h er ef o r e,   in   t h is   co n te x t,  h o w   to   o r g a n ize   an d   u s e   th e s e  lar g e   a m o u n ts   o f   te x t  in f o r m at io n   b ec o m e s   p ar ticu lar l y   i m p o r tan t.  F u r th er m o r e,   at  p r esen t  m o s t o f   t h e  co m m o n   an d   i m p o r ta n t c las s i f i er   h as b ee n   ad o p ted   in   m ac h in e  lear n i n g - b ased   al g o r ith m s   to   in it iated   in   tr ad itio n al  tex t  clas s i f icatio n   ar e:  n aiv e  B a y e s ,   s u p p o r t  v ec to r   m ac h in e,   n eu r al  n et w o r k ,   k - n ea r est  n ei g h b o r s ,   f ast  te x t,  an d   d ec is io n   tr ee s   alg o r ith m   [ 9 ] .  C o m p ar ativ e l y ,   SVM  h as  g r ea ter   i m p le m en ta tio n   r eq u ir e m en ts   to   f u lf ill  t h e  t h eo r y ,   b u t  it  h as  b ee n   u s ed   to   p r o d u ce   b etter   r esu lts   in   m an y   f ie ld s   [ 1 0 ,  1 1 ] .   Ho w e v er ,   th eir   p er f o r m a n ce   d ep en d s   g e n e r all y   o n   t h e  q u al it y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Text  cla s s ific a tio n   b a s ed   o n   g a ted   r ec u r r en t u n it   co mb in es  w ith … ( Mu h a mma d   Zu lq a r n a i n )   3735   o f   h a n d - cr a f ted   f ea tu r e s   [ 1 2 ] .   B in   [ 1 3 ]   p r o p o s ed   th e  latest   t y p e   o f   R NN   as  k n o w n   GR U,   w h ic h   u til ize s   th e  ad v an ta g e s   o f   GR U  an d   C NN  j o in tl y ,   to   r ec o g n ize  m ed icall y   r elatio n s   i n   clin ical  r ec o r d s ,   w it h   o n l y   w o r d s   e m b ed d in g   f ea tu r es.   Ov er   t h e  y ea r s ,   v ar io u s   d ee p   l ea r n in g   ap p r o ac h es  h av e   b ee n   p r esen ted   to   ad d r ess   t h is   is s u e   an d   h a v e   ex ten d ed   to   i m p le m e n t  o f   R NNs  to   r ea l - w o r ld   is s u es.  H o w e v er ,   b ased   o n   th e  liter atu r e  r ev ie w s   an d   o u r   r esear ch   ex p er i m e n t,  w e  f o u n d   th a t  s o m e  d ef icien c ies  o f   s tan d ar d   R NN  ar e  t h e  g r ad ien t  v a n is h i n g   an d   ex p lo d in g   is s u es.  I t  m ak e s   th e  tr ain i n g   o f   R N N  d if f icu lt ,   in   t w o   w a y s :  ( i)   it  ca n n o t  p r o ce s s   v er y   lo n g   s eq u en ce s   if   u s i n g   h y p er b o lic  tan h   ac t iv atio n   f u n ctio n ;  ( ii)  it   is   v er y   u n s tab le  if   u s i n g   th e  r ec tif ied   li n ea r   u n it  ( R eL U)   as  a n   ac tiv atio n   f u n ctio n .   I n   th i s   r esear ch ,   f o r   m a n ag e  to   o v er c o m e  th e s e  i s s u es  w e  h av e  to   u s e   th e  late s t  t y p e  o f   r ec u r r en t   n e t w o r k s   s u c h   a s   G R U  n et w o r k ,   in itia ll y   in tr o d u ce d   b y   K y u n g h y u n   C h o   2 0 1 4 .   GR U  m o d el  in d icate s   a  s tr o n g   p er f o r m a n ce   o n   r ea l - w o r l d   s eq u en t ial  tas k s .   I n   f ac t,  t h e  i n f lu e n ce   o f   th is   r esear ch   w e  h a v e  to   co m b i n e  t w o   m o s t   o f   t h e  s tr o n g   s ta te - of - th e - ar t  ap p r o ac h es,  g ated   r e cu r r en t  u n it  ( G R U)   an d   s u p p o r t  v ec to r   m ac h in e  ( SVM) ,   b o th   o f   w h ic h   ca n   b e  tr ac ed   b ac k   [ 1 4 ] .   GR U  h as  th e  ca p ab ilit y   o f   a  d y n a m ical  s y s te m   w h er e  t h e  n et w o r k   o u tp u t   w ill  b e  d ec i d ed   n o t  in d iv id u all y   b y   th e   c u r r en t  i n p u t   b u t  al s o   b y   d ec id e  cu r r en t  n et w o r k   s t ate.   T h e  o u tp u t  is   b ase  o n   th e  p r ev io u s   co m p u tatio n s .   I t  is   ch ar ac ter ized   b y   th e  g o o d   m o d el  o f   s eq u e n tial  d ata  an d   co m p letel y   u tili za tio n s   o f   s eq u e n ce   in f o r m at io n .     Fu r t h er m o r e,   in   r ec e n t  y ea r   g ated   r ec u r r en t  u n it  ( G R U)   h a v e  u s ed   b ec au s e  o f   t h e  s h o r t - co m in g s   o f   s tan d ar d   R NN s   ar e  ad d r ess in g   w it h   lo n g   te x t.  T h e  ad v an t ag e  o f   t h e  GR U  m o d el  is   th a t  th e y   d eter m i n e  i n     th e  p r o ce s s   o f   s y n t h es is   to   co n tr o l  h o w   m u ch   i n f o r m atio n   s h o u ld   b e  r ec eiv ed   i n   t h e  cu r r en t  s y n th e s is   s tep s ,   h o w   m u c h   is   f o r g o tte n ,   an d   h o w   m u c h   i n f o r m atio n   is   p ass ed   b ac k .   T h r o u g h   t h ese  g ate  co n tr o ls ,   GR U  h as   a  p r o f icien t  lear n i n g   ab ili t y   f o r   lo n g   tex t.  Gi v e n   th e  e x is ti n g   liter atu r e,   th ese  m o d els  h a v e  b ee n   i m p le m en t ed   all  m e m o r y   f r ee .   C o n s eq u en t l y ,   t h e  R N N  n e t w o r k s   w it h   m e m o r y   o p er atio n   ar e  o b v io u s l y   m o r e  ap p r o p r iate   f o r   th is   t y p e  o f   tas k .   I n   t h is   r es ea r ch   p ap er ,   w e  m ai n l y   p er f o r m   a  th r ee f o ld   co n tr ib u tio n .     Firstl y ,   w e  co n ce n tr ate  o n   g at ed   r ec u r r en t  u n it  ( GR U)   n et wo r k ,   a  ty p e  o f   g ated   R N N s ,   wh ich   g r ea tl y   m i n i m izes   th e   v an i s h in g   g r a d ien t  a n d   ex p lo d in g   is s u e s   o f   R NN s   o v er   g ati n g   m ec h an is m   t h at  co n s tr u cts     th e  s i m p le   ar ch itect u r e  w h il e  p r eser v in g   t h e   i m p ac t  o f   L ST M  ( is   a  a n o t h er   t y p e  o f   R NN ).   Seco n d l y ,   w e  p r o p o s ed   to   r ep lace   th e  h y p er b o lic  tan g e n t  ac ti v atio n   f u n ctio n   ( ta n h )   w i th   lea k y   r ec tif ied   li n ea r   u n i t   ( L R el u )   ac ti v atio n   i n   th e  s tat e  to   th e  m o d if ied   eq u atio n .   L R elu   u n its   h av e  b ee n   d e m o n s tr ated   to   b e   b etter   p er f o r m a n ce   t h a n   s i g m o id   n o n - li n ea r itie s   f o r   f ee d - f o r w ar d   DNNs .   T h ir d l y ,   w e  p r esen t  a  r ev is i n g   to   t h i s   s tan d ar d   b y   i m p le m e n ti n g   lin ea r   s u p p o r t  v ec to r   m ac h i n e  ( SVM)   as  th e  r ep lace m e n t  o f   tr ad itio n al  So f t m a x   i n   th e  f in al  o u tp u t la y er   o f   a  GR U  m o d el.       2.   SUPP O RT   V E CT O R  M ACH I NE   T h e  s u p p o r t  v ec to r   m ac h i n e  w a s   i n tr o d u ce d   b y   Vap n ek   i n 1 9 9 0 s   an d   it s   p o p u lar it y   h a s   in cr ea s ed   q u ick l y .   I t   i s   es s en t iall y   d u e   to   its   ac h iev ed   e x ce lle n t  “ s ta te - of - t h e - ar t  p er f o r m a n ce s   i n   v ar io u s   r ea l - w o r ld   a p p licatio n s   an d   g en er alize d   b etter   o n   in v is ib le  d ata s et s .   Fu r th er m o r e ,   th e  alter n ate  s i g n i f ica n t  co m p o n en t  is   th at,   d is s i m il ar   n e u r al  n et w o r k s ,   SVM  g en er ate  co n s is te n t  r esu lt s .   SVM  w as  o r ig i n all y   d es ig n ed   f o r   p r o b lem s   o f   t w o   clas s es  a n d   co n ta in s   b o th   p o s iti v e  an d   n e g ati v e  o b jects.  T h e  b asic  id ea   o f   SVMs   is   as s i g n   th e  in p u t   v ec to r   to   an   e n tit y   s p ac e  w i th   a  co m p lex   d i m en s io n a l  f ea tu r e  an d   f i n d   t h e  b est  p o s s ib le  lin ea r   h y p er p lan e  t h a t   s p lits   i n to   t w o   tar g et  c lass e s   at   th e  m a x i m all y   t h e  m ar g in   [ 1 5 ] .   Fu r th er m o r e,   m a n y   s u p p o r t v ec to r s   ar e  u s ed   to   esti m ate  t h e  g en er aliza tio n   p e r f o r m an ce ,   th e   n u m b er   d ec r e ases   a s   t h e  n u m b er   o f   s u p p o r t  v ec to r s   in cr ea s e s .     T h e  f ea tu r es  s p ac e  m ap p in g   f r o m   th e  in p u t  s p ac e  is   ac h iev ed   t h r o u g h   t h e  k er n el  tr ick s ,   w h ich   allo w s   m ap p in g   to   a  h ig h er   s p ac e  d i m en s io n a lit y   w i t h o u t  th e  e s s e n tial to   e x p licitl y   f i n d   th is   s p ac e.   T h e  k er n el  ca n   b e   d eter m in ed   a s   an y   f u n c tio n alit y   t h at  s atis f ie s   Me r ce r ’ s   t h eo r e m   [ 1 6 ] .   T h e  r ad ials   b ase  k er n el  an d   li n e ar   k er n e l   ar e  b et w ee n   t h e  m o s t e x te n s iv el y   ap p lied   k er n els  w i th   SVM.     Ho w e v er ,   d ev elo p m en t  o f   th e   latest  k er n e ls   th a t  s h o w s   th e  s i m ilar ities   w i th   v ar io u s   ap p li ca tio n s   is   an   ac tiv e  ex p lo r atio n   f ield   an d   s ev er al  k er n e ls   h a v e  b ee n   d ev elo p ed   in   r ec en t   y ea r s   to   h an d le  p ar ticu lar   ap p licatio n .   SVM   w as   in itiall y   d esi g n ed   as   b in ar y   clas s i f ier s   s o   s ev er al   m eth o d s   h a v e  u s e d   to   in cr ea s e   SVM s   to   th e  m u lt ip le  class e s   is s u e   [ 1 7 ] .   T h e  p r in cip le  m et h o d s ”   ar e  “ o n e  a g ain s t  all”  ( O AA )   an d   “ o n e  ag ai n s t   o n e” ( OAO)   w h er e  in   t h e  1 s t  tech n iq u e  n   SVM  class if ier s   w il l  b e  co n s tr u ct,   o n e  f o r   ea ch   class ,   a n d     ( − )    b in ar y   “ SVM  class i f ier   is   ap p lied ;  th e  m ai n s tr ea m   v o ti n g   b e t w ee n   th e s e  class if ier s   h a v e  u s ed   in   p r ed ictio n   to   n e w   p o in ts   ci te - m u lticla s s   s u p p o r t  v ec to r   m ac h in e s .   T h e  b asic  e q u atio n s   o f   t h e  SVM  th at  ar e  ap p lied   to   esti m atio n   t h e  d ec is io n   f u n ct i o n   f r o m   a  tr ai n in g   d ataset  [ 1 8 ]   ar e   as f o llo w s :       ƒ ( x ) =  ( ∑ . ( , ) + = 1 ) 0             ( 1 )     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   3 7 3 4   -   3742   3736   w h er e   b   is   th e  ter m   o f   b ias   an d     is   p r esen ti n g   th e   n u m b er   o f   th e  s u p p o r t  v ec to r s ,   y n   ∈   {− 1 , +1 }  is   th e  cla s s   s ig n s   to   w h ich   th e  s u p p o r t  v ec to r   b elo n g   a n d   α   is   g o t  as  th e  s o lu t io n   o f   th e   s u b s eq u en t  q u ad r atic  o p tim izatio n   i s s u es: ”     m i n   1 2 + ∑ = 1 ( 2 )     s . t  ( ( ) + ) ≥ 1 −     ≥ 0 , = 1 , …       i n  t h e  d ataset,   th e   n u m b er   o f   d ata  p o in ts   ca n n o t  in cr ea s e   th e  n u m b er   o f   s u p p o r t  v ec to r s ;  p r ef er ab ly   it  s h o u ld   b e  a  co m p ar ativ el y   s m all  p o r ti o n   o f   th e  d ataset   [ 1 9 ] .        3.   G RU - B AS E D  M O DE L     T h e  GR U  w as   r ec en tl y   in tr o d u ce d   b y   [ 2 0 ] .   GR U  i s   o n e  o f   t h e  n e w er   g e n er atio n s   o f   g ated   R NN s   t h a t   h av e   ap p lied   to   s o l v e  t h e   b asi c  is s u e s   o f   v an i s h in g   g r ad ien t  an d   ex p lo d in g   in   s ta n d ar d   R N Ns  w h e n   ca p t u r in g   lo n g - ter m   d ep en d en cie s .   T h is   GR U  ap p r o ac h   i s   b ased   o n   d y n a m icall y   a n al y s i s   t h at  s u f f er s   f r o m   g r ad ien t s   ex p lo s io n   d u e  to   th eir   n o n - lin ea r   d y n a m ic.   I t  w as  d esi g n ed   to   p r o p er ly   u p d ate  o r   r eset  it s   m e m o r y   co n te n t s   an d   is   a  li g h t l y   m o r e  s i m p l if y   v ar iatio n   o f   L ST M   [ 2 1 ] .   I t  is   co m b in a tio n   o f   t h e  i n p u t  a n d   f o r g et  g ates  i n to   a  s in g le  “u p d ate  g ate”   a n d   h a s   an   ad d itio n al  “ r eset  g ate” .   T h e  GR U  m o d el  i s   s i m p le  a n d   h as f e w er   p ar a m e ter s   as c o m p ar e   to   tr ad itio n al  L ST M  m o d els an d   ar e  g ai n   p r o g r ess i v el y   p o p u lar it y .     Fig u r e  1   illu s tr ati n g ,   th e  m u l tip le  n eu r o n s   ar e  co m p o s ed   in   a  s in g le  i n p u t  la y er ,   t h e  n u m b er s   o f   a  n eu r o n   ar e   d ec id ed   b y   t h e  s c o p e  o f   th e  f ea t u r es  s p ac e.   E q u iv ale n tl y ,   th e  o u tp u t  la y er   n e u r o n s   ar e  r ese m b les   to   th e   o u tp u t  s p ac e.   Ho w e v er ,   d is ti n ct  t h e  L ST M,   th e  G R U  co m p letel y   e x p o s ed   it ’ s   m e m o r y   co n ten t  ea c h   ti m e  s tep   an d   b alan ce s   a m o n g   th e   n e w   m e m o r y   co n ten t s   an d   th e   p r ev io u s   m e m o r y   co n te n ts   s e v er el y   u s e  o f   th e   leak y   co m b i n atio n ,   alth o u g h   w i th   it s   ad j u s tab le  ti m e  co n tin u o u s l y   co n tr o l b y   u p d ate  g a te.           Fig u r e  1 .   Stru ct u r e  o f   th e  G R U - b ased   m o d el       T h e  ac tiv atio n   ℎ   o f   th e  GR U   at  ti m e   t   i s   a  li n ea r   i n ter p o latin g   a m o n g   t h e  p r ev io u s   ac ti v atio n s   ℎ − 1   an d   th e  ca n d id ate  ac ti v atio n   ĥ :      ℎ = ( 1 − ƶ ) ℎ − 1 + ƶ ĥ                 ( 3 )     T h e   u p d ate  g ate  ƶ   d eter m i n e  h o w   m u ch   t h e  u n it  u p d ates its   ac tiv atio n :     ƶ   =  s ig m   ( ƶ + ƶ ℎ − 1 ) ͥ                 ( 4 )     T h e   ca n d id ate  ac tiv atio n   ĥ is   ca l cu lated   s i m ilar   to   th e  u p d ate  g ate:     ĥ   =  tan h   ( + ( ∗ ℎ − 1 )) ͥ               ( 5 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Text  cla s s ific a tio n   b a s ed   o n   g a ted   r ec u r r en t u n it   co mb in es  w ith … ( Mu h a mma d   Zu lq a r n a i n )   3737   w h er e     is   th e  in p u t  v ec to r ,   ℎ   is   th e  h id d en   s tate  v ec to r ,     ar e  r eset  g ates  an d   ∗   d en o ted   b y   ele m e n t - w is e   p r o d u ct.   W h en   th e  r eset  g a te  is   o f f   ( = = 0 )   it  p er m its   t h e  u n it  to   f o r g et  th e  p r ev io u s   in f o r m at io n .   T h is   is   s i m ilar   to   allo w   lear n i n g   o f   in p u t  s eq u e n tial  s ym b o l.  T h e  r eset  g ate  is   e v alu ated   u s in g   th e  s u b s eq u en t   eq u atio n .       =  s ig m   ( + ℎ − 1 ) ͥ               ( 6 )     Up d ate  g ate  ƶ  d ec id es  h o w   m u c h   t h e  p r ev io u s   i n f o r m atio n   ( f r o m   th e  p r ev io u s   ti m e   s te p   t )   s h o u ld   th r o w   a w a y   an d   w h at  n e w   s tat e  t o   ad d .   Un its   o f   r eset  g ate       ar e  p r o p er ly   ac ti v e  o n   s h o r t - ter m   d ep en d en cie s .   Un it s   w it h   lo n g - ter m   d ep en d e n cies  h av e   an   ac ti v e  u p d ate  g a te.       4.   T H E   P RO P O SE D  G R U - SV M   ARCH I T E CT U RE   In   th e   ex it in g   s y s te m   m o s tl y   r esear ch er s   h a v e  u s ed   m ac h i n e   lear n in g   an d   d ata  m i n i n g   alg o r ith m s   to   class i f y   th e   tex t.  B u t  i n   o u r   p r o p o s ed   m o d el  w e  co n ce n tr ate  o n   th e  d ee p   lear n in g   al g o r ith m s   to   clas s i f y   th e  tex t.  I n   s e v er al  s t u d ies  a n d   r esear ch es  v er if ied   t h at  d ee p   lear n in g   al g o r ith m s   p r o d u c ed   b etter   ac cu r ac y   th an   m ac h in e  lear n in g   an d   tr ad itio n al  alg o r ith m s .   I n   th i s   p ap er ,   w e  d is c u s s ed   th e  R NN   al g o r ith m   to   ac q u ir e   b etter   ac cu r ac y .   T h e  ar ch itect u r e  o f   o u r   p r o p o s ed   s y s te m   i s   s h o w n   in   F ig u r e  2 .           Fig u r e  2 .   T h e  p r o p o s ed   GR U - SVM  ar ch i tect u r e  m o d el,   w it h   ti m es tep ,     GR U   i n p u t   u n i t   an d   SVM  as i t s   class i f ier       Si m i lar l y ,   to   t h e   w o r k   o f   A l alsh a k m u b ar ak   [ 2 2 ]   an d   s h o w s   t h at   th e   p r o p o s e  to   ap p ly   SVM  a s   th e  clas s i f ier   i n   a  d ee p   lear n in g   ar c h itect u r e  esp ec iall y   GR U.   T h en ,   t h e  p ar a m eter s   ar e  tr ain ed   ac r o s s     th e  g ati n g   m ec h a n is m   o f   G R U   ar ch i tectu r e   [ 2 3 ] .   Ho w e v er ,   g ated   r ec u r r en t  u n it  GR U  o v er co m es  s u c h   d ef icien c ies  o f   ex is tin g   R NN s   b y   ad d in g   t h e  R NN  w ith   an   u p d ate  an d   r eset  g ates  th at  tak e   as  an   in p u t  ,  ℎ − 1 ,     an d   g en er ate s   ĥ ,   b y   t h e  f o llo w i n g :   -   U p d ate  g ate:       =  σ (   . [ ℎ − 1 , ] )                   ( 7 )     -   R eset   g ate:       =  σ (   . [ ℎ − 1 , ] )                   ( 8 )     -   C an d id ate   h id d en   s tate:     ĥ   =  ta n h   (   . [ ∗ ℎ − 1 , ] )                 ( 9 )     T h e  s ec o n d   m o d if icat io n   co n s is t s   o f   r ep lacin g   t h e  s tan d ar d   h y p er b o lic  tan g en t  w i th   L e ak y - R e L U  ( L R el u )   ac ti v atio n   f u n ctio n .   I n   p ar ticu lar ,   w e  m o d i f y   th e  ca lc u latio n   o f   ca n d id ate  s tate  ĥ   in   ( 9 )   as f o llo w s :     ĥ   =  LRe lu   (   . [ ∗ ℎ − 1 , ] )                 ( 1 0 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   3 7 3 4   -   3742   3738   -   Hid d en   s tate:      ℎ   = ( 1 − ) ∗ ℎ − 1 +   ∗   ĥ                 ( 1 1 )       w h er e   W ,   U   ar e  w eig h t  m atr ic es,  σ   is   a  lo g i s tic  s i g m o id   ac ti v atio n   f u n ct io n ,   an d   ℎ − 1   is   th e   h id d en   s tate  ( f r o m   p r ev io u s   t i m e   s tep   t ) .   B u t   as   a   f i n al  la y er   i n tr o d u ce d   b y   SV M   an d   it s   r ep lace m e n t  o f   tr ad i tio n al  s o f t m a x   la y er   in   a  G R U ”   t h e  o p ti m u m   s ep ar atin g   h y p er - p la n e  p ar a m eter s   ar e  also   s o lv e d   th e   s u b s eq u e n t  r eg u lar izat io n   b y   i m p r o v i n g   t h e  p r in cip al  f u n cti o n   o f   SVM  as  s h o w n   in   eq u ati o n   12 :     Ɉ   ( ῶ , )   =  m i n   1 2 ῶ + ∑ = 1               ( 1 2 )     ( ῶ ( ẍ ) + ) ≥ 1 −   an d   ≥ 0 , = 1 , …         ( 1 3 )     C o n s id er   a  tr ain in g   d ata  s et  G   =  {[ ẍ , ] } = 1   ,   ẍ   ∈      is   th e  i th   in p u t  d esi g n   a n d     is   its   eq u iv ale n t   o b s er v ed   r esu lt    ∈   {+ 1 ,   - 1 }.   I n   tes t  clas s i f icatio n   m o d el,     d en o ted   b y   attr ib u te s   o f   tex t   v e cto r ,       is   clas s   lab el,   w h er e  c   i s   a   co n s ta n t  r e p r esen tin g   a   tr ad eo f f   a m o n g   t h e  ed g e  a n d   t h e  ca lc u latio n   o f   to tal  er r o r s .   “ ϕ ( ẍ )   is   a  n o n - lin ea r   f u n ctio n   t h at  p l o ts   th e  in p u t  s p ac e  in to   a  s u p er io r   d im e n s io n al  f ea t u r e  s p ac e.   T h e  m ar g i n   b et w ee n   th e  t w o   p ar ts   is   2 / w .       T h e  L 2 - SVM  h a s   to   ap p ie d   f o r   t h e  p r o p o s ed   GR U - S VM   s tr u ct u r e .   A s   f o r   t h e   p r ed ictio n ,   th e  d ec is io n   f u n ctio n   f ( x )   =  s i g n   ( wx   +  b )   g e n er ates   a  s co r e  v ec to r   f o r   ea ch   cla s s es.  So ,   to   d ev elo p   th e  p r ed ict   class   lab el  y   o f   a  d ata  x ,   th e  ar r m ax   f u n ctio n   is   e m p lo y ed :     P r ed ict - class   =  ar g m ax   ( s ig n   ( wx   +  b ) )             ( 1 4 )     T h e  p r o p o s ed   GR U - SVM  ap p r o ac h   is   s u m m ar ized   as f o llo ws:     a.   I n p u t t h e  d ataset  f ea tu r es { x i   |   x i   ∈   R m }  to   th e  G R U  n et w o r k .   b.   I n itialize  ar b itra r y   v al u es  w it h   th e  lear n i n g   p ar a m eter s   w ei g h ts   a n d   b iases   ( th e y   w i ll  b e  ad j u s ted   th r o u g h   tr ain i n g ) .   c.   T h e  GR U  n et w o r k   ce ll  s tate   is   ca lcu lated   b ased   o n   th e  i n p u t  f ea t u r es  x i ,   a n d   its   lear n in g   p ar a m eter s   v alu e s .   d.   A t  t h e  last   t i m e  s tep ,   th e  p r ed ictio n   o f   th e  m o d el  is   co m p u ted   u s i n g   th e  d ec is i o n   f u n ct io n   o f     SVM:  ƒ ( x )   =  s ig n   ( w x   +b ) .     e.   An   o p ti m izatio n   m et h o d   is   e m p lo y ed   f o r   lo s s   m i n i m iza tio n   ( A d a m   o p ti m izer   w as   ap p lied   in   t h is   r esear ch ) .   Op ti m izatio n   ad j u s t s   th e  w ei g h ts   a n d   b iases   b ased   o n   th e  co m p u ted   lo s s .   f.   T h is   p r o ce s s   is   r ep ea ted   u n til   th e  r ec u r r en t  n e u r al  n et w o r k   a ch iev e s   t h e   ap p r o p r iate  ac cu r ac y ”   o r   ac h iev e s   th e  h i g h est p o s s ib le  ac cu r ac y .       5.   E XP E R I M E NT   S E T UP   I n   th i s   s ec tio n ,   w e  e x p lai n   th e  ex p er i m e n tal  s et tin g s   an d   em p ir ical  r esu lt s   o f   t h e  p r o p o s ed   m o d el.     5 . 1 .     Co llect i o n o f   da t a s et s     I n   th i s   s ec tio n ,   w e  ad o p ted   t h e  o r d in ar y   e x p er i m e n tal  d at asets   t h at   co n tai n   C h in e s e  c o r p u s   an d   co llected   b y   Fu d a n   Un iv er s it y   Dr .   L i  R o n g la.   I n   t h e   a u to m at icall y   te x t c la s s i f icat io n   s y s te m ,   t h e  ex p er i m en ta l   d ataset  is   t y p icall y   d iv id ed   i n to   2   p ar ts :  th e  tr ain i n g   s et  a n d   test i n g   s et.   W e  r an d o m l y   s el ec ted   1 0   ca teg o r ies  f r o m   th e  co r p u s   a n d   d elete d   s o m e  er r o r   d o cu m en t s .   Fin all y ,   th e  co r p u s   co n s is t s   of   1 0   ca teg o r ies  an d     1 8 8 5   d o cu m en t s   i n   th e  t r ain in g   s ets  a n d   test i n g   s et s   c o n tain   9 4 0   d o cu m e n ts .   A cc o r d in g   to   th e  te x t   ca teg o r izatio n   s y s te m   s ett in g ,   ea ch   clas s   s h o u ld   i n cl u d e  a  p ar ticu lar   a m o u n t  o f   tr ai n in g   tex t.  E ac h   o n e  o f   th ese  te x ts   w as  co n c lu d ed   u s i n g   t h e  class if ier , ”   an d   t h en   t h e  class if icati o n   r es u lts   d is t in c tio n   to   th e  ac cu r ate   d eter m in at io n .   T h er ef o r e,   w e  ca n   d eter m i n e   t h e  m o d el  i m p ac t   w ith   th e  SVM  clas s i f ier .   Deta il  d escr ip tio n   o f   d ataset  is   p r esen ted   i n   T ab le  1.   I n   “ ad d itio n ,   th er e  ar e  th r ee   ev alu atio n   i n d ex   m ea s u r es t h e  e f f icie n c y   o f   tex t c la s s i f icat io n :       R ec a ll   =    +                     ( 1 5 )     P r ec is io n   =    +                     ( 1 6 )     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Text  cla s s ific a tio n   b a s ed   o n   g a ted   r ec u r r en t u n it   co mb in es  w ith … ( Mu h a mma d   Zu lq a r n a i n )   3739   F1   =  2 ∗       ∗          +                    ( 1 7 )     w h er e    r ep r esen t  th e  p o s i tiv e   in s tan ce   test   d o cu m e n tatio n s   th at  ar e   u s ed   ac c u r atel y   clas s if ied   t h e  cla s s   a s   b elo n g   t o   th e  n u m b er   o f   th i s   ca teg o r y .     ar e  s h o w in g   t h e  n e g ati v e  in s tan ce   o f   test   d o cu m en tatio n s   th a t  ar e  er r o r   class if ied   f o r   b elo n g s   to   th e  n u m b er   o f   th i s   ca teg o r y .     ar e  th e  p o s itiv e  in s ta n ce s   o f   test   d o cu m e n t atio n s   th at  ar e  b e  er r o r   class if ied   f o r   d o es  n o t  b elo n g   to   th e  n u m b er   o f   th is   ca te g o r y .   F u r th er m o r e,   h ig h er   p r ec is io n   m ea n s   t h at  a  m o d el  r et u r n   d r a m atica ll y   m o r e  r elate d   r esu lt s   th a n   ir r elev a n t,  al s o   h i g h   r e ca ll  m ea n s   t h at  a n   al g o r ith m   h a s   r etu r n ed   b est  o f   th e  r elev a n t  r esu lt s .   So ,   w e  asp ec t  to   o b tain   h ig h er   v alu e s   o f   p r ec is io n   an d   r ec all.         T ab le  1 .   E x p er im e n t al   d ataset   T ex t c lass   T r ain in g   s et s   T est s ets   C o mp u t e r   1 3 3   67   A r t   1 6 5   83   En t e r t a i n me n t   1 3 4   67   Ed u c a t i o n   1 4 9   74   Ec o n o my   2 1 4   1 0 5   P o l i c y   3 3 2   1 6 4   S p o r t   3 0 0   1 5 0   M e d i c i n e   1 3 6   68   B u s i n e ss   1 8 1   90   T r a n sp o r t a t i o n   1 4 1   70       5 . 2 .     H y perpa ra m et er s   a nd   s o f t w a re     Data   p r ep r o ce s s in g   a n d   m an i p u late  h av e   p er f o r m ed   i n   P y t h o n   3 . 6 ,   b asis   o n   th e   s k lear n ,   n u m p y   a n d   p an d as  p ac k ag e s .   Dee p   lear n in g   GR U  n et w o r k   a n d   tr ad itio n al  DNNs  h a v e  to   ex ec u ted   w it h   T en s o r Flo w ,   an   o p en   s o u r ce   s o f t w ar e  lib r a r y   f o r   n u m er icall y   co m p u tatio n s   t h r o u g h   d ata  f lo w s   g r ap h .   P er f o r m a n ce   o f   all   m et h o d s   w a s   b ased   o n   p r e - d ef i n ed   ass es s m en t  m ea s u r es.   C o m p letel y   s i m u latio n s   w er e  i m p le m e n ted   o n     I n t el  C o r e  i7 - 3 7 7 0 XP U  @ 3 . 4 0 ”   GHz ,   an d   4 GB   o f   R AM   m ac h i n e.   T h e  d etail  o f   h y p er p ar a m eter s   o f   th e  p r o p o s ed   m o d el  is   p r esen t ed   in   T ab le  2.       T ab le  2 .   Deta il o f   h y p er p ar a m eter s   u s ed   i n   p r o p o s ed   GR U - S VM   m o d el   H y p er p ar am e ter s   GR U - SVM   B a t c h   S i z e   1 2 8   C e l l   S i z e   1 2 8   D r o p o u t   R a t e   0 . 8 5   Ep o c h s   15   L e a r n i n g   R a t e   1e - 5   S V M _ C   0 . 5   N o .   o f   c l a sse s   10 ”       6.   RE SU L T S AN D  D I SCU SS I O N   T o   ev alu ates  a n d   co m p ar ed   th e  p er f o r m an ce   o f   G R U - S VM   tex t   clas s i f icatio n   a lg o r ith m   w it h   b aselin e  D A B N  a n d   B L STM - C   clas s i f icatio n   a l g o r ith m s ,   w e  h a v   ex p er i m e n t ed   o n   w ell - k n o w n   C h i n ese   co r p u s   d atasets .   w e  h av e   co n clu d ed   th at  t h e  G R U - SVM  a p p r o ac h   h as  b est  te x t  clas s i f i ca tio n s   ca p ab ilit y   in   th e  ter m   o f   th e  r ec all,   p r ec is io n   an d   th e  F1   co m p ar e  w it h   th e  e x is tin g   ap p r o ac h es  o f   d ee p   au to en co d er   b elief   n et w o r k s   ( D A B N)   [ 2 4 ]   an d   B i d ir ec tio n al  L o n g   Sh o r t  T er m   Me m o r y   w i th   co n v o lu tio n al  la y er   “ ( B L ST M - C )   [ 2 5 ] .   T h e  p r o p o s ed   tech n iq u e  p e r f o r m ed   b etter   tex t  clas s if icatio n   o n   t h e  d atasets   s u c h   as   co m p u ter ,   ar t,  en ter tain m en t,   p o liti cs,  ed u ca tio n ,   s p o r ts ,   an d   tr an s p o r tatio n .   W h ile  p r o p o s ed   im p r o v e d   GR U - SVM  m o d el  p er f o r m a n ce   is   n o t  g o o d   to   class if y   ac c u r ate  class   i n   th e  k in d   o f   b u s i n es s ,   ec o n o m y ,   a n d   m ed icin e.   T h is   m a y   b e  b ec au s e  in   eli m i n ati n g   r elate d   f ea t u r es  o f   a  test   r es u lt,  a n d   lo s t  s ev er al  in f o r m at io n .   T h er ef o r e,   th at  th e  r ec all  r ate  cr iter ia  h a v e  af f ec ted .   C o n s eq u en t l y ,   it  is   also   r eq u ir e  f o r   f u r th er   i m p r o v e m e n t.   T h er ef o r e,   th e  p r o p o s ed   GR U - SVM   m o d el  ca n   p r o v id e  a   p o w er f u l   al g o r ith m   i n   p er f o r m in g   te x t c la s s i f icatio n   task s .   Fi g u r e   3   to   Fig u r e  5 ”   s h o w s   th e   p er f o r m a n ce   o f   t h e   p r o p o s ed   GR U - SVM   m o d el   w it h   th e   tr ad itio n a l   b aselin e  ap p r o ac h es.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   3 7 3 4   -   3742   3740         Fig u r e  3 .   C o m p ar is o n   p er f o r m an ce   o f   t h e   p r o p o s ed   m o d el  w i th   b asel in e  ap p r o ac h es in     th e  ter m   o f   p r ec is io n     Fig u r e  4 .   C o m p ar is o n   p er f o r m an ce   o f     th e   p r o p o s ed   m o d el  w i th   b asel in e  ap p r o ac h es in   t h e  ter m   o f   r e ca ll             Fig u r e  5 .   C o m p ar is o n   p er f o r m an ce   o f   t h e   p r o p o s ed   m o d el  w ith   b aseli n e  ap p r o ac h es in   t h e  ter m   o f   F1       7.   CO NCLU SI O N   I n   th i s   p ap er ,   w e  h a v e  p r o p o s ed   a  g ated   r ec u r r en t  u n it  n et w o r k   a n d   r ep lace   its   tr ad itio n al  s o f t m a x   o u tp u t  la y er   w i th   SVM   f o r   te x t  class if icatio n .   W e  h a v e  p er f o r m ed   an   e x p er i m en t   o n   t h e  “ well - k n o w n   C h in e s e  co r p u s   d atasets   to   e v al u ate  t h e   p er f o r m a n ce   o f   t h e  G R U - SV M.   T h e  d ataset  i s   p u b licl y   av a ilab le  an d   i n cl u d ed   1 8 8 5   d o cu m e n t s   f o r   tr ain i n g   an d   9 4 0   d o cu m e n ts   f o r   test in g .   T h e  r esu lts   h av e   b ee n   c o m p ar ed   w it h   t w o     s tate - of - th e - ar t  D A B N  a n d   B L ST M - C   m o d els.  T h r o u g h   th e  p r ac ticall y   d ata  e x p er im en t,  th e  p r o p o s ed     GR U - SVM  m o d el  ac h iev ed   th e   b est  tex t  class if ica tio n   ac cu r ac y /p er f o r m a n ce   r ate  o f   9 4 . 7 5 %,   w h ic h   d em o n s tr ated   th e   p o ten tial   o f   i m p le m en tin g   GR U - SVM  o n   m u l ti - c lass   cla s s i f icatio n   is s u es   w it h   a   s m al l   n u m b er   o f   clas s es.  F u r th er m o r e,   o u r   p r o p o s ed   m et h o d   ac h iev ed   m u c h   b etter   p er f o r m a n ce   in   t h e  ter m   o f   p r ec is io n ,   r ec all  an d   F1   th a n   DA B N   a n d   B L ST M - C ,   p ar tic u lar l y   w h e n   th e  s ize  o f   t h e  s to r ag e  li m ited .       ACK NO WL E D G E M E NT S     T h e  au th o r s   w o u ld   li k e  to   t h an k s   Mi n i s tr y   o f   E d u ca tio n   Ma la y s ia,   Un iv er s iti  T u n   Hu s s ei n   O n n   Ma la y s ia  a n d   R e s ea r ch   Ma n a g e m e n t  C en ter   ( R MC)  f o r   f u n d in g   t h is   r esear c h   ac ti v it y   u n d er   th e  Fu n d u m e n tal   R esear ch   Gr a n t Sc h e m e  ( FR G S),   v o te  n o . 1 6 4 1 .         RE F E R E NC E S   [1 ]   G .   Tzo rtzis  a n d   A .   L ik a s,  “ De e p   Be li e f   Ne t w o rk s  f o r  S p a m   F il terin g , ”   1 9 th   IEE E   In t.   Co n f.   T o o ls  wit h   Art if .   I n tell .   2 0 0 7 ) ,   p p .   3 0 6 – 3 0 9 ,   2 0 0 7 .   [2 ]   Y.  Nin g   e t   a l. ,   “ M u lt i - tas k   d e e p   lea rn in g   f o r  u se r   in ten ti o n   u n d e rsta n d in g   in   sp e e c h   in tera c ti o n   sy ste m s,”   3 1 st A AA I  Co n f.   Arti f.   In tell .   AA AI   2 0 1 7 ,   p p .   1 6 1 – 1 6 7 ,   2 0 1 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       Text  cla s s ific a tio n   b a s ed   o n   g a ted   r ec u r r en t u n it   co mb in es  w ith … ( Mu h a mma d   Zu lq a r n a i n )   3741   [3 ]   M .   Z u lq a rn a i n ,   R .   G h a z a li ,   Y.  M .   M .   Ha ss i m ,   a n d   M .   Re h a n ,   “ A   c o m p a ra ti v e   re v ie w   o n   d e e p   lea r n in g   m o d e ls  f o r  tex t  c las si f ica ti o n , ”   In d o n e s.  J .   El e c tr.  En g .   Co mp u t.   S c i. ,   v o l.   1 9 ,   n o .   1 ,   p p .   1 8 5 6 – 1 8 6 6 ,   2 0 2 0 .   [4 ]   R.   G h a z a li ,   N.  A .   Hu sa in i,   L .   H.  Ism a il ,   T .   He ra w a n ,   a n d   Y.  M .   M .   Ha ss im ,   “ T h e   p e r f o rm a n c e   o f   a   Re c u rre n t  HO NN   f o r  te m p e ra tu re   ti m e   se rie s p re d ictio n , ”   Pr o c .   In t.   J t .   C o n f.   Ne u ra l  Ne two rk s ,   n o .   Ju ly ,   p p .   5 1 8 – 5 2 4 ,   2 0 1 4 .   [5 ]   K.  J.  Oh ,   W .   J.  L e e ,   C.   G .   L i m ,   a n d   H.   J.  Ch o i,   “ P e rs o n a li z e d   n e ws   re c o m m e n d a ti o n   u sin g   c las sif ie d   k e y w o rd s  to   c a p tu re   u se r  p re f e re n c e , ”   In t.   Co n f.   Ad v .   Co mm u n .   T e c h n o l.   ICACT ,   p p .   1 2 8 3 – 1 2 8 7 ,   2 0 1 4 .   [6 ]   G .   M u jt a b a ,   L .   S h u ib ,   R.   G .   Ra j,   N.  M a jee d ,   a n d   M .   A .   A l - Ga ra d i,   “ Ema il   Clas sif ic a ti o n   Re se a rc h   T re n d s:  Re v ie w  a n d   Op e n   Iss u e s,”   IEE E  Acc e ss ,   v o l.   5 ,   p p .   9 0 4 4 – 9 0 6 4 ,   2 0 1 7 .   [7 ]   S .   M .   S a q i b ,   F .   M .   Ku n d i,   a n d   S .   A h m a d ,   “ Un su p e rv ise d   L e a rn in g   M e th o d   f o r  S o r ti n g   P o siti v e   a n d   Ne g a ti v e   Re v ie w s  Us in g   L S I  (L a t e n t  S e m a n ti c   In d e x in g )  w it h   A u to m a ti c   G e n e r a ted   Qu e ries , ”   IJ CS NS   In t.   J .   Co mp u t.   S c i.   Ne tw.   S e c u r. ,   v o l .   1 8 ,   n o .   1 ,   p p .   5 6 – 6 2 ,   2 0 1 8 .   [8 ]   M .   Zu l q a rn a in ,   R.   G h a z a li ,   S .   H.  Kh a lee f a h ,   a n d   A .   Re h a n ,   “ A n   I m p ro v e d   th e   P e rf o r m a n c e   o f   GR U  M o d e l  b a se d   o n   Ba tch   No rm a li z a ti o n   f o r  S e n te n c e   Clas sif i c a ti o n , ”   In t.   J .   C o mp u t.   S c i.   Ne tw.   S e c u r. ,   v o l.   1 9 ,   n o .   9 ,   p p .   1 7 6 – 1 8 6 ,   2 0 1 9 .   [9 ]   V .   Ko rd e   a n d   C.   N.  M a h e n d e r,   “ T e x t  Clas si f ic a ti o n   a n d   Clas sif ier s:  A   S u rv e y , ”   In t.   J .   Arti f.   In tell.   Ap p l . ,   v o l.   3 ,   n o .   2 ,   p p .   8 5 – 9 9 ,   2 0 1 2 .   [1 0 ]   W .   S h a rif ,   N.  A .   S a m su d in ,   M .   M .   De ris,   a n d   M .   A a m ir,   “ I m p ro v e d   re lativ e   d isc rim in a ti v e   c rit e rio n   f e a tu re   ra n k in g   tec h n iq u e   f o r  tex t  c las sif ic a ti o n , ”   In t.   J .   Arti f.   I n tell. ,   v o l.   1 5 ,   n o .   2 ,   p p .   6 1 – 7 8 ,   2 0 1 7.   [1 1 ]   R.   G h a z a li ,   Z.   A .   Ba k a r,   Y.  M a z w in ,   a n d   M .   Ha ss im ,   “ F u n c ti o n a l  L in k   Ne u ra l  Ne tw o rk   w it h   M o d if ied   Cu c k o o   S e a rc h   T ra in in g   A lg o rit h m , ”   In t.   Co n f.   In tell .   Co m p u t . ,   p p .   2 8 5 – 2 9 1 ,   2 0 1 4 .   [1 2 ]   J.  L iu ,   W . - C.   Ch a n g ,   Y .   W u ,   a n d   Y.  Ya n g ,   “ De e p   L e a rn in g   f o r  Ex tr e m e   M u lt i - lab e l  T e x t  Clas sifica ti o n , ”   Pr o c .   4 0 t h   In t.   ACM   S IGIR  Co n f.   Res .   De v .   In f.   Retr.    -   S IGIR   ’1 7 ,   p p .   1 1 5 – 1 2 4 ,   2 0 1 7 .   [1 3 ]   B.   He ,   Y.  G u a n ,   a n d   R.   Da i,   “ Co n v o lu ti o n a l  G a ted   Re c u rre n t  Un it s  f o r  M e d ica l  Re latio n   Clas si f ica t io n , ”   J .   M a c h .   L e a rn .   Res . ,   n o .   j u ly ,   p p .   1 1 8 – 1 2 7 ,   2 0 1 8 .   [1 4 ]   L .   W e i,   B.   Wei,   a n d   B.   W a n g ,   “ T e x t  Clas si f ica ti o n   Us in g   S u p p o r t  V e c to r  M a c h in e   w it h   M ix tu re   o f   Ke rn e l, ”   A  J .   S o ft w .   En g .   Ap p l. ,   v o l.   2 0 1 2 ,   n o .   De c e m b e r,   p p .   5 5 – 5 8 ,   2 0 1 2 .   [1 5 ]   M .   G o u d j il ,   M .   K o u d il ,   M .   Be d d a ,   a n d   N.   G h o g g a li ,   “ A   No v e l  A c ti v e   Lea rn in g   M e th o d   Us i n g   S V M   f o r  T e x t   Clas sif ic a ti o n , ”   In t .   J .   A u to m .   Co mp u t. ,   v o l.   1 5 ,   n o .   3 ,   p p .   2 9 0 – 2 9 8 ,   2 0 1 8 .   [1 6 ]   M .   K.  S .   V a rm a ,   “ P ix e l - b a se d   Clas sif i c a ti o n   Us in g   S u p p o rt  V e c to r  M a c h in e   Clas sif ier,”  2 0 1 6   IEE E  6 th   I n t.   Co n f.   Ad v .   Co m p u t . ,   p p .   5 1 – 5 5 ,   2 0 1 6 .   [1 7 ]   V .   Ho o sh m a n d   M o g h a d d a m   a n d   J.  Ha m id z a d e h ,   “ Ne w   He r m it e   o rth o g o n a l  p o ly n o m ial  k e rn e l   a n d   c o m b in e d   k e rn e ls i n   S u p p o rt  V e c to r  M a c h in e   c las si f ier,”  Pa tt e rn   Rec o g n it . ,   v o l.   6 0 ,   p p .   9 2 1 – 9 3 5 ,   2 0 1 6 .   [1 8 ]   G .   In d ra wa n ,   I.   K.  P .   S u d iars a ,   a n d   K.  A g u stin i,   “ S m o o th   S u p p o r t   V e c to r  M a c h i n e   f o r  S u icid e - Re l a ted   Be h a v io u rs  P re d ictio n , ”   In t.   J .   E lec tr.  Co mp u t.   En g . ,   v o l.   8 ,   n o .   5 ,   p p .   3 3 9 9 – 3 4 0 6 ,   2 0 1 8 .   [1 9 ]   W .   S h a rif ,   U.  T u n ,   H.  On n ,   I.   T ri ,   a n d   R.   Ya n t o ,   “ A n   Op ti m ise d   S u p p o rt  V e c to r  M a c h i n e   w it h   Rin g e d   S e a l  S e a rc h   A l g o rit h m   f o r  Eff ici e n t  T e x t  Clas sif ica ti o n , ”   J .   En g .   S c i .   T e c h n o l. ,   v o l.   1 4 ,   n o .   3 ,   p p .   1 6 0 1 – 1 6 1 3 ,   2 0 1 9 .   [2 0 ]   K.  Ch o   e t  a l. ,   “ L e a rn in g   P h ra s e   Re p re se n tatio n s  u si n g   RNN   En c o d e r - De c o d e r  f o r  S tatisti c a l  M a c h in e   T r a n sla ti o n , ”   a rXiv ,   n o .   S e p tem b e r,   p p .   1 – 1 5 ,   2 0 1 4 .   [2 1 ]   M .   Z u lq a rn a i n ,   S .   A .   Ish a k ,   R.   Gh a z a li ,   a n d   N.  M .   Na w i,   “ A n   I m p ro v e d   De e p   L e a rn in g   A p p ro a c h   b a se d   o n   V a rian t   Tw o - S tate   G a ted   Re c u rr e n t  Un it   a n d   W o rd   Em b e d d in g s  f o r  S e n ti m e n t  Clas sif i c a ti o n , ”   In t.   J .   Ad v .   Co mp u t .   S c i.   Ap p l . ,   v o l.   1 1 ,   n o .   1 ,   p p .   5 9 4 – 6 0 3 ,   2 0 2 0 .   [2 2 ]   A .   A lalsh e k m u b a ra k   a n d   L .   S .   S m it h ,   “ A   No v e l  A p p ro a c h   Co m b in in g   Re c u rre n t  Ne u ra l  Ne t wo rk   a n d   S u p p o rt   V e c to r  M a c h in e s  F o r  T i m e   S e rie s  Clas sif ic a ti o n , ”   2 0 1 3   9 th   In t .   C o n f.   In n o v .   I n f.   T e c h n o l. ,   n o .   A u g u st,  p p .   4 2 – 4 7 ,   2 0 1 3 .   [2 3 ]   M .   Zu l q a rn a in ,   R.   G h a z a li ,   M .   G .   G h o u se ,   a n d   M .   F .   M u sh taq ,   “ Eff i c ien t  P ro c e ss in g   o f   G RU  Ba se d   o n   W o rd   Em b e d d in g   f o r  T e x t  Clas sif ic a ti o n , ”   In t .   J .   I n fo rm a ti c s V is. ,   v o l.   3 ,   n o .   4 ,   p p .   3 7 7 – 3 8 3 ,   2 0 1 9 .   [2 4 ]   Z.   Ya n g   a n d   X .   P a n g ,   “ Re se a r c h   a n d   Im p le m e n tatio n   o f   T e x t  Clas sif ica ti o n   M o d e l  Ba se d   o n   C o m b in a ti o n   o f   D A E   a n d   DBN , ”   2 0 1 7   1 0 t h   In t.   S y mp .   Co mp u t .   In tell.   De s. ,   p p .   1 9 0 – 1 9 3 ,   2 0 1 7 .   [2 5 ]   Y.  L i,   X .   W a n g ,   a n d   P .   X u ,   “ Ch in e se   T e x t  Clas si f ica ti o n   M o d e l  Ba se d   o n   De e p   L e a rn in g , ”   J .   Ki n g   S a u d   Un iv.  -   Co mp u t .   In f.   S c i. ,   n o .   No v e m b e r,   p p .   2 0 – 3 2 ,   2 0 1 8 .       B I O G RAP H I E S   O F   AUTH O RS       M u h a m m a d   Zu l q a r n a in   re c e iv e d   h is  Ba c h e lo r  a n d   M a s ter  d e g re e   in   Co m p u ter  S c ien c e   a n d   In f o rm a ti o n   T e c h n o l o g y   f ro m   T h e   Isla m ia  Un iv e rsit y   o f   Ba h a wa lp u r  (IUB),  P a k istan .   He   re c e iv e d   h is  M . P h il   d e g re e   (M a ste r  o f   P h i lo so p h y )  f ro m   Na ti o n a l  Co ll e g e   o f   Bu sin e ss   A d m in istratio n   a n d   Eco n o m ics ,   L a h o re ,   P a k istan .   H e   is  c u rre n tl y   p u rsu in g   P h . D  f ro m   Un iv e rsit y   T u n   Hu ss e in   On n   M a la y sia .   His  re se a rc h   in tere st  is  M a c h in e   L e a rn in g   a n d   De e p   lea rn in g   f o r  n a tu ra l  la n g u a g e   p ro c e ss in g   a n d   it s a p p li c a ti o n         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  10 ,   No .   4 ,  A u g u s t 2 0 2 0   :   3 7 3 4   -   3742   3742     Ro z a i d a   G h a z a li   is  c u rre n tl y   a   P r o f e ss o r  a t  th e   F a c u lt y   o f   Co m p u ter  S c ien c e   a n d   I n f o rm a ti o n   T e c h n o lo g y ,   Un iv e r siti   T u n   Hu ss e in   On n   M a lay sia   (U T HM).   S h e   g ra d u a ted   w it h   a   P h . D.   d e g re e   in   Hig h e r  Ord e r  Ne u ra l  Ne t w o rk s  f ro m   th e   S c h o o l  o f   Co m p u ti n g   a n d   M a th e m a ti c a l  S c ien c e s  a t  L iv e rp o o l  Jo h n   M o o re s  Un iv e rsity ,   Un it e d   Kin g d o m   in   2 0 0 7 .   Earl ier,  in   2 0 0 3   sh e   c o m p lete d   h e r   M . S c .   d e g re e   in   Co m p u ter  S c ien c e   f ro m   Un iv e rsiti   Tek n o lo g i  M a la y sia   (U T M ).   S h e   re c e iv e d   h e r   B. S c .   (Ho n s)  d e g re e   in   Co m p u ter S c ien c e   f ro m   Un iv e rsiti   S a in s M a la y sia   (USM )  in   1 9 9 7 .   I n   2 0 0 1 ,   Ro z a id a   jo i n e d   t h e   a c a d e m ic  sta ff   in   UT HM.   He r  re se a rc h   a re a   in c lu d e s  n e u ra l  n e tw o rk s,  s w a r m   in telli g e n c e ,   o p ti m iza ti o n ,   d a ta  m in in g ,   a n d   ti m e   se ries   p re d ictio n .   S h e   h a s  su c c e ss f u ll y   su p e rv ise d   a   n u m b e r  o f   P h D  a n d   m a ste r  stu d e n ts  a n d   p u b li sh e d   m o re   th a n   1 0 0   a rti c les   in   v a rio u s  in ter n a ti o n a l   jo u r n a ls  a n d   c o n f e re n c e   p ro c e e d in g s.  S h e   a c ts  a s  a   re v ie w e r  f o r  v a rio u s  jo u rn a ls  a n d   c o n f e re n c e s,  a n d   a s  a n   e d it o r  in   a   f e w  S p rin g e r  c o n f e r e n c e   p ro c e e d in g s.  S h e   h a s  a lso   se r v e d   a s   a   c o n f e re n c e   c h a ir,   a n d   a s a   tec h n ica l  c o m m it tee   f o r  n u m e ro u s in tern a ti o n a l  c o n f e re n c e s.         Ya n a   M a z w in   M o h m a d   H a ss i m   is  a   se n io r  lec tu re r  a t  th e   F a c u lt y   o f   Co m p u ter  S c ien c e   a n d   In f o rm a ti o n   T e c h n o l o g y ,   Un iv e r siti   T u n   Hu ss e in   O n n   M a la y sia   (UT HM).   S h e   g ra d u a ted   w it h   a   P h D  d e g re e   f ro m   Un iv e rsiti   T u n   Hu ss e in   On n   M a lay sia   (U T H M )  in   2 0 1 6 .   Earlier,  in   2 0 0 6   sh e   c o m p let e d   h e r  M a ste r ' s  d e g r e e   in   Co m p u ter  S c ien c e   f ro m   Un iv e rsiti   o f   M a la y a   (UM) .   S h e   re c e iv e d   h e r   Ba c h e lo r  o f  I n f o rm a ti o n   T e c h n o lo g y   ( Ho n s)  d e g re e   m a jo rin g   in   In d u stria l   Co m p u ti n g   f ro m   Un iv e rsiti   Ke b a n g sa a n   M a la y sia   (UK M )   in   2 0 0 1 .   In   2 0 0 3 ,   Ya n a   M a z w in   jo in e d   th e   a c a d e m ic   sta ff   in   U T HM.   H e r  re se a rc h   a re a   in c lu d e s  n e u ra l  n e tw o rk s,   s w a r m   in telli g e n c e ,   o p ti m iza ti o n   a n d   c las sif ica ti o n .          M u h a m m a d   Re h a n   is  a n   A ss istan t  p r o f e ss o r  a t  th e   De p a rtme n t  o f   Co m p u ter  S c ien c e   a n d   In f o rm a ti o n   T e c h n o lo g y ,   Ba q a i  M e d ica l  Un iv e r sity   (BM U)  K a r a c h i,   P a k istan .   He   re c e iv e d   h is   M . P h i l.   De g re e   (M a ste r  o f   P h il o so p h y )  f ro m   th e   F a c u lt y   o f   Co m p u ter  S c ien c e   a n d   In f o rm a ti o n   T e c h n o lo g y ,   Ha m d a rd   Un iv e rsit y   c o re   a re a   is  Co m p u ter  Ne t w o rk s   in   2 0 1 6 .   Ka ra c h i,   P a k istan .   He   re c e i v e d   h is  Ba c h e lo r  o f   C o m p u ter  S c ien c e   d e g r e e   m a jo rin g   in   S o f tw a re   En g in e e rin g   f ro m   Da d a b h o y   In stit u te  o f   Hig h e r  Ed u c a ti o n   (DIH E)  Ka ra c h i,   P a k istan   in   2 0 0 4 .   He   is  c u rre n tl y   p u rsu i n g   h is P h . D.  f ro m   Un iv e rsity   T u n   Hu ss e in   On n   M a lay sia   (U T HM).   His r e se a r c h   a re a   is  D a ta   M in i n g   a n d   M a c h in e   L e a rn in g   f o r  Op ti m iza ti o n   a n d   it s a p p li c a ti o n .     Evaluation Warning : The document was created with Spire.PDF for Python.