I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   19 ,   N o .   1 J ul y   20 20 ,   pp .   3 25 ~ 3 35   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 9 .i 1 . pp 325 - 335             325       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   c o m p a r a t i v e   r e v i e w   o n   d e e p   l e a r n i n g   m o d e l s     f o r   t e x t   c l a ssi f i c a t i o n       M u h amm ad   Zu l q ar n ai n ,   R o z ai d a   G h a z a l i ,   Y an a   M az w i n   M o h m ad   H as s i m ,   M u h amm ad   R e h an   F a c ul t y   o f   C o m put e r   S c i e nc e   a nd   I nf o r m a t i o T e c hno l o gy ,   U ni v e r s i t i   T un   H us s e i O nn  M a l a y s i a   ( U T H M ) ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e M a y   26 ,   2019   R e v i s e O c t   2 3,   2 0 19   A c c e pt e D e c   11 ,   2 0 19       T e xt   c l a s s i f i c a t i o i s   a   f unda m e nt a l   t a s k   i s e v e r a l   a r e a s   o f   na t ur a l   l a ng ua g e   pr o c e s s i ng   ( N L P ) ,   i nc l ud i ng   w o r d s   s e m a nt i c   c l a s s i f i c a t i o n,   s e nt i m e n t   a na l y s i s ,   que s t i o a ns w e r i ng ,   o r   d i a l o g   m a na g e m e nt .   T hi s   p a pe r   i nv e s t i g a t e s   t hr e e   ba s i c   a r c hi t e c t u r e s   o f   de e p   l e a r ni ng   m o de l s   f o r   t he   t a s ks   o f   t e xt   c l a s s i f i c a t i o n:   D e e B e l i e f   N e ur a l   ( D B N ) ,   C o nv o l ut i o na l   N e ur a l   N e t w o r ( C N N )   a n R e c ur r e nt   N e ur a l   N e t w o r ( R N N ) ,   t he s e   t h r e e   m a i t y pe s   o f   de e l e a r ni ng   a r c hi t e c t ur e s ,   a r e   l a r g e l y   e xpl o r e d   t o   ha ndl e   v a r i o us   c l a s s i f i c a t i o t a s ks .   D B N   h a v e   e xc e l l e n t   l e a r n i ng   c a pa b i l i t i e s   t o   e xt r a c t s   h i g hl y   di s t i ng ui s ha bl e   f e a t u r e s   a nd   g oo f o r   g e ne r a l   pur po s e .   C N N   h a v e   s uppo s e d   t o   be   be t t e r   a t   e x t r a c t i ng   t he   p o s i t i o o f   v a r i o us   r e l a t e d   f e a t ur e s   w hi l e   R N N   i s   m o de l i ng   i s e que n t i a l   o f   l o ng - t e r m   de pe n de nc i e s .   T h i s   p a pe r   w o r k   s ho w s   t he   s y s t e m a t i c   c o m pa r i s o o f   D B N ,   C N N ,   a nd   R N N   o t e x t   c l a s s i f i c a t i o t a s ks .   F i na l l y ,   w e   s ho w   t he   r e s ul t s   o f   de e m o de l s   by   r e s e a r c e xpe r i m e nt .   T he   a i m   o f   t hi s   p a pe r   t o   p r o v i de   ba s i c   g ui da nc e   a bo ut   t he   de e p   l e a r ni ng   m o de l s   t ha t   w hi c m o de l s   i s   be s t   f o r   t h e   t a s k   o f   t e xt   c l a s s i f i c a t i o n .       Ke y w or d s :   CN N   D B N   D e e l e a rni n g   R N N   T e xt   c l a s s i f i c a t i o n   C opy r i gh t   ©   20 20   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   Ro z a i d a   G ha z a l i ,   F a c ul t y   of   Co m put e r   S c i e n c e   a n d   I n f o r m a t i o T e c hn o l o gy ,   U n i v e r s i t i   T u n   H us s e i O nn  M a l a y s i a ,     86400”   P a ri t   R a j a ,   B a t u   P a ha t ,   J o h o r ,   M a l a y s i a .     E m a i l :   r o z a i d a @ ut hm . e du. m y       1.   I N TR O D U C TI O N     T e xt   c l a s s i f i c a t i o (T C)  i s   o n e   o f   t h e   i m po r t a nt   t a s ks   o f   m a c h i n e   l e a rn i ng  a n ha s   b e e n   e xt e n s i v e l y   us e i t h e   s e v e r a l   a r e a s   o f   N a t u ra l   L a ngua ge   P r o c e s s i n (N L P ).   It ’s   o b j e c t i v e   t o   de s i gn e d   a p p r o pri a t e   a l go ri t hm s   t o   a l l o w   c o m put e r s   t o   e xt r a c t   f e a t u r e s   a n d   c l a s s i fy   t e xt s   a ut o m a t i c a l l y .   D e e l e a rn i ng   w a s   de v e l o p e d   f r o m   a rt i f i c i a l   n e u ra l   n e t w o r ks   a nd  n o w   b e c o m e   pa po l a r   a r e a   o f   m a c hi n e   l a rni n g,   t h a t   e f fo r t s   t o   e xt r a c t     hi g h - l e v e l   a b s t ra c t i o i d a t a   by   us i n g   hi e ra r c h i c a l   m e c hni s m .   I t   i s   a   de v e l o pi n g   t e c hni que   a nd   h a s   b e e n   e xt e n s i v e l y   a ppl i e i t h e   s e v e r a l   o f   a r e a s   i n c l ude d,   pa t t e rn  re c o gn i t i o n,   s e m a nt i c   p a r s i ng,   s pe e c r e c o gn i t i o n ,   c o m put e r   v i s i o n   a n d   n a t u ra l   l a ngua ge   p r o c e s s i n g .   D N N s   ha v e   b e c o m e   ve r y   i n t e r s t i ng  r e s e a r c h   a r e a s   i n   t h e   l a s t   f e w   y e a r s   [1] .   T o   b ui l t r a d i t i o na l   n e u ra l   n e t w o r ks   (N N s ),   i t   i s   i m po r t a n t   t o   e m pl o y   n e ur o n s   t o   de v e l o p     r e a l - v a l ue a c t i v a t i o n s   by   f i t t i n g   t h e   w e i gh t s .   H ow e v e r ,   B a c kpr o pa ga t i o i s   a n   e f f e c t i v e   gr a di e n t   de s c e n t   m e t h o w h i c h   ha s   pe r f o r m e a n   e s s e n t i a l   r o l e   i A N N s   s i n c e   1982.   T e xt   c l a s s i f i c a t i o h a s   b e e n   g r e a t l y   b e n e f i t e by   t h e   r e v i v a l   o f   t h e   de e n e u ra l   n e t w o r (D N N s due   t o   t h e i r e m a r k a b l e   a c h i e v e m e n t   w i t l e s s   e s s e n t i a l   o f   e n gi n e e r i n g   f e a t u r e s .     D e e l e a n i n g   m o de l s   us ua l l y   t a ke   hi e ra r c h i t c a l   a r c h i t c t u r e s   t o   c o m b i n e   t h e i l a y e r s .   T h e   o ut put   o   a   l o w e r   l a y e r   c a n   b e   c o n s i de r e a s   t h e   i nput   o f   a   hi g h e l a y e t hr o ug s i m pl y   l i n e a o n o n l i n e a c o nn e c t i o n s .   T h e s e   m o de l s   c a p r o c e s s   l ow - l e v e l   w o r v e c t o r s   f e a t u r e s   o t h e   da t a   i nt o   hi g h - l e v e l   a b s t r a c t   f e a t u r e s   v e c t o r .   B a s e o n   t h e   c h a ra c t e ri s t i c s ,   de e l e a rn i ng  t e c hni que s   a r e   m o r e   po w e r f ul l   t h a m e c hi n e   l e a rni ng  a pp r o a c h e s   i f e a t ur e s   r e p r e s e n t a t i o n s .   T h e   pe r f o r m a n c e   o f   e xi s t i n g   m a c h i n e   l e a rni n g   a pp r o a c h e s   c o m m o n l y   de pe n d   o Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     325   -   33 5   326   t h e   us e r s   k n o w l e dge ,   h o w e v e r   de e l e a rni ng   a pp r o a c h e s   de p e n d   o t h e   d a t a s e t s .   T h e r e f o r e ,   w e   i de n t i f i e t ha t   de e l e a rni n g   m o de l s   h a v e   m i ni m i z e d   t h e   n e e ds   f o us e r s   a n d   ra pi d l y   i m p r o v e   t h e   p e r f o r m a n c e   i t h e   f i e l ds   o c o m put e r   v i s i o n s .       I t hi s   pa pe r,   w e   h a v e   i n v e s t i g a e t hr e e   b a s i c   a nd   m o s t l y   us e a b l e   D N N s   a r c h i t e c t u r e s   n e m a l y   a r e ;   c o n vo l ut i o n e u r a l   n e t w o r ( CN N ),   de e b e l i e f   n e t w o r ( D B N a n d   r e c urr e nt   n e u r a l   n e t w o r k   (R N N [2]   T h e   CN N s   a r e   v e r y   c o m pl e a n d   w i de l y   us e de e a r c h i t e c t u r e   t h a t   pe r f o r m   e xt r e m e l y   be t t e r   i do m a i n s   a r e a s   w i t b i a m o u n t s   o f   t ra i ni n g   d a t a s e t s ,   a n d   ha u n t i m e l y   s uc c e s s e s   i d i gi t   c l a s s i f i c a t i o t a s ks .   W h i l e   D B N s   a r e   a   ge n e ra t i v e   pr o b a b i l i s t i c   a r c h i t e c t ur e   w i t h   c o m po s e o n e   v i s i b l e   l a y e r   a n f e w   h i dde n     l a y e r s   of   t h e   de e p   a r c hi t e c t u r e   [ 3] .   I t h e   l a s t   f i v e   y e a r s ,   t h e   R N N s   h a v e   b e e n   o b t a i n e go o r e s ul t s   i v a ri o us   m a c h i n e   l e a rni n g   a ppl i c a t i o n s ,   a n d   a r e   a e xt e n s i o n   o f   c o n v e n t i o n a l   f e e dfo r w a r d   N N ,   w hi c h   i s   c a pa b l e   t o   m a n a ge     a   v a r i a b l e - l e n gt s e que nt i a l   i n pu t .   G a t i n g   m e c ha n i s m s   ha v e   b e e n   de v e l o p e t o   r e duc e   a pp r o xi m a t e l y   ga ps   of  e s s e n t i a l   t w o   s uc c e e R N N s   m o de l s   t y p e s   s uc h   a s :   L o n S h o rt   T e rm   M e m o r y   i n t r o duc e i 1997   (L S T M a n d   G a t e r e c urr e nt   u n i t   (G R U 2014   [4] .   I t h e   o t h e w o r ds   ge n e ra l l y ,   w e   c a n   s a y   CN N s   a r e   e s pe c i a l l y   fo r   hi e ra r c h i c a l ,   D B N   ge n e r a l   p u r po s e   a n a r e   R N N   a r e   s e que n t i a l   a r c h i t e c t ur e s .       R e c e n t l y ,   t h e   de e l e a rni n g   m o de l s   h a v e   b e e n   a c h i e v e o ut s t a n di ng  r e s ul t s   i t h e   v a ri o us   a r e a s   o N L P   s uc h   a s   t e xt   c l a s s i f i c a t i o n   [5] .   N o w   t h e   que s t i o n   i s   t h a t   h o w   s h o ul d   w e   c h o os e   a m o n g   t h e m   w hi c h   i s   b e s t   fo r   t e xt   c l a s s i f i c a t i o n   t a s ks .   B a s e o n   t h e   p r e v i o us   r e s ul t s   a nd   c ha r a c t e r i z a t i o o f   t h e s e   m o de l s   a r e   h i e r a r c h i c a l   m o de l   (CN N )   v s .   ge n e ra l   pu rpo s e   m o de l   (D B N a n d   v s .   s e que n t i a l   m o de l   (R N N ),   t h e   c h o o s e   of   CN N   f o r   c h a l l e n gi ng  N L P   c l a s s i f i c a t i o n   t a s ks   s uc h   a   t e xt   c l a s s i f i c a t i o n .   W hi l e   s e nt i m e nt   a n a l y s i s   c l a s s i f i c a t i o n   s i n c e   t h i s   t a s k   o f   s e n t i m e n t   a na l y s i s   i s   us ua l l y   de t e r m i n e by   ke y   phr a s e ;   r e c e nt l y   CN N   ha v e   b e e n   s h o w e d   o ut pe r f o r m a n c e   r e s ul t s   w i t h   g a t e m e c h a ni s m   L S T M   o n   c l a s s i f i c a t i o n   a n s e que n c e   l a n gu a ge   m o de l i n g   t a s ks .   O t h e   o t h e ha n d ,   s e l e c t i o o f   D B N   m o de l   pe r f o r m   t h e   s i m i l a t a s ks   o f   N L P   s uc a   t e xt   c l a s s i f i c a t i o n ,   i t   h a s   a a b i l i t y   t h a t   c a l e a rn s   m u l t i pl e x   f e a t u r e s   w i t hi dde l a y e r s   a n d   a c qu i r e   m o r e   c o m po un d   f un c t i o n s   t o   de m o n s t r a t e   d a t a .   E a c h i d de l a y e r   u n i t   l e a rn  a   s t a t i s t i c a l   c o nn e c t i o a m o n g   t h e   u ni t s   i t h e   l o w e r   l a y e r ,     t h e   h i g h e l a y e r   r e p r e s e n t a t i v e   t e n ds   t o   b e c o m e   m o r e   c o m pl i c a t e [6] .   W h i l e   R N N   m o de l   c h o o s e s   f o r     t h e   s e que n c e   t o   s e que n c e   s e que n t i a l   m o de l i n g   t a s ks   s uc a s   l a ngua ge   m o de l i ng,   a n d   i t s   r e qui r e d   f l e xi b l e   s e que n t i a l   m o de l i n g   o f   c o n t e xt   de pe n de n c i e s .   F o e xa m pl e ,   R N N   m o de l   pe r f o r m s   v e r y   w e l l   o m a n y   s e que n t i a l   of   t a s ks   s uc a s   N L P ,   t e xt   c l a s s i f i c a t i o n,   w e b   c l a s s i f i c a t i o n,   s pa m   f i l t e ri n g ,   do c um e n t - l e v e l   s e n t i m e n t   c l a s s i f i c a t i o a nd  a n y   a udi o   da t a s e t s   [7]   T h i s   s t udy   c o m pa r e b e t w e e n   CN N s ,   D B N s ,   a n d   t w o   ve r y   us e a b l e   t y pe s   of   RN N s   s uc h   t ha t   L S T M   a n d   G R U ,   s y s t e m a t i c a l l y   o n   c l a s s i f i c a t i o n s   t a s ks .   I t hi s   s t ud y ,   w e   fo un t h a t   t w o   m a i f i n d i n g   by   o ur   r e s e a r c h   e xpe r i m e nt :   (1)   CN N s   a n d   R N N s   p r o v i de s   c o m pl e m e n t a r i l y   i n f o rm a t i o f o t e x t   c l a s s i f i c a t i o t a s ks .   W hi c a r c hi t e c t u r e   pe r f o r m s   b e t t e r   de pe n ds   o h o w   i m po r t a n t   i t   i s   t o   s e m a n t i c a l l y   un de r s t a n d   t h e   e n t i r e   s e que n c e .   H ow e ve r ,   b a s e o o ur  r e s e a r c e xpe r i m e n t   w e   fo un t ha t   s o m e   de f i c i e n c i e s   of   s t a n d a r R N N   a r e   t h e   g ra di e nt   v a n i s hi n g   a n d   e xpl o di n g   i s s ue s .   It   m a ke s   t h e   t ra i ni n g   o f   R N N   di f f i c ul t ,   i t w o   w a y s :   (i i t   c a nn o t   p r o c e s s   v e r y   l o n s e que n c e s   i f   us i n h y pe r b o l i c   t a nh   a c t i v a t i o f un c t i o n ;   ( i i i t   i s   v e r y   un s t a b l e   i f   us i n g   r e c t i f i e l i n e a r   u n i t   (R e L U a s   a a c t i v a t i o f u n c t i o n .   R N N s   t y p e s   s uc a s   L S T M   a n d   G R U   m a n a ge   t o   o v e r c o m e   t hi s   i s s ue .     (2)  L e a rn i ng  ra t e   c h a nge s   pe r f o r m a n c e   c o m pa r a t i v e l y   s m oo t h ,   w h i l e   t h e   b a t c s i z e   a n d   h i dde l a y e r s   s i z e   r e p r e s e n t s   l a r ge   v a r i a t i o n s   i r e s ul t s .       2.   R ELA TED   WO R K     T h e r e   i s   v a r i o us   de e l e a rni n g   m o de l s   ha v e   b e e n   a ppl i e d   i t h e   d i f fe r e nt   a r e a s   o f   N a t u ra l   L a n g ua ge   P r o c e s s i n l i ke   a   t e xt   c l a s s i f i c a t i o n   a nd  l a n gu a ge   m o de l i n m o de l .   T o   t h e   go o of   o ur   k n o w l e dge ,   t h e r e   a r e   v a r i o us   s y s t e m a t i c   c o m pa ri s o n s   o f   t h e s e   de e l e a rn i n m o de l s   l i ke   CN N ,   D B N ,   a n d   R N N .   A c c o r di n [7]   t o   i n v e s t i ga t e   h i e ra r c hi c a l   t ra di t i o n a l   CN N ,   ge n e ra l   D B N   a n s i m pl e   R N N   (“ i . e . ,   n o   g a t i ng  m e c h a ni s m r e l a t i o c l a s s i f i c a t i o n s .   H ow e v e r ,   S e v e r a l   v a r i o us   a pp r o a c h e s   ha v e   b e e n   de v e l o p e fo r   t e xt   c l a s s i f i c a t i o n,   s uc h   a s   us i n N a ï v e   B a y e s   (N B ),   S uppo rt   V e c t o M a c h i n e s   (S V M s w i t r u l e - b a s e f e a t ur e s   [8] ,   c o m b i n i ng   S V M s   w i t na i v e   B a y e s ,   a nd  b ui l di n g   de pe nde n c y   t r e e s   w i t Co n di t i o na l   R a ndo m   F i e l ds   [9] .       T h e   CN N   e xt r a c t s   o f   t h e   m o s t   r e l e v a n t   i n f o r m a t i v e   n - g r a m s   f o r   t h e   s i m i l a ri t y   a nd  o n l y   c o n s i de r s   t h e i r e s ul t i n g   a c t i v a t i o n s .   N e u ra l   n e t w o r h a s   m ul t i p l e   h i d de l a y e r s   t o   c a pt u r e   l o n g - t e rm   de pe n de n c i e s   a n d   pe r f o r m e t i m e   s e ri e s   f o r e c a s t i n g   [10] .   D B N   h a v e   b e t t e r   e xt r a c t i o n   l e a rni ng  a b i l i t i e s   a n c a e xt ra c t e e xt r e m e l y   r e c o gn i z a b l e   f e a t ur e s   f r o m   t h e   h i g h - di m e n s i o na l   a c t ua l   f e a t u r e s   a r e a   [ 11] .   I n   e n g a ge   t h e   R N N   t o   b ui l t h e   l a n g ua ge   m o de l s   [1 2] .   F o c o n s e r v a t i o p r o c e e ds ,   t o   p r o po s e a   n o v e l   h i g h e o rde r   R N N   f o r   t e m pe ra t u r e   t i m e   s e r i e s   p r e di c t i o [13] .   In  [3]   t h e   D B N   j o i n t l y   pe r f o r m   w i t S V M   t o   a c h i e v e b e t t e r   r e s ul t s   o f   Chi n e s e   t e xt   c l a s s i f i c a t i o n   a l go ri t hm   f o r   l a b e l i ng  o f   s e m a n t i c   r o l e   pr e s e n t s   CN N   i n   [14 ] .   F o r   c l a s s i f i c a t i o o f   l o n t e rm   s e nt e n c e s   bo t h   a r e   [15 16] .   O n e   o f   t h e   a l t e rna t e s   o f   t h e   t ra d i t i o n a l   CN N   i s   N e t w o r I N e t w o r (N IN )   p r o po s e by   [17] w h e r e   t h e   1*1   Co n v - f i l t e us e d   i s   a   M ul t i - L a y e r   P e r c e pt r o n   (M L P )   i n s t e a d   o f   t h e   c o n v e n t i o n a l   l i n e a f i l t e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       c om par at i v e   r e v i e w   on  d e e p   l e ar ni ng  m o de l s   f or   t e x t   c l as s i f i c at i on   ( Muham m ad   Z ul qar nai n )   327   a n t h e   f ul l y   c o n n e c t e l a y e r s   a r e   r e pl a c e by   a   gl o b a l   a v e r a ge - poo l i ng  l a y e r .   I n   a ddi t i o n ,   t h e   CN N   j o i n t   w i t L S T M   t o   a c hi e v e   e x c e l l e n t   r e s ul t s   o f   a n   a t t e nt i o n - b a s e L S T M   f o r   a n   a n s w e r   s e l e c t i o n .   I n   c o n t ra s t ,   [1 8]   c o m pa ri s o w o r d2v e c   [19] ,   CN N ,   G R U   a n d   L S T M   i s e nt i m e n t   c l a s s i f i c a t i o o f   R us s i a t w e e t s ,   a n d   f i n G RU   m o de l   b e t t e r   c l a s s i f i c a t i o n   pe r f o r m a n c e   t h e n   L S T M   a nd   CN N .   I n   e xpe r i m e n t a l   e v a l u a t i o n ,   b o t h   [4]    a n d   [20]   i de nt i f i e d   t h e r e   i s   n o   c l e a r   w i nn e a m o n G R U   a nd  L S T M .   I v a r i o us   m u l t i pl e   c l a s s i f i c a t i o n   t a s ks ,   t h e y   pr o duc e   s i m i l a pe r f o r m i ng  a n t u ni n h y pe r - pa ra m e t e r s   s uc h   a s   b a t c h   a n d   l a y e r   s i z e   i s   f r e que n t l y   m o s t   i m po rt a nt   t ha n   pi c ki ng  t h e   pa ra d i gm   a r c hi t e c t u r e .       3.   D EEP   M O D ELS   D ES C R I P TI O N       In  t hi s   s e c t i o de s c r i b e s   a   b r i e f l y   pr e s e nt a t i o o f   Co n v o l ut i ona l   N N ,   D B N ,   G R U s ,   a n L S T M .     3. 1 .      C o n vo l u ti o n   n e u r al   n e tw o r k   (C N N )     CN N   i s   t h e   e xt e n s i v e l y   us e i n   t h e   de e l e a rni n g   f ra m e w o r a n ha v e   b e c o m e   a   v e r y   po pul a r   t o o l   i r e c e n t   y e a r s ,   e s pe c i a l l y   i n   t h e   i m a ge   p r o c e s s i n c o m m u ni t y .     a .   I n pu t   l a y e r   T h i s   l a y e r   o f   x   c o n s i s t s   n   e n t ri e s .   E a c h   e n t r y   i s   de n o t e by   a   d - di m e n s i o na l   de n s e   v e c t o r ;   t hus     t h e   i nput   x   i s   de s c r i b e d   a s   a   f e a t u r e   m a p   o f   di m e n s i o n a l i t y   d   ×   n.   F i gu r e   1   (a )   s h o w s   t h e   i n put   l a y e r   a s   t h e   l o w e r   r e c t a n g l e   w i t h   m u l t i pl e   c o l um n s .           F i gu r e   1 .   F o ur  t y pi c a l   D N N   a r c h i t e c t ur e s       b .   Co n v o l ut i o na l   l a y e r   T h i s   l a y e r   m o s t   i m po r t a n t   a n d   a   f u n d a m e n t a l   l a y e r   o f   a   CN N   a n i n v o l ve m o s t   of   t h e   c o m put a t i o n   pr o c e s s .   Co n v . l a y e r   e xt ra c t   s e t   o f   r e l a t e d   f e a t u r e s   m a ps   m a n a ge   n e u r o n s   i n   i t .     T h i s   l a y e r   c o n t a i s e t   o   l e a rn - a b l e   f i l t e r s   o r   ke rn e l s   a nd  t h e s e   f i l t e r s   m a ps   a n p r o duc e t w o - di m e n s i o n a l   a c t i v a t i o n   w h e s t a c ke c o m pos e a l o n g   t h e   de p t h   d i m e n s i o n ,   ge n e ra t e   t h e   o ut put   v o l um e .   I t   i s   us e t o   r e p r e s e n t   l e a rn  f r o m   s l i di n g     w - gr a m s .   F o a i n pu t   s e que n c e   w i t n   e n t ri e s :   x 1 ,   x 2 . . . . . .   x n ,   l e t   v e c t o r   c i     R wd   b e   t h e   c o n b i n e d   e m b e ddi n g   o w   e n t ri e s   x i −ŵ + 1 . ,   x i   w h e r e   w   i s   t h e   f i l t e r   w i dt a n d   <   i   <   s   +   ŵ .   E m b e ddi n g   f o r   x i i   <   1   o i > n ,   a r e   z e r pa dde d.   W e   p r o duc e   t h e   i l l us t r a t i o o f   m o de l   p i     R d   f o t h e   w - gr a m   x i ŵ + 1. . . .   x i   us e d   t h e   c o n v o l ut i o n   a s s o c i a t i v e   w e i gh t s   Ŵ     R d × w d .     p i = t anh ·c i + b )                   (1)     w h e r e   b i a s   b R d     c .   M a x - po o l i n g   T h e   m a i CN N s   m o de l   ha v e   a l t e rn a t e s   c o n v o l ut i o n a l - l a y e r s   a n d   po o l i n g   l a y e r s ,   t h e   a i m   o f   t h e s e   l a y e r s   e xt ra c t   t o   hi g h e r   l e v e l   f e a t ur e s   a nd   r e duc e   t h e   s pa t i a l   d i m e n s i o o f   t h e   a c t i v a t i o m a ps   (w i t h o ut   l o s s   of  i n f o r m a t i o n )   a nd  t h e   n u m b e r   o f   pa ra m e t e r s   i n   t h e   m o de l   m i ni m i z e   t h e   c o m put a t i o n a l   c o m pl e xi t y   a n d   c o n t r o l   t h e   o ve r f i t t i n g   i s s ue s .   T h e   po o l i n l a y e r s   pe r f o r m   s o m e   of   t h e   b a s i c   c o m put a t i o n a l   o pe r a t i o n s   a r e ,     max - po o l i n g ,   a v e r a ge   po o l i n g ,   s t o c h a s t i c   po o l i ng   [21 ] s pa t i a l   py r a m i po o l i n [ 22] ,   s pe c t ra l   po o l i n g   [23] a n d   m ul t i - s c a l e   o r de l e s s   po o l i n g   [24] .   Ho w e v e r ,   t h e   m a x - po o l i n g   l a y e r   w o r ks   o n   d a t a   t o   c o m pr e s s e s   a n d   m a ke s   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     325   -   33 5   328   s m o o t h   t h e   d a t a .   M a x - l a y e r   s e l e c t s   t h e   m a x i m um   v a l ue   o f   t he   r e c e pt i v e   f i e l a n d   M a ke   da t a   i n v a r i a nt   t o   s m a l l   t r a n s l a t i o na l   c ha n ge s .   F i gu r e   i n di c a t e s   t h e   b a s i c   o pe ra t i o of   m a x - po o l i n g   l a y e r .             F i gu r e   2 .   M a po o l i n g   p r o c e s s       d.   F u l l y   c o n n e c t e l a y e r   I t   i s   f i n a l   l a y e r   o f   c o n v o l ut i o n a   n e t w o r ks   t o   p r o duc e   t h e   o u t put .   I t h i s   l a y e r ,   a l l   n e u r o n s   a r e   f ul l y   c o n n e c t e t o   e a c h   o t h e i t h e   f o r w a r a n d   p r e v i o us l y   l a y e r ,   a s   a   s y s t e m a t i c   N N .   T h e   n e u r o n s   h a v e   n o t   e s pe c i a l l y   o r ga n i z e (1  di m e n s i o na l s o   t h e r e   c a nn o t   b e   a   c o n v   l a y e r   a f t e r   a   f ul l y   c o n n e c t e l a y e r .   I n   t h e   r e c e n t ,   t h e r e   a r e   f e w   a r c hi t e c t u r e s   ha v e   b e e n   t h e i f ul l y   c o n n e c t i n g   l a y e r   r e p l a c e ,   a s   i n   N e t w o r I n   N e t w o r k”   by   [17] w h e r e   F r e p l a c e   i a   g l o b a l   a v e r a ge - po o l i n l a y e r .       ƒ( x )   =   m ax ( 0,   x )                   (2)     3. 2 .      D e e p   b e l i e f   n e tw o r k     D B N   i s   a   de e a r c h i t e c t u r e   o f   f e e d - fo r w a r d   n e u r a l   n e t w o r k s   w i t o n e   v i s i b l e   i nput - o ut pu t   l a y e r   a nd  m a n y   h i dde l a y e r s   a n d   a l s o   c o n s i s t s   o f   s e v e r a l   R e s t r i c t e B o l t z m a nn’s   M a c hi n e   (R B M ).   T h e   e s s e n t i a l   a r c hi t e c t u r e   o f   D B N   i s   s h o w n   i n   F i gu r e   3.           F i gu r e   3 .   D B N   b a s i c   a r c hi t e c t u r e   w i t h   L   hi dde l a y e r s       Let   v   a n d   y   s h o w   t h e   s t a t e s   o f   v i s i b l e   l a y e n o de s   a n d   hi dde n o de s   h 1 + 2 + ….   L ,   r e s pe c t i v e l y .   F o r   b i na r y   s t a t e   n o de s ,   t h a t   i s   v   a nd  y   ɛ   { 0 ,   1} ,   t h e   s t a t e   o f   h   i s   s e t   t o 1w i t h   po s s i b i l i t i e s .         = ( = 1   ǀ   ) =     ( +    )             (3)     w h e r e   σ (x)   i s   t h e   l o gi s t i c   s i gm o i d   f un c t i o 1/ ( 1+ e xp   ( - y )),   b k   i s   t h e   b i a s   o f   h ,   a n d   x   i s   t h e   b i na r y   s t a t e .   w jk   i s     t h e   w e i gh t   b e t w e e n   x   a n h .   I n   D B N   t h e s e   n e u r o n s   o f   t h e   hi d de n   l a y e r s   s h o w   a   f ul l y   c o n n e c t e c o nn e c t i o a n d   a   v i s i b l e   l a y e r s   n o de   ha s   0   a nd   1   s t a t e s .   W h e i t   i s   a c t i v e ,   t h e   v a l ue   i s   1   a nd   n o de   i s   us e d,   a n d   w h e t h e   v a l ue   i s   0   t h e   s t a t us   i s   n o t   a c t i v a t e a n d   a   n o de   i s   n o t   us e d.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       c om par at i v e   r e v i e w   on  d e e p   l e ar ni ng  m o de l s   f or   t e x t   c l as s i f i c at i on   ( Muham m ad   Z ul qar nai n )   329   3. 3 .      G at e d   r e c u r r e n t   u n i t   (G R U )   G RU   w a s   i n t r o duc e by   Ch o   e t   a l   2 014   [4]   a n d   ha v e   b e e n   us e f o r   s e que n c e   m o de l i n g.   I t   i s   t h e   l a t e s t   t y p e   of   r e c ur r e nt   n e u r a l   n e t w o r t o   a da p t i v e l y   c a pt u r i n g   l o n g - t e rm   de pe nde n c i e s   o f   v a r i o us   t i m e   s c a l e s .   G R U   b a s i c   m e c ha n i s m   c o n s i s t   o f   t w o   ga t e s   o n e   i s   r e s e t   g a t e     a n d   o t h e i s   up da t e   g a t e   ,   m o r e o v e r ,   i t   ha s   n o   s e pa r a t e   m e m o r y   a n m o dul a t e s   i n f o r m a t i o n   f l ow   i nn e r   t h e   u ni t .     G RU   S i m i l a rl y   t o   t h e   L S T M   b ut   i t   e a s y   t o   t r a i n   a s   c o m pa r e   t o   L S T M .   H ow e ve r ,   t h e   G R U   d o n ’t   h a v e   a n y   o t h e r   a l t e rna t e   m e c ha n i s m   t o   ha n d l e   t h e   de g r e e   t o   w h i c h   s t a t e   i s   e xpo s e d.   G R U   h a s   s h o w n   t h e   f o l l ow i n e qu a t i o n s :   =   s i g m   ( ( ) x t   ( ) h t - )               (4)     =   s i g m   ( ( ) x t   ( ) h t - 1   )               (5)     ĥ t ta nh   ( Wx t   +   *   Uh t - 1 )                 (6)     h t     h t - +   ( 1 -   t *   ĥ t                 (7)     w h e r e ,   z ,   ṙ  i s   t h e   upd a t e   da t e   a n d   r e s e t   d a t e ,   x ɛ   d   r e p r e s e nt   t o ke n   x   a t   t i m e   s t e t ,   h t   ɛ   i s   t h e   hi dde s t a t e   a t   t i m e   t ,   i s   m u l t i pl i c a t i o n   a n σ ,   t a nh   i s   t h e   a c t i v a t i o f un c t i o n s .   A l l   U   ɛ   d * h   a n W   ɛ   h * h   a r e     w e i ght s   p a r a m e t e r s .     3. 4 .      Lo n s h o r t e r m   m e m o r y   T h e   L o n S h o rt   T e rm   M e m o r y   (L S T M un i t   w a s   i nt r o duc e by     [25] .   W i t t h e   m i n o r   m o di f i c a t i o n   o t h e   o r i g i n a l   u n i t   o f   L S T M   h a s   b e e n   m a de .   T h e   R N N   u n i t   w h i c h   s i m p l y   c o m put e s   t h e   w e i gh t e s u m   o   t h e   i n p ut s   s i g n a l s   a n d   a p p l i e s   a   n o n - l i n e a f un c t i o n.   H ow e ve r ,   t h e   L S T M   m a na ge   t h e   m e m o r y   a t   t i m e   t .     i t   s i g m   ( x t U i   h t 1    +   b i )               (8 )     f t   s i gm   ( x t U f   +     h t 1   +   b f )               (9 )     o t   s i gm   ( x t U o   +     0 h t 1    +   b o )               (10 )       q t   t a nh  ( x t U q   +   h t 1      b q )               (11 )     p t   =   f t     p t 1   +   i t     q t                 (12 )     h t   =   o t     t a nh ( p t   )                   (13 )       L S T M   ha s   t hr e e   g a t e s :   w h e r e   i t ,   f t ,   o t   i s   t h e   i n pu t   g a t e ,   f o r ge t   ga t e   a nd  o ut put   ga t e .   S i gm   i s   s i gm o i a c t i v a t i o f un c t i o h a v e   b e e n   ge n e r a t e i a l l   g a t e s   t o   e n s e m b l e s   of   i n put   x t   a nd  t h e   p r e v i o us   h i dde s t a t e   h t 1 In   o r de r   t o   c r e a t e   t h e   h i d de n   s t a t e   a t   c u rr e nt   t i m e   s t e p   t ,   i t   f i r s t   c r e a t e s   a   t e m po ra r i l y   r e s ul t   q t   b y   a   t a nh     n o n - l i n e a r i t y   ov e r   t h e   c o m po s i t e   o f   i n pu t   x t   a n d   t h e   p r e c e di ng  hi dde s t a t e   h t 1 ,   t h e c o m b i n e   t hi s   t e m po r a r y   r e s ul t   q t   w i t h   hi s t o r y   p t 1   by   i n pu t   ga t e   i t   a n d   f o r ge t   ga t e   f t   a c c o r di n gl y   t o   ge t   a upd a t e d   h i s t o r y   p t ,   f i n a l l y   t h e   o ut put   g a t e   o t   o ve r   t h i s   upd a t e hi s t o r y   p t   t o   b e c o m e   t h e   f i na l   hi dde n   s t a t e   h t.       4.     EX P ER I M EN TS   S ETU P   4. 1 .         D atas e ts   4. 1 . 1 S e n t i m e n t e x c l as s i fi c ati o n   (S e n t i TC )   T h e   d a t a s e t   o f   S t a n f o r S e n t i m e nt   T r e e b a n k   (S S T )   [26 ,   27] .   T h e   s e nt i m e nt s   p r e di c t i o o f   t h i s   da t a s e t s   i s   (“ po s i t i v e   o n e ga t i v e o f   t h e   m o v i e   r e v i e w .   I t hi s   s t udy ,   w e   us e   a n d   d i v i de   t h e   d a t a s e t s   i nt o   t hr e e   pa rt s :   6911   f o r   t ra i ni n g ,   880   f o v a l i d a t i o ( v al )   a n d   18 22   t e s t i ng  s e n t e n c e s .   A s   i [ 28]   h a v e   t o   t r e a t e l a b e l   p hra s e s   t h a t   ha ppe n   a s   a   s ub pa rt   o f   t r a i n i ng  s e n t e n c e s   a s   i ndi v i du a l i s t i c   t ra i ni n g   o c c a s i o n .     4. 1 . 2 .   CNAE - 9   O S e m - E v a l   2 012   t a s ks   7   [29] .   It   c o n t a i n s   n u m b e r s   o f   1080  f r e e   t e xt s   b us i n e s s   do c um e n t s   t ha t   de s c r i pt i v e   o f   B r a z i l i a c o m pa ni e s   c a t e go ri z e d   i nt o   9   s ub s e t s ,   i t   w a s   m a i nt a i n e d   o n l y   l e t t e r s   a nd   t h e i t   ha v e   r e m o v e pr e po s i t i o o f   t h e   t e xt s .   T h e   CN A E - 9   d a t a s e t   s pl i t   7 56  do c um e nt s   f o r   t r a i n i ng  a n d   324   do c um e nt s   f o r   t e s t i n a n d   t h e r e   i s   n o   v a l i da t i o s e t .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     325   -   33 5   330   4. 1 . 3 .   T e x tu al   e n tai l m e n t   (TE)   O n   S t a n f o r N a t u ra l   L a n g ua ge   I n f e r e n c e   (S N L I)  [30] .   S N L c o n s i s t   p a i r s   o f   pr e m i s e - h y p o t h e s i s   l a b e l s   w i t a   r e l a t i v e   (“ e n t a i l m e n t ,   c o n t ra di c t i o n ,   n e u t r a l ) .   A f t e t h a t   r e m o v e   t h e   u n l a b e l e pa i r s ,   e n d   up   ha v i ng  549, 35 p a i r s   f o r   t ra i ni n g ,   09, 8 12  f o r   v a l i d a t i o n   ( v a l )   a n d   9 , 8 57  f o r   t e s t i n g.     4. 1 . 4 H e a l th   n e w s   i n   tw i tt e r   ( H N T)   T h e   h e a l t n e w s   i s   p ha s e   o t h e   o pe s o ur c e   o f   da t a s e t s   t a ke f r o m   U CI  da t a   r e po s i t o r y .   T h e   da t a   w a s   c o l l e c t e by   t w i t t e r   A P I,   a n c o n s i s t   o f   h e a l t n e w s   f r o m   m o r e   t ha n   15  m a i n   h e a l t n e w s   a ge n c i e s   s uc h   a s   BB C,   CN N ,   a n N Y T .   A f t e r   p r o c e s s i n t h e   da t a   w e   us e   a nd  di v i de   i n t o   t w o   pa rt s   70%  i n   t ra i ni n g   a n d   30%     i s   t e s t i ng.     4. 1 . 5 .   20   n e w s gr o u p s   (20N G )   T a ke f r o m   U CI  d a t a   r e po s i t o r y   i n   ra w   f o r m   a n d   h a v e   t o   us e d   [31] .   T hi s   d a t a s e t   i s   b a l a n c e a n d   i t   ha s   20  l a r ge   c l a s s e s .   T hi s   da t a s e t   c o n s i s t s   o f   20, 000   m e s s a ge s   a nd  t a ke n   f r o m   20   n e w s gr o ups .   I t hi s   s t udy ,   w e   us e   a n d   di v i de   i n t o   14 00 0   m e s s a ge s   f o r   t r a i n i ng,   25 00   s e n t e n c e s   f o r   v a l i d a t i o ( v a l )   a nd  3 500   s e nt e n c e s     fo r   t e s t i n g .     4. 1 . 6 .   R e u te r s - 2 1578   (R - 2157 8)   T a ke f r o m   t h e   U CI  d a t a   r e po s i t o r y   a n d   w hi c ha s   b e e n   u s e i v a ri o us   p r e v i o us l y   e xpe r i m e n t a l   r e s e a r c s t ud i e s   [32] .   F r o m   R e ut e r s - 215 78  d a t a s e t ,   15  c l a s s e s   h a v e   b e e n   t o   us e t h a t   a r e   s ke w e i n   s i z e .     T h e   s t a t i s t i c s   s um m e r y   of   a l l   d a t a s e t s   a r e   p r e s e n t e i n   T a b l e   1.   W e   m a na ge   d a t a   i n   c a t e go ri e s .   (i )   T e xt   c l a s s i f i c a t i o n   T e xt C ,   i n c l udi ng  S e nt i C ,   CN A E - 9 ,   a nd  T e xt C i n c l ud i n 20N G ,   a n R - 21578 .   ( i i S e m M a t c h   i n c l udi ng   T E   a n d   H N T .   B y   e v a l ua t e   t h e s e   t w o   c a t e go r i e s ,   w e   o bj e c t i v e   t o   f i n d   o ut   s o m e   f unda m e nt a l   t e c hn i q ue s   us e i n   CN N s   /   R N N s   /   D B N .       T a b l e   1 .   D a t a s e t s   de s c r i p t i o n   D a t a s e t s   N o .   o f   In s t a n c e s   N o .   o f   A t t ri b u t e s   N o .   o f   W e b   H i t s   M i s s i n g   V a l u e s   A r e a   A s s o c i a t e d   T a s k s   S e n t i T C   3000   N / A   1 0 0 8 1 6   N / A   N / A   Cl a s s i fi c a t i o n   CN A E - 9   1080   857   5 0 8 6 6   N / A   Bu s i n e s s   Cl a s s i fi c a t i o n   TE   5 6 9 0 2 8   2 1 0 0 0   6 3 1 2 1   N / A   N / A   S e m M a t c h   HNT   5 8 0 0 0 0   2 5 0 0 0   2 5 1 7 4   N / A   Co m p u t e r   Cl a s s i fi c a t i o n   2 0 N G   2 0 0 0 0   N / A   8 0 9 1 5   No   N / A   Cl a s s i fi c a t i o n / Cl u s t e ri n g   R - 21578   2 1 5 7 8   05   1 3 9 1 1 9   N / A   N / A   Cl a s s i fi c a t i o n       4. 2 .      I m p l e m e n tat i o n   s e tti n g   T o   o bj e c t i v e l y   s t ud y   t h e   e n c o di n g   a b i l i t y   o f   v a r i o us   t ra d i t i o na l   D N N s ,   w e   us e   6   d i f f e r e n t   ki nds   of  da t a s e t s   i t h i s   e xpe r i m e nt .   D a t a   p r e p r o c e s s i n g   a nd   m a n i p u l a t e   h a v e   pe r f o r m e i P y t h o 3. 6,   b a s i s   o t h e   s kl e a rn ,   num py   a n d   p a n d a s   pa c ka ge s .   D e e l e a rn i ng   G R U   ne t w o r ks   a n d   t ra di t i o n a l   D N N s   a r e   e xe c ut e w i t h   T e n s o r F l o w ,   a o pe s o ur c e   s o f t w a r e   l i b r a r y   f o r   n u m e ri c a l l y   c o m put a t i o n s   us i n g   d a t a   f l ow s   gra p h.     I t hi s   s t udy ,   t h e   e xpe r i m e n t   c o n s i s t s   o f   t h e   f o l l ow i n g   de s i g n.   (1)   A l w a y s   t ra i f r o m   a   s c r a t c h ,   n o   e xt ra   i n f o rm a t i o us e   e . g. ,   n o   pe r t a i n e d   w o r e m b e ddi n gs .   (2)  A l w a y s   t ra i ni ng  us e   by   f un da m e nt a l   s e t up   w i t h o ut   c o m pl e c a t e d   t r i c ks   s uc h   a s   b a t c h   n o rm a l i z a t i o n.   (3)   D e f i n e   t h e   r e l a t i v e   h y pe r - pa ra m e t e r s   f o r e s pe c t i v e l y   t a s a nd   e a c m o de l   i ndi v i dua l l y .   Co m pl e t e l y   s i m u l a t i o n s   w e r e   i m p l e m e nt e o I nt e l   Co r e   i 7 - 3770X P U   @ 3 . 40   G H z ,   a n 4G B   of   R A M   m a c hi n e ,   t h e   de s c ri pt i o n s   o f   a l l   e xpe r i m e nt a l   p a r a m e t e r s   s h o w n   i T a b l e   2 .   B a s e   o n   t h e   o pt i m a l   h y pe r - pa r a m e t e r s .   ( 4)  T o   I n v e s t i ga t e s   t h e   f unda m e nt a l   a r c h i t e c t ur e s   a n d   e xpl a n a t i o o f   e ve r y   m o de l :   CN N   c o n s i s t   o f   a   c o n v - l a y e r   a nd  m a x - po o l i n g   l a y e r ;   L S T M   a n d   G R U   m o de l   t h e   i n put   f r o m   l e f t   t o   r i g ht   a n d   c o n s i s t e n t l y   us e   t h e   l a s t   hi dde s t a t e   a s   t h e   f i na l   r e p r e s e nt a t i o o f   t h e   i nput .   H y pe r pa r a m e t e r s   a r e   t u n e d   o hi dde s i z e ,   m i n i - b a t c s i z e ,   l e a rn i ng   r a t e ,   m a x i m a l   s e n t e n c e s   l e n gt h,   a n d   ra n ki ng  l o s s   i n   H N T .                   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       c om par at i v e   r e v i e w   on  d e e p   l e ar ni ng  m o de l s   f or   t e x t   c l as s i f i c at i on   ( Muham m ad   Z ul qar nai n )   331   T e x t C   H N T   (M A P & M RR)   S e m M a t c h   T e x t C1   T a b l e   2 .   R e s ul t s   o f   D B N ,   CN N ,   G R U ,   a n d   L S T M   i T C   D a t a s e t s / m o d e l s   Lṙ   i d d e n   ƀ a t c h   S e n t L e n   D BN   CN N   G RU   L S T M   D BN   CN N   G RU   L S T M   0 . 2   0 . 2   0 . 1   0 . 2   0 . 1 0   0 . 1 2   0 . 1 2   0 . 1   30   30   20   20   75   70   80   80   64   32   64   64   40   32   128   32   60   60   60   60   20   20   20   20   D BN   CN N   G RU   L S T M   D BN   CN N   G RU   L S T M   0 . 1   0 . 1   0 . 1   0 . 1   0 . 0 1   0 . 0 1   0 . 1   0 . 1   70   70   50   80   30   30   80   60   64   50   80   32   50   60   128   128   50   50   65   50   40   40   40   45   D BN   CN N   G RU   L S T M   D BN   CN N   G RU   L S T M   0 . 0 1   0 . 0 1   0 . 1   0 . 1   0 . 0 1   0 . 0 1   0 . 1   0 . 1   110   100   90   90   80   80   100   100   50   32   64   64   70   50   64   64   60   60   60   60   60   60   60   60       5.   R ES U LTS   A N D   A N A L Y S I S   In  t h i s   s e c t i o n,   w e   c o n duc t e t h e   r e s e a e c e xpe ri m e nt a l   f o t h e   t a s ks   o f   t e xt   c l a s s i f i c a t i o o s e v e r a l   da t a s e t s   w i t h   c o rr e s po n d i n g   h y pe r - pa r a m e t e r s .   W e   e v a l u a t e   t h e   pe r f o r m a n c e   o f   a l l   s t a t e - of - t h e - a rt   de e p   l e a rn i ng  a pp r o a c h e s   o t h e   t e rm s   o f   a c c ura c y   (A c c a n d   M e a R e c i pr o c a l   R a n k   (M R R ).   A c c o r di ng  t o   i m p l e m e nt a t i o n   s e t t i n g   a n d   e xpe r i m e nt   b a s i s ,   i t e xt   c l a s s i f i c a t i o n ,   e v e r y   m o de l   h a s   pe r f o r m e w e l l   o a l l   da t a s e t s   b ut   G R U   m o de l   s h o w   e xc e l l e n t   pe r f o r m a n c e   o n   S e n t i C   a r e   e v a l u a t e d   w i t h   b a s e l i n e   de e l e a rni n g   m o de l s   i s   s uc h   a s   D B N ,   CN N   a n d   L S T M   a s   s h o w n   i n   F i gu r e   4 .   I n   t e x t C1 ,   b o t h   G R U   a n L S T M   a r e   o ut pe r f o r m i n g   D B N   a nd  CN N .   G R U   s h o w   goo r e s ul t   o 20N G   d a t a s e t s   a nd  L S T M   s h o w   b e t t e r   r e s ul t   o   R - 21578  da t a s e t s .   In  t h i s   s t u dy ,   w e   di d   c o n c l ude   i e xpe ri m e n t :   t h e   t y pe s   of   RN N s   m o de l s   s uc t ha t   G R U ,   L S T M   a r e   b e s t   a n d   s u i t a b l e   f o r   l o n g - ra n ge   c o n t e xt   de pe n de n c i e s   a n d   t e xt   c l a s s i f i c a t i o n   t a s ks .   B ut   i o n e   o t h e c a t e go r y ,   s e n t i m e n t   m a t c h,   s o m e   u n f o r e s e e n   o b s e r v a t i o n s   ha d   s h o w n .   CN N s   a nd   D B N   b o t h   a r e   c o n s i de r e b e t t e r   a t   e xt ra c t   l o c a l   a n po s i t i o n - i n v a ri a b l e   f e a t ur e s   a nd  h a v e   s h o w n   go o pe r fo r m a n c e   o n   S e n t i M a t c h   (d a t a s e t   H N T ),   b ut   i o ur  e xpe ri m e n t s   R N N s   ha s   s h o w n   e xc e l l e nt   pe r f o r m a n c e   i c o n t ra s t   t o   CN N   a n d   D B N ,   e s pe c i a l l y   i n   20N G   a n d   S e nt i C ,   b e c a us e   R N N s   w h i c p r e di c t s   a n f i n a l l y   pr o duc e   t h e   r e l a t i o n   o ut pu t   a f t e r   p r o c e s s i n g     t h e   w h o l e   s e n t e n c e .           F i gu r e   4 .   D i s t r i b ut i o n s   o f   v a r i o us   s e nt e n c e   l e n g t h s   ra n ge s   a nd  a c c u r a c y   S e n t i (a c c )   CN A E - 9   (F 1 )   T E   (a c c )   2 0 N G   (a c c )   R - 2 1 5 7 8   (a c c )   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     325   -   33 5   332   5. 1 .      Q u al i tat i v e   a n al ys i s   In  t hi s   s t udy ,   w e   s h o w   e xpe r i m e n t   t ha t   i w hi c h   CN N   p r e di c t i o n   b a s e   i s   a c c e pt a b l y ,   a l t h o ug t h e   G RU   pr e di c t s   f a l s e l y   o r   v i c e   v e r s a .   I t h e   e xpe ri m e n t ,   w e   ha v e   f o u n d   o ut   a nd  s h o w   t h a t   G R U   e xc e l l e n t   pe r f o r m s   o n   l o n g - t e rm   ra n ge   s e n t e n c e s   de pe n de n c i e s .   S t u dy i n a c c ur a c y   v s   s e n t e n c e   l e n gt c a a l s o   s uppo r t   t hi s .   F i gu r e   r e p r e s e n t   t h e   a c c ura c y   w . r. t   r a nge   o f   l e n g h .   W e   ob s e r v e t ha t   G R U   a nd  CN N   a r e   s i m i l a w h e t h e   s e n t e n c e   l e n g t ra n ge   a r e   s m a l l ,   e . g. ,   < 12,   t h e G R U   i n c r e a s e   t h e   a dv a n t a ge   o v e r   CN N   w h e m e e t   l o n ge l e ngt o s e n t e n c e .   E rr o a na l y s i s   pr e s e nt i ng  t h a t   l o n ge s e nt e n c e   f r e que n t l y   c o n t a i n s   o f   s e m a n t i c a l l y   pa ra g ra p h s   of  i n v e r s e .   T h i s   t y pe   of   pa r a g ra p o f t e i n c l ude s   a   l o c a l   r o bus t   m e a s u r e   f o r   o n e   s e n t i m e n t   po l a ri t y ,   b ut   t h e   e ffe c t i ve   c l a s s i f i c a t i o r e l i e s   o t h e   u n de r s t a ndi n g   o f   t h e   w h o l e   a rt i c l e .   Co n s e que n t l y ,   w h i c de e l e a rni n g   m o de l   pe r f o r m s   b e t t e i t e xt   c l a s s i f i c a t i o t a s k   de pe n ds   o h o w   of t e n   t h e   c o n c e pt i o o f   gl o b a l / l o n g - ra n ge   s e m a n t i c s   i s   r e qui r e d.   T hi s   c a a l s o   de s c r i b e   t h e   o c c ur r e n c e   i n   S e m M a t c   G R U / L S T M   e xc e e CN N   i n   T E   w h i l e   CN N   p r e do m i na t e s   i H N T   a s   t e xt   e n t a i l m e n t   r e l i e s   o t h e   c o m p r e h e n s i v e   o f   t h e   e n t i r e   s e nt e n c e   [30] .     5. 2 .      S e n s i ti v i ty   to   h yp e r p a r am e t e r s   In  t h e   n e xt   s t e w e   c h e c t h e   pe r f o r m a n c e   o f   a l l   de e l e a rni n g   m o de l s   s uc t ha t ,   CN N ,   D B N ,   G R U ,   a n d   L S T M ,   h o w   i t   pe r f o r m s   s t a b l e   pe r f o r m a n c e   w h e h y pe r - pa r a m e t e r s   v a l ue s   a r e   d i f f e r e n t .   F i gu r e   5   p r e s e nt   t h e   pe r f o r m a n c e   o f   CN N ,   D B N ,   G R U ,   a nd  L S T M   o n   t h e   t e rm   o f   v a ri o us   l e a rn i ng  ra t e s ,   h i d de l a y e r s   a nd  b a t c h   s i z e .   A l l   DNN   m o de l s   s h o w   c o m pa ra t i v e l y   s m oo t w i t h   r e s p e c t s   t o   l e a rni n g   r a t e   c h a nge s .   I c o nt r a s t ,   h i dde n   s i z e   a nd   b a t c s i z e   r e a s o n   of   l a r ge   o s c i l l a t i o n .   H ow e ve r ,   w e   s t i l l   o b s e r ve d   a b o ut   CN N   c u r v e s   a r e   m a i n l y   b e l ow   t h e   l i n e s   o f   D B N ,   G RU   a n d   L S T M   i S e nt i T C,   a n d   T e xt b ut   o ut pe r f o r m a n c e   o H N T   da t a s e t   i s e n t i m e n t   m a t c t a s k.                       F i gu r e   5 .   A c c ur a c y   fo r   s e nt i m e nt   c l a s s i f i c a t i o ( l e f t a n d   M RR   (M e a R e c i pr o c a l   R a n k)   f o r   H N T   ( r i g h t )   a s   a   f un c t i o o f   t hr e e   h y pe r pa r a m e t e r s :   l e a rni n ra t e   (t o p),   h i dde s i z e   (c e n t e r ),   a n d   b a t c h   s i z e   (b o t t o m )   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       c om par at i v e   r e v i e w   on  d e e p   l e ar ni ng  m o de l s   f or   t e x t   c l as s i f i c at i on   ( Muham m ad   Z ul qar nai n )   333   6.   C O N C LU S I O N     In  t hi s   p a pe r,   w e   ha v e   c o m pa r a t i v e   r e v i e w e of   e xi s t i n de e l e a rni n m o de l s .   W e   c o n c l ude de e l e a rn i ng  m o de l s   a r e   p ra c t i c a l l y   f o r   us   t o   s o l v e   m a n y   i s s ue s .   T hi s   s t udy   i n v e r t i ga t e a nd  c o m pa r e t h e   f o ur   m o s t   e xt e n s i v e l y   us e de e n e u r a l   n e t w o r ks   n a m e l y   t h e   D B N ,   CN N ,   G R U ,   a n L S T M   f o r   t e xt   c l a s s i f i c a t i o n .   I n   t h i s   s t udy ,   w e   f o un t ha t   t h e   t y pe s   of   R N N s     G R U   a n d   L S T M   ne t w o r ks   pe r f o r m   w e l l   i s e que nt i a l   l e a rni n g   t a s ks   a n o v e r c o m e   t h e   p r o b l e m s   o f   v a ni s h i n g   a nd  e xpl o s i o o f   gr a di e n t s   i n   t r a di t i o na l   R N N s   w h e n   l e a rn i ng    l o n g - t e rm   de pe n de n c i e s .   I n   a dd i t i o n ,   h i dde s i z e   a n d   b a t c s i z e   c a n   c o n s t r uc t   D N N   m o de l s   pe r f o r m a n c e s   v a r y   dra m a t i c a l l y .   T h i s   s ugge s t i o n   t h a t   o pt i m i z a t i o o f   t h e s e   t w o   pa r a m e t e r s   i s   c r i t i c a l   t o   t h e   b e t t e pe r f o r m a n c e   o t hr e e   m o de l s   D B N ,   CN N s   a n R N N s .   W i t h   t h e   r a pi de v e l o pm e n t   o f   ha r dw a r e   r e s o ur c e s   a n c o m put a t i o t e c hn o l o gi e s ,   w e   a r e   h o pe f ul   t ha t   de e n e u r a l   n e t w o r ks   w i l l   ob t a i n   hi g h e r   a t t e n t i o n   a n f i n m o r e   e xt e n s i v e   a ppl i c a t i o n s   i n   t h e   f ut u r e .         A C K N O WLED G M EN TS     T h e   a ut h o r s   w o ul l i ke   t o   t h a n ks   M i n i s t r y   o f   E duc a t i o M a l a y s i a ,   U n i v e r s i t i   T u H us s e i n   O nn  M a l a y s i a   a nd  R e s e a r c h   M a n a ge m e nt   Ce nt e (R M C)  f o r   f u n d i n t h i s   r e s e a r c a c t i v i t y   u n de r   t h e   F u n du m e nt a l   R e s e a r c G r a nt   S c h e m e   (F R G S ),   v o t e   n o . 1641 .         R EF ER EN C ES       [ 1]   C .   S c i e nc e   e t   a l .   A   N o v e l   A ppr o a c f o r   E f f i c i e nt   T r a i ni ng   o f   D e e p   N e u r a l   N e t w o r ks ,   I ndone s .   J .   E l e c t r .   E ng .   C om put .   Sc i . ,   v o l .   11 ,   no .   3,   pp .   954 961 ,   201 8.   [ 2]   B .   S h i c ke l ,   P .   J .   T i g he ,   a nd  A .   B i ho r a c ,   D e e E H R :   A   S ur v e y   of   R e c e nt   A dv a nc e s   i n   D e e L e a r n i ng   T e c hn i qu e s   f o r   E l e c t r o ni c   H e a l t R e c o r (   E H R   )   A na l y s i s ,   I E E E   J .   B i om e d.   H e al .   I nf o r m a t i c s ,   v o l .   22 ,   no .   5 ,   p p.   1589 160 4,   2018 .   [ 3]   G .   T z o r t z i s   a nd   A .   L i ka s ,   D e e p   B e l i e f   N e t w o r ks   f o r   S pa m   F i l t e r i n g ,   19 t h   I E E E   I n t .   C onf .   T oo l s   w i t A r t i f .   I nt e l l .   2007) ,   pp .   306 309 ,   200 7.   [ 4]   J .   C hung ,   C .   G ul c e h r e ,   K .   C ho ,   a nd   Y .   B e ng i o ,   E m pi r i c a l   E v a l ua t i o o f   G a t e d   R e c ur r e n t   N e u r a l   N e t w o r ks   o S e qu e nc e   M o de l i ng ,   pp .   1 9 ,   201 4.   [ 5]   L .   T a n   e t   a l . ,   S D F - N N :   A   D e e N e u r a l   N e t w o r k   w i t h   S e m a n t i c   D r o ppi ng   a n F us i o f o r   N a t ur a l   L a ng ua g e   I n f e r e nc e ,   2 017   I E E E   2 9t I nt .   C on f .   T o ol s   w i t A r t i f .   I nt e l l . ,   pp .   7 2 79 ,   2017 .   [ 6]   L .   Y .   A nn,   P .   E hk a n ,   M .   Y .   M a s ho r ,   S .   M .   S ha r un ,   a nd  L .   Y .   A nn,   F P G A - ba s e a r c h i t e c t ur e   o f   h y br i m u l t i l a y e r e pe r c e p t r o ne u r a l   ne t w o r k ,   I ndo ne s .   J .   E l e c t r .   E ng .   C om pu t .   S c i . ,   v o l .   1 4,   no .   2,   p p.   94 9 95 6,   20 19 .   [ 7]   N .   T .   V u ,   H .   A de l ,   P .   G u pt a ,   a nd   H .   S c t z e ,   C o m bi n i ng   R e c ur r e n t   a nd  C o nv o l ut i o na l   N e ur a l   N e t w o r ks   f o r   R e l a t i o C l a s s i f i c a t i o n,   ar X i v   P r e pr .   ar X i v 1 605 . 07 333 ,   pp .   4 12 4 18 ,   2 016 .   [ 8]   J .   S i l v a ,   L .   C o he ur ,   A .   C .   M e nd e s ,   a nd   A .   W i c he r t ,   F r o m   s y m bo l i c   t o   s ub - s y m bo l i c   i nf o r m a t i o i n   qu e s t i o c l a s s i f i c a t i o n,   A r t i f .   I n t e l l .   R e v . ,   v o l .   35 ,   no .   2 ,   pp .   137 154 ,   2011 .   [ 9]   T .   N a ka g a w a ,   K .   I nui ,   a n S .   K ur o ha s hi ,   D e pe nde nc y   t r e e - ba s e s e nt i m e n t   c l a s s i f i c a t i o u s i ng   C R F s   w i t h   h i dd e v a r i a b l e s ,   P r oc e e di ng   H L T   10   H um .   L ang .   T e c hno l .   2010   A nnu .   C o nf .   N or t h   A m .   C hap t e r   A s s o c .   C om pu t .   L i ng ui s t . no .   J u ne ,   pp.   7 86 7 94,   2 015 .   [ 10]   R .   G ha z a l i ,   Z .   A .   B a k a r ,   Y .   M a z w i n,   a nd   M .   H a s s i m ,   F unc t i o na l   L i nk  N e ur a l   N e t w o r w i t M o di f i e C uc koo  S e a r c h   T r a i n i ng   A l g o r i t hm ,   I n t .   C o nf .   I n t e l l .   C om pu t . ,   pp .   285 29 1,   201 4.   [ 11]   J .   S o ng ,   S .   Q i n,   a nd   P .   Z ha ng ,   C hi n e s e   T e x t   C a t e g o r i z a t i o n   B a s e d   o D e e p   B e l i e f   N e t w o r ks ,   I E E E   I C I S   2 016 ,   no .   J une ,   pp .   1 5 ,   2016 .   [ 12]   P .   V i nc e nt ,   A   N e ur a l   P r o ba b i l i s t i c   L a ng ua g e   M o de l ,   A   ne ur a l   p r obab i l i s t i c   L ang .   M ode l .   J .   M ac h .   L e ar n.   R e s . v o l .   3,   pp .   113 7 11 55 ,   2 003 .   [ 13]   R .   G h a z a l i ,   N .   A .   H us a i n i ,   L .   H .   I s m a i l ,   T .   H e r a w a n,   a n Y .   M .   M .   H a s s i m ,   T he   pe r f o r m a nc e   o f   a   R e c ur r e n t   H O N N   f o r   t e m pe r a t u r e   t i m e   s e r i e s   p r e d i c t i o n,   P r oc .   I n t .   J t .   C on f .   N e ur a l   N e t w or k s ,   no .   J u l y ,   pp.   51 8 52 4,   20 14 .   [ 14]   R .   C o l l o be r t   a nd  J .   W e s t o n,   A   uni f i e d   a r c hi t e c t u r e   f o r   na t u r a l   l a n g ua g e   pr o c e s s i ng ,   P r o c .   25t I nt .   C o nf .   M ac h.   L e ar n.   -   I C M L   08 ,   p p.   16 0 16 7,   20 08 .   [ 15]   M .   Z u l q a r n a i n,   R .   G ha z a l i ,   M .   G .   G ho us e ,   a n d   M .   F .   M u s ht a q ,   E f f i c i e nt   P r o c e s s i ng   o f   G R U   B a s e d   o W o r E m be dd i ng   f o r   T e x t   C l a s s i f i c a t i o n, ”  I nt .   J .   I n f or m a t i c s   V i s . ,   v o l .   3,   no .   4 ,   pp.   3 77 3 83,   2 019 .   [ 16]   S .   L a i ,   L .   X u,   K .   L i u ,   a nd  J .   Z ha o ,   R e c ur r e nt   C o nv o l ut i o na l   N e ur a l   N e t w o r ks   f o r   T e xt   C l a s s i f i c a t i o n,   T w e nt y - N i n t h   A A A I   C on f .   A r t i f .   I n t e l l . ,   p p.   22 67 2 273 ,   2018 .   [ 17]   N .   A l oy s i us   a nd   M .   G e e t ha ,   A   r e v i e w   o n   de e p   c o nvo l ut i o na l   ne u r a l   ne t w o r ks ,   20 17   I nt .   C on f .   C om m un .   S i gna l   P r oc e s s . ,   p p.   05 88 0 592 ,   2017 .   [ 18]   A .   K .   a r k hi pe nko ,   K .   I .   ko z l o v - i l y a ,   T .   J .   i n t e g r a l ,   S .   K .   ki r i l l s k o r ni a ko v ,   G .   A .   g o m z i n,   a nd  T .   D .   t ur da ko v ,   C o m pa r i s o o f   ne u r a l   ne t w o r a r C h i t e C t ur e s   f o r   s e nt i m e n t   a n a l y s i s   o f   r us s i a t w e e t s ,   D i a l ogue   C an .   P hi l o s .   A s s o c . ,   2016 .   [ 19]   T .   M i ko l o v ,   K .   C he n,   G .   C o r r a do ,   a n J .   D e a n,   502 1 - D i s t r i bu t e d - R e p r e s e n t a t i o ns - of - W o r ds - a nd - P hr a s e s - a nd - T he i r - C o m po s i t i o na l i t y ,   A dv .   N e ur al   I nf .   P r oc e s s .   S y s t . ,   v o l .   A pr i l ,   pp .   3111 311 9,   20 13 .   [ 20]   A .   D o s ov i t s k i y ,   J .   T .   S pr i ng e nb e r g ,   a nd   T .   B r o x,   A E m pi r i c a l   E xpl o r a t i o o f   R e c ur r e n t   N e t w o r k   A r c hi t e c t u r e s   R a f a l ,   P r o c .   I E E E   C om put .   So c .   C on f .   C om put .   V i s .   P at t e r R e c o g ni t . ,   v o l .   07 - 12 - J u ne ,   p p.   15 3 8 1 546 ,   201 5.     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   19 ,   N o .   1 J ul y   202 0   :     325   -   33 5   334   [ 21]   N .   A .   M uha m m a d,   A .   A .   N a s i r ,   Z .   I br a h i m ,   a nd   N .   S a b r i ,   E v a l u a t i o o f   C N N   ,   A l e x ne t   a nd  G o o g l e N e t   f o r   F r ui t   R e c og ni t i o n,   I nd one s .   J .   E l e c t r .   E n g.   C om p ut .   Sc i . ,   v o l .   12 ,   no .   2,   pp.   46 8 47 5,   20 18.   [ 22]   A .   N g u y e n,   J .   Y o s i ns ki ,   a nd  J .   C l une ,   D e e N e u r a l   N e t w o r k s   a r e   E a s i l y   F o o l e d :   H i g C o nf i de nc e   P r e d i c t i o ns f o r   U nr e c o g ni z a bl e   I m a g e s ,   C om pu t .   V i s .   P at t e r n   R e c ogn i t . ,   2015 .   [ 23]   O .   R i ppe l ,   J .   S no e k ,   a n R .   P .   A da m s ,   S pe c t r a l   R e p r e s e n t a t i o ns   f o r   C o nvo l ut i o na l   N e u r a l   N e t w o r ks ,   p p.   1 9 ,   20 15 .   [ 24]   Y .   G o ng ,   L .   W a ng ,   R .   G uo ,   a nd   S .   L a z e bni k,   M u l t i - s c a l e   o r d e r l e s s   po o l i ng   o f   de e c o nv o l ut i o na l   a c t i v a t i o f e a t u r e s ,   L e c t .   N o t e s   C om p ut .   Sc i .   ( i n c l u di ng  Sub s e r .   L e c t .   N ot e s   A r t i f .   I n t e l l .   L e c t .   N ot e s   B i o i n f o r m at i c s ) ,   v o l .   86 95  L N C S ,   no .   P A R T   7 ,   pp .   3 92 4 07 ,   2 014 .   [ 25]   S .   H o c hr e i t e r ,   L o ng   S ho r t   T e r m   M e m o r y ,   N e ur al   C om p ut . ,   v o l .   9 ,   no .   8 ,   pp .   1 32 ,   199 7.   [ 26]   R .   S o c he r ,   A .   P e r e l y g i n,   a n d   J .   W u ,   R e c ur s i v e   d e e p   m o de l s   f o r   s e m a nt i c   c o m po s i t i o na l i t y   ov e r   a   s e n t i m e nt   t r e e ba nk ,   P r oc .   no .   O c t o be r ,   p p.   16 31 1 642 ,   2013 .   [ 27]   M .   Z ul qa r na i n,   R .   G h a z a l i ,   S .   H .   K ha l e e f a h,   a nd   A .   R e h a n ,   A I m pr o v e t he   P e r f o r m a nc e   o f   G R U   M o de l   ba s e d   o B a t c h   N o r m a l i z a t i o n   f o r   S e n t e nc e   C l a s s i f i c a t i o n,   I nt .   J .   C om pu t .   S c i .   N e t w .   Se c ur . ,   v o l .   1 9,   no .   9,   p p.   176 186 ,   2019 .   [ 28]   N .   K a l c hb r e n ne r ,   E .   G r e f e ns t e t t e ,   a nd   P .   B l uns o m ,   A   C o nv o l ut i o na l   N e ur a l   N e t w o r k   f o r   M o de l l i ng   S e nt e nc e s ,   P r oc .   52nd   A n nu.   M e e t .   A s s oc .   C om put .   L i ngu i s t .   ( V ol um e   1   L ong   P ap. ,   pp .   6 55 665 ,   2014 .   [ 29]   I .   H e ndr i c kx  e t   a l . ,   S e m E v a l - 2010   T a s k   8 :   M ul t i - W a y   C l a s s i f i c a t i o o f   S e m a nt i c   R e l a t i o ns   B e t w e e P a i r s   o f   N o m i na l s ,   C om pu t .   L i n gui s t . ,   no .   J une   20 09 ,   p p.   94 99 ,   2010 .   [ 30]   S .   R .   B o w m a n ,   G .   A ng e l i ,   C .   P o t t s ,   a n C .   D .   M a nni ng ,   A   l a r g e   a nno t a t e c o r pus   f o r   l e a r ni ng   na t ur a l   l a ng ua g e   i nf e r e nc e ,   2 015 .   [ 31]   W .   S h a r i f ,   N .   A .   S a m s u di n,   M .   M .   D e r i s ,   a nd   M .   A a m i r ,   I m pr o v e d   r e l a t i v e   di s c r i m i na t i v e   c r i t e r i o f e a t u r e   r a nk i ng   t e c hni que   f o r   t e x t   c l a s s i f i c a t i o n,   I nt .   J .   A r t i f .   I n t e l l . ,   v o l .   15 ,   no .   2,   pp.   61 78 ,   2017 .   [ 32]   J .   N a m ,   J .   K i m ,   E .   L oz a   M e nc í a ,   I .   G u r e vy c h,   a nd   J .   F ür nkr a n z ,   L a r g e - s c a l e   m ul t i - l a b e l   t e x t   c l a s s i f i c a t i o -   R e v i s i t i ng   ne ur a l   ne t w o r ks ,   L e c t .   N ot e s   C om put .   S c i .   ( i nc l ud i n Sub s e r .   L e c t .   N ot e s   A r t i f .   I n t e l l .   L e c t .   N o t e s   B i o i nf or m a t i c s ) ,   v o l .   8 725   L N A I ,   no .   P A R T   2,   pp .   437 452 ,   2014 .       B I O G R A P H I ES   O F   A U T H O R S         M uh a m m a Z ul qa r na i r e c e i v e h i s   B a c he l o r   a nd   M a s t e r   d e g r e e   i n   C o m put e r   S c i e nc e   &   I n f o r m a t i o T e c hno l o gy   f r o m   T he   I s l a m i a   U ni v e r s i t y   o f   B a ha w a l p ur   ( I U B ) ,   P a ki s t a n.   H e   r e c e i v e d   hi s   M . P h i l   de g r e e   ( M a s t e r   o f   P hi l o s o phy )   f r o m   N a t i o na l   C o l l e g e   o f   B us i ne s s   A dm i n i s t r a t i o &   E c o n o m i c s ,   L a ho r e ,   P a ki s t a n .   H e   i s   c ur r e n t l y   pur s ui ng   P h. D   f r o m   U ni v e r s i t y   T un  H us s e i n   O nn   M a l a y s i a .   H i s   r e s e a r c i n t e r e s t   i s   M a c hi ne   L e a r ni ng   a n d   D e e p   l e a r n i ng   f o r   na t u r a l   l a ng ua g e   pr o c e s s i ng   a nd   i t s   a ppl i c a t i o           R o z a i da   G ha z a l i   i s   c ur r e nt l y   a   P r o f e s s o r   a t   t h e   F a c ul t y   o f   C o m put e r   S c i e nc e   a n I nf o r m a t i o n   T e c hno l o gy ,   U ni v e r s i t i   T un   H us s e i O n M a l a y s i a   ( U T H M ) .   S h e   g r a du a t e w i t a   P h . D .   d e g r e e   i n   H i g he r   O r de r   N e ur a l   N e t w o r k s   f r o m   t h e   S c ho o l   o f   C o m put i ng   a nd  M a t he m a t i c a l   S c i e nc e s   a t   L i v e r po o l   J o hn  M o o r e s   U n i v e r s i t y ,   U ni t e d   K i ng do m   i 200 7.   E a r l i e r ,   i n   200 s he   c o m pl e t e d   he r   M . S c .   de g r e e   i n   C o m pu t e r   S c i e nc e   f r o m   U n i v e r s i t i   T e kno l o g i   M a l a y s i a   ( U T M ) .   S he   r e c e i v e d   h e r   B . S c .   ( H o ns )   de g r e e   i C o m put e r   S c i e nc e   f r o m   U n i v e r s i t i   S a i ns   M a l a y s i a   ( U S M )   i 1997 .   I 200 1,   R o z a i da   j o i n e t he   a c a de m i c   s t a f f   i n   U T H M .   H e r   r e s e a r c a r e a   i n c l ude s   ne u r a l   ne t w o r ks ,   s w a r m   i nt e l l i g e nc e ,   o pt i m i z a t i o n ,   d a t a   m i n i ng ,   a nd   t i m e   s e r i e s   pr e di c t i o n.   S he   ha s   s uc c e s s f ul l y   s upe r v i s e d   a   num be r   o f   P hD   a nd   m a s t e r   s t ude n t s   a nd   p ub l i s he d   m o r e   t ha n   100   a r t i c l e s   i n   v a r i o us   i nt e r n a t i o na l   j o ur na l s   a nd   c o nf e r e nc e   pr o c e e d i ng s .   S he   a c t s   a s   a   r e v i e w e r   f o r   v a r i o us   j o ur n a l s   a nd  c o nf e r e nc e s ,   a nd   a s   a n   e di t o r   i n   a   f e w   S pr i ng e r   c o nf e r e nc e   p r o c e e di ng s .   S he   ha s   a l s o   s e r v e d   a s   a   c o nf e r e nc e   c ha i r ,   a nd  a s   a   t e c hni c a l   c o m m i t t e e   f o r   num e r o us   i n t e r na t i o na l   c o nf e r e nc e s .         Y a na   M a z w i M o hm a H a s s i m   i s   a   s e n i o r   l e c t u r e r   a t   t he   F a c ul t y   o f   C o m put e r   S c i e nc e   a nd   I n f o r m a t i o T e c hno l o gy ,   U ni v e r s i t i   T un  H u s s e i n   O nn  M a l a y s i a   ( U T H M ) .   S h e   g r a d ua t e w i t a   P hD   de g r e e   f r o m   U ni v e r s i t i   T un   H us s e i n   O nn   M a l a y s i a   ( U T H M )   i n   2 016 .   E a r l i e r ,   i 2006   s he   c o m pl e t e d   he r   M a s t e r ' s   de g r e e   i n   C o m put e r   S c i e nc e   f r o m   U n i v e r s i t i   o f   M a l a y a   ( U M ) .   S he   r e c e i v e he r   B a c he l o r   o f   I nf o r m a t i o T e c hno l o gy   ( H o ns )   de g r e e   m a j o r i ng   i I ndus t r i a l   C o m pu t i ng   f r o m   U ni v e r s i t i   K e ba ng s a a n   M a l a y s i a   ( U K M )   i n   200 1.   I 20 03 ,   Y a na   M a z w i j o i n e d   t he   a c a d e m i c   s t a f f   i U T H M .   H e r   r e s e a r c a r e a   i nc l ude s   n e ur a l   ne t w o r ks ,   s w a r m   i n t e l l i g e nc e ,   o pt i m i z a t i o a nd   c l a s s i f i c a t i o n.         Evaluation Warning : The document was created with Spire.PDF for Python.