I n te r n ati o n al   Jo u r n al   o f  El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   2 ,  A p r i l   2020 ,   p p.   1544 ~ 155 1   IS S N :   2088 - 8708 ,  D O I :   10. 1 1591 / i j e c e . v 10 i 2 . pp1544 - 1551             1544       Jou r n al   h o m e pa ge :  ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   M y a n m a r   n a m e d   e n t i t y   c o r p u s  a n d   i t s use   i n   sy l l a b l e - b a s e d   n e u r a l   n a m e d   e n t i t y   r e c o g n i t i o n       H s u   M yat   M o ,  K h i n   M ar   S o e   N a t u r a l   L a ng ua g e   P r o c e s s i ng   L a b . ,   U n i v e r s i t y   o f   C o m put e r   S t ud i e s ,   Y a ng o n,   M y a nm a r         A r ti c l e   I n fo     A B S TR A C T     Ar t i c l e   h i s t or y :   R e c e i v e d  A pr   14 ,   201 9   R e v i s e d  O c t   15   20 19   A c c e pt e d  O c t   25 ,   2 0 19       M y a nm a r   l a ng ua g e   i s   a   l o w - r e s o ur c e   l a ng ua g e   a nd  t h i s   i s   o ne   o f   t he   m a i n   r e a s o ns   w hy   M y a nm a r   N a t ur a l   L a ng ua g e   P r o c e s s i ng   l a g g e d  be h i nd   c om pa r e d  t o   o t he r   l a ng ua g e s .   C ur r e n t l y ,   t he r e   i s   no   pub l i c l y   a v a i l a bl e   na m e d   e nt i t y   c o r pus   f o r   M y a nm a r   l a ng ua g e .   A s   pa r t   o f   t hi s   w o r k ,   a   v e r y   f i r s t   m a nua l l y   a nno t a t e d  N a m e d  E n t i t y   t a g g e d  c o r pus   f o r   M y a nm a r   l a n g ua g e   w a s   de v e l o pe d  a n d  pr o po s e d  t o   s uppo r t   t h e   e v a l u a t i o n  o f   na m e d  e nt i t y   e xt r a c t i o n.   A t   pr e s e n t ,   o ur   na m e d   e n t i t y   c o r pus   c o nt a i n s   a ppr o xi m a t e l y   170, 000  n a m e   e nt i t i e s   a nd  60 , 00 0  s e n t e nc e s .   T h i s   w o r k  a l s o   c o nt r i b ut e s   t h e   f i r s t   e v a l ua t i o n  o f   v a r i o us   de e p  ne u r a l   n e t w o r k  a r c hi t e c t u r e s   o n  M y a nm a r   N a m e d  E n t i t y   R e c og ni t i o n.   E xp e r i m e n t a l   r e s u l t s   o f   t he   10 - f o l d  c r o s s   v a l i da t i o n   r e v e a l e d  t ha t   s y l l a bl e - b a s e d  ne ur a l   s e que nc e   m o de l s   w i t ho ut   a dd i t i o na l   f e a t u r e   e ng i ne e r i ng   c a n  g i v e   be t t e r   r e s u l t s   c o m pa r e d  t o   ba s e l i ne   C R F   m o de l .     T hi s   w o r k  a l s o   a i m s   t o   di s c ov e r   t he   e f f e c t i v e ne s s   o f   ne u r a l   ne t w o r k  a ppr o a c he s   t o   t e xt u a l   p r o c e s s i ng   f o r   M y a nm a r   l a ng ua g e   a s   w e l l   a s   t o   pr o m o t e   f ut u r e   r e s e a r c h   w o r ks   o n  t h i s   u nde r s t ud i e d   l a ng ua g e .   Ke y w or d s :   B i di r e c t i o n a l   L S T M   D e e p  l e a rni n g     M y a n m a r  l a n gu a ge   N a m e d  e n t i t y   c o r pus   N e ur a l   N E R   S y l l a b e l - b a s e d   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .    A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   H s u  M y a t   M o ,    N a t u ra l   L a n gu a ge   P r o c e s s i n g  L a b ,   U n i v e r s i t y   of   Co m put e r  S t ud i e s ,   Y a ngo n,   N o . 4  M a i n  R o a d,   S h w e   P y i   T ha r   T o w n s h i p,   Y a ngo n ,   M y a nm a r .   E m a i l :   h s um y a t m o @ uc s y . e du. m m       1.   I N TR O D U C TI O N     N a m e d  E nt i t y   R e c o gn i t i o n   (N E R )  i s   t h e   p r o c e s s   of   a ut o m a t i c a l l y   t a ggi n g ,   i de nt i f y i n g  o r   l a b e l i n g   di f fe r e nt   n a m e d  e n t i t i e s   (N E )  i n   t e xt   i n   a c c o r da n c e   w i t h   t he   pr e de f i n e d  s e t s   o f  N E   c a t e go r i e s ,   fo r   i n s t a n c e ,   pe r s o n,   l o c a t i o n   a n d  o r ga ni z a t i o n  a n d   s o   o n .   T h e   t a s k  o f   N E R   fo r   M y a n m a r  l a n gu a ge   i s   a b s o l ut e l y   n e c e s s a r y   t o   M y a n m a r   na t u r a l   l a n g ua ge   p r o c e s s i n g.   T h e   t a s k   o f   i de nt i fy i n g  na m e s   a u t o m a t i c a l l y   i n   M y a n m a r   t e xt     i s   m o r e   c o m pl i c a t e d  c o m pa r e d  t o   o t h e r   l a ngua ge s   f o r   m a n y   re a s o n s   a n d   i t   ha s   b e e n   a   c ha l l e n g i n g   i s s ue .   A t   t h e   p r e s e n t   t i m e ,   M y a n m a r   N L P   i s   a t   a n   i n i t i a l   s t a ge   a nd  w e l l - p r e pa r e d  l e xi c a l   r e s o ur c e s   r e qui r e d  fo r   M y a n m a r   N L P   r e s e a r c h   h a v e   n o t   be e n   a v a i l a b l e   s uff i c i e n t l y   un t i l   n o w .   T h e   l a c k  of   r e s o ur c e s   s uc h     a s   a nn o t a t e d  N E   c o r pus ,   na m e   l i s t s ,   ga z e t t e e r s   o r   na m e   d i c t i o n a r y   i s   t h e   m a i n   i s s ue   i n  r e s o l v i n g  N E R   f o r   M y a n m a r   l a n gu a ge .   T h e   r e s o ur c e   c o r pus   i s   v i t a l   w h i l e   c o n duc t i n g  e xpe ri m e n t s   t o   a dd r e s s   t hi s   N E R   pr o b l e m .   F o r   t h i s   r e a s o n,   i n   t hi s   w o r k,   a   v e r y   f i r s t   M y a n m a r   N E   t a gge d  c o r pus   w a s   m a n u a l l y   a nn o t a t e d  w i t h     t h e   de f i n e d  N E   t a gs ,   a n d   w a s   c o n s t r uc t e d.   O n   t h e   o t h e r   ha n d,   M y a n m a r  l a n gu a ge   h a s   b o t h   c o m pl e x   a n d  ri c h   m o r p h o l o gy   a n d  a m b i gui t y     a s   w e l l .   B e s i de s ,   M y a n m a r  l a n gu a ge   ha s   di s t i n c t   c ha r a c t e r i s t i c s   a n d   ha v i n g   n o   c a pi t a l i z i n g   f e a t u r e   w h i c h   i s   t h e   m a i n   i n di c a t o r   o f   pr o pe r   na m e s   f o r   s o m e   o t h e r   l a ngua ge s   l i ke   E n gl i s h.   F u r t h e r,   i t s   w r i t i ng  s t r uc t u r e   i s   of  t h e   f r e e   o r de r,   m a ke s   t h e   N E R   a   c o m pl e x  pr o c e s s .   S o m e   p r o pe r   na m e s   o f   fo r e i gn   pe r s o n   a nd  l o c a t i o n   a r e   l o w a n w o r ds   o r   t ra n s l i t e r a t e d  w o r ds   s o  t ha t   t h e r e   a r e   w i de   v a r i a t i o n s   i n   s o m e   M y a n m a r   t e r m s .   N a m e s   i n   M y a n m a r  t e xt s   a l s o   t a ke   a l l   m o r p h o l o gi c a l   i n f l e c t i o n s   w i c h   c a n   l e a d  t o   a m b i gu i t y .   T hi s   a m b i gui t y   of   N E   m a y   l e a d  t o   p r o b l e m   i n  c l a s s i fy i n g  na m e d  e nt i t i e s   i n t o   p r e de f i n e d  t y pe s .   M o r e ov e r ,   w o r d  s e gm e n t a t i o n    Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       My anm ar   nam e d  e nt i t y   c or pus   and  i t s   us e   i n   s y l l ab l e - bas e d   ne ur al   nam e d  e nt i t y …   ( H s u  M y at   Mo )   1545   i s   n e c e s s a r y   t o   de t e c t   w o r ds   b o un da r y   i n   w ri t t e n  M y a n m a r  t e xt   a n d   t hi s   s e gm e n t a t i o n  r e s ul t   m i g h t   a f f e c t   t h e   N E R   pe r f o r m a n c e .   I t   c a n   b e   s a i d  h o w   t o   pe r fo r m   t h e   t a s k  o f   r e c o gn i z i ng  n a m e s   i n   M y a n m a r   s c ri pt s   a ut o m a t i c a l l y   i s   s t i l l   c ha l l e ngi n g   u nt i l   n o w .   O n e   o f   t h e   r e a s o n s   w h y   w e   t r y   t o   s o l v e   t h i s   N E R   p r o b l e m   i s   t o   pr o v i de   N E R   m o d e l   t o   i nt e gra t e   t o   o t h e r  N L P   r e s e a r c h   a n d   a pp l i c a t i o n s   f o r   M y a n m a r   l a n g ua ge .   M o r e ov e r ,   t h e   c u rr e nt   M y a nm a r - E n g l i s h  m a c h i n e   t ra n s l a t i o n   s y s t e m   c o ul d  n o t   r e c o gn i z e   n a m e s   w r i t t e n   i n   M y a n m a r   s c r i pt s   p r o pe r l y .   F ut h e rm o r e ,     t h e   m a i n   m o t i v a t i o n   b e h i n d  t hi s   w o r k  i s   t ha t ,   a t   p r e s e n t   t i m e ,   t h e r e   i s   n o   pub l i c l y   a v a i l a b l e   N E R   t oo l   t ha t   c a n  e xt ra c t   na m e d  e nt i t i e s   i n  w ri t t e n  M y a n m a r   t e xt s .     A s   f a r   a s   b e i n g   a w a r e   a nd  up   t o   o ur  k n o w l e dge ,   t h e r e   i s   n o   p ub l i c l y   a v a i l a b l e   N E   t a gge d  c o r pus ,   a nd  a l s o   n o   w o r k  h a s   b e e n   pub l i s h e d  f o r   us i n g   de e p  n e u ra l   n e t w o r ks   o n   N E R   f o r   M y a n m a r   l a ngua ge .     H ow e ve r ,   t h e r e   a r e   m a n y   b e n c h m a rk  d a t a   r e s o ur c e s   a v a i l a b l e   f o r   o t h e r   l a n gu a ge s .   Co N L L   2003  [1]  d a t a s e t   w h i c h  i n c l ude s   1 , 393   E ngl i s h   a nd   9 09  G e r m a n   n e w s   a r t i c l e s ,   M U C - 6  a nd  M U C - 7  [2]   p r o v i de d  t hr o ugh  t h e i r  S ha r e d  T a s k .   D e ve l o pm e n t   o f  Be n ga l i   N E   t a gge d  c o r pus   w a s   de s c r i b e d  i n   [3].   T h e   a ut h o r s   i n   [4 ]  p r e s e n t e d    a   w o r kf l ow   of  b ui l di ng  a n   E n g l i s h - V i e t n a m e s e   N E   c o r pus   f r o m   a n   a l i g n e d  b i l i n gu a l   c o r pus .   I n   [5] ,   a   m e t h o d  t o   a ut o m a t i c a l l y   b ui l d  a   N E   c o r pus   b a s e d  o n   t h e   D B pe di a   ont o l o g y   w a s   pr o po s e d.   L i ke w i s e ,   c o n s t ruc t i o n   o f  P o r t ugue s e   N E   c o r pus   w a s   p r o po s e d  by   us i n g  D B pe di a   a s   w e l l   [6] .   A l t h o ug h   s t a t i s t i c a l   a pp r o a c h e s   s uc h   a s   CR F s   h a v e   b e e n   e xt e n s i v e l y   a ppl i e d  t o   N E R   t a s ks ,     t h o s e   a pp r o a c h e s   h e a v i l y   r e l y   o n   f e a t u r e   e n gi n e e r i n g .   A   g e n e ra l   n e u r a l   a r c hi t e c t u r e   f o r   s e que n c e   l a b e l i ng  t a s ks   w a s   de v e l o p e d  by   [7 ].   F o l l ow i n g  t hi s   w o r k,   v a r i o us   de e p  n e ura l   n e t w o r ks   h a v e   be e n   go t   po pul a ri t y   fo r   N E R   a n d  ha v e   be e n   w i de l y   a ppl i e d  o n  di f f e r e n t   l a n gu a ge s ,   e . g. ,   n e u r a l   a r c hi t e c t u r e s   f o r   J a pa n e s e   N E R   [8],   It a l i a n   N E R   [9],   M o n go l i a n   N E R   [10],   a n d  R us s i a n   N E R   [11 ]  a n d  s o   o n .   L i ke w i s e ,   d e e p  n e ur a l   a r c hi t e c t u r e s   a l s o   h a v e   b e e n   de pl o y e d  o n   N E R   f o r   di f f e r e n t   do m a i n s ,   e . g. ,   B i o m e di c a l   N e u ra l   N E R   [12 ] ,   N e u ra l   N E R   f o r   M e di c a l   E n t i t i e s   i n   T w i t t e r   [13] ,   N E R   f o r   T w i t t e r   M a s s a ge s   [14],   a n d  N E R   fo r   di s e a s e   n a m e s   [15 ].     A l l   t h e s e   w o r ks   r e v e a l e d  t ha t   n e u ra l   n e t w o r ks   h a v e   t h e   gr e a t   c a pa b i l i t y   fo r   N E R   t a s ks   a n d  s i g n i f i c a nt l y   o ut pe r f o r m   s t a t i s t i c a l   a l go r i t h m s .   P r e v i o us   a t t e m p t s   o n   M y a nm a r  N E R   h a d   b e e n   do n e   b y   a ppl y i n g  r u l e - b a s e d  a nd  s t a t i s t i c a l   a pp r o a c h e s .   A   m e t h o d  fo r   M y a nm a r   N a m e d  E n t i t y   Ide n t i f i c a t i o n   w a s   pr o po s e d  by   m e a n s   o f  h y b r i d  a p p r o a c h   i n   [16 ] .   T h e i r   a pp r o a c h   i s   a   c o m b i na t i o n   o f   r ul e - b a s e d  a n d  s t a t i s t i c a l   N - g ra m s   b a s e d  m e t h o d;   pl us   s m a l l   s i z e   of   n a m e   da t a b a s e   w a s   a l s o   j o i n t l y   us e d.   A   M y a nm a r   N a m e d  Ide nt i f i c a t i o n   a l go r i t h m   w a s   pr o po s e d  i n   [ 17 ] .     It   de f i n e s   t h e   na m e s   by   us i n g  s o m e   of   t h e   P O S   i n f o r m a t i o n,   N E   i de n t i f i c a t i o n   r u l e s   a n d  c l ue   w o r ds   a r o u n d   t h e   c o n t e xt s   o f   N E s   t ha t   c a rr y   i n f o r m a t i o n   f o r   N E   i de nt i f i c a t i o n .   A s   l i m i t a t i o n,   i n p ut   s e nt e n c e   m us t   b e   e s t a b l i s h e d  w i t h   P O S   t a gs .   A s   w e a kn e s s ,   i t   i s   i n c a p a b l e   of   s e m a t i c   i m p l i c a t i o n   o f   pr o pe r   n a m e s .     M o r e ov e r ,   t h e s e   a pp r o a c h e s   t o t a l l y   r e l y   o n   l i n g ui s t i c   k n o w l e dge   a n d  f e a t u r e   e n g i n e e r i ng.   CR F - b a s e d  N E R  fo r   M y a n m a r   l a ngua ge   c a n  b e   s e e n   i n  [18 ] .   T h e   a ut h o r s   o f   [19 ]  a l s o   t r y   t o   e xpl o r e   t h e   v a ri o us   c o m b i n a t i o n s   of   f e a t ur e s   f o r   CR F - b a s e d  M y a n m a r   N E R .   In   t h i s   w o r k,   a   v e r y   f a s t   m a n u a l l y   a nn o t a t e d   N E   t a gge d  f o r   M y a n m a r   l a n gu a ge   w a s   de v e l o p e d  a n d   pr o po s e d  t o  pr o v i de   N E   t a gge d  c o r pus   fo r   f ut ur e   N E R   r e s e a r c h.   M o r e o ve r ,   t o   r e duc e   t h e   n e e d  of   e xpe n s i ve   f e a t ur e   e n g i n e e r i ng  a nd  t o   p r o v i de   a   goo d  qua l i t y   N E R   m o de l   f o r   M y a n m a r   l a n gu a ge ,   e xpe r i m e nt s   w e r e   c o n duc t e d  by   m o de l l i n g  de f f e r e n t   de e p  n e u ra l   n e t w o r k  a r c h i t e c t ur e s .   M y a n m a r   N E R   w a s   s o l v e d  by   m e a n s   of  de e p  n e ur a l   n e t w o r ks   m o de l i n g  a n d  i t   w a s   c o n s i de r e d   a s   s e q ue n c e   l a b e l i n g  p r o b l e m .   In   t hi s   n e u ra l   m o de l i n g ,   a   s e nt e n c e   i s   t a ke n  t o   b e   a   s e que n c e   o f   s y l l a b l e s   a nd  s y l l a b l e s   a r e   c o n s i de r e d  a s   b a s i c   i nput   u n i t s   t o   t h e   n e t w o r ks   r a t h e r   t ha n   c h a ra c t e r s   o r   w o r ds   t o   a vo i d  t h e   r e l i a n c e   o n   w o r d  s e gn e t a t i o n .   A m o n g  a l l   e xpe r i m e nt s ,   t h e   p r o po s e d  n e ura l   m o de l   w h i c h   i s   i m pl e m e n t e d  by   r e pr e s e n t i n g  s y l l a b l e s   a s   a   c o m b i n a t i o n   o f  s y l l a b l e   e m b e ddi n g  w i t h   Co n v o l ut i o n a l   N e ur a l   N e t w o r k   (CN N )  ove r   t h e   c h a ra c t e r s   o f  t h e   s y l l a b l e s ,   fo l l ow i n g  t hi s   w i t h   b i di r e c t i o n a l   L o n g  S h o rt - T e rm   M e m o r y   (L S T M )  l a y e r   ove r   t h e   s y l l a b l e   r e pr e s e nt a i o n s   of  a   s e n t e n c e ,   a nd  f i na l l y   a ddi n g  CR F   de c o di n g  l a y e r   a b ove   gi v e s   t h e   b e s t   pe r fo r m a n c e .   T h e   pe r f o r m a n c e   of  n e u r a l   N E R   m o de l   w a s   a l s o   c o m pa r e d  w i t h   b a s e l i n e   Co n di t i o na l   R a n do m   F i e l d  (CR F )  m o de l .   Re s ul t   f r o m   10 - f o l d  c r o s s   v a l i da t i o n   r e v e a l e d  t h a t   de e p  n e u r a l   n e t w o r ks   c a n   g i v e   t h e   b e t t e r   r e s ul t s   w i t h o ut   us i n g  a n y   e xt e rn a l   f e a t u r e s .       2.   M Y A N M A R   LA N G U A G E   M y a n m a r   l a n gu a ge   a l s o   c a l l e d  B ur m e s e   i s   t h e   off i c i a l   l a ngua ge   of   t h e   Re pub l i c   of   t h e   U n i o n   o f  M y a n m a r   a n d  ha s   m o r e   t h a n  o n e   t h o us a n d  y e a r s '   hi s t o ry .   A c c o r di n g  t o   t h e   do c um e nt s ,   i t   b e l o n gs   t o   t h e   S i n o - T i b e t a n   l a n g ua ge   f a m i l y   a n d  M y a nm a r   s c ri pt s   w e r e   de s c e n de d  f r o m   t h e   B r a hm i   s c r i p t   o f  a n c i e n t   S o ut h   I n d i a .   M y a nm a r   s c r i p t s   a r e   w ri t t e n   i n   s e que n c e   f r o m   l e f t   t o   r i g h t   w i t h o ut   i n s e rt i ng  r e gul a r   w hi t e   s pa c e   b e t w e e n   w o r ds   o r   s y l l a b l e s   b ut   w h i t e   s pa c e   m a y   s o m e t i m e s   b e   i n s e r t e d  b e t w e e n   phra s e s   s e e   F i gur e   1  f o r   t h e   e xa m p l e .   T h e   M y a nm a r  s c r i pt s   us u a l l y   h a v e   75  c ha ra c t e r s   i n   t o t a l   a nd  t h o s e   c h a ra c t e r s   c a n   b e   c l a s s i f i e d   i n t o   12   g r o ups .   F o r   m o r e   de t a i l s ,   y o u  c a n   c h e c k  t h e   pa pe r  [2 0].   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   2 ,  A p ri l   2020   :     1 5 4 4   -   1 5 5 1   1546       F i gu r e   1 .   E xa m p l e   o f   M y a n m a r  w ri t i ng        M y a n m a r   l a n gu a ge   i s   s y l l a b i c   l a ngua ge .   W o r ds   i n   M y a nm a r   l a n gu a ge   a r e   c o m po s i t i o n   o f   o n e   o r   m o r e   s y l l a b l e s   a nd  a   s y l l a b l e   m a y   a l s o   c o n t a i n   o n e   o r   m o r e   c ha r a c t e r s .   A   w o r d  ‘ န   င ် င ံ ’   c a n   b e   s e pa ra t e d  i n t o   t w o   s y l l a b l e s   ‘ န   င ် ’   a n d   ‘ ငံ ’ .   A   c ha r a c t e r  c a n  s t a n d   a s   a   s y l l a b l e   i t s e l f   o r  a   s y l l a b l e   i n  M y a n m a r  l a n gu a ge   m a y   b e   m a de   up   o f   o n e   o r  s e v e r a l   c ha ra c t e r s .   F o r  e xa m p l e ,   f i ve   U n i c o de   c h a ra c t e r s ,   i . e . ,   ‘ န ,   ိ  ,   ိ ,  င ’   a n d   ‘ ိ် ’   c o n s t i t u t e   t o   f o r m   t h e   s y l l a b l e   ‘ န   င ် ’   s e e   F i gu r e   2 .           F i gu r e   2 .   A n  E xa m pl e   o f   a   M y a nm a r  w o r d  f o r m a t i o n       F o r   M y a n m a r   l a n gu a ge ,   t h e r e   a r e   s o m e   c o m pl e x  e n c o di n g   pr o b l e m s .   M o s t   M y a n m a r   pe o pl e   a r e   m o r e   f a m i l i a r   w i t h   e n c o di n gs   t ha t   do   n o t   f o l l ow   s t a n d a rd  U n i c o de   p o i n t .   T o   m a ke   M y a nm a r   s y l l a b l e   s t ruc t u r e   r e p r e s e n t e d  i n  a   de f i ni t e   w a y ,   i n  t hi s   pa pe r,   U ni c o de   e n c o di n g  i s   us e d.   A   M y a nm a r  s y l l a b l e   s t ruc t u r e   f o r m a t i o n  i s   qui t e   de f i n i t e   a n d   s t ra i g ht f o r w a r d .   A l t h o ug h   t h e   c o n s t i t ue nt s   c a n  a ppe a r  i n  d i f fe r e nt   s e que n c e s ,   a   M y a n m a r   s y l l a b l e   us ua l l y   c o n s i s t s   of   o n e   b a s e   i n i t i a l   c o n s o n a nt   a n d  m a y   a l s o   h a v e   ( o r   n o t )  m e di a l s ,   v ow e l s   a n d  o pt i o na l   de pe n de n t   v a ri o us   s i gn s .   I n de pe n de n t   v ow e l s ,   i nde pe n de n t   v a r i o us   s i g n s   a nd  di gi t s   c a n   s t a nd  a s   s t a n d - a l o n e   s y l l a b l e s   a n d  s o m e   c o n s o n a n t s   c a n   a c t   a s   a   s y l l a b l e   a s   w e l l .   A c c o r di n g  t o   t h e   U n i c o de   s t a n d a r d,   r e g a r dl e s s   o f   t h e   a ppe a r a n c e   o f   t h e   c h a ra c t e r s   o n   s c r e e n,   v ow e l s   a r e   s t o r e d  a f t e r   t h e   c o n s o n a nt .   D e t a i l e d  e xpl a n a t i o n   o f   s y l l a b l e   s t r uc t u r e   s e gm e nt a t i o n   f o r   M y a nm a r   l a n g u a ge   w a s   de s c r i b e d   i n   [2 0,   21] .     M y a n m a r   l a n gu a ge   i s   v e r y   c o m pl e x  c o m pa r e d  t o   E n gl i s h   a n d  o t h e r   l a ngua ge s .   O n   t h e   o t h e r   h a nd,   l a n gu a ge   r e s o ur c e s   fo r   M y a nm a r   N L P   r e s e a r c h e s   h a v e   n o t   b e e n   w e l l   pr e pa r e d  u nt i l   n o w .   A s   o n e   o f  a ggl u t i na t i v e   l a n gua ge s ,   M y a n m a r  h a s   c o m pl e x  m o rp h o l o gi c a l   s t r uc t u r e   s o   t ha t   f o r   m o de l s   i n   w h i c h   w o r ds   a r e   t r e a t e d  a s   b a s i c   un i t   t o   c o n s t r uc t   di s t r i b ut e d  r e p r e s e nt a t i o n,   t h e r e   m a y   be   pr o b l e m s   fo r   t h o s e   r i c h  m o r p h o l o gi c a l   w o r ds .   O n   t h e   o t h e r   ha n d,   i t   i s   n e c e s s a r y   t o   de a l   w i t h   o ut - of - vo c a b ul a r y   w o r ds   a n d  w o r d  s e gm e n t a t i o n   p r o b l e m   i s   a l s o   o n e   of   t h e   i m po rt a nt   p r o b l e m s   f o r   M y a n m a r   l a n gu a ge .   A s   de s c r i b e d  a b ove ,   w o r ds   i n  M y a n m a r  l a n gu a ge   a r e   n o t   a l w a y s   s e pa r a t e d   by   w h i t e   s pa c e s ,   s o   w o r d  s e gm e n t a t i o n   i s   n e c e s s a r y   a n d  s e gm e n t a t i o n   e rr o r s   w i l l   a f f e c t   t h e   N E R   pe r f o r m a n c e .   I n   M y a n m a r   l a n g ua ge ,   s y l l a b l e   i s   t h e   s m a l l e s t   l i n gu i s t i c   u n i t   t ha t   c a n   c a rr y   i n f o r m a t i o n   a b o ut   w o r d  a n d  s y l l a b l e   s t r uc t u r e   c a n   b e   e a s i l y   de t e c t e d  w h e n   w i t h   U n i c o de   e n c o di n g .   F o r   t h e s e   r e a s o n s ,   s y l l a b l e   i s   t r e a t e d  a s   t h e   b a s i c   uni t   f o r   l a b e l   t a ggi ng  i n   a l l   o ur    N E R   e xpe r i m e nt s .       3.   D EV ELO P M EN T  O F   M Y A N M A R   N E  TA G G ED   C O R P U S   A nn o t a t e d  c o r po r a   a r e   v i t a l   r e s o ur c e s   fo r   N L P   a n d  i n f o r m a t i o n   e xt ra c t i o n   a pp r o a c h e s   w h i c h   e m pl oy   m a c h i n e   l e a rni n g   t e c hni que s .   B ui l d i n g  a nn o t a t e d  N E   t a gge d  c o r pus   i s   a l s o   t h e   f i r s t   s t e p  i n   t r a i ni n g  N E R   m o de l   a n d  i m p l e m e n t i n g  N E R   s y s t e m   e s pe c i a l l y   f o r   l ow - re s o ur c e d  l a n gu a ge s .   A s   m e nt i o n e d  b e fo r e ,   a nn o t a t e d  c o r p ra   f o r   M y a n m a r  l a n gu a ge   a r e   l i m i t e d  a n d   s c a t t e r e d.   T hi s   i s   o n e   o f   t h e   m a i n  r e a s o n s   w h y   M y a n m a r   N L P   l a gge d  b e h i nd  w h e n   c o m pa r e d  t o   o t h e r s .   F o r   o ur   e xpe r i m e nt s   a n d  f u r t h e r   r e s e a r c h   o n  M y a n m a r   N E R ,   w e   de ve l o pe d  a   m a n u a l l y   a nn o t a t e d  M y a nm a r   N E   t a gge d  c o r pus .   It   t o o k  n e a r l y   7  m o n t h s   t o  a nn o t a t e   t h e   N E   c o r pus   m a n u a l l y .   Curr e nt l y   w e   h a v e   ov e r   60K   s e n t e n c e s   i n   t o t a l   a nd  m a nua l l y   a nn o t a t e d  a c c o r di n g  t o   t h e   de f i n e d  s i x  N E s   t a gs .   T o   b e   e xa c t ,   t h e r e   a r e   t o t a l l y   60, 5 00  s e n t e n c e s   a nd  c o n t a i ni n g  t o t a l   n u m b e r   o f   174, 133  na m e d  e nt i t i e s .   T h e r e   i s   n o   o t h e r   a v a i l a b l e   M y a nm a r  N E   c o r pus   t ha t   ha s   a s   m uc h   da t a   a s   o ur   N E   t a gge d   c o r pus .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       My anm ar   nam e d  e nt i t y   c or pus   and  i t s   us e   i n   s y l l ab l e - bas e d   ne ur al   nam e d  e nt i t y …   ( H s u  M y at   Mo )   1547   3. 1 .     D ata   c o l l e c t i o n   an d   p r e p ar at i o n   N ow a da y s ,   h uge   a m o unt   o f   w e b   da t a   a r e   a v a i l a b l e   a nd   b e c o m e   t h e   m a i n   s o ur c e   o f   da t a   fo r   c o m put a t i o n a l   r e s e a r c h   p r o c e s s i n g.   I n   de v e l o pi n g  o u r   M y a n m a r   N E   t a gge d  c o r pus ,   n e w s   s e n t e n c e s   w r i t t e n   i n  M y a n m a r   s c ri pt s   w i t h i n   a   ra n ge   of   y e a r   f r o m   2017  t o   2019,   f r o m   o n l i n e   o ff i c i a l   n e w s   w e b s i t e s   a r e   c o l l e c t e d   a n d  us e d.   D i f f e r e n t   t y pe s   of   n e w s   ge n de r   i n c l udi ng  b us i n e s s ,   c r i m e ,   h e a l t h,   t o ur i s m ,   e duc a t i o n ,   e n v i r o nm e n t ,   t e c hn o l o g y ,   s po r t ,   r e l i gi o n,   a n d  a l s o   po l i t i c   a r e   o r g a n i z e d.   I n  a ddi t i o n,   t r a n s l a t e d  s e n t e n c e s   f r o m   w i ki   n e w s   a s   w e l l   a s   s e nt e n c e s   s uppo r t e d  f r o m   A L T - P a ra l l e l - Co r pus ,   w hi c h   i s   o n e   pa rt   o f   t h e   A s i a n  L a n gu a ge   T r e e b a n k   (A L T )  pr o j e c t   un de r   A S E A N   IV O ,   a r e   a l s o   ut i l i z e d  i n   c o n s t ruc t i o n   o f   o ur   N E   t a gge d  c o r pus .   S e nt e n c e s   f r o m   A L T   c o r pus   a r e   t r a n s l a t e d  f r o m   I nt e rna t i o na l   n e w s   s o   t ha t   a   l o t   o f   t r a n s l i t e ra t e d  na m e s   a r e   a p pe a r e d    i n   t h i s   c o r pus .   A s   da t a   p r e pa ra t i o n,   da t a   c l e a n i ng  i s   f i r s t l y   c a rr i e d  o ut .   A l l   ki n ds   o f  m i s t y p e d  e r r o r s   a r e   c o rr e c t e d   m a n u a l l y .   M o r e ov e r ,   di f f e r e n t   e n c o di n gs   n e e d  t o   b e   i n  u n i f o r m   e n c o di n g .   F o r  e n c o di n g  c o n s i s t e n c y ,     a l l   t h e   c o l l e c t e d  da t a   a r e   c o n v e r t e d  i nt o   U n i c o de   e n c o di ng.   I n  s e nt e n c e s ,   s o m e   t y pi n g  e rr o r s   a r e   f o un d .     E s pe c i a l l y ,   t h e   di g i t   “ ၀ ”   (z e r o )  a n d  t h e   c o n s o n a nt   “ ဝ ”   ( “ W a ” )   a r e   us ua l l y   m i s t y pe d.   T h us ,   i t   i s   n e c e s s a r y   t o  c o r r e c t   s uc h   k i n d   o f   w r o n g l y   t y pe d  e r r o r s   b e c a us e   t h e   q ua l i t y   o f   da t a   s t r o n gl y   a ff e c t s   t h e   pe r f o r m a n c e .     3. 2 .     D e f i n e d   N E  typ e s   T o t a l l y   s i x  t y pe s   of   N E   t a gs   a r e   de f i n e d  f o r   m a nua l   a nn o t a t i o n:   P N A M E ,   L O C,   O R G ,   R A CE ,   T IM E   a n d  N U M .   P N A M E   t a g  i s   us e d  t o   i n d i c a t e   pe r s o n   na m e s   i n c l udi ng  n i c k na m e   o r  a l i a s ,   w hi l e   L O C  t a g  i s   de f i n e d  fo r   l o c a t i o n   e nt i t i e s .   I n   t hi s   c a s e ,   l o c a t i o n   e n t i t i e s   i n c l ude   po l i t i c a l l y   o r   ge o gr a p h i c a l l y   de f i n e d  pl a c e s   (c i t i e s ,   p r o v i n c e s ,   c o unt r i e s ,   i n t e rna t i o n a l   r e gi o n s ,   b o di e s   of   w a t e r,   m o u n t a i n,   e t c . ).   L o c a t i o n   a l s o   i n c l ude s   m a n - m a de   s t r uc t u r e s   l i ke   a i r po r t s ,   hi g h w a y s ,   s t r e e t s ,   f a c t o r i e s   a nd  m o num e n t s .   N a m e s   o f   o r ga n i z a t i o n s   (go ve r nm e n t   a nd  n o n - go v e r nm e n t   o r g a n i z a t i o n s ,   c o r po ra t i o n s ,   i n s t i t u t i o n s ,   a ge n c i e s ,   c o m pa ni e s   a n d  o t h e r   gr o ups   o f   pe o pl e   de f i n e d  b y   a n   e s t a b l i s h e d  o r g a n i z a t i o n a l   s t r uc t ur e )   a r e   a nn o t a t e d  w i t h  O R G   t a g .   In  o ur  M y a n m a r  l a n gu a ge ,   s o m e   l o c a t i o n   na m e s   a n d  na m e s   of   n a t i o n a l   r a c e s   h a v e   s a m e   s pe l l i n g   i n  w r i t i ng  s c ri pt s .   F o r  e xa m p l e ,   t h e   l o c a t i o n   na m e   “ က ခ ျ င ်   ” (K a c h i n  S t a t e )  a nd  o n e   o f   t h e   na t i o na l   ra c e s     “ က ခ ျ င ်   ”  (K a c h i n  r a c e ).   F o r   t h i s   r e a s o n ,   t h e   N E   t a g   R A CE   i s   de f i n e d  t o   i ndi c a t e   na m e s   o f   n a t i o na l   r a c e s .   T IM E   i s   us e d  fo r   da t e s ,   m o n t h s   a n d  y e a r s .   N U M   t a g  i s   us e d  t o   i n di c a t e   n u m b e r   f o r m a t   i n   s e nt e n c e s .     E xa m pl e   a nn o t a t e d  s e n t e n c e s   a r e   de s c r i b e d  i n  F i gu r e   3 .   A n o t h e r   t a g  “ O ”   i s   us e d  t o   i ndi c a t e   w o r ds   w h i c h   a r e  n o t   pa rt   o f   a n y   de f i n e d  N E   t y pe s   i n   s e n t e n c e s .   T h e   s y m bo l   “ | ”   i s   us e d  t o   s e pa ra t e   t h e   b o un da r y   o f   e a c h   t a g .   F urt h e r,   t h e   de s c r i p t i o n  o f   de f i n e d  N E   t a gs   a n d   t h e i r  us a g e   i s   s h o w n   i n  T a b l e   1.   T a b l e   2  l i s t s   t h e   e nt i i t e s   di s t r i b ut i o n   i n   o u r   m a n u a l l y   a nn o t a t e d   N E   t a gge d  c o r p us .   T h e   o c c ur r e n c e   of   e a c h   de f i n e d  N E   t y pe   i n   t h e   a nn o t a t e d  t a gge d  c o r pus   i s   a l s o   s h o w n   i n   F i gu r e   4 .   It   i s   o b s e r v e d  t ha t   t h e   l o c a t i o n   e n t i t y   i s   t h e   m o s t   a ppe a r e d  e n t i t y   i n   t h e   c o r pus   w h i c h   i s   a b o ut   36%  o ut   o f   a l l   N E s .   T h e   r a c e   t y pe   i s   t h e   l e a s t   o c c ur r e d  e n t i t y   w h i c h   i s   l e s s   t h a n  5% .           F i gu r e   3 .   E xa m p l e   s e nt e n c e s   f r o m   M y a nm a r  N E   c o r pus       T a b l e   1 .   D e f i n e d   N E   t y pe s   a n d   t h e i r  us a ge   D e f i n e d   N E   T y p e s   E x a m p l e   U s a g e   P N A M E   ကက ယ ်စ င ်၊   အ   အ   မ ွန ် ၊     ဘ  မ     L O C   မမန ် မ   ၊   မ   စ ် ၊   ရန ် က န ် ၊   မ န တ အ   ၊   မ ံ ရ ွ     O RG   ရန ် က န ်က ွန ် ပ ျ တ   တ က က သ   ်၊   ရ   မ ဘ ဏ ်   RA CE   ဗမ   ၊   က ခ ျ င ်၊   ခ ျ င ် ၊   က  ရ   ယ     T IM E   န   ဝ င ်ဘ  ၊   တ အ     င ်မ န ် ၊   အ သ  ကက   ၊   ၁၅ . ၆ . ၂ ၀ ၁ ၉   NUM   ၅ ၆ ၇ ၊   ၁ ၀ ၀ ၀ ၊   ၃ . ၁၄     T a b l e   2 .  Co r pus   d a t a   s t a t i s t i c s   D a t a   T o t a l   N u m b e r   S e n t e n c e s   6 0 , 5 0 0   N u m b e r   o f  N E   1 7 4 , 1 3 3   P N A M E   3 5 , 4 0 5   L O C   6 3 , 4 9 2   O RG   1 9 , 7 4 0   RA CE   5 , 7 2 0   T IM E   2 9 , 4 7 2   NUM   2 , 0 3 0 4     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   2 ,  A p ri l   2020   :     1 5 4 4   -   1 5 5 1   1548       F i gu r e   4 .   O c c urr e n c e   o f   de f i n e d  N E   t y pe s   i n   M y a nm a r  N E   c o r pus       4.   EX P ER I M EN TA L  S E TU P   E xpe r i m e nt s   a r e   pe r f o r m e d  by   c o m pa r i ng  di f f e r e n t   n e ura l   m o de l s   o n   s y l l a b l e   l e v e l   t e xt   r a t h e r   t h a n  w o r d  l e v e l   a n d   t h e   pe r f o r m a n c e   r e s ul t s   a r e   c o m pa r e d  w i t h  b a s e l i n e   s t a t i s t i c a l   CR F   m o de l .   I n  o u r   n e u ra l   t r a i ni n g ,   w e   t r y   t o   i n v e s t i ga t e   v a ri o us   n e u ra l   n e t w o r k  a r c hi t e c t u r e s   t h a t   a ut o m a t i c a l l y   de t e c t   s y l l a b l e   a nd  c h a ra c t e r   l e v e l   fe a t u r e s   us i n g  b i di r e c t i o n a l   L o n g  S h o rt - T e rm   M e m o r y   ( L S T M )  [22],   Co n v o l ut i o n a l   N e ura l   N e t w o r k  (CN N )  a nd  a l s o   G a t e d  R e c urr e nt   U n i t   (G R U )  [ 23]  a r c hi t e c t u r e   t o   e l i m i n a t e   t h e   n e e d  fo r   m o s t   fe a t ur e   e n g i n e e r i ng.   B o t h   CN N   a n d  b i di r e c t i o n a l   L S T M   n e t w o r ks   ha v e   be e n   i n v e s t i ga t e d  f o r   m o de l i n g  c h a ra c t e r  l e v e l   i n f o r m a t i o n .   A s   i n f e r e n c e   l a y e r ,   CR F   i s   us e d  r a t h e r  t ha n   s o f t m a x   l a y e r .   W e   a l s o   c o n duc t e d  e xpe r i m e nt s   w i t h  s o f i m a x  i n f e r e n c e   l a y e r   b e fo r e   a ppl y i n g  C R F   a s   i n f e r e n c e   l a y e r .   H ow e ve r ,   t h e   pe r f o r m a n c e   r e s ul t s   w e r e   n o t   a s   go o d  a s   us i ng  CR F   a s   i n f e r e n c e   l a y e r .     4. 1 .     Tagg i n g  s c h e m e   In  o r de r   t o   c o n v e r t   t h e   N E R   p r o b l e m   i nt o   a   s e que n c e   l a b e l i n g   p r o b l e m ,   a   l a b e l   i s   a s s i g n e d  f o r   e a c h  t o ke n   (s y l l a b l e )  t o   i ndi c a t e   t h e   N E   i n  s e nt e n c e s .   W e   us e d  t h e   M y a n m a r   s y l l a b l e   s e gm e n t a t i o n   a l go r i t h m   “ s y l b r e a k”   o f   [24]  o n   s e nt e n c e s   f o r   t h e   s y l l a b l e   da t a   r e p r e s e n t a t i o n   a nd  s y l l a b l e - b a s e d  l a b e l i n g.     A s   t a g gi n g   s c h e m e ,   IO B E S   (I n s i de ,   O ut s i de ,   B e gi n,   E n d   a n d   S i n g l e )  s c h e m e   i s   us e d   f o r   a l l   t h e   e xpe r i m e nt s .     4. 2 .     N e u r al   tr a i n i n g   F o r   t h e   i m p l e m e n t a t i o n   o f   t h e   n e u ra l   n e t w o r k  m o de l   t r a i ni n g ,   w e   ut i l i z e d  t h e   P y T o r c h    f r a m e w o r k  [2 5 ]  w h i c h   p r o v i de s   f l e xi b l e   c h o i c e s   o f  f e a t ur e   i nput s   a n d  o ut put   s t r uc t u r e .   E xpe r i m e n t s   w e r e   r u n   o n   T e s l a   K8 0  G P U .   B a s e d  o n   di f f e r e n t   p a r a m e t e r   s e t t i n gs ,   t h e   t ra i ni n g  t i m e   f o r   e a c h   e xpe ri m e n t   i s   di f f e r e n t .   G i v e n   a   M y a n m a r   s e nt e n c e ,   s y l l a b l e   i s   t r e a t e d  a s   t h e   b a s i c   t r a i n i ng  u n i t   fo r   l a b e l   t a gg i n g .   I n   t h i s   n e u r a l   a r c hi t e c t u r e ,   t h e r e   a r e   t hr e e   m a i n   p a r t s :   c h a ra c t e r   s e que n c e   r e pr e s e nt a t i o n   l a y e r ,   s y l l a b l e   s e que n c e   r e p r e s e n t a t i o n   l a y e r   a nd  i n f e r e n c e   l a y e r .   F o r   e a c h   i n pu t   s y l l a b l e   s e que n c e ,   s y l l a b l e s   a r e   r e p r e s e n t e d  w i t h  s y l l a b l e   e m b e ddi n gs .   T h e   c ha r a c t e r   s e que n c e   l a y e r   i s   us e d  t o   a ut o m a t i c a l l y   e xt r a c t   s y l l a b l e   l e ve l   f e a t ur e s   by   e n c o di n g  t h e   c h a ra c t e r   s e que n c e   w i t h i n   t h e   s y l l a b l e .   W e   f i r s t l y   us e   CN N   t o   e n c o de   c h a ra c t e r - l e v e l   i n f o r m a t i o n   o f   a   s y l l a b l e   i nt o   i t s   c ha ra c t e r - l e v e l   r e pr e s e nt a t i o n.   S y l l a b l e   r e pr e s e nt a t i o n s   a r e   t h e   c o n c a t e n a t i o n  of   s y l l a b l e   e m be ddi n gs   a n d  c ha r a c t e r   s e que n c e   e n c o di n g  h i dde n  v e c t o r .   T h e n   t h e   s y l l a b l e   s e que n c e   l a y e r   t a ke s   t h e   s y l l a b l e   r e p r e s e n t a t i o n s   a s   i nput ;   f e e d  t h e m   i nt o   b i di r e c t i o n a l   L S T M   a n d   e xt ra c t s   t h e   s e n t e n c e   l e v e l   f e a t ur e s ,   w hi c h  a r e   f e d  i n t o   i n f e r e n c e   l a y e r   t o   a s s i g n   a   l a b e l   t o   e a c h  s y l l a b l e .   In s t e a d  o f   us i n g   t h e   s o f t m a x  o ut put   f r o m   t hi s   l a y e r ,   w e   us e   a   s e que n t i a l   CR F   t o   j o i n t l y   de c o de   l a be l s   fo r   t h e   w h o l e   s e n t e n c e   a s   CR F   c a n   t a ke   i nt o   a c c o un t   n e i g h b o uri n g  t a gs   s e e   F i gu r e   5 .   T h e   p r o po s e d  n e u r a l   a r c hi t e c t u r e   gi v e s   t h e   b e s t   pe r f o r m a n c e   a m o n g  a l l   o t h e r   a r c h i t e c t u r e s   t ha t   ha v e   be e n   c a rr i e d  o ut   du ri n g  e xpe r i m e nt s .   I t   w i l l   b e   r e f e r r e d   a s   CN N _B i L S T M _CR F   fo r   s h o r t   i n   t h e   f o l l ow i n g  s e c t i o n s .   L i ke w i s e ,   o t h e r   n e t w o r ks   a r c hi t e c t u r e s   w i l l   be   r e f e rr e d  i n  s h o rt   f o r m   i n  a c c o r da n c e   w i t h  t h e   a pp l i e d  n e t w o r k  f o r   e a c h  p a r t .   A s   t o   i n pu t   e m b e ddi n g  s e t t i n g ,   w e   a l s o   t r i e d  e xpe r i m e nt s   o n   us i n g  p r e - t r a i n e d  100 - d i m   o f  e m b e ddi n g  o n   s y l l a b l e   l e v e l   a n d  c ha ra c t e r   l e v e l   da t a ,   r e s pe c t i v e l y .   T h e   da t a   us e d  fo r   t r a i n i ng  t h e   s y l l a b l e   a nd  c h a ra c t e r   e m b e ddi n g  i n c l ude s   200K   s e n t e n c e s   i n   t o t a l .   H ow e ve r ,   p r e - t ra i n e d  e m b e ddi n g  d i d  n o t   pr o v i de   b e t t e r   r e s ul t s .   T hi s   m a y   b e   du e   t o  t h e   n o i s y   n a t u r e   o f   da t a .   T h e r e f o r e ,   da t a   c l e a ni n g  i s   n e c e s s a r y     b e fo r e   t ra i ni n g .   A s   t o   o pt i m i z a t i o n,   b o t h   t h e   s t o c ha s t i c   gra di e nt   de s c e n t   a l go r i t hm   (S G D )  a n d  A da m   a l go ri t hm   w e r e   t r i e d .   F o r   t h e   S G D ,   i t   w a s   pe r f o r m e d  w i t h   i ni t i a l   l e a rn i ng  ra t e   o f   0. 015  a n d  m o m e nt um   0 . 1 .   T h e   l e a rni n g  de c a y   r a t e   w a s   s e t   a s   0 . 05 .   F o r  t h e   A d a m   a l go ri t hm ,   t h e   i n i t i a l   l e a rni n g  ra t e   w a s   s e t   a s   0. 0 015 .     0% 5% 1 0 % 1 5 % 2 0 % 2 5 % 3 0 % 3 5 % 4 0 % P N A M E L O C O RG RAC E T IM E NUM O c c u r r e n c e   o f   e a c h   N E  i n   t h e   C o r p u s D e fi n e d   N E  Ty p e s Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       My anm ar   nam e d  e nt i t y   c or pus   and  i t s   us e   i n   s y l l ab l e - bas e d   ne ur al   nam e d  e nt i t y …   ( H s u  M y at   Mo )   1549   Bo t h   o pt i m i z a t i o n s   ha d  b a t c h   s i z e s   s e t   a s   10.   E a rl y   S t oppi n g  w a s   us e d  b a s e d  o n   t h e   pe r f o r m a n c e   o n   v a l i da t i o n  s e t s .   A   d r o po ut   o f   0. 5  w a s   s e t   fo r   b o t h   e m b e ddi n g  a n d  o ut pu t   l a y e r s   t o   m i t i g a t e   o v e r f i t t i n g   i n    t h e   t r a i n i n g  p r o c e s s .   T h e   hi dde n   di m e n s i o n   w a s   s e t   t o   200  i n   t h e   w h o l e   e xpe r i m e n t .   T h e   b e s t   a c c ur a n c y   ha ppe n s   a t   45   e po c h e s .           F i gu r e   5 .   T h e   a r c hi t e c t u r e   o f   n e u r a l   n e t w o r k  f o r   M y a nm a r  N E R       5.   EX P ER I M EN TA L  R ES U L TS   A N D   A N A L Y S I S   B e fo r e   s y l l a b l e - b a s e d  e xpe r i m e n t s ,   c h a ra c t e r - b a s e d  e xpe r i m e nt s   w e r e   a l s o   c o n duc t e d.     H ow e ve r ,   c h a ra c t e r - b a s e d  m o de l s   do   n o t   pe r f o r m   a s   w e l l   a s   s y l l a b l e - b a s e d  m o d e l s .   F o r   t h e   r e a s o n   t ha t   s y l l a b l e s   a s   i n put s   h o l d  m o r e   i n f o r m a t i o n   t h a n   i ndi v i du a l   c ha r a c t e r s   a s   i n pu t s ,   i t   i s   r e a s o na b l e   t ha t   s y l l a b l e - b a s e d  m o de l s   pe r fo r m   b e t t e r   t h a n   t h e   c ha r a c t e r - b a s e d  m o de l s .   W e   s e pa r a t e   o ur   N E   t a gge d  c o r pus   i n t o   10 - f o l d   fo r   a l l   e xpe r i m e n t s .   I n   T a b l e   3,   w e   l i s t e d  10 - fo l d  c r o s s   v a l i da t i o n   r e s ul t s   f r o m   t h e   be s t   n e ura l   a r c hi t e c t u r e   (CN N - B i L S T M - CR F )  a m o n g  d i f fe r e nt   n e u r a l   m o de l   s t r uc t u re s .   T h e   b e s t   o ut c o m e   a ppe a r s   w h e n   w e   r e l i e d  o n  a   CN N   m o de l   t o   l e a rn   c ha r a c t e r   f e a t u r e s   f i r s t   a n d  t h e n   c o n c a t e na t e d  i t   w i t h   t h e   s y l l a b l e s ’  e m b e ddi n gs   a s   t h e   i n pu t   o f   t o   t h e   b i di r e c t i o na l   L S T M   n e t w o r k  ra t h e r   t ha n   u t i l i z i n g  b i d i r e c t i o na l   L S T M   m o de l   t o   l e a rn  c h a ra c t e r  f e s t ur e s .   T h e   c ha ra c t e r   f e a t u r e s   l e a rn e d   f r o m   L S T M   i s   n o t   a s   go o d  a s   CN N   i n   o u r   e xpe ri m e nt s .   W h e n   t h e   G RU   i s   a ppl i e d  o n   s y l l a b l e ,   i t   m a ke s   t h e   F - s c o r e   v a l ue   dr o ps   c o n t i nuo us l y   a s   t h e   e poc h   i n c r e a s e s ,   w h i c h   i s   o ut   o f   o ur   e xpe c t a t i o n.   T h e   pe r f o r m a n c e   of   us i n g  S G D   o pt i m i z a t i o n   a l go r i t h m   i s   s l i g h t l y   w o r s e   t h a n  us i n g  A da m .   F r o m   t h e   e xpe r i m e n t s ,   i t   c a n   b e   s e e n   t h a t   CN N   pe r f o r m s   be t t e r   t ha n   o t h e r s   fo r   c h a r c t e r  s e que n c e   r e pr e s e n t a t i o n   l a y e r ,   b i di r e c t i o n a l   L S T M   i s   s ui t a b l e   fo r   s y l l a b l e   r e pr e s e nt a t i o n   l a y e r   a n d  CR F   w o r ks   b e t t e r   t ha n   s o f t m a x  i n  i n f e r e n c e   l a y e r .   T h e r e fo re ,   t h e   r e s u t   f r o m   T a b l e   3  i s   r e s ul t e d  f r o m   CN N - B i L S T M - CR F   m o de l   w h i c h  i s   t h e   b e s t   m o de l   a m o n g   a l l   e xpe r i m e n t s .       T a b l e   3 .   T h e   pe r f o r m a n c e   r e s ul t   of  10 - f o l d  c r o s s   v a l i da t i o n  ( CN N - B i L S T M - CR F )   N - fo l d   D e v   (P r e c i i o n / Re c a l l / F - s c o r e )   T e s t   (P r e c i i o n / Re c a l l /F - s c o r e )   1 - fo l d   9 0 . 3 5 / 8 9 . 6 5 / 9 0 . 0 0   9 4 . 3 4 / 9 4 . 1 9 / 9 4 . 2 7   2 - fo l d   8 6 . 4 3 / 8 6 . 2 9 / 8 6 . 3 6   9 2 . 5 7 / 9 2 . 2 8 / 9 2 . 4 2   3 - fo l d   8 8 . 9 8 / 8 8 . 9 0 / 8 8 . 9 4   9 4 . 7 4 / 9 4 . 2 2 / 9 4 . 4 8   4 - fo l d   9 0 . 8 0 / 8 8 . 7 7 / 8 9 . 7 7   8 9 . 9 2 / 8 7 . 8 5 / 8 8 . 8 7   5 - fo l d   9 0 . 7 3 / 9 0 . 5 6 / 9 0 . 6 5   9 0 . 4 4 / 8 8 . 8 8 / 8 9 . 6 5   6 - fo l d   9 1 . 3 9 / 8 9 . 7 2 / 9 0 . 5 5   9 0 . 0 9 / 8 8 . 2 3 / 8 9 . 1 5   7 - fo l d   9 0 . 6 8 / 8 8 . 6 5 / 8 9 . 6 5   9 1 . 4 7 / 9 0 . 9 7 / 9 1 . 2 2   8 - fo l d   8 9 . 4 4 / 8 8 . 9 3 / 8 9 . 1 9   9 4 . 7 2 / 9 4 . 7 9 / 9 4 . 7 1   9 - fo l d   9 0 . 2 8 / 8 8 . 2 8 / 8 9 . 2 7   8 9 . 6 9 / 8 7 . 9 6 / 8 8 . 8 1   10 - f o l d   9 1 . 3 8 / 9 0 . 6 7 / 9 1 . 0 2   9 0 . 1 9 / 8 8 . 5 9 / 8 9 . 3 8   A v e ra g e   9 0 . 0 5 / 8 9 . 0 4 / 8 9 . 5 4   9 1 . 8 2 / 9 0 . 8 0 / 9 1 . 3 0     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   2 ,  A p ri l   2020   :     1 5 4 4   -   1 5 5 1   1550   F o r   b a s e l i n e   CR F   t r a i n i ng,   a n   o pe n   s o u r c e   t oo l ki t   f o r   l i n e ra   c ha i n   CR F   [ 26 ]  w a s   ut i l i z e d.   W h e n   o n l y   us e d  t h e   t o ke n s   a nd  t h e i r  n e i g h b o ur i n g   c o n t e n t s   a s   f e a t u r e s   a n d  t h e   w i n do w   s i z e   w a s   s e t   a s   5,   F - s c o r e   of  86. 96 %  w a s   o b t a i n e d.   W h e n   a   s m a l l - s i z e d  na m e d  di c t i o n a r y   a nd  c l ue   w o r ds   l i s t   w a s   a dde d  a s   a d di t i o na l   f e a t ur e s ,   i t   m a de   t h e   F - s c o r e   h a v e   a r o und  2 . 4%  i n c r e a s e   (89. 36% ).   I t   s h o w s   t h a t   CR F   w o r ks   t h e   b e s t   w h e n  f e a t ur e   e n gi n e e r i n g   i s   w e l l   p r e pa r e d.   If   c o m pa r e d  t h e   r e s ul t s   i n   T a b l e   4,   w e   c a n   s e e   t h a t   n e u r a l   m o de l s   pe r f o r m   b e t t e r   t ha n   s t a t i s t i c a l   CR F   m o de l s .   By   c o m pa r i s o n,   s y l l a b l e - b a s e d  n e ur a l   m o de l s   w i t h o ut   a ddi t i o n a l   f e a t u r e   e n gi n e e ri n g  pe r f o r m   b e t t e r   t h a n  CR F   m o de l s .   S y l l a b l e - b a s e d  CR F   m o de l   w i t h   a ddi t i o na l   f e a t u r e   i s   a p p r o a c hi n g  t h e   r e s ul t s   o f   n e u ra l   m o de l s .   A l t h o ug h   t h e s e   e xpe r i m e n t s   g i v e   t h e   pr o m i s i n g  r e s ul t s ,   t h e   s i z e   of   da t a   us e d  f o r   n e ura l   n e t w o r k  m o de l   t ra i ni n g  i s   n o t   s o   b i g  c o m pa r e d  t o   o t h e r   N E   c o r p ra   of   o t h e r   l a n gu a ge s .   N o r m a l l y   m o r e   da t a   c a n   h e l p   n e u r a l   n e t w o r k  l e a rn   b e t t e r .   M o r e ov e r ,   due   t o   t i m e   a n d  d a t a   l i m i t ,   t h e   h y p e r - pa ra m e t e r s   us e d  i n   t h e   e xpe r i m e n t   m a y   be   n o t   t h e   b e s t .   T hi s   n e e ds   m o de l l i n g   e xpe r i e n c e s   a n d  a l s o   l a r ge   a m o u n t   o f   t r i a l   a n d   e rr o r  e xpe ri m e n t s   t o   de c i de .       T a b l e   4 .   T h e   pe r f o r m a n c e   c o m pa ri s o n   b e t w e e n   n e u ra l   s e que n c e   m o de l   a n d   b a s e l i n e   CR F   M o d e l   F - s c o r e   (1 0 - fo l d )   CN N - Bi L S T M - CR F   9 1 . 3 0   Bi L S T M - Bi L S T M - CR F   9 0 . 2 3   CRF   ( w i t h   a d d i t i o n a l   fe a t u re s )   8 9 . 3 6   CRF   8 6 . 9 6       6.   C O N C LU S I O N   In   t hi s   w o r k  w e   h a v e   de v e l o pe d  a   m a n u a l l y   a nn o t a t e d  N E   t a gge d  c o r pus   fo r   M y a n m a r   l a ngua ge   w i t h   t h e   i nt e n s i o n   o f   de ve l o pi n g  r e s o ur c e s   f o r   M y a n m a r   N L P   a n d  p r o v i di n g  r e s o ur c e   fo r   f ur t h e r   r e s e a r c h .   M o r e ov e r ,   w e   h a d  e xpl o r e d  t h e   e ff e c t i v e n e s s   of   n e ura l   n e t w o r k  o n   M y a n m a r   N E R   a n d  c o n duc t e d    a   s y s t e m a t i c   c o m pa ri s o n   b e t w e e n   n e u ra l   a pp r o a c h e s   a n d   t r a d i t i o na l   CR F   a pp r o a c h e s   o n   o ur  m a n ua l l y   a nn o t a t e d  N E   t a gge d  c o r pus .   E xpe r i m e nt   r e s ul t s   r e v e a l e d  t ha t   t h e   pe r f o r m a n c e   o f  n e ura l   n e t w o r ks   o n   M y a n m a r   N E R   i s   qui t e   pr o m i s i n g ,   b e c a us e   n e ur a l   m o de l s   di d  n o t   us e   a n y   h a n dc r a f t e d  fe a t u r e s   o r   a ddi t i o n a l   r e s o ur c e s .   M o r e o ve r ,   f r o m   t h e   e xpe ri m e nt s ,   i t   c a n  b e   s e e n   t ha t   n e u ra l   n e t w o r ks   w o r k  w e l l   o n   s y l l a b l e   l e ve l   da t a .   A l t h o ug h   o ur  N E   c o r pus   i s   n o t   s o   b i g,   n e u r a l   n e t w o r k  m o de l s   pr o duc e   b e t t e r   pe r f o r m a n c e   t ha n   CR F   m o de l s   fo r   M y a n m a r   N E R ,   w e   s t i l l   b e l i e v e   w i t h   m o r e   da t a   a n d   m o r e   e xpe r i m e nt s ,   n e ura l   n e t w o r ks   c a n  l e a rn  b e t t e r   s o  a s   t o  pr o duc e   be t t e r   r e s ul t s .   A n y w a y ,   t h i s   e xpl o ra t i o n   o f  us i n g  n e u r a l   n e t w o r ks   fo r   M y a n m a r   N E R   i s   t h e   f i r s t   w o r k  t o   a pp l y   n e ura l   n e t w o r ks   o n   M y a n m a r   l a n g ua g e .   It   s h o w e d  us   t ha t   b i di r e c t i o na l   L S T M   n e t w o r k  w i t h   CR F   de c o di n g  l a y e r   a b ove   o n   s y l l a b l e   l e ve l   da t a   j o i nt l y   w i t h   CN N   t o   e xt r a c t   c ha r a c t e r   f e a t ur e   c a n   f a c i l i t a t e   M y a n m a r   N E R .   W i t h  m o r e   da t a   a n d   m o r e   e xpe ri m e n t s ,   b e t t e r   r e s ul t s   w i l l   b e   r e po r t e d  i n   t h e   f ut u r e   a n d  w e   w i l l   ke e p  e xpl o r i n g   n e u ra l   n e t w o r ks   o n   o t h e r   M y a nm a r   N L P   w o r ks .       R EF ER EN C ES     [ 1]   X   T .   K i m   S a ng ,   e t   a l . ,   " I nt r o duc t i o n  t o   t h e   C o N L L - 2003  S ha r e d  T a s k:   L a ng ua g e - i nde pe nd e n t   N a m e d  E nt i t y   R e c og ni t i o n, "   i n  P r oc e e di ngs   of   t he   Se v e nt h  C onf e r e nc e   on  N at u r al   L a ngua ge   L e ar ni ng  a t   H L T - N A A C L   20 03,   v o l .   4,   pp .   142 - 14 7,   20 03 .   [ 2]   R .   G r i s hm a n ,   e t   a l . ,   " M e s s a g e   U nde r s t a n di ng   C o nf e r e nc e - 6:   A   B r i e f   H i s t o r y , "   i n  P r oc e e di ng   of   t he   16 th   C on f e r e nc e   on  C om put at i on al   L i ngu i s t i c s ,   v o l .   1 ,  pp.   4 66 - 471 ,   A ug us t   199 6.   [ 3]   A .   E kba l ,   e t   a l . ,   " D e v e l o pm e nt   o f   B e ng l i   N a m e d  E nt i t y   T a g g e d  C o r pus   a nd  i t s   U s e   i n   N E R   S y s t e m s , "   i n  T he   6 th   W or k s hop   on   A s i an   L a ngua ge   R e s our c e s ,   20 08 ,   J a n   200 8.   [ 4]   H .   Q uo c   N go ,   e t   al . ,   " B ui l d i ng   E ng l i s h - V i e t na m e s e   N a m e d  E n t i t y   C o r pus   w i t h  A l i g ne d  B i l i ng ua l   N e w s   A r t i c l e s " ,   i n  P r o c e e di ngs   o f   t he   F i f t h   W or k s ho p  on  Sou t h   and   S out he as t   A s i an   N at ur a l   L ang uage   P r oc e s s i n g ,   J a n   201 4.   [ 5]   H .   Y o ung gy un,   e t   al . ,   " N a m e d  E n t i t y   R e c og ni t i o n  C o r pus   C o ns t r u c t i o n  us i ng   W i ki pe d i a   a nd   D B pe d i a   O nt o l o gy , "   i n  P r oc e e di ng   o f   t he   N i nt h   I nt e r na t i ona l   C onf e r e nc e   on   L a ngu age   R e s our c e s   and   E v a l u at i on   ( L R E C - 2 014) ,   pp.   25 65 - 2569 ,   M a y   2014.   [ 6]   C .   W e be r   a nd  R .   V i e i r a ,   " B ui l d i ng   a   C o r pus   f o r   N a m e d  E nt i t y   R e c og ni t i o n  us i ng   P o r t ug ue s e   W i k i pe di a   a nd   D B pe di a , "   201 4.   [ 7]   R .   C o l l o be r t ,   e t   a l . ,   " N a t u r a l   L a ng ua g e   P r o c e s s i ng   ( A l m o s t )   f r o m   S c r t c h, "   J o ur n al   of   M a c h i ne   L e ar ni ng  R e s e ar c h,   v o l .   12,   p p.   24 93 - 2537 ,   201 1.   [ 8]   S .   M i s a w a ,   e t   al . ,   " C ha r a c t e r - ba s e d  B i di r e c t i o na l   L S T M - C R F   w i t h  w o r d s   a n d  c ha r a c t e r s   f o r   J a pe ne s e   N a m e d   E nt i t y   R e c og ni t i o n, "   i n  P or c e e di ng  of   t he   F i r s t   W or k s hop  on  S ubw or d  and  C har ac t e r   L e v e l   M ode l s   i n  N L P ,   A s s o c i a t i on   f o r   C om pu t a t i o na l   L i ng ui s t i c s ,   pp   97 - 10 2,   2 017 .   [ 9]   D .   B o na di m a n,   e t   a l . ,   " D e e p  N e u r a l   N e t w o r k s   f o r   N a m e d  E nt i t y   i n  I t a l i a n , "   i n  P r oc e e di ng  of   Se c on d  I t a l i a n  C onf e r e nc e   on   C om p ut a t i ona l   L i ngu i s t i c s   C L i C i t ,   D e c   2 015 .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       My anm ar   nam e d  e nt i t y   c or pus   and  i t s   us e   i n   s y l l ab l e - bas e d   ne ur al   nam e d  e nt i t y …   ( H s u  M y at   Mo )   1551   [ 10]   W .   W a ng ,   F .   B a o   a nd  G .   G a o ,   " M o ng o l i a n  N a m e d  E n t i t y   R e c og ni t i o n  w i t h  B i d i r e c t i o na l   R e c ur r e nt   N e ur a l   N e t w o r ks , "   2 016   I E E E   28 t h  I n t e r na t i ona l   C o nf e r e nc e   on  T oo l s   w i t h  A r t i f i c i al   I n t e l l i ge nc e   ( I C T A I ) ,  S a n   J o s e ,   C A ,   2016 ,   pp.   4 95 - 500 .   [ 11]   L .   T .   A nh,   e t   a l . ,   " A ppl i c a t i o n  o f   a   H y br i d  B i - L S T M - C R F   m o de l   t o   t h e   t a s k  o f   R us s i a n  N a m e d   E n t i t y   R e c og ni t i o n, "   i n  A r t i f i c i a l   I n t e l l i ge nc e   a nd  N at ur a l   L ang uage   C o nf e r e nc e   ( A I N L   201 7) ,   2017 .   [ 12]   L i s hua ng   L i ,   L i u ke   J i n,   Z he nc ha o   J i a ng ,   D i ng xi n  S o ng   a nd  D e g e n  H ua ng ,   " B i o m e di c a l   na m e d  e nt i t y   r e c og ni t i o n  ba s e d  o n  e xt e nde d  R e c ur r e n t   N e u r a l   N e t w o r k s , "   2015  I E E E   I nt e r nat i ona l   C on f e r e nc e   on  B i o i nf or m a t i c s   a nd   B i om e di c i ne   ( B I B M ) ,   W a s hi ng t o n,   D C ,   2 015 ,   pp .   6 49 - 652 .   [ 13]   A .   J i m e no   Y e pe s   a nd  A .   M a c k i nl a y ,   " N E R   f o r   M e d i c a l   E n t i t i e s   i n  T w i t t e r   us i ng   S e q ue nc e   t o   S e que nc e   N e u r a l   N e t w o r ks , "   i n  P r oc e e di ngs   o f   t he   A us t r a l as i a n  L an guage   T e c hnol ogy   A s s oc i at i on   W or k s ho p  ( A L T A   2 016) ,    pp.   13 8 - 142,   2 016 .   [ 14]   N .   L i m s o pa t ha m   a nd   N .   C o l l i e r ,   " B i d i r e c t i o na l   L S T M   f o r   N a m e d  E n t i t y   R e c o g ni t i o n  i n   T w i t t e r   M e s s a g e s , "   i n   P r oc e e di ngs   o f   t he   2 nd   W or k s hop   on   N o i s y   U s e r - ge ne r at e d   T e x t ,   pp.   145 - 15 2,   20 16 .   [ 15]   Z .   Z he h ua n ,   e t   al . ,   " M L - C N N :   a   nov e l   de e p  l e a r n i ng   ba s e d  di s e a s e   na m e d  e n t i t y   r e c og ni t i o n  a r c hi t e c t u r e , "   i n  I E E E   I nt e r n at i on al   C on f e r e nc e   on   B i oi n f o r m at i c s   and   B i om e di c i ne   ( B I B M ) ,   201 5.     [ 16]   T .   T hi   S w e   a nd  H .   H l a   H t a y ,   " A   H y br i d  M e t ho d  f o r   M y a nm a r   N a m e d  E nt i t y   I de nt i f i c a t i o n  a nd  T r a n s l i t e r a t i o n  i n t o   E ng l i s h , "   i n   Se v e nt h   I nt e r n at i ona l   C on f e r e nc e   on   L ang uage   R e s o ur c e s   an d  E v al ua t i o n,   L R E C   20 10 ,   2 010 .   [ 17]   T .   M y i nt   a nd   A .   T h i d a ,   " N a m e d   E n t i t y   R e c og ni t i o n  a nd   T r a ns l i t e r a t i o n  i n  M y a nm a r   T e xt , " ,   20 14 .   [ 18]   H .   M y a t   M o ,   e t   a l . ,   " C R F - B a s e d  N e a m e d  E n t i t y   R e c o g ni t i o n  f o r   M y a na m r   L a ng ua g e , "   i n  G e ne t i c   and   E v ol ut i ona r y   C om pu t i n g,   I C G E C   2 016 ,   A d v an c e s   i n  I n t e l l i ge n t   Sy s t e m s   a nd  C om put i ng ,   v o l .   5 36,     pp.   20 4 - 211,   2 016 .   [ 19]   H .   M y a t   M o ,   e t   a l . ,   " E xp l o r i ng   F e a t ur e s   f o r   M y a nm a r   N a m e d  E nt i t y   R e c og ni t i o n, "   i n  P r oc e e di ng   of   15 th   I nt e r n at i on al   C on f e r e nc e   on   C om pu t e r   A pp l i c at i on   ( I C C A 2 017) ,   pp .   429 - 433 ,   201 7.   [ 20]   Z .   M .   M a ung   a nd  Y .   M i k a m i ,   " A   r ul e - ba s e d   S y l l a bl e   S e g m e n t a t i o n  o f   M y a nm a r   T e xt , "   i n  P r oc e e di ngs   of   t he   I J C N L P - 08   on   N L P   f o r   L e s s   P r i v i l e ge d  L an gua ge s ,   pp   51 - 58 ,   2 008.   [ 21]   T .   H .   H l a i ng   a nd  Y .   M i k a m i ,   " A ut o m a t i c   S y l l a b l e   S e g m e n t a t i o n  o f   M y a nm a r   T e xt s   us i ng   F i n i t e   S t a t e   T r a n s duc e r , "   I nt e r n at i on al   J o ur n al   on   A d v anc e s   i n  I C T   f o r   E m e r gi n g  R e g i ons   ( I C T e r ) ,   v o l . 6( 2 ) ,   J ul y   2014 .   [ 22]   S .   H o c hr e i t e r   a nd  J .   S c hm i d hub e r ,   " L o n g   S ho r t - T e r m   M e m o r y , "   i n  N e ur al   C om pu t a t i on ,   v o l .   9 ( 8) ,     pp.   17 35 - 1780 ,   N o v   1997.   [ 23]   C .   J uny o un g   e t   al . ,   " E m pi r i c a l   E v a l ua t i o n  o f   G a t e d  R e c ur r e nt   N e u r a l   N e t w o r ks   o n  S e qu e nc e   M o de l i ng , "   i n  N I P S   2014   D e e p  L e ar ni n g  and   R e pr e s e nt a t i o n  L e ar ni ng  W or k s hop ,   201 4 .   [ 24]   Y .   K .   T h u,   " S y l l a b l e   S e g m e n t a t i o n  t o o l   f o r   M y a nm a r   L a ng ua g e   ( B ur m e s e ) , "   20 17 .   ht t p s : / / g i t hu b. c o m / y e - k y a w - t hu / s y l br e a k .    [ 25]   J .   Y a ng ,   e t   al . ,   20 17 .   ht t ps : / / g i t hub . c o m / p y t o r c h/ p y t o r c h .   [ 26]   Y .   K u do ,   " C R F + + :   Y e t   a no t he r   C R F   T o o l ki t , "   20 05.   h t t ps : / / c r f pp. s o ur c e f o r g e . ne t .        B I O G R A P H I ES   O F   A U T H O R S         H s u   M y at   M o   go t   he r   B . C . S c   ( H o ns )   i n  2010 ,   f o l l o w e d  by   M . C . S c   ( C r e d i t : )   i n  2 012 ,   r e s pe c t i v e l y .   C ur r e n t l y   s he   i s   do i ng   he r   P h. D   r e s e a r c h  f oc us i ng   on  M y a nm a r   N E R   i n  N a t ur a l   L a ng ua g e   P r o c e s s i ng   L a b,   a t   t h e   U n i v e r s i t y   of   C o m put e r   S t ud i e s ,   Y a ng o n.         D r .   K h i n   M ar   S o e   g o t   P h. D ( I T )   i n  200 5.   C u r r e n t l y   s he   i s   w o r ki n g   a s   a   P r o f e s s o r   a nd  a l s o   t he   H e a d  o f   N a t ur a l   L a ng ua g e   P r o c e s s i ng   L a b,   a t   t he   U ni v e r s i t y   o f   C om put e r   S t ud i e s ,   Y a ng o n.   S he   ha s   b e e n  s upe r v i s i ng   M a s t e r   t he s i s   a nd  P h . D   r e s e a r c he s   o n  N a t u r a l   L a ng ua g e   P r o c e s s i ng .   M o r e o v e r ,   s h e   pa r t i c i pa t e d  i n  t he   pr o j e c t   o f   A S E A N   M T ,   t he   m a c hi ne   t r a ns l a t i o n  pr o j e c t   f o r   S o ut h  E a s t   A s i a n  l a ng ua g e s .         Evaluation Warning : The document was created with Spire.PDF for Python.