I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   13 ,   No .   4 ,  Dec em b er   2 0 2 4 ,   p p .   4 9 6 5 ~ 4 9 7 5   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 13 .i 4 . p p 4 9 6 5 - 4 9 7 5          4965     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   M a la y   ph o neme - ba sed subwo rd n e ws hea dline gen er a tor for  lo w - reso urce lang ua g e       Yeo ng   T s a nn   P h ua 1, 2 ,  K wa ng   H o o i   Yew 1 ,  M o hd   F a dzil H a s s a n 1 ,   M a t t hew  T eo w  Yo k   Wo o i 3   1 D e p a r t me n t   o f   C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e ,  U n i v e r s i t i   T e k n o l o g i   P ETR O N A S ,   S e r i   I sk a n d a r ,  M a l a y si a   2 S c h o o l   o f   D i p l o m a   S t u d i e s,  Ta y l o r ’ s  C o l l e g e ,   S u b a n g   Ja y a ,   M a l a y si a   3 U n i v e r s i t y   P a r t n e r sh i p   ( C o v e n t r y   U n i v e r si t y ) ,   P S B   A c a d e m y ,   R a f f l e s ,   S i n g a p o r e       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   18 ,  2 0 2 3   R ev is ed   May   1 7 ,  2 0 2 4   Acc ep ted   J u n   1 ,  2 0 2 4       Th e   b o o m i n g   o f  tec h n o lo g y   h a s  sig n ifi c a n t ly   in c re a se d   th e   a m o u n t  o f  n e ws   a rti c les   fo r  re a d e rs.   Th e   h e a d li n e   o f  n e ws   p lay s   a n   e ss e n ti a l  r o le  i n   a tt ra c ti n g   re a d e rs.  Trad it io n a ll y ,   c ra fti n g   th e   n e ws   h e a d li n e   is  a   m a n u a l  tas k   a t  th e   n e ws   d e sk .   Th e   m o ti v a ti o n   o f  th is  p a p e r  is  to   a d d re ss   th e   issu e s  fa c e d   in   lo w - re so u rc e   lan g u a g e s,  su c h   a s  th e   M a lay   lan g u a g e .   T h e   m a in   c o n tri b u t io n   o f  t h is   p a p e r  is  a   n e w  h y b r id   m o d e l  b a s e d   o n   e x trac ti v e -   a n d   a b stra c ti v e - b a se d   tex t   su m m a riza ti o n   with   t h e   in teg ra ti o n   o f  a   g e o g ra p h ica l  li n g u isti c s  m o d e l;   a   M a lay   p h o n e m e - b a se d   su b wo r d   e m b e d d i n g   h a s  b e e n   d e v e lo p e d   t o   so lv e   t h e   c o m p lex   m o r p h o l o g ica l  issu e   i n   th e   M a lay   lan g u a g e - b a se d   c o m p u tati o n a l   li n g u isti c   a p p li c a ti o n s.   T h e   e x p e rime n t  i n v o lv e s  v a rio u s  se q u e n c e - to - se q u e n c e   ( s e q 2 se q )  m o d e ls  to   g e n e ra te  th e   M a lay   n e ws   h e a d li n e s .   Be sid e s   th a t,   t h e   o u t - of - v o c a b u lary   (OO V)  is  a ss e ss e d   in   th e   m o d e ls.   F ro m   th e   e x p e rime n t,   t h e   p ro p o se d   h y b ri d   t e x t  su m m a riza ti o n   m o d e l  s h o ws   s ig n ifi c a n t   imp ro v e m e n t  o v e r  th e   b a se li n e   m o d e ls  a b o v e   1 1 . 0 0   in   ROU G E - 1 ,   4 . 0 0   ROU G E - 2 ,   a n d   1 1 . 0 0   in   ROU G E - L.   T h e   p ro p o se d   m o d e l  c a n   re d u c e   th e   OO V  ra te   to   b e l o w 1 5 % .     K ey w o r d s :   L o w - r eso u r ce   la n g u a g e   Ma lay   lan g u ag e   Natu r al  lan g u ag e   p r o ce s s in g   New s   h ea d lin e  g en er ato r   Su b wo r d   em b ed d i n g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Yeo n g   T s an n   Ph u a   Dep ar tm en t o f   C o m p u ter   a n d   I n f o r m atio n   Scien ce ,   Un i v er s iti T ek n o lo g i PE T R ONAS   Ser i I s k an d ar ,   Per a k   Dar u l Ri d zu an   3 2 6 1 0 ,   Ma lay s ia   E m ail: y eo n g _ 1 7 0 0 8 2 5 6 @ u tp . ed u . m y       1.   I NT RO D UCT I O N   I n   th e   wo r l d   o f   j o u r n alis m ,   n e ws h ea d lin es ser v e   as th e   ag en ts   to   p r o v id e   th e   ess en ce   o f   n e ws  ar ticles  [ 1 ] .   T h e   h ea d lin e   p la y s   a   p iv o tal  r o le   in   p r o v id in g   th e   m a in   p o i n t  o f   t h e  n ews  s to r y   wh ile  attr ac tin g   an d   m o tiv atin g   r ea d er s   t o   ex p lo r e   th e  n ews  co n ten t   f u r t h er .   M o r eo v e r ,   a   well - cr af ted   h ea d li n e  will  r ed u ce   th e   r ea d er ’ s   co g n itiv e  b u r d en   wh ile  r ea d in g   th e  n ews  [ 2 ] .   T h e r ef o r e,   co n s tr u ctin g   ef f icie n t  an d   ac cu r ate  n ews   h ea d lin es  is   a   cr u cial   jo u r n alis tic  s k ill  b ec au s e  it   s h ap es  h o w   th e  n ews  is   co n s u m ed ,   s h ar ed ,   an d   p e r ce iv ed   b y   th e  au d ien ce .   Ho we v er ,   in   th e  cu r r en t  f ast - p ac e d   n ews  en v ir o n m en t,  jo u r n al is ts   an d   ed it o r s   o f ten   f ac e  tim e   co n s tr ain ts .   Un d er   th ese  cir cu m s tan ce s ,   au to m atic  n ews  h ea d lin e  g en er atio n   ( NHG)   s y s te m s   h elp   to   s tr ea m lin e  th e  p r o ce s s   an d   s av e  tim e  as   w ell  as  r e s o u r ce s   b y   q u ick ly   p r o d u cin g   h ea d lin es  b ased   o n   th e  co n ten t  o f   th e  n ews  s to r y.     T h e  NHG  is   co n s id er ed   a  ty p e  o f   tex t  s u m m ar izatio n .   T ex t   s u m m ar izatio n   ca n   o cc u r   f o r   b o th   s in g le  o r   m u ltip le  d o cu m en ts   [ 3 ] .   Gen er ally ,   th er e   ar e  two   a p p r o ac h es  ad o p ted   in   NHG,   th e  ex tr ac tiv e  an d   th e   ab s tr ac tiv e  ap p r o ac h es [ 4 ] .   B o th   ap p r o ac h es a im   to   p r o d u c e  s h o r t y et  ac cu r ate  h ea d lin es th at  co n v ey   th e  m ain   id ea   o f   th e   n ews  co n ten t.   T h e   ex tr ac tiv e   ap p r o ac h   aim s   at   s ev er al  im p o r tan t   s en ten ce s   an d   ap p lies   s en ten ce   co m p r ess io n   tech n iq u es  to   p r o d u ce   th e  h ea d lin e  [ 4 ] .   Du e  to   th e  r eu s e  o f   co n ten t  wo r d s   in   th e  h ea d lin e,   d is to r tio n   o f   m ea n in g   will  o c cu r   in   th e  h ea d lin e  p r o d u ce d   [ 5 ] .   T h e  a b s tr ac tiv e  ap p r o ac h   ap p lies   ad v an ce d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 9 6 5 - 4 9 7 5   4966   n atu r al  lan g u a g e  p r o ce s s in g   ( NL P)  tech n iq u es  to   p r o d u ce   th e  h ea d lin e.   So m e  o f   th es e  tech n iq u es  allo w   p ar ap h r asin g ,   s y n o n y m o u s   s u b s titu tio n s ,   an d   s en ten ce   c o n t r ac tio n s   [ 6 ] .   T h e  n eu r al   n etw o r k - b ased   atten tio n   m ec h an is m   en co d er - d ec o d er   m o d els [ 7 ]   h av e  d em o n s t r ated   im p r ess iv e  r esu lts   s u ch   as  in   [ 8 ] ,   [ 9 ] .   As  NHG  b ec o m es  a n   im p o r ta n t  task   in   NL P   [ 6 ] ,   r esear ch   o n   an d   d ev elo p m en t o f   th e   s y s tem s   m ain ly   f o cu s ed   o n   co m m o n l y   s p o k en   lan g u a g es  s u ch   as  E n g lis h ,   w h ile  o v er lo o k in g   lo w  r eso u r ce   lan g u a g es  ( L R L ) .   Mo s t  o f   th e  s tate - of - th e - ar t  a p p r o ac h es  in   NHG  wer e  ab le  to   p r o d u ce   im p r ess iv e  r esu lts   with   tr ain i n g   u s in g   lar g e  d atasets   s u ch   as  Gig awo r d ,   wh ich   is   in   E n g lis h   [ 1 0 ] ,   [ 1 1 ] .   I n   co n tr ast,  L R L ,   lik e  m a n y   Asi an   lan g u ag es  in clu d in g   th e   Ma lay   lan g u ag e,   ar e   o f ten   o v er lo o k ed   b ec a u s e  th ey   lack   lin g u is tic  r eso u r ce s   s u ch   as  p ar t   o f   s p ee ch   ( POS)  tag g er s   an d   co r p o r a  [ 1 2 ]   T h e  lim ited   av ailab ilit y   o f   L R L   d ataset  h as  led   t o   ch allen g es  in   th e   d ev elo p m e n t  o f   au to m atic  h ea d lin e  g en er atio n   s p ec if ical ly   tailo r ed   f o r   L R L .   T h is   s itu atio n   is   f u r th er   co m p licated   b y   th e  Ma lay   lan g u ag e ’ s   r ich   m o r p h o lo g ical  s tr u ctu r e,   wh ich   o f ten   r esu lts   in   a  h ig h   o u t - of - v o ca b u lar y   ( OOV)   r ate  wh en   t r ad itio n al  wo r d   e m b ed d in g   m e th o d s   ar e  em p lo y ed .   T o   n av ig ate  th ese  o b s tacle s ,   th is   s tu d y   in tr o d u ce s   a  Ma lay   s alien t  s en ten ce   ex tr ac to r   th at  lev er ag es  s en ten ce   e x tr ac t io n   m eth o d s   to   d is till   ess en tial c o n ten t,  th er eb y   s tr ea m lin in g   b o th   th e  m o d el  tr ain i n g   p r o ce s s   an d   th e  h ea d lin e  g en er atio n   task .   I n   r esp o n s e  to   th e  lim itatio n s   im p o s ed   b y   th e  a v ailab ilit y   o f   r eso u r ce s   an d   th e   in tr in s ic   lan g u a g e  f ea tu r es,  th e   au th o r s   p r o p o s e d   a  s eq u en ce - to - s eq u en ce   ( s e q 2 s eq )   d ee p   lear n in g - b ased   m o d el  n am ed   Ma lay   s alien t  ab s tr ac tiv e  s u m m ar izer   ( MSAS) .   I t  is   b eliev ed   th at  in n o v ativ e  a p p r o ac h es  to   N HG  f o r   th e  Ma lay   lan g u ag e  ca n   o f f er   p r o m is in g   s o lu tio n s .   T h is   r esear ch   ad o p ts   a  h y b r id   s eq 2 s eq   ap p r o ac h   o f   ex tr ac tiv e  an d   ab s tr ac tiv e  m eth o d s   tailo r e d   t o   th e  Ma lay   lin g u is tic  co n tex t .   T h e  Ma lay   p h o n em e - b ased   s u b wo r d   em b ed d in g   h as  b ee n   em p lo y e d   to   ef f ec tiv ely   ad d r ess   th e  p er v asiv e  OO V  is s u e  [ 1 3 ] ,   s u b s tan tially   r ed u cin g   th e  em b e d d in g   lay er ’ s   v o ca b u lar y   s ize  with o u t  co m p r o m is in g   t h e  m o d el' s   lin g u is tic  co m p r eh e n s io n   [ 1 4 ] .   T h r o u g h   th ese  m eth o d o l o g ical  ad v an ce m en ts ,   th is   s tu d y   n o t  o n ly   co n tr ib u te s   to   th e  b o d y   o f   k n o wled g e  in   NL P  b u t  also   o f f er s   p r ac tical  s o lu tio n s   f o r   a u to m at ed   h ea d lin e  g en er ati o n   in   th e  c o n tex t  o f   L R L .   T h e  ex p er im en t  is   co n d u cted   u s in g   a  d ataset  o f   4 5 , 0 0 0   Ma lay   lan g u ag e  n ews sto r ies an d   th eir   h ea d lin es.   T h e  r el ate d   wo r k   is   d esc r i b e d   i n   s e cti o n   2 .   Se cti o n   3   p r o v i d es   th e  p r o p o s e d   MS AS  m o d e l  a r ch i te ct u r e.   T h e  e x p e r i m e n t  s et u p ,   ex ec u t i o n ,   an d   r es u l t  a r e   d is c u s s e d   i n   s ec ti o n   4 .   T h e  c o n cl u s i o n   is   p r ese n te d   i n   s ec t io n   5.       2.   RE L AT E D  WO RK   A  g o o d   n ews  h ea d lin e  is   ab le   to   co n v ey   a   co n cise  s u m m a r y   o f   th e   n ews  ar ticle  [ 1 5 ] ,   [ 1 6 ]   a n d   attr ac t   r ea d er s ’   atten tio n .   T h e  p r o ce s s   o f   au to m atic   h ea d lin e   g e n er ati o n   h as  b ee n   a   r esear ch   f o cu s   in   NL P.  T h is   s ec tio n   will p r esen t th e  p r ev io u s   wo r k   o n   NHG  an d   t h e  Ma lay   lan g u ag e  NHG.     2 . 1 .     New s   hea dli ne  g ener a t io n   I n   t h e   e ar ly   y e ar s ,   Gatt a n i   [ 1 7 ]   c ate g o r iz ed   NH G  i n t o   th r e e  b r o a d   ap p r o ac h es:  r u le d - b ase d ,     s tatis t ics - b ase d ,   a n d   s u m m ar i z ati o n - b as ed .   T h e  r u le - b as ed   a p p r o ac h   d et ec ts   a n d   co m p r ess es   im p o r ta n t  p a r ts   o f   an   ar t icl e   u s i n g   h a n d c r a f t e d   li n g u is tic al   r u les   s u c h   as   h ed g e   tr i m m er   [ 1 6 ] .   E v e n   t h o u g h   t h i s   a p p r o ac h   is   s i m p le   y et   l ig h t wei g h t ,   i t  is   n o t  ab le   t o   d is c o v e r   t h e   c o m p l e x   r el ati o n s h i p s   in   t h e   t ex t.   He n ce ,   t h e  m es s ag e  i n   t h e   h ea d l in e   d e v i ates   f r o m   th e  o r i g i n al   c o n ten t  [ 1 8 ] .   Me a n w h ile ,   th e  s t ati s tica l - b as e d   a p p r o ac h   u s es  s ta tis tic al  m e th o d s   t o   d is c o v e r   th e  c o r r e lat io n   b etw ee n   t h e  w o r d s   i n   th e  h ea d li n es   a n d   i n   t h e   n ews  c o n te n t .   S o m e  o f   th e   e ar ly   a d o p ti o n s   o f   t h is   a p p r o ac h   ar e  n aï v e  B a y e s   [ 1 0 ]   an d   u n s u p er v is e d   t o p ic  d is co v er y   ( U T D )   b y   Do r r   e t  a l.   [ 1 9 ] .   T h e  wea k n ess   o f   th ese  m o d els  is   th e  lar g e   tr ai n in g   d ataset  r eq u ir em e n t.  On   th e  o th er   h an d ,   th e   s u m m ar izati o n - b ased   ap p r o ac h   r eg ar d s   h ea d lin es  as  v er y   s h o r t   s u m m ar ies  o f   c o n ten t.   T r ad iti o n al  tex t  s u m m a r izatio n   a p p r o ac h es  wer e  ad o p ted   to   p r o d u ce   a  o n e - lin e  s en ten c e  th at  ca n   b e  r e g ar d e d   as  a  h e ad lin e  [ 2 0 ] .   T h is   ap p r o ac h   r eq u ir es  m u ltip le  s tep s   o r   co m b in ed   s tep s   o f   s en ten ce   s elec tio n   an d   co m p r ess io n .   T h e  wea k n ess   o f   th e  ap p r o ac h   is   th at  th e  co m p r ess io n   ap p r o ac h   is   n o t  s u itab le  f o r   p r o d u cin g   h ea d li n es  th at  ar e  o n ly   1 0 %  o r   less   th an   th e  o r ig in al  n ews  ar ticles.   B esid es th at,   th e  o u tp u t m ay   f ac e  co n tex tu al  d is to r tio n   d u e  t o   th e  r eu s ed   wo r d s .   L ater ,   th e  NHG  h as  b ee n   r e - ca teg o r ized   in to   e x tr ac tiv e  an d   ab s tr ac tiv e  ap p r o ac h es  [ 3 ] .   B o th   th e    r u le - b ased   an d   s tatis tical - b ase d   f all  in to   th e  ex tr ac tiv e  ap p r o ac h .   T h e  ab s tr ac tiv e  ap p r o ac h ,   h o wev er ,   is   ab le  to   m ain tain   an d   f o cu s   o n   th e   m a in   id ea   o f   th e  n ews  wh en   g en er atin g   th e  h ea d lin e  [ 2 1 ] .   T h e   g en er ated   h ea d lin e   m ay   n o t  co n tain   wo r d s   o r   r e d u n d an t  wo r d s   f r o m   th e  o r ig in al  n ews  ar ticle,   wh ich   is   a  co m m o n   is s u e  f ac ed   in   th e  ex tr ac tiv e  ap p r o ac h .   Sen te n ce   f u s io n   o r   s en te n ce   co m p r e s s io n   tech n iq u es  ar e  s o m e  o f   t h e  ea r ly   ad o p tio n s   o f   ab s tr ac tiv e  m eth o d s .   T h e   m ain   is s u e  f ac ed   b y   th ese  ap p r o ac h es  is   th e  g en er ated   h ea d lin es  w er e  n o t  ab le  to   co n v ey   th e  m ain   i d ea   o f   t h e  n e ws an d   wer e  v er y   lack in g   in   g r am m atica l stru ctu r e.   T h e  d ee p   lear n in g - b ased   a p p r o ac h   with   th e   ad o p tio n   o f   s eq 2 s eq   h as  s h o wn   its   s u cc ess   in   tex t  s u m m ar izatio n   [ 2 2 ] .   T h is   m o d el  co n s is ts   o f   th e  en co d er - d ec o d er   ar ch itectu r e  [ 8 ] ,   [ 9 ] .   T h e  en co d er   will  co m p u te   th e  h id d en   s tate  o f   ea ch   wo r d   s eq u en ce   an d   th e  d ec o d e r   will  ca lcu late  th e  p r o b ab ilit y   o f   ea ch   wo r d   in   th e   v o ca b u lar y   to   g en er ate  th e   o u t p u t seq u en ce .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma la y  p h o n eme - b a s ed   s u b w o r d   n ews   h ea d lin e  g en era to r   fo r   lo w - r eso u r ce   la n g u a g e   ( Yeo n g   Ts a n n   P h u a )   4967   2 . 2 .     L o w - re s o urce   la ng ua g e   L R L   ar e  also   k n o wn   as u n d er - r eso u r ce d   lan g u a g es.  I n   NL P,  th ese  ar e  r e f er r ed   as lan g u ag es   th at  h a v e   lim ited   r ea d ily   av ailab le  lin g u is tic - r elate d   m ater ials   an d /o r   d i g ital  d ata.   Usu ally ,   s u ch   lan g u ag es  f ac e   ch allen g es,  in clu d in g   lim ited   lex ical  r eso u r ce s   an d   s p a r s e  c o r p o r a.   I n   th is   r esear ch ,   th e   f o c u s   is   o n   th e   Ma lay   lan g u ag e.   T h e  Ma lay   lan g u ag e  is   a  lan g u ag e  u n d er   Nu s an ta r a  in   th e  Au s tr o n esia  lan g u ag e  f am ily   [ 2 3 ] ,   [ 2 4 ] .  Gen er ally ,   th is   lan g u ag e  h as  m o r e  th an   2 9 0   m illi o n   n ativ e   s p ea k er s   [ 2 4 ] .   I n   th e  ar ea   o f   NL P,  th e  r esear ch   ac tiv ities   in v o lv in g   th e  Ma lay   lan g u ag e   ar e  v er y   lim ited .   I n   t h e  ar ea   o f   tex t  s u m m ar izatio n   an d   NHG,   m o s t  o f   th e  r esear ch   m ain ly   in v o l v es  p r iv ate  d atasets   f o r   ex p er im en ts .   T h e  m ain   s o u r ce s   o f   t h e  n e ws  ar e  f r o m   B er ita   Har ian   [ 2 5 ] ,  [ 2 6 ] ,   Utu s an   Ma lay s ia  [ 2 5 ] ,  [ 2 6 ] ,   an d   B er n am a   [ 2 5 ] ‒ [ 2 7 ] .   Gen er ally ,   th er e   ar e  n o   r ea d ily   p u b lic   d atasets   av ailab le.     2 . 3 .     Rec urre nt  neura l net wo rk   As  a  class   o f   ar tific ial  n eu r al   n etwo r k s   ( ANN) ,  r ec u r r en t  n eu r al  n etwo r k s   ( R NNs)  ar e  ca p ab le  o f   p r o ce s s in g   s eq u en tial  d ata  b y   m ain tain in g   a   h id d e n   s tate  th a t  ca p tu r es  in f o r m atio n   f r o m   p r ev io u s   in p u ts .   T h e  n atu r e  o f   th is   d esig n   m a k es  R NN  s u itab le  f o r   s eq u en tial  tas k s   in   tex t  g en er atio n   [ 2 8 ] .   T h er ef o r e,   in   s eq 2 s eq   ar ch itectu r es,  R NNs  ar e  u s ed   i n   b o th   e n co d e r   an d   d ec o d e r   to   ca p tu r e  t h e  s eq u e n tial  in f o r m a tio n   f r o m   i n p u t   an d   g en er ate  o u tp u t in   s eq u en ce .   T h e  co m m o n   R NN  ar ch itectu r es in clu d e  b asic RNN,  lo n g   s h o r t - ter m   m em o r y   ( L STM ) ,   b i d ir ec tio n al  lo n g   s h o r t - ter m   m em o r y   ( B iLST M) ,   an d   g ated   r ec u r r e n t  u n it  ( GR U) .   T h e  b asic  R N N  is   also   ca lled   v an illa  R NN.   I t  wo r k s   b y   s to r in g   an d   u p d atin g   t h e  h i d d en   s tate  at  ea ch   tim e  s tep .   Ho wev er ,   it  h as  a  wea k n ess   in   h an d lin g   lo n g - ter m   d e p en d e n cies  [ 2 9 ] .   T h e   L STM   is   co n s i d er ed   an   ad v a n ce d   v ar ian t   o f   v an illa  R NN.   I t  is   d esig n ed   to   o v er c o m e  th e  is s u e  o f   lo n g - ter m   d ep e n d en cies   [ 3 0 ] .   T h e  L STM   ce ll  h as  th r ee   g ates,  th e  in p u t,   o u tp u t,  an d   f o r g et  g ates.  T h ese  g ates  will   m an ag e  th e  f lo w  o f   th e  in f o r m atio n   f r o m   ea ch   tim e  s tep .   I t  ca n   ca p tu r e  lo n g   d ep en d en cies  an d   m ain t ain   in f o r m atio n   o v er   lo n g er   s eq u en ce s .   T h e  Bi L STM   tak e s   a  s tep   f u r th e r   b y   m er g in g   in f o r m atio n   f r o m   th e  p ast  an d   th e   f u tu r e  in   ea c h   tim e  s tep   [ 3 1 ] .   T h is   R NN  is   ab le  to   h o ld   th e   in f o r m atio n   o f   th e   p ast  an d   f u tu r e  u s in g   th e   f o r war d   s tate  in   a  p o s itiv e  tim e  d ir ec tio n   an d   t h e  b ac k wa r d   s tate  in   a  n eg ativ e  tim e  d ir ec tio n .   R esear ch   b y   C h o   et  a l .   [ 3 2 ] ,  th e  G R U  was  p r o p o s ed .   T h is   R NN  i s   an o th er   v ar ian t  o f   th e  v an illa  R NN.   I t  s im p lifie s   th e  g ate  d esig n   b y   u s in g   th e  r eset  an d   u p d ate  g ates,  wh ich   will  d ec id e  th e  am o u n t   o f   in f o r m atio n   t o   k ee p   o r   d is ca r d   f r o m   p r ev io u s   an d   cu r r en t  tim e  s tep s .       2 . 4 .     Su bwo rd  t o k eniza t io n   I n   NL P - r elate d   task s ,   wo r d   r e p r esen tatio n ,   also   k n o wn   as wo r d   em b e d d in g ,   p lay s   a  cr itica l r o le.   T h is   p r o ce s s   co n v er ts   th e  in p u t  tex t  in to   n u m er ical  v ec t o r s ,   wh ich   co n tain   th e  s em an tic  r ep r esen tatio n   b etwe en   th e   wo r d s   an d   th e  c o n tex t  in f o r m atio n   o f   th e  te x t.  T h e   tr ad it io n al  wo r d   r ep r esen tatio n   tec h n iq u e   u s es  o n e - h o t   en co d in g   wh ich   in v o lv es  a  1   in   th e  co r r esp o n d in g   wo r d   p o s itio n ’ s   in d ex   a n d   0   f o r   t h e  r est  o f   th e  wo r d s ’   in d ices.   T h is   r ep r esen tatio n   lead s   to   s p ar s e  m atr ix   f o r m atio n   in   th e  e m b ed d in g   wh ich   is   n o t   co m p u tatio n ally   o p tim ized   [ 3 3 ] .   B esid es th at,   th is   r ep r ese n tatio n   is   n o t c ap a b le  o f   ca p tu r in g   th e  s em an tic  r elatio n s h ip   b etwe en   wo r d s .   Me an wh ile,   th e  o th er   class ic  ty p es  o f   em b ed d in g s   ad o p t  s tatis tical  p r o b ab ilit y   ap p r o ac h es  s u ch   as   W o r d 2 Vec   [ 3 3 ]   an d   Glo Ve  [ 3 4 ] .   B o th   ap p r o ac h es  ar e  a b l e  to   ca p tu r e  t h e  wo r d   r elatio n s h ip   an d   u s e  t h e   n eig h b o r in g   wo r d s   t o   f o r m   m e an in g f u l   wo r d   r elatio n s h ip s .   Ho wev er ,   t h ese  two   ap p r o ac h es a r e  n o t   ca p ab le   o f   h an d lin g   n ew  wo r d s   o r   u n s ee n   wo r d s   f r o m   th e   in p u t  o f   th e  NL P  task s .   B esid es  th at,   th ey   n ee d   a  lar g e   em b ed d in g   f o r   lan g u a g es  with   co m p lex   m o r p h o lo g ical  s tr u ctu r es.  T o   o v er c o m e  th e  is s u es  o f   r ar e  wo r d s   an d   OOV,   s u b wo r d   em b ed d in g   is   in tr o d u ce d .   T h is   em b e d d in g   will  tak e  an   in p u t  wo r d   a n d   s p lit  th e  wo r d   in to   s m aller   u n its   s u ch   as  ch a r ac te r   n - g r am   o r   lin g u is tic  s u b wo r d   u n its .   So m e   o f   th e   n o tab le   wo r k s   in   m o r p h em e   s eg m en tatio n   ar e  in   [ 3 5 ] ‒ [ 3 8 ] .       3.   P RO P O SE D  M E T H O D   T h e  p r o p o s ed   n ew   MSAS  m eth o d   co m p r is es  o f   a  h y b r id   o f   th e  e x tr ac tiv e  a n d   ab s tr ac tiv e   s u m m ar izatio n   m o d els.  T h e   M SAS  is   co n s tr u cted   with   f o u r   m ajo r   alg o r ith m ic  elem e n ts ,   a s   s h o wn   in   Fig u r e  1 .   T h ese  f o u r   alg o r ith m ic  elem en ts   ar e :   i )  lead in g   s en ten ce   n ews  T ex tR an k ;  ii )   Ma lay   p h o n e m e  s u b wo r d   to k en izer ,  iii )   Ma lay   p h o n em e   s u b wo r d   to k e n izer   s u b wo r d   e m b ed d in g ;  an d   iv )   s eq 2 s eq   en co d er   a n d   d ec o d er .   T h e  MSAS  m o d el   h as  a d o p te d   a  h y b r id   d esig n   co n ce p t  b y   b in d in g   t h e  e x tr ac tiv e  a n d   ab s tr ac tiv e  s u m m ar izatio n   ap p r o ac h es  in to   o n e.   T h e  m o tiv atio n   f o r   u s in g   th is   h y b r id   d e s ig n   is   to   o v e r co m e  t h e  co m m o n   is s u e  f ac ed   in   th e   g en er ic  s eq 2 s eq   tr ai n in g   m o d el  wh en   co m p u tin g   with   l o n g   in p u t  s eq u en ce s .   As  th e  tr ain in g   s eq u en ce   len g th   in cr ea s es,  th e  h ar d war e  m e m o r y   r eq u ir em en t in c r ea s es.  T h er ef o r e,   th is   h y b r id   a p p r o a ch   ai m s   to   o v er co m e  th e  h ig h   m em o r y   r eq u ir e m en t in   t h e  m o d el  tr ai n in g .     I n   th e  f ir s t  co m p u tatio n al  ele m en t  o f   MSAS,  th e  e x tr ac tio n   ap p r o ac h   h as  b ee n   in tr o d u ce d   to   r e d u ce   th e  o v er all  le n g th   o f   th e  in p u t seq u en ce   to   t h e  tr ain in g   u s in g   lead in g   s en ten ce   n ews  T ex tR an k ,   wh ich   h elp s   to   r ed u ce   t h e  in p u t  b y   e x tr ac tin g   s alien t  n ews  s en ten ce s   f r o m   t h e  in p u t  s o u r ce   [ 3 9 ] .   Su b s eq u en tly ,   th e   ex tr ac te d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 9 6 5 - 4 9 7 5   4968   s alien t  n ews  s en ten ce s ’   wo r d s   in to   s u b wo r d   t o k en s   ar e  t o k en i ze d   u s in g   th e   Ma lay   p h o n em e   s u b wo r d   to k e n ize r .   Fin ally ,   th e  to k en ized   s u b wo r d s   ar e  f ed   in to   th e  s eq 2 s eq   m o d el  an d   tr ain ed   with   th e  Ma lay   p h o n em e  s u b wo r d   em b ed d in g .           Fig u r e  1 .   MSAS       3 . 1 .     L ea din g   s ent ence   news  T ex t Ra nk   T h e  T ex tR an k   alg o r ith m   is   a n   u n s u p e r v is ed   lear n i n g   alg o r ith m .   I n   th e  b e g in n in g ,   th is   alg o r ith m   r eq u ir es th e  in p u t te x t to   b e  tr a n s f o r m ed   i n to   a  f o r m   o f   v ec to r   r ep r esen tatio n   u s in g   th e  ter m   f r eq u e n cy - in v er s e  d o cu m e n t  f r eq u e n cy   ( T F - I DF)   r ep r esen tatio n   at  th e  s en ten ce   p r e - p r o ce s s in g   lev el.   T h ese  v ec to r   r ep r esen tatio n s   will  b e  f ed   in to   th e  T ex tR an k   alg o r ith m   to   co n s tr u ct  th e  r ela tio n   b etwe en   th e  n o d es.  I n   o r d er   to   allo w  all  th e  n o d es  with   eq u al  p r o b a b ilit y   to   b e  s elec ted   as  th e  s tar tin g   n o d e  at  ea ch   iter atio n ,   th e  T ex tR an k   alg o r ith m   ap p lies   r an d o m   p r o b ab ilit y   to   in itialize  all  n o d es  at  th e  b eg in n in g   o f   ea ch   lear n in g   p r o ce s s .   T h e  r e latio n s h ip   b etwe en   th e  n o d es  is   r e p r esen ted   b y   th e  “stre n g th ”   b etwe en   th e  n o d e s .   T h e  s tr en g th   is   c o m p u ted   b ased   o n   th e   wo r d s ’   s im ilar ities   [ 39 ].   T h e  lead in g   s en ten ce   n ews  T ex tR an k   ad o p ted   th e   T ex tR an k   ap p r o ac h   th at  is   cu s to m ized   f o r   n ews  ar ticle  s alien t  s en ten ce   s elec tio n .   Acc o r d in g   to   T s an n   et  a l .  [ 3 9 ]   th is   alg o r ith m   will  r eq u ir e  s ettin g   1   to   th e  weig h t o f   n o d e  o f   th e  f ir s t sen ten ce   o f   th e   in p u t te x t.  T h e  ( 1 )   is   u s ed   to   ex p r ess   th e  weig h t  o f   a  n o d e .        ( ) = ( 1 − ) + ∗ ∑  ∑  ∈ ( ) ∈  ( )   ( )   ( 1 )     I n   th e  eq u atio n ,   t h e  weig h t b et wee n   th e  n o d es is   ex p r ess ed   a s      an d   th e  d a m p in g   f ac to r ,     is   s et  to   0 . 8 5 .     3 . 2 .     M a la y   ph o nem e  s ub wo rd  t o k enizer   T h e  Ma lay   lan g u ag e   is   a  t y p e  o f   ag g lu tin ativ e  la n g u a g e.   T h is   lan g u a g e  is   f u ll  o f   m o r p h em es.  An   ex am p le  o f   a  r o o t  wo r d ,   “jan g k a”   wh ich   m ea n s   “e x p ec t”  in   E n g lis h .   T h e  ap p licatio n   o f   a  p r ef ix   will  b ec o m e   “m en jan g k a”   wh ich   m ea n s   “to   ex p ec t”  in   E n g lis h .   T h e  ap p lic atio n   o f   a  s u f f ix   will  tu r n   t h e  w o r d   in t o   “jan g k aa n ”   wh ich   m ea n s   “e x p ec tatio n s ”  i n   E n g lis h .   T h e  ap p licatio n   o f   t h e  cir cu m f ix   ca n   tu r n   t h e  wo r d   in to   “d ijan g k a k an ”   wh ich   m ea n s   “e x p ec ted ”   in   E n g lis h .   T h e   ap p licatio n   o f   v ar io u s   p h o n em es   h as  ch a n g ed   th e  r o o t   wo r d   in to   d if f er en t m ea n in g s   in   t h e  tar g e t tr an s lated   lan g u ag e   [4 0 ] .     T h e  ap p licatio n   o f   tr ad itio n al  wo r d   em b ed d in g   will  r eq u ir e  th e  r ep r esen tatio n   o f   a  s in g le  wo r d   th at   h as  m u ltip le  d if f er e n t  ap p licat io n s   o f   m o r p h e m es.  T h is   will  in cr ea s e  th e  n u m b er   o f   wo r d s   in   th e  em b ed d in g   s p ac e.   T h e  ap p licatio n   o f   s tem m in g   is   n o t  a  p r ac tical  ap p r o ac h   as  th e   co n tex t  o f   a  s p ec if ic  tr an s lated   wo r d   m ay   b e  d if f er e n t  in   m ea n i n g .   B esid es  th at,   r ed u cin g   th e  n u m b e r   o f   wo r d s   in   t h e  wo r d   em b ed d in g   s p ac e  will  also   lead   to   OOV  as so m e  o f   th e  w o r d s   will b e  r em o v ed   d u r in g   t h e  wo r d   r ep r esen tatio n   p r o ce s s .   T o   o v er co m e   th e   co m p le x   m o r p h o lo g ical  s tr u ctu r e   in   th e  M alay   lan g u ag e  c o m p a r ed   t o   th e  E n g lis h   lan g u ag e,   th is   s tu d y   p r o p o s es   a  n ew  Ma lay   p h o n em e - b ase d   to k en izatio n   ap p r o ac h .   T h i s   n ew  to k en izatio n   ap p r o ac h   will  s p lit  a  wo r d   in t o   m u ltip le  s u b wo r d   to k en s .   I n s t ea d   o f   alg o r ith m - b ased   to k e n izatio n ,   th is   ap p r o ac h   will  s p lit   a  Ma lay   wo r d   in to   s u b wo r d   to k e n s   b ased   o n   th e  f o u r   d is tin ct  s y llab le  s tr u ctu r es  in   th e  Ma lay   lan g u ag e   [4 1 ] .   T h ese  s y llab les  ar e   b ased   o n   th e  v o wel,   V,   an d   co n s o n an t,  C ,   th e n   th e   f o u r   p r o p o s ed   s y llab le  s tr u ctu r e s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma la y  p h o n eme - b a s ed   s u b w o r d   n ews   h ea d lin e  g en era to r   fo r   lo w - r eso u r ce   la n g u a g e   ( Yeo n g   Ts a n n   P h u a )   4969   ar e  s u b s eq u en tly :  V,   C V,   VC ,   an d   C VC   to   b e  u s ed   t o   d eter m in e  th e  s u b wo r d   to k en s .   T ab le  1   s h o ws  a  s et  o f   s am p les o f   Ma lay   wo r d s   th at  a r e  b ased   o n   v ar io u s   s y llab ic  s tr u ctu r es a s   d escr ib ed   a b o v e .   T h e  p r o p o s ed   n ew  to k en izer   will  p er f o r m   th e   to k en izatio n   p r o ce s s   to   s tr u ctu r e  th e   in p u t  tex t  in to   Ma lay   p h o n em e  s u b wo r d s   th r o u g h   an   iter ativ e  p r o ce s s   f o r   ea c h   ch ar ac ter   i n   th e  in p u t  tex t  u n til  all  th e  ch ar ac ter s   in   ea ch   wo r d   h av e  c o m p leted   f o r m in g   th e  co m m o n   s y llab le  s tr u ctu r e.   A  s p ec ial  en d - of - wo r d   s y m b o l,   ‘ _ , ’   will   b e  ad d ed   to   th e   last   s u b wo r d   to k en   to   in d icate   th e  e n d   o f   a  wo r d .   T h u s ,   th e   n ew  to k e n izatio n   p r o ce s s   is   co m p leted .         T ab le  1 .   Sy llab le  s tr u ctu r es  o f   Ma lay   wo r d s   Ty p e   o f   s y l l a b l e   S y l l a b l e   st r u c t u r e   Ex a m p l e   w o r d   M o n o sy l l a b i c   C V C   CV   c i k ,   s u p ,   J u n   d i ,   k e   D i ssy l l a b i c   C V   +   C V   V   +   C V   V   +   C V C   p e l i ,   c a ri ,   l a g u   a b u ,   i t u ,   i n i   u l a t ,   i k a t   Tr i sy l l a b i c   C V   +   C V   +   C V   C V   +   V   +   C V   C V   +   C V   +   V   p e r a s a ,   k e r u si   b u a y a ,   k u a sa   semu a ,   k e t u a   Te t r a s y l l a b i c   C V   +   C V   +   C V   +   C V   C V   +   C V C   +   C V   +   V C   V   +   C V   +   C V   +   CV   d a r i p a d a   p e r e m p u a n   a p a b i l a       3 . 3 .     Sequ ence - to - s equence   I n   2 0 1 4 ,   Sh war tz  an d   Z h a n g   [4 2 ]   p r o p o s ed   th e   s eq 2 s eq   m o d el  wh ich   c o n s is ts   o f   an   e n c o d er   a n d   a   d ec o d er .   T h e  en co d e r   co n s is ts   o f   a  s tack   o f   R NN - b ased   ce ll s .   T h e  in p u t  s eq u en ce   is   f ed   in to   th e  en co d er .   T h en ,   th e  in p u t  v ec t o r   will  b e  c o m p u ted ,   a n d   th e  in te r n al  s tate  wil l  b e  s to r e d   in   th e   R N N - b ased   ce ll.  T h e  ( 2 )   s h o ws  th e  co m p u tatio n   o f   th e  h i d d en   s tate  ℎ   is   co m p u ted   u s in g   th e  w eig h t  f u n ctio n   o f   th e  e x is tin g   in p u t  ,   p r ev io u s   s tate  ℎ − 1   an d   t h e  n etwo r k   weig h t,  .     ℎ = ( ℎℎ ℎ − 1 + ℎ )   ( 2 )     On   th e  o th er   s id e  o f   th e  m o d el,   th e  d ec o d er   is   f o r m ed   u s i n g   a  s tack   o f   r ec u r r en t - b ased   ce lls .   T h e   d ec o d er   will  tak e  in   th e  f in al   s tate  o f   th e  en co d er   as  in itial  in p u t.  E ac h   tim e  s tep   ,   th e  h id d en   s tate  ℎ   is   ca lcu lated   u s in g   th e  o u tp u t   f r o m   th e  p r e v io u s   tim e  s tep   u s in g   ( 3 ) .       ℎ = ( ℎℎ ℎ − 1 )   ( 3 )     T h e  o u t p u t  o f   ea ch   tim e  s tep ,     is   co m p u ted   u s in g   a   So f tm ax   f u n ctio n   with   th e   co m b i n atio n   o f   th e   h id d en   s tate  o f   th e   cu r r en t  tim e  s tep   an d   th e   r esp ec tiv e   weig h t  .   T h e   p r o b ab ilit y   v ec to r   o f   t h e  o u tp u t     is   s h o wn   in   ( 4 ) .     =   ( ℎ )   ( 4 )     I n   th e  p r o p o s ed   s eq 2 s eq   m o d el,   a  s in g le - lay er   R NN - b ased   ce ll  is   u s ed   as  an   en c o d er ,   an d   a  s in g le - lay er     R NN - b ased   ce ll a s   th e  d ec o d e r .     3 . 4 .     At t ent io n  m ec ha nis m   I n   2 0 1 5 ,   B ah d a n au   et  a l.   [ 7 ]   f ir s t  in tr o d u ce d   th e  atten tio n   m ec h an is m   in to   th e   s eq 2 s eq   m o d el.   T h e   im p lem en tatio n   will  o v er c o m e  th e  lim itatio n s   o f   tr ad itio n al  s eq 2 s eq   in   h a n d lin g   lo n g   s eq u en ce s .   I n   th e   tr ad itio n al  s eq 2 s eq ,   th e  R NN - b ased   ce lls   m u s t  m ain tain   all  th e  h id d en   s tates  f o r   ea ch   tim e  s tep   o f   th e  in p u t  s eq u en ce   u n til  th e   en d   o f   th e   in p u t   s eq u en ce .   Hen ce ,   th is   in f o r m atio n   r ete n tio n   lea d s   to   h ig h   m em o r y   an d   co m p u tatio n al  r e q u ir em e n ts .   T h is   b ec o m es  ev en   m o r e  ch allen g in g   in   h an d lin g   all  th e  h id d en   s tates  o f     lo n g - r a n g e  d ep en d en cies.   T h e  atten tio n   m ec h a n is m   will  allo w  th e  m o d el  t o   o n ly   f o cu s   o n   t h e  r ele v an t  p ar ts   o f   th e  in p u t   ef f ec tiv ely   with o u t  in c r ea s in g   th e  m em o r y   a n d   co m p u tatio n a l  r eq u ir e m en ts   [4 3 ] .   T h e   d ec o d er   will  s elec tiv ely   f o cu s   o n   th e  d if f er e n t  p ar ts   o f   t h e  in p u t   s eq u en ce   d u r i n g   ea c h   d ec o d in g   s tep   b ased   o n   t h e  att en tio n   weig h t  [4 4 ] .  W ith   th e  im p lem en tatio n   o f   th e  atten tio n   m ec h an is m ,   t h e  s eq 2 s eq   m o d el  will  co n s is t  o f   th r e e  p ar ts :  th e  e n co d e r ,   th e  d ec o d er ,   a n d   th e  atten tio n   lay er .   T h e  atten tio n   lay er   co n tain s   th r ee   p ar ts   th at  i n clu d e  th e  alig n m en t  lay er ,   atten tio n   weig h ts ,   an d   c o n tex t  v ec to r .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 9 6 5 - 4 9 7 5   4970   I n   th e  atten tio n   m ec h a n is m ,   th e  alig n m en t  lay e r   p lay s   a n   im p o r tan t  r o le  in   c o m p u tin g   th e   alig n m en t  s co r es  b etwe en   th e  in p u t  s eq u e n ce   an d   th e  o u tp u t  s eq u en ce   o f   th e  s eq 2 s eq .   T h ese  s co r es  ar e  a ls o   ca lled   atten tio n   s co r es  o r   atten tio n   weig h ts .   T h e  am o u n t  o f   t h ese  s co r es  d eter m in es  h o w  m u ch   t h e  f o c u s   is   o n   a  p ar ticu lar   in p u t   s eq u en ce   wh en   g en e r atin g   a   s p ec if ic  o u tp u t  s eq u e n ce .   T h e   c u r r en t  s tate  o f   th e  alig n m en t  s co r e  ca lcu latio n   will  in v o lv e  th e   h y p er b o lic  tan g en t   f u n ctio n   th at  ap p lies   to   th e  s co r es  o f   th e   p r ev i o u s   s tate  ℎ − 1   an d   p r ev io u s   s tate   − 1   as sh o wn   in   ( 5 ) .      =  ℎ (  − 1 + ℎℎ ℎ − 1 )     ( 5 )     I n   th e  p r o p o s ed   m o d el,   th e   o r i g in al  h y p er b o lic  tan g en t   f u n cti o n   is   r ep lace d   with   a  r ec tifie d   lin ea r   u n it   ( R eL U )   f u n ctio n   as  s h o wn   in   ( 6 ) .   T h is   im p lem en tatio n   aim s   to   s o lv e  th e  v an is h in g   g r a d i en t  th at  co m m o n ly   o cc u r s   in   u s in g   th e  tan h   f u n ctio n   [4 5 ] ‒ [4 7 ] .   B esid es th at,   it will a llo w  m o r e  lo ca lized   atte n tio n .        =  (  − 1 + ℎℎ ℎ − 1 )   ( 6 )     T h e  atten tio n   weig h ts   f o r   a  tar g et  wo r d   a n d   a  s et  o f   s o u r ce   w o r d s   ar e  s h o wn   in   ( 7 ) .      = ex p ⁡ (  ) ∑ ex p ⁡ (  ) | | = 1   ( 7 )     T h e  atten tio n   weig h t     an d   th e   h id d en   s tate  ℎ   ar e   u s ed   t o   co m p u te  t h e   co n te x t   v ec to r     as  s h o wn   in   ( 8 ) .  T h ese  weig h ts   ar e  o b tain e d   b y   m u ltip ly in g   t h e  en co d er   s tates a n d   th e  d ec o d e r   h id d en   s tates.     = ∑  ℎ | | = 1   ( 8 )     T h e  f in al  d is tr ib u tio n   p r o b ab il ity     is   ca lcu lated   b y   a p p ly in g   a   s o f tm ax   f u n ctio n   as sh o wn   in   ( 9 ) .     =   ( )   ( 9 )       4.   E XP E R I M E N T   AND  R E SU L T S   T wo   R NN - b ased   s eq 2 s eq   m o d els,  th e  L STM   an d   Bi L S T M  s eq 2 s eq   m o d els  ar e  u s ed   as  th e  ex p er im en t’ s   b aselin e  m o d els to   test   ag ain s t  t h e  n ew  MSAS - tan h   a n d   MSAS - R eL U  m o d els.  All  th ese  m o d els   wer e  co n f ig u r e d   with   th e  B a h d an au   atten tio n   m ec h a n is m .   T h is   s ec tio n   d etails  th e  d at aset  s elec tio n ,   tex t   clea n in g ,   in p u t p r e - p r o ce s s in g ,   an d   th e   m o d el  c o n f ig u r atio n s   o f   th e  e x p er im e n t.     4 . 1 .     Da t a s et   T h e  d ataset  u s ed   in   th is   p ap er   is   o n lin e  Ma lay   lan g u ag e  n ews  th at  ar e  r an d o m l y   co llected   f r o m   v ar io u s   n ews  web s ites   ( i.e .   B er n am a. co m ,   m y Me tr o ,   an d   th e m a lay s ian in s ig h t.c o m ) .   T h ese  n ews  ar ticles  wer e   p u b lis h ed   b etwe en   2 0 1 7   an d   2 0 1 9 .   Ab o u t 9 8 . 9 % o f   th is   n ews   ar e  h ar d   n ews o n   cu r r e n t a f f air s .   T h e  r em ain in g   n ews  ar e  h u m an   in ter est  s o f t  n ews.  T h e  b r ea k d o wn   o f   th e  n ews  g en r es  is   as  m en tio n ed :   i)   n atio n al  n ews;  ii)  s p o r ts   n ews;  iii)  ec o n o m y   a n d   f in a n ce   n ews;  iv )   wo r ld   n e ws;   v i)   en ter tain m en t  a n d   ce leb r ity   n ews;  an d   v i)   o th er s   s u ch   as e d u ca tio n   an d   life s ty les.   T h e  av er ag e  n u m b er   o f   w o r d s   in   th e  n ews  is   2 1 9 . 0 8   wo r d s   an d   th e  lo n g est  ar ticle  h as  3 , 3 8 8   wo r d s .   T h e  av er a g e  n u m b e r   o f   wo r d s   in   a  h ea d lin e  is   3 . 8 3 .   T h e  n u m b er   o f   n ews u s ed   f o r   tr ain in g   i s   4 0 , 0 0 0   an d   5 , 0 0 0   f o r   test in g .   T h is   t r ain - test   s p lit   o f   9 0 % a n d   1 0 %  will p r ev en t  th e  o v er f itti n g   is s u e  o f   th e  m o d el  tr ain in g .     4 . 2 .     T ex t   cle a nin g   T h e  d ata   p r e - p r o ce s s in g   b eg an   with   p u ttin g   all  th e   in p u t   tex t  in to   lo wer ca s e.   T h en ,   t h e  r eg u lar   ex p r ess io n   an d   t h e  b ea u tif u l  s o u p   p a r s er   in   Py th o n   wer e  em p lo y ed   to   r em o v e  an y   em b ed d ed   HT ML   tag s   an d   Go o g le  T a g s   f r o m   th e   in p u t n ews te x t to   p r o d u ce   a   clea n   i n p u t te x t   r ep r esen tatio n .   T o   f u r t h er   r e d u ce   th e  n o is e  in   th e  in p u t  tex t,   p u n ctu atio n   m ar k s   an d   n o n - in f o r m ativ e  s p ec ial  ch ar ac ter s   wer e  r e m o v e d   b y   u s in g   th e   r eg u lar   ex p r ess io n .   T h e   d ata  p r e - p r o ce s s in g   was  f u r th er   en h an ce d   with   th e  r em o v al  o f   all  n o n - tex tu al - b ased   ch ar ac ter s   u s in g   th e  r e g u lar   ex p r ess io n s   in   Py th o n .     4 . 3 .     I np ut  pre - pro ce s s ing   B ased   o n   th e  ex p er im e n t,  th e  L STM   an d   Bi L STM   s eq 2 s eq   m o d els  u s ed   wo r d - lev el  to k e n izatio n   to   in p u t  th e   tex t  i n to   th e   em b ed d i n g   lay e r .   T h en ,   th e  p o s t - p ad d i n g   was  ap p lied   to   th e   to k e n ized   in p u t  o f   th e   m o d els  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma la y  p h o n eme - b a s ed   s u b w o r d   n ews   h ea d lin e  g en era to r   fo r   lo w - r eso u r ce   la n g u a g e   ( Yeo n g   Ts a n n   P h u a )   4971   to   en s u r e   all  th e  i n p u t  h ad   a  len g th   o f   1 0 0   w o r d s .   On   th e   o th er   h an d ,   th e  MSAS - tan h   a n d   MSAS - R eL U  m o d els’  in p u t  wen t  th r o u g h   s alien t  s en ten ce   ex tr ac tio n   u s in g   th e  lead in g   s en ten ce   n ews  T ex tR an k   a lg o r ith m .   T h en ,   th e   ex tr ac ted   s en ten ce s   wen t  th r o u g h   th e  s u b wo r d   to k en izati o n   p r o ce s s   u s in g   th e  Ma lay   p h o n em e  s u b wo r d   to k en izer   to   b r ea k   ea ch   in p u t w o r d   i n to   s u b wo r d   to k en s   ac c o r d in g   to   th e   to k e n izer ’ s   s y lla b le  s tr u ctu r es.   Nex t,   th e  p o s t - p a d d in g   was  a p p lied   to   t h e  s u b wo r d   to k e n s   to   e n s u r e  all  t h e  in p u t  h ad   a  len g th   o f   1 0 0   wo r d s .   Su b s eq u en tly ,   all  th e  in p u ts   wer e  f ed   in to   th e  em b ed d in g   la y er   o f   th e  s eq 2 s eq   m o d el .   T h e  em b ed d in g   lay e r s   f o r   all  th e  m o d els we r e  co n f ig u r ed   with   3 0 0   d im en s io n s .       4 . 4 .     M o del  building   B ased   o n   th e  in v esti g atio n   o f   li ter atu r e  [ 7 ] ,   [ 4 8 ] ,   th e  L STM - b ased   s eq 2 s eq   m o d els  ar e  co m m o n ly   u s e d   in   tex t  s u m m ar izatio n .   Hen ce ,   two   s eq 2 s eq   m o d els:   L STM   an d   B iLST M  h av e  b ee n   s elec ted   as  b aselin e  m o d els   in   th e  ex p er im e n t.  I n   th e  s eq 2 s eq   m o d el,   a n   en co d er   an d   a  d e co d er   with   an   atten tio n   m ec h a n is m   ar e  em p l o y e d .   E ac h   o f   th e  s eq 2 s eq   m o d els  will  co n tain   a  s in g le  R NN - b ased   lay er   as  en co d er   an d   a  s in g le  lay er   o f   R NN - b ased   as  d ec o d er .   B o th   th e  en co d er   an d   d ec o d er   lay er s   wer e  co n f i g u r ed   with   3 0 0   h id d en   u n its   p er   la y er .   T o   p r ev en t   o v er f itti n g   is s u es,  a  d r o p o u t   r ate  o f   0 . 4   was  s et  to   th e   n o n - r ec u r r e n t  c o n n ec tio n   o f   t h e  n eu r o n s   d u r in g   th e   tr ain in g .   At  th e  s am e  tim e,   r eg u lar izatio n   is   ad d ed   in   th e  lay e r   to   ig n o r e  s o m e  o f   th e  h id d en   s tate  u n its   u s in g   a   0 . 4   r ec u r r en t  d r o p o u t  r ate.   B esid es  th at,   th ese  lay er s   wer e   co n f ig u r ed   with   f u ll  s eq u en c e  o u tp u ts   an d   s tate   r etu r n s   with in   th e  ar ch itectu r e.   T h ese  s ettin g s   will  im p r o v e  th e  r o b u s tn ess   an d   g en er aliza tio n   ab ilit y   o f   th e  m o d els.   Su b s eq u en tly ,   t h e  B ah d an a u   et  a l.   [ 7 ]   atten tio n   m ec h a n is m   was  in tr o d u c ed   to   f u r t h er   i m p r o v e   th e   d ec o d er ’ s   ca p ab ilit y .   I t   will  allo w  th e  d ec o d er   to   f o c u s   o n   th e   r elev an t   p ar ts   o f   th e  i n p u t  s eq u e n ce   wh e n   g en er atin g   h ea d lin es.  T h e  atte n tio n   m ec h a n is m   will  co m p u t e  th e  atten tio n   s co r e  b ased   o n   t h e   en co d er ’ s   h id d en   s tates  ac co r d in g   to   th e  alig n m en t  to   th e  d ec o d er ’ s   cu r r en t  s tate.   I n   th e  ex p er im en t,  th e  atte n tio n   m ec h an is m ’ s   alig n m en t  s co r e  f o r   L STM ,   B iLST M,   an d   MSAS - tan h   wer e  co m p u ted   u s in g   th e  h y p er b o li c  tan g en t   f u n ctio n .   I n   th e  MSAS - R eL U  m o d el,   th e  alig n m en t sco r e  was c o m p u t ed   u s in g   th e  R eL U  f u n ctio n .     4 . 5 .     T ra ini ng   T o   en s u r e  th e  ef f ec tiv e n ess   o f   th e  m o d el  lear n i n g   an d   p r e v en t  o v er f itti n g ,   all  th e  m o d e ls ’   tr ain in g   ad o p ted   th e  R MSp r o p   o p tim izer   with   a   d ef au lt   lear n in g   r ate   o f   0 . 0 0 0 1 .   T h e  ‘ s p ar s e_ ca teg o r ical_ cr o s s en tr o p y ’   lo s s   f u n ctio n   was  ch o s en   as  th is   f u n ctio n   co u ld   h an d le  th e   p r ed ictio n   o f   th e  n e x t  to k e n   p r o b lem .   T h e  m in im iz e   lo s s   g o al  was  im p lem en ted   in t o   th e  t r ain in g   p r o ce s s   an d   th e   v alid atio n   lo s s   was  m o n ito r ed .   T h e  v alid atio n   lo s s   is   th e  in d icato r   o f   t h e  m o d el’ s   g en er aliza tio n   ca p a b ilit y .   T o   p r ev en t  ex tr a  t r ain in g   e p o ch s   an d   r ed u ce   o v er f itti n g   r is k ,   ea r ly   s to p p in g   ca llb ac k   was  in tr o d u ce d   to   th e  m o d el  tr ain in g .   All  th e  m o d el  tr ai n in g   was  co n d u cted   o v er   a  m ax im u m   o f   5 0   e p o ch s   with   a  b atch   s ize  o f   6 4   to   b alan ce   t h e  co m p u tatio n al   ef f icien cy   w ith   m em o r y   u s ag e.   T h e  ex p er im en ts   wer e   p er f o r m ed   u s in g   an   I n tel  i 7   PC   with   3 2   GB   o f   R AM ,   an d   a n   Nv id ia  GT X1 0 8 0 T i   GPU   ca r d   with   1 2   GB   o f   GPU  R AM .   All  th e   m o d els  we r e  d ev el o p ed   u s in g   th e  Py t h o n   ten s o r f lo w  lib r ar y   r u n n in g   o n   th e  Ub u n tu   Desk to p   o p e r atin g   s y s tem .       4 . 6 .     Resul t s   a nd   dis cu s s io n   T h e  o b jectiv e  o f   t h e  f o llo win g   ex p er im en ts   is   to   co m p ar e   th e   g en er ated   h ea d lin es   o f   th e   p r o p o s ed   n ew  MSAS  m o d els  ag ain s t  th e   L ST M  an d   B iLST M  s eq 2 s eq   m o d e ls .   T h e  e x p er im e n tal  r esu lts   w er e  ev alu ate d   u s in g   th e  R OUGE   ev alu atio n   m etr ic,   an d   th e  r esu lts   d em o n s tr ated   a  s ig n if ican t  im p r o v e m en t  in   th e  h ea d lin e  g en er atio n   p er f o r m a n ce   c o m p ar ed   to   o th e r   r e p o r ted   m eth o d s ,   B iLST M  an d   L STM   as  d el in ea ted   in   T ab le  2 .   T h e  p r o p o s ed   MSAS  m o d els  h av e  r ep o r ted   th e   f o llo win g   ex p er im e n tal  r esu lts :  i )   th e  MSAS - tan h   m o d el   ac h iev ed   1 6 . 6 2   R OUGE - 1 ,   4 . 3 2   R OUGE - 2 ,   a n d   1 6 . 2 3   R O UGE - L ,   an d   ii )   th e   MSAS - R e L U   ac h iev ed   1 8 . 8 1   R OUGE - 1 ,   5 . 0 7   R OUGE - 2 ,   an d   1 8 . 3 5   R OUGE - L .   Acc o r d in g   to   th e  r ep o r ted   ex p e r im en tal  r esu lts ,   b o th   m o d els   co n s is ten tly   o u tp er f o r m ed   th e   s tan d ar d   L STM - b ased   m o d el s .   No tab ly ,   b o t h   MSAS - b ased   m o d els  r ec o r d ed   a   m in im u m   o f   1 1 . 0 0   im p r o v em en t in   R OUGE - 1   an d   R OUGE - L   s co r es.  Am o n g   all,   th e  MSAS - R eL U  ex h ib ited   th e  m o s t sig n if ican t im p r o v em en t,  as r ep o r te d   in   T a b le  2   b y   i ts   R OU GE   s co r es.       T ab le  2 .   R OUGE   s co r es f o r   th e  m o d els     R O U G E - 1   R O U G E - 2     R O U G E - L   M o d e l   P r e c i s i o n   R e c a l l   F1   P r e c i s i o n   R e c a l l   F1   P r e c i s i o n   P r e c i s i o n   R e c a l l   F1   B i LST M   5 . 6 3   4 . 7 3   4 . 9 8   0 . 8 2   0 . 6 9   0 . 7 1   0 . 8 2   5 . 5 7   4 . 6 9   4 . 9 3   LSTM   5 . 1 4   4 . 0 0   4 . 3 9   1 . 0 0   0 . 8 4   0 . 8 9   1 . 0 0   5 . 0 8   3 . 9 5   4 . 3 3   M S A S - t a n h   1 8 . 7 3   1 6 . 0 2   1 6 . 6 2   5 . 0 1   4 . 1 2   4 . 3 2   5 . 0 1   1 8 . 2 9   1 5 . 6 5   1 6 . 2 3   M S A S - R e LU   2 1 . 2 9   1 8 . 0 4   1 8 . 8 1   5 . 8 8   4 . 9 6   5 . 0 7   5 . 8 8   2 0 . 7 9   1 7 . 6 0   1 8 . 3 5       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 9 6 5 - 4 9 7 5   4972   Fu r th er m o r e ,   T ab le  3   s h o ws  th e  av er ag e  OOV  r ates  f o r   th e  B iLST M,   L STM ,   M SAS - tan h ,   an d     MSAS - R eL U   te s t  m o d els.  B ased   o n   th e  test   r esu lts ,   th e  MSAS - b ased   m o d els  d e m o n s tr ate  s ig n if ican t   im p r o v em e n t in   h ea d lin e  g en e r atio n   ca p ab ilit ies co m p ar ed   t o   th e  o th er   two   m o d els.  Acc o r d in g   to   T ab le  3 ,   th e   MSAS - b ased   m o d els  m an ag ed   to   r ed u ce   th e  OOV  r ates  s i g n if ican t ly .   MSAS - b ased   m o d els  ac h iev ed   b elo w  1 6 %  o f   th e   OOV  r ate   with   MS AS - tan h   at  1 5 . 5 %   an d   R MA S - R eL U  at  1 4 . 5 %,  r esp ec tiv ely .   T h ese  r esu lts   s h o w  th at  MSAS - b ased   m o d els  ar e  ca p ab le  o f   r ed u cin g   th e  v o ca b u lar y   lim itatio n   t h at  o f ten   o cc u r s   in   m o s t  o f   th e   s eq 2 s eq   m o d e ls   th at   ar e  wid ely   u s ed   in   h ea d li n e  g e n er ati o n .   T h is   n o tab le   im p r o v em en t  s u g g ests   th at  th e   p r o p o s ed   m o d el  ca n   o v er co m e  th e  lar g e  v o ca b u lar y   s ize  r e q u ir em en t   in   t h e  em b ed d in g   l ay er s   o f   th e   m o d el,   wh ich   is   h elp f u l  f o r   th e  Ma lay   lan g u ag e  th at  h as  co m p le x   m o r p h o lo g ical  s tr u ctu r es.  B esid es   th at,   th e  ap p r o ac h   allo ws a  m o r e  co m p ac t r ep r es en tatio n   o f   t h e  v o ca b u lar y .       T ab le  3 .   Mo d el  an aly s is   f o r   t h e  m o d els   M o d e l   O O V   r a t e   ( %)   B i LST M   6 0 . 7   LSTM   7 4 . 7   M S A S - t a n h   1 5 . 5   M S A S - R e LU   1 4 . 5       I t  is   al s o   r ep o r ted   in   T ab le  2 ,   wh en   co m p ar in g   th e  two   M SAS  m o d els,  th e  R eL U  atten t io n   m o d el  d em o n s tr ates  s ig n if ican t   im p r o v em en t   in   t h e  n u m er ical   q u a n tity   o f   2 . 1 9   f o r   R OUGE - 1 ,   0 . 7 5   f o r   R OUGE - 2 ,   an d   2 . 1 2   f o r   R OUGE - L   co m p ar ed   to   MSAS - tan h .   Ad d itio n ally ,   th e   MSAS - R eL U  m o d el’ s   OOV   r ate  is   also   r ed u ce d   b y   1 . 0 0 %  an d   ex h ib its   g r ea t  co m p u tatio n al  ef f icien cy   th at  o n ly   r eq u ir es  6 1 6 . 6 3   s e co n d s   p er   ep o ch   f o r   tr ain in g   as  co m p a r ed   to   th e  M SAM - tan h   m o d el,   wh ich   r eq u ir es  an   av er ag e  o f   6 2 4 . 6   s ec o n d s .   T h ese  f in d in g s   in d icat e  th e  co m p u tatio n al  ef f icien cy   an d   ef f ec tiv en ess   o f   th e  MSAS - R eL U  m o d el  in   in f er en ce   an d   lear n in g   f r o m   d ata.   Fig u r e  2   s h o ws  t h e  ex am p le  o f   a   s u m m ar y   p r o d u c ed   b y   all  th e   m o d els  in   t h e  e x p er im en t.  Fr o m   t h e  s am p le,   th e  o u tp u t  f r o m   th e  L STM   ap p ea r s   to   h av e  th e  OOV  is s u e.   T h e  o u tp u t  o f   B iLST M  an d   MSAS - tan h   wer e  ab le  to   p r o d u ce   r elate d   h ea d lin e  b u t  th e   co n te x t  is   n o t  c o r r ec t.  T h e   MSAS - R eL U  m o d el  p r o d u ce d   a  m o r e   f lu en t h ea d lin e .       I 1 :   “ ta n a h   mera h   ma y a t  r ema ja   lela ki  ya n g   terj u n   ke   s u n g a i  j en o b   b u kit  b u n g a   d i  s in i  r a b u   l a lu   d itemu i  d u a   kilo mete r   d a r i  lo ka s i  ma n g s a   d ila p o r ka n   h ila n g   ke lma r in   ma n g s a   ya n g   b eru s ia   ta h u n   d itemu i  a n g g o ta   men ca r i  d a n   men ye la ma t  ja m  p eta n g   ke tu a   p o lis   d a era h   ta n a h   mera h   d e p u ti  s u p erin ten d a n   s u z a imi   mo h a ma d   b erka ta   ma ya t   ma n g s a   d itemu i  ters a n g k u t  p a d a   k a yu   d i  s u n g a i  b erken a a n   d a n   ma s ih   b erp a ka ia n   len g ka p   …”  [ 49 ]   G:   ma ya t rema ja   ters a n g ku t k a yu   B iL ST M :   ma ya t m a ya t d a la m   b ilik ta n d a s   L S T M :   u p d ate  OOV  OOV  O OV   M SA S - t a nh :   ma ya t rema ja   terj u n   s u n g a i     M SA S - ReLU:   ma ya t rema ja   d itemu i     I 2 :   “ s e r a m a i   a h l i   s i n d i k e t   m a c a u   s c a m   d i t a h a n   s e j a k   a w a l   t a h u n   i n i   m e m b a b i t k a n   k e r u g i a n   r m   j u t a   s e t a k a t   n o v e m b e r   s e l e p a s   m e m p e r d a y a   m a n g s a   d i   k e d a h   k e t u a   j a b a t a n   s i a s a t a n   j e n a y a h   k o m e r s i l   k e d a h   s u p e r i n t e n d a n   c h a n   t e c k   p a i n g   b e r k a t a   a n g k a   i t u   j u g a   m e n u n j u k k a n   p e n i n g k a t a n   b e r b a n d i n g   t a h u n   l a l u   … ”   [5 0 ]   G:   r a ma i o r a n g   ke d a h   ke n a   tip u   ma ca u   s ca m   B iL ST M :   p o lis   ca r i le la ki  w a r g a   a s in g   d ita h a n   L S T M :   OOV  O OV  OOV   M SA S - t a nh :   s in d iket  ma ca u   s ca m  d ita h a n   M SA S - ReLU:   s in d iket  ma ca u   s ca m  d icek u p     Fig u r e  2 .   E x am p le  h ea d lin e  p r o d u ce d .   I 1   a n d   I 2   ar e  t h e  in p u t,  an d   G  is   th e  ac tu al  h ea d lin e       B ased   o n   th e  f in d in g s ,   th e  M SAS - R eL U  m o d el  d em o n s tr ated   s u p er io r   p e r f o r m an ce ,   wh i ch   ca n   b e   attr ib u ted   to   s ev er al  f ac to r s .   A d o p tin g   th e  R eL U  atten tio n   s c o r e  m ec h an is m   lik ely   h el p s   allev iate  th e  v an is h in g   g r ad ien t   p r o b lem   a n d   m ain tai n s   b etter   g r ad ien t   f lo w   i n   t h e   b ac k p r o p a g atio n   in   t h e  m o d e l.  B esid es  th at,   th e  R eL U  f u n ctio n   is   m o r e  co m p u tatio n ally   ef f icien t  co m p ar ed   to   th e  T an h   f u n ctio n   d u e  to   its   s im p ler   m ath em atica l  o p er atio n s   th at  d ir ec tly   tr an s late  in to   th e  s am e  ex p ec tatio n   in   co m p u tatio n .   Ov er all,   we  s ee   a  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Ma la y  p h o n eme - b a s ed   s u b w o r d   n ews   h ea d lin e  g en era to r   fo r   lo w - r eso u r ce   la n g u a g e   ( Yeo n g   Ts a n n   P h u a )   4973   r ed u ctio n   i n   OOV  r ates,  wh ich   ca n   b e   r elate d   to   t h e  im p le m en tatio n   o f   th e  p h o n e m e - b a s ed   cu s to m   s u b wo r d   em b ed d in g .   T h is   ap p r o ac h   ef f ec tiv ely   ad d r ess es  th e  v o ca b u l ar y   lim itatio n   th r o u g h   th e   d ec o m p o s itio n   o f   w o r d s   in to   m an ag ea b le  s u b wo r d s .       5.   CO NCLU SI O N   T h is   p ap er   p r esen ts   a  co m p ar is o n   b etwe en   co n tem p o r a r y   R NN - b ased   m o d els  an d   th e   n ewly   p r o p o s ed   MSAS  m o d els  to   ad d r ess   th e   g en er ati o n   o f   Ma lay   lan g u a g e  n ews  h ea d lin es.  Du e   to   th e  lim itatio n   o f   th e   ex is ten ce   o f   a n   o p en   Ma la y   la n g u ag e   n ews  d ataset  av ailab le   f o r   th e  e x p er im e n t,  th e   two   R NN - b ased   m o d els  wer e  s et  to   th e  s am e   p r o p er t y   d ataset  th at  was  co llected   s p e cif ically   f o r   th is   r esear ch .   B ased   o n   th e   em p ir ical  ev alu atio n   o f   th e  e x p er im e n t  r esu lt,  th e   n ewly   p r o p o s e d   m o d el,   MSAS - R eL U,   d e m o n s tr ated   s u p er io r   p er f o r m an ce   o v e r   th e  B iLST M,   L STM ,   an d   MSAS - tan h   m o d els in   th e  ex p er im en ts .   T h e  MSAS - R eL U   m o d el   s h o ws  its   alg o r ith m ic  lea r n in g   an d   in f er en ce   ef f ec tiv e n ess ,   p a r ticu lar ly   in   th e   ar ea s   o f   im p r o v em en t  in   R OUGE   s co r es  an d   r ed u ctio n   o f   th e  O OV  r ate.   T h ese  n o tab le  ex p er i m en tal  ac h iev em en ts   clea r ly   h ig h lig h t  th e  p r o p o s ed   n ew  MSAS  h y b r id   ex tr ac t iv e  an d   ab s tr ac tiv e  s u m m ar izatio n   m o d els   im p lem en ted   to g eth er   with     p h o n e m e - b ased   s u b wo r d   em b ed d in g s   ar e   ab le   to   g en er ate  m o r e  ac c u r ate  n ews  h ea d lin e s   ev en   th o u g h   th e   p r o p o s ed   MSAS  m o d els  ar e  lear n in g   an d   in f e r en ce   in   d at asets   with   u n b alan ce d   co n s tr ain ts   o f   v o ca b u lar y   lim itatio n .   I n   s h o r t,  th e  p r o p o s ed   n ew  MSAS   m o d els  h av e  s ig n if ican tly   s o lv ed   th e  co m p lex   m o r p h o lo g ical   s tr u ctu r e  an d   lo w - r eso u r ce   tr a in in g   is s u e  co m m o n ly   f o u n d   i n   Ma lay   lan g u ag e - b ased   co m p u tatio n al  lin g u is tic  ap p licatio n s .   T h e  MSAS  m o d el ’ s   ex p er im en tal  s u cc ess   c lear ly   in d icate s   th at  it  i s   a  g u id elin e  f o r   o th er   r esear ch er s   to   im p le m en t  f u tu r e  Ma lay   lan g u ag e  NHG   alg o r i th m s   u s in g   MSAS  a s   th e  f o u n d atio n   m o d el.   Als o ,   th e  ac h iev em en t  o f   t h e  MSAS  r o le  m o d el  s o lid if ies  a  n ew  b en ch m ar k   f o r   Ma lay   MH G   task s .   T h is   r esear ch   p av es  th e  way   f o r   f u tu r e  Ma l ay   lan g u a g e  NHG   ex p lo r atio n   to   in v e n t  o th er   a d v an ce d   a n d   m o d er n   s eq 2 s eq   m o d els,  s p ec if ically   in   th e  lin g u is tic  ap p licatio n   u s in g   t h e  Ma lay   lan g u ag e .       ACK NO WL E DG E M E NT S   T h is   r esear ch   was  f u lly   f u n d ed   b y   th e  Yay asan   UT P - PR G  C y cle  2 0 2 2   ( 0 1 5 PB C - 0 0 5 )   an d   D ep ar tm en t   o f   C o m p u ter   a n d   I n f o r m atio n   Scien ce   at   Un iv er s iti  T ek n o lo g i  PET R ONAS.   T h e  au th o r s   wo u ld   lik e  to   th an k   Yay asan   UT P - PR G  f o r   s u p p o r tin g   th is   wo r k .       RE F E R E NC E S   [ 1 ]   G .   M .   M o n t e j o   a n d   T.   Q .   A d r i a n o ,   “ A   c r i t i c a l   d i s c o u r se  a n a l y si s  o f   h e a d l i n e s  i n   o n l i n e   n e w s  p o r t a l s, ”   J o u rn a l   o f   Ad v a n c e s  i n   H u m a n i t i e s  a n d   S o c i a l   S c i e n c e s ,   v o l .   4 ,   n o .   2 ,   A p r .   2 0 1 8 ,   d o i :   1 0 . 2 0 4 7 4 / j a h ss - 4 . 2 . 2 .   [ 2 ]   K .   K a i k h a h ,   “ A u t o m a t i c   t e x t   s u mm a r i z a t i o n   w i t h   n e u r a l   n e t w o r k s, ”   i n   2 0 0 4   2 n d   I n t e r n a t i o n a l   I E EE   C o n f e r e n c e   o n   ' I n t e l l i g e n t   S y s t e m s' ,   I EEE,   2 0 0 4 ,   p p .   4 0 – 4 4 .   d o i :   1 0 . 1 1 0 9 / I S . 2 0 0 4 . 1 3 4 4 6 3 4 .   [ 3 ]   O .   Ti l k   a n d   T .   A l u m ä e ,   “ L o w - r e s o u r c e   n e u r a l   h e a d l i n e   g e n e r a t i o n , ”   a rX i v - C o m p u t e r  S c i e n c e ,  p p .   1 - 7 ,   Ju l .   2 0 1 7 ,  d o i :  1 0 . 4 8 5 5 0 / a r X i v . 1 7 0 7 . 0 9 7 6 9 .   [ 4 ]   R .   Z h a n g ,   J.  G u o ,   Y .   F a n ,   Y .   La n ,   a n d   X .   C h e n g ,   “ S t r u c t u r e   l e a r n i n g   f o r   h e a d l i n e   g e n e r a t i o n , ”   Pr o c e e d i n g s  o f   t h e   AAAI  C o n f e r e n c e   o n   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   3 4 ,   n o .   5 ,   p p .   9 5 5 5 – 9 5 6 2 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 4 i 0 5 . 6 5 0 1 .   [ 5 ]   B .   K .   B o g u r a e v   a n d   M .   S .   N e f f ,   “ D i s c o u r se  se g me n t a t i o n   i n   a i d   o f   d o c u me n t   su m mari z a t i o n , ”   i n   Pro c e e d i n g s   o f   t h e   3 3 r d   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y st e m   S c i e n c e s ,   I EEE  C o m p u t .   S o c ,   2 0 0 0 ,   d o i :   1 0 . 1 1 0 9 / H I C S S . 2 0 0 0 . 9 2 6 6 8 7 .   [ 6 ]   Z.   Li ,   J.  W u ,   J.  M i a o ,   a n d   X .   Y u ,   “ N e w s  h e a d l i n e   g e n e r a t i o n   b a se d   o n   i m p r o v e d   d e c o d e r   f r o m  t r a n sf o r m e r , ”   S c i e n t i f i c   R e p o rt s ,   v o l .   1 2 ,   n o .   1 ,   J u l .   2 0 2 2 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 9 8 - 022 - 1 5 8 1 7 - z.   [ 7 ]   D .   B a h d a n a u ,   K .   C h o ,   a n d   Y .   B e n g i o ,   “ N e u r a l   m a c h i n e   t r a n s l a t i o n   b y   j o i n t l y   l e a r n i n g   t o   a l i g n   a n d   t r a n s l a t e , ”   a rX i v - C o m p u t e r   S c i e n c e ,  p p .   1 - 1 5 ,   S e p .   2 0 1 4 ,  d o i :  1 0 . 4 8 5 5 0 / a r X i v . 1 4 0 9 . 0 4 7 3 .   [ 8 ]   E.   M .   I z h i k e v i c h ,   “ S i m p l e   m o d e l   o f   s p i k i n g   n e u r o n s, ”   I EE E  T r a n sa c t i o n s  o n   N e u ra l   N e t w o rks ,   v o l .   1 4 ,   n o .   6 ,   p p .   1 5 6 9 – 1 5 7 2 ,   N o v .   2 0 0 3 ,   d o i :   1 0 . 1 1 0 9 / TN N . 2 0 0 3 . 8 2 0 4 4 0 .   [ 9 ]   R .   N a l l a p a t i ,   B .   Zh o u ,   C .   D.   S a n t o s,  C .   G u l c e h r e ,   a n d   B .   X i a n g ,   “ A b st r a c t i v e   t e x t   s u mm a r i z a t i o n   u si n g   se q u e n c e - t o - seq u e n c e   R N N s   a n d   b e y o n d , ”   i n   T h e   2 0 t h   S I G N L L   C o n f e re n c e   o n   C o m p u t a t i o n a l   N a t u ra l   L a n g u a g e   L e a r n i n g ,   S t r o u d sb u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   Li n g u i st i c s ,   2 0 1 6 ,   p p .   2 8 0 – 290 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / K 1 6 - 1 0 2 8 .   [ 1 0 ]   M .   B a n k o ,   V .   O .   M i t t a l ,   a n d   M .   J .   W i t b r o c k ,   “ H e a d l i n e   g e n e r a t i o n   b a se d   o n   st a t i st i c a l   t r a n s l a t i o n , ”   i n   P ro c e e d i n g s  o f   t h e   3 8 t h   An n u a l   Me e t i n g   o n   Asso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s - A C L   ’ 0 0 ,   M o r r i st o w n ,   N J ,   U S A :   A sso c i a t i o n   f o r   C o mp u t a t i o n a l   Li n g u i s t i c s,  2 0 0 0 ,   p p .   3 1 8 – 3 2 5 ,   d o i :   1 0 . 3 1 1 5 / 1 0 7 5 2 1 8 . 1 0 7 5 2 5 9 .   [ 1 1 ]   D .   Za j i c ,   B .   D o r r ,   a n d   R .   S c h w a r t z ,   “ A u t o m a t i c   h e a d l i n e   g e n e r a t i o n   f o r   n e w s p a p e r   st o r i e s, ”   i n   Pr o c e e d i n g s  o f   t h e   AC L - 2 0 0 2   Wo r k sh o p   o n   T e x t   S u m m a ri z a t i o n ,   2 0 0 2 .   [ 1 2 ]   A .   K a r a k a n t a ,   J.   D e h d a r i ,   a n d   J .   V.   G e n a b i t h ,   “ N e u r a l   m a c h i n e   t r a n s l a t i o n   f o r   l o w - r e s o u r c e   l a n g u a g e s   w i t h o u t   p a r a l l e l   c o r p o r a , ”   Ma c h i n e   T r a n s l a t i o n ,   v o l .   3 2 ,   n o .   1 – 2 ,   p p .   1 6 7 – 1 8 9 ,   J u n .   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 5 9 0 - 0 1 7 - 9 2 0 3 - 5.   [ 1 3 ]   U .   K u mar,  V .   S i n g h ,   C .   A n d r e w ,   S .   R e d d y ,   a n d   A .   D a s,  “ C o n s o n a n t - v o w e l   seq u e n c e s  a s  s u b w o r d   u n i t s  f o r   c o d e - mi x e d   l a n g u a g e s,”   i n   32 nd   AAAI  C o n f e r e n c e   o n   Ar t i f i c i a l   I n t e l l i g e n c e ,   A AAI  2 0 1 8 ,   2 0 1 8 ,   p p .   8 1 0 3 – 8 1 0 4 ,   d o i :   1 0 . 1 6 0 9 / a a a i . v 3 2 i 1 . 1 2 1 9 3 .   [ 1 4 ]   O .   K w o n ,   D .   K i m,   S .   R .   L e e ,   J .   C h o i ,   a n d   S .   K .   L e e ,   “ H a n d l i n g   o u t - of - v o c a b u l a r y   p r o b l e m   i n   h a n g e u l   w o r d   e m b e d d i n g s , ”   i n   EAC L   2 0 2 1 - 1 6 t h   C o n f e re n c e   o f   t h e   Eu r o p e a n   C h a p t e r   o f   t h e   Ass o c i a t i o n   f o r C o m p u t a t i o n a l   L i n g u i s t i c s ,   Pr o c e e d i n g s o f   t h e   C o n f e re n c e ,  2 0 2 1 ,   p p .   3 2 1 3 – 3 2 2 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . e a c l - ma i n . 2 8 0 .   [ 1 5 ]   A y a n a   e t   a l . ,   “ R e c e n t   a d v a n c e s   o n   n e u r a l   h e a d l i n e   g e n e r a t i o n , ”   J o u r n a l   o f   C o m p u t e r   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   3 2 ,   n o .   4 ,   p p .   7 6 8 – 7 8 4 ,   J u l .   2 0 1 7 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 3 9 0 - 017 - 1 7 5 8 - 3.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.   13 ,   No .   4 ,  Dec em b er   2 0 2 4 :  4 9 6 5 - 4 9 7 5   4974   [ 1 6 ]   B .   D o r r ,   D .   Za j i c ,   a n d   R .   S c h w a r t z ,   “ H e d g e   t r i mm e r , ”   i n   Pr o c e e d i n g s  o f   t h e   H L T - N AA C L   0 3   o n   T e x t   s u m m a r i za t i o n   w o rks h o p ,  M o r r i st o w n ,   N J,  U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,   2 0 0 3 ,   p p .   1 – 8 ,   d o i :   1 0 . 3 1 1 5 / 1 1 1 9 4 6 7 . 1 1 1 9 4 6 8 .   [ 1 7 ]   A .   K .   G a t t a n i ,   “ A u t o ma t e d   n a t u r a l   l a n g u a g e   h e a d l i n e   g e n e r a t i o n   u s i n g   d i s c r i mi n a t i v e   mac h i n e   l e a r n i n g   m o d e l s , ”   M . S c .   T h e s i s ,   S c h o o l   o f   C o m p u t i n g   S c i e n c e ,   S i m o n   F r a ser U n i v e r si t y ,  B u r n a b y ,   C a n a d a ,   2 0 1 7 .   [ 1 8 ]   M .   H a sse l   a n d   N .   M a z d a k ,   “ F a r s i S u m,”   i n   Pr o c e e d i n g s   o f   t h e   Wo r k sh o p   o n   C o m p u t a t i o n a l   A p p ro a c h e s   t o   Ar a b i c   S c ri p t - b a s e d   L a n g u a g e s - S e m i t i c   ’ 0 4 ,   M o r r i st o w n ,   N J,  U S A :   A ss o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,  2 0 0 4 ,   d o i :   1 0 . 3 1 1 5 / 1 6 2 1 8 0 4 . 1 6 2 1 8 2 6 .   [ 1 9 ]   B .   D o r r ,   D .   Za j i c ,   a n d   R .   S c h w a r t z ,   “ C r o ss - l a n g u a g e   h e a d l i n e   g e n e r a t i o n   f o r   H i n d i , ”   AC M  T r a n sa c t i o n s   o n   Asi a n   L a n g u a g e   I n f o rm a t i o n   Pr o c e ssi n g ,   v o l .   2 ,   n o .   3 ,   p p .   2 7 0 – 2 8 9 ,   S e p .   2 0 0 3 ,   d o i :   1 0 . 1 1 4 5 / 9 7 9 8 7 2 . 9 7 9 8 7 8 .   [ 2 0 ]   C .   A .   C o l me n a r e s,  M .   Li t v a k ,   A .   M a n t r a c h ,   a n d   F .   S i l v e st r i ,   “ H EA D S :   h e a d l i n e   g e n e r a t i o n   a s  se q u e n c e   p r e d i c t i o n   u si n g   a n   a b st r a c t   f e a t u r e - r i c h   sp a c e , ”   i n   Pro c e e d i n g s   o f   t h e   2 0 1 5   C o n f e re n c e   o f   t h e   N o rt h   A m e ri c a n   C h a p t e r  o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   S t r o u d s b u r g ,   P A ,   U S A :   A ss o c i a t i o n   f o r   C o mp u t a t i o n a l   Li n g u i st i c s ,   2 0 1 5 ,   p p .   1 3 3 – 1 4 2 ,   d o i :   1 0 . 3 1 1 5 / v 1 / N 1 5 - 1 0 1 4 .   [ 2 1 ]   I .   M a n i ,   Au t o m a t i c   S u m m a r i z a t i o n ,   A mste r d a m :   J o h n   B e n j a mi n s P u b l i sh i n g   C o m p a n y ,   2 0 0 1 ,   d o i :   1 0 . 1 0 7 5 / n l p . 3 .   [ 2 2 ]   S .   C h o p r a ,   M .   A u l i ,   a n d   A .   M .   R u s h ,   “ A b st r a c t i v e   se n t e n c e   s u mm a r i z a t i o n   w i t h   a t t e n t i v e   r e c u r r e n t   n e u r a l   n e t w o r k s , ”   i n   Pro c e e d i n g s   o f   t h e   2 0 1 6   C o n f e re n c e   o f   t h e   N o rt h   Am e ri c a n   C h a p t e r   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s ,   S t r o u d s b u r g ,   P A ,   U S A :   A sso c i a t i o n   f o r   C o mp u t a t i o n a l   Li n g u i st i c s,   2 0 1 6 ,   p p .   9 3 – 98 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 6 - 1 0 1 2 .   [ 2 3 ]   N .   S .   K a r i m,   F .   M .   O n n ,   H .   H .   M u sa ,   a n d   A .   H .   M a h m o o d ,   H a l l   g r a m m a r  t h i r d   e d i t i o n   ( i n   M a l a y :  T a t a b a h a s a   d e w a n   e d i si   k e t i g a ) ,  K u a l a   L u m p u r ,   M a l a y si a :   D e w a n   B a h a sa  D a n   P u s t a k a ,   2 0 1 5 .   [ 2 4 ]   N .   M .  A w a l ,   K .   A .   B a k a r ,   N .   Z.   A .   H a mi d ,   a n d   N .   H .   Ja l a l u d d i n ,   “ M o r p h o l o g i c a l   d i f f e r e n c e s b e t w e e n   b a h a s a   m e l a y u   a n d   e n g l i s h :   c o n st r a i n t s  i n   st u d e n t s’   u n d e r st a n d i n g , ”   S c h o o l   o f   L a n g u a g e   S t u d i e s   & L i n g u i s t i c s ,   U n i v e rs i t i   U t a r a   M a l a y si a ,   p p .   1 - 1 1 ,   2 0 0 7 .   [ 2 5 ]   S .   A .   M .   N o a h ,   N .   M .   A l i ,   a n d   M .   S .   H a sa n ,   “ D e t e r m i n i n g   f e a t u r e s  o f   n e w s  h e a d l i n e   i n   M a l a y   n e w s  d o c u m e n t   ( i n   M a l a y :   P e n e n t u a n   f i t u r  b a g i   p e n g e k st r a k a n   t a j u k   b e r i t a   a k h b a r  b a h a s a   m e l a y u ) , ”   J o u r n a l   o f   L a n g u a g e   S t u d i e s ,   v o l .   1 8 ,   n o .   2 ,   p p .   1 5 4 – 1 6 7 ,   2 0 1 8 ,   d o i :   1 0 . 1 7 5 7 6 / g e ma - 2 0 1 8 - 1 8 0 2 - 1 1 .   [ 2 6 ]   S .   A l i a s ,   S .   K .   M o h a mm a d ,   G .   K .   H o o n ,   a n d   M .   S .   S a i n i n ,   “ U n d e r st a n d i n g   h u m a n   s e n t e n c e   c o mp r e ssi o n   p a t t e r n   f o r   M a l a y   t e x t   su mm a r i z e r , ”   i n   2 0 1 8   F o u rt h   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n f o rm a t i o n   R e t r i e v a l   a n d   K n o w l e d g e   Ma n a g e m e n t   ( C A MP ) ,   I EEE,   M a r .   2 0 1 8 ,   p p .   1 – 6 ,   d o i :  1 0 . 1 1 0 9 / I N F R K M . 2 0 1 8 . 8 4 6 4 7 8 8 .   [ 2 7 ]   M .   S .   H a sa n ,   S .   A .   M .   N o a h ,   a n d   N .   M .   A l i ,   “ M a l a y   t e x t   f e a t u r e s   f o r   a u t o mat i c   n e w s   h e a d l i n e   g e n e r a t i o n , ”   J o u rn a l   o f   T h e o re t i c a l   a n d   Ap p l i e d   I n f o rm a t i o n   T e c h n o l o g y ,   v o l .   7 6 ,   n o .   1 ,   p p .   3 6 – 4 1 ,   2 0 1 5 .   [ 2 8 ]   R .   S i d d a l i n g a p p a   a n d   K .   S e k a r ,   “ B i - d i r e c t i o n a l   l o n g   s h o r t   t e r m  m e m o r y   u si n g   r e c u r r e n t   n e u r a l   n e t w o r k   f o r   b i o l o g i c a l   e n t i t y   r e c o g n i t i o n , ”   I AE S   I n t e r n a t i o n a l   J o u rn a l   o f   Art i f i c i a l   I n t e l l i g e n c e   ( I J - AI ) ,   v o l .   1 1 ,   n o .   1 ,   p p .   8 9 – 1 0 1 ,   M a r .   2 0 2 2 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 1 . i 1 . p p 8 9 - 1 0 1 .   [ 2 9 ]   S .   H o c h r e i t e r   a n d   J .   S c h m i d h u b e r ,   “ L o n g   sh o r t - t e r m m e m o r y , ”   N e u r a l   C o m p u t a t i o n ,   v o l .   9 ,   n o .   8 ,   p p .   1 7 3 5 – 1 7 8 0 ,   N o v .   1 9 9 7 ,   d o i :   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 .   [ 3 0 ]   E .   M a t h e w   a n d   S .   A b d u l l a ,   “ T h e   L S T M   t e c h n i q u e   f o r   d e m a n d   f o r e c a s t i n g   o f   e - p r o c u r e m e n t   i n   t h e   h o s p i t a l i t y   i n d u s t r y   i n   t h e   U A E , ”   I A E S   I n t e r n a t i o n a l   J o u r n a l   o f   A r t i f i c i a l   I n t e l l i g e n c e   ( I J - A I ) ,   v o l .   9 ,   n o .   4 ,   p p .   7 5 7 – 7 6 5 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 9 . i 4 . p p 7 5 7 - 7 6 5 .   [ 3 1 ]   M .   S c h u st e r   a n d   K .   K .   P a l i w a l ,   “ B i d i r e c t i o n a l   r e c u r r e n t   n e u r a l   n e t w o r k s, ”   I EEE  T r a n s a c t i o n s  o n   S i g n a l   Pro c e ss i n g ,   v o l .   4 5 ,   n o .   1 1 ,   p p .   2 6 7 3 – 2 6 8 1 ,   1 9 9 7 ,   d o i :   1 0 . 1 1 0 9 / 7 8 . 6 5 0 0 9 3 .   [ 3 2 ]   K .   C h o   e t   a l . ,   “ Le a r n i n g   p h r a se  r e p r e s e n t a t i o n s   u s i n g   R N N   e n c o d e r – d e c o d e r   f o r   st a t i st i c a l   m a c h i n e   t r a n s l a t i o n , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 1 4   C o n f e re n c e   o n   Em p i r i c a l   M e t h o d s  i n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g   ( EM N L P) ,   S t r o u d sb u r g ,   P A ,   U S A :   A ss o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,  2 0 1 4 ,   p p .   1 7 2 4 – 1 7 3 4 ,   d o i :   1 0 . 3 1 1 5 / v 1 / D 1 4 - 1 1 7 9 .   [ 3 3 ]   Y .   B e n g i o ,   R .   D u c h a r m e ,   a n d   P .   V i n c e n t ,   “ A   n e u r a l   p r o b a b i l i st i c   l a n g u a g e   mo d e l , ”   A d v a n c e s  i n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y s t e m s ,   2 0 0 1 .   [ 3 4 ]   J.  P e n n i n g t o n ,   R .   S o c h e r ,   a n d   C .   M a n n i n g ,   “ G l o v e :   g l o b a l   v e c t o r s  f o r   w o r d   r e p r e s e n t a t i o n , ”   i n   Pr o c e e d i n g s   o f   t h e   2 0 1 4   C o n f e r e n c e   o n   Em p i r i c a l   M e t h o d s   i n   N a t u r a l   L a n g u a g e   Pr o c e ssi n g   ( E MN L P) ,   S t r o u d s b u r g ,   P A ,   U S A :   A ss o c i a t i o n   f o r   C o mp u t a t i o n a l   Li n g u i s t i c s,  2 0 1 4 ,   p p .   1 5 3 2 – 1 5 4 3 ,   d o i :   1 0 . 3 1 1 5 / v 1 / D 1 4 - 1 1 6 2 .   [ 3 5 ]   S .   N i e ß e n   a n d   H .   N e y ,   “ I mp r o v i n g   S M T  q u a l i t y   w i t h   mo r p h o - s y n t a c t i c   a n a l y si s , ”   i n   Pro c e e d i n g s  o f   t h e   1 8 t h   c o n f e r e n c e   o n   C o m p u t a t i o n a l   l i n g u i st i c s ,   M o r r i s t o w n ,   N J ,   U S A :   A ss o c i a t i o n   f o r   C o mp u t a t i o n a l   Li n g u i st i c s ,   2 0 0 0 ,   d o i :   1 0 . 3 1 1 5 / 9 9 2 7 3 0 . 9 9 2 8 0 9 .   [ 3 6 ]   P .   K o e h n   a n d   K .   K n i g h t ,   “ Em p i r i c a l   met h o d s  f o r   c o mp o u n d   s p l i t t i n g , ”   i n   P ro c e e d i n g s  o f   t h e   t e n t h   c o n f e r e n c e   o n   Eu r o p e a n   c h a p t e r   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s - EA C L   ’ 0 3 ,   M o r r i s t o w n ,   N J,  U S A :   A sso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,   2 0 0 3 ,   d o i :   1 0 . 3 1 1 5 / 1 0 6 7 8 0 7 . 1 0 6 7 8 3 3 .   [ 3 7 ]   S .   V i r p i o j a ,   J.  J .   V ä y r y n e n ,   M .   C r e u t z ,   a n d   M .   S a d e n i e m i ,   “ M o r p h o l o g y - a w a r e   st a t i st i c a l   m a c h i n e   t r a n sl a t i o n   b a se d   o n   m o r p h s   i n d u c e d   i n   a n   u n su p e r v i s e d   ma n n e r , ”   i n   Pro c e e d i n g s   o f   t h e   M a c h i n e   T r a n s l a t i o n   S u m m i t   XI ,   p p .   4 9 1 – 4 9 8 ,   2 0 0 7 .   [ 3 8 ]   D .   S t a l l a r d ,   J .   D e v l i n ,   M .   K a y ser,  Y .   K .   Le e ,   a n d   R .   B a r z i l a y ,   “ U n s u p e r v i s e d   m o r p h o l o g y   r i v a l s  s u p e r v i se d   m o r p h o l o g y   f o r   A r a b i c   M T, ”   i n   5 0 t h   A n n u a l   Me e t i n g   o f   t h e   A sso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i s t i c s,  A C L   2 0 1 2 - P ro c e e d i n g s  o f   t h e   C o n f e re n c e ,   p p .   3 2 2 – 3 2 7 ,   2 0 1 2 .   [ 3 9 ]   P .   Y .   Ts a n n ,   Y .   K .   H o o i ,   M .   F .   H a ss a n ,   a n d   M .   T .   Y .   W o o i ,   “ L e a d i n g   s e n t e n c e   n e w s   T e x t R a n k , ”   i n   2 0 2 1   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n t e l l i g e n t   C y b e rn e t i c s  T e c h n o l o g y   a n d   Ap p l i c a t i o n s  ( I C I C y T A) ,   I EEE,   D e c .   2 0 2 1 ,   p p .   9 2 – 95 ,   d o i :  1 0 . 1 1 0 9 / I C I C y TA 5 3 7 1 2 . 2 0 2 1 . 9 6 8 9 1 8 6 .   [ 4 0 ]   L.   W .   L e e ,   H .   M .   L o w ,   a n d   A .   R .   M o h a m e d ,   “ A   c o m p a r a t i v e   a n a l y s i s  o f   w o r d   s t r u c t u r e s  i n   M a l a y   a n d   E n g l i s h   s t o r y b o o k s  s o c i a l   sci e n c e s  a n d   h u ma n i t i e s  a   c o m p a r a t i v e   a n a l y s i s  o f   w o r d   st r u c t u r e s   i n   M a l a y   a n d   E n g l i sh   c h i l d r e n ’ s   s t o r i e s,”   Pe r t a n i k a   J o u rn a l   o f   S o c i a l   S c i e n c e ,   p p .   6 7 – 8 4 ,   2 0 1 3 .   [ 4 1 ]   L.   W .   L e e ,   “ D e v e l o p me n t   a n d   v a l i d a t i o n   o f   a   r e a d i n g - r e l a t e d   a ss e ssm e n t   b a t t e r y   i n   M a l a y   f o r   t h e   p u r p o s e   o f   d y s l e x i a   a ssessm e n t , ”   An n a l s  o f   D y sl e x i a ,   v o l .   5 8 ,   n o .   1 ,   p p .   3 7 – 5 7 ,   J u n .   2 0 0 8 ,   d o i :   1 0 . 1 0 0 7 / s1 1 8 8 1 - 0 0 7 - 0 0 1 1 - 0.   [ 4 2 ]   S .   S .  - S h w a r t z   a n d   T.   Z h a n g ,   “ A c c e l e r a t e d   p r o x i ma l   s t o c h a s t i c   d u a l   c o o r d i n a t e   a s c e n t   f o r   r e g u l a r i z e d   l o s s  mi n i mi z a t i o n , ”   Ma t h e m a t i c a l   Pr o g ra m m i n g ,   v o l .   1 5 5 ,   p p .   1 0 5 – 1 4 5 ,   Ja n .   2 0 1 6 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 1 0 7 - 0 1 4 - 0 8 3 9 - 0.   [ 4 3 ]   V .   A sh i sh ,   “ A t t e n t i o n   i s   a l l   y o u   n e e d , ”   A d v a n c e s   i n   n e u r a l   i n f o rm a t i o n   p ro c e ssi n g   s y st e m s ,   v o l .   3 0 ,   2 0 1 7 .   [ 4 4 ]   H .   C h o i ,   K .   C h o ,   a n d   Y .   B e n g i o ,   “ F i n e - g r a i n e d   a t t e n t i o n   mec h a n i sm  f o r   n e u r a l   ma c h i n e   t r a n s l a t i o n , ”   N e u ro c o m p u t i n g ,   v o l .   2 8 4 ,   p p .   1 7 1 – 1 7 6 ,   A p r .   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 8 . 0 1 . 0 0 7 .   [ 4 5 ]   Y .   Y u ,   K .   A d u ,   N .   Ta s h i ,   P .   A n o k y e ,   X .   W a n g ,   a n d   M .   A .   A y i d z o e ,   “ R M A F :   r e l u - memr i st o r - l i k e   a c t i v a t i o n   f u n c t i o n   f o r   d e e p   l e a r n i n g , ”   I EEE   Ac c e ss ,   v o l .   8 ,   p p .   7 2 7 2 7 – 7 2 7 4 1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 2 9 8 7 8 2 9 .   [ 4 6 ]   T.   S z a n d a ł a ,   “ R e v i e w   a n d   c o m p a r i so n   o f   c o mm o n l y   u s e d   a c t i v a t i o n   f u n c t i o n s  f o r   d e e p   n e u r a l   n e t w o r k s , ”   i n   S t u d i e s  i n   C o m p u t a t i o n a l   I n t e l l i g e n c e ,   2 0 2 1 ,   p p .   2 0 3 – 2 2 4 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 15 - 5 4 9 5 - 7 _ 1 1 .   [ 4 7 ]   Y .   T .   P h u a ,   S .   N a v a r a t n a m ,   C . - M .   K a n g ,   a n d   W . - S .   C h e ,   “ S e q u e n c e - to - s e q u e n c e   n e u r a l   m a c h i n e   t r a n s l a t i o n   f o r   E n g l i s h - M a l a y , ”   I A E S   I n t e r n a t i o n a l   J o u r n a l   o f   A r t i f i c i a l   I n t e l l i g e n c e   ( I J - A I ) ,   v o l .   1 1 ,   n o .   2 ,   p p .   6 5 8 – 6 6 5 ,   J u n .   2 0 2 2 ,   d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 1 . i 2 . p p 6 5 8 - 6 6 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.