T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   3 J u n e   2 0 2 1 ,   p p .   7 5 4 ~7 6 1   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 9 i 3 . 1 8 3 5 6     754       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d ex . p h p /TELK OM N I K A   Summ a riza tion o C O VID - 19  news  docum ents   deep learning - ba sed usin g  t ra nsfo r mer archit ectu re       Nur  H a y a t in,  K ha rism a   M uza k i G hu f ro n,  G a lih   Wa s is   Wica k s o no   De p a rtme n o In fo rm a ti c s,  F a c u l ty   o f   En g i n e e rin g ,   Un i v e rsity   o M u h a m m a d iy a h   M a lan g ,   I n d o n e s ia       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   J u l 2 5 ,   2 0 2 0   R ev is ed   Oct  1 2 ,   2 0 2 0   Acc ep ted   Oct  2 3 ,   2 0 2 0       F a c in g   t h e   n e ws   o n   th e   i n tern e a b o u th e   s p re a d in g   o C o ro n a   v ir u d ise a se   2 0 1 9   (COV ID - 1 9 )   is  c h a ll e n g i n g   b e c a u se   it   is   re q u ire d   a   lo n g   t ime   to   g e v a lu a b le   in f o rm a ti o n   fr o m   th e   n e ws .   De e p   lea rn i n g   h a a   sig n ifi c a n imp a c o n   NLP   re se a rc h .   Ho we v e r,   t h e   d e e p   lea rn i n g   m o d e ls  u se d   in   se v e r a stu d ies ,   e sp e c ially   i n   d o c u m e n t   su m m a ry ,   stil l   h a v e   a   d e fici e n c y .   F o r   e x a m p le,  t h e   m a x imu m   o u t p u t   o lo n g   te x p ro v id e i n c o rre c tl y .   Th e   o th e re su lt a re   re d u n d a n t,   o th e   c h a ra c ters   re p e a t e d ly   a p p e a re d   so   t h a th e   re su lt i n g   se n ten c e we re   les o rg a n ize d ,   a n d   th e   re c a ll   v a lu e   o b tain e d   wa lo w.   Th is  stu d y   a ims   t o   s u m m a rize   u sin g   a   d e e p   lea rn in g   m o d e imp lem e n ted   to   COV I D - 1 9   n e ws   d o c u m e n ts.  We  p ro p o se d   tran sfo rm e r   a b a se   lan g u a g e   m o d e ls   with   a rc h it e c tu ra m o d ifi c a ti o n   a s   th e   b a sis  f o r   d e sig n in g   th e   m o d e l   t o   imp ro v e   re su lt sig n i fica n tl y   in   d o c u m e n su m m a riza ti o n .   We   m a k e   a     tran sfo rm e r - b a se d   a rc h it e c tu re   m o d e wit h   e n c o d e a n d   d e c o d e t h a c a n   b e   d o n e   se v e ra ti m e re p e a ted ly   a n d   m a k e   a   c o m p a riso n   o la y e m o d ifi c a ti o n b a se d   o n   sc o rin g .   F r o m   th e   re su lt in g   e x p e rime n u se d ,   RO UG E - 1   a n d   ROU G E - 2   sh o t h e   g o o d   p e rfo r m a n c e   fo th e   p ro p o se d   m o d e with   sc o re 0 . 5 8   a n d   0 . 4 2 ,   re sp e c ti v e l y ,   with   a   train in g   ti m e   o 1 1 4 3 8   se c o n d s.  Th e   m o d e l   p ro p o se d   wa e v id e n tl y   e ffe c ti v e   in   imp r o v i n g   re su lt   p e rfo r m a n c e   in   a b stra c ti v e   d o c u m e n su m m a riza ti o n .   K ey w o r d s :   C OVI D - 19   Dee p   lear n in g     New s   s u m m ar izatio n   T r an s f o r m e r   ar ch itectu r e   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kh ar is m Mu za k i G h u f r o n   Dep ar tm en t o f   I n f o r m atics   Un iv er s ity   o f   Mu h am m ad i y ah   Ma lan g   C am p u s   I I I   UM M ,   2 4 6   R ay T lo g o m as   St. Ma lan g ,   J awa   T im u r   6 5 1 4 4 ,   I n d o n esia   E m ail:  k h ar is m a. m u za k i@ we b m ail. u m m . ac . i d       1.   I NT RO D UCT I O N     I n   ea r ly   2 0 2 0   th e   wo r ld   was  h it  b y   C o r o n a   v ir u s   d is ea s 2 0 1 9   ( C OVI D - 1 9 )   p an d e m ic,   wh i ch   af f ec ted   g lo b al  life .   All  p e o p le  with   v ar io u s   b ac k g r o u n d s   an d   f ield s   o f   s cien ce   d is cu s s   C OVI D - 1 9   p a n d em ic,   b o t h   th r o u g h   s o cial  m ed ia  an d   web   n ews.  L ik ewise,   with   d ata  s cien tis ts ,   s ev er al  s tu d ies p r im ar ily   r elate d   to   n atu r al  lan g u ag p r o ce s s in g   ( NL P)  o n   C OVI D - 1 9   also   b eg an   to   b ca r r ied   o u t .   S u c h   as  p r ed ict iv m o d els  th at  ca n   esti m ate  r etu r n s   o n   s to ck s   f r o m   co u n tr ies  m o s af f ec ted   b y   t h C OVI D - 1 9   p an d em ic   [ 1 ] ,   also   m o d eled   ca u s ality   u s in g   n e u r al  n etwo r k s   t o   e x p l o r m is in f o r m atio n   o n   s o cial  m ed ia  d u r in g   th e   C OVI D - 1 9   p an d em ic   [ 2 ] .   As  f a r   as  o u r   o b s er v atio n ,   n o n o f   th ese  s tu d ies  r elate d   to   th C OV I D - 1 9   n ews  d o cu m en h as  b ee n   d o n e   p r ev i o u s ly Me an wh ile,   o n e   o f   th e   n ews  m ed ia  tr en d s   r ec en tly   is   th p u b licatio n   o f   n ews  d o c u m en ts   ab o u t   C OVI D - 19 ,   w h ich   was r elea s ed   q u ick ly   an d   u p d ated   ev e r y   d ay ,   s o   th at  th r elea s r esu lted   in   lo t o f   d a ta  an d   n ews a b o u t   th C OVI D - 1 9 .   T h is   was  p r o o f ed   b y   t h s ea r ch   r esu lts   f r o m   th Go o g le  s ea r ch   e n g in th at  g av lo o f   o u t p u t   ab o v e   6   b i llio n   d o cu m e n ts   f o r   C OVI D - 1 9   k ey wo r d s   th at   ar e   ac ce s s ed   i n   J u ly   2 0 2 0 .   T h is   is   ch allen g e   in   h o w   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S u mma r iz a tio n   o f COVI D - 1 9   n ews   d o cu men ts   d ee p   lea r n in g - b a s ed   u s in g … ( N u r   Ha ya tin )   755   to   b ab le  to   f in d   th r elev an in f o r m atio n   f r o m   th d o cu m en co llectio n ,   esp ec ially   f r o m   th n ews  d o cu m en ts .   New s   d o cu m en ts   ar o n o f   t h m an y   u n s tr u ctu r ed   d ata  th at  ar f o u n d   a n d   ea s ily   ac ce s s ed   o n   th i n ter n et.   Mu ltip le  ty p es  o f   d ata  th at   ar s ca tter ed   o n   th e   in ter n et,   in clu d i n g   n ews  d o cu m e n ts ,   in cr ea s r ap id     g r o wth   [ 3 ,   4 ]   an d   in cr ea s ex p o n en tially   [ 4 ] .   W ith   th r ap id   g r o wth   o f   d ata ,   th s u m m ar iza tio n   o f   i n f o r m atio n   b ec o m es  im p o r tan to   m ee t h n ee d s   o f   in ter n et  u s er s .   I n   s u m m ar izin g   d o c u m en ts ,   two   t y p es  ca n   b u s ed ,   n am ely   ab s tr ac tiv an d   ex tr ac tiv e.   An   ex tr ac tiv s u m m ar y   is   co n cise  tex m eth o d   wh ic h   co n s is ts   o f   th r ee   s tag es:  tex r ep r esen tatio n ,   s en ten ce   ev alu atio n ,   an d   s en ten ce   s elec tio n   u s in g   s tatis tical  m o d el   [ 5 ] .   Ab s tr ac tiv e   s u m m ar izatio n   wo r k s   b y   p r o d u cin g   n ew  s en ten ce s   in   s u m m ar y   b ased   o n   an   ex is tin g   te x b y   r ep ea tin g   n ew  wo r d s   as a n   ex tr ac tio n   ac t   [ 6 ] .   Sev er al  s tu d ies  o n   ab s tr ac tiv n ews  s u m m ar ies  u s in g   d ee p   lear n in g   h av b ee n   d o n p r ev io u s ly .   Ab s tr ac tiv s u m m ar izatio n s   wer e   co n d u cted   o n   th C h in ese  n ews  d ataset  u s in g   p u b l ic  o p in io n   [ 7 ] Me an wh ile,   o th er   r esear ch   f o cu s ed   o n   th e   k ey wo r d s   th at   ex is in   t h te x s en ten ce s   th at  ca n   wo r k   ef f ec tiv ely   to   p r o d u ce   in ter p r eted   tex ts   [ 8 ] T h o t h er   m o d el  th at  was  u s ed   f o r   ab s tr ac tiv n ews  s u m m ar y   is   s eq u en ce   m o d elin g ,   s u ch   as  lo n g   s h o r t - ter m   m em o r y   ( L STM )   an d   r ec u r r e n n eu r al  n etwo r k   ( R NN) .   T h s eq u en ce   to   s eq u en ce   th R NNs  m o d el  h as  s u cc ess f u lly   r ed u c ed   th tr ain in g   lo s s   f o r   ab s tr ac tiv s u m m ar y   u s ed   am az o n   f in f o o d   r ev iews  d ataset   [ 9 ] .   Un f o r tu n ately ,   t h m ax im u m   o u t p u o f   lo n g   te x p r o v id es  in co r r ec tly .   T h r esear ch   p r o v id e s   co r r ec s u m m a r y   o n ly   f o r   s h o r tex t.  An o th er   s tu d y   also   c o n d u cted   ex p e r im en ts   b y   d o i n g   c o m b in atio n   o f   lo ca atten tio n   an d   L STM   in   wh ich   th r esu lts   o f   t h s u m m ar izatio n   o f   t h ch ar ac te r s   r ep ea ted ly   ap p ea r ed   s o   th at  th r esu ltin g   s en ten ce s   w er less   o r g an ized   an d   t h r e ca ll  v alu o b tain e d   was  lo w   [ 1 0 ] .   Ho wev er ,   th e   r ep etitiv wo r k in g s   f o u n d   in   t h r ec u r r en t   m o d el  lik e   R NN  an d   L STM ,   p r ev e n th e   m o d el  f r o m   co n d u cti n g   p ar allel  tr ain in g   a n d   lim it th ab ilit y   to   k n o co n tex t w ith   l o n g er   i n p u t seq u en ce s   [ 1 1 ]   T r an s f o r m e r ,   as   b ase  lan g u ag m o d els,   h as  s ig n if ica n tly   im p ac ted   th e   NL r esear c h   f ield   to   r ep lace   th d ef icien c y   o f   b o th   L STM ,   C NN   an d   R NN  b ased   as  d ee p   lear n i n g   a r ch itectu r e   [ 1 2 ,   1 3 ] ,   s o   th at  m a n y   r ea s o n s   wh y   th e   tr an s f o r m er   was  ch o s en   as   b ase  m o d el  a r ch itectu r e.   Var i o u s   s tu d ies  a p p lied   to   tr an s f o r m er   ar ch itectu r h av b ee n   ca r r ie d   o u an d   h a v im p r o v ed   r esu lts   s ig n if ican tly   in   d o cu m en s u m m ar izatio n   [ 1 4 ] .   I n   p r ev io u s   s tu d ies,  tr an s f o r m er s   w as   u s ed   a s   d etec tio n   ir o n y   g r o u p in g   in   Sp an is h   u s in g   p r e - tr ain in g   T witter   wo r d   r esear ch   r esu lts   co m p ar ed   to   L STM   atten tio n ,   an d   th d ee p   av er ag i n g   n etwo r k   s h o wed   an   in cr ea s s ig n if ican tly   o n   p er f o r m an ce s   [ 1 5 ] .   T h t r an s f o r m e r   also   s u cc ee d ed   in   m ak in g   C h in ese  s to r y - g en er atio n   b y   cr ea tin g   two   la y er s   o f   s elf - atte n tio n   a n d   r ed u ci n g   t h n u m b e r   o f   en co d er   an d   d ec o d er   lay er s   to   id e n tic  o n e.   T h r esu lts   s h o wed   lo l o s s   an d   an   i n cr ea s s ig n if ican tly   f r o m   th e   b ase  lay er   o f   th tr a n s f o r m er   m o d el   [ 1 6 ] .   Me an wh ile,   th u s o f   th e   tr an s f o r m er   was  ca r r ied   o u s u cc ess f u lly   u s in g   co m b in ed   m o d if icatio n   o f   t h e   b i d i r e c t i o n a l   e n c o d e r   r e p r es e n ta t i o n s   f r o m   t r a n s f o r m e r s   ( B E R T )   a s   a   t r a n s f o r m e r - b a s e d   e n c o d e r   a n d   d e c o d e r   i n   J a p a n e s e   a b s t r a ct i v e   s u m m a r i za t i o n ,   w h i c h   h a s   r e s u lt e d   i n   g o o d   a v e r a g e   a c c u r a c y   a n d   t h e   l o w e s t   l o s s   v a l u e   [ 1 7 ] I n   th is   s tu d y ,   we  p r o p o s tr a n s f o r m er - b ased   m o d el  to   s u m m ar ize  C OVI D - 1 9   n ews  with   s ev er al  m eth o d s   a n d   s tag es.  An o th er   d is cu s s io n   f r o m   th r esu lt  is   p r esen b y   m ak s u b lay er   m o d if icatio n s   to   d et er m in th ef f ec o f   p ar am eter s   o n   t h en co d er   a n d   d ec o d er   lay er s .       2.   DATAS E T   T h d ataset  we  u s ed   ca m f r o m   n ews d o cu m en ts   ab o u t COVI D - 1 9   th at  was p u b lis h ed   o n   th Kag g le   p latf o r m   [ 1 8 ]   f r o m   t h C an ad i an   b r o a d ca s tin g   co r p o r atio n   ( C B C )   n ews  s ite,   w ith   to tal  n u m b er   o f   d o c u m en ts   th at  w er e   u s ed   to   b u ild   th m o d el  is   2 7 5 5   d o c u m en ts .   T h e   r elev an ce   o f   th e   n ews  in   th e   d ataset  co n tain i n g   v ar iatio n s   co m b i n ed   to p ics  r elate d   to   C OVI D - 1 9   ar p r o ce s s ed   u s in g   th cr awle r   with   th k ey wo r d     C OVI D - 1 9   p u b lis h ed   f r o m   J an u ar y   0 8 ,   2 0 2 0 ,   u n til  Ma r ch   0 3 ,   2 0 2 0 .   I n   t h d ataset,   th er ar tex d escr ip tio n   co n tain s   th e   n ews c o n te n t,  a n d   th d escr ip tio n   f ea tu r e   is   s u m m ar y   o f   th n ews c o n ten t.   S p ec if ic  k e y wo r d s   i n   n ews  co n ten a r lis t ed   in   th wo r d   c o r o n a v ir u s .   T h er is   a   v ar iety   o f   m ix ed   n ews  co n ten t,  b u th e   n ew s   co n te n t   is   m o r im p o r ta n t in   th a m o u n t o f   C OVI D - 1 9   g r o wth   in   ea ch   r eg io n .       3.   P RE P RO CE SS I NG   Sev er al  p r ev i o u s   s tu d ies  h av e   s h o wn   th r esu lts   o f   th eir   r ese ar ch   b y   d o in g   p r ep r o ce s s in g   c an   in cr ea s ac cu r ac y   r esu lts   b y   p er ce n ta g o f   2 %   [ 1 9 ] p r ep r o ce s s in g   is   also   u s ed   in   s o m wo r d s   th at  h av th f o r m   o f   m is s p ellin g s   [ 2 0 ] .   At  th p r e p r o ce s s in g   s tag e,   s ev er al  p r o ce s s es  o cc u r .   i.e . ,   co n tr ac tio n s ,   lo wer ca s in g   &   p r in tab le  c h ec k s ,   s p litt in g   d ata,   to k en izatio n ,   a n d   w o r d   em b e d d in g .   We   d iv id e   th d atas et  in to   th r ee   f o r m s ,   i.e . ,   tr ain in g ,   v alid atio n ,   an d   test in g ,   with   p er ce n ta g es  o f   7 0% ,   1 0 %,   an d   2 0 %,  r esp ec tiv ely .   C o n tr ac tio n s   an d   p r in tab le  c h ec k s ,   m ap p e d   o u t   co n tr ac tio n   wo r d s   f r o m   t h lis o f   wo r d   co n tr ac tio n s .   T h ese  wo r d s   wer e   d ef in e d   b y   o u r s elv es  to   g et  th o r ig in al   f o r m   ter m s   s u ch   as  "d o n ' t"  b e co m "d o   n o t ,"   th e n   p r in tab le  ch ec k   u s ed   to   d elete   ch ar ac ter s   o th er   th an   p u n ctu a tio n   m ar k s ,   an d   ASC I I   letter s .   Af ter   th at,   d u to   m em o r y   lim itatio n s   we   d id   d is tr ib u te  co n t r o to   lim it  tex t   wh ich   was  n ee d ed   as   a   tr ain i n g   m o d el.   Fu r th er m o r e,   t o k en iz atio n   is   th e   p r o ce s s   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :    7 5 4   -   7 61   756   o f   b r ea k in g   tex in t o   s ep ar ate   wo r d s   an d   a d d in g   u n i q u e   t o k en s .   I n   th m o d if icatio n   o f   t h m o d el,   we  u s   p r e - tr ain ed   w o r d   em b ed d i n g   g lo b al  v ec to r   ( Glo Ve)   with   a   v o ca b u lar y   o f   2 . 2   to   p r es en ea ch   wo r d   i n     300 - d im en s io n al  v ec to r   s ize   [ 2 1 ] .   Pre v io u s   s tu d ies  h av s h o wn   th at  u n s u p er v is ed   co m p ar i s o n   r esu lts   b ased   o n   tex t su m m ar izatio n   u s in g   wo r d   em b ed d in g   a r m o r ef f ec tiv th an   u s in g   a   b ag   o f   wo r d s   [ 2 2 ] .       4.   T RANSF O R M E M O D E L   W an aly ze d   in   Fig u r 1 ,   a n d   th er a r en co d er   an d   d e co d er   lay er s   th at  h av th d r o p o u an d   No r m aliza tio n   in   ea ch   s u b lay er .   We   u s o f   g au s s ian   er r o r   lin ea r   u n it  ( GE L U)   in   th f ee d - f o r war d   n etwo r k   is   u s ed   o n ly   o n ce   o n   ea ch   en co d er   o r   d e co d er   lay er ,   d u to   GE L h as  h ig h   co m p lex ity   i n   th NL f ield   b u th e   p er f o r m an ce   p r o d u ce d   is   s u p e r io r   co m p ar ed   to   o t h er   ac tiv at io n   f u n ctio n s   s u ch   as  E L a n d   R eL U   [ 2 3 ] .   T h e   m u lti - h ea d   atten tio n   f o r m u lati o n   ca n   b s ee n   f o llo win g   in   ( 1 )   [ 1 4 ] is   th to tal  atten tio n   c ar r ied   o u in   p ar a llel  s o   th at  ev er y      is   ca r r ied   o u t th atten tio n   f u n ctio n   c o n tain ed   in   ( 2 )   [ 1 4 ] .           Fig u r 1 .   T r an s f o r m e r   m o d el  p r o p o s ed         ( , , ) =  (  1 , ,  )         ( 1 )      =      (  ,  ,  )               ( 2 )        ( , , ) =   ( )             ( 3 )     T h atten tio n   f u n ctio n   ca n   b d ef in ed   as  f u n ctio n   th at  p er f o r m s   th m ap p in g   o f   th q u er y   Q   is   th tar g et  s eq u en ce ;   th k e y   p air   K   an d   th v alu V   ar e   d er iv e d   f r o m   th e   s eq u en ce .   E ac h   Q ,   K ,   V ,   a n d   o u tp u t   m ap p in g   a r d ef in e d   in   v ec to r   f o r m .   T h weig h o f   ea c h   ca l cu lated   v alu is   r ep r esen tati o n   o f   a d ju s tin g   th q u er y   to   th k e y .   T h q u e r y   an d   k ey   d im en s io n s   ar d ef in e d   as  ,   an d   th v alu es  d im en s io n     is   u s ed   as  th e   Atten tio n   p ar am eter   f o u n d   in   ( 3 )   [ 1 4 ] .   Mu lti - h ea d   atten tio n   co m b in es  s ev er al  atten ti o n   m o d els  to   ea ch   o f   th e   , ,   m o d els.  T h e   weig h tin g   d i m e n s io n   o f   a   s eq u e n ce   is   d ef in e d   as     s o   t h at  its   r e p r esen tatio n   is   in   m u lti - h ea d      × .   T h p r im ar y   d if f er en ce   b etwe en   m ask ed   m u lti - h ea d   atten tio n   an d   a     m u lti - h ea d   atten tio n   is   t h at  s o m to k e n s   co n tain e d   in   a   s eq u en ce   ar e   r an d o m ly   r em o v ed   t o   tr ain   th m o d el   to   u n d er s tan d   t h co n tex c o n tain ed   in   th s eq u en ce .   T r an s f o r m er   also   p er f o r m s   p o s itio n al  en co d in g   (  ) ,   wh ich   is   th in jectio n   o f   s o m i n f o r m atio n   o n   ea ch   wo r d   p o s itio n   co n tai n ed   in   a   s eq u en ce .   PE   h as  th s am e   d im en s io n s   as   .   I n   th is   p ap er ,   we  u s s in e - co s in p o s itio n al  en co d in g ,   wh er e   th f o r m u la  eq u atio n   ca n   b s ee n   in   ( 4 )   an d   ( 5 ) ,   th pos   is   p o s itio n ,   an d   i   is   d im e n s io n .        (  , 2 ) = s in (  10000 2  )             ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S u mma r iz a tio n   o f COVI D - 1 9   n ews   d o cu men ts   d ee p   lea r n in g - b a s ed   u s in g … ( N u r   Ha ya tin )   757    (  , 2 + 1 ) = c os (  10000 2  )               ( 5 )     Dr o p o u t   r ed u c es  th lo s s   va lu d u r i n g   th e   tr ain in g   p r o ce s s ,   also   h elp s   p r ev en t   o v er f itti n g   [ 2 4 ] T h e   n o r m aliza tio n   lay e r   n o r m alize d   v alu es  co m f r o m   th h id d e n   lay er .   P er f o r m   o n   s m all  b atch   s izes   d ep en d en t   t o   r ed u ce   m em o r y   c o s t,  n o r m ali za tio n   ca n   r ely   f o r   in cr ea s t r ain in g   ac cu r ac y   [ 2 5 ] .   T h n o r m aliza tio n   lay er   m in im ize  p ar am eter   c h an g e   d u r in g   p r o p a g ated   th r o u g h   th d ee p   n etwo r k s   [ 2 6 ] .       5.   SCO RING   T h s u m m a r izatio n   r esu lt   m ea s u r em en ts   ar e   p er f o r m e d   u s in g   r ec all - o r ie n ted   u n d e r s tan d in g   f o r   g is tin g   ev alu atio n   ( R OUGE )   [ 2 7 ] .   W ch o s th R OUGE - m e th o d ,   w h ich   was  r ep r esen ted   in   ( 6 ) in   wh ich   th e   ca lcu latio n   is   b ased   o n   n - g r am   r ec all   [ 2 7 ] .   W h er is   th len g th   o f   n - g r am ,   R ef   is   s et  o f   r e f er en ce   s u m m ar ies.    (   )   is   th ca lcu latio n   o f   th e   m ax im u m   n u m b er   o f   n - g r am s   c o - o cc u r r in g   o n   th e   g e n er ated   s u m m ar ies  m o d el  an d   t h s et  o f   r ef er e n ce   s u m m ar ies.   (   )   is   th n u m b er   o f   n - g r am s   in   r ef er e n ce   s u m m ar ies.      =   Σ  Σ      ( )   Σ  Σ      ( )           ( 6 )       6.   E XP E R I M E N T   AND  D I SC USSI O N   I n   ac co r d an ce   with   Fig u r 2 th ex p er im e n f r o m   all  tr an s f o r m er   s u m m ar izatio n   m o d el s   th at  we  b u ild   f ir s p er f o r m ed   p r ep r o c ess in g   o n   th tex t.   T h u s o f   p r e p r o ce s s in g   is   to   r ed u ce   less   r elev an f ea tu r es,  an d   th e   am o u n o f   m e m o r y   n ee d e d   to   ca r r y   o u th e   tr ain in g   p r o ce s s   [ 2 8 ] .   T h en   af ter   p r ep r o ce s s in g ,   we  p er f o r m   all   m o d el s   tr an s f o r m er - b ased   ar c h itectu r with   en c o d er   an d   d ec o d er   th at   ca n   b d o n e   s ev er al  ti m es  r ep ea ted ly   an d   m ak co m p ar is o n   o f   lay er   m o d if icatio n s   b ased   o n   s co r in g .           Fig u r 2 .   T h n ews su m m ar iz atio n   ex p er im e n t   o f   C OVI D - 19       6 . 1 .   So f t wa re   a nd  s pli t t ing   T h s p ec if icatio n s   in   th e x p e r im en u s ed   Go o g le   co lab   clo u d   co m p u tin g   with   d ata  as  f o l lo ws:   I n tel  Xeo n   C PU  2 . 2 0 GHz ,   1 4 GB   R AM ,   T esla  P1 0 0   1 6 GB   GPU.   T h Py th o n   T en s o r Flo lib r ar y   is   u s ed   as  a   d ee p   b ac k en d   lear n in g   wh er e   ca lcu l atio n s   a r p er f o r m e d   o n   th e   GPU.   T h r esu lts   o f   s p litt in g   o n   th C OVI D - 1 9   n ews  d o cu m e n d ataset  wer 1 9 2 8   d o cu m e n ts   to   co n d u ct  tr ai n in g ,   2 7 5   d o cu m e n ts   as  v alid atio n   d u r in g   t h tr ain in g   p r o ce s s ,   an d   5 5 2   d o c u m en ts   to   test   th r esu lts   o f   th tr ain i n g   m o d el,   f o r   ea c h   tr ain in g   m o d el .   V alid atin g   p e r f o r m   u n d er   b atch   o f   3 2   d o cu m e n t s   to   ca lcu late  th av er ag R O UGE - 1   s co r an d   lo s s   v alu e.   T h m ax im u m   len g th   o f   th n ews te x t c o n ten t o f   th e   en tire   tr ain in g   d o c u m en was  eq u al  to   6 0 0   a n d   2 5   in   th e   tex t   d escr ip tio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :    7 5 4   -   7 61   758   6 . 2 .     E x perim ent   s ce na rio   I n   th is   r esear ch   ex p e r im en t,  w u s Ad am   w h ich   is   th s to c h asti b ased   o p tim izatio n   m eth o d   to   u p d ate   th weig h v alu o f   th lo s s   v alu m ea s u r em en r esu lts   [ 2 9 ] ,   wh er e   th ca lcu latio n   o f   t h lo s s   v alu o f   th e   weig h v alu e   u s ed   s p ar s s o f t m ax   cr o s s - en tr o p y .   T a b le  1   s h o wn   t h e x p er im e n s ce n ar io   o f   s ev er al   d if f er e n t   p ar am eter s   u s ed   to   b u ild   th e   tr an s f o r m er   d ee p   lear n in g   m o d el.   A d am   o p tim izatio n   p ar am eter s   u s ed   ar e     b eta1 =0 . 9 ,   b eta2 =0 . 9 8 ,   ep s ilo n =1 e - 9 .   All  m o d els  h ad   ca r r i ed   o u f air ly   ite r atio n s   o f   4 0   ep o ch s   o n   tr ain in g   ex p er im en t s .   Fro m   th ex is ti n g   tr an s f o r m er   d esig n   m o d el  in   p r ev io u s   s tu d ies,  we  ch o s th tr an s f o r m er   m o d el  ( T C M)   [ 1 4 ]   as  a   co m p ar is o n   test   with   s o m o f   t h m o d els  th at   we  p r o p o s ed .   T h e   s elec tio n   is   b ec au s e   T C h as  th m o s s tr aig h tf o r war d   d esig n   an d   th r esu lts   o f   tr ials   with   o th er   ar ch itectu r es  th at  ar m o r c o m p lex   b y   1 %.  T h m o d el  th at  we  p r o p o s ed   in clu d es  to k e n izatio n   a n d   wo r d   e m b ed d in g ,   a n d   in   th f o r m   o f   p ar am eter   ch an g es  m o d i f icatio n   o f   th e n co d er - d ec o d er   lay er ,   o r   ca n   b ca lled   m o d if ie d   b ase  m o d el  tr an s f o r m er   with   d is tr ib u te  c o n tr o to k e n izatio n   an d   Glo Ve  wo r d   em b ed d in g .   T h e   p o s tf ix   n u m b er   is   a   r ep r esen tatio n   o f   th e   n u m b er   o f   id e n tical  lay er   en co d er   d ec o d er s   ( MT DT Nx ) .   T h ac tiv atio n   f u n ctio n   in   t h M T DT m o d el   wh ich   was  u s ed   in   th i s   r esear ch   is   t h e   GE L f u n ctio n   to   ca lcu late  th weig h o f   th s eq u en ce   in   th f ee d - f o r war d   lay er ,   wh er ea s   in   p r ev io u s   s tu d ies u s in g   R eL as a n   ac tiv atio n   f u n ctio n .       T ab le  1 .   Scen ar i o   ex p e r im en t   P a r a me t e r   TC M   [ 1 4 ]   O u r   p r o p o s e d   m o d e l s   M TD TG   2   M TD TG   5   M TD TG   6   h e a d s   8   10   8   10   l e a r n i n g   r a t e   1e - 3   1e - 3   1e - 5   1e - 2   n o d e   f e e d - f o r w a r d   2 5 6   5 1 2   2 5 6   5 1 2   d r o p o u t   r a t e   0 . 1   0 . 2   0 . 1   0 . 2   a t t e n t i o n   d r o p o u t   r a t e   0 . 1   0 . 2   0 . 1   0 . 2   e n c o d e r   l a y e r   2   2   5   6   d e c o d e r   l a y e r   2   2   5   6   a c t i v a t i o n   f u n c t i o n   R e LU   G ELU   G ELU   G ELU       6 . 3 .     E x perim ent   re s ult   Du r in g   t h tr ain in g   p r o ce s s ,   lo s s   v alu an d   R OUGE - 1   is   o b tain ed ,   as  s h o wn   in   Fig u r e   3 .   T C h as   d ec r ea s ed   lo s s   in   ep o ch   4 0 ,   s o   th at  lo s s   v alu o f   6 . 3   is   o b t ain ed .   I n   o t h er   m o d els  r an g in g   f r o m   e p o ch   1 8 - 27  lo s s   in   MT DT 2   g r ad u ally   d e cr ea s e d   at  5 . 5 ,   th en   clim b e d   b a ck   u p   b ec au s o f   t h v ar i an b a tch   in   th d o cu m e n v ar y ,   s o   t h at  th m o d el  m u s r e co g n ize  n ew  d ata  ag ain .   Oth er   m o d els  as  s h o wn   in   Fig u r 3   ( a ) ,   th g r ap h   d ep icts   th at  th MT DT G   5   d ec r ea s ed   g r ad u ally   in   lo s s   at  ep o ch   1 0   an d   2 5   with   o b tain ed   lo s s   v al u o f   4 . 8 .   T h e   latest   r esu lts   o f   o u r   ex p e r im en o n   M T DT 6   h av e   d ec r ea s ed   a   lo s s   v alu to   4 . 7   wh ic h   is   n o m u ch   d if f er en c o m p ar e d   to   MT DT 5   with   a   d if f e r en c o f   0 . 1 %.   Du r i n g   th e   tr ain in g   p h ase,   ea ch   ep o c h   v alid atio n   b ased   o n   m ax im u m   R OUGE - 1   s co r is   co n s id er ed   to   s av th weig h m o d el.   T h is   ex p er im en u s ed   R OUGE - 1   to   s u m m ar izatio n   r esu lt  m ea s u r e,   th r esu lt  o f   R OUGE - 1   was  s h o wn   b y   Fig u r 3   ( b ) .   T h g r ap h   ex p lain ed   th v alid atio n   p r o ce s s   wh er ea ch   ep o ch   T C h as  m ax im u m   s co r e   0 . 2 0 .   Ou r   p r o p o s ed   m o d el   s h o wn   b y   MT DT 2 ,   MD T 5 ,   an d   MT DT G   6 ,   th o s m o d els  h a v an   o u tp er f o r m ed   r esu lt  m ea s u r ed   b y   R OUGE - 1   with   s co r 0 . 5 4 ,   0 . 5 9 ,   an d     0 . 6 0   r esp ec tiv ely .         ( a)     ( b )     Fig u r 3 .   C o m p a r is o n ;   ( a )   m o d el  tr ain in g   lo s s   an d   ( b )   R OUGE - 1   s co r v alid atio n         6 . 4 .     Su mm a riza t io m o del   W tr y   to   ex p lo r th r esu lts   o f   MT DT 6 ,   o n   th wo r d   clo u d ,   as  s ee n   in   Fig u r 4 .   W o r d   clo u d   d escr ib es  th e   wo r d   f r eq u e n c y   r ep r esen tatio n   o f   th e   wh o l d o cu m en f r o m   th g en er a ted   s u m m ar izatio n   co n d u cte d   b y   MT DT G   6 .   T o ta l a ll u n i q u w o r d s   wh ile   p er f o r m in g   su m m ar izatio n   ap p ea r e d   in   Fig u r e   4   is   2 0 0   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S u mma r iz a tio n   o f COVI D - 1 9   n ews   d o cu men ts   d ee p   lea r n in g - b a s ed   u s in g … ( N u r   Ha ya tin )   759   wo r d s   th at  u s ed   th MT DT G   6   m o d el.   Mo s wo r d   g e n er ated   o n   s u m m a r izatio n   is   s ay ,   th is   r esu lt  is   ca u s ed   b y   th d ataset  u s ed   r elate d   to   n ew s   co n ten to   g et  in f o r m atio n   f r o m   an   in ter v iew  o n   ex p e r ts   o r   g o v er n m e n o f f ici als.   T h wo r d   "Can ad ian "   also   ap p ea r ed ,   b ec au s th is   wo r d   r ela ted   to   th n ews  th at  h as  b ee n   r ep o r ted   m o s tly   o n   C an ad ian   d u r i n g   th c o r o n av ir u s   s itu atio n .   W class if ied   k ey wo r d   b ased   o n   f r e q u en o f   a p p ea r an ce .   On   T ab le  2 ,   t h er ar e   two   ty p es  o f   k ey wo r d :   "m o s t"  ( k ey w o r d s   h av e   h ig h   f r e q u en t ) ,   a n d   "lea s t"   ( k ey wo r d s   ap p ea r ed   r ar ely ) .   T h e   p er ce n tag e   o f   o v er all  wo r d   clo u d   s u m m ar izatio n   r es u lts   f r o m   Fig u r 4   is   s ee n   th t ab le.   T h m o s 5   wo r d s   th at  h av h ig h   an   ap p ea r   f r eq u e n cy   ar "say ,   will,  co r o n av ir u s ,   p eo p le,   p an d em ic".   T h ese  k ey wo r d s   p r o v th at  th m ain   to p ic  o f   n ews   r ep o r ted   wid ely   d u r in g   th is   p e r io d   is   a b o u t   th e   co r o n v ir u s   p an d em ic.   I ca u s ed   th e   g o v er n m en t o f   C an a d t o   tak p o licies  f o c u s ed   o n   p u b li h ea lth   wh ic h   co n ce r n e d   with   th s af ety   o f   citizen s .   T h o th er   h an d ,   th e   f ewe s 5   wo r d s   f o u n d "f a m ilies ,   d is ea s e,   g r o ce r y   s to r e ,   f ir s t n atio n ,   s to ck   m ar k et ".   T h m ain   th in g   th at  h ad   b ee n   less   co n ce r n   f r o m   r ep o r n ews  is   t h at  th c o r o n a v ir u s   p an d e m ic  af f ec ted   th e   wea k   o f   m an y   s ec to r s ,   in clu d in g   tr a d in g   an d   ec o n o m y ,   an d   also   less   r ep o r ted   a b o u t th e   p o licy   is s u t o   clo s p u b lic  p lace s   i.e .   p ar k   an d   s to r e.             Fig u r 4 .   W o r d   clo u d   s u m m ar izatio n   MT DT 6       T ab le  2 .   Mo s t a n d   least wo r d   r ep r esen tatio n   Ty p e   R a n k   K e y w o r d s   P e r c e n t a g e   mo st   1 - 5   say ,   w i l l ,   c o r o n a v i r u s,   p e o p l e ,   p a n d e mi c   0 . 8 3   6 - 10   p r o v i n c e ,   n e w ,   c a se ,   c a n a d i a n ,   c o r o n a v i r u o u t b r e a k   0. 56   11 - 15   p u b l i c   h e a l t h ,   g o v e r n m e n t ,   c i t y ,   c a n a d a ,   s a i d   0. 45   16 - 20   d a y ,   mo n d a y ,   s p r e a d ,   n o v e l   c o r o n a v i r u s,  t w o   0. 38   21 - 25   o u t b r e a k ,   c h i n a ,   a n n o u n c e d ,   h o me ,   n o w   0. 34   l e a s t   1 9 6 - 200   d i s e a se ,   f a m i l i e s ,   m a sk s ,   m a j o r ,   c a u se d   0 . 0 8   1 9 1 - 195   d e a t h ,   t h r e a t ,   o p e r a t i o n s ,   w a r n i n g ,   p l a c e   0 . 0 8   1 8 6 - 190   p r i c e ,   p o t e n t i a l ,   st o r e ,   n u r se ,   p a r k   0 . 0 8   1 8 1 - 185   p r o v i n c i a l   h e a l t h ,   c a r e   w o r k e r s,  s e l f   i s o l a t i o n ,   sl o w   s p r e a d ,   st o c k   m a r k e t   0 . 0 8     1 7 6 - 180   f i r st   n a t i o n ,   g r o c e r y   st o r e ,   e x p e r t ,   p u b l i c ,   i n c l u d i n g   0 . 0 9       6 . 5 .     T esting   m o del   T h d is tr ib u tio n   o f   R OUGE - 1   an d   R OUGE - 2   s co r es o n   MT DT 6   is   s h o wn   in   Fig u r 5 ,   t h n u m b er   o f   s u m m ar izatio n   r esu lts   is   at  m o s 8 0 - 1 0 0 with   to tal  o f   2 0 9   d o cu m e n ts ,   wh ile  at  least  1 0 is   s co r ed   with   to tal  o f   3 3   d o cu m e n ts .   I n v er s ely   p r o p o r tio n al  t o   R OUGE - 2 ,   wh er t h m o s d is tr ib u ti o n   in   th r esu lt  o f   th e   s co r is   in   th 0 - 2 0 b ec au s R OUGE - 2   u s es   th b ig r am   m ec h an is m .   So ,   th er ar s ev er al  o v er lap p i n g   wo r d s   b etwe e n   s u m m ar izatio n   an d   r ef er en ce s .   T h co m p a r is o n   r e s u lts   te s al s o   s h o wn   in   T ab le  3 .   T h r esu lts   o f   MT DT 5   an d   MT DT 6   o n   th R OUGE - 1   s co r h av d if f er en ce   o f   1 wh en   u s ed   o n   th R OUGE - 2   s co r e T h er is   q u ite  d if f er en ce   o f   3 %.   T h ev alu atio n   r esu lts   s h o th at  MT DT 6   with   R O UGE - 1   s co r o f   0 . 5 8   an d   R OUGE - 2   s co r o f   0 . 4 2   i s   th b est m o d el  th at  ca n   b u s ed   in   th test   d ata.           Fig u r 5 .   Dis tr ib u tio n   R OUG E   s co r o n   test   d o cu m en ts   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   3 J u n e   2 0 2 1 :    7 5 4   -   7 61   760   F r o m   t h e   r e s u l t s   o f   t h e   e n t i r e   t r i a l   o f   t h e   t e s t   d o c u m e n t ,   t h e r e   i s   o n l y   M T D T G   6   a r c h i t e c t u r e   t h a t   c a n   b s u p p l i e d   w i t h   t h e   m a x i m u m   d u e   t o   t h e   m e m o r y   l i m i t a t i o n s   h a n d l e d   b y   t h e   G P U .   I n   t h e   e x p e r i m e n t ,   t h e   r e s e a r c h e r   o f t e n   g o t   c o n s t r a i n t s   o n   o u t   o f   m e m o r y   ( O O M )   r e s o u r c e s .   T h i s   o b s t a c l e   c a n   b e   o v e r c o m e   b y   r e d u c i n g   t h e   a r c h i t e c t u r a l   d e s i g n   m o d e l ,   e s p e c i a l l y   t h e   m o s t   i m p o r t a n t   t h i n g s ,   i . e . ,   t h e   n u m b e r   o f   f e e d - f o r w a r d   n e t w o r k s ,   b a t c h   s i z e ,   a n d   t h e   n u m b e r   o f   e n c o d e r - d e c o d e r s .   T h e   d i s a d v a n t a g e   o f   M T D T G   6   i s   t h a t   t h e   m e m o r y   n e e d e d   t o   c o n d u c t   t r a i n i n g   i s   m o r e   s i g n i f i c a n t   b e c a u s e   w e   u s e   3 0 0 - d i m e n s i o n a l   G l o V e   a s   w o r d   e m b e d d i n g .   H o w e v e r ,   t h e   r e s u l t s   o f   t h t e s t   m o d e l   c a n   i n c r e a s e   b y   a   p e r c e n t a g e   o f   1 3 %   i n   R O U G E - 1   a n d   1 6 %   R O U G E - 2   c o m p a r e d   t o   T C M .       T ab le  3 .   Ov e r all  co m p a r is o n   s co r m o d el   M o d e l   V a l i d a t i o n   Te st   Tr a i n i n g   t i me   ( sec o n d )   M a x i m u m   R O U G E - 1   R O U G E - 1   R O U G E - 2   TC M   [ 1 4 ]   0 . 2 0   0 . 4 5   0 . 2 6   1 7 2 3   M TD TG   2   0 . 5 4   0 . 5 1   0 . 3 4   5 0 4 6   M TD TG   5   0 . 5 9   0 . 5 6   0 . 3 8   7 6 0 6   M TD TG   6   0 . 6 0   0 . 5 8   0 . 4 2   1 1 4 3 8       7.   CO NCLU SI O N   Su m m ar izatio n   o f   n ews  d o cu m en ts   C OVI D - 1 9   b ased   o n   d e ep   lear n in g   u s in g   tr an s f o r m e r   ar ch itectu r ca n   b d o n e   b y   co m p ilin g   v a r io u s   m o d els  an d   m eth o d s   o f   a ctiv atio n   f u n ctio n s .   W p r o p o s ed   th tr an s f o r m er   with   ar ch itectu r al  m o d if icatio n   as  th e   b asis   f o r   d esig n i n g   th m o d el   in   a b s tr ac tiv d o cu m en s u m m ar izatio n ,   wh ich   was  ev id e n tly   ef f ec tiv in   im p r o v in g   r esu lt p er f o r m an ce .   T h e   b est  m o d el  MT DT 6   p er f o r m s   th at   was  m ea s u r ed   u s in g   th R OUGE - 1 ,   an d   R OUGE - 2   h as  o b tain e d   g o o d   s co r o f   0 . 5 8   an d   0 . 4 2 ,   r esp ec tiv ely ,   wi th   tr ain in g   tim o f   1 1 4 3 8   s ec o n d s .   B ased   o n   wo r d   clo u d s   f r o m   all  d o cu m e n ts   with   th m o s d is cu s s io n ,   we  f o u n d   th at  th m o s r ep o r ted   in   n e ws  r elate d   to   th p o licy   a n d   r eg u latio n   f r o m   th g o v er n m en o n   p u b lic  h ea lt h   s er v ices  p r io r itizatio n   d u r in g   C OVI D - 19   p a n d em ic.   Sin ce   th r esear ch   o f   C OVI D - 1 9   n ews  d o cu m en t   ab s tr ac tiv s u m m ar ies  is   m in im al,   m an y   r esear ch   o p p o r tu n it ies  ca n   b d o n f u r th e r   b y   m o d if y in g   th en c o d e r   an d   d ec o d e r   lay er   to   g et  b et ter   m o d el  q u ality   r esu lts ,   an d   th ey   also   wo r k   with   f aster   tr ain in g   tim e.   T h in teg r atio n   o f   s ev er al  tr a n s f o r m er   ar ch itectu r m o d els  ca n   also   b d o n e,   s u ch   as  th u s o f   th T 5   o r   B AR T   m o d els to   s u m m ar ize  u n til th e   q u ality   o f   ex is tin g   r esear ch   ca n   b ev al u ated   o r   co m p a r ed .       RE F E R E NC E S   [1 ]   A.  A.  S a li su   a n d   X.  V.  Vo ,   P re d ictin g   sto c k   re tu r n in   t h e   p re se n c e   o COV ID - 1 9   p a n d e m ic:  Th e   ro le  o h e a lt h   n e ws ,   In t.   Rev .   Fi n a n c .   An a l. ,   v o l.   7 1 ,   2 0 2 0 .   [2 ]   A.  K.  M .   N.  Isla m ,   S .   Laa to ,   S .   T a lu k d e r,   a n d   E.   S u ti n e n ,   M isin f o rm a ti o n   sh a rin g   a n d   so c ial  m e d ia  fa ti g u e   d u rin g   COV ID - 1 9 An   a ff o rd a n c e   a n d   c o g n it iv e   lo a d   p e rsp e c ti v e ,   T e c h n o l.   F o re c a st.  S o c .   C h a n g e ,   v o l.   1 5 9 ,   2 0 2 0 .   [3 ]   A.  Kh a n   a n d   N.   S a li m ,   re v iew   o n   a b stra c ti v e   su m m a riza ti o n   m e th o d s,”   J .   T h e o r.   Ap p l.   I n f.   T e c h n o l . ,   v o l.   5 9 ,     no .   1 ,   p p .   6 4 - 7 2 ,   2 0 1 4 .   [4 ]   M .   M a rjan i ,   e a l. ,   Bi g   Io Da t a   An a ly ti c s:  Arc h it e c tu re ,   Op p o r tu n it ies ,   a n d   Op e n   Re se a rc h   Ch a ll e n g e s,”   IEE E   Acc e ss ,   v o l.   5 ,   p p .   5 2 4 7 - 5 2 6 1 ,   2 0 1 7 .   [5 ]   T.   k a n   a n d   A.  Ka rc ı,   Ex trac ti v e   m u lt i - d o c u m e n tex s u m m a riza ti o n   b a se d   o n   g ra p h   in d e p e n d e n se ts,”  Eg y p t.   In fo rm a t ics   J . v o l.   2 1 ,   n o .   3 ,   2 0 2 0 .   [6 ]   S .   G u p t a e t   a l . ,   A b s t r a c t i v e   s u m m a r i z a t i o n :   A n   o v e r v i e w   o f   t h e   s t a t e   o f   t h e   a r t ,   E x p e r t   S y s t .   A p p l . v o l .   1 2 1 ,   p p .   4 9 - 6 5 ,   2 0 1 9 .   [7 ]   Y.  Hu a n g ,   Z.   Yu ,   J.   G u o ,   Z .   Y u ,   a n d   Y.  Xia n ,   Le g a p u b li c   o p i n io n   n e ws   a b stra c ti v e   su m m a riza ti o n   b y   in c o rp o ra ti n g   to p ic i n fo rm a ti o n ,   I n t.   J .   M a c h .   L e a rn .   Cy b e rn . v o l .   1 1 ,   p p .   2 0 3 9 - 2 0 5 0 ,   2 0 2 0 .   [8 ]   C.   Yu a n ,   Z.   Ba o ,   M .   S a n d e r so n ,   a n d   Y.  Tan g ,   In c o r p o ra ti n g   w o rd   a tt e n ti o n   with   c o n v o lu t io n a n e u r a n e two rk s fo r   a b stra c ti v e   su m m a riza ti o n ,   W o rl d   W id e   W e b ,   v o l .   2 3 ,   n o .   1 ,   p p .   2 6 7 - 2 8 7 ,   2 0 2 0 .   [9 ]   A.  K.  M o h a m m a d   M a su m ,   e a l. ,   Ab stra c ti v e   m e th o d   o te x su m m a riza ti o n   with   se q u e n c e   to   se q u e n c e   RNN s,”   2 0 1 9   1 0 t h   I n t.   C o n f .   Co m p u t .   Co mm u n .   Ne tw.   T e c h n o l.   ICCCN T   2 0 1 9 ,   2 0 1 9 p p .   1 - 5 .   [1 0 ]   P .   M .   Ha n u n g g u l   a n d   S .   S u y a n to ,   Th e   Im p a c o L o c a Atten ti o n   in   LS TM   fo r   Ab stra c ti v e   Tex t   S u m m a riza ti o n ,   2 0 1 9   2 n d   In t.   S e min .   Res .   In f.   T e c h n o l.   I n tell.   S y st.  I S RIT 2 0 1 9 ,   p p .   5 4 - 5 7 ,   2 0 1 9   [1 1 ]   B.   M y a g m a r,   J.   Li ,   a n d   S .   Kim u ra ,   Cro ss - Do m a in   S e n ti m e n Clas sifica ti o n   wit h   B id irec ti o n a l   Co n tex t u a li z e d   Tran sfo rm e Lan g u a g e   M o d e ls,”  IEE Acc e ss ,   v o l .   7 ,   p p .   1 6 3 2 1 9 - 1 6 3 2 3 0 ,   2 0 1 9 .   [1 2 ]   Y.  Ch e n   a n d   H.   Li ,   DA M Tran sfo rm e r - b a se d   re latio n   d e tec ti o n   fo Qu e stio n   A n sw e rin g   o v e K n o wle d g e   Ba se ,   Kn o wled g e - Ba se d   S y st. ,   v o l.   2 0 1 - 2 0 2 ,   2 0 2 0 .   [1 3 ]   T.   A.  F u a d ,   M .   T .   Na y e e m ,   A.  M a h m u d ,   a n d   Y.   Ch a li ,   Ne u ra se n ten c e   fu si o n   fo r   d i v e rsity   d ri v e n   a b stra c ti v e     m u lt i - d o c u m e n su m m a riza ti o n ,   Co mp u t .   S p e e c h   L a n g . ,   v o l .   5 8 ,   p p .   2 1 6 - 2 3 0 ,   2 0 1 9 .   [1 4 ]   A.  Va sw a n i ,   e a l. ,   Atten ti o n   is all  y o u   n e e d ,   A d v .   Ne u ra l   In f .   Pro c e ss .   S y st. ,   v o l.   2 0 1 7 ,   p p .   5 9 9 9 - 6 0 0 9 ,   2 0 1 7 .   [1 5 ]   J.  Á.  G o n z á lez ,   L.   F .   Hu r tad o ,   a n d   F .   P la,   Tran sfo rm e b a se d   c o n t e x tu a li z a ti o n   o p re - trai n e d   w o rd   e m b e d d in g s fo r   iro n y   d e tec ti o n   i n   Twi tt e r,   In f .   P ro c e ss .   M a n a g . ,   v o l .   5 7 ,   n o .   4 ,   2 0 2 0 .   [1 6 ]   J.  W.   Li n ,   Y.  C .   G a o ,   a n d   R.   G .   Ch a n g ,   Ch in e se   S t o ry   G e n e ra ti o n   with   F a stTex Tra n sfo rm e Ne two rk ,   1 st   In t .   Co n f.   Arti f.   In tell .   In f .   Co mm u n .   I CAIIC  2 0 1 9 ,   p p .   3 9 5 - 3 9 8 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S u mma r iz a tio n   o f COVI D - 1 9   n ews   d o cu men ts   d ee p   lea r n in g - b a s ed   u s in g … ( N u r   Ha ya tin )   761   [1 7 ]   Y.  Iwa sa k i,   A.   Ya m a sh it a ,   Y.  Ko n n o ,   a n d   K.   M a tsu b a y a sh i ,   Ja p a n e se   a b stra c ti v e   tex s u m m a riza ti o n   u si n g   BERT ,   Pro c .   -   2 0 1 9   I n t.   C o n f.   T e c h n o l .   Ap p l .   Arti f .   In tel l.   T A AI  2 0 1 9 ,   2 0 1 9 .   [1 8 ]   Ry a n   Ha n ,   COV ID - 1 9   Ne ws   Article Op e n   Re se a rc h   Da tas e |   Ka g g le ,   2 0 2 0 .   [On li n e ].   Av a il a b le:   h tt p s:/ /www . k a g g le.co m /ry a n x j h a n /cb c - n e ws - c o ro n a v ir u s - a rti c les - m a rc h - 2 6   (a c c e ss e d   Ju l.   2 2 ,   2 0 2 0 ).   [1 9 ]   L.   Ru h win a n i n g si h   a n d   T.   Dja tn a ,   S e n ti m e n Kn o wle d g e   Dis c o v e ry   M o d e l   in   Twit ter’s   TV  Co n ten t   Us in g   S to c h a stic G ra d ien De sc e n Al g o rit h m ,   T E L KOM NIKA   T e lec o m mu n ica t io n   C o mp u ti n g   E lec trica El e c tro n ics   a n d   Co n tro l ,   v o l.   1 4 ,   n o .   3 ,   p p .   1 0 6 7 - 1 0 7 6 ,   2 0 1 6 .   [2 0 ]   M .   A.  F a u z i,   R.   F .   N.  F irma n sy a h ,   a n d   T.   Afirian t o ,   Im p r o v i n g   se n ti m e n a n a ly sis  o s h o rt  i n fo r m a In d o n e sia n   p ro d u c re v iew u sin g   sy n o n y m   b a se d   fe a tu re   e x p a n sio n ,   T E L KOM NIKA  T e lec o mm u n ic a ti o n   Co m p u ti n g   El e c trica l   El e c tro n ics   a n d   C o n tro l ,   v o l.   1 6 ,   n o .   3 ,   p p .   1 3 4 5 - 1 3 5 0 ,   2 0 1 8 .   [2 1 ]   J.  P e n n i n g t o n ,   R.   S o c h e r,   a n d   C.   D.  M a n n i n g ,   G lo Ve G lo b a v e c to rs  fo wo rd   re p re se n t a ti o n ,   2 0 1 4 .   [O n li n e ].   Av a il a b le:  h tt p s:// n l p . sta n f o rd . e d u /p r o jec ts/g l o v e / .   [2 2 ]   N.  Ala m i,   M .   M e k n a ss i,   a n d   N.  En - n a h n a h i ,   En h a n c i n g   u n s u p e r v ise d   n e u ra n e two rk b a se d   tex t   su m m a riza ti o n   with   wo r d   e m b e d d in g   a n d   e n se m b le l e a rn in g ,   Exp e rt  S y st.  A p p l . ,   v o l .   1 2 3 ,   p p .   1 9 5 - 2 1 1 ,   2 0 1 9 .   [2 3 ]   D.  He n d r y c k a n d   K.  G imp e l,   G a u ss ian   Err o Li n e a Un i ts  (G EL Us ),   Co rn e ll   Un ive rs it y ,   p p .   1 - 9 ,   2 0 1 6 .   [O n li n e ].   Av a il a b le:  h tt p :/ /arx i v . o r g /ab s/ 1 6 0 6 . 0 8 4 1 5 .   [2 4 ]   B.   D.  S a to to ,   I.   Ut o y o ,   R.   Ru l a n in g ty a s,  a n d   E.   B.   K h o e n d o ri ,   An   imp ro v e m e n o G ra m - n e g a ti v e   b a c teri a   id e n ti fica ti o n   u sin g   c o n v o l u ti o n a l   n e u ra n e two r k   with   fi n e   tu n in g ,   T EL KOM NIKA  T e lec o mm u n ica ti o n   Co m p u t in g   El e c trica El e c tro n ics   a n d   Co n tro l ,   v o l.   1 8 ,   n o .   3 ,   p p .   1 3 9 7 - 1 4 0 5 ,   2 0 2 0 .   [2 5 ]   E.   G ib so n   e a l. ,   Nifty Ne t:   a   d e e p - lea rn in g   p latfo rm   fo m e d ica ima g in g ,   Co m p u t .   M e th o d Pro g ra ms   Bi o me d . v o l.   1 5 8 ,   p p .   1 1 3 - 1 2 2 ,   2 0 1 8 .   [2 6 ]   I.   Nu r h a id a ,   V.  A y u m i,   D.  F it ria n a h ,   R.   A.   M .   Ze n ,   H .   No p risso n ,   a n d   H.  Wei,   Im p lem e n tati o n   o f   d e e p   n e u ra l   n e two rk s (DNN wi th   b a tch   n o rm a li z a ti o n   f o b a ti k   p a tt e rn   re c o g n i ti o n ,   In t .   J .   El e c tr.  Co m p u t.   E n g . ,   v o l.   1 0 ,   n o .   2 ,   p p .   2 0 4 5 - 2 0 5 3 ,   2 0 2 0 ,   d o i:   1 0 . 1 1 5 9 1 /i jec e . v 1 0 i2 . p p 2 0 4 5 - 2 0 5 3 .   [2 7 ]   C.   Y.  Li n ,   Ro u g e A p a c k a g e   fo r   a u to m a ti c   e v a lu a ti o n   o su m m a ri e s,”   Pro c .   W o rk .   tex S u mm .   b ra n c h e o u (W AS   2 0 0 4 ) ,   n o .   1 ,   2 0 0 4 p p .   2 5 - 26 .   [2 8 ]   S .   A.  Alsa id i,   A.  T.   S a d iq ,   a n d   H.  S .   Ab d u ll a h ,   En g l ish   p o e m c a te g o riza ti o n   u si n g   te x m in i n g   a n d   r o u g h   se th e o r y ,   Bu ll .   El e c tr.  En g .   I n f o rm a ti c s ,   v o l .   9 ,   n o .   4 ,   p p .   1 7 0 1 - 1 7 1 0 ,   2 0 2 0 .   [2 9 ]   D.  P .   Kin g m a   a n d   J.  L .   Ba ,   Ad a m m e th o d   f o st o c h a stic  o p ti m iza ti o n ,   3 r d   I n t.   Co n f.   L e a rn .   Rep re se n t.   ICL R   2 0 1 5   -   Co n f.   T r a c k   Pro c . ,   2 0 1 5 p p .   1 - 15 .       B I O G RAP H I E S O F   A UT H O RS       Nur  H a y a tin   is  a   l e c tu re a th e   Un i v e rsit y   o M u h a m m a d iy a h   M a la n g .   S h e   re c e iv e d   h e M a ste in   I n fo rm a ti c En g in e e ri n g   fr o m   th e   I n s ti tu te  o Tec h n o lo g y   S e p u l u h   N o p e m b e S u ra b a y a ,   In d o n e sia ,   with   a n   a re a   o in tere st  i n   d a ta  sc ien c e ,   wh e re   sh e   tea c h e c o u rse re late d   to   Na tu ra l   Lan g u a g e   P ro c e ss in g .   He m a in   r e se a rc h   in tere st  is  tex a n a l y ti c s,  so c ial  m e d ia  a n a ly ti c s,  d a ta   m in in g ,   a n d   i n fo rm a ti o n   re tri e v a l.   Ema il n o o r h a y a ti n @ u m m . a c . id         K h a r ism a   Mu z a k G h u fr o n   is  c u rre n tl y   c o m p leti n g   a   Ba c h e lo r 's   d e g re e   fro m   t h e   In f o rm a ti c De p a rtme n t,   F a c u lt y   o En g in e e r in g ,   a t h e   Un iv e rsit y   o M u h a m m a d iy a h   M a lan g ,   In d o n e sia .   His  in tere sts  in c lu d e   n a tu ra lan g u a g e   p r o c e ss in g   a n d   d e e p   le a rn in g   a rc h it e c tu re .   Ema il :   k h a rism a . m u z a k i@we b m a il . u m m . a c . id           G a li h   Wa sis  W ica k so n o   is  a   l e c tu re in   th e   I n fo rm a ti c d e p a r tme n a th e   Un i v e rsity   o f   M u h a m m a d iy a h   M a lan g ,   I n d o n e sia .   He   tea c h e s   lo g ic  &   c o m p u ti n g   a n d   c o m p u ter  re a so n i n g   c o u rse with   a n   a re a   o in tere st  in   d a ta  sc i e n c e .   Th e   fo c u o h is  re se a rc h   is  c a se - b a se d   re a so n in g   a n d   o n li n e   lea rn in g .   Ema il g a li h . w.w@u m m . a c . id         Evaluation Warning : The document was created with Spire.PDF for Python.