I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   8 ,   No .   4 A u g u s 201 8 ,   p p .   2 2 9 9 ~ 2 3 0 9   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v8 i 4 . p p 2 2 9 9 - 2309     2299       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Enha ncing  P er for m a nce  in  M edi ca l Art icl es Su mm a r iz a tion   w ith  M ulti - Featu re Selec tion         Su s et y o   B a g a s   B ha s k o ro Sa i f ul A k ba r Su ho no   H a rso   Su pa ng k a t   In stit u t   T e k n o lo g Ba n d u n g ,   I n d o n e sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   No v   2   201 7   R ev i s e Feb   1 3 ,   2 0 1 8   A cc ep ted   Feb   20 ,   2 0 1 8     T h e   re s e a rc h   a i m e d   a p ro v id in g   a n   o u tco m e   su m m a r y   o f   e x t ra o rd in a ry   e v e n ts  in f o r m a ti o n   f o p u b li c   h e a lt h   su rv e il lan c e   s y ste m b a s e d   o n   th e   e x trac ti o n   o f   o n li n e   m e d ica a rt icle s.  T h e   d a ta  se t   u se d   is  7 , 3 4 6   p iec e s.   Ch a ra c teristics   p o ss e ss e d   b y   o n li n e   m e d ica a rti c le in c lu d e   p a ra g ra p h th a t   c o m p rise   m o re   th a n   o n e   a n d   th e   c o re   lo c a ti o n   o f   th e   sto r y   o r   i m p o rtan t   se n ten c e sc a tt e re d   a th e   b e g in n i n g ,   m id d le  a n d   e n d   o f   a   p a ra g ra p h .   T h e re f o re ,   th is  st u d y   c o n d u c ted   a   su m m a r y   b y   m a in tain in g   im p o rtan p h ra se re late d   to   t h e   i n f o rm a ti o n   o f   e x trao rd in a ry   e v e n ts  sc a tt e r e d   in   e v e r y   p a ra g ra p h   in   th e   m e d ica a rti c le  o n li n e .   T h e   su m m a r y   m e th o d   u se d   is  m a x i m a m a rg in a re le v a n c e   w it h   a n   n - b e st  v a lu e   o 0 . 7 .   W h il e   th e   m u lt f e a tu re   se lec ti o n   in   q u e sti o n   is  th e   u se   o f   f e a tu re to   imp ro v e   th e   p e rf o r m a n c e   o f   th e   su m m a r y   s y st e m .   T h e   f irst  f e a tu re   s e lec ti o n   is  th e   u se   o f   ti tl e   a n d   sta ti stic  n u m b e o f   w o rd   a n d   n o u n   o c c u rre n c e ,   a n d   w e ig h ti n g   tf - id f .   In   a d d it io n ,   o t h e f e a tu re s are   w o r d   lev e c a te g o r y   in   m e d ica c o n ten p a tt e rn s   to   i d e n ti f y   i m p o rtan se n ten c e o f   e a c h   p a ra g ra p h   in   th e   o n l i n e   m e d ica l   a rti c le.  T h e   i m p o rtan se n ten c e d e f in e d   in   th is  stu d y   a re   c las si f ie d   in to   t h re e   c a teg o ries c o re   se n ten c e ,   e x p lan a to ry   se n ten c e ,   a n d   su p p o rti n g   se n ten c e .   T h e   s y st e m   tes in   th is  stu d y   w a d iv id e d   in t o   tw o   c a teg o rie s,  su c h   a e x tri n sic   a n d   in tri n sic   tes t.   Ex tri n sic   tes is  c o m p a rin g   th e   su m m a r y   re su lt o th e   d e c isio n m a d e   b y   th e   e x p e rts  w it h   th e   o u t p u t   re su lt i n g   f ro m   t h e   sy ste m .   W h il e   in tri n sic   tes c o m p a re d   th r e e   n - Be st  w e ig h ti n g   v a lu e   m e th o d ,   f e a tu re   se lec ti o n   c o m b in a ti o n ,   a n d   c o m b in e d   f e a tu re   se lec ti o n   c o m b in a ti o n   w it h   w o rd   lev e c a te g o r y   in   m e d ica c o n ten t.   T h e   e x tri n sic   e v a lu a ti o n   re su lt   w a s   7 2 % .   W h il e   in tri n sic   e v a lu a ti o n   re su lt   o f   f e a tu re   se lec ti o n   c o m b in a ti o n   m e rg e r   m e th o d   w it h   w o rd   c a te g o ry   in   m e d ica l   c o n ten w a s   9 1 , 6 %   f o r   p re c isio n ,   9 2 , 6 %   f o re c a ll   a n d   f - m e a su re   w a s 9 2 , 2 % .   K ey w o r d :   T ex t su m m ar izatio n   Featu r s elec t io n   N - B est   Seco n d   o p in io n   W eig h ti n g   W o r d   lev el  ca teg o r y   in   m ed ical   co n ten t   Co p y rig h ©   2 0 1 8 I n stit u te o f   Ad v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Su s e t y o   B ag as B h as k o r o ,     Sch o o l o f   E lectr ical  E n g i n ee r i n g   a n d   I n f o r m atics,   I n s tit u t T ek n o lo g i B an d u n g ,   Gan es h 1 0   B an d u n g ,   I n d o n es ia.   E m ail:  s u s e t y o . b ag a s @ s . itb . ac . id       1.   I NT RO D UCT I O N   T h av ailab ilit y   o f   m ed ical  in f o r m atio n   is   al w a y s   i n cr ea s i n g ,   n o o n l y   f r o m   m ed ical  r ec o r d s   alo n e,   b u also   f r o m   th co m m u n it y   ac ti v p ar ticip atio n .   P ar tici p atio n   is   d i v id ed   in to   t w o   c ateg o r ies,  s u c h   as,   w r iti n g   in   t h e   f o r m   o f   n o n - f o r m al  lan g u ag t h at  is   s h ar i n g   d is ea s h i s to r y   ex p er ie n ce   an d   its   r ec o v er y   w h ich   ar w r it ten   to   s o cial   m ed ia   [1 ] ,   [ 2 ] A n o t h er   ca teg o r y   i s   f o r m al   w r iti n g   t h at  is   u s u al l y   w r itte n   in to   o n li n m ed ical  ar ticle s   i n   th e   f o r m   o f   h ea lt h   d e m o g r ap h ic   in f o r m a tio n   a n d   ex tr ao r d in ar y   e v en t s   [ 3 ] - [ 5 ] T h h ea lt h - r elate d   f o r m al  w r iti n g   ca n   b u s ed   as  an   alter n ati v to   au t o m a tic  an d   r ap id   d ata  c o llectio n   f o r   th n ee d s   o f   p u b lic  h ea lt h   s u r v eilla n c i n f o r m atio n ,   co m p ar ed   to   th m a n u al  co llectio n   o f   r ep o r ts   f r o m   h ea lt h   ca r f ac i lit y   s u c h   as  h ea lth   ce n ter s ,   h o s p ita ls   an d   cli n ics.   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 2 9 9     2 3 09   2300   T h is   s tu d y   s u m m ar izes  h ea lt h   i n f o r m atio n   f r o m   o n li n m ed ical  ar ticle.   T h n u m b er   o f   av ailab le   m ed ical  ar ticles  i s   p len t y   an d   h as  d iv er s i n f o r m atio n ,   s o   it  ca n   ca u s i ts   o w n   p r o b le m s .   C o m m o n   p r o b le m   th at  o cc u r s   f r o m   r ea d er s   i n   clo s ed   d o m ai n   s u c h   as  m ed ical  is   th s p ee d   o f   r ea d in g   ti m an d   u n d er s ta n d in g   t h e   ess e n ce   o f   t h s to r y   o f   an   o n li n m ed ical  ar ticle   [ 6 ] ,   [ 7 ] A   s u m m ar y   o f   t h te x i s   u s ed   to   m ak e   th e   in f o r m atio n   s h o r ter   w h ile  s til l   m ai n tai n i n g   i m p o r tan p h r ase s   co n tain ed   in   t h m ed ical  ar ticle.   T h s u m m ar y   tech n iq u es  e x p lo r ed   in   t h is   s t u d y   i n cl u d d eter m i n i n g   t h n - B est  m ax i m a m ar g i n al  r ele v an ce   ( MM R )   v al u e,   u tili zi n g   m u lt i f ea t u r s elec tio n   an d   w ei g h t in g   to   i m p r o v t h p er f o r m a n ce   o f   t h s u m m ar y   r esu lts .   Sev er al  s tu d ies   p er tin e n to   te x tu a s u m m ar ie s   h av b ee n   m ad b y   s o m p r ev io u s   r esear c h er s .   T h tech n iq u es  e x p lo r ed   ar d if f er en tiated   in to   f ea tu r s elec tio n   [ 7 ] - [ 1 4 ] ,   w ei g h ti n g   [ 1 5 ] - [ 1 7 ]   an d   MM R .   T h is   is   d u to   th eir   s i m p lici t y ,   e f f ec t iv en e s s   a n d   t h e y   y ield   r elev a n an d   n o n - e x ag g er ated   o u tp u ts   [ 1 5 ] ,   [ 1 8 ] - [ 2 1 ] Vis h a Gu p ta  [ 9 ]   u s ed   c u m e th o d ,   titl e,   an d   lo ca tio n   s e n te n ce s   as  q u er y   o r   k e y w o r d .   P .   Z h an g   [ 1 4 ]   s tated   th at  t h s elec s e n te n ce   u s ed   is   s i m ilar it y   m ea s u r b et w e en   s e n ten ce s ,   w o r d   f o r m   s i m ilar it y ,   w o r d   o r d er   s i m ilar it y ,   w o r d   s e m an t ic  s i m ilar it y   a n d   s e n te n ce   s i m ilar it y .   D h ar m en d r Hi n g u   [ 1 2 ]   ex p lai n ed   t h at  t h f ea t u r s elec tio n   th a ca n   b u s ed   f o r   q u er y   o r   k e y w o r d   in cl u d es  r elati v p o s itio n   o f   s e n te n ce n a m ed   e n titi e s ;   s i m ilar ities   w it h   o th er   s en te n c es;  s i m ilar it y   w i th   r est  o f   th e   d o cu m e n t;  s i m ilar itie s   w i th   o t h er   s e n te n ce s ;   titl e   r elev an ce r elati v le n g th   o f   s en ten ce s f r eq u en c y   o f   w o r d citatio n   an d   n u m er ical  d ata.   E .   P ad m alah ar [ 7 ]   an d   P .   Go y al  [ 1 1 ]   u s ed   co m b in at io n   o f   s ta tis tic s   an d   l i n g u i s tic s .   Featu r e s   u s ed   i n clu d ac r o n y m ,   k e y w o r d   f ea t u r es,  s en te n ce   p o s itio n ,   t er m - f r eq u e n c y ,   le n g th   o f   t h e   w o r d ,   p ar o f   s p ee ch   an d   p r o p er   n o u n   f ea tu r e,   p r o n o u n s .   R ó b er r o   [ 1 3 ]   ex p lain ed   t h at  th p ar ag r ap h   i n itial  lo ca tio n   an d   th e n d   o f   th p ar ag r ap h   h a v e   an   i m p o r tan m ea n i n g ,   d u to   th i n f o r m atio n   i n   t h at  p o s itio n   h as  a   p o s itiv e   v a lu to   b p r o ce s s ed .   Ma s an o r i   Ak i y a m a   [ 1 0 ]    m e n tio n ed   th at   it ta k es  th e   r an k i n g   o f   t h s u m m ar y   r e s u l ts   u s in g   j ac q u ar d   co ef f icie n t.   Vah d a n i   [ 2 2 ] ex p lain s   th at  u n i m p o r ta n s e n te n ce s   ca n   b m ea s u r e d   f r o m   th n u m b er   o f   o cc u r r en ce s   i n   th ar ticle.   R esear ch er   m e n tio n ed   t h at  f r eq u en s en te n ce s   ca n   b o b tain ed   u s i n g   w o r d   f r eq u e n c y   ca lc u latio n   th r o u g h   t h e   tf - id f   m et h o d .   Ho w e v er ,   t h r esear ch er   d id   n o m e n tio n   th e   p r e - p r o ce s s in g   s tag e s   u s ed   a n d   d id   n o m en tio n   ad d itio n al  tech n iq u es  s u c h   as  n - g r a m s   to   r ed u ce   th ca lc u la tio n   er r o r s   o f   th tf - id f   m e th o d .   So   th is   r esear ch   s till   h as  a n   o p en   o p p o r tu n it y   f o r   i m p r o v ed   ev al u atio n   r es u lt .   Fa u zi  [ 2 3 ]   o f f er s   p r o p o s ed   f ea tu r s elec tio n   u tili za t io n   u s in g   in f o r m at io n   g ain   a n d   MM R   as   w ell   as   co m b in e s   i n f o r m atio n   g ai n   a n d   MM R .   T h o b tain e d   o u tp u s h o w s   th at  u s in g   c o m b i n ed   in f o r m a tio n   g ai n   a n d   MM R   y ield s   8 6 % .   L i u   [ 2 4 ]   co n d u cted   an   ex p lo r atio n   to   g et  i m p o r tan i n f o r m atio n   f r o m   th r ev ie w   r e s u lt  ca lled   " f ea tu r o p in io n "   b y   u s in g   co n d itio n a r an d o m   f ield   m et h o d .   Featu r o p in io n   p r o p o s es  p atter n s   in   C h in e s lan g u a g an d   clas s if ie s   p o s itiv a n d   n eg at iv w o r d s .       I n   ad d itio n   to   f ea t u r s elec ti o n ,   ac co r d in g   to   o t h er   r esear ch er s ,   w ei g h ti n g   a n d   n - B est   ar n o th e   least  i m p o r ta n [ 1 5 ] - [ 1 7 ] ,   [ 2 5 ] [ 2 6 ] .   R ez Z ae f ar ia n   u tili z ed   w ei g h t in g   t f - id f   w i th   i n tr i n s ic  te s r es u lts   o f     60% - 7 0 %.  Gab r iel  Mu r r a y   [ 1 6 ]   an d   So n ia  Haid u [ 2 7 ]   co m p ar ed   s o m w eig h ti n g s   s u c h   a s   t f - id f ,   r esid u al  id f ,   tf ,   g a in ,   a n d   s u - id f .   Ot h er   s tu d ies  ex p lo r ed   m er el y   o n   th u s o f   d o cu m en f r eq u e n c y   ( D F).   T h r esear ch er s   s aid   th at  DF c a n   b u s ed   as  f e atu r s elec tio n   to   p r o d u ce   r ele v an t i n f o r m atio n   [ 2 8 ] .   Sev er al  p r ev io u s   s t u d ies  h a v d escr ib ed   f ea tu r s elec tio n   an d   f ea tu r s u g g e s tio n s   to   m ain tai n   i m p o r tan s e n te n ce s   i n   t h eir   s u m m ar y   r es u lts .   Ho w e v er ,   f r o m   s e v er al  s t u d ies  t h at  h av b ee n   av ailab le,   t h e   s elec tio n   o f   w eig h a n d   n - B est   v alu d id   n o m e n tio n ed   t h b est  r esu lt s .   T h er ef o r e,   th is   s t u d y   w il p r esen t h r esu lt s   o f   n - B est   v alu e   ex p lo r atio n   i n   t h s u m m ar y   s y s te m .   I n   ad d itio n ,   th i s   r esear c h   also   ex p lo r es  m u lti - f ea t u r s elec tio n   co n s i s ti n g   o f   n - B est  w eig h ti n g   v al u m et h o d ,   f ea tu r s elec tio n   co m b in a t io n ,   an d   co m b in ed   f ea t u r s elec tio n   co m b i n atio n   w it h   w o r d   lev e ca te g o r y   in   m ed ical  co n te n t.  O v er all,   th is   s t u d y   ai m s   to   co n tr ib u te  as  f o llo w s :       a.   Gen er ate  th m o s t a p p r o p r iate  n - B est  v al u f o r   th s u m m ar y   s y s te m   i n   I n d o n e s ia n   m ed ical   ar ticles;   b.   P r o d u ce   ch ar ac ter is tic  a n al y s i s   f o r   f ea t u r s elec tio n   co m b in atio n   i n   s u m m ar y   s y s te m ;   c.   P r o v id lis o f   s e n ten ce   p atter n s   co n s i s ti n g   o f   co r s e n t en ce s ,   e x p lan ato r y   s e n te n ce s   an d   s u p p o r tin g   s en te n ce s .   T h co m p o s itio n   o f   w r iti n g   i n   t h i s   s tu d y   i s   p r ese n ted   as   f o llo w s :   T h m ater ials   a n d   m e th o d s   w er e   d escr ib ed   in   Sectio n   2 .   I n   Sec tio n   3 ,   d escr ib ed   th r es u lt  a n d   an al y s is   o f   t h r esear c h .   I n   Sectio n   4 ,   d escr ib ed   th co n cl u s io n   o f   t h r esear ch .       2.   RE S E ARCH   M E T H O D   T h p r o p o s ed   s y s te m   i s   s h o w n   in   F i g u r 1 .   T h u s ed   s u m m ar y   s y s te m   u ti lized   an   ex tr ac ti v e   tech n iq u w h ic h   is   b ased   o n   s t atis tic  o r   f r eq u e n c y .   T h p u r p o s o f   ap p l y i n g   e x tr ac ti v ap p r o ac h   is   to   p r eser v e   m es s ag e s   co n v e y ed   b y   t h au t h o r   o f   th ar ticle.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     E n h a n ci n g   P erfo r ma n ce   in   Med ica l A r ticles S u mma r iz a tio n   w ith   Mu lti - F ea tu r S elec tio n   ( S u s etyo   B a g a s   B )   2301   s m e i ,   e x   P a r s i n g I n d o n e s i a n   M e d i c a l   a r t i c l e s ½   ( s 1 . . . s n ) T e x t   P r o c e s s i n g W e i g h t i n g F e a t u r e   S e l e c i o n S u m m a r i z a t i o n w = ½ ( ½   ( s 1 . . . s n ) ) S i m i l a r i t y E v a l u a t i o n T e s t i n g M e d i c a l   A r t i c l e     Fig u r 1 .   Me d ical  in f o r m a tio n   ex tr ac tio n       B ased   o n   F ig u r 1 ,   th r es ea r ch   b eg an   w i th   t h I n d o n esian   m ed ical  ar ticle  e x tr ac t io n   in to   co llectio n   o f   s e n te n ce s   s   ( i)   ...   s   ( n ) .   Ne x is   p er f o r m in g   t est  f o r   f ea t u r s elec tio n ,   w eig h ti n g   a n d   n - B est  as   w ell   as   clas s i f y in g   t h e   w o r d   ca teg o r y   le v el   i n   m ed ical  co n ten to   p r o v e   th a t h s u m m ar y   r es u lt  f r o m   t h e   s y s te m   i s   r ele v an t   to   t h s u m m ar y   r es u lt  ca r r ied   o u t   m an u all y .   Mo r eo v er ,   E v alu a tio n s   a r d iv id ed   in to   t w o   ca teg o r ies:   i n tr i n s ic  e v al u atio n t h s y s te m   p er f o r m an ce   tes t,  an d   ex tr i n s ic  test test   o f   an   ex p er j u d g m e n t.  T ab le  1   is   th ch ar ac ter is tic  o f   r esear ch   tex t s u m m ar y   t h at  b e ca m th r e f er en ce .       T ab le  1 .   C h ar ac ter is tics   o f   R e s ea r ch   T ex t Su m m ar y   P r o p e r t i e s   C h a r a c t e r i st i c s   F e a t u r e   se l e c t i o n   t i t l e ;   n o u n ;   s t a t i s t i c   n u m b e r   o f   w o r d   o c c u ra n c e ;   w o r d   r a n g e ;   st a t i st i c   n u m b e r o f   w o rd   a n d   n o u n   o c c u r a n c e ;   st a t i st i c   n u m b e o f   w o rd   a n d   t i t l e   o c c u ra n c e   W e i g h t i n g   T f ,   T f -   i d f ,   T f - i d f - df   P a r a me t r i c s   v a l u e     0 . 4 ; 0 . 6 ; 0 . 7 ; 0 . 8       2 . 1 .   F ea t ure  s elec t io n   Featu r s elec tio n   is   an   ac tiv it y   t h at  s p ec i f ies  f ea tu r to   s er v as  q u er y   o r   k e y w o r d ”  th at  is   u s ed   in   s u m m ar y   s y s te m   [ 1 2 ] .   T h f o llo w i n g   is   p s e u d o - co d f o r   f ea t u r s elec tio n .     P se u d o   C o d e     F e a t u r e   S e l e c t i o n   a n d   W e i g h t i n g   C o m b i n a t i o n     1       :   i n p u t   d o c u me n t   a   ,   f e a t u r e _ se l e c t i o n   a        w e i g h t     a     2       :   o u t p u t   su mm a r y     3       :                   q u e ry   o r   k e y w o r d   ( ) ={ t i t l e ;   n o u n ;   st a t i s t i c   n u m b e o f   w o r d   o c c u ra n c e ;   w o rd   ra n g e ;   s t a t i s t i c   n u m b e r   o f   w o r d   a n d   n o u n   o c c u r a n c e ;   st a t i st i c   n u m b e o f   w o rd   a n d   t i t l e   o c c u ra n c e }   4       :                 w e i g h t   (   ) =   { t f ;   tf - i d f tf - i d f - df }   5     :                     v a l u e   p a r a me t e r   (   6       :                g e t   a   n u m b e r   o f   d o c u me n t i   7       :                g e t   v a l u e     f r o m t h e   l i st     8       :               g e t   v a l u e         f r o m t h e   l i st   9 :         c o m b i n a t i o n   o f   d i f f e re n t   q u e r i e s     g e t   v a l u e   f r o m c o mb i n a t i o n   f r o      a n d       1 0 :     f o r e a c h   ( se l e c t i o n        i n o t   n u l l )   11:      se n t e n c e   (    )   =   se n t e n c e   d e t e c t i o n   f r o d i     12:      w o r d   =   w o r d   d e t e c t i o n   f r o      1 3 :     e n d   f o r e a c h   1 4 :     if ( c o m b i n a t i o n   o f   d i f f e re n t   q u e r i e s is   n o t   n u l l )   15:        =   e a c h   (              )   c o mp a r e d   w i t h     1 6 :     w o r d   =   w o r d   d e t e c t i o n   f r o        c o m p a r e d   w i t h     17:   st a t i st i c   =   g e t   s t a t i s t i c   f r o (              )   18:                    (              )              (              )   1 9 :                   (    )                  (        )     (       )            (    )   2 0 :   e n d   i f   2 1 :                  if   (              )   h a s   b i g g e r   v a l u e   t h a n   t h r e sh o l d ,   t h e n   (              )   i a       su m mary         2 . 1 . 1 .   F ea t ure  s elec t io n o f   t it le   I u s es  titl f ea tu r to   b q u er y   o r   k e y w o r d .   E v en   t h o u g h   th r e s u lt  o f   in itial  s t u d y   t itle  ca n n o t   al w a y s   b u s ed   to   d escr ib th co n ten o f   t h ar ticle,   n o n e t h eles s ,   its   r eliab ilit y   is   ab le  to   p r o d u ce   r elev an t   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 2 9 9     2 3 09   2302   an d   ap p r o p r iate  s u m m ar y .   W h er N ( t)   is   t h n u m b er   o f   w o r d s   ( t ) ,   w h ile     is   p r e - p r o ce s s i n g ,   an d   k   is   th e   tit l e   k e y w o r d .                                                       (   )   (   )             ( 1 )     2 . 1 . 2 .   F ea t ure  s elec t io n o f   no un   I u s es  n o u n   f ea tu r to   s er v as  q u er y   o r   k e y w o r d .   T h u s o f   n o u n   is   d u to   m ea n i n g   f o r m atio n   o f   th s e n te n ce s   ar d er iv ed   f r o m   co lle ctio n   o f   v er b s   o r   n o u n s .   W h er N ( t)   i s   th n u m b er   o f   w o r d s   ( t) ,   w h ile    is   p r e - p r o ce s s in g ,   an d         is   w o r d s   co m p ar ed   to   lis t o f   w o r d s   i n   ( n ) .   I f             ,   th en         is   o m itted .                                                    (   )   (       |     )                       ( 2 )     2 . 1 . 3 .   F ea t ure  s elec t io n sta t is t ic  nu m b er   o f   w o rd  o cc urence   I u s e s   s tat is tic  n u m b er   o f   w o r d   o cc u r en ce   f ea tu r to   b q u er y   o r   k e y w o r d .   T h u s o f   t h i s   f ea t u r is   o n   th a s s u m p tio n   t h at  s tat is t ic  n u m b er   o f   w o r d   o cc u r en ce   is   co n cl u s io n   f r o m   th co r d is cu s s io n   i n   t h e   ar ticle.   W h er N ( t)   is   t h n u m b er   o f   w o r d s   ( t) ,   w h ile    is   p r e - p r o ce s s in g ,   an d         is   w o r d s   co m p ar ed   to   th r es h o ld       .   I f         m ax       ,   th en   ti i s   o m itted .                                                                                     (   )   ( (     )       )               ( 3 )     2 . 1 . 4 .   F ea t ure  s elec t io n w o rd  r a ng e   I t u s es  w o r d   r an g f ea tu r to   b q u er y   o r   k e y w o r d .   T h u s e   o f   th i s   f ea tu r i s   o n   t h as s u m p tio n   th a t   w o r d   r an g is   u n iq u q u er y   o r   k e y w o r d   to   d escr ib th c o r d is cu s s io n   i n   t h ar ticle.   W h er N ( t)   i s   t h e   n u m b er   o f   w o r d s   ( t ) ,   w h ile    i s   p r e - p r o ce s s in g ,   an d         is   w o r d s   co m p ar ed   to   m a x                                                                (   )   (     (     )   (     ) )                 ( 4 )     2. 1 . 5 .   F ea t ure  s elec t io n sta t is t ic  nu m b er   o f   w o rd  a nd   no un   o cc urre nce   I t u s es  s tatis tic  n u m b er   o f   w o r d   an d   n o u n   o cc u r an ce   f ea tu r to   b q u er y   o r   k e y w o r d .                                                                                                                                (   )   (       |     )       (       (     )   (     ) )               ( 5 )     2 . 1 . 6 .   F ea t ure  s elec t io n sta t is t ic  nu m b er   o f   w o r d a nd   t it le  o cc urre nce     I t u s es  s tatis tic  n u m b er   o f   w o r d   an d   titl o cc u r an ce   f ea tu r t o   b q u er y   o r   k e y w o r d .                                                                                                                                  (   )   (   )       (      (     )   (     ) )               ( 6 )     2 . 2 .   Weig hting   I n   ad d itio n   to   f ea tu r s elec ti o n ,   th is   s tu d y   h a s   also   ex p l o r ed   w ei g h ti n g .   t f - id f   w ei g h t in g   i n   t h s u m m ar y   s y s te m   h as  b ee n   u s ed   b y   m a n y   r esear c h er s   [ 1 5 ] ,   [ 2 4 ]   an d   th o b tain ed   r e s u lt  i s   q u ite  g o o d .   Ho w e v er ,   s o m r esear ch er s   u s o n l y   w ei g h ti n g   t f .   T f   w ei g t h   is   u s ed   to   ca lcu l ate  f r eq u en c y   o f   w o r d   o cc u r r en ce   f r o m   t h e n tire   d o cu m e n t.  T h m o r t h f r eq u e n c y   o f   o cc u r r en ce   o f   t h w o r d ,   th h i g h er   th v al u o f   th w ei g h t.  T h is   s t u d y   u s ed   m m r   m et h o d   f o r   s u m m ar y   s y s te m   a s   s ee n   in   t h E q u atio n   ( 7 ) .           (    )                  (        )     (       )            (           )           ( 7 )     W h er d   is   a n   ar ticle   in   th e   v ec to r   f o r m ,   a n d   s u m   is   c o llectio n s   o f   s e n te n ce s   ex tr a cted   to   b s u m m ar y   o u tp u t.  Si m 1   a n d   s im 2   ar u s ed   to   ca lcu late  th s i m ilar it y   lev e f r o m   t h ar ticle .   P ar am etr ics  v al u e   v ar i ab le  is   n - B est  to   b ala n ce   t h t h s u m m ar y   w i th   t h m o s ad v is ab le  o u tp u t.  N - B est   t h a w ill  b co m p ar ed   ar 0 . 4 ,   0 . 6 ,   0 . 7 ,   0 . 8 .   Me an w h ile,   th s i m ilar it y   tec h n iq u u s ed   is   v ec to r   s p ac m o d el  to   co m p ar t w o   s i m ilar   ar ticles            .   A   tec h n iq u to   g et   q u er y   o r   k e y w o r d   s i m ilar it y   w it h   t h co n ten o f   th ar tic l is   j ac ca r d   co ef f icie n t.  Data   s et  u s ed   i n   t h is   r esear c h   is   a s   m u c h   as  7 , 3 4 6   p iece s   o f   m ed ical  ar ticle.   T h am o u n o f   d ata  ar o b tain ed   f r o m   t w o   o f   th m o s p o p u lar   s ite s   in   t h h ea lt h   ca teg o r y   in c l u d i n g   d eti k . co m   an d   k o m p as.c o m .   B ased   o n   f i g u r 2 ,   t h d ata  s et  w ill  b p ilo ted   an d   co m b in ed   u s in g   f ea t u r s elec tio n   an d   w eig h ti n g .   T h n u m b er   o f   co m b i n atio n s   is   1 8   p air s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     E n h a n ci n g   P erfo r ma n ce   in   Med ica l A r ticles S u mma r iz a tio n   w ith   Mu lti - F ea tu r S elec tio n   ( S u s etyo   B a g a s   B )   2303                             *   |                   +   *   |                   +         ( 8 )     I n   ad d itio n   to   f ea tu r s e lectio n ,   an o th er   s ta g is   to   test   t h v a lu o f   n - B est  s u c h   as 0 . 4 ; 0 . 6 ; 0 . 7 ; 0 . 8 .     2 . 3 .   Wo rd  lev el  ca t eg o r y   in  m edi ca l c o nte nt   T h n ex t   s tag e   is   to   p r o v t h a t h e   s u m m ar y   r e s u l g en er ate d   b y   t h s y s te m   i s   i n   lin e   w it h   th e   r es u lt   o f   s u m m ar y   co m p leted   b y   h u m a n   m an u all y .   T h is   v er if ic atio n   u s e s   th m ac h i n lear n in g   ap p r o ac h ,   an d   th r o u g h   t h is   ap p r o ac h ,   th f ea tu r ex p lo r atio n   w i ll  b s ee n   as  class i f icatio n   p r o b le m .   Fu r t h er m o r e,   class i f icatio n   i s   d o n b y   d iv i d in g   s u m m ar y   r es u lts   i n to   th r ee   ca teg o r ies  o f   w o r d s   i n   m e d ical  co n ten t.   W o r d   lev el  ca te g o r y   p atter n   i n   m ed ical  co n ten is   o n o f   t h f ea t u r s elec tio n s   u s ed   to   f in d   i m p o r ta n p h r ase s   i n   o n lin m ed ical  ar ticles.       T ab le  2 W o r d   L ev el  C ateg o r y   i n   Me d ical  C o n te n t     C o r e   se n t e n c e s   S u p p o r t i n g   se n t e n c e s   Ex p l a n a t o r y   se n t e n c e s   P a t t e r n   S e n t e n c e s→  [ { d e scri p t i o n },    {s y mp t o m} ,     {d i se a se },   {ca u se },   {e f f e c t }]   S e n t e n c e →    [ ( {n u m b e r },     {o b j e c t } ,     {e x a mp l e },     {co mp a r i so n } ,     {p l a c e },     {q u e st i o n   se n t e n c e },     {q u o t e }) ]   se n t e n c e     [ { c i t a t i o n } ,     {e x c l a mat i o n s} ,     {s o l u t i o n } ]           2 . 4 .   E v a lua t io n   T h ev alu atio n   t h at  w a s   co n d u cted   is   d iv id ed   in to   t w o   ca teg o r ies;   in tr i n s ic  ev al u atio n   w h ich   is   class i f icatio n   test   r es u lt  f o r   t h w o r d   ca te g o r y   in   t h m ed ical  co n ten p er f o r m ed   b y   th s y s te m   u s in g   t h e   m u lti n o m ial  n v b ay e s   m et h o d .   A n o th er   test   is   a n   ex tr i n s i ev alu atio n   w h ic h   is   t h ev al u atio n   o f   te s r esu l t   o n   th co n f o r m it y   o f   th o u tp u ts   f r o m   th s y s te m   j u d g ed   b y   th ex p er d ec is io n .   P ar ticu lar l y   f o r   th ex tr i n s ic   ev alu a tio n ,   ex p er h as  d i f f er e n b ac k g r o u n d s ,   s u c h   as:  ( E I )   B io lo g ical;  ( E 2 )   I n f o r m a tics ( E 3 )   L in g u i s tic;  an d   ( E 4 )   Hu m an io r a.   T h ex is te n ce   o f   th e x p er is   d iv id ed   in to   t w o   f u n c tio n s .   T h f ir s f u n ctio n   i s   t h ex p er s er v es  a s   clas s i f icatio n   m a k er   f o r   t h wo r d   ca teg o r y   le v el  i n   m ed ical  co n ten t   as  in   T ab le  2 .   T h s ec o n d   f u n c tio n   is   th e   ex p er as  t h e v al u ato r ,   i.e . ,   th s u b j ec tiv as s i g n m e n to   t h co n f o r m it y   o f   th s u m m ar y   r esu lt  g e n er ated   b y   th s u m m ar y   s y s te m .   T h ev a lu atio n   p ar a m eter   g i v e n   b y   t h ex p er f o r   s u m m ar y   r es u lt  ar g r o u p ed   in to   f i v e   ca teg o r ies:   ( a)   Sco r 1   if   t h s u m m ar y   i s   n o t r ele v an t ; ( b )   Sc o r 2   if   t h e   s u m m ar y   i s   le s s   ac ce p ted ; ( c)   Sco r 3   if   th s u m m ar y   r esu l is   q u ite  ac ce p tab le;  ( d )   Sco r e   4   if   th s u m m ar y   r es u lt  is   ac ce p ted an d   ( e)   Sco r e   5   if   th e   s u m m ar y   r esu lt  i s   g r ea tl y   ac c ep ted .   P er ce n tag v al u o f   t h ev al u atio n   r es u lts   as   b elo w :   ( 1 )   0 % - 1 9 , 9 9 is   s tr o n g l y   d is a g r ee ,   ( 2 )   2 0 % - 3 9 , 9 9 is   d is ag r ee ,   ( 3 )   4 0 % - 5 9 , 9 9 is   b o r d er   ag r ee ,   ( 4 )   6 0 % - 7 9 , 9 9 is   ag r ee ,   ( 5 )   8 0 % - 1 0 0 % is   s tr o n g l y   a g r ee .       3.   RE SU L T   AND  ANA L YS I S   T h is   s tu d y   e x tr ac ted   ar ticles  in   th ca te g o r y   o f   co ar s e - g r ain ed   ap p r o ac h   an al y s i s ,   th e r ef o r th e   d ataset  u s ed   d er iv ed   f r o m   o n lin m ed ical  n e w s   w it h   p ar ti cu lar   to p ics  w as  r e m ar k ab l o cc u r r en ce .   On e   ex a m p le   o f   n e w s   s o u r ce s   u s ed   in   th is   s t u d y   i s   s h o w n   i n   Fi g u r 2 .   B ased   o n   Fi g u r 2 ,   th e   n u m b er   o f   w o r d s   i n   th ar ticle  i s   a m o u n ted   to   3 0 5 ,   an d   th i m p o r tan s en te n ce   o b tain ed   m a n u a ll y   a n d   m ad n e w   k n o w led g i s   a m o u n ted   to   1 0 2 .   T h er ar e   a b o u 3 3 im p o r tan i n f o r m at i o n   th at  m u s ap p ea r   in   th ar ticle  to   m a k n e k n o w led g e.   So m i m p o r ta n t se n ten ce s   t h at   ca n   b u s ed   as n e w   k n o w led g o f   th ar ticles co n tain ed   i n   F ig u r 2   in c lu d e:    1.   Hea d   o f   Hea lt h   Ser v ice  o f   T e m an g g u n g   R e g e n c y Su p ar j o   s aid   d ata  o f   d iar r h ea   p atien ts   i n   Sig ed o n g   Villag e   u n til t h is   m o r n i n g   r ea c h ed   6 4   p eo p le   2.   He  s aid   th er w as  d ea d   v ict i m   f r o m   t h o u tb r ea k   ca s e .   T h v icti m   is   7 5   y ea r s   o ld ,   b esid es  d iar r h ea ,   h e   also   s u f f er s   f r o m   h y p er ten s io n   3.   Ho w e v er ,   h s aid   it  w as  alle g ed ly   b ec a u s t h w ater   co n s u m ed   b y   s o ciet y   a n d   is   c u r r en tl y   s til u n d er   th e   r esear ch .     4.   T em an g g u n g   Hea lt h   Of f ice  h a s   estab lis h ed   p o s t in   th v illa g w h ich   o p en s   2 4   h o u r s .     5.   He  also   s o cialize d   to   th co m m u n it y   to   i m p le m e n t c lea n   an d   h ea lth y   li f e .   6.   I n   ad d itio n ,   ch lo r in d i s p er s i o n   is   d is tr ib u ted   in   t h s p r in g   an d   w a ter   r eser v o ir   to   r ed u ce   th n u m b er   o f   b ac ter ia  an d   g er m s .   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 2 9 9     2 3 09   2304       Fig u r 2 E x tr ao r d in ar y   ev e n ts   in f o r m atio n   f r o m   o n li n m ed ical  ar ticles 1       T h im p o r tan s en te n ce   i s   n o o n l y   g en er ated   f r o m   th r a n k i n g   o f   w o r d   f r eq u e n c y   th at  ap p ea r s   in   th e   ar ticle,   b u f r o m   th e   ca lc u lati o n   o f   th e   ex is ti n g   i m p o r tan w o r d s   i n   ea c h   p ar ag r ap h .   T h t y p ical   I n d o n es ia n   ar ticle  w r iti n g   p atter n   is   u s u al l y   d o n f r o m   g en er al  d escr i p tio n   at  th b eg in n in g   o f   th p ar ag r ap h ,   f o llo w ed   b y   s u p p o r tin g   s e n ten ce s   lo ca t ed   in   t h m id d le  o f   t h s to r y   co n ten o f   th e   ar ticle.   T h l ast  d is c u s s io n   tell s   ab o u th e   co n cl u s io n   in   t h f o r m   o f   a   s o l u tio n .   E ac h   i m p o r tan s e n ten ce   i n   ea c h   p ar ag r ap h   w i ll  h a v a   co n n ec tio n   to   th o th er   s en ten ce s   in   d if f er e n p ar ag r ap h s .   T h er ar e   s ev er al  d ep en d en cie s   b et w ee n   ex p lan ato r y   a n d   ex p lai n ed   s en ten ce s   o r   s en te n ce s   t h at  p r o v id in f o r m atio n   o n   ca u s es  a n d   s en te n ce s   t h at   ex p lain   t h r esu lt s .   Fo r   ex a m p le,   th s en te n ce   co n tain ed   i n   n u m b er   1   h as  r elatio n s h i p   w ith   t h s en ten ce   co n tain ed   i n   n u m b er   2   ( d iar r h ea   p atien -   t h er is   d ea d   v ic ti m   f r o m   t h o u tb r ea k   ca s e ) .   Sen te n ce   n u m b er   1   also   s till   h a s   r elatio n s h ip   w i th   t h s e n te n ce   co n tain ed   i n   n u m b er   3   ( d iar r h ea   p atie n -   al leg ed l y   b ec a u s o f   th co n s u m ed   w ater ) .   Sen te n ce   in   th n u m b er   1   s till   h as   r e latio n s h ip   w i th   t h s en t en ce   co n tain ed   i n     n u m b er   4   ( Sig ed o n g   Villa g -   E s tab lis h   P o s k o ).   T h er ef o r th is   s t u d y   d i v id es  th d is c u s s io n   ca te g o r y   i n   ea ch   ar ticle  in to   th r ee   p ar ts ,   as  s ee n   i n     T ab le   2 .   E ac h   ca teg o r y   in   T ab le   2   p r o v id es  an   o v er v ie w   t h at  t h d is cu s s io n   i n   ea ch   p a r ag r ap h   co n s i s ts   o f   p atter n s   o f   w o r d s   th at  d escr ib e   i m p o r tan t se n te n ce s   i n   th ar t icle.     3 . 1 .   T est  o n n - bes t   a nd   w eig hting   v a lue   T h s u m m ar y   m et h o d   u s ed   i s   th MM R   w i th   th e x p lo r ed   n - B est  v alu e   is   0 . 4 0 . 6 0 . 7 0 . 8 .   T est   r esu lt  f r o m   t h n - B est  v al u e s   in cl u d es:  ( 1 )   th v alu o f   n - B est  0 . 4   g ets  m o r co n cise  s u m m ar y ,   b u w o r k s   w ell   o n l y   i n   ar ticles  th at  ar le s s   t h an   2 0 0   w o r d s .   ( 2 )   T h v al u o f   n - B est  0 . 6   g ets   ir r elev a n s u m m ar y   r e s u l ts ,   th er is   lo o f   am b i g u o u s   in f o r m atio n .   ( 3 )   T h v alu o f   n - B est  0 . 7   o b tain s   m o r ac ce p tab le  an d   r elev an t   s u m m ar y   r e s u l w it h   m a n u al   s u m m ar izi n g   ac ti v itie s .   ( 4 )   T h v al u o f   n - B est  0 . 8   r esu lt  i s   i r r elev an s u m m ar y   an d   th er ar m an y   s en te n ce s   t h at  t u r n ed   to   b elu s i v e.   T ab le   3   an d   Fi g u r 3   d is p la y   t h r es u lts   o f   co m p ar i s o n   o f   th u s o f   n - B est v al u e .           Fig u r 3 .   Gr ap h ic  o f   n - B est C o m p ar is o n   T ab le  3 .   C o m p ar is o n   o f   n - B es t V alu e   n   =   0 , 7   n   =   0 , 8   n   =   0 , 4   n   =   0 , 6   0 . 3 6   0 . 4 8   0 . 4 2   0 . 2 4   - 0 . 0 0 4   0 . 1 7 8   0 . 0 8 7   - 0 . 1 8 6   - 0 . 0 1 8   0 . 0 6 8   0 . 1 0 6   - 0 . 0 0 6   - 0 . 0 5 3   0 . 0 1 8   - 0 . 1 2 2   - 0 . 2 8 8   - 0 . 1 4 2   - 0 . 0 0 6   - 0 . 1 4 2   - 0 . 2 9 6   0 . 2 3 4   0 . 7 3 8   0 . 2 5 8   - 0 . 5 3 6         Fig u r 3   s h o w s   co m p ar is o n   g r ap h   o f   th n - B est  v a lu i n   tex s u m m ar y   s tu d y .   T est  r esu lt  b ased   o n   th u tili za tio n   o f   w ei g h ts   s h o w n   i n   T ab le  4 .                                                                 1   h t t p s: / / l i f e st y l e . o k e z o n e . c o m/ r e a d / 2 0 1 7 / 0 8 / 0 9 / 4 8 1 / 1 7 5 2 5 1 9 / d e sa - si g e d o n g - t e man g g u n g - k l b - d i a r e - 1 - k o r b a n - me n i n g g a l - d u n i a   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     E n h a n ci n g   P erfo r ma n ce   in   Med ica l A r ticles S u mma r iz a tio n   w ith   Mu lti - F ea tu r S elec tio n   ( S u s etyo   B a g a s   B )   2305   T ab le  4 .   R esu lt C o m p ar i s o n   o f   W eig h ti n g   Me t h o d   No   P r o p e r t i e s   Tf - i d f   Tf   Tf - i d f - Df   Df   1   P r e se n t i n g   B a si c   o r d e r   o f   t h e   a r t i c l e           2   B a si c   f r a me w o r k   se e ms l i k e l y   c l e a r           3   C o mp r e ssi n g   mai n   i d e a s i n t o   mo r e   c o n c i se   o n e           4   P r e se n t i n g   t h e   a r t i c l e   me a n i n g           5   P r e se n t i n g   s u p p o r t i n g   d a t a           6   P r e se n t i n g   c o n c l u s i o n           7   S u mm a r y   r e su l t s b e c o me s l e ss (2 0 %)               B ased   o n   T a b le  4   a b o v e,   if   th s u m m ar y   r es u lts   ar f e w er ,   th en   i b ec o m es  a m b ig u o u s ,   b ec au s t h e   co r s en ten ce   an d   s u p p o r tin g   s en te n ce s   ar h ar d   to   co m b y .   I f   t h n u m b er   o f   s e n ten ce s   f r o m   t h s u m m ar y   r esu lt s   is   al m o s t h s a m e   a s   th e   o r ig i n al  s en te n ce ,   t h e n   th m et h o d   in   th s y s te m   s u m m ar y   i s   n o y et  w o r k i n g .   I f   th o b j ec tiv is   to   s u m m ar ize  in   s u m m ar y   th e n   t h m o s ap p r o p r iate  w ei g h ts   a r T f - id f - d f   an d   d f .   T h m o s t a p p r o p r ia te  th in g   i n   th is   r esear c h   is   T f - id f .       3 . 2 .   M edi ca a rt icle  ex t ra ct io n   T h p r ev io u s   d is cu s s io n   s h o w s   th at  o f   th to tal  n u m b er   o f   w o r d s   co n tai n ed   in   t h ar ticle ,   th er ar ab o u 3 3 ar i m p o r tan s en t en ce s .   T h er ef o r th e   f ir s e v al u atio n   co n d u cted   i n   t h is   r e s ea r ch   is   to   ap p l y   th e   ap p r o p r iate  f ea tu r s e lectio n   an d   w eig h ti n g   to   p r o d u ce   th e   w o r d   n u m b er   o u tp u b et w ee n   2 5   -   3 3 %.  T ab le  5   an d   Fig u r 4   ar ten   r an d o m l y   d r aw n   d o cu m e n t s ,   an d   h av d if f er en w o r d   co u n ts .   T h is   p r eli m i n ar y   tes u s i n g   th MM R   w i th   t h v alu o f   n - B est 0 . 7   an d   g et  th r esu l t b etw ee n   3 0 %.            Fig u r 4 C o m p ar is s o n   o f   titl w it h   t h co n te n t o f   t h ar ticle   T ab le  5 On lin A r ticle  Data s e ts   a n d   Data s et  E v alu a tio n   No   P o st i n g   Ex t r a c t e d     R e su l t     1   1 7 1   1 1 9   0 . 7 0   2   3 5 7   2 0 9   0 . 5 9   3   1 9 8   1 1 8   0 . 6 0   4   35 2   1 2 4   0 . 3 5   5   2 7 0   1 7 8   0 . 6 6   6   3 0 8   2 2 6   0 . 7 3   7   3 6 0   1 6 2   0 . 4 5   8   4 0 5   3 3 1   0 . 8 2   9   3 6 6   99   0 . 2 7   10   2 6 2   1 9 9   0 . 7 6         3 . 3 .   T est  o n f ea t ure  s elec t io n c o m b ina t i on   C o m b i n atio n   o f   f ea t u r ed   s elec tio n   an d   w ei g h t in g   ar as see n   b elo w .           *                       +   *              +   *                          +         *                     +   *            +   *                        +         *                            +   *                   +   *                                 +         *                             +   *                    +   *                               +         *                           +   *                    +   *                                +         *                            +   *                     +   *                                +   Ov er all  tes r esu l ts   b ased   o n   f ea tu r s elec tio n   u t ilizatio n   is   s ee n   i n   tab le  6 .   P r o p er ties   in   Ta b le  6   is   th co n cl u s io n   o f   t h s u m m ar y   r esu lts   o b tain ed   af ter   test i n g   u s i n g   s o m co m b i n atio n   o f   f e atu r s elec tio n .   B ased   o n   T ab le  6 ,   t h f ea tu r s elec tio n   r e s u l ts   t h at  h a v ac cu r ate  o u tp u s eq u en t iall y   ar th titl e   f ea t u r e,   th e   s ta tis tica co m b i n atio n   f ea t u r -   n o u n ,   s ta tis tic al  f ea t u r e,   n o u n   f ea t u r e,   s tat i s tical  co m b in at io n   f ea t u r -   t h ti tle  a n d   t h lo n g e s w o r d   f ea t u r e.   A lt h o u g h   th e   r esu lt  o f   u tili zi n g   f ea t u r titl g et s   g o o d   r an k i n g ,   b u in   s o m e   ar ticles,  th ti tle  f ea t u r m a y   n o b f o u n d   a n d   is   v er y   d i f f er e n f r o m   t h co n ten t   i n   t h e   ar ticle.   C o m p le tin g   th e   lac k   o f   t h ti tle  f ea t u r u tili za t io n ,   th i s   s tu d y   w i ll  co m b in e   t h e   titl e   an d   s tati s tics   f ea t u r es  f r o m   t h n u m b er   o f   n o u n   o cc u r r en ce s .   T h co m p ar is o n   r es u lt  o f   f ea t u r s elec t io n   u tili za tio n   a n d   w ei g h ti n g   to   g e m o r r elev a n t   s u m m ar y   r es u lt is   a s   s ee n   in   T ab le  7 .     Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 2 9 9     2 3 09   2306   T ab le  6 .   C o m p ar is o n   R es u lt  o f   Feat u r Selectio n     P r o p e r t i e s   a   b   c   d   e   f   1   R e l e v a n t   a n d   s u i t a b l e   su mm a r y               2   L e ss su i t a b l e   a n d   a mb i g u o u s s u mm a r y               3   I r r e l e v a n t   s u mm a r y   w h o se   c o n t e n t s   a r e   mo st l y   n o t   su i t a b l e               4   H i g h   l e v e l   o f   a c c u r a c y               5   L o w   l e v e l   a c c u r a c y               N o t e :   ( a )   t i t l e ;   ( b )   st a t i s t i c   n u m b e o f   w o r d   o c c u r a n c e ;   ( c )   n o u n ;   ( d )   w o r d   ra n g e ;   ( e )   st a t i s t i c   n u m b e o f   w o r d   a n d   t i t l e   o c c u ra n c e ;   ( f st a t i s t i c   n u m b e r   o f   w o r d   a n d   n o u n   o c c u r a n c e ;             T ab le  7 .   C o m p ar is o n   o f   T itle  w it h   n oun   TI TL +   TFI D F   TI TL +   TF   N O U N   +   T F I F   N O U N   +   T F   1   2   3   4   5   1   2   3   4   5   1   2   3   4   5   1   2   3   4   5   0 . 1 4   0 . 1 4   n u l l   n u l l   n u l l   0 . 1 9   n u l l   n u l l   n u l l   n u l l   0 . 0 6   0 . 0 4   0 . 0 4   0 . 0 5   0 . 0 5   0 . 0 8   0 . 0 4   0 . 0 6   0 . 0 6   0 . 0 6   0 . 1 7   n u l l   n u l l   n u l l   n u l l   0 . 1 9   0 . 1 9   n u l l   n u l l   n u l l   -   -   -   -   -   -   -   -   -   -   0 . 0 9   0 . 0 7   0 . 0 7   0. 07   n u l l   0 . 1 1   0 . 0 3   0 . 0 9   0 . 0 9   0 . 0 9   -   -   ( 0 . 0 1 )   -   -   -   -   -   -   -   -   -   -   -   ( 0 . 0 3 )   -   ( 0 . 0 2 )   -   -   -   0 . 0 6   0 . 0 6   0 . 0 6   0 . 0 2   0 . 0 2   0 . 0 9   0 . 0 9   0 . 0 3   0 . 0 3   0 . 0 3   0 . 0 5   0 . 0 5   0 . 0 5   0 . 0 5   0 . 0 0   0 . 0 6   0 . 0 6   0 . 0 6   0 . 0 6   0 . 0 6   0 . 0 5   0 . 0 5   0 . 0 5   0 . 0 1   0 . 0 1   0 . 0 8   0 . 0 8   0 . 0 1   0 . 0 1   0 . 0 1   0 . 0 5   0 . 0 5   0 . 0 5   0 . 0 5   0 . 0 5   0 . 0 8   0 . 0 3   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 5   0 . 0 5   0 . 1 3   0 . 1 1   0 . 0 9   0 . 0 9   0 . 0 9   0 . 0 6   0 . 0 6   0 . 0 6   0 . 0 6   0 . 0 3   0 . 1 2   0 . 0 2   0 . 1 2   0 . 1 2   n u l l   -   -   ( 0 . 0 1 )   -   -   -   -   -   -   -   0 . 0 6   0 . 0 4   0 . 0 4   0 . 0 4   0 . 0 2   0 . 0 6   0 . 0 6   0 . 0 4   0 . 0 4   0 . 0 4   0 . 0 5   0 . 0 5   0 . 0 4   0 . 0 5   0 . 0 5   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 4   0 . 0 4   0 . 0 4   0 . 0 4   0 . 0 2   0 . 0 8   0 . 0 2   0 . 0 8   0 . 0 8   0 . 0 8   0 . 0 5   0 . 0 5   0 . 0 4   0 . 0 2   0 . 0 2   0 . 0 8   0 . 0 8   0 . 0 3   0 . 0 3   0 . 0 3       T h test   r esu lts   g i v t h f o llo w i n g   r es u lts   8 5 . 8 f o r   p r ec is io n ,   8 3 . 7 f o r   r ec all  an d   f - m ea s u r i s   8 4 . 7 %.     3 . 4 .   T est  o n f ea t ure  s elec t io n c o m b ina t io n + w o rd  ca t eg o r y   l ev el  in  m e dica l c o nte nt   T h is   r esear ch   co m b i n es  f ea t u r s elec tio n   w it h   w o r d   ca te g o r y   le v el  in   m ed ical   co n te n t.  T h o b j ec tiv is   to   k ee p   i m p o r ta n s e n te n ce s   w h i le  p er f o r m i n g   s u m m ar y .   Me r g i n g   s u ch   m et h o d s   r eq u ir es  t h s e n te n ce   class i f ic atio n   m et h o d   in   m ed ic al  ar ticles.       P s eu d o   C o d N aïv B ay e s   Mu ltin o m ial  f o r   T h C lass i f icatio n   o f   Se n te n ce   Stru ct u r e   1:     C alcu late  t h n v b a y e s   m u lti n o m ia to   f in d   t h ca teg o r y   o f   s e n te n ce   f r o m   ea c h   test   s e n te n ce   b y   ca lcu lati n g   th p r o b ab ilit y   o f   e ac h   w o r d   t y p f r o m   t h t y p o f   w o r d   f o u n d   i n   th te s s e n t en ce   w it h   ea ch   t y p o f   w o r d   i n   th tr ai n i n g   d a ta  s en te n ce .   2 :     L o o p in g   b ased   o n   test   s e n t en ce   a.   C alcu late  th p r o b ab ilit y   o f   ea ch   w o r d   t y p i n   th te s t se n te n ce   ag ain s t t h t y p f o r m i n g   ea ch   s en te n ce   ca te g o r y   b y   u s i n g   n v b a y es  m u lti n o m ia l.   b.   Fin d   t h lar g est  v al u o f   ca lc u latio n   o u tp u t in   ea c h   w o r d   t y p f o r m atio n   a g ai n s t t h ca te g o r y   o f   s en te n ce s   u n d er   ca lc u latio n .   c.   T h f o r m a tio n   o f   t h w o r d   t y p ag ain s t t h ca teg o r y   o f   s en te n ce   w it h   th lar g est  v a l u is   e n ter ed   in to   th d atab ase.   Data   e n ter ed   in to   ar ( s en ten ce ,   s et  o f   w o r d   ty p o n   ea ch   w o r d   in   s e n te n ce ,   s en te n ce   ca te g o r y ) .               en d       T ab le  8   s h o w s   t h s u m m ar y   r esu l b y   co m b i n i n g   f ea tu r e   s elec tio n   w i th   w o r d   ca teg o r y   le v el   in   m ed ical  co n te n t.  E x p ec ted   o u tp u is   m ai n tai n i n g   i m p o r tan s en ten ce s   b y   f o llo w i n g   th p at ter n s   in   ea c h   clas s   o f   w o r d   ca teg o r y   le v el  i n   m ed ical  co n ten t.       T ab le  8 .   R esu lt  o f   Feat u r e   Sel ec tio n   C o m b i n atio n   W o r d   L ev el  C ate g o r y   C las s if icatio n i n   Me d ical  C o n ten t   No   M e d i c a l   T e x t   C l a s s i f i c a t i o n   C l a s s   1   P o l y p h a g i a   i s o n e   o f   t h r e e   sy mp t o ms’   d i a b e t i c   d i se a se   Ex p l a n a t o r y   se n t e n c e s   2   A l mo st   p e o p l e   d o e sn 't   a w a r e   a b o u t   d i a b e t i c   sy mp t o ms’   S u p p o r t i n g   se n t e n c e s   3   S o me o n e   mu st   a w a r e   a b o u t   so me   sy mp t o ms’   l i k e   f r e q u e n c y   t o   u r i n a t i o n   mo r e   o f t e n   t h a n   b e f o r e   a n d   a l w a y s t h i r st y   e v e n   t h e y   j u st   d r i n k ,   c a n   b e   t h a t   d i a b e t i c   sy mp t o ms’   Ex p l a n a t o r y   se n t e n c e s   4   A l t e r n a t i v e   w a y s t o   p r e v e n t   d i a b e t i c   C o r e   se n t e n c e s   5   A c c o r d i n g   t o   d i a b e t i c   i n t e r n a t i o n a l   f o u n d a t i o n   a t   2 0 1 4 ,   a t   l e a st   7 0   p e r c e n t   f r o 9 . 1   m i l l i o n   I n d o n e si a n   p e o p l e ,   r e a l i z e   sh e / h e   w i t h   d i a b e t i c   a f t e r   t h e y   g o t   c o mp l i c a t e d   d i se a se   S u p p o r t i n g   se n t e n c e s   6   T h e   e a s y   w a y   t o   d e t e c t   d i a b e t i c   w i t h   c h e c k   y o u r   g l u c o se   b l o o d   r e g u l a r l y   S u p p o r t i n g   se n t e n c e s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec   &   C o m p   E n g   I SS N:  2 0 8 8 - 8708     E n h a n ci n g   P erfo r ma n ce   in   Med ica l A r ticles S u mma r iz a tio n   w ith   Mu lti - F ea tu r S elec tio n   ( S u s etyo   B a g a s   B )   2307   No   M e d i c a l   T e x t   C l a s s i f i c a t i o n   C l a s s   7   P e o p l e   c a n   p r e v e n t   d i a b e t i c   w i t h   h e a l t h y   l i f e   st y le   C o r e   se n t e n c e s   8   Ea r l y   d e t e c t i o n   t o   d i a b e t i c   si g n   w a s i mp o r t a n t   t o   k e e p   y o u   f r e e   f r o m d i a b e t i c   S u p p o r t i n g   se n t e n c e s   9   S o me o n e   p u n i sh e d   w i t h   d i a b e t i c   w h e n   S G P T   l e v e l   h i g h e r   t h a n   1 2 6   mg d l   a n d   S G O T   h i g h e r   t h a n   2 0 0   mg d l   S u p p o r t i n g   se n t e n c e s   10   G e n e r a l l y ,   p e o p l e   w i t h   d i a b e t i c   sh o u l d   d o i n g   r i g h t   a n d   p l a n n e d   d i e t   i n   l o w   c a l o r i e s a n d   f a t   S u p p o r t i n g   se n t e n c e s   11   P e o p l e   w i t h   d i a b e t i c   s u g g e st   t o   c o n su me   so me   f o o d   b e f o r e   h u n g r y   c o n d i t i o n   c o me   b e c a u se   t h a t   c o n d i t i o n   c a n   i n f l u e n c e   c o n d i t i o n   o f   t h e i r   b o d y   Ex p l a n a t o r y   se n t e n c e s       T est  r esu lt  o b tain ed   b y   co m b i n in g   f ea t u r s e lectio n   w it h   wo r d   ca teg o r y   lev el   in   m ed ical   co n ten i s   as f o llo w s   9 1 . 6 % f o r   p r ec is io n ,   9 2 . 6 % f o r   r ec all  an d   f - m ea s u r is   9 2 . 2 %.       T ab le  9 T h C alcu latio n   O u tp u f r o m   S y s te m   S u p p o r t i n g   se n t e n c e s   E x p l a n a t o r y   se n t e n c e s   C o r e   se n t e n c e s   5 . 7 6 E - 53   3 . 5 8 E - 55   1 . 2 0 E - 55   4 . 9 4 E - 38   8 . 2 8 E - 40   2 . 7 8 E - 40   3 . 7 3 E - 67   1 . 5 5 E - 70   5 . 2 3 E - 71   2 . 1 7 E - 49   7 . 3 9 E - 52   9 . 9 2 E - 52   2 . 4 7 E - 84   1 . 6 3 E - 89   9 . 8 5 E - 1 0 2   6 . 5 1 E - 96   1 . 4 5 E - 1 0 1   2 . 7 5 E - 90   1 . 6 5 E - 44   2 . 4 4 E - 47   1 . 6 4 E - 47         Fig u r 5 C o m p ar i s o n   f ea t u r s elec tio n       3 . 5 .   E v a lua t io n   E v alu a tio n   is   d iv id ed   in to   t wo   ca teg o r ies,  n a m el y   e x tr i n s ic   an d   in tr in s ic.   E x tr in s ic  test   i n v o l v es  an   ex p er w h o   h as  r o le  to   as s ess   w o r k i n g   s y s te m .   T h e x p er p o s itio n   i n   t h is   r e s ea r ch   h a s   s e v er al  r o les:     ( 1 )   d ete r m i n in g   th s e n ten ce   th at  m u s b p r o d u ce d   in   t h s u m m ar y   f r o m   a n   ar ticle;  ( 2 )   d o   th tag g in g   s en te n ce s   m a n u all y   an d   ( 3 )   d eter m i n th w o r d   clas s   b et wee n   f ea tu r s elec tio n s   w it h   wo r d   ca teg o r y   le v el  i n   m ed ical  co n te n t.  T h r esu lts   o b tain ed   f r o m   t h ex tr i n s i c   ev alu atio n   w er 7 2 %.  W h en   v ie w ed   o n   t h ev alu a tio n   p ar a m eter s   a s s o ciat ed   w it h   th p er ce n ta g o f   t h o b tain ed   v alu e,   t h en   t h d ec is i o n   is   to   ag r ee .       T ab le  1 0 .   First  Scen ar io   o f   E x tr in s ic  S u p er v i s ed   T est   a   b   c   d   6   13   5   1   7   7   4   3   9   21   8   1   6   11   6   0   6   14   6   0   5   11   5   0   11   8   8   3   4   5   3   1   9   10   7   2   5   7   4   1   N o t e :   ( a )   S u m m a ry  b y   T h e   Ex p e r t i se;  ( b )   S u m m a r y   b y   S y s t e m ;     ( c )   S u i t a b l e   R e s p o n ses;   ( d )   N o n - S u i t a b l e   R e sp o n ses   T ab le  1 1 .   Seco n d   Scen ar io   o f   E x tr in s ic  E x p er Op in io n     Ex p .   #1   #2   #3   #4   1   0 . 4   0 . 3   0 . 3   0 . 4   2   0 . 4   0 . 3   0 . 4   0 . 4   3   0 . 3   0 . 4   0 . 4   0 . 3   4   0 . 3   0 . 4   0 . 4   0 . 3   5   0 . 4   0 . 4   0 . 4   0 . 3   6   0 . 3   0 . 3   0 . 4   0 . 3   7   0 . 2   0 . 3   0 . 3   0 . 3   8   0 . 4   0 . 4   0 . 4   0 . 4   9   0 . 4   0 . 4   0 . 4   0 . 4   10   0 . 3   0 . 4   0 . 4   0 . 4         T h s ec o n d   test   is   in tr in s ic.   T ab le   9   s h o w s   th s u m m ar y   r esu lts   g e n er at ed   f r o m   t h s y s te m   b y   co m b i n i n g   f ea t u r s elec tio n   w it h   w o r d   ca teg o r y   le v el  in   m ed ical  co n te n t.  T h co n d u cted   m ea s u r e m e n t   co n s is ts   o f   r ec all,   p r ec is io n   an d   f - m ea s u r b y   co m p ar in g   w it h   o t h er   m et h o d s .   T ab le  10   s h o w s   th f ir s t   Scen ar io   o f   E x tr i n s ic  Su p er v i s ed   T est T ab le   11   s h o w s   t h s ec o n d   Scen ar io   o f   E x tr i n s ic  E x p er Op in io n T ab le  1 2   s h o w s   th s u m m ar y   co m p ar is o n   r e s u l ts   a u to m ati ca ll y .   T h co m p ar ab le  m et h o d   is   t h D f ea tu r e   s elec tio n   as  s u g g ested   b y   o t h er   r esear ch er s .   I n   ad d itio n   to   th MM R - F m et h o d   u s ed   i n   I n d o n esia n ,   Fea tu r e   Selectio n   C o m b in at io n   is   d ef i n ed   as  m et h o d   o n e,   Featu r Selectio n   C o m b i n atio n   W o r d   C ateg o r y   L ev el  i n   Me d i ca C o n te n d ef i n ed   as  m et h o d   t w o .   Me th o d   o n is   a   co m b i n atio n   o f   f ea tu r s elec t io n   th at  i s   also   u s ed   Evaluation Warning : The document was created with Spire.PDF for Python.
      I SS N :   2088 - 8708   I n t J   E lec   &   C o m p   E n g ,   Vo l.  8 ,   No .   4 A u g u s t 2 0 1 8   :   2 2 9 9     2 3 09   2308   b y   s o m o t h er   r esear ch er s .   I n   th is   s t u d y ,   w co n d u cted   a   co m b i n atio n   to   g et  t h m o s t   r elev an s u m m ar y   r esu lt s   w it h   m a n u al  s u m m ar iz in g   ac ti v itie s .   T h m e th o d   w e   p r o p o s ed   is   m et h o d   t w o   b y   u s i n g   m u lti - f ea tu r e   s elec tio n .         T ab le  12 T h C o m p ar is o n   o f   Au to m a tic  S u m m ar izatio n   M e t h o d s   R e c a l l   P r e c i ssi o n   F - M e a su r e   DF   9 5 , 8 6 8 %   9 5 , 8 7 5 %   9 5 , 8 7 1 %   M M R - FS   -   8 6 %   -   M e t h o d   O n e   8 3 , 7 %   8 5 , 8 %   8 4 , 7 %   M e t h o d   T w o   9 2 , 6 %   9 1 , 6 %   9 2 , 2 %         W h en   v ie w ed   f r o m   T ab le  1 2 ,   th r es u lt s   o f   m et h o d   t w o   ar s till   s m aller   b y   t h D m et h o d   as  w h at   h as  b ee n   co n d u cted   b y   o th er   r esear ch er s .   Ho w e v er ,   th an a l y s i s   r esu l ts   o b tain ed   in   T ab le   4 ,   th DF  m et h o d   ca n   p r o d u ce   m o r co n cise  o u tp u ta k en   f r o m   th e   s u m m a r y .   I n   o th er   w o r d s   DF  i s   d o n f o r   f i n e - g r ai n ed   ap p r o ac h   r ath er   th an   i n   co ar s e - g r ain ed   ap p r o ac h .         4.   CO NCLU SI O N   B ased   o n   th r esear c h   th a h a s   b ee n   co n d u cted ,   it  ca n   b s ee n   t h at  ev er y   p r o d u ce d   s en t en ce   m u s t   h av a least  o n ca teg o r y   o f   p atter n   i n   w o r d   ca teg o r y   l ev el  i n   m ed ical  co n te n t.  T h r esu lt   o f   i n tr in s ic   ev alu a tio n   is   9 1 , 6 f o r   p r ec is io n ,   9 2 , 6 f o r   r ec all  an d   f - m e asu r is   9 2 , 2 %.  W h ile  ex tr in s i ev alu atio n   r esu l is   7 2 %.  W h e n   v ie w ed   i n   t h ev alu a tio n   p ar a m eter s   r elate d   to   t h p er ce n ta g o f   v al u e,   t h f i n al  d ec i s io n   i s   co n ce d ed .   I m p r o v ed   ev al u atio n   r esu lts   ca n   b d o n b y   ad d in g   tech n iq u e s   i n   th p r e - p r o ce s s in g   s ta g e.       RE F E R E NC E S   [1 ]   S .   A k b a r,   L .   S lau g h ter,  a n d   Ø.  N y tro ø ,   Co ll e c ti n g   h e a lt h   re late d   tex f ro m   p a ti e n h e a lt h   w rit in g s” ,   in   T h e   2 n d   I n ter n a t io n a C o n fer e n c e   o n   C o mp u ter   a n d   Au to ma t io n   E n g i n e e rin g ,   2 0 1 0 ,   v o l.   1 ,   p p .   1 5 - 1 9 .   [2 ]   A .   K e se l m a n ,   L .   S lau g h ter,  C.   A rn o tt - S m it h ,   H.  Ki m ,   G .   Div it a ,   A .   Bro w n e ,   C.   T s a i,   a n d   Q.  Zen g - T re it ler,   T o w a rd s Co n su m e r - F rien d ly   P HRs P a ti e n ts’  Ex p e rien c e   w it h   Re v ie w in g   T h e ir  He a lt h   Re c o rd s” ,   in   AM IA  An n u a S y mp o si u m P ro c e e d in g s ,   2 0 0 7 ,   v o l.   2 0 0 7 ,   n o .   F e b ru a ry ,   p p .   3 9 9 - 4 0 3 .   [3 ]   M . H.  T e k ieh   a n d   B.   Ra a h e m i,   Im p o rtan c e   o f   Da ta  M in in g   in   He a lt h c a re  :  A   S u rv e y ,   p p .   1 0 5 7 - 1 0 6 2 ,   2 0 1 5 .   [4 ]   S .   Af a n ten o s,  V .   Ka rk a letsis,  a n d   P .   S tam a to p o u lo s,  S u m m a riz a ti o n   f ro m   m e d ica d o c u m e n ts:  su rv e y ,   Arti f.   In tell.   M e d . ,   v o l.   3 3 ,   n o .   2 ,   p p .   1 5 7 - 1 7 7 ,   2 0 0 5 .   [5 ]   C. D.  Co rley ,   D.J.  Co o k ,   A . R.   M ik ler,  a n d   K. P .   S i n g h ,   T e x a n d   stru c tu ra d a ta  m in in g   o f   in f lu e n z a   m e n ti o n i n   w e b   a n d   so c ial  m e d ia ,   In t.   J .   E n v iro n .   Res .   Pu b li c   He a lt h ,   v o l .   7 ,   n o .   2 ,   p p .   5 9 6 - 6 1 5 ,   2 0 1 0 .   [6 ]   N.B.   a n d   A .   Ja isw a l,   L it e ra tu re   Re v ie w   o n   A u to m a ti c   T e x S u m m a riza ti o n S i n g le  a n d   M u lt i p le  S u m m a ri z a ti o n s” ,   In t.   J .   C o mp u t.   Ap p l. ,   v o l.   1 1 7 ,   n o .   6 ,   p p .   2 0 5 6 0 - 2 9 4 8 ,   2 0 1 5 .   [7 ]   E.   P a d m a lah a ri,   D. V. N.S .   Ku m a r,   a n d   S .   P ra sa d ,   A u to m a ti c   te x su m m a riz a ti o n   w it h   sta ti stica l   a n d   li n g u isti c   f e a tu re u sin g   su c c e ss iv e   th re sh o ld s” ,   i n   Pro c e e d in g o 2 0 1 4   IEE In ter n a ti o n a Co n fer e n c e   o n   Ad v a n c e d   Co mm u n ica ti o n ,   C o n tr o a n d   Co mp u ti n g   T e c h n o lo g ies ,   ICACCCT   2 0 14 ,   2 0 1 4 ,   p p .   1 5 1 9 - 1 5 2 4 .   [8 ]   Y.  L i,   W .   M a o ,   D.  Zen g ,   L .   Hu a n g f u ,   a n d   C.   L iu ,   Ex trac ti n g   o p i n io n   e x p lan a ti o n f ro m   Ch in e se   o n li n e   re v ie w s ,   in   I n ter n a t io n a l   Co n fer e n c e   o n   In telli g e n c e   a n d   S e c u rity  I n f o rm a ti c s:  Cy b e rs p a c e ,   B o rd e r,  a n d   Imm ig r a ti o n   S e c u riti e s ,   2 0 1 2 ,   p p .   2 2 1 - 2 2 3 .   [9 ]   V .   G u p ta  a n d   G . S .   L e h a l,   A   S u rv e y   o f   T e x S u m m a riza ti o n   E x trac ti v e   te c h n iq u e s ,   J .   Eme rg .   T e c h n o l .   W e b   In tell. ,   v o l.   2 ,   n o .   3 ,   p p .   2 5 8 - 2 6 8 ,   2 0 1 0 .   [1 0 ]   M .   A k i y a m a   a n d   K.  F u ji ta,  Ho w   to   I m p ro v e   P a ti e n S a f e t y   b y   Tex M in in g   w it h   M e d ica In c id e n Re p o rts :   In n o v a ti v e   T e c h n o lo g ies   Us in g   e - He a lt h   a n d   He a lt h   T e c h n o lo g y   A ss e ss m e n t” ,   in   PICM ET   1 3 T e c h n o lo g y   M a n a g e me n fo Eme rg in g   T e c h n o lo g ies ,   2 0 1 3 ,   p p .   2 5 4 3 - 2 5 5 0 .   [1 1 ]   P .   G o y a l,   L .   Be h e ra ,   a n d   T . M .   M c G in n it y ,   A   c o n tex t - b a se d   w o rd   i n d e x in g   m o d e f o d o c u m e n su m m a riza ti o n ,   IEE T ra n s.  K n o wl .   Da t a   E n g . ,   v o l.   2 5 ,   n o .   8 ,   p p .   1 6 9 3 - 1 7 0 5 ,   2 0 1 3 .   [1 2 ]   D.  Hin g u ,   D.  S h a h ,   a n d   S . S .   Ud m a le,  A u to m a ti c   tex su m m a riza ti o n   o f   W ik ip e d ia article s” ,   Pro c .   -   2 0 1 5   I n t.   C o n f .   Co mm u n .   In f .   Co m p u t .   T e c h n o l.   I CCICT   2 0 1 5 ,   p p .   1 5 - 1 8 ,   2 0 1 5 .   [1 3 ]   M . B.   b e rt  M ó r o ,   P e rso n a li z e d   tex su m m a riza ti o n   b a se d   o n   i m p o rtan term id e n ti f ica ti o n ,   Pro c .   -   In t.   W o rk .   Da ta b a se   Exp e rt  S y st.  Ap p l.   DEX A ,   p p .   1 3 1 - 1 3 5 ,   2 0 1 2 .   [1 4 ]   P . Y.  Zh a n g   a n d   C. H.  L i,   A u to m a ti c   tex su m m a riza ti o n   b a se d   o n   se n ten c e c lu ste rin g   a n d   e x trac ti o n ,   Pro c .   -   2 0 0 9   2 n d   IEE In t .   Co n f.   Co mp u t .   S c i.   I n f.   T e c h n o l.   ICC S IT   2 0 0 9 ,   v o l.   1 ,   n o .   1 ,   p p .   1 6 7 - 1 7 0 ,   2 0 0 9 .   [1 5 ]   Y.  L iu ,   S .   X ie,   a n d   F .   L iu ,   Us in g   N - b e st  re c o g n it io n   o u tp u f o e x trac ti v e   su m m a riza ti o n   a n d   k e y w o rd   e x trac ti o n   in   m e e ti n g   sp e e c h ,   ICAS S P,   IEE In t.   Co n f.   Ac o u st.   S p e e c h   S i g n a Pro c e ss .   -   Pro c . ,   p p .   5 3 1 0 - 5 3 1 3 ,   2 0 1 0 .   [1 6 ]   G .   M u rra y   a n d   S .   Re n a ls,   T e r m - we ig h ti n g   f o su m m a riza ti o n   o f   m u lt i - p a rty   sp o k e n   d ialo g u e s” ,   L e c t.   No tes   Co mp u t .   S c i.   ( in c lu d in g   S u b se r.  L e c t.   No tes   Arti f.   In tell .   L e c t.   No tes   Bi o in f o rm a ti c s) ,   v o l .   4 8 9 2   L NCS,     Evaluation Warning : The document was created with Spire.PDF for Python.