T E L K O M N I K A  T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 ,   p p .   1 4 6 ~ 1 5 4   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad e  b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 9 i1 . 1 7 4 1 7     146       J o ur na l ho m ep a g e :  h ttp : //jo u r n a l.u a d . a c. id /in d e x . p h p /TELK OM N I K A   Sentimen ts ana ly sis  of customer  sa tisfaction  in  publi c services   using   K - nea rest  n eig hbo rs  a lg o rithm and  na tural la ng ua g e  pro cess ing   a ppro a ch       E lik   H a ri  M uk t a f in ,  P ra m o n o ,  K us rini   M a g ister o f  I n fo rm a ti c s,  Un iv e rsi tas   AMIKOM   Yo g y a k a rta ,   In d o n e sia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 2 2 ,   2 0 2 0   R ev is ed   Au g   7 ,   2 0 2 0   Acc ep ted   Sep   5 ,   2 0 2 0       Cu sto m e r  sa ti sfa c ti o n   is   v e ry   imp o rtan t  f o r  p u b li c   se rv ice   p r o v id e rs ,   c u sto m e r  sa ti sfa c ti o n   c a n   b e   d e li v e re d   wit h   a   su rv e y   a p p l ica ti o n   o r   writi n g   c ri ti c ism   th a t   c a n   b e   u se d   t o   e v a lu a te  a n d   imp r o v e   se rv ice .  Un f o rtu n a tely ,   th e re   a re   o n ly   a   fe w  c u sto m e rs  wh o   a re   will in g   to   g iv e   a n   a ss e ss m e n t .  Th e   su rv e y   a p p li c a ti o n   c a n n o t  re p re se n t  th e   o v e ra ll   fe e l in g   o f  t h e   c u sto m e r,   s o   i t   is  n e c e ss a ry   to   a n a ly z e   th e   c o n te n t  o f   th e   c o n v e rsa ti o n   b e twe e n   t h e   c u st o m e r  a n d   th e   se rv ice   p e rso n n e l  to   d e term in e   th e   le v e l  o f  c u sto m e r  sa ti sfa c ti o n .   I n   sm a ll   a m o u n ts ,   it   c a n   b e   d o n e   m a n u a ll y ,   b u t  i n   lar g e   q u a n ti ti e s  i t  is  m o re   e ffe c ti v e   to   u se   th e   sy s tem .   A  so lu ti o n   is  n e e d e d   i n   th e   fo rm   o f  a   sy ste m   th a t  c o n v e rts  v o ice   c o n v e rsa ti o n s  i n to   tex t  a n d   a n a ly z e s  c u sto m e r  sa ti sfa c ti o n   to   o b tai n   in fo rm a ti o n   f o r  e v a lu a ti o n   a n d   imp ro v e m e n t  o f   se rv ice s.   T h is  re se a rc h   u se s  K - n e a re st  n e ig h b o rs   (KN N)   a n d   term   fre q u e n cy - i n v e rse   d o c u m e n t   fre q u e n c y   ( TF - IDF )   a l g o ri th m   wit h   n a tu ra l  lan g u a g e   p r o c e ss in g   ( NLP )   a p p r o a c h   to   c las sify   c o n v e rsa ti o n s   in to   2   c las se s,  " sa ti sfie d "   a n d   "   d issa ti sfie d   ".   Th e   re su lt s   o f  th is  stu d y   re c e iv e d   7 4 . 0 0 %   a c c u ra c y ,   7 6 . 0 0 %   p re c isio n   a n d   7 3 . 0 8 %   re c a ll .   In   c o n v e rsa ti o n s  wi th   t h e   lab e l  " sa ti sfie d "   sh o ws   c u sto m e rs  sa ti sfie d   with   th e   se rv ice   a n d   fu lfi ll m e n t  o f   c u sto m e r  d e sire s,  wh il e   in   c o n v e rsa ti o n s  wit h   t h e   lab e l  " n o t  sa ti sfie d "   c u st o m e rs are   les s sa ti sfie d   with   t h e   wa it in g   ti m e .   K ey w o r d s :   K - n ea r est n eig h b o r s     Natu r al  lan g u ag e   p r o ce s s in g     Pu b lic  s er v ice   Sen tim en t a n aly s is   Sp ee ch   r ec o g n itio n   s y s tem   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r  th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E lik   Har i M u k taf in   Ma g is ter   o f   I n f o r m atics    Un iv er s itas   AM I KOM   Yo g y ak ar ta   R in g   R o ad   Utar a  St.,   Ng r in g in ,   C o n d o n g ca tu r ,   Dis tr ict.   Dep o k ,   Slem an   R eg en c y   Sp ec ial  R eg io n   o f   Yo g y ak ar ta   5 5 2 8 1 ,   I n d o n esia   E m ail:  elix r o p as@ g m ail. co m       1.   I NT RO D UCT I O N   Pu b lic  s atis f ac tio n   is   a  d eter m in in g   f ac to r   in   th e  q u ality   o f   p u b lic  s er v ices,  s o   ev er y   o r g an iz atio n   th at  p r o v id es  p u b lic  s er v ices  is   ex p ec ted   to   b e  a b le  to   p r o v i d e  s atis f ac tio n   to   cu s to m er s   [ 1 ] .  T o   f in d   o u t  cu s to m e r   s atis f ac tio n ,   th e  r ig h t  m ea s u r in g   in s tr u m en t  is   n ee d ed   [ 2 ] .  C u s to m er   s atis f ac tio n   is   u s u ally   m ea s u r ed   b y   a   s u r v ey   ap p licatio n   o r   cr itical  wr itin g   th at  ca n   b e  u s ed   to   ev a lu ate  an d   im p r o v e  s er v ice.   Un f o r tu n ately ,   t h er e  ar e   o n ly   a  f ew  cu s to m er s   wh o   ar e  willin g   to   g iv e  an   ass es s m en t.   L o w  co n d itio n s   o f   p u b lic  s er v ices  ar e  ch ar ac ter ized   b y   p u b lic  s er v ices  th at  ar e  n o t  tr an s p a r en t,   d is cr im in ato r y ,   co m p licated ,   an d   c o r r u p t.   T h e   ap p licatio n   o f   p u b lic  s er v ic e  p o licy   in n o v atio n s   b ec o m es a   n ec ess ity   in   r ea lizin g   q u ality   p u b lic  s er v ices   [ 3 ] .   T h e  s u r v ey   ap p licatio n   ca n n o t   r ep r esen t th e   o v e r all  f ee lin g   o f   th e   cu s to m er ,   it is   n ec ess ar y   to   an aly ze   th e  co n te n ts   o f   th e  c o n v e r s atio n   b etwe en   th e   cu s to m er   an d   th e  s er v ice   p er s o n n el  t o   d eter m in e  th e   lev el   o f   cu s to m er   s atis f ac tio n   an d   ab s o r b   an d   u n d er s tan d   c u s to m er   d esire s   [ 4 ] .  An o th er   p u r p o s e  is   to   p r ev en t  Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   147   d is cr im in ato r y   o r   co r r u p t  p r ac tices  in   th e  d eliv er y   o f   s er v ic es,  s o   th at  th e y   ca n   d eliv er   s e r v ices  th at  ar e   f air ,   d em o cr atic  an d   f r ie n d ly   [ 5 ] .  A n aly s is   o f   s er v ice  co n v er s atio n s   in   s m all  am o u n ts   ca n   b e  d o n e  m an u ally ,   b u t  in   it is   m o r e  ef f ec tiv e  to   u s e  th e  s y s tem   in   lar g e  q u an titi es.     R esear ch er s   h av e  d e v elo p e d   a  p r o d u ct  ca lled   " K a ta   K ita "  wh ich   s er v es  to   s u p p o r t  p u b li c  s er v ices.  " K a ta   K ita "  h as th e   f ea tu r e   o f   tr an s latin g   co n v er s atio n s   in to   tex t a n d   d is p lay in g   th e m   o n   t h e  s cr ee n   t o   h el p   th e   d ea f   u n d er s tan d   s er v ice  p er s o n n el  an d   s en tim en t  an al y s is   f ea tu r es  to   ass ess   cu s to m er   s atis f ac tio n   f r o m   th e   co n v er s atio n .   Sen tim en t  An al y s is   is   u s ed   to   f in d   o u t  th e  o p i n io n   ab o u t  a  to p ic  wh ich   is   as  p o s itiv e,   n eg ativ e,   an d   n eu tr al  s en tim en ts   [ 6 ] .   T h e  p u r p o s e  o f   th is   s tu d y   is   to   ex am in e  th e  ef f ec tiv en ess   o f   " K a ta   K ita "  to   co n d u ct   s en tim en t a n aly s is   o n   p u b lic  s er v ice  co n v er s atio n s   in   o n e  o f   th e  h o s p itals   in   Yo g y a k ar ta,   I n d o n esia.   C o n v er s atio n s   ar e  r ec o r d ed   a n d   co n v e r ted   to   tex t  u s in g   Sp ee ch   R ec o g n itio n   Sy s tem   tech n o lo g y .   Sp ee ch   r ec o g n itio n   s y s tem   is   th e  p r o ce s s   o f   co n v er tin g   s p ee c h   s ig n als  in to   wo r d   s eq u en ce s   u s in g   an   alg o r ith m   im p lem en ted   as  a  co m p u ter   p r o g r am   [ 7 ] .  T h e  te x t  o f   th e  co n v er s atio n   is   p r o ce s s ed   u s in g   m ac h in e  lear n in g   to   b e  lab eled   au to m atica lly   with o u t  th e  n ee d   to   wait  f o r   in p u t  f r o m   cu s to m er s ,   s o   th at  th e  p r o ce s s   o f   ev alu atin g   an d   im p r o v in g   s er v ices c an   r u n   ef f ec tiv ely .   Pre v io u s   r esear ch   b y   L u tf i  a n d   Per m atasar i  [ 8 ]   an aly ze d   th e  m ar k etp lace   to   f in d   o u t  p o s itiv e  o r   n eg ativ e  u s er   s en tim en t   with   an   ap p r o a c h   u tili zin g   s u p p o r t   v ec to r   m ac h in e   with   a n   ac c u r ac y   o f   9 3 . 4 2 %.  I n   a   s tu d y   co n d u cted   b y   Ak h m ad   Dev iy an to   an d   W ah y u d i  [ 9 ]   p r esen ted   a  s en tim en t  an aly s is   o f   o p i n io n   d ata  o n   T witter   u s er   s en tim en t  an aly s is   o n   th e  t o p ic  o f   lo ca l  elec ti o n s   in   th e   J ak ar ta  o f   I n d o n esia  in   2 0 1 7   with   an   ac cu r ac y   o f   6 7 . 2 %.  I n   a n o th er   s tu d y   b y   No r m an   Ken d al  [ 1 0 ]   s h o wed   th e  u s e  o f   n atu r al  la n g u ag e  p r o ce s s in g   ( NL P)  ca n   im p r o v e  th e   p r ed ict io n   o f   f ash io n   p r o d u ct  ca teg o r ies o r   s u b   ca teg o r ies o f   p r o d u c t titles .   T h e  p u r p o s e  o f   t h is   s tu d y   is   t o   an aly ze   th e  s en tim en ts   o f   p u b lic  s er v ice  c o n v er s atio n   in   o n e  o f   th e   h o s p itals   in   Yo g y a k ar ta,   I n d o n esia  u s in g   th e  u s es  K - n ea r es t  n eig h b o r s   ( KNN)   alg o r ith m   b y   weig h tin g   ter m   f r eq u e n cy - in v er s e  d o c u m en t  f r eq u en c y   ( T F - I DF) ,   an d   c lass if y   in to   two   class es  " s ati s f ied "  an d   " d is s atis f ied ".   T h en   f in d   o u t  attr ib u tes  wh ic h   ar e  th e  f o cu s ed   o f   " s atis f ied "  an d   " d is s atis f ied "  ass e s s m en ts ,   s o   th at  s er v ice   p r o v id e r s   ca n   p r o p er l y   e v alu at e  an d   im p r o v e   th e   s y s tem   [ 1 1 ] .   Ma ch in e   lear n in g   is   an   ef f ic ien t  way   t o   e x tr ac t  k n o wled g e   f r o m   la r g e  am o u n t s   o f   d ata  [ 1 2 ] .   T h e   p r o b lem   in   an aly zin g   p u b lic  s er v ice  c o n v e r s atio n s   is   th e  lar g e  n u m b er   o f   n o n - s tan d ar d   wo r d s   th at  ar e  d if f icu lt  to   u n d er s tan d   b y   th e  s y s tem .   T h e   NL P  ap p r o ac h   is   n ee d ed   t o   im p r o v e  th e  la n g u a g e  o f   th e   c o n v er s atio n   s o   th at  it  is   m o r e  ea s ily   u n d er s to o d   b y   th e  s y s tem .   W ith o u t  NL P,  m ac h in e  lear n in g   ca n n o t m a k e   m ea n in g f u l p r o g r ess   [ 1 3 ] .       2.   RE S E ARCH   M E T H O D   T h e  f lo w  o f   r esear ch   s en tim en t  an aly s is   o f   co n v er s atio n s   in   p u b lic  s er v ices  u s in g   th e   KNN  an d     TF - ID F   alg o r ith m   b y   u s in g   th e  NL P  ap p r o ac h   is   ex p lain e d   in   Fig u r e   1 .   Th e   in itial  s tep   o f   th e  s tu d y   was   th e   co llectio n   o f   r ec o r d ed   c o n v e r s atio n s   o f   f r o n t  d esk   s er v ices a t o n e  o f   th e  h o s p itals   in   Yo g y a k ar ta,   I n d o n esia o n   J u ly   1 3 ,   2 0 2 0 .   C o n v er s atio n   r ec o r d i n g s   wer e   co n v er ted   in t o   tex t  u s in g   th e   " K a ta   K ita "  ap p licatio n   with   t h e  s p ee ch   r ec o g n itio n   s y s te m   f r o m   Go o g le  s p ee c h - to - tex t   [ 1 4 ] .   T h e  n ex t  s tep ,   tex t  was   s to r ed   in   a  My SQL   d atab ase  s o   th at  it  is   ea s ily   m an ag ed   [ 1 5 ] .   T h e   wo r k f lo w   o f   th e   s p ee ch   to   tex t  s y s tem   in   th e  " K a ta   K ita ”   ap p licatio n   is   ex p lain e d   in   Fig u r e  2 .           Fig u r e   1 .   R esear ch   s tag es   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   148       Fig u r e   2 .  T h e  p r o ce s s   o f   ch an g in g   th e  v o ice  o f   co n v er s atio n   in to   tex t       T h e  n ex t   s tep ,   co n v er s atio n   t ex t  was  th en   p u r ch ased   m an u ally   b y   t h r ee   r esp o n d e n ts ,   co n s is tin g   o f   cu s to m er s ,   p u b lic  r elatio n s   an d   m ed ical  s tu d en ts .   T h e   d ataset  o f   2 5 0   co n v er s atio n s   was   lab eled   in   two   class e s ,   " s atis f ied "  an d   " d is s atis f ied ".   T h e  last   s tep ,   d ataset  is   s u b j ec ted   to   a  p r ep r o ce s s in g   p r o c ess   u s in g   th e  NL P   ap p r o ac h .   Pre p r o ce s s in g   d ata  is   th e  p r o ce s s   o f   clea n in g   an d   p r ep ar in g   d ata  f o r   an aly s is   [ 1 6 ] .   T h e  p u r p o s e  o f   p r ep r o ce s s in g   is   to   co r r ec t  th e   lan g u ag e  i n   th e  co n v er s atio n ,   b ec au s e  in   th e  co n v er s atio n   f o u n d   m an y   u s es  o f   non - s tan d a r d   wo r d s   an d   lo ca l  lan g u ag es.   I n   th e  ca s e  o f   tex t   class if icatio n ,   m an y   p r ep r o ce s s in g   tech n iq u es c an   b e  u s ed   [ 1 7 ] .   T h e  wo r k f lo w  o f   th e  p r ep r o ce s s in g   s tag e  with   t h e  NL P a p p r o ac h   is   ex p lain e d   in   Fig u r e  3 .           Fig u r e  3 .   T h e  p r e p r o ce s s in g   s t ag e  u s es th e  NL P a p p r o ac h       NL P  is   a  b r eak th r o u g h   in   tr an s cen d in g   la n g u ag e  b ar r ier s   [ 1 6 ] .   NL P  is   a  b r an ch   o f   Ar tific ia l  I n tellig en ce   th at fo cu s es   o n   p r o cess in g   n at u r al l an g u a g e eff ectiv ely   an d   accu r ately   as  h u m an s   d o   [ 1 8 ] .  T h e   NL P  f eatu r es  u s ed   i n   th is   s tu d y   ar e a s   f o ll o ws   :   −   L o wer ca s e  f o ld in g   L o wer ca s e   f o ld i n g   is   c h an g i n g   all  to k en s   to   lo wer ca s e  lette r s   [ 1 9 ] .     C o n v e r s atio n   “ S ela m a t  p a g i  ka k  a d a   ya n g   b is a   d ib a n tu ”   will  b e  ch an g e d   to   “ s ela ma t  p a g i  ka k  a d a   ya n g   b is a   d ib a n tu ” ,  alp h ab et  “ S ”   in   th e   f o r m   o f   ca p ital is ch an g ed   in to ” s ”   in   s m all  f o r m .   −   W o r d   n o r m alize r   T h e  wo r d   n o r m alize r   f ea tu r e   is   u s ed   to   co r r ec t  wo r d s   in   s en ten ce s ,   s o   th at   a  g o o d   an d   co r r ec t  s en ten ce   is   p r o d u ce d   ac co r d i n g   to   g r a m m ar   r u les   [ 2 0 ] .  C o n v er s atio n   “ s ela ma t  p a g i  k a k  a d a   ya n g   b is a   d ib a n tu ”   th e n   af ter   th e  W o r d   No r m alize r   p r o ce s s   b ec o m es  “ s a la m  ka ka k  a d a   ya n g   b is a   d ib a n t u ” .  T er m   “ s ela ma t  p a g i ”  ch an g ed   in to   “ s a la m ”  an d   ter m   “ ka k ”  ch a n g ed   i n to   “ ka k a k ” .   −   Stem m in g   T h e  s tem m in g   f ea tu r e  f u n ctio n s   is   to   r ed u ce   wo r d s   to   b asic  wo r d s   b y   elim in atin g   th e  af f i x es  th at  ex is t   in   th o s e  wo r d s   [ 2 1 ] .  Fo r   ex am p le ,   s en ten ce s   “ s a la m  ka ka k  a d a   ya n g   b is a   d ib a n tu ”  c h an g e d   in to   “ s a la m  ka k a k   ada   ya n g   b is a   b a n tu ” ,   ter m   “ d ib a n tu ”  c h an g e d   to   b asic w o r d s   “ b a n tu ”.   −   Sto p wo r d   r em o v al   T h e  s to p wo r d   r em o v al  f ea tu r e  wo r k s   to   elim in ate  wo r d s   th at  o f ten   ap p ea r   in   n atu r al  lan g u ag e  b u t  h av e   v er y   litt le  m ea n in g   [ 2 2 ] .   Fo r   ex am p le  s en ten ce s   “ s a la m  ka ka k  a d a   ya n g   b is a   b a n tu ”  ch an g ed   in to   “ s a la m   ka ka k  b is a   b a n tu ” ,   ter m   “ a d a ”  an d   “ ya n g ”  r e m o v e d .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   149   T er m   f r eq u en cy   is   a  m eth o d   f o r   f in d in g   th e  weig h t  o f   a  d o cu m en t  b y   lo o k in g   f o r   th e  n u m b er   o f   o cc u r r e n ce s   o f   ter m s   in   t h e  d o cu m en t.  T h e   m o r e   o f ten   th e  ter m   ap p ea r s ,   it  will  af f ec t  th e   am o u n t  o f   weig h t  an d   th e  s u itab ilit y   v alu e  o f   th e  d o cu m en t.   I n v e r s e  Do cu m en t  Fre q u en cy   is   a  m eth o d   f o r   ca lcu la tin g   th e  d is tr ib u tio n   o f   ter m s   in   a   d o cu m e n t   [ 2 3 ] .  T h e  T F - I DF m eth o d   allo ws  d o cu m en ts   to   b e   class if ied   in to   two   class es  ( p o s itiv e  an d   n e g ativ e)   [ 2 4 ] .  TF - I DF c alcu latio n   u s in g   ( 1 ) .     , =  ,   × log   (  )                  ( 1 )     ,   is   th e  weig h t  o f   t h e  ter m   ( t y )  of   do c u m en t   ( d x ) .   W h ile    ,   is   th e  n u m b e r   o f   o cc u r r en ce s   of   te r m   ( t y )  in   do c u m e n t   ( d x ) .   N  is   th e  n u m b er   o f   d o cu m en ts   in   th e  d atab a s e  an d   df x   is   th e  n u m b e r   o f   d o cu m en ts   co n tain in g   th e  ter m   ( t y ) ,  t h er e  is   at  least o n e  wo r d ,   ter m   ( t y ).       3.   RE SU L T S  A ND  AN AL Y SI S   3 . 1 .     Serv ice  c o nv er s a t io n  t e x t   C o n v er s atio n   tex t u s ed   is   o b ta in ed   f r o m   th e  ac tiv ity   o f   ch an g in g   co n v er s atio n s   in to   tex t.   T h is   s er v ice  co n v er s atio n   was  tak en   in   J u l y   2 0 2 0   at  a  h o s p ital  in   Yo g y a k ar ta,   I n d o n esia.   E x am p les  o f   co n v er s atio n s   ar e   s h o wn   in   T ab le   1 .   B ased   o n   T a b le  1 ,   C u s to m er - 1   was   r ed ee m in g   d r u g s   at  th e  h o s p ital  p h ar m ac y   an d   is   s atis f ied   with   th e  s er v ice   h e   r ec eiv e d .   C u s to m er - 2   was   p ay i n g   m e d ical  ex p e n s es  at  th e   ca s h ier ,   b u t   h e   h a d   b ee n   tr an s f er r ed   to   an o t h er   ca s h ier   f o r   u s in g   B a d a n   P en ye len g g a r a   Ja min a n   S o s ia l  K eten a g a ke r j a a n   ( B PJ S )   with o u t   s ay in g   an   ap o lo g y ,   s o   th e  c u s t o m er   f elt   d is s atis f ied .   C u s t o m er - 3   was   talk in g   to   d o cto r s   with   a  m ix tu r e  o f   J av an ese  wo r d s   ab o u t  th e  p r o ce s s   o f   r ec o v er in g   h an d s ,   a n d   f ee lin g   s atis f ied   with   th e  s er v ices  p r o v id ed .   C u s to m er - 4   was   d is s atis f ied   w h en   h e  was   in   a  q u eu e  p o s i tio n ,   an d   h e  m u s t   leav e  th e  h o s p ital  tem p o r ar ily ,   w h ile  th e  q u e u e  o r d er   will   r etu r n   f r o m   th e  b eg in n in g   i f   th e   cu s to m er   d id   n o t   r etu r n   wh e n   h e  was  ca lled .   C u s to m er - 5  was  in   a  ch ild ' s   p o ly   f o r   im m u n izin g   h is   ch ild   an d   h e  was  f ee lin g   s atis f ied   b ec au s e  th e  d o cto r   ca n   ca lm   th e  cu s to m er .   I n f o r m atio n   f r o m   th is   co n v er s atio n   ca n   b e  p r o ce s s ed   to   b e  a   f u tu r e  im p r o v em en t .       T ab le  1 .   E x am p le  co n v er s atio n   No   C u s t o mer   C o n v e r sa t i o n   La b e l   1   C u s t o mer - 1   Assa l a m u a l a i k u m   a d a   y a n g   b i s a   sa y a   b a n t u   k a k   s a y a   i n g i n   m e n e b u s   res e p   i n i   m b a k   s i l a h k a n   d u d u k   d u l u   k a k   s a y a   a k a n   m e n y i a p k a n n y a   i n i   o b a t n y a   k a k   y a n g   t a b l e t   h i j a u   d i m i n u m   4 5   m e n i t   seb e l u m   m a k a n   t i g a   k a l i   s e h a r i   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a s i n g   sa t u   s e t e l a h   m a k a n   t i g a   k a l i   se h a ri   a d a   y a n g   b i s a   d i b a n t u   l a g i   k a k   t i d a k   t e ri m a   k a s i h   m b a k   S a t i sf i e d   2   C u s t o mer - 2   P e rm i s i   b u   sa y a   i n g i n   m e l a k u k a n   p e m b a y a r a n   a t a s  n a m a   w i n d a ri   i b u   m e n g g u n a k a n   b p j s  k e se h a t a n   a t a u   re g u l e r   b u   p a k a i   b p j s   b u   u n t u k   b p j s k e se h a t a n   b i s a   d i l a y a n i   d i   k a si r  se b e l a h   y a   b u   si n i   k h u s u s   y a n g   r e g u l e r   D i ssat i sf i e d   3   C u s t o mer - 3   G i m a n a   t a n g a n   sa y a   d o k   t a n g a n   s a m p e a n   su d a h   m e m b a i k   p a k   k a p a n   b i s a   l e p a s  g i p s  n y a   d o k   g i p s  d a p a t   d i l e p a s s e k i t a r  d u a   m i n g g u   l a g i   p a k   b a p a k   d i b a n y a k i n   m a k a n   i k a n   i k a n a n   y a   p a k   b i a r  c e p e t   p u l i h   t a n g a n n y a   s i a p   d o k   t e ri m a   k a si h   S a t i sf i e d   4   C u s t o mer - 4   Pa k   i y a   m b a k   a n t r i a n n y a   k a n   m a si h   l a m a   k a l o   s a y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   m b a k   t a p i   n a n t i   k a l o   t i b a   u r u t a n   m b a k n y a   g a k   a d a   n a n t i   h a r u s m e n g u l a n g   d a ri   a w a l   y a   m b a k   k o k   g i t u   p a k   h a r u s n y a   k a l o   k e l e w a t   y a   d i s u su l k a n   s a j a   t o   p a k   m a a f   m b a k   t i d a k   b i s a   D i ssat i sf i e d   5   C u s t o mer - 5   S i a n g   b u n d a   b e n a r  a d e k n y a   b e r n a m a   f a h m i   b e n a r  d o k   u n t u k   i m u n i sa s i   y a   i y a   d o k   a p a k a h   n a n t i   b a d a n y a   p a n a s   d o k   b u n d a   g a k   p e rl u   k a w a t i r  n a n t i   p a n a s n y a   c u m a n   se b e n t a r k o k   b i s a   d i k o m p res   b i a r   c e p e t   re d a   p a n a s n y a   t e ri m a   k a si h   d o k   S a t i sf i e d       3 . 2 .     Co nv er s a t io n  a na ly s is   T h e  d ata  u s ed   2 5 0   c o n v e r s atio n s ,   wh ich   wer e   lab eled   b y   3   co r r esp o n d en ts   an d   r esu lt ed   in   1 2 5   " s atis f ied "  co n v er s atio n s   an d   1 2 5   " d is s atis f ied "  co n v er s atio n s .   T h e  c o n v e r s atio n   is   m ad e   i n to   a  d ataset  with   a  co m p o s itio n   o f   2 0 0   tr ain i n g   d ata  an d   5 0   test in g   d ata,   th e n   p r ep r o ce s s in g   u s in g   th e  NL P  ap p r o ac h .   At  th e   p r ep r o ce s s in g   s tag e  th e  wo r d   n o r m alize r ,   s tem m in g   an d   s to p wo r d   r em o v al  f ea tu r es  ar e  ap p lied   f o r   ea ch   co n v er s atio n .   T ex t  n o r m aliza tio n   is   a  ch allen g e  to   f in d   th e  s am e  wo r d s   with   d if f er en t  wo r d   v a r iatio n s   [ 2 5 ] .   W o r d   n o r m alize r   ca n   h an d le  v a r iatio n s   o f   wr itin g   wo r d s   w h ich   h av e  th e  s am e   m ea n in g   s o   th at   th ey   ar e   co u n ted   as  a  s in g le  ter m   in   t h e  ca lcu latio n   o f   th e   T F - I DF  al g o r ith m .   E x a m p les  o f   v ar iatio n s   in   wr itin g   wo r d s   wh ich   h av e   th e  s am e  m ea n in g   ar e  s h o wn   i n   T ab le  2 .   I n   T ab le  2   s h o ws  v ar i atio n s   o f   wo r d s   wh ich   h av e   th e  s am e  m ea n in g .   T er m   “ pak ” ,   “ bu ” ,   “ d o k ” ,   “ ka k ” ,   “ d ik ” ,   “ ma s ”   an d   “ mb a k ”   u s ed   to   r ef er   th e  o t h er   p er s o n ,   s o   th at  it  ca n   b e  r ep lace d   with   ter m   “ s o d a r a ”.   T er m   “ s ela ma t  s o r e ” ,   “ s ela ma t  s ia n g ”   an d   “ a s s a la mu a la iku m ”   u s ed   t o   g i v e   g r ee tin g s   s o   th at  it c an   b e  r ep l ac ed   with   ter m   “ s a la m ”.     T h e  n ex t stag e  is   th e  p r o ce s s   o f   s tem m in g ,   to   elim in ate  th e  p r ef ix es,  in s er ts   an d   wo r d   s u f f ix es so   th at   it b ec o m es th e  b asic f o r m .  Ste m m in g   is   an   im p o r tan t te ch n i q u e  in   NL P f o r   ef f icien t   an d   ef f ec tiv e  in f o r m atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   150   r etr iev al   [ 2 6 ] .  An   ex a m p le  o f   s tem m in g   ap p licatio n   is   s h o wn   in   T ab le  3 .   I n   T a b le  3   ter m s   “ d ip eriks a ” ,  “ d ip eriks a ka n ”  d an   “ mem eriks a ”  o m itted   p r ef ix es,  i n s er ts   an d   en d in g s   will  b e  t h e  s am e   b asic  ter m   is   “ p eriks a ”.   T er m s   “ men g a n t a r ”   an d   “ d ia n ta r ”  af ter   g o in g   th r o u g h   th e   s tem m in g   p r o ce s s ,   it  b ec o m es  t h e  s am e  b asic  ter m   is   “ a n ta r ”.   Stem m in g   m ak es a   wo r d   in to   its   b asic f o r m   an d   b ec o m es th e  s am e  ter m .       T ab le   2 .   Var iatio n s   o f   wo r d s   with   th e  s am e  m ea n in g   No   Te r m   on   c o n v e r s a t i o n   W o r d   n o r ma l i z e r   r e s u l t s   1   Pa k   sa u d a ra   2   Bu   sa u d a ra   3   D o k   sa u d a ra   4   K a k   sa u d a ra   5   D i k   sa u d a ra   6   Ma s   sa u d a ra   7   Mb a k   sa u d a ra   8   S e l a m a t   S o re   sa l a m   9   S e l a m a t   S i a n g   sa l a m   10   Assa l a m u a l a i k u m   sa l a m       T ab le   3 .   T h e  r esu lts   o f   ap p ly in g   s tem m in g   No   Te r m   o n   c o n v e r s a t i o n   S t e mm i n g   r e s u l t s   1   D i p e r i k s a   p e r i k s a   2   D i p e r i k s a k a n   p e r i k s a   3   Me m e r i k s a   p e r i k s a   4   Me n g a n t a r   a n t a r   5   D i a n t a r   a n t a r   6   D i a m b i l   a m b i l   7   Me n g a m b i l   a m b i l   8   D i t u n g g u   t u n g g u   9   Me n u n g g u   t u n g g u   10   m e n d a f t a r   d a f t a r       T h e  n e x t  s tep   is   th e   s to p wo r d   r em o v al  p r o ce s s   to   r em o v e   t h e  s to p wo r d   f r o m   th e  c o n v e r s atio n .   T h e   s to p wo r d   lis t  wh ich   is   u s ed   is   m ad e  b y   its elf ,   r e f er s   to   th e  c o n tex t  o f   w o r d s   wh ich   a r e  o f t en   u s ed   in   h o s p ital  s er v ices  an d   n u m b er s .   Nu m b e r   h av e  n o   ef f ec t  o n   s e n tim en t  an aly s is ,   an d   r em o v in g   th em   c an   r ed u ce   n o is e  an d   in cr ea s e  ef f icien c y   [ 2 7 ] .   An   e x am p le  o f   a   s to p wo r d   lis t  u s e d   is   s h o wn   in   T ab le   4 .   C an   b e   s ee n   in   T ab le   4 ,   th e   ter m   " ya n g "  is   o n e  o f   th e  m o s t  f r eq u en tly   s to p p ed wo r d   lis ts ,   wh ic h   is   2 0 4   tim es,  an d   th e  ter m   " di "  wh ich   ap p ea r s   1 0 1   tim es.   Sto p wo r d s   ca n   b e  r e m o v e d   b ec a u s e  th ey   u s u ally   a p p ea r   in   lar g e  n u m b er s   an d   d o   n o t   h av e   m ea n in g   as  a  s in g le  ter m .   T h e  o v er all   r esu lts   o f   t h e  p r ep r o ce s s in g   p r o ce s s   ca n   b e  s ee n   in   T ab le   5 .   T ab le  5   s h o ws  co n v er s atio n s   wh ich   h av e  p ass ed   p r ep r o ce s s in g   u s in g   th e  NL P  ap p r o ac h   with   t h e  wo r d   n o r m alize ,   s tem m in g   an d   s to p wo r d   r em o v al  f ea tu r es.   On e  in d icato r   o f   s atis f ied   cu s to m er s   is   to   s ay   " t erima   ka s ih "  at  th e   en d   o f   th e  c o n v e r s atio n   wh ich   in d icate s   th at  cu s to m er s   f ee l  h elp ed   an d   ar e  s atis f ied   with   th e  s er v ices  p r o v i d ed .   I n   co n v er s atio n   n u m b er   2 ,   th er e  is   a  m is tak e   o f   th e  c u s to m er   b ec a u s e  o f   th e   wr o n g   c h o ice  o f   th e  ca s h ier ,   b u t  cu s to m e r s   d is ap p o in ted   ca u s e   is   th at  n o   wo r d s   o f   f o r g iv en ess   m ak e  c u s to m er s   f ee l  co m f o r ta b le.   Ap o lo g y   d ea ls   with   t h e  r elatio n s h ip   b etwe en   in d iv i d u als  in v o lv ed   i n   th e   wr o n g   s itu atio n   [ 2 8 ] .  T h e   ch o ice   an d   wo r d   u s ag e   in   p u b lic  s er v ices  af f ec t  th e  lev el  o f   c u s to m er   s atis f ac tio n ,   alth o u g h   s er v ice  p er s o n n el  m u s t  b e  s tr ict  with   th e  r u les,  with   th e  r ig h t c h o ice  o f   w o r d s   ca n   m ain tain   c u s to m er   f ee lin g s .       T ab le   4.   E x am p le  s to p wo r d   lis t   No   S t o p w o r d   l i s t   F r e q u e n c y   o f   a p p e a r a n c e   1   y a n g   2 0 4   2   di   10 1   3   t a p i   9 2   4   d a n   7 3   5   ya   6 1   6   j u g a   6 0   7   j a d i   3 6   8   u n t u k   3 0   9   d e n g a n   3 0   10   ke   2 3         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   151   T ab le  5.   Pre p r o ce s s in g   r esu lts   No   C o n v e r sa t i o n   P r e p r o c e ss i n g   r e su l t s   W o r d   N o r ma l i z e r   S t e mm i n g   S t o p w o r d   R e m o v a l   1   Assa l a m u a l a i k u m   a d a   y a n g   b i s a   s a y a   b a n t u   k a k   sa y a   i n g i n   m e n e b u s   r e se p   i n i   m b a k   si l a h k a n   d u d u k   d u l u   k a k   s a y a   a k a n   m e n y i a p k a n n y a   i n i   o b a t n y a   k a k   y a n g   t a b l e t   h i j a u   d i m i n u m   4 5   m e n i t   se b e l u m   m a k a n   t i g a   k a l i   se h a r i   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a si n g   sa t u   se t e l a h   m a k a n   t i g a   k a l i   s e h a r i   a d a   y a n g   b i s a   d i b a n t u   l a g i   k a k   t i d a k   t e ri m a   k a s i h   m b a k   sa l a m   a d a   y a n g   b i s a   s a y a   b a n t u   o b j e k   s a y a   i n g i n   m e n e b u s   r e se p   i n i   o b j e k   si l a h k a n   d u d u k   d u l u   o b j e k   s a y a   a k a n   m e n y i a p k a n n y a   i n i   o b a t n y a   o b j e k   y a n g   t a b l e t   h i j a u   d i m i n u m   4 5   m e n i t   se b e l u m   m a k a n   t i g a   k a l i   se h a r i   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a si n g   sa t u   se t e l a h   m a k a n   t i g a   k a l i   s e h a r i   a d a   y a n g   b i s a   d i b a n t u   l a g i   o b j e k   t i d a k   t e r i m a   k a s i h   o b j e k   sa l a m   a d a   y a n g   b i s a   s a y a   b a n t u   o b j e k   s a y a   i n g i n   t e b u s  rese p   i n i   o b j e k   si l a h   d u d u k   d u l u   o b j e k   sa y a   a k a n   si a p   i n i   o b a t   o b j e k   y a n g   t a b l e t   h i j a u   m i n u m   4 5   m e n i t   b e l u m   m a k a n   t i g a   k a l i   h a ri   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a si n g   sa t u   t e l a h   m a k a n   t i g a   k a l i   h a ri   a d a   y a n g   b i sa   b a n t u   l a g i   o b j e k   t i d a k   t e ri m a   k a si h   o b j e k   sa l a m   a d a   b i sa   sa y a   b a n t u   o b j e k   s a y a   t e b u s   res e p   o b j e k   si l a h   d u d u k   o b j e k   sa y a   s i a p   o b a t   o b j e k   t a b l e t   h i j a u   m i n u m   b e l u m   m a k a n   k a p su l   b i r u   p u t i h   m a k a n   a d a   b i s a   b a n t u   o b j e k   t i d a k   t e ri m a   k a s i h   o b j e k   2   P e rm i s i   b u   sa y a   i n g i n   m e l a k u k a n   p e m b a y a r a n   a t a s   n a m a   w i n d a r i   i b u   m e n g g u n a k a n   b p j s   k e s e h a t a n   a t a u   re g u l e r  b u   p a k a i   b p j s  b u   u n t u k   b p j s  k e s e h a t a n   b i s a   d i l a y a n i   d i   k a s i r s e b e l a h   y a   b u   si n i   k h u su s y a n g   re g u l e r   sa l a m   o b j e k   s a y a   i n g i n   m e l a k u k a n   p e m b a y a r a n   a t a s   n a m a   w i n d a r i   o b j e k   m e n g g u n a k a n   b p j s   k e s e h a t a n   a t a u   re g u l e r  o b j e k   p a k a i   b p j s  o b j e k   u n t u k   b p j s  k e s e h a t a n   b i s a   d i l a y a n i   d i   k a s i r s e b e l a h   y a   o b j e k   si n i   k h u su s   y a n g   re g u l e r   sa l a m   o b j e k   s a y a   i n g i n   l a k u   b a y a r   a t a s  n a m a   w i n d a r i   o b j e k   g u n a   b p j s s e h a t   a t a u   reg u l e r  o b j e k   p a k a i   b p j s  o b j e k   u n t u k   b p j s s e h a t   b i s a   l a y a n   d i   k a si r   b e l a h   y a   o b j e k   si n i   k h u su s y a n g   re g u l e r   sa l a m   o b j e k   s a y a   l a k u   b a y a r   n a m a   w i n d a ri   o b j e k   g u n a   b p j s s e h a t   reg u l e r  o b j e k   p a k a i   b p j s  o b j e k   b p j s s e h a t   b i s a   l a y a n   k a si r  b e l a h   o b j e k   k h u su s   re g u l e r   3   G i m a n a   t a n g a n   sa y a   d o k   t a n g a n   s a m p e a n   s u d a h   m e m b a i k   p a k   k a p a n   b i s a   l e p a s  g i p s  n y a   d o k   g i p s   d a p a t   d i l e p a s   sek i t a r  d u a   m i n g g u   l a g i   p a k   b a p a k   d i b a n y a k i n   m a k a n   i k a n   i k a n a n   y a   p a k   b i a r   c e p e t   p u l i h   t a n g a n n y a   si a p   d o k   t e r i m a   k a s i h   b a g a i m a n a   t a n g a n   s a y a   o b j e k   t a n g a n   o b j e k   s u d a h   m e m b a i k   o b j e k   k a p a n   b i sa   l e p a s  g i p s  n y a   o b j e k   g i p s  d a p a t   d i l e p a s s e k i t a r  d u a   m i n g g u   l a g i   o b j e k   o b j e k   d i b a n y a k i n   m a k a n   i k a n   i k a n a n   y a   o b j e k   b i a r   c e p e t   p u l i h   t a n g a n n y a   si a p   o b j e k   t e ri m a   k a s i h   b a g a i m a n a   t a n g a n   s a y a   o b j e k   t a n g a n   o b j e k   s u d a h   b a i k   o b j e k   k a p a n   b i s a   l e p a s   g i p s  o b j e k   g i p s  d a p a t   l e p a s  sek i t a r  d u a   m i n g g u   l a g i   o b j e k   o b j e k   b a n y a k   m a k a n   i k a n   i k a n   y a   o b j e k   b i a r c e p e t   p u l i h   t a n g a n   s i a p   o b j e k   t e r i m a   k a s i h   t a n g a n   s a y a   o b j e k   t a n g a n   o b j e k   s u d a h   b a i k   o b j e k   k a p a n   b i s a   l e p a s   g i p s   o b j e k   g i p s  d a p a t   l e p a s s e k i t a r  o b j e k   o b j e k   b a n y a k   m a k a n   i k a n   i k a n   o b j e k   c e p e t   p u l i h   t a n g a n   s i a p   o b j e k  t e ri m a   k a s i h   4   Pa k   i y a   m b a k   a n t r i a n n y a   k a n   m a si h   l a m a   k a l o   sa y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   m b a k   t a p i   n a n t i   k a l o   t i b a   u ru t a n   m b a k n y a   g a k   a d a   n a n t i   h a ru s   m e n g u l a n g   d a r i   a w a l   y a   m b a k   k o k   g i t u   p a k   h a r u sn y a   k a l o   k e l e w a t   y a   d i s u s u l k a n   s a j a   t o   p a k   m a a f   m b a k   t i d a k   b i s a   o b j e k   i y a   o b j e k   a n t ri a n n y a   k a n   m a si h   l a m a   k a l o   sa y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   o b j e k   t a p i   n a n t i   k a l o   t i b a   u ru t a n   o b j e k   t i d a k   a d a   n a n t i   h a r u s  m e n g u l a n g   d a r i   a w a l   y a   o b j e k   k o k   g i t u   o b j e k   h a ru s n y a   k a l o   k e l e w a t   y a   d i s u s u l k a n   s a j a   t o   o b j e k   m a a f   o b j e k   t i d a k   b i s a   o b j e k   i y a   o b j e k   a n t ri   k a n   m a si h   l a m a   k a l o   sa y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   o b j e k   t a p i   n a n t i   k a l o   t i b a   u ru t   o b j e k   t i d a k   a d a   n a n t i   h a r u s  u l a n g   d a ri   a w a l   y a   o b j e k   k o k   g i t u   o b j e k   h a r u s k a l o   l e w a t   y a   s u s u l   sa j a   t o   o b j e k   m a a f   o b j e k   t i d a k   b i sa   o b j e k   i y a   o b j e k   a n t ri   m a si h   l a m a   s a y a   t i n g a l   b o l e h   t i d a k   b o l e h   o b j e k   t a p i   k a l o   t i b a   u r u t   o b j e k   t i d a k   a d a   h a ru s   u l a n g   a w a l   o b j e k   g i t u   o b j e k   h a r u s  l e w a t   s u s u l   sa j a   o b j e k   m a a f   o b j e k   t i d a k   b i s a   5   S i a n g   b u n d a   b e n a r  a d e k n y a   b e r n a m a   f a h m i   b e n a r   d o k   u n t u k   i m u n i s a si   y a   i y a   d o k   a p a k a h   n a n t i   b a d a n y a   p a n a s  d o k   b u n d a   g a k   p e r l u   k a w a t i r  n a n t i   p a n a sn y a   c u m a n   s e b e n t a r k o k   b i s a   d i k o m p res   b i a r c e p e t   re d a   p a n a sn y a   t e ri m a   k a s i h   d o k     si a n g   o b j e k   b e n a r   a d e k n y a   b e r n a m a   f a h m i   b e n a r   o b j e k   u n t u k   i m u n i s a s i   y a   i y a   o b j e k   a p a k a h   n a n t i   b a d a n y a   p a n a s  o b j e k   o b j e k   t i d a k   p e r l u   k a w a t i r  n a n t i   p a n a s n y a   c u m a n   se b e n t a r  k o k   b i s a   d i k o m p res   b i a r   c e p e t   red a   p a n a sn y a   t e ri m a   k a s i h   o b j e k     si a n g   o b j e k   b e n a r   a d e k   n a m a   f a h m i   b e n a r  o b j e k   u n t u k   i m u n i s a si   y a   i y a   o b j e k   a p a   n a n t i   b a d a n   p a n a s  o b j e k   o b j e k   t i d a k   p e r l u   k a w a t i r  n a n t i   p a n a s  c u m a n   se b e n t a r   k o k   b i s a   k o m p res  b i a r   c e p e t   red a   p a n a s   t e r i m a   k a si h   o b j e k   si a n g   o b j e k   b e n a r   a d e k   n a m a   f a h m i   b e n a r   o b j e k   i m u n i s a si   o b j e k   a p a   b a d a n   p a n a s  o b j e k   o b j e k   t i d a k   p e r l u   k a w a t i r  n a n t i   p a n a s  c u m a n   seb e n t a r   b i s a   k o m p res  c e p e t   r e d a   p a n a s   t e ri m a   k a s i h   o b j e k       3 . 3 .     K NN  c a lcula t io n  us ing   TF - I DF   T h is   s tu d y   u s es  th e  KNN  alg o r ith m   with   k =3   an d   th e  ter m   weig h tin g   u s es  T F - I DF .   TF - I DF  r ef lect s   th e  im p o r tan ce   o f   a   wo r d   in   a   tex t  d o cu m en t   [ 2 9 ] .   T h e   T F - I DF  ca lcu latio n   is   ap p lied   to   2 0 0   tr ain i n g   d ata  an d   5 0   test in g   d ata  af ter   p r ep r o ce s s in g   u s in g   th e  NL P  ap p r o ac h .   T h e  n ex t  s tep   is   ca lcu latin g  th e  n u m b er   o f   m atch es   lab elin g   r esu lts   f r o m   th e  p r e d i ctio n   o f   5 0   test in g   d ata  co m p a r ed   with   m an u al  lab elin g   b y   c o r r esp o n d en ts   u s in g   co n f u s io n   m atr i x .   T h e  co n f u s io n   m atr ix   d iv id es  th e  r esu lts   o f   th e  p r ed ictio n s   in to   f o u r   c ateg o r ies,  th ey   ar e ;   1)   tr u e  p o s i tiv e  ( T P)   s h o ws  th e   am o u n t  o f   d ata  with   p o s itiv e  c lass es  an d   tr u e  p r ed ictiv e   r esu l ts ,   2)   tr u e  n eg ativ e   ( T N)   s h o ws  th e  am o u n t  o f   d ata  with   n eg ativ e  class e s   an d   tr u e  p r ed ictiv e  r esu lts ,   3 )   f alse  p o s itiv e  ( FP )   s h o ws  th e  n u m b er   o f   d ata  with   p o s itiv e  class e s   an d   f alse ,   an d   4 )   f alse  n eg ativ e  p r ed ictio n   r esu lts   ( FN)   s h o ws  th e   n u m b er   o f   d ata  with   n eg ativ e   class   an d   wr o n g   p r ed ictio n   r esu lts .   Pre d ictio n   r esu lts   ar e  s h o wn   in   T ab le  6 .   T h e  r esu lts   o f   t h e  co n f u s io n   m atr ix   ar e  p er f o r m ed   ca lcu latio n s   to   g et  th e   v alu e   o f   ac cu r ac y ,   p r ec is io n   an d   r e ca ll.   Acc u r ac y   is   th e   p r o p o r tio n   o f   th e   to tal  n u m b e r   o f   co r r ec t p r ed ictio n s   co m p a r ed   to   th e   to tal  n u m b e r   o f   s am p les,  ac c u r ac y   is   ca lc u lated   u s in g   ( 2 )  [ 3 0 ] .  P r e c i s i o n   i s   t h e   p r o p o r t i o n   o f   p o s i t i v e   s a m p l e s   w h i c h   a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   152   c o r r e c t l y   c l a s s i f i e d   a g a i n s t   t h e   p o s i t i v e   t o t a l   n u m b e r   o f   s a m p l e s ,   p r e c i s i o n   i s   c a l c u l a t e d   u s i n g   ( 3 ) .   A   r e c a l l   i s   a   p o s i t i v e   s a m p l e   t h a t   i s   c l a s s i f i e d   c o r r e c t l y   t o   t h e   t o t a l   n u m b e r   o f   p o s i t i v e   s a m p l e s ,   r e c a l l   i s   c a l c u l a t e d   u s i n g   ( 4 )  [ 3 1 ] .       =    +   + +  +                ( 2 )      =     +                  ( 3 )      =     +                    ( 4 )     In   ( 2 - 4 )   a r e  ap p lied   to   th e  test   d ata  test in g   r esu lts   an d   th e  r es u lts   ar e  as sh o wn   in   T ab le  7 .   T h e  m ea s u r em e n t  r esu lts   in   T a b le  7   s h o w  t h at  lab elin g   u s in g   KNN  an d   T F - I DF  with   th e  NL P  ap p r o ac h   p r o d u ce s   an   ac cu r ac y   7 4 . 0 0 %,  p r ec is io n   7 6 . 0 0 %  an d   r ec all  7 3 . 0 8 %.   Ov er all  th e  test   r esu l ts   s h o w in g   p o s itiv e   r esu lts   s h o w  m ac h in e   lear n i n g   h as  g o o d   p er f o r m an ce .   Pre v i o u s   r esear ch   [ 9 ]   u s in g   KNN  an d   T F - I DF  alg o r ith m s   in   cla s s if y in g   s en tim en ts   o n   T witter   s o cial  m ed ia  o b tain e d   an   ac c u r ac y   o f   6 7 . 2 % ,  c o m p ar ed   t o   th is   s tu d y   o b tain ed   a  h ig h er   ac cu r ac y   o f   7 4 . 0 0 %.   Hig h e r   ac cu r ac y   v alu es  in d icate   th at  th e  u s e  o f   NL P  f o r   p r ep r o ce s s in g   p r o v id es a n   in cr ea s e  in   lab elin g   ac cu r ac y .       T ab le   6 .   Hasil  C o n f u s io n   m at r ix   P r e d i c t i o n   r e su l t s   N u mb e r   o f   d o c u m e n t s   Tr u e   P o s i t i f   ( TP)   19   Tr u e   N e g a t i f   ( TN )   18   F a l se   P o s i t i f   ( F P )   6   F a l se   N e g a t i f   ( F N )   7     T ab le  7 .   L a b elin g   test   r esu lts   M e a su r e me n t   M e a su r e me n t   r e su l t s   A c c u r a c y   7 4 . 0 0 %   P r e c i s i o n   76 . 0 0 %   R e c a l l   7 3 . 08 %         3 . 4 .     T er m   o cc urre nce   f re qu ency   T er m s   wh ich   h as  a   h ig h   f r eq u en cy   o f   o cc u r r en ce   in   c o n v e r s atio n   ca n   d escr ib e  m a r k et  ac c ep tan ce   o f   s er v ice  q u ality .   T h e  ter m s   o f t en   u s ed   in   co n v er s atio n s   ar e  in d icate d   b y   wo r d co u d   cr ea ted   with   th e  “W o r d ar t ”   ap p licatio n   i n   Fig u r e  4   an d   Fig u r e  5 .   I n   c o n v e r s atio n s   w ith   th e  lab el  " s atis f ied ",   th e   ter m   wh ich   h as  th e   h i g h est   f r eq u e n cy   o f   o cc u r r en ce   is   th e   ter m   “ a ka n ”  in   1 4 3  tim es ,  ter m   “ in g in ”   in   9 8   tim es ,  ter m   “ a p a ka h ”  in   7 8  tim es ,  ter m   “ b a ik ”  i n   5 4   tim es ,  ter m   “ teri ma ”  in   5 2   tim es   an d   ter m   “ ka s ih ”  in   5 1   tim es .  T er m   “ a p a ka h ”   an d   “ in g in ”  r ef er   to   c u s to m er   q u esti o n s   an d   d esire s ,   wh ile  ter m s   “ b a ik ”,   “ teri ma ”  an d   “ ka s ih ”  r ef e r s   to   c u s to m er   s atis f ac tio n   b ec au s e  q u esti o n s   o r   d esire s   ca n   b e  r ea lized .   I n   co n v er s atio n s   with   t h e  lab el   " s atis f ied ",   th e  ter m   th at  h as  t h e  h ig h est  f r eq u en cy   o f   o cc u r r en ce   is   th e   ter m   “ tid a k - b is a ”  in   1 3 8  tim es ,  ter m   “ la ma ”  i n   1 0 5   tim es ,  ter m   “ a p a ”  in   7 5   tim es ,  te r m   “ B P JS ”  in   7 0   tim es   an d   ter m   “ kira ”  in   55  tim es .  T er m   “ apa ”  a n d   “ tid a k - b is a ”  s h o ws  cu s to m er s   d o   n o t  g et  wh a t  is   ex p ec ted .   T er m   “ la ma ”  an d   “ kira ”  s h o ws  th at  th e  cu s to m er   is   n o t  co m f o r ta b le  waitin g .   T er m   “ B P JS ”   s h o ws  th e  u s e  o f   B P J S   f o r   p a y m en t  o f   s er v ice  f ee s .             Fig u r e   4.   W o r d   c lo u d   ap p ea r a n ce   o f   wo r d s   in   a  s atis f ied   co n v er s atio n     Fig u r e   5.   W o r d   clo u d   th e  ap p e ar an ce   o f   wo r d s   in   a  co n v er s atio n   is   n o t satis f ied         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   153   4.   CO NCLU SI O N   Sen tim en t  an aly s is   o n   p u b lic  s er v ice  co n v e r s atio n s   ca n   p r o v id e  d ee p er   in f o r m atio n   ab o u t  cu s to m er   r atin g s   o n   s er v ices  p r o v id ed .   Utilizatio n   o f   th e  s p ee ch   r e co g n itio n   s y s tem   tech n o lo g y   ca n   co n v er t  v o ice   co n v er s atio n s   in to   tex t,  th u s   h elp in g   th e  p r o ce s s   o f   an aly zin g   cu s to m er   s atis f ac tio n .   C lass if icatio n   u s in g   th e   KNN  an d   T F - I DF  alg o r ith m   with   o p tim izatio n   u s in g   th e   NL P  ap p r o ac h   at  th e   p r e p r o ce s s in g   s tag e  ca n   r esu lt   in   b etter   lab elin g   o f   th e  c o n v e r s atio n   d ata.   T esti n g   with   co n f u s io n   m atr ix   p r o d u ce s   a  v alu e  7 4 . 0 0 %   o f   ac cu r ac y ,   7 6 . 0 0 %  o f   p r ec is io n   an d   7 3 . 0 8 %  o f   r ec all.   T h is   r esear ch   f o u n d   th at  ter m s   ar e  d o m in an t  in   co n v er s atio n   “ s atis f ied ”  is   ter m   “ a ka n ” ,   “ in g in ” ,   “ a p a ka h ”  ,   “ b a ik ” ,   “ teri ma ”  an d   “ ka s ih ”  wh ic h   s h o ws  cu s to m er   s atis f ac tio n   o n   th e  s e r v ice  r ec eiv ed   an d   cu s to m er   d esire s   th at  ca n   b e  r ea lized .   W h er ea s   th e  d o m in an t  ter m s   in   th e  co n v er s atio n   “ d is s ati s f ied ”   is   ter m   “ tid a k - b is a ” ,  “ l a ma ” ,   “ apa ” ,   “ B P JS ”   an d   “ kira ”   s h o ws  cu s to m er   d is ap p o in tm en t   at  th e   s er v ice  r ec eiv ed .   T h is   r esear ch   is   a  s er ies  o f   s tu d ies  o n   th e  p r o d u ct  " K a ta   K ita "  to   b e  ap p lied   in   p u b lic  s er v ices  th a t  f u n ctio n   t o   r ec o r d   co n v er s atio n s   in   th e   f o r m   o f   tex t,  lab elin g   a u to   lear n i n g   b as ed   o n   m ac h in e  lear n in g   a n d   d ig g in g   i n f o r m atio n .   I n f o r m atio n   ex tr ac ted   f r o m   s er v ice  co n v er s atio n s   ca n   b e  u s ed   as  m ater ial  f o r   ev alu atin g   an d   d ev elo p in g   s er v ice  q u ality .   Fu r t h er   r esear c h   ca n   b e  ca r r ied   o u t   o n   o th e r   f ea tu r es  o f   " K a ta   K ita "  p r o d u cts  o r   with   a  v a r iety   o f   d atasets   f r o m   d if f er e n t   p u b lic  s er v ice  s o u r ce s .       ACK NO WL E DG E M E NT S     R esear ch er s   wo u ld   lik e   to   t h a n k   th e   Ma g is ter   o f   I n f o r m atic s ,   Un iv er s itas   AM I KOM   Yo g y ak ar ta  f o r   p r o v id i n g   s u p p o r t a n d   g u id an c e  to   th is   r esear ch .       RE F E R E NC E S   [1 ]   Ba ra ta,  Ate p ,   a n d   A d y a ,   " Da sa r - d a sa r  p e lay a n a n   p rima ,"   Ja k a rta:  P T .   El e x me d ia   C o mp u ti n d o ,   2 0 0 3 .   [2 ]   I.   Og ra jen še k   a n d   I.   G a l,   “ Th e   c o n c e p t  a n d   a ss e ss m e n t  o f  c u sto m e r  sa ti sfa c ti o n , ”   M o d e rn   An a ly sis  o f  Cu sto me r  S u rv e y s: W it h   Ap p li c a t io n s Us in g   R ,   p p .   1 0 7 - 1 2 7 ,   2 0 1 1 .   [3 ]   D.  Alb u r y ,   “ F o ste rin g   In n o v a ti o n   in   P u b l ic S e rv ice s,”   Pu b li c   M o n e y   M a n a g . ,   v o l .   2 5 ,   p p .   5 1 - 5 6 ,   F e b .   2 0 0 5 .   [4 ]   T.   M .   Hid a y a t,   “ In tere st  o f   P u b li c   Ad m in istrati o n ,   Ac c e lera ted   Im p ro v e m e n t  o f  P u b li c   S e r v ice   Qu a li ty ,   ( in   Ba h a sa :   Bu n g a   Ra m p a i  Ad m in istras i  P u b li k ,   Ak se lera si  P e n i n g k a tan   Ku a li tas   P e lay a n a n   P u b li k ) , ”   Bu n g a   Ra m p a i   Ad min istr a si P u b li k .   p p .   5 1 – 6 3 ,   2 0 1 6 .   [5 ]   M .   Cu i ,   T.   Wan g ,   Z.   P a n ,   a n d   L.   Ni,   “ De fin it io n   o f  P e o p le  wit h   Im p e d ime n ts  a n d   Un i v e rsa li ty   Ev a lu a ti o n   o f  P u b l ic   S e rv ice   in   Air p o rt   Tra v e l  S c e n a ri o s,”   I n ter n a t io n a l   Co n fer e n c e   o n   Hu ma n - C o mp u ter   In ter a c ti o n ,   p p .   6 2 3 - 6 3 9 ,   2 0 2 0 .   [6 ]   Y.  Wan g ,   K.  Kim ,   B.   Lee ,   a n d   H .   Y.  Yo u n ,   “ Wo rd   c lu ste rin g   b a se d   o n   P OS  fe a tu re   f o r  e fficie n t  t witt e r  se n ti m e n t   a n a ly sis,”   Hu ma n - c e n tric Co m p u t .   In f.   S c i. ,   v o l.   8 ,   n o .   1 ,   p .   1 - 1 7 ,   2 0 1 8 .   [7 ]   N.  S h a i k h   a n d   R.   De sh m u k h ,   “ S p e e c h   Re c o g n it i o n   S y ste m - A  Re v i e w,”  IOS R  J .   C o mp u t.   E n g . ,   v o l .   1 8 ,   p p .   1 - 9 ,   2 0 1 6 .   [8 ]   A.  A.  Lu tfi ,   A.  E.   P e rm a n a sa ri,   a n d   S .   F a u z iati,   “ S e n ti m e n t  An a ly si s  in   th e   S a les   Re v iew   o f  In d o n e sia n   M a rk e tp lac e   b y   Uti li z in g   S u p p o rt   Ve c to r  M a c h in e , ”   J .   I n f.   S y st.  E n g .   Bu s .   In tel l . ,   v o l.   4 ,   n o .   1 ,   p p .   5 7 - 64 ,   2 0 1 8 .   [9 ]   A.  De v iy a n to   a n d   M .   D.  R .   Wah y u d i,   “ Ap p li c a ti o n   o f  S e n ti m e n t   An a ly sis  t o   Twit ter  Us e rs  Us in g   th e   K - Ne a re st   Ne ig h b o r  M e t h o d   (i n   Ba h a sa :  P e n e ra p a n   An a li sis  S e n t ime n   P a d a   P e n g g u n a   Twit ter  M e n g g u n a k a n   M e to d e   K - Ne a re st   Ne ig h b o r ) , ”   J IS KA   (J u rn a l  I n fo r m.  S u n a n   K a li j a g a ) ,   v o l.   3 ,   n o .   1 ,   p p .   1 - 1 3 ,   2 0 1 8 .   [1 0 ]   K.  No rm a n ,   Z.   Li ,   Y .   T.   Oh ,   G .   Go lwa la,  S .   S u n d a ra m ,   a n d   J.  Alleb a c h ,   “ Ap p li c a ti o n   o f  n a tu ra l  lan g u a g e   p ro c e ss in g   to   a n   o n li n e   fa sh i o n   m a rk e tp lac e , ”   IS   T   I n t.   S y mp .   El e c tro n .   Ima g in g   S c i.   T e c h n o l. ,   p p .   1 - 5 ,   2 0 1 8 .   [1 1 ]   N.  Kim   a n d   S .   H o n g ,   “ Tex t  m i n i n g   f o r  t h e   e v a l u a ti o n   o f  p u b li c   se rv ice s:  th e   c a se   o f  a   p u b li c   b i k e - sh a rin g   s y ste m , ”   S e rv .   Bu s. ,  v o l.   1 4 ,   p p .   3 1 5 - 3 3 1 ,  2 0 2 0 .   [1 2 ]   B.   Ch e e k a ti   a n d   S .   P a d a la,  “ Ev a lu a ti n g   t h e   P ro g re ss iv e   P e rfo r m a n c e   o f  M a c h in e   Lea rn in g   Te c h n iq u e s  o n   E - c o m m e rc e   D a ta,”  S ma rt Co mp u ti n g   a n d   I n fo rm a t ics ,   p p . 9 5 - 1 0 7 ,   2 0 1 8 .   [1 3 ]   M .   T.   Kh a n ,   M .   Du rra n i,   A.  Ali ,   I.   In a y a t,   S .   Kh a li d ,   a n d   K.  H.   K h a n ,   “ S e n ti m e n t  a n a l y sis  a n d   th e   c o m p lex   n a tu ra l   lan g u a g e , ”   Co mp lex   A d a p t.   S y st.  M o d e l. ,   v o l .   4 ,   n o .   1 ,   2 0 1 6 .   [1 4 ]   B.   Ia n c u ,   “ E v a lu a ti n g   G o o g le  S p e e c h - to - Tex t   API’s   P e rfo rm a n c e   fo r   Ro m a n ian   e - Lea rn in g   Re so u rc e s,”   In fo rm .   Eco n . ,   v o l.   2 3 ,   n o .   1 /2 0 1 9 ,   p p .   1 7 - 2 5 ,   2 0 1 9 .   [1 5 ]   A.  S o l ich in ,   “ M y S q l   5 :   F r o m   Be g in n e r  to   Ad v a n c e d   (i n   Ba h a sa :  Da ri  P e m u la  Hin g g a   M a h ir ) , ”   U n iv.  B u d i   L u h u r,   J a k a rta ,   Ja n .   2 0 1 0 .   [1 6 ]   M .   M h a tre,  D.  P h o n d e k a r,   P .   Ka d a m ,   A.  Ch a wa th e ,   a n d   K.  G h a g ,   “ Dim e n sio n a li t y   re d u c ti o n   f o r  se n t ime n t  a n a ly sis  u sin g   p re - p r o c e ss in g   tec h n iq u e s,”   2 0 1 7   In ter n a ti o n a l  C o n fer e n c e   o n   Co mp u ti n g   M e th o d o lo g ies   a n d   Co mm u n ica ti o n   (ICCM C) ,   p p .   1 6 - 2 1 ,   2 0 1 7 .   [1 7 ]   Z.   Jia n q ian g   a n d   G .   Xia o li n ,   “ Co m p a riso n   Re se a rc h   o n   Tex t  P re - p r o c e ss in g   M e th o d s  o n   Twit ter  S e n t ime n t  An a ly sis,”   IEE E  Acc e ss ,   v o l .   5 ,   p p .   2 8 7 0 - 2 8 7 9 ,   2 0 1 7 .   [1 8 ]   G .   Ch o wd h a r y ,   “ Na tu ra l  Lan g u a g e   P r o c e ss in g , ”   An n u a l  Rev iew  o f  I n fo rm a ti o n   S c ien c e   a n d   T e c h n o l o g y ,   v o l.   37 ,    n o .   1 ,   p p .   51 - 8 9   2 0 2 0 .   [1 9 ]   L.   A.  M u l len ,   K.  Be n o it ,   O .   Ke y e s,  D.  S e li v a n o v ,   a n d   J.  Ar n o l d ,   “ F a st,  Co n siste n t  T o k e n iza ti o n   o f  N a tu ra l  Lan g u a g e   Tex t, ”   J .   Op e n   S o u rc e   S o ft w. ,   v o l .   3 ,   n o .   2 3 ,   p .   6 5 5 ,   2 0 1 8 ,   d o i:   1 0 . 2 1 1 0 5 /j o ss . 0 0 6 5 5 .   [2 0 ]   A.  N.  Ro h m a n ,   E.   Uta m i,   a n d   S .   Ra h a rjo ,   “ De tek si  Ko n d isi  Emo si  p a d a   M e d ia  S o sia l  M e n g g u n a k a n   P e n d e k a ta n   Lek sik o n   d a n   Na tu ra l  Lan g u a g e   P ro c e ss in g , ”   Eks p lo ra   In f o rm . ,   v o l.   9 ,   n o .   1 ,   p p .   7 0 - 7 6 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l ,  Vo l.  19 ,   No .   1 ,  Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   154   [2 1 ]   B.   P .   P a n d e   a n d   H.  S .   Dh a m i,   “ Ap p li c a ti o n   o f  Na tu ra l  Lan g u a g e   P ro c e ss in g   To o ls  in   S tem m in g , ”   In t.   J .   Co mp u t .   Ap p l . ,   v o l.   2 7 ,   n o .   6 ,   p p .   1 4 - 1 9 ,   2 0 1 1 .   [2 2 ]   A.  P ra k a sh   a n d   U.  Ku m a r,   “ Au t h e n ti c a ti o n   P ro t o c o ls  a n d   Tec h n i q u e s:  A  S u rv e y , "   In ter n a ti o n a l  J o u rn a l  o f   C o mp u ter   S c ien c e s a n d   En g i n e e rin g ,   v o l.   6 ,   n o .   6 ,   p p .   1 0 1 4 - 1 0 2 0 ,   2 0 1 9 .   [2 3 ]   I.   Riad i ,   S .   S u n a rd i,   a n d   P .   Wi d i a n d a n a ,   “ M o b il e   F o re n sic s  f o r  C y b e rb u ll y in g   De tec ti o n   u sin g   Term   F re q u e n c y   -   In v e rse   Do c u m e n t  F re q u e n c y   (TF - IDF), ”   J .   Ilm.   T e k .   E lek tro   Ko m p u t.   d a n   In fo rm . ,   v o l.   5 ,   p p .   6 8 - 7 6 ,   2 0 1 9 .   [2 4 ]   R.   M e li ta,  V.   Am riza l,   H.  S u se n o ,   a n d   T .   Dirjam ,   “ Ap p li c a ti o n   o f   T e rm   F re q u e n c y   I n v e rse   Do c u m e n t   F re q u e n c y   (Tf - Id f)  a n d   C o sin e   S imilari ty   M e t h o d s  i n   In f o rm a ti o n   Re tri e v a l  S y s tem s  to   F in d   Web - Ba se d   Ha d it h s  (Ca se   S tu d y :   Ha d it s  S a h ih   Bu k h a ri - M u slim ) ,   (i n   Ba h a sa :  P e n e ra p a n   M e t o d e   Ter m   F re q u e n c y   I n v e rse   Do c u m e n t  F re q u e n c y   (Tf - Id f)  d a n   C o sin e   S imilarit y   p a d a   S istem   Tem u   Ke m b a li   In fo rm a si  u n t u k   M e n g e tah u i  S y a ra h   Ha d i t s  Be rb a sis  Web   (S tu d i  Ka su s: Ha d it s  S h a h ih   B u k h a ri - M u slim ) ) , ”   J .   T e k .   In f o rm . ,   v o l.   1 1 ,   n o .   2 ,   p p .   1 4 9 - 1 6 4 ,   2 0 1 8 .   [2 5 ]   V.  Ja h jah ,   R.   Kh o u r y ,   a n d   L.   Lam o n tag n e ,   " W o rd   N o rm a li z a ti o n   Us in g   P h o n e ti c   S ig n a tu re s , "   C o n fer e n c e :  Ca n a d ia n   Co n fer e n c e   o n   Arti fi c i a l  I n telli g e n c e ,   2 0 1 6 .   [2 6 ]   J.  As ian ,   H.  E.   Wi ll iam s,  a n d   S .   M .   M .   Tah a g h o g h i ,   “ S tem m in g   I n d o n e sia n , ”   Co n f.   Res .   Pra c t.   In f .   T e c h n o l .   S e r. ,  v o l.   3 8 ,   n o .   Ja n u a ry ,   p p .   3 0 7 - 3 1 4 ,   2 0 0 5 .   [2 7 ]   M .   Kh a d e r,   e t  a l. ,   “ Th e   Eff e c ts  o f  Na tu ra l  Lan g u a g e   P ro c e ss in g   o n   Big   Da ta  An a ly sis:  S e n ti m e n t   An a ly sis  Ca se   S tu d y , ”   2 0 1 8   I n ter n a ti o n a l  Ara b   Co n fer e n c e   o n   In f o rm a ti o n   T e c h n o lo g y   (ACIT ) ,   p p .   1 - 7 ,   2 0 1 8 .    [2 8 ]   E.   M a rth a n ty   a n d   I.   Les tari,   “ T h e   Cu lt u re   o f  Ap o lo g y   a t  W o rk   in   Ja p a n e se   Dra m a s:  A  S o c io li n g u isti c   Ov e rv iew   ,   (in   Ba h a sa :  Bu d a y a   P e rm in taa n   M a a f  Di   Tem p a t  Ke rja  Da lam   Dra m a   Je p a n g  :  Ti n jau a n   S o sio li n g u isti k ), ”  J u rn a l   Ba h a sa ,   S a str a   d a n   Bu d a y a   J e p a n g ,   v o l.   8 ,   n o .   2 ,   p p .   8 2 - 1 0 0 2 0 1 9 .   [2 9 ]   A.  Tri p a th y ,   A.   Ag ra wa l,   a n d   S .   K.   Ra th ,   “ Clas sifica ti o n   o f   se n ti m e n t  re v iew s  u sin g   n - g ra m   m a c h in e   lea rn i n g   a p p ro a c h , ”   Exp e rt S y st.  Ap p l. ,   v o l .   5 7 ,   p p .   1 1 7 - 1 2 6 ,   2 0 1 6 .   [3 0 ]   A.  K.  S a n tra  a n d   C.   J.  C h risty ,   “ G e n e ti c   Alg o r it h m   a n d   Co n fu sio n   M a tri x   f o r  D o c u m e n t  Cl u ste rin g   1 , ”   In ter n a ti o n a l   J o u rn a l  o f  Co m p u ter   S c ien c e , v o l .   9 ,   n o .   1 ,   p p .   3 2 2 - 3 2 8 ,   2 0 1 2 .   [3 1 ]   A.  Th a rwa t,   “ Clas sifica ti o n   As se ss m e n t  M e th o d s,”   Ap p l.   Co mp u t.   I n fo rm a t ics ,   n o .   Ja n u a ry ,   p p .   1 - 1 3 ,   2 0 1 8 .       B I O G RAP H I E S O F   AUTH O RS       Eli k   H a r i  Mu k t a fin ,   b o rn   i n   S ra g e n ,   Ja wa   Ten g a h ,   I n d o n e sia ,   2   S e p tem b e r  1 9 9 2 .   He   h o ld s  a   Ba c h e lo r  o f  I n fo rm a ti c s  ( S . Ko m )   fro m   S TM IK   AMIKOM   Yo g y a k a rta  in   2 0 1 5 .   C u rre n tl y   th e   a u th o r  is  c a rry in g   o u t  stu d ies   in   th e   field   o f  M a g ister  o f  In f o rm a ti c s,  Un iv e rsitas   AMIKOM   Yo g y a k a rta .    E m a il   a d d re ss :  e li k . m u k tafi n @s tu d e n ts.am ik o m . a c . i d   /  e li x ro p a s@ g m a il . c o m         Pra m o n o ,   b o r n   in   Bo y o lali ,   Ja w a   Ten g a h ,   I n d o n e sia   2 3   J u li   1 9 8 6 ,   h e   H o ld s   a   Ba c h e l o r  o f   In fo rm a ti c s  (S . K o m )  F r o m   S T M I K  DU TA  BAN G S A  S u ra k a rta  in   2 0 1 2 .   C u rre n tl y   t h e   a u th o r   is  c a rry in g   o u t  stu d ies   in   t h e   field   o f  M a g ister  o f  In fo rm a t ics ,   Un iv e rsitas   AMIKOM   Yo g y a k a rta .   E m a il   a d d re ss :   p ra m o n o . 2 3 @s t u d e n ts.am ik o m . a c . id   o r  p ra m o n o 2 3 0 7 @g m a il . c o m         K u sr in i   is  a n   a ss o c iate   p r o fe ss o r  fr o m   Un i v e rsitas   AMIKOM   Yo g y a k a rta  In d o n e sia .   S h e   fin ish e d   h e r  d o c t o ra l  p r o g ra m   fro m   Un iv e rsitas   G a d jah   M a d a   Y o g y a k a rta  In d o n e sia   in   2 0 1 0 .   S h e   is  in tere ste d   in   e x p lo ri n g   m a n y   th in g s  a b o u t  m a c h in e   lea rn in g   a n d   o t h e r  a rti ficia l   in t e ll i g e n c e   field .   S h e   a lso   l o v e s i n   d o i n g   re se a rc h   a b o u t  d e c isio n   s u p p o rt   sy ste m   a n d   d a tab a se .   S h e   is me m b e r  o f  t h e   IEE E   a n d   I EE E  S y ste m s,  M a n ,   a n d   C y b e rn e t ics   S o c iety     Evaluation Warning : The document was created with Spire.PDF for Python.