T E L K O M N I K T elec o m m un ica t io n,  Co m pu t ing ,   E lect ro nics   a nd   Co ntr o l   Vo l.   19 ,   No .   1 Feb r u ar y   2 0 2 1 ,   p p .   1 4 6 ~ 1 5 4   I SS N:  1 6 9 3 - 6 9 3 0 ,   ac cr ed ited   First Gr ad b y   Kem en r is tek d i k ti,  Dec r ee   No : 2 1 /E/KPT /2 0 1 8   DOI : 1 0 . 1 2 9 2 8 /TE L KOM NI K A. v 1 9 i1 . 1 7 4 1 7     146       J o ur na l ho m ep a g e h ttp : //jo u r n a l.u a d . a c. id /in d e x . p h p /TELK OM N I K A   Sentimen ts ana ly sis  of customer  sa tisfaction  in  publi c services   using   K - nea rest  n eig hbo rs  a lg o rithm and  na tural la ng ua g pro cess ing   a ppro a ch       E lik   H a ri  M uk t a f in P ra m o n o K us rini   M a g ister o I n fo rm a ti c s,  Un iv e rsi tas   AMIKOM   Yo g y a k a rta ,   In d o n e sia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u l 2 2 ,   2 0 2 0   R ev is ed   Au g   7 ,   2 0 2 0   Acc ep ted   Sep   5 ,   2 0 2 0       Cu sto m e sa ti sfa c ti o n   is   v e ry   imp o rtan f o p u b li c   se rv ice   p r o v id e rs ,   c u sto m e sa ti sfa c ti o n   c a n   b e   d e li v e re d   wit h   a   su rv e y   a p p l ica ti o n   o r   writi n g   c ri ti c ism   th a t   c a n   b e   u se d   t o   e v a lu a te  a n d   imp r o v e   se rv ice Un f o rtu n a tely ,   th e re   a re   o n ly   a   fe c u sto m e rs  wh o   a re   will in g   to   g iv e   a n   a ss e ss m e n t Th e   su rv e y   a p p li c a ti o n   c a n n o re p re se n th e   o v e ra ll   fe e l in g   o t h e   c u sto m e r,   s o   i t   is  n e c e ss a ry   to   a n a ly z e   th e   c o n te n o f   th e   c o n v e rsa ti o n   b e twe e n   t h e   c u st o m e a n d   th e   se rv ice   p e rso n n e to   d e term in e   th e   le v e o c u sto m e sa ti sfa c ti o n .   I n   sm a ll   a m o u n ts ,   it   c a n   b e   d o n e   m a n u a ll y ,   b u i n   lar g e   q u a n ti ti e i is  m o re   e ffe c ti v e   to   u se   th e   sy s tem .   so lu ti o n   is  n e e d e d   i n   th e   fo rm   o a   sy ste m   th a c o n v e rts  v o ice   c o n v e rsa ti o n i n to   tex a n d   a n a ly z e c u sto m e sa ti sfa c ti o n   to   o b tai n   in fo rm a ti o n   f o e v a lu a ti o n   a n d   imp ro v e m e n o f   se rv ice s.   T h is  re se a rc h   u se K - n e a re st  n e ig h b o rs   (KN N)   a n d   term   fre q u e n cy - i n v e rse   d o c u m e n t   fre q u e n c y   ( TF - IDF )   a l g o ri th m   wit h   n a tu ra lan g u a g e   p r o c e ss in g   ( NLP )   a p p r o a c h   to   c las sify   c o n v e rsa ti o n s   in to   2   c las se s,  " sa ti sfie d "   a n d   "   d issa ti sfie d   ".   Th e   re su lt s   o th is  stu d y   re c e iv e d   7 4 . 0 0 %   a c c u ra c y ,   7 6 . 0 0 %   p re c isio n   a n d   7 3 . 0 8 %   re c a ll .   In   c o n v e rsa ti o n wi th   t h e   lab e " sa ti sfie d "   sh o ws   c u sto m e rs  sa ti sfie d   with   th e   se rv ice   a n d   fu lfi ll m e n o f   c u sto m e d e sire s,  wh il e   in   c o n v e rsa ti o n wit h   t h e   lab e " n o sa ti sfie d "   c u st o m e rs are   les s sa ti sfie d   with   t h e   wa it in g   ti m e .   K ey w o r d s :   K - n ea r est n eig h b o r s     Natu r al  lan g u ag e   p r o ce s s in g     Pu b lic  s er v ice   Sen tim en t a n aly s is   Sp ee ch   r ec o g n itio n   s y s tem   T h is i a n   o p e n   a c c e ss   a rticle   u n d e th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E lik   Har i M u k taf in   Ma g is ter   o f   I n f o r m atics    Un iv er s itas   AM I KOM   Yo g y ak ar ta   R in g   R o ad   Utar St.,   Ng r in g in ,   C o n d o n g ca tu r ,   Dis tr ict.   Dep o k ,   Slem an   R eg en c y   Sp ec ial  R eg io n   o f   Yo g y ak ar ta   5 5 2 8 1 ,   I n d o n esia   E m ail:  elix r o p as@ g m ail. co m       1.   I NT RO D UCT I O N   Pu b lic  s atis f ac tio n   is   d eter m in in g   f ac to r   in   th q u ality   o f   p u b lic  s er v ices,  s o   ev er y   o r g an iz atio n   th at  p r o v id es  p u b lic  s er v ices  is   ex p ec ted   to   b a b le  to   p r o v i d s atis f ac tio n   to   cu s to m er s   [ 1 ] T o   f in d   o u cu s to m e r   s atis f ac tio n ,   th r ig h m ea s u r in g   in s tr u m en is   n ee d ed   [ 2 ] C u s to m er   s atis f ac tio n   is   u s u ally   m ea s u r ed   b y   a   s u r v ey   ap p licatio n   o r   cr itical  wr itin g   th at  ca n   b u s ed   to   ev a lu ate  an d   im p r o v s er v ice.   Un f o r tu n ately ,   t h er ar e   o n ly   f ew  cu s to m er s   wh o   ar willin g   to   g iv an   ass es s m en t.   L o co n d itio n s   o f   p u b lic  s er v ices  ar ch ar ac ter ized   b y   p u b lic  s er v ices  th at  ar n o tr an s p a r en t,   d is cr im in ato r y ,   co m p licated ,   an d   c o r r u p t.   T h e   ap p licatio n   o f   p u b lic  s er v ic p o licy   in n o v atio n s   b ec o m es a   n ec ess ity   in   r ea lizin g   q u ality   p u b lic  s er v ices   [ 3 ] .   T h s u r v ey   ap p licatio n   ca n n o t   r ep r esen t th e   o v e r all  f ee lin g   o f   th e   cu s to m er ,   it is   n ec ess ar y   to   an aly ze   th co n te n ts   o f   th c o n v e r s atio n   b etwe en   th e   cu s to m er   an d   th s er v ice   p er s o n n el  t o   d eter m in th e   lev el   o f   cu s to m er   s atis f ac tio n   an d   ab s o r b   an d   u n d er s tan d   c u s to m er   d esire s   [ 4 ] An o th er   p u r p o s is   to   p r ev en Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   147   d is cr im in ato r y   o r   co r r u p p r ac tices  in   th d eliv er y   o f   s er v ic es,  s o   th at  th e y   ca n   d eliv er   s e r v ices  th at  ar e   f air ,   d em o cr atic  an d   f r ie n d ly   [ 5 ] A n aly s is   o f   s er v ice  co n v er s atio n s   in   s m all  am o u n ts   ca n   b d o n m an u ally ,   b u in   it is   m o r ef f ec tiv to   u s th s y s tem   in   lar g q u an titi es.     R esear ch er s   h av d e v elo p e d   p r o d u ct  ca lled   " K a ta   K ita wh ich   s er v es  to   s u p p o r p u b li s er v ices.  " K a ta   K ita h as th e   f ea tu r e   o f   tr an s latin g   co n v er s atio n s   in to   tex t a n d   d is p lay in g   th e m   o n   t h s cr ee n   t o   h el p   th e   d ea f   u n d er s tan d   s er v ice  p er s o n n el  an d   s en tim en an al y s is   f ea tu r es  to   ass ess   cu s to m er   s atis f ac tio n   f r o m   th e   co n v er s atio n .   Sen tim en An al y s is   is   u s ed   to   f in d   o u th o p i n io n   ab o u to p ic  wh ich   is   as  p o s itiv e,   n eg ativ e,   an d   n eu tr al  s en tim en ts   [ 6 ] .   T h p u r p o s o f   th is   s tu d y   is   to   ex am in th ef f ec tiv en ess   o f   " K a ta   K ita to   co n d u ct   s en tim en t a n aly s is   o n   p u b lic  s er v ice  co n v er s atio n s   in   o n o f   th h o s p itals   in   Yo g y a k ar ta,   I n d o n esia.   C o n v er s atio n s   ar r ec o r d ed   a n d   co n v e r ted   to   tex u s in g   Sp ee ch   R ec o g n itio n   Sy s tem   tech n o lo g y .   Sp ee ch   r ec o g n itio n   s y s tem   is   th p r o ce s s   o f   co n v er tin g   s p ee c h   s ig n als  in to   wo r d   s eq u en ce s   u s in g   an   alg o r ith m   im p lem en ted   as  co m p u ter   p r o g r am   [ 7 ] T h te x o f   th co n v er s atio n   is   p r o ce s s ed   u s in g   m ac h in lear n in g   to   b lab eled   au to m atica lly   with o u th n ee d   to   wait  f o r   in p u f r o m   cu s to m er s ,   s o   th at  th p r o ce s s   o f   ev alu atin g   an d   im p r o v in g   s er v ices c an   r u n   ef f ec tiv ely .   Pre v io u s   r esear ch   b y   L u tf a n d   Per m atasar [ 8 ]   an aly ze d   th m ar k etp lace   to   f in d   o u p o s itiv o r   n eg ativ u s er   s en tim en t   with   an   ap p r o a c h   u tili zin g   s u p p o r t   v ec to r   m ac h in e   with   a n   ac c u r ac y   o f   9 3 . 4 2 %.  I n   a   s tu d y   co n d u cted   b y   Ak h m ad   Dev iy an to   an d   W ah y u d [ 9 ]   p r esen ted   s en tim en an aly s is   o f   o p i n io n   d ata  o n   T witter   u s er   s en tim en an aly s is   o n   th t o p ic  o f   lo ca elec ti o n s   in   th e   J ak ar ta  o f   I n d o n esia  in   2 0 1 7   with   an   ac cu r ac y   o f   6 7 . 2 %.  I n   a n o th er   s tu d y   b y   No r m an   Ken d al  [ 1 0 ]   s h o wed   th u s o f   n atu r al  la n g u ag p r o ce s s in g   ( NL P)  ca n   im p r o v th e   p r ed ict io n   o f   f ash io n   p r o d u ct  ca teg o r ies o r   s u b   ca teg o r ies o f   p r o d u c t titles .   T h p u r p o s o f   t h is   s tu d y   is   t o   an aly ze   th s en tim en ts   o f   p u b lic  s er v ice  c o n v er s atio n   in   o n o f   th e   h o s p itals   in   Yo g y a k ar ta,   I n d o n esia  u s in g   th u s es  K - n ea r es n eig h b o r s   ( KNN)   alg o r ith m   b y   weig h tin g   ter m   f r eq u e n cy - in v er s d o c u m en f r eq u en c y   ( T F - I DF) ,   an d   c lass if y   in to   two   class es  " s ati s f ied an d   " d is s atis f ied ".   T h en   f in d   o u attr ib u tes  wh ic h   ar th f o cu s ed   o f   " s atis f ied an d   " d is s atis f ied ass e s s m en ts ,   s o   th at  s er v ice   p r o v id e r s   ca n   p r o p er l y   e v alu at an d   im p r o v e   th e   s y s tem   [ 1 1 ] .   Ma ch in e   lear n in g   is   an   ef f ic ien way   t o   e x tr ac k n o wled g e   f r o m   la r g am o u n t s   o f   d ata  [ 1 2 ] .   T h e   p r o b lem   in   an aly zin g   p u b lic  s er v ice  c o n v e r s atio n s   is   th lar g n u m b er   o f   n o n - s tan d ar d   wo r d s   th at  ar d if f icu lt  to   u n d er s tan d   b y   th s y s tem .   T h e   NL ap p r o ac h   is   n ee d ed   t o   im p r o v th la n g u a g o f   th e   c o n v er s atio n   s o   th at  it  is   m o r ea s ily   u n d er s to o d   b y   th s y s tem .   W ith o u NL P,  m ac h in lear n in g   ca n n o t m a k e   m ea n in g f u l p r o g r ess   [ 1 3 ] .       2.   RE S E ARCH   M E T H O D   T h f lo o f   r esear ch   s en tim en an aly s is   o f   co n v er s atio n s   in   p u b lic  s er v ices  u s in g   th e   KNN  an d     TF - ID F   alg o r ith m   b y   u s in g   th NL ap p r o ac h   is   ex p lain e d   in   Fig u r e   1 .   Th e   in itial  s tep   o f   th s tu d y   was   th e   co llectio n   o f   r ec o r d ed   c o n v e r s atio n s   o f   f r o n d esk   s er v ices a t o n o f   th h o s p itals   in   Yo g y a k ar ta,   I n d o n esia o n   J u ly   1 3 ,   2 0 2 0 .   C o n v er s atio n   r ec o r d i n g s   wer e   co n v er ted   in t o   tex u s in g   th e   " K a ta   K ita ap p licatio n   with   t h s p ee ch   r ec o g n itio n   s y s te m   f r o m   Go o g le  s p ee c h - to - tex t   [ 1 4 ] .   T h n ex s tep ,   tex was   s to r ed   in   My SQL   d atab ase  s o   th at  it  is   ea s ily   m an ag ed   [ 1 5 ] .   T h e   wo r k f lo w   o f   th e   s p ee ch   to   tex s y s tem   in   th " K a ta   K ita   ap p licatio n   is   ex p lain e d   in   Fig u r 2 .           Fig u r e   1 .   R esear ch   s tag es   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   148       Fig u r e   2 T h p r o ce s s   o f   ch an g in g   th v o ice  o f   co n v er s atio n   in to   tex t       T h n ex t   s tep ,   co n v er s atio n   t ex was  th en   p u r ch ased   m an u ally   b y   t h r ee   r esp o n d e n ts ,   co n s is tin g   o f   cu s to m er s ,   p u b lic  r elatio n s   an d   m ed ical  s tu d en ts .   T h e   d ataset  o f   2 5 0   co n v er s atio n s   was   lab eled   in   two   class e s ,   " s atis f ied an d   " d is s atis f ied ".   T h last   s tep ,   d ataset  is   s u b j ec ted   to   p r ep r o ce s s in g   p r o c ess   u s in g   th NL P   ap p r o ac h .   Pre p r o ce s s in g   d ata  is   th p r o ce s s   o f   clea n in g   an d   p r ep ar in g   d ata  f o r   an aly s is   [ 1 6 ] .   T h p u r p o s o f   p r ep r o ce s s in g   is   to   co r r ec th e   lan g u ag i n   th co n v er s atio n ,   b ec au s in   th co n v er s atio n   f o u n d   m an y   u s es  o f   non - s tan d a r d   wo r d s   an d   lo ca lan g u ag es.   I n   th ca s o f   tex t   class if icatio n ,   m an y   p r ep r o ce s s in g   tech n iq u es c an   b u s ed   [ 1 7 ] .   T h wo r k f lo o f   th p r ep r o ce s s in g   s tag with   t h NL P a p p r o ac h   is   ex p lain e d   in   Fig u r 3 .           Fig u r 3 .   T h p r e p r o ce s s in g   s t ag u s es th NL P a p p r o ac h       NL is   b r eak th r o u g h   in   tr an s cen d in g   la n g u ag b ar r ier s   [ 1 6 ] .   NL is   b r an ch   o f   Ar tific ia I n tellig en ce   th at fo cu s es   o n   p r o cess in g   n at u r al l an g u a g e eff ectiv ely   an d   accu r ately   as  h u m an s   d o   [ 1 8 ] T h e   NL f eatu r es  u s ed   i n   th is   s tu d y   ar e a s   f o ll o ws   :     L o wer ca s f o ld in g   L o wer ca s e   f o ld i n g   is   c h an g i n g   all  to k en s   to   lo wer ca s lette r s   [ 1 9 ] .     C o n v e r s atio n   S ela m a p a g ka a d a   ya n g   b is a   d ib a n tu   will  b ch an g e d   to   s ela ma p a g ka a d a   ya n g   b is a   d ib a n tu alp h ab et  S   in   th e   f o r m   o f   ca p ital is ch an g ed   in to s   in   s m all  f o r m .     W o r d   n o r m alize r   T h wo r d   n o r m alize r   f ea tu r e   is   u s ed   to   co r r ec wo r d s   in   s en ten ce s ,   s o   th at   g o o d   an d   co r r ec s en ten ce   is   p r o d u ce d   ac co r d i n g   to   g r a m m ar   r u les   [ 2 0 ] C o n v er s atio n   s ela ma p a g k a a d a   ya n g   b is a   d ib a n tu   th e n   af ter   th W o r d   No r m alize r   p r o ce s s   b ec o m es  s a la ka ka a d a   ya n g   b is a   d ib a n t u T er m   s ela ma p a g i ”  ch an g ed   in to   s a la m ”  an d   ter m   ka k ”  ch a n g ed   i n to   ka k a k .     Stem m in g   T h s tem m in g   f ea tu r f u n ctio n s   is   to   r ed u ce   wo r d s   to   b asic  wo r d s   b y   elim in atin g   th af f i x es  th at  ex is t   in   th o s wo r d s   [ 2 1 ] Fo r   ex am p le ,   s en ten ce s   s a la ka ka a d a   ya n g   b is a   d ib a n tu ”  c h an g e d   in to   s a la ka k a k   ada   ya n g   b is a   b a n tu ,   ter m   d ib a n tu ”  c h an g e d   to   b asic w o r d s   b a n tu ”.     Sto p wo r d   r em o v al   T h s to p wo r d   r em o v al  f ea tu r wo r k s   to   elim in ate  wo r d s   th at  o f ten   ap p ea r   in   n atu r al  lan g u ag b u h av e   v er y   litt le  m ea n in g   [ 2 2 ] .   Fo r   ex am p le  s en ten ce s   s a la ka ka a d a   ya n g   b is a   b a n tu ”  ch an g ed   in to   s a la m   ka ka b is a   b a n tu ,   ter m   a d a ”  an d   ya n g ”  r e m o v e d .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   149   T er m   f r eq u en cy   is   m eth o d   f o r   f in d in g   th weig h o f   d o cu m en b y   lo o k in g   f o r   th n u m b er   o f   o cc u r r e n ce s   o f   ter m s   in   t h d o cu m en t.  T h e   m o r e   o f ten   th ter m   ap p ea r s ,   it  will  af f ec th e   am o u n o f   weig h an d   th s u itab ilit y   v alu o f   th d o cu m en t.   I n v e r s Do cu m en Fre q u en cy   is   m eth o d   f o r   ca lcu la tin g   th d is tr ib u tio n   o f   ter m s   in   a   d o cu m e n t   [ 2 3 ] T h T F - I DF m eth o d   allo ws  d o cu m en ts   to   b e   class if ied   in to   two   class es  ( p o s itiv an d   n e g ativ e)   [ 2 4 ] TF - I DF c alcu latio n   u s in g   ( 1 ) .     , =  ,   × log   (  )                  ( 1 )     ,   is   th weig h o f   t h ter m   ( t y of   do c u m en t   ( d x ) .   W h ile    ,   is   th n u m b e r   o f   o cc u r r en ce s   of   te r m   ( t y in   do c u m e n t   ( d x ) .   is   th n u m b er   o f   d o cu m en ts   in   th d atab a s an d   df x   is   th n u m b e r   o f   d o cu m en ts   co n tain in g   th ter m   ( t y ) t h er is   at  least o n wo r d ,   ter m   ( t y ).       3.   RE SU L T A ND  AN AL Y SI S   3 . 1 .     Serv ice  c o nv er s a t io t e x t   C o n v er s atio n   tex t u s ed   is   o b ta in ed   f r o m   th ac tiv ity   o f   ch an g in g   co n v er s atio n s   in to   tex t.   T h is   s er v ice  co n v er s atio n   was  tak en   in   J u l y   2 0 2 0   at  h o s p ital  in   Yo g y a k ar ta,   I n d o n esia.   E x am p les  o f   co n v er s atio n s   ar e   s h o wn   in   T ab le   1 .   B ased   o n   T a b le  1 ,   C u s to m er - 1   was   r ed ee m in g   d r u g s   at  th h o s p ital  p h ar m ac y   an d   is   s atis f ied   with   th s er v ice   h e   r ec eiv e d .   C u s to m er - 2   was   p ay i n g   m e d ical  ex p e n s es  at  th e   ca s h ier ,   b u t   h e   h a d   b ee n   tr an s f er r ed   to   an o t h er   ca s h ier   f o r   u s in g   B a d a n   P en ye len g g a r a   Ja min a n   S o s ia K eten a g a ke r j a a n   ( B PJ S )   with o u t   s ay in g   an   ap o lo g y ,   s o   th c u s t o m er   f elt   d is s atis f ied .   C u s t o m er - 3   was   talk in g   to   d o cto r s   with   m ix tu r o f   J av an ese  wo r d s   ab o u th p r o ce s s   o f   r ec o v er in g   h an d s ,   a n d   f ee lin g   s atis f ied   with   th s er v ices  p r o v id ed .   C u s to m er - 4   was   d is s atis f ied   w h en   h was   in   q u eu p o s i tio n ,   an d   h m u s t   leav th h o s p ital  tem p o r ar ily ,   w h ile  th q u e u o r d er   will   r etu r n   f r o m   th b eg in n in g   i f   th e   cu s to m er   d id   n o t   r etu r n   wh e n   h was  ca lled .   C u s to m er - was  in   ch ild ' s   p o ly   f o r   im m u n izin g   h is   ch ild   an d   h was  f ee lin g   s atis f ied   b ec au s th d o cto r   ca n   ca lm   th cu s to m er .   I n f o r m atio n   f r o m   th is   co n v er s atio n   ca n   b p r o ce s s ed   to   b a   f u tu r im p r o v em en t .       T ab le  1 .   E x am p le  co n v er s atio n   No   C u s t o mer   C o n v e r sa t i o n   La b e l   1   C u s t o mer - 1   Assa l a m u a l a i k u m   a d a   y a n g   b i s a   sa y a   b a n t u   k a k   s a y a   i n g i n   m e n e b u s   res e p   i n i   m b a k   s i l a h k a n   d u d u k   d u l u   k a k   s a y a   a k a n   m e n y i a p k a n n y a   i n i   o b a t n y a   k a k   y a n g   t a b l e t   h i j a u   d i m i n u m   4 5   m e n i t   seb e l u m   m a k a n   t i g a   k a l i   s e h a r i   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a s i n g   sa t u   s e t e l a h   m a k a n   t i g a   k a l i   se h a ri   a d a   y a n g   b i s a   d i b a n t u   l a g i   k a k   t i d a k   t e ri m a   k a s i h   m b a k   S a t i sf i e d   2   C u s t o mer - 2   P e rm i s i   b u   sa y a   i n g i n   m e l a k u k a n   p e m b a y a r a n   a t a n a m a   w i n d a ri   i b u   m e n g g u n a k a n   b p j k e se h a t a n   a t a u   re g u l e r   b u   p a k a i   b p j s   b u   u n t u k   b p j s k e se h a t a n   b i s a   d i l a y a n i   d i   k a si se b e l a h   y a   b u   si n i   k h u s u s   y a n g   r e g u l e r   D i ssat i sf i e d   3   C u s t o mer - 3   G i m a n a   t a n g a n   sa y a   d o k   t a n g a n   s a m p e a n   su d a h   m e m b a i k   p a k   k a p a n   b i s a   l e p a g i p n y a   d o k   g i p d a p a t   d i l e p a s s e k i t a d u a   m i n g g u   l a g i   p a k   b a p a k   d i b a n y a k i n   m a k a n   i k a n   i k a n a n   y a   p a k   b i a c e p e t   p u l i h   t a n g a n n y a   s i a p   d o k   t e ri m a   k a si h   S a t i sf i e d   4   C u s t o mer - 4   Pa k   i y a   m b a k   a n t r i a n n y a   k a n   m a si h   l a m a   k a l o   s a y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   m b a k   t a p i   n a n t i   k a l o   t i b a   u r u t a n   m b a k n y a   g a k   a d a   n a n t i   h a r u s m e n g u l a n g   d a ri   a w a l   y a   m b a k   k o k   g i t u   p a k   h a r u s n y a   k a l o   k e l e w a t   y a   d i s u su l k a n   s a j a   t o   p a k   m a a f   m b a k   t i d a k   b i s a   D i ssat i sf i e d   5   C u s t o mer - 5   S i a n g   b u n d a   b e n a a d e k n y a   b e r n a m a   f a h m i   b e n a d o k   u n t u k   i m u n i sa s i   y a   i y a   d o k   a p a k a h   n a n t i   b a d a n y a   p a n a s   d o k   b u n d a   g a k   p e rl u   k a w a t i n a n t i   p a n a s n y a   c u m a n   se b e n t a r k o k   b i s a   d i k o m p res   b i a r   c e p e t   re d a   p a n a s n y a   t e ri m a   k a si h   d o k   S a t i sf i e d       3 . 2 .     Co nv er s a t io a na ly s is   T h d ata  u s ed   2 5 0   c o n v e r s atio n s ,   wh ich   wer e   lab eled   b y   3   co r r esp o n d en ts   an d   r esu lt ed   in   1 2 5   " s atis f ied co n v er s atio n s   an d   1 2 5   " d is s atis f ied co n v er s atio n s .   T h c o n v e r s atio n   is   m ad e   i n to   d ataset  with   co m p o s itio n   o f   2 0 0   tr ain i n g   d ata  an d   5 0   test in g   d ata,   th e n   p r ep r o ce s s in g   u s in g   th NL ap p r o ac h .   At  th e   p r ep r o ce s s in g   s tag th wo r d   n o r m alize r ,   s tem m in g   an d   s to p wo r d   r em o v al  f ea tu r es  ar ap p lied   f o r   ea ch   co n v er s atio n .   T ex n o r m aliza tio n   is   ch allen g to   f in d   th s am wo r d s   with   d if f er en wo r d   v a r iatio n s   [ 2 5 ] .   W o r d   n o r m alize r   ca n   h an d le  v a r iatio n s   o f   wr itin g   wo r d s   w h ich   h av th s am e   m ea n in g   s o   th at   th ey   ar e   co u n ted   as  s in g le  ter m   in   t h ca lcu latio n   o f   th e   T F - I DF  al g o r ith m .   E x a m p les  o f   v ar iatio n s   in   wr itin g   wo r d s   wh ich   h av e   th s am m ea n in g   ar s h o wn   i n   T ab le  2 .   I n   T ab le  2   s h o ws  v ar i atio n s   o f   wo r d s   wh ich   h av e   th s am m ea n in g .   T er m   pak ,   bu ,   d o k ,   ka k ,   d ik ,   ma s   an d   mb a k   u s ed   to   r ef er   th o t h er   p er s o n ,   s o   th at  it  ca n   b r ep lace d   with   ter m   s o d a r a ”.   T er m   s ela ma s o r e ,   s ela ma s ia n g   an d   a s s a la mu a la iku m   u s ed   t o   g i v e   g r ee tin g s   s o   th at  it c an   b r ep l ac ed   with   ter m   s a la m ”.     T h n ex t stag is   th p r o ce s s   o f   s tem m in g ,   to   elim in ate  th p r ef ix es,  in s er ts   an d   wo r d   s u f f ix es so   th at   it b ec o m es th b asic f o r m Ste m m in g   is   an   im p o r tan t te ch n i q u in   NL P f o r   ef f icien t   an d   ef f ec tiv in f o r m atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   150   r etr iev al   [ 2 6 ] An   ex a m p le  o f   s tem m in g   ap p licatio n   is   s h o wn   in   T ab le  3 .   I n   T a b le  3   ter m s   d ip eriks a d ip eriks a ka n ”  d an   mem eriks a ”  o m itted   p r ef ix es,  i n s er ts   an d   en d in g s   will  b t h s am e   b asic  ter m   is   p eriks a ”.   T er m s   men g a n t a r   an d   d ia n ta r ”  af ter   g o in g   th r o u g h   th e   s tem m in g   p r o ce s s ,   it  b ec o m es  t h s am b asic  ter m   is   a n ta r ”.   Stem m in g   m ak es a   wo r d   in to   its   b asic f o r m   an d   b ec o m es th s am ter m .       T ab le   2 .   Var iatio n s   o f   wo r d s   with   th s am m ea n in g   No   Te r m   on   c o n v e r s a t i o n   W o r d   n o r ma l i z e r   r e s u l t s   1   Pa k   sa u d a ra   2   Bu   sa u d a ra   3   D o k   sa u d a ra   4   K a k   sa u d a ra   5   D i k   sa u d a ra   6   Ma s   sa u d a ra   7   Mb a k   sa u d a ra   8   S e l a m a t   S o re   sa l a m   9   S e l a m a t   S i a n g   sa l a m   10   Assa l a m u a l a i k u m   sa l a m       T ab le   3 .   T h r esu lts   o f   ap p ly in g   s tem m in g   No   Te r m   o n   c o n v e r s a t i o n   S t e mm i n g   r e s u l t s   1   D i p e r i k s a   p e r i k s a   2   D i p e r i k s a k a n   p e r i k s a   3   Me m e r i k s a   p e r i k s a   4   Me n g a n t a r   a n t a r   5   D i a n t a r   a n t a r   6   D i a m b i l   a m b i l   7   Me n g a m b i l   a m b i l   8   D i t u n g g u   t u n g g u   9   Me n u n g g u   t u n g g u   10   m e n d a f t a r   d a f t a r       T h n e x s tep   is   th e   s to p wo r d   r em o v al  p r o ce s s   to   r em o v e   t h s to p wo r d   f r o m   th c o n v e r s atio n .   T h e   s to p wo r d   lis wh ich   is   u s ed   is   m ad b y   its elf ,   r e f er s   to   th c o n tex o f   w o r d s   wh ich   a r o f t en   u s ed   in   h o s p ital  s er v ices  an d   n u m b er s .   Nu m b e r   h av n o   ef f ec o n   s e n tim en an aly s is ,   an d   r em o v in g   th em   c an   r ed u ce   n o is an d   in cr ea s ef f icien c y   [ 2 7 ] .   An   e x am p le  o f   a   s to p wo r d   lis u s e d   is   s h o wn   in   T ab le   4 .   C an   b e   s ee n   in   T ab le   4 ,   th e   ter m   " ya n g is   o n o f   th m o s f r eq u en tly   s to p p ed wo r d   lis ts ,   wh ic h   is   2 0 4   tim es,  an d   th ter m   " di wh ich   ap p ea r s   1 0 1   tim es.   Sto p wo r d s   ca n   b r e m o v e d   b ec a u s th ey   u s u ally   a p p ea r   in   lar g n u m b er s   an d   d o   n o t   h av e   m ea n in g   as  s in g le  ter m .   T h o v er all   r esu lts   o f   t h p r ep r o ce s s in g   p r o ce s s   ca n   b s ee n   in   T ab le   5 .   T ab le  5   s h o ws  co n v er s atio n s   wh ich   h av p ass ed   p r ep r o ce s s in g   u s in g   th NL ap p r o ac h   with   t h wo r d   n o r m alize ,   s tem m in g   an d   s to p wo r d   r em o v al  f ea tu r es.   On in d icato r   o f   s atis f ied   cu s to m er s   is   to   s ay   " t erima   ka s ih at  th e   en d   o f   th c o n v e r s atio n   wh ich   in d icate s   th at  cu s to m er s   f ee h elp ed   an d   ar s atis f ied   with   th s er v ices  p r o v i d ed .   I n   co n v er s atio n   n u m b er   2 ,   th er is   m is tak e   o f   th c u s to m er   b ec a u s o f   th e   wr o n g   c h o ice  o f   th ca s h ier ,   b u cu s to m e r s   d is ap p o in ted   ca u s e   is   th at  n o   wo r d s   o f   f o r g iv en ess   m ak c u s to m er s   f ee co m f o r ta b le.   Ap o lo g y   d ea ls   with   t h r elatio n s h ip   b etwe en   in d iv i d u als  in v o lv ed   i n   th e   wr o n g   s itu atio n   [ 2 8 ] T h e   ch o ice   an d   wo r d   u s ag e   in   p u b lic  s er v ices  af f ec th lev el  o f   c u s to m er   s atis f ac tio n ,   alth o u g h   s er v ice  p er s o n n el  m u s b s tr ict  with   th r u les,  with   th r ig h t c h o ice  o f   w o r d s   ca n   m ain tain   c u s to m er   f ee lin g s .       T ab le   4.   E x am p le  s to p wo r d   lis t   No   S t o p w o r d   l i s t   F r e q u e n c y   o f   a p p e a r a n c e   1   y a n g   2 0 4   2   di   10 1   3   t a p i   9 2   4   d a n   7 3   5   ya   6 1   6   j u g a   6 0   7   j a d i   3 6   8   u n t u k   3 0   9   d e n g a n   3 0   10   ke   2 3         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   151   T ab le  5.   Pre p r o ce s s in g   r esu lts   No   C o n v e r sa t i o n   P r e p r o c e ss i n g   r e su l t s   W o r d   N o r ma l i z e r   S t e mm i n g   S t o p w o r d   R e m o v a l   1   Assa l a m u a l a i k u m   a d a   y a n g   b i s a   s a y a   b a n t u   k a k   sa y a   i n g i n   m e n e b u s   r e se p   i n i   m b a k   si l a h k a n   d u d u k   d u l u   k a k   s a y a   a k a n   m e n y i a p k a n n y a   i n i   o b a t n y a   k a k   y a n g   t a b l e t   h i j a u   d i m i n u m   4 5   m e n i t   se b e l u m   m a k a n   t i g a   k a l i   se h a r i   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a si n g   sa t u   se t e l a h   m a k a n   t i g a   k a l i   s e h a r i   a d a   y a n g   b i s a   d i b a n t u   l a g i   k a k   t i d a k   t e ri m a   k a s i h   m b a k   sa l a m   a d a   y a n g   b i s a   s a y a   b a n t u   o b j e k   s a y a   i n g i n   m e n e b u s   r e se p   i n i   o b j e k   si l a h k a n   d u d u k   d u l u   o b j e k   s a y a   a k a n   m e n y i a p k a n n y a   i n i   o b a t n y a   o b j e k   y a n g   t a b l e t   h i j a u   d i m i n u m   4 5   m e n i t   se b e l u m   m a k a n   t i g a   k a l i   se h a r i   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a si n g   sa t u   se t e l a h   m a k a n   t i g a   k a l i   s e h a r i   a d a   y a n g   b i s a   d i b a n t u   l a g i   o b j e k   t i d a k   t e r i m a   k a s i h   o b j e k   sa l a m   a d a   y a n g   b i s a   s a y a   b a n t u   o b j e k   s a y a   i n g i n   t e b u rese p   i n i   o b j e k   si l a h   d u d u k   d u l u   o b j e k   sa y a   a k a n   si a p   i n i   o b a t   o b j e k   y a n g   t a b l e t   h i j a u   m i n u m   4 5   m e n i t   b e l u m   m a k a n   t i g a   k a l i   h a ri   y a n g   k a p su l   b i r u   d a n   p u t i h   m a si n g   m a si n g   sa t u   t e l a h   m a k a n   t i g a   k a l i   h a ri   a d a   y a n g   b i sa   b a n t u   l a g i   o b j e k   t i d a k   t e ri m a   k a si h   o b j e k   sa l a m   a d a   b i sa   sa y a   b a n t u   o b j e k   s a y a   t e b u s   res e p   o b j e k   si l a h   d u d u k   o b j e k   sa y a   s i a p   o b a t   o b j e k   t a b l e t   h i j a u   m i n u m   b e l u m   m a k a n   k a p su l   b i r u   p u t i h   m a k a n   a d a   b i s a   b a n t u   o b j e k   t i d a k   t e ri m a   k a s i h   o b j e k   2   P e rm i s i   b u   sa y a   i n g i n   m e l a k u k a n   p e m b a y a r a n   a t a s   n a m a   w i n d a r i   i b u   m e n g g u n a k a n   b p j s   k e s e h a t a n   a t a u   re g u l e b u   p a k a i   b p j b u   u n t u k   b p j k e s e h a t a n   b i s a   d i l a y a n i   d i   k a s i r s e b e l a h   y a   b u   si n i   k h u su s y a n g   re g u l e r   sa l a m   o b j e k   s a y a   i n g i n   m e l a k u k a n   p e m b a y a r a n   a t a s   n a m a   w i n d a r i   o b j e k   m e n g g u n a k a n   b p j s   k e s e h a t a n   a t a u   re g u l e o b j e k   p a k a i   b p j o b j e k   u n t u k   b p j k e s e h a t a n   b i s a   d i l a y a n i   d i   k a s i r s e b e l a h   y a   o b j e k   si n i   k h u su s   y a n g   re g u l e r   sa l a m   o b j e k   s a y a   i n g i n   l a k u   b a y a r   a t a n a m a   w i n d a r i   o b j e k   g u n a   b p j s s e h a t   a t a u   reg u l e o b j e k   p a k a i   b p j o b j e k   u n t u k   b p j s s e h a t   b i s a   l a y a n   d i   k a si r   b e l a h   y a   o b j e k   si n i   k h u su s y a n g   re g u l e r   sa l a m   o b j e k   s a y a   l a k u   b a y a r   n a m a   w i n d a ri   o b j e k   g u n a   b p j s s e h a t   reg u l e o b j e k   p a k a i   b p j o b j e k   b p j s s e h a t   b i s a   l a y a n   k a si b e l a h   o b j e k   k h u su s   re g u l e r   3   G i m a n a   t a n g a n   sa y a   d o k   t a n g a n   s a m p e a n   s u d a h   m e m b a i k   p a k   k a p a n   b i s a   l e p a g i p n y a   d o k   g i p s   d a p a t   d i l e p a s   sek i t a d u a   m i n g g u   l a g i   p a k   b a p a k   d i b a n y a k i n   m a k a n   i k a n   i k a n a n   y a   p a k   b i a r   c e p e t   p u l i h   t a n g a n n y a   si a p   d o k   t e r i m a   k a s i h   b a g a i m a n a   t a n g a n   s a y a   o b j e k   t a n g a n   o b j e k   s u d a h   m e m b a i k   o b j e k   k a p a n   b i sa   l e p a g i p n y a   o b j e k   g i p d a p a t   d i l e p a s s e k i t a d u a   m i n g g u   l a g i   o b j e k   o b j e k   d i b a n y a k i n   m a k a n   i k a n   i k a n a n   y a   o b j e k   b i a r   c e p e t   p u l i h   t a n g a n n y a   si a p   o b j e k   t e ri m a   k a s i h   b a g a i m a n a   t a n g a n   s a y a   o b j e k   t a n g a n   o b j e k   s u d a h   b a i k   o b j e k   k a p a n   b i s a   l e p a s   g i p o b j e k   g i p d a p a t   l e p a sek i t a d u a   m i n g g u   l a g i   o b j e k   o b j e k   b a n y a k   m a k a n   i k a n   i k a n   y a   o b j e k   b i a r c e p e t   p u l i h   t a n g a n   s i a p   o b j e k   t e r i m a   k a s i h   t a n g a n   s a y a   o b j e k   t a n g a n   o b j e k   s u d a h   b a i k   o b j e k   k a p a n   b i s a   l e p a s   g i p s   o b j e k   g i p d a p a t   l e p a s s e k i t a o b j e k   o b j e k   b a n y a k   m a k a n   i k a n   i k a n   o b j e k   c e p e t   p u l i h   t a n g a n   s i a p   o b j e t e ri m a   k a s i h   4   Pa k   i y a   m b a k   a n t r i a n n y a   k a n   m a si h   l a m a   k a l o   sa y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   m b a k   t a p i   n a n t i   k a l o   t i b a   u ru t a n   m b a k n y a   g a k   a d a   n a n t i   h a ru s   m e n g u l a n g   d a r i   a w a l   y a   m b a k   k o k   g i t u   p a k   h a r u sn y a   k a l o   k e l e w a t   y a   d i s u s u l k a n   s a j a   t o   p a k   m a a f   m b a k   t i d a k   b i s a   o b j e k   i y a   o b j e k   a n t ri a n n y a   k a n   m a si h   l a m a   k a l o   sa y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   o b j e k   t a p i   n a n t i   k a l o   t i b a   u ru t a n   o b j e k   t i d a k   a d a   n a n t i   h a r u m e n g u l a n g   d a r i   a w a l   y a   o b j e k   k o k   g i t u   o b j e k   h a ru s n y a   k a l o   k e l e w a t   y a   d i s u s u l k a n   s a j a   t o   o b j e k   m a a f   o b j e k   t i d a k   b i s a   o b j e k   i y a   o b j e k   a n t ri   k a n   m a si h   l a m a   k a l o   sa y a   t i n g a l   d u l u   b o l e h   t i d a k   b o l e h   o b j e k   t a p i   n a n t i   k a l o   t i b a   u ru t   o b j e k   t i d a k   a d a   n a n t i   h a r u u l a n g   d a ri   a w a l   y a   o b j e k   k o k   g i t u   o b j e k   h a r u s k a l o   l e w a t   y a   s u s u l   sa j a   t o   o b j e k   m a a f   o b j e k   t i d a k   b i sa   o b j e k   i y a   o b j e k   a n t ri   m a si h   l a m a   s a y a   t i n g a l   b o l e h   t i d a k   b o l e h   o b j e k   t a p i   k a l o   t i b a   u r u t   o b j e k   t i d a k   a d a   h a ru s   u l a n g   a w a l   o b j e k   g i t u   o b j e k   h a r u l e w a t   s u s u l   sa j a   o b j e k   m a a f   o b j e k   t i d a k   b i s a   5   S i a n g   b u n d a   b e n a a d e k n y a   b e r n a m a   f a h m i   b e n a r   d o k   u n t u k   i m u n i s a si   y a   i y a   d o k   a p a k a h   n a n t i   b a d a n y a   p a n a d o k   b u n d a   g a k   p e r l u   k a w a t i n a n t i   p a n a sn y a   c u m a n   s e b e n t a r k o k   b i s a   d i k o m p res   b i a r c e p e t   re d a   p a n a sn y a   t e ri m a   k a s i h   d o k     si a n g   o b j e k   b e n a r   a d e k n y a   b e r n a m a   f a h m i   b e n a r   o b j e k   u n t u k   i m u n i s a s i   y a   i y a   o b j e k   a p a k a h   n a n t i   b a d a n y a   p a n a o b j e k   o b j e k   t i d a k   p e r l u   k a w a t i n a n t i   p a n a s n y a   c u m a n   se b e n t a k o k   b i s a   d i k o m p res   b i a r   c e p e t   red a   p a n a sn y a   t e ri m a   k a s i h   o b j e k     si a n g   o b j e k   b e n a r   a d e k   n a m a   f a h m i   b e n a o b j e k   u n t u k   i m u n i s a si   y a   i y a   o b j e k   a p a   n a n t i   b a d a n   p a n a o b j e k   o b j e k   t i d a k   p e r l u   k a w a t i n a n t i   p a n a c u m a n   se b e n t a r   k o k   b i s a   k o m p res  b i a r   c e p e t   red a   p a n a s   t e r i m a   k a si h   o b j e k   si a n g   o b j e k   b e n a r   a d e k   n a m a   f a h m i   b e n a r   o b j e k   i m u n i s a si   o b j e k   a p a   b a d a n   p a n a o b j e k   o b j e k   t i d a k   p e r l u   k a w a t i n a n t i   p a n a c u m a n   seb e n t a r   b i s a   k o m p res  c e p e t   r e d a   p a n a s   t e ri m a   k a s i h   o b j e k       3 . 3 .     K NN  c a lcula t io us ing   TF - I DF   T h is   s tu d y   u s es  th KNN  alg o r ith m   with   k =3   an d   th ter m   weig h tin g   u s es  T F - I DF .   TF - I DF  r ef lect s   th im p o r tan ce   o f   a   wo r d   in   a   tex d o cu m en t   [ 2 9 ] .   T h e   T F - I DF  ca lcu latio n   is   ap p lied   to   2 0 0   tr ain i n g   d ata  an d   5 0   test in g   d ata  af ter   p r ep r o ce s s in g   u s in g   th NL ap p r o ac h .   T h n ex s tep   is   ca lcu latin th n u m b er   o f   m atch es   lab elin g   r esu lts   f r o m   th p r e d i ctio n   o f   5 0   test in g   d ata  co m p a r ed   with   m an u al  lab elin g   b y   c o r r esp o n d en ts   u s in g   co n f u s io n   m atr i x .   T h co n f u s io n   m atr ix   d iv id es  th r esu lts   o f   th p r ed ictio n s   in to   f o u r   c ateg o r ies,  th ey   ar e ;   1)   tr u p o s i tiv ( T P)   s h o ws  th e   am o u n o f   d ata  with   p o s itiv c lass es  an d   tr u p r ed ictiv e   r esu l ts ,   2)   tr u n eg ativ e   ( T N)   s h o ws  th am o u n o f   d ata  with   n eg ativ class e s   an d   tr u p r ed ictiv r esu lts ,   3 )   f alse  p o s itiv ( FP )   s h o ws  th n u m b er   o f   d ata  with   p o s itiv class e s   an d   f alse ,   an d   4 )   f alse  n eg ativ p r ed ictio n   r esu lts   ( FN)   s h o ws  th e   n u m b er   o f   d ata  with   n eg ativ e   class   an d   wr o n g   p r ed ictio n   r esu lts .   Pre d ictio n   r esu lts   ar s h o wn   in   T ab le  6 .   T h r esu lts   o f   t h co n f u s io n   m atr ix   ar p er f o r m ed   ca lcu latio n s   to   g et  th e   v alu e   o f   ac cu r ac y ,   p r ec is io n   an d   r e ca ll.   Acc u r ac y   is   th e   p r o p o r tio n   o f   th e   to tal  n u m b e r   o f   co r r ec t p r ed ictio n s   co m p a r ed   to   th e   to tal  n u m b e r   o f   s am p les,  ac c u r ac y   is   ca lc u lated   u s in g   ( 2 [ 3 0 ] P r e c i s i o n   i s   t h e   p r o p o r t i o n   o f   p o s i t i v e   s a m p l e s   w h i c h   a r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   152   c o r r e c t l y   c l a s s i f i e d   a g a i n s t   t h e   p o s i t i v e   t o t a l   n u m b e r   o f   s a m p l e s ,   p r e c i s i o n   i s   c a l c u l a t e d   u s i n g   ( 3 ) .   A   r e c a l l   i s   a   p o s i t i v e   s a m p l e   t h a t   i s   c l a s s i f i e d   c o r r e c t l y   t o   t h e   t o t a l   n u m b e r   o f   p o s i t i v e   s a m p l e s ,   r e c a l l   i s   c a l c u l a t e d   u s i n g   ( 4 [ 3 1 ] .       =    +   +  +  +                ( 2 )      =     +                  ( 3 )      =     +                    ( 4 )     In   ( 2 - 4 )   a r ap p lied   to   th test   d ata  test in g   r esu lts   an d   th r es u lts   ar as sh o wn   in   T ab le  7 .   T h m ea s u r em e n r esu lts   in   T a b le  7   s h o t h at  lab elin g   u s in g   KNN  an d   T F - I DF  with   th NL ap p r o ac h   p r o d u ce s   an   ac cu r ac y   7 4 . 0 0 %,  p r ec is io n   7 6 . 0 0 an d   r ec all  7 3 . 0 8 %.   Ov er all  th test   r esu l ts   s h o w in g   p o s itiv e   r esu lts   s h o m ac h in e   lear n i n g   h as  g o o d   p er f o r m an ce .   Pre v i o u s   r esear ch   [ 9 ]   u s in g   KNN  an d   T F - I DF  alg o r ith m s   in   cla s s if y in g   s en tim en ts   o n   T witter   s o cial  m ed ia  o b tain e d   an   ac c u r ac y   o f   6 7 . 2 % c o m p ar ed   t o   th is   s tu d y   o b tain ed   h ig h er   ac cu r ac y   o f   7 4 . 0 0 %.   Hig h e r   ac cu r ac y   v alu es  in d icate   th at  th u s o f   NL f o r   p r ep r o ce s s in g   p r o v id es a n   in cr ea s in   lab elin g   ac cu r ac y .       T ab le   6 .   Hasil  C o n f u s io n   m at r ix   P r e d i c t i o n   r e su l t s   N u mb e r   o f   d o c u m e n t s   Tr u e   P o s i t i f   ( TP)   19   Tr u e   N e g a t i f   ( TN )   18   F a l se   P o s i t i f   ( F P )   6   F a l se   N e g a t i f   ( F N )   7     T ab le  7 .   L a b elin g   test   r esu lts   M e a su r e me n t   M e a su r e me n t   r e su l t s   A c c u r a c y   7 4 . 0 0 %   P r e c i s i o n   76 . 0 0 %   R e c a l l   7 3 . 08 %         3 . 4 .     T er m   o cc urre nce   f re qu ency   T er m s   wh ich   h as  a   h ig h   f r eq u en cy   o f   o cc u r r en ce   in   c o n v e r s atio n   ca n   d escr ib m a r k et  ac c ep tan ce   o f   s er v ice  q u ality .   T h ter m s   o f t en   u s ed   in   co n v er s atio n s   ar in d icate d   b y   wo r d co u d   cr ea ted   with   th “W o r d ar t   ap p licatio n   i n   Fig u r 4   an d   Fig u r 5 .   I n   c o n v e r s atio n s   w ith   th lab el  " s atis f ied ",   th e   ter m   wh ich   h as  th e   h i g h est   f r eq u e n cy   o f   o cc u r r en ce   is   th e   ter m   a ka n ”  in   1 4 tim es ter m   in g in   in   9 8   tim es ter m   a p a ka h ”  in   7 tim es ter m   b a ik ”  i n   5 4   tim es ter m   teri ma ”  in   5 2   tim es   an d   ter m   ka s ih ”  in   5 1   tim es T er m   a p a ka h   an d   in g in ”  r ef er   to   c u s to m er   q u esti o n s   an d   d esire s ,   wh ile  ter m s   b a ik ”,   teri ma ”  an d   ka s ih ”  r ef e r s   to   c u s to m er   s atis f ac tio n   b ec au s q u esti o n s   o r   d esire s   ca n   b r ea lized .   I n   co n v er s atio n s   with   t h lab el   " s atis f ied ",   th ter m   th at  h as  t h h ig h est  f r eq u en cy   o f   o cc u r r en ce   is   th e   ter m   tid a k - b is a ”  in   1 3 tim es ter m   la ma ”  i n   1 0 5   tim es ter m   a p a ”  in   7 5   tim es te r m   B P JS ”  in   7 0   tim es   an d   ter m   kira ”  in   55  tim es T er m   apa ”  a n d   tid a k - b is a ”  s h o ws  cu s to m er s   d o   n o g et  wh a is   ex p ec ted .   T er m   la ma ”  an d   kira ”  s h o ws  th at  th cu s to m er   is   n o co m f o r ta b le  waitin g .   T er m   B P JS   s h o ws  th u s o f   B P J S   f o r   p a y m en o f   s er v ice  f ee s .             Fig u r e   4.   W o r d   c lo u d   ap p ea r a n ce   o f   wo r d s   in   s atis f ied   co n v er s atio n     Fig u r e   5.   W o r d   clo u d   th ap p e ar an ce   o f   wo r d s   in   co n v er s atio n   is   n o t satis f ied         Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l         S en timen ts   a n a lysi s   o f c u s to mer sa tis fa ctio n   in   p u b lic  s ervices u s in g …   ( E lik  Ha r i Mu kta fin )   153   4.   CO NCLU SI O N   Sen tim en an aly s is   o n   p u b lic  s er v ice  co n v e r s atio n s   ca n   p r o v id d ee p er   in f o r m atio n   ab o u cu s to m er   r atin g s   o n   s er v ices  p r o v id ed .   Utilizatio n   o f   th s p ee ch   r e co g n itio n   s y s tem   tech n o lo g y   ca n   co n v er v o ice   co n v er s atio n s   in to   tex t,  th u s   h elp in g   th p r o ce s s   o f   an aly zin g   cu s to m er   s atis f ac tio n .   C lass if icatio n   u s in g   th e   KNN  an d   T F - I DF  alg o r ith m   with   o p tim izatio n   u s in g   th e   NL ap p r o ac h   at  th e   p r e p r o ce s s in g   s tag ca n   r esu lt   in   b etter   lab elin g   o f   th c o n v e r s atio n   d ata.   T esti n g   with   co n f u s io n   m atr ix   p r o d u ce s   v alu 7 4 . 0 0 %   o f   ac cu r ac y ,   7 6 . 0 0 o f   p r ec is io n   an d   7 3 . 0 8 o f   r ec all.   T h is   r esear ch   f o u n d   th at  ter m s   ar d o m in an in   co n v er s atio n   s atis f ied ”  is   ter m   a ka n ,   in g in ,   a p a ka h ”  ,   b a ik ,   teri ma ”  an d   ka s ih ”  wh ic h   s h o ws  cu s to m er   s atis f ac tio n   o n   th s e r v ice  r ec eiv ed   an d   cu s to m er   d esire s   th at  ca n   b r ea lized .   W h er ea s   th d o m in an ter m s   in   th co n v er s atio n   d is s ati s f ied   is   ter m   tid a k - b is a l a ma ,   apa ,   B P JS   an d   kira   s h o ws  cu s to m er   d is ap p o in tm en t   at  th e   s er v ice  r ec eiv ed .   T h is   r esear ch   is   s er ies  o f   s tu d ies  o n   th p r o d u ct  " K a ta   K ita to   b ap p lied   in   p u b lic  s er v ices  th a f u n ctio n   t o   r ec o r d   co n v er s atio n s   in   th e   f o r m   o f   tex t,  lab elin g   a u to   lear n i n g   b as ed   o n   m ac h in lear n in g   a n d   d ig g in g   i n f o r m atio n .   I n f o r m atio n   ex tr ac ted   f r o m   s er v ice  co n v er s atio n s   ca n   b u s ed   as  m ater ial  f o r   ev alu atin g   an d   d ev elo p in g   s er v ice  q u ality .   Fu r t h er   r esear c h   ca n   b ca r r ied   o u t   o n   o th e r   f ea tu r es  o f   " K a ta   K ita p r o d u cts  o r   with   v a r iety   o f   d atasets   f r o m   d if f er e n t   p u b lic  s er v ice  s o u r ce s .       ACK NO WL E DG E M E NT S     R esear ch er s   wo u ld   lik e   to   t h a n k   th e   Ma g is ter   o f   I n f o r m atic s ,   Un iv er s itas   AM I KOM   Yo g y ak ar ta  f o r   p r o v id i n g   s u p p o r t a n d   g u id an c to   th is   r esear ch .       RE F E R E NC E S   [1 ]   Ba ra ta,  Ate p ,   a n d   A d y a ,   " Da sa r - d a sa p e lay a n a n   p rima ,"   Ja k a rta:  P T .   El e x me d ia   C o mp u ti n d o ,   2 0 0 3 .   [2 ]   I.   Og ra jen še k   a n d   I.   G a l,   Th e   c o n c e p a n d   a ss e ss m e n o c u sto m e sa ti sfa c ti o n ,   M o d e rn   An a ly sis  o Cu sto me S u rv e y s: W it h   Ap p li c a t io n s Us in g   R ,   p p .   1 0 7 - 1 2 7 ,   2 0 1 1 .   [3 ]   D.  Alb u r y ,   F o ste rin g   In n o v a ti o n   in   P u b l ic S e rv ice s,”   Pu b li c   M o n e y   M a n a g . ,   v o l .   2 5 ,   p p .   5 1 - 5 6 ,   F e b .   2 0 0 5 .   [4 ]   T.   M .   Hid a y a t,   In tere st  o f   P u b li c   Ad m in istrati o n ,   Ac c e lera ted   Im p ro v e m e n o P u b li c   S e r v ice   Qu a li ty ,   ( in   Ba h a sa :   Bu n g a   Ra m p a Ad m in istras P u b li k ,   Ak se lera si  P e n i n g k a tan   Ku a li tas   P e lay a n a n   P u b li k ) ,   Bu n g a   Ra m p a i   Ad min istr a si P u b li k .   p p .   5 1 6 3 ,   2 0 1 6 .   [5 ]   M .   Cu i ,   T.   Wan g ,   Z.   P a n ,   a n d   L.   Ni,   De fin it io n   o P e o p le  wit h   Im p e d ime n ts  a n d   Un i v e rsa li ty   Ev a lu a ti o n   o P u b l ic   S e rv ice   in   Air p o rt   Tra v e S c e n a ri o s,”   I n ter n a t io n a l   Co n fer e n c e   o n   Hu ma n - C o mp u ter   In ter a c ti o n ,   p p .   6 2 3 - 6 3 9 ,   2 0 2 0 .   [6 ]   Y.  Wan g ,   K.  Kim ,   B.   Lee ,   a n d   H .   Y.  Yo u n ,   Wo rd   c lu ste rin g   b a se d   o n   P OS  fe a tu re   f o e fficie n t witt e se n ti m e n t   a n a ly sis,”   Hu ma n - c e n tric Co m p u t .   In f.   S c i. ,   v o l.   8 ,   n o .   1 ,   p .   1 - 1 7 ,   2 0 1 8 .   [7 ]   N.  S h a i k h   a n d   R.   De sh m u k h ,   S p e e c h   Re c o g n it i o n   S y ste m - Re v i e w,”  IOS J .   C o mp u t.   E n g . ,   v o l .   1 8 ,   p p .   1 - 9 ,   2 0 1 6 .   [8 ]   A.  A.  Lu tfi ,   A.  E.   P e rm a n a sa ri,   a n d   S .   F a u z iati,   S e n ti m e n An a ly si in   th e   S a les   Re v iew   o In d o n e sia n   M a rk e tp lac e   b y   Uti li z in g   S u p p o rt   Ve c to M a c h in e ,   J .   I n f.   S y st.  E n g .   Bu s .   In tel l . ,   v o l.   4 ,   n o .   1 ,   p p .   5 7 - 64 ,   2 0 1 8 .   [9 ]   A.  De v iy a n to   a n d   M .   D.  R .   Wah y u d i,   Ap p li c a ti o n   o S e n ti m e n t   An a ly sis  t o   Twit ter  Us e rs  Us in g   th e   K - Ne a re st   Ne ig h b o M e t h o d   (i n   Ba h a sa P e n e ra p a n   An a li sis  S e n t ime n   P a d a   P e n g g u n a   Twit ter  M e n g g u n a k a n   M e to d e   K - Ne a re st   Ne ig h b o r ) ,   J IS KA   (J u rn a I n fo r m.  S u n a n   K a li j a g a ) ,   v o l.   3 ,   n o .   1 ,   p p .   1 - 1 3 ,   2 0 1 8 .   [1 0 ]   K.  No rm a n ,   Z.   Li ,   Y .   T.   Oh ,   G .   Go lwa la,  S .   S u n d a ra m ,   a n d   J.  Alleb a c h ,   Ap p li c a ti o n   o n a tu ra lan g u a g e   p ro c e ss in g   to   a n   o n li n e   fa sh i o n   m a rk e tp lac e ,   IS   T   I n t.   S y mp .   El e c tro n .   Ima g in g   S c i.   T e c h n o l. ,   p p .   1 - 5 ,   2 0 1 8 .   [1 1 ]   N.  Kim   a n d   S .   H o n g ,   Tex m i n i n g   f o t h e   e v a l u a ti o n   o p u b li c   se rv ice s:  th e   c a se   o a   p u b li c   b i k e - sh a rin g   s y ste m ,   S e rv .   Bu s. v o l.   1 4 ,   p p .   3 1 5 - 3 3 1 2 0 2 0 .   [1 2 ]   B.   Ch e e k a ti   a n d   S .   P a d a la,  Ev a lu a ti n g   t h e   P ro g re ss iv e   P e rfo r m a n c e   o M a c h in e   Lea rn in g   Te c h n iq u e o n   E - c o m m e rc e   D a ta,”  S ma rt Co mp u ti n g   a n d   I n fo rm a t ics ,   p p . 9 5 - 1 0 7 ,   2 0 1 8 .   [1 3 ]   M .   T.   Kh a n ,   M .   Du rra n i,   A.  Ali ,   I.   In a y a t,   S .   Kh a li d ,   a n d   K.  H.   K h a n ,   S e n ti m e n a n a l y sis  a n d   th e   c o m p lex   n a tu ra l   lan g u a g e ,   Co mp lex   A d a p t.   S y st.  M o d e l. ,   v o l .   4 ,   n o .   1 ,   2 0 1 6 .   [1 4 ]   B.   Ia n c u ,   E v a lu a ti n g   G o o g le  S p e e c h - to - Tex t   API’s   P e rfo rm a n c e   fo r   Ro m a n ian   e - Lea rn in g   Re so u rc e s,”   In fo rm .   Eco n . ,   v o l.   2 3 ,   n o .   1 /2 0 1 9 ,   p p .   1 7 - 2 5 ,   2 0 1 9 .   [1 5 ]   A.  S o l ich in ,   M y S q l   5 :   F r o m   Be g in n e to   Ad v a n c e d   (i n   Ba h a sa Da ri  P e m u la  Hin g g a   M a h ir ) ,   U n iv.  B u d i   L u h u r,   J a k a rta ,   Ja n .   2 0 1 0 .   [1 6 ]   M .   M h a tre,  D.  P h o n d e k a r,   P .   Ka d a m ,   A.  Ch a wa th e ,   a n d   K.  G h a g ,   Dim e n sio n a li t y   re d u c ti o n   f o se n t ime n a n a ly sis  u sin g   p re - p r o c e ss in g   tec h n iq u e s,”   2 0 1 7   In ter n a ti o n a C o n fer e n c e   o n   Co mp u ti n g   M e th o d o lo g ies   a n d   Co mm u n ica ti o n   (ICCM C) ,   p p .   1 6 - 2 1 ,   2 0 1 7 .   [1 7 ]   Z.   Jia n q ian g   a n d   G .   Xia o li n ,   Co m p a riso n   Re se a rc h   o n   Tex P re - p r o c e ss in g   M e th o d o n   Twit ter  S e n t ime n An a ly sis,”   IEE Acc e ss ,   v o l .   5 ,   p p .   2 8 7 0 - 2 8 7 9 ,   2 0 1 7 .   [1 8 ]   G .   Ch o wd h a r y ,   Na tu ra Lan g u a g e   P r o c e ss in g ,   An n u a Rev iew  o I n fo rm a ti o n   S c ien c e   a n d   T e c h n o l o g y ,   v o l.   37   n o .   1 ,   p p .   51 - 8 9   2 0 2 0 .   [1 9 ]   L.   A.  M u l len ,   K.  Be n o it ,   O .   Ke y e s,  D.  S e li v a n o v ,   a n d   J.  Ar n o l d ,   F a st,  Co n siste n T o k e n iza ti o n   o N a tu ra Lan g u a g e   Tex t,   J .   Op e n   S o u rc e   S o ft w. ,   v o l .   3 ,   n o .   2 3 ,   p .   6 5 5 ,   2 0 1 8 ,   d o i:   1 0 . 2 1 1 0 5 /j o ss . 0 0 6 5 5 .   [2 0 ]   A.  N.  Ro h m a n ,   E.   Uta m i,   a n d   S .   Ra h a rjo ,   De tek si  Ko n d isi  Emo si  p a d a   M e d ia  S o sia M e n g g u n a k a n   P e n d e k a ta n   Lek sik o n   d a n   Na tu ra Lan g u a g e   P ro c e ss in g ,   Eks p lo ra   In f o rm . ,   v o l.   9 ,   n o .   1 ,   p p .   7 0 - 7 6 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                    I SS N :   1 6 9 3 - 6 9 3 0   T E L KOM NI KA   T elec o m m u n   C o m p u t E l Co n tr o l Vo l.  19 ,   No .   1 Feb r u ar y   2 0 2 1 :   1 4 6   -   1 5 4   154   [2 1 ]   B.   P .   P a n d e   a n d   H.  S .   Dh a m i,   Ap p li c a ti o n   o Na tu ra Lan g u a g e   P ro c e ss in g   To o ls  in   S tem m in g ,   In t.   J .   Co mp u t .   Ap p l . ,   v o l.   2 7 ,   n o .   6 ,   p p .   1 4 - 1 9 ,   2 0 1 1 .   [2 2 ]   A.  P ra k a sh   a n d   U.  Ku m a r,   Au t h e n ti c a ti o n   P ro t o c o ls  a n d   Tec h n i q u e s:  S u rv e y , "   In ter n a ti o n a J o u rn a o f   C o mp u ter   S c ien c e s a n d   En g i n e e rin g ,   v o l.   6 ,   n o .   6 ,   p p .   1 0 1 4 - 1 0 2 0 ,   2 0 1 9 .   [2 3 ]   I.   Riad i ,   S .   S u n a rd i,   a n d   P .   Wi d i a n d a n a ,   M o b il e   F o re n sic f o C y b e rb u ll y in g   De tec ti o n   u sin g   Term   F re q u e n c y   -   In v e rse   Do c u m e n F re q u e n c y   (TF - IDF),   J .   Ilm.   T e k .   E lek tro   Ko m p u t.   d a n   In fo rm . ,   v o l.   5 ,   p p .   6 8 - 7 6 ,   2 0 1 9 .   [2 4 ]   R.   M e li ta,  V.   Am riza l,   H.  S u se n o ,   a n d   T .   Dirjam ,   Ap p li c a ti o n   o f   T e rm   F re q u e n c y   I n v e rse   Do c u m e n t   F re q u e n c y   (Tf - Id f)  a n d   C o sin e   S imilari ty   M e t h o d i n   In f o rm a ti o n   Re tri e v a S y s tem to   F in d   Web - Ba se d   Ha d it h (Ca se   S tu d y :   Ha d it S a h ih   Bu k h a ri - M u slim ) ,   (i n   Ba h a sa P e n e ra p a n   M e t o d e   Ter m   F re q u e n c y   I n v e rse   Do c u m e n F re q u e n c y   (Tf - Id f)  d a n   C o sin e   S imilarit y   p a d a   S istem   Tem u   Ke m b a li   In fo rm a si  u n t u k   M e n g e tah u S y a ra h   Ha d i t Be rb a sis  Web   (S tu d Ka su s: Ha d it S h a h ih   B u k h a ri - M u slim ) ) ,   J .   T e k .   In f o rm . ,   v o l.   1 1 ,   n o .   2 ,   p p .   1 4 9 - 1 6 4 ,   2 0 1 8 .   [2 5 ]   V.  Ja h jah ,   R.   Kh o u r y ,   a n d   L.   Lam o n tag n e ,   " W o rd   N o rm a li z a ti o n   Us in g   P h o n e ti c   S ig n a tu re s , "   C o n fer e n c e Ca n a d ia n   Co n fer e n c e   o n   Arti fi c i a I n telli g e n c e ,   2 0 1 6 .   [2 6 ]   J.  As ian ,   H.  E.   Wi ll iam s,  a n d   S .   M .   M .   Tah a g h o g h i ,   S tem m in g   I n d o n e sia n ,   Co n f.   Res .   Pra c t.   In f .   T e c h n o l .   S e r. v o l.   3 8 ,   n o .   Ja n u a ry ,   p p .   3 0 7 - 3 1 4 ,   2 0 0 5 .   [2 7 ]   M .   Kh a d e r,   e a l. ,   Th e   Eff e c ts  o Na tu ra Lan g u a g e   P ro c e ss in g   o n   Big   Da ta  An a ly sis:  S e n ti m e n t   An a ly sis  Ca se   S tu d y ,   2 0 1 8   I n ter n a ti o n a Ara b   Co n fer e n c e   o n   In f o rm a ti o n   T e c h n o lo g y   (ACIT ) ,   p p .   1 - 7 ,   2 0 1 8   [2 8 ]   E.   M a rth a n ty   a n d   I.   Les tari,   T h e   Cu lt u re   o Ap o lo g y   a W o rk   in   Ja p a n e se   Dra m a s:  S o c io li n g u isti c   Ov e rv iew   ,   (in   Ba h a sa Bu d a y a   P e rm in taa n   M a a Di   Tem p a Ke rja  Da lam   Dra m a   Je p a n g  :  Ti n jau a n   S o sio li n g u isti k ), ”  J u rn a l   Ba h a sa ,   S a str a   d a n   Bu d a y a   J e p a n g ,   v o l.   8 ,   n o .   2 ,   p p .   8 2 - 1 0 0 2 0 1 9 .   [2 9 ]   A.  Tri p a th y ,   A.   Ag ra wa l,   a n d   S .   K.   Ra th ,   Clas sifica ti o n   o f   se n ti m e n re v iew u sin g   n - g ra m   m a c h in e   lea rn i n g   a p p ro a c h ,   Exp e rt S y st.  Ap p l. ,   v o l .   5 7 ,   p p .   1 1 7 - 1 2 6 ,   2 0 1 6 .   [3 0 ]   A.  K.  S a n tra  a n d   C.   J.  C h risty ,   G e n e ti c   Alg o r it h m   a n d   Co n fu sio n   M a tri x   f o D o c u m e n Cl u ste rin g   1 ,   In ter n a ti o n a l   J o u rn a o Co m p u ter   S c ien c e , v o l .   9 ,   n o .   1 ,   p p .   3 2 2 - 3 2 8 ,   2 0 1 2 .   [3 1 ]   A.  Th a rwa t,   Clas sifica ti o n   As se ss m e n M e th o d s,”   Ap p l.   Co mp u t.   I n fo rm a t ics ,   n o .   Ja n u a ry ,   p p .   1 - 1 3 ,   2 0 1 8 .       B I O G RAP H I E S O F   AUTH O RS       Eli k   H a r Mu k t a fin ,   b o rn   i n   S ra g e n ,   Ja wa   Ten g a h ,   I n d o n e sia ,   2   S e p tem b e 1 9 9 2 .   He   h o ld a   Ba c h e lo o I n fo rm a ti c ( S . Ko m )   fro m   S TM IK   AMIKOM   Yo g y a k a rta  in   2 0 1 5 .   C u rre n tl y   th e   a u th o is  c a rry in g   o u stu d ies   in   th e   field   o M a g ister  o In f o rm a ti c s,  Un iv e rsitas   AMIKOM   Yo g y a k a rta   E m a il   a d d re ss e li k . m u k tafi n @s tu d e n ts.am ik o m . a c . i d   e li x ro p a s@ g m a il . c o m         Pra m o n o ,   b o r n   in   Bo y o lali ,   Ja w a   Ten g a h ,   I n d o n e sia   2 3   J u li   1 9 8 6 ,   h e   H o ld s   a   Ba c h e l o o f   In fo rm a ti c (S . K o m F r o m   S T M I DU TA  BAN G S S u ra k a rta  in   2 0 1 2 .   C u rre n tl y   t h e   a u th o r   is  c a rry in g   o u stu d ies   in   t h e   field   o M a g ister  o In fo rm a t ics ,   Un iv e rsitas   AMIKOM   Yo g y a k a rta .   E m a il   a d d re ss :   p ra m o n o . 2 3 @s t u d e n ts.am ik o m . a c . id   o p ra m o n o 2 3 0 7 @g m a il . c o m         K u sr in i   is  a n   a ss o c iate   p r o fe ss o fr o m   Un i v e rsitas   AMIKOM   Yo g y a k a rta  In d o n e sia .   S h e   fin ish e d   h e d o c t o ra p r o g ra m   fro m   Un iv e rsitas   G a d jah   M a d a   Y o g y a k a rta  In d o n e sia   in   2 0 1 0 .   S h e   is  in tere ste d   in   e x p lo ri n g   m a n y   th in g a b o u m a c h in e   lea rn in g   a n d   o t h e a rti ficia l   in t e ll i g e n c e   field .   S h e   a lso   l o v e s i n   d o i n g   re se a rc h   a b o u d e c isio n   s u p p o rt   sy ste m   a n d   d a tab a se .   S h e   is me m b e o t h e   IEE E   a n d   I EE S y ste m s,  M a n ,   a n d   C y b e rn e t ics   S o c iety     Evaluation Warning : The document was created with Spire.PDF for Python.