T E L KO M N I KA  T e lec om m u n icat ion ,   Com p u t i n g,   E lec t r on ics   an d   Cont r ol   Vol.   1 8 ,   No.   3 J une   2020 ,   pp.   1 422 ~ 1 432   I S S N:  1693 - 6930,   a c c r e dit e F ir s G r a de   by  Ke me nr is tekdikti ,   De c r e e   No:   21/E /KP T /2018   DO I 10. 12928/ T E L KO M NI KA . v1 8 i 3 . 14791     1422       Jou r n al  h omepage ht tp: // jour nal. uad . ac . id/ index . php/T E L K OM N I K A   C le ve r e e :   an  a r t ifi c ia ll y i n t e ll ig e n t   w e b  se r vi c e     f or   J ac o b  voi c e  c h at b o t       Oct avan y,   Ar ya   Wicaks an a   D ep ar t men t   o In f o rmat i cs ,   U n i v ers i t a s   Mu l t i me d i N u s an t ara,   In d o n es i a       Ar t icle   I n f o     AB S T RA CT     A r ti c le  h is tor y :   R e c e ived  Aug  3 2019   R e vis e J a n   2 0 ,   2020   Ac c e pted  F e 26 ,   2020     J aco b   i s   v o i ce  ch at b o t   t h a t   u s W i t . ai   t o   g e t   t h co n t e x t   o t h q u e s t i o n   an d   g i v an   an s w er  b a s ed   o n   t h at   co n t e x t .   H o w ev er,   J ac o b   h as   n o   v ari a t i o n     i n   an s w er  an d   co u l d   n o t   reco g n i ze  t h co n t e x t   w e l l   i i t   h as   n o t   b een   l earn e d   p rev i o u s l y   b y   t h W i t . ai .   T h u s ,   t h i s   p a p er  p ro p o s es   t w o   feat u res   o art i f i ci a l   i n t el l i g en ce  (A I)  b u i l t   as   w eb   s erv i ce :   t h p ara p h ra s o an s w er s   u s i n g     t h St ac k ed   Res i d u al   L ST mo d el   an d   t h q u e s t i o n   s u mmar i zat i o n   u s i n g   Co s i n Si m i l ar i t y   w i t h   p re - t ra i n e d   W o rd 2 V ec  a n d   T ex t Ran k   al g o ri t h m.   T h e s t w o   fea t u re s   are  n o v e l   d es i g n s   t h a t   are  t ai l o r ed   t o   J aco b ,   t h i s   A I   mo d u l i s   cal l e d   Cl e v eree.   T h ev a l u a t i o n   o Cl ev eree   i s   carri ed   o u t   u s i n g     t h t ech n o l o g y   acce p t a n ce  m o d e l   (T A M)  met h o d   a n d   i n t erv i ew   w i t h   J aco b   ad mi n s .   T h res u l t s   s h o w   t h a t   7 9 . 1 7 %   o res p o n d e n t s   s t r o n g l y   a g ree  t h at   b o t h   feat u re s   are  u s ef u l   an d   7 2 . 5 7 %   o res p o n d e n t s   s t r o n g l y   ag ree  t h at   b o t h   feat u re s   are  eas y   t o   u s e.   K e y w o r d s :   C os ine  s im il a r it y   L S T M   S tac ke r e s idual    T e xtR a nk   W e s e r vice   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i ce n s e .     C or r e s pon din A u th or :   Ar ya   W ica ks a na ,     De pa r tm e nt  of   I nf or mat ics ,   Unive r s it a s   M ult im e dia  Nus a ntar a ,   S c ientia  B ouleva r d   S t. Ga ding   S e r pong ,   T a nge r a ng - 15810,   B a nten,   I ndone s ia.   E mail:   a r ya . wic a ks a na @umn. a c . id       1.   I NT RODU C T I ON     c ha tbot   is   a   mes s a ging  pr ogr a that  int e r a c ts   with  us e r s   li ke   c ha tt ing  with  pe ople.   T he r e   is   r e s e a r c on  de ve lopi ng  a   dialogue   s ys tem  or   c h a tbot   us ing  na tur a langua ge   that  is   us e f ul  f or   e duc a ti on,   c us tom e r   s e r vice ,   a nd  e nter tainment   pur pos e s   [ 1 - 3 ] .   I Unive r s it a s   M ult im e dia  Nus a ntar a   ( UM N) ,   ther e   is     a   we b - ba s e voice   c ha tbot   c a ll e J a c ob  whic is   d e ve loped  by  W ij a ya   in  [ 4 ] .   J a c ob  us e s   the  W it . a platf or m   to  ge t   the   c ontext  o f   the  us e r s   que s ti on  by   e xtr a c ti ng  the   int e nt   ( the   goa l   of   the   us e r   is   c omi ng   to   the   c ha tbot )   a nd  e nti ti e s   ( im por tant  va r iable   in   int e nt  that  he l ps   a dd  r e leva nc e   to  a int e nt)   of   the  que s ti on.   T he r e f or e ,     the  c ha tbot   c ould  r e p ly  to  the  que s ti on  ba s e on  the  c ontext   ( int e nt  a nd  e nti ti e s ) .   How e ve r ,   J a c ob  ha s   two   s hor tcomings   whe int e r a c ti ng  with  the  us e r .   F ir s t,   J a c ob  only  r e pli e s   with  a ns we r s   that  a r e   a lr e a dy  pr ogr a mm e in  it s   knowle dge   ba s e ,   whic r e s ul ts   in  r e pe ti ti ve   a ns we r s .   T he   s e c ond  is s ue   is   th a J a c ob   s ometim e s   mi s unde r s tood  the  c ontext   o f   the  que s t ion  be c a us e   it   ha s   ne ve r   be e n   lea r ne d   be f or e   by   th e   W it . a i   platf or m.   T h is   is   due   to  the  pr oblem   whe r e   s im il a r   s e ntenc e s   c ould  ha ve   the  s a me  mea ning   or   c ontext.   T hus ,   the  W it . a plat f or m   c ould  mi s take nly  give   dif f e r e nt  c ontext  or   e ve doe s   not  r e c ognize   the  c ontext  a t   a ll .   T he   s olut ion  to  the  f ir s pr oblem  is   by   va r ying  th e   a ns we r s   us ing  a   pa r a phr a s e .   I na tur a langua ge   pr oc e s s ing  ( NL P ) ,   pa r a phr a s e s   a r e   a int e r e s ti ng  t a s to  s olve.   I t   is   dif f icult  to   buil a   pa r a phr a s e   r e c ognit ion  s ys tem  be c a u s e   pa r a phr a s e s   a r e   ha r to  de f ine  [ 5 ] .   I n   the  li nguis ti c   li ter a tur e ,   pa r a phr a s e s   a r e   s e ntenc e s   or   phr a s e s   that  ha ve   a a ppr oxim a te  e quivale nc e   of   mea ning  in  the  di f f e r e nt   wor ding  [ 5 ] .   T hus ,   a   de e ne ur a l   ne twor is   us e in   thi s   s tudy  to   ge ne r a te  the   pa r a phr a s e   of   the   a ns we r .   F o r   NL P   tas ks ,   r e c ur r e n ne ur a l   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         C lev e r e e :   an  ar ti fi c ial ly  int e ll igent   w e s e r v ice   for   J ac ob  v oice   c hatbot   ( Oc tavany )   1423   ne twor ( R NN )   a r c hit e c tur e   g ives   a   good   pe r f o r manc e ,   e s pe c ially  to  a   s pe c ial  kind  o f   R NN   c a ll e L ong  s hor t - ter memor ( L S T M ) ,   by  r e duc ing  the   pe r plexity  a nd  wor d   e r r or   r a te  [ 6 7 ] .   L S T M   is   wid e ly  we ll   known  due   to   it s   c a pa bil it o f   lea r ning   long - ter de pe nde nc ies   a nd  r e duc ing  the  va nis hing  gr a dient   pr oblem.   L S T M   c ould  be   im pleme nted  to  pr e dict   the  ne xt   wor by  the  p r e vious   wor ds   in  langua ge   model ing  a nd  ge ne r a ti ng  text  a nd  im pleme nted  in  c ha tbot   a pp li c a ti on  [ 2] .   Ya vuz   e a l.   in   [ 8 ]   de ve lop  a   r e s pons e   ge ne r a ti on  us ing  L S T M   a nd  hier a r c hica point e r   ne twor k .   F ur ther mor e ,   the r e   is   a L S T M   model  that  is   us e to  ge ne r a te  pa r a phr a s e   by  a dding  the   r e s idue,   c a ll e d   s tac ke r e s idual  L S T M   [ 9 ] .   W e   us e   thi s   model  be c a us e   it   h a s   be tt e r   r e s ult s   than  S e que nc e   to  S e que nc e ,   B i - dir e c t ional  L S T M ,   a tt e nti on - ba s e L S T M   model  [ 9 ] .   T he   pr e - tr a ined   model  of   s tac ke r e s idual  L S T M   f r om   [ 9 ]   is   im ple mente to  ge ne r a te  pa r a phr a s e   of   a ns we r s   in  thi s   p a pe r .   I the   f a c e   of   the   une xpe c te r e s ult s   of   int e nt   a nd   e nti ti e s ,   it   is   ne c e s s a r to  upda te  the   knowle dge     in  the  W it . a i   platf or m   f r om  the  his tor y   of   que s ti o ns .   B a s e on  the  s tudy  a bout  J a c ob,   ther e   a r e   c on ve r s a ti on  logs   that  r e c or a ll   the  c onve r s a ti o ns   be twe e J a c ob  a nd  the  us e r .   S o,   we   pr opos e   the  s olut ion   to  pr e ve nt    a a dmi nis tr a tor   to  manua ll r e a a ll   of   the  que s ti ons   in  the  c onve r s a ti on  logs   b e xtr a c ti ng  the  s um mar of   que s ti ons ,   whic s e lec ts   the  mos f r e que ntl a s ke que s ti ons   f r om   the  e nti r e   c onve r s a ti on  logs   [ 10 ] .   I de a ll y ,   the  e xtr a c ti ve   su mm a r iza ti on  s hould  c ontain   a r oun d   20%   o f   the   s e nt e nc e s   f r om  the  e nti r e   text   [ 1 1 ] .   T he r e   a r e   s ix  a lgor it hms   f or   e xtr a c ti ve   s umm a r iza ti on  that   h a ve   be e e va luate by  Vic tor   e a l   in  [ 1 2 ] ,   whic a r e   L uhn,   T e xtR a nk,   L e xR a nk,   L S A,   S umB a s ic,   a nd  KL S u m.   B a s e on  the  r e s ult s ,   L uhn  a nd  T e xtR a nk  ha v e   the  be s t   pe r f or manc e   to  ge the  e xt r a c ti ve   s umm a r f o r   th e   s pe e c h - to - text  c a s e   [ 1 2 ] .   B e twe e thos e   both  a lgor it hms ,   we   c hoos e   T e xtR a nk   be c a us e   the  T e xtR a nk  a lg or it hm   is   a   gr a ph - ba s e r a nking   a lgor it hm   that   ha s   be e pr ove to   be   s uc c e s s f ul  f or   the   identif ica ti on   of   th e   mos im po r tant  o r   r e leva nt  s e ntenc e s   ( ve r tex)   in   the  text   ( gr a ph)   [ 1 3 ] .   Ac c or ding  to   [ 10 1 4 ]   T e xtR a nk  a lgor it hm  with   c os ine  s im il a r it us ing  W or d2V e c   c ould  e nha nc e   the  r a nking  pr oc e s s .       2.   RE S E AR CH  M E T HO D   T his   s e c ti on  c ontains   a   br ief   e xplana ti on  o f   L S T M   a s   the  main  method  im pleme nted  in   thi s   s tudy.   T he n,   we   de s c r ibe  T e xtR a nk  a lgo r it hm,   C os ine  S im il a r it y,   a nd  W o r E mbedding.   I n   or de r   to   that,   we   a ls o   e xplain  our   p r opos e method.     2. 1.     L on s h or t - t e r m   m e m or ( L S T M )   L S T M   is   a   va r iant   of   the   r e c ur r e nt   ne twor k   whic h   is   di f f e r e nt   f r om   the   f e e d - f or wa r d   ne twor a nd   is   int r oduc e by  [ 1 5 ] .   R e c ur r e nt   ne twor f e e ds   it s   output s   ba c int it s   own  input s   s the  r e s p ons e   of     the  ne twor to  a   given  input   may  de pe nd  on  p r e vious   input s   [ 1 6 ] .   L T S M   c omput e s   the  hidden  s t a te    by  a dding  a   memor c e ll     a e ve r ti me  s tep    [ 9 ] .   W h e the  unit   c o mput e s   the  memor c e ll   a nd  hidden  s tate   a ti me  s tep  t ,   i c ons ider s   the  inpu s tate   a t   ti me  s tep  ,   the   hidden  s tate   1 ,   a nd  the  memor y   c e ll   1   a t   ti me  s tep    [ 9 ] .   L S T M   ha s   th r e e   ga tes   that  e a c ga te  c ons is ts   of   one   s igm oid   laye r   a nd   po int w is e   mul ti pli c a ti on  ope r a ti on   whic known   a s   f or ge t   ga te  ( ) ,   input   ga te   ( ) ,   a nd   output   ga te   ( )   [ 1 7 ] .   T he   ga t e s   a r e   de s c r ibed  in  F igu r e   1.           F igur e   1.   L S T M   c e ll   c ontains   f or ge ga te ,   input   ga t e ,   ne memor y   c e ll ,   a nd  output   ga te  [ 1 7 ]       2. 1. 1.   S t ac k e d   r e s id u al  L S T M   S tac ke R e s idual  L S T M   is   a   model   that   wa s   pr op os e by  P r a ka s e t   a l.   a nd  the   a ddit ion   of   r e s idual  c onne c ti ons   to  ge ne r a te  pa r a phr a s e   a nd  thi s   mode c a he lp   o ve r c ome   a   de gr a da ti on   pr ob lem  [ 9 ] .   R e s idual   c onne c ti ons   a r e   a dde d   a f ter   e ve r y   n   lay e r s   a s   the   point wis e   a ddit ion   [ 9 ] .   F igur e   2   s hows   that   the   r e s idual   c onne c ti ons   a r e   a dde a f ter   e ve r y   two  laye r s   a s   the   point wis e   a ddit ion.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   3 J une   2020:    1 422   -   1 432   1424       F igur e   2.   uni of   S tac ke R e s idual  L S T M   [ 9 ]       2. 2.     T e xt Rank   T e xtR a nk   is   a   gr a ph - ba s e r a nking  a lgor it hm  f or   t he   identif ica ti on  of   the  mos im por tant   or   r e leva nt  s e ntenc e s   in  the  text  [ 1 3 ] .   One   ve r tex  r e pr e s e nts   a   s e ntenc e   a nd  the  e dge s   r e pr e s e nt  the  r e lation  s c or e   ( we ight )   be twe e n   two  s e ntenc e s .   A   ve r tex  wi th   the  h ighes s c or e   of   T e xtR a nk  is   the   mos r e l e va nt  or   im por tant  in   the  gr a ph .   T e xtR a nk  is   a   we ight e dir e c ted  gr a ph  = ( , ) ,   whe r e   the   gr a ph    c ons is ts   of     a   s e of   ve r ti c e s     a nd  a   s e o f   e dge s   .   F or   a   given  ve r tex   ( )   r e pr e s e nts   the  s e of   ve r ti c e s   that   point   to  ve r tex   ,   a nd  ( )   r e p r e s e nts   the  s e of   ve r ti c e s   that   p oint   f r om  ve r tex  .   T he   we ight   f r om   ve r tex  i   to   ve r tex  j   is   r e pr e s e nted  a s    .   T he   f o r mul a   o f   T e xtR a nk  c a be   de f ined  a s   s hown  in   ( 1 )   [ 1 8 ] ,      ( ) = ( 1 ) +  ( )   ( )   ( )     ( 1)     in  ( 1)  ( )   r e pr e s e nts   the  s c or e   of   ve r tex  ;     is   the  da mpi ng  f a c tor   with  va lue  is   be twe e to  1.   Nor mally,   the   d a mpi ng  f a c tor   is   s e to   0. 85   [ 1 3 ].     2. 2. 1.   Wor d   e m b e d d in g   W or e mbedding   is   a   ve c tor   r e pr e s e ntation  o f   wor ds   ba s e on   the   c ontext   of   the   s e ntenc e s   or   s e mantic  r e lations hips   be twe e wor ds .   T he   ve c to r   c ontains   r e a numbe r   [ 1 9 ] .   M ikol ov   e t   a l.   pr op os e two  models   that  f oc us   on   lea r ning   wor d   ve c tor s   whi c a r e   c onti nuous   ba g - of - wor ds   ( C B oW )   a nd   C o nti nuous   S kip - gr a ( S G)   a s   s hown  in  F igur e   3.   T he s e   two  models   c a ll e W or d2Ve c .   C B oW   is   opti mi z e t pr e dict     a   wor ba s e on   wor ds   a r ound   it   or   the  c ontext .   S is   opti mi z e to  p r e dict  the   c ontext  ba s e on   the  c ur r e nt     wor [ 20 ].           F igur e   3.   C onti nuous   ba g - of - wor ds   ( lef t)   a nd  s kip - gr a ( r ight )   [ 20 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         C lev e r e e :   an  ar ti fi c ial ly  int e ll igent   w e s e r v ice   for   J ac ob  v oice   c hatbot   ( Oc tavany )   1425   2. 2. 2.   Cos in e   s im il ar i t y   C os ine  S im il a r it c a lcula tes   the  s im il a r it y   by  mea s ur ing  the  c os ine  of   th e   a ngle  be twe e tw ve c tor s .   r e s ult   is   a   number   be twe e z e r a nd   one .   I f   the   r e s ult   is   c los e   to   one ,   the  mo r e   s im il a r   it s   two  ve c tor s   [ 2 1 ] .   I n   thi s   pa pe r ,   the  ve c to r s   r e pr e s e nt   t he   s e ntenc e   ve c tor s   whic h   a r e   c a lcula ted   us ing  W or d2Ve c .   T he   s im il a r it y   be tw e e ve c tor   i     a nd  ve c tor   j     c a n   be   de f ined  a s   s hown  in   ( 2) :      ( , )   =      ( , )   =   . | | | | 2   | | | | 2   ( 2)     in  F or mul a   2,   s ymbol   .   a .   de notes   the  dot - pr oduc of   ve c tor     a nd  ve c tor   .   T he   notation  of   | | | | 2   r e pr e s e nts   the  ve c tor   magnitude  o f   ve c to r   .   I n   [ 2 2 ] ,   C os ine  S im il a r it y   is   a ls us e d   to   mea s ur e   the  s e ntenc e   s i mi lar it with  the  M a laya lam  langua ge .     2. 3.        P r op os e d   m e t h od   2. 3. 1.   De s ign   T he   de s ign  of   C leve r e e   take s   int o   c ons ider a ti on  s e ve r a J a c ob  s pe c if ica ti ons .   J a c ob  us e s   E ngli s a s   the  langua ge   a nd   W it . a i   platf o r to  ge t   the   int e nt   a nd  e nti ti e s   f r om   the  c onve r s a ti on.   J a c ob’ s   knowle dge   ba s e   is   s tor e us ing  the  M yS QL   da taba s e   a nd  ther e   is   no  im pleme ntation   of   a ny  a r ti f icia int e ll igenc e   f e a tur e s     in  J a c ob  e xc e pt  f or   the   W it . a i   platf o r m.   J a c ob  i s   a   we b - ba s e a ppli c a ti on  buil t   us ing   P HP   pr og r a mm ing   langua ge   a nd  L a r a ve F r a mew or k.   J a c ob  c ould  on ly  r e s pond  to  que s ti ons   that  ha ve   a ns we r s   in  the  d a taba s e ,   f ur ther mor e ,   one   que s ti on  ha s   only   one   a ns we r .   T he   W it . a platf o r s ometim e s   c ould  give  d if f e r e nt   c ontext   or   doe s   not  r e c ognize   the  c ontext  f or   s im il a r   qu e s ti ons .   T he r e f or e ,   two  a r ti f icia int e ll igenc e   f e a tur e s   a r e   pr opos e to  be   a dde to   J a c ob.   T he   pur pos e   is   t make   J a c ob  mo r e   int e l li ge nt  by   r e plyi ng   to   the   s a me  or   s im il a r   que s ti ons   with   a   va r iation   of   a ns we r s .   I a ddit ion   to   that   is   to   upda te   the   knowle dge   b a s e   int   the  W it . a plat f or m .   T he   C leve r e e   is   de s igned  a s   a   we s e r vice   with  P ython  pr ogr a mm ing  langua ge   a nd  F las f r a mew or k   to  a ll ow   the   a ppli c a ti on  to   be   platf o r m   a nd  tec hnology  indepe nde nt.   T he   we b   s e r vice   de s igned  with  f ou r   a c c e s s ibl e   UR L s   is   s hown  in  F igur e   4.   T he   UR L s   a r e   f or   pa r a phr a s e   ge ne r a ti on,   que s ti ons   s umm a r iza ti on,   a dd  tr a ini ng   da ta ,   a nd  t r a ini ng   the  model .   W he n   the  da ta  is   s e nt  to  the  we s e r vice ,   the  we s e r vice   is   de s igned  to  r e c e ive  the   da ta   us ing  P O S T   method   r e que s t.   T hus ,   t h is   we b   s e r vice   c ould   be   a c c e s s e d   by   a ny   we a ppli c a ti on   not   only  J a c ob .   Additi ona c ha nge s   a r e   made   in  J a c ob’ s   knowle dge   b a s e ,   it   is   to  a dd  thr e e   table s   to  s tor e   the  r e s ult s   of   pa r a phr a s e   ge ne r a ti on  a nd  s umm a r iza ti on.           F igur e   4.   C leve r e e   we s e r vice   model       C leve r e e   us e s   a   pr e - tr a ined  model  S tac ke d   R e s idual  L S T M   f o r   pa r a ph r a s e   ge ne r a ti on.   I n   F igur e   4,   ne tr a ini ng   da ta  c ould   be   a dde d   via  UR L   /add ingdata .   T his   a c ti on  c ould   only   be   done   us ing  a a dmi n   r ole.   T he   a dmi n   c ould  c hoos e   to  tr a in   the   mod e with   the   ne da tas e to   incr e a s e   the   knowle dge   a nd    the  va r iati on  o f   s e ntenc e s .   T his   pr oc e s s   r uns   in   the  ba c kgr ound  s a dmi c a do   other   a c ti vit ies .   W he J a c ob  c a ll s   the  UR L   /t r a ini ng”   a nd  the   tr a ini ng   pr oc e s s   is   r unn ing,   we   c r e a te   a   ne w   voc a bular ba s e on  the  ne w   da tas e t.   Af te r   that ,   the  we ight s   in   ne ur a l   ne twor ks   a r e   a lwa ys   r e - ini ti a li z e d.     All  of   the  c ha r a c ter s   a r e   in  lowe r c a s e   a nd  punc tuation  is   not  take int a c c ount  f or   the  input   a nd  output   in    Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   3 J une   2020:    1 422   -   1 432   1426   the  model.   I f   the  wo r is   not   f ound   in   the   voc a bular da taba s e ,   the   wor d   is   s e to   < UN K>   to   r e pr e s e nt    a unknown  wor a s   in   [ 9 ] .   T his   a im s   to   lea r ne wor ds   a nd  ne s e ntenc e s .   T he   t r a ini ng  pr oc e s s   r uns   in     the  ba c kgr ound  s a dmi c a n   do  other   a c ti vit ies .   J a c ob  r e c e ives   the  s e nten c e   or   que s ti on  f r om  the   us e r ,   a nd  s e nds   a   r e que s to  UR L   /par a phr a s e .   T he n,   s tar ti ng  with  lowe r c a s e   a ll   of   the  wor ds   in  t he   s e ntenc e .   Ne xt,   load  the  pa r a phr a s e   model  that  ha s   be e n   tr a ined  be f or e .   T he   model  gives   the  pr e diction  a s   a   r e s ult   of   pa r a phr a s e   ba s e on  the  s e nt e nc e   a s   s hown  in   F igur e   5 .   T he   pr e diction   is   a   li s o f   nu mber s .   T he   number   r e pr e s e nts   the  id  o f   wo r d   s e ve r y   wor ha s     a   dif f e r e nt  nu mber   r e pr e s e ntation.   T he n ,   the  num be r   is   c onve r ted  to  wo r d   a nd  c onc a tena te  a ll   o f   th e   wor ds .   L a s t,   the  pa r a phr a s e s e ntenc e   is   s tor e in  J a c ob’ s   da taba s e   s the  a dmi c a va li da te  a nd   de lete   the  r e s ult   in   the  J a c ob  a dmi s ys tem.   I f   ther e   a r e   e r r or s   a n a dmi s ti ll   unde r s tand   the   c ontext,   a dmi n   c a c or r e c t     the  s e ntenc e   then   va li da tes   it   s o   the   s e ntenc e   c a be   us e a s   a n   a ns we r .   T he   e r r or s   of   s e ntenc e s   c a n   be   gr a mm a ti c a e r r or s ,   s yntac t ica e r r o r s ,   a nd  s e manti c   e r r or s .           F igur e   5.   F lowc ha r t   of   pa r a phr a s e   ge ne r a ti on       T he r e   a r e   s e ve r a s teps   to  do  que s ti on  s umm a r iza t ion  whe J a c ob  c a ll s   the  U R L   / s umm a r y”   a nd  it   de s c r ibes   in  F igur e   6.   F i r s t,   ge the  c onve r s a ti on  l og  f il e s   that  ha ve n’ be e s umm a r ize d.   T his   c onve r s a ti on  log  f i les   a r e   s tor e d   whe ther e   is   a   us e r   int e r a c ts   with  J a c ob.   S e c ond,   do   the   s umm a r y   pr e pr oc e s s ing.     I s umm a r y   pr e pr oc e s s ing,   we   r e move   a ll   the  pun c tuations   a nd  number s ,   tokeniz e   the  s e ntenc e s   int wor ds ,   c ha nge   a ll   o f   the  wo r ds   to   lowe r c a s e ,   r e mo ve   s topwor ds ,   a nd  load   the   pr e - tr a ined   wor d   ve c tor s .     T he n,   c a lcula te  the   s e ntenc e   ve c tor s   by  a ve r a ging   the  tot a l   of   wor ve c tor s   f or   e a c s e ntenc e .   T hi r d,   c r e a te  the  s im il a r it y   matr ix   with   s ize   x   n ,   whe r e   n   is   th e   tot a o f   s e ntenc e s .   T he   va lue  f or   e a c r ow   a nd   c olum is   c a lcula ted  us ing  the  C os ine  S im il a r i ty  method   th a r e pr e s e nts   the  s im il a r it y   of   e a c two - s e ntenc e   ve c tor s .   T he   r ow   in  the   matr ix   r e pr e s e nts   the  f ir s s e ntenc e   a nd  the  c olu mn  r e p r e s e nts   the  s e c ond  s e ntenc e   that   wa nts   to  c ompar e .   F our th ,   do  s umm a r e xtr a c ti on  us in the  T e xtR a nk  a lgor it hm.   T he   we ight s   in  e ve r e dge   of     the  gr a ph  us e   the  va lue  f r om  the  s im il a r it matr ix .   T he n,   c a lcula te  the  s c or e s   f or   e ve r e dge   us ing  ( 1 )   unti it   r e a c he s   the  c onve r ge nc e   [ 1 3 ] .   T he   las t,   c hoos e   25%   s e ntenc e s   whic ha ve   the  highes s c o r e   f r om     the  e nti r e   que s ti ons   or   r e que s ts   that  a s by   us e r   [ 10 ,   1 1 ] .   S a me   a s   the   r e s ult   o f   pa r a phr a s e ,   the   r e s ult s   of   que s ti on  s umm a r iza ti on  a r e   s tor e in  the  da ta ba s e   a nd  a dmi c a va li da te  or   de lete   th e   r e s ult   of     que s ti on  s umm a r iza ti on.   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         C lev e r e e :   an  ar ti fi c ial ly  int e ll igent   w e s e r v ice   for   J ac ob  v oice   c hatbot   ( Oc tavany )   1427       F igur e   6.   F lowc ha r t   of   s umm a r iza ti on       W e   us e   the  W hit e box  tes ti ng  a ppr oa c to  mea s ur e   the  im pleme ntation  of   the  C os ine  S im il a r it y   method.   I t   is   be c a us e   thi s   tes ti ng  is   s uit a ble  to  tes the  a lgor it h m.   Unlike  the  othe r   r e s e a r c a bout  Ar ti f icia l   I ntelli ge nc e   ge ne r a ll y,   in   thi s   pa pe r ,   we   us e   the   T e c hnology   Ac c e ptanc e   M ode ( T AM )   a s   a e va luation  method.   T AM   is   us e to   pr e dict   the   a c c e ptanc e   of   tec hnology   in   a n   or ga niza ti on .   T he   r e s ult s   o f   T AM   a r e   de ter mi ne ba s e on   two   pe r c e ived  va r iable s   whic a r e   P e r c e ived  Us e f ulne s s   a nd  P e r c e ived   E a s e   o f     Us e   [ 2 3 ] .   W e   us e   the  ini ti a l   s c a le  it e ms   f or   P e r c e iv e Us e f ulnes s   a nd  P e r c e ived  E a s e   of   Us e   [ 2 4 ,   25 ].   T r a ini ng  da ta  f or   the  S tac ke R e s idual  L S T M   mod e is   s tor e in  T e xt  Doc ument s ,   c ons is ti ng  of   tr a in   s our c e   a nd  tr a in  tar ge t.   T he r e   is   no  tes da tas e f or   thi s   model,   but  f or   the   e va luation,   we   us e   a i nter view   with  J a c ob  a dmi ns   to   know   the   pa r a phr a s e   r e s ult s   a r e   f e a s ibl e   or   not .   Othe r   than   pa r a phr a s e   r e s ult s ,   we   do     a int e r view   to   s uppor t   the   e va luation  r e s ult s   us ing  T AM   a nd  to  know   the   s umm a r iza ti on   r e s ult s   a r e   f e a s ibl e   or   not.   E va luations   us e   T AM   a nd  int e r view ,   we   do   thes e   two  e va luations   with  th r e e   a dmi ns .     2. 3. 2.   I m p lem e n t at ion   T his   pa r e xplains   the   int e gr a ti on  o f   C leve r e e   modul e   int o   J a c ob  a ppli c a ti on,   the   r e s ult   of     the  im pleme ntation  of   S tac ke R e s idual  L S T M ,   C os ine  S im il a r it y,   a nd   T e xtR a nk.   C leve r e e   modul e   is   buil t   li ke   the  de s c r ipt ion  in   the  r e s e a r c method  whic i s   buil a s   a   we s e r vice   a nd  the  r e s ult   is   s hown  in   F igur e   7.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   3 J une   2020:    1 422   -   1 432   1428       F igur e   7.   S c r e e ns hot  of   c omm a nd  p r ompt   that   s hows   the  C leve r e e   s e r ve r   is   on       2. 3. 3.   I n t e gr at ion   in   j ac ob   a d m in   s ys t e m   T he   int e gr a t ion  in   th is   pa r t   mea ns   the   ti me   whe C leve r e e   is   c a ll e by   J a c ob.   J a c ob  c a ll s   the   UR L   /par a phr a s e   whe the  a dmi wa nts   t c r e a te  a   ne a ns we r   a nd  whe J a c ob  gives   the  a n s we r   to  the  us e r   that  is   s hown  in  F igur e   8.   T he n ,   J a c ob  c a ll s   the  UR L   /s umm a r y”   whe a dmi ope ns   the  logi pa ge   whic is   s hown  in  F igu r e   9 .   J a c ob  c a ll s   the  UR L   /addingd a ta”   whe a dmi n   c r e a tes   a   ne w   a ns we r   s the   s e ntenc e s   a r e   a dde to  t r a in  s our c e   a nd   tr a in   tar ge t   da ta.   B a s e on  the  a ns we r   that   c r e a ted  by   a dmi n ,   C leve r e e   woul c r e a te   the  pa r a phr a s e s e ntenc e .   T he n,   a dmi ns   c a a c c e pt  or   r e vis e   the  s e ntenc e .   L a s t,   J a c ob  c a ll s   t he   UR L   /t r a ini ng”   whe a a dmi n   wa nts   to  upda te  the  kno wle dge   a nd  va r iation  o f   a ns we r s   ba s e on  a   ne d a tas e t.           F igur e   8.   c a s e   whe UR L   /par a phr a s e   is   c a ll e d           F igur e   9.   T he   c a s e   whe UR L   /s umm a r y”   is   c a ll e       2. 3. 4.   I m p lem e n t at ion   of   p r e - t r ain e d   m od e l   of   s t ac k e d   r e s id u al   L S T M   T he   im pleme ntation   o f   thi s   pr e - tr a ined   model   is   u s ing  T e ns or f low   pa c ka ge   in   P ython   p r ogr a mm ing   langua ge .   T he   input   a nd  output   dim e ns ions   a r e   th e   s a m e ,   the   dim e ns ion  s ize   is   256 .   T he   dim e ns ion  of   wor d   e mbedding  is   the  s a me  a s   the  input   a nd  out put  d im e ns ions .   I tr a ini ng,   the  model  us e s   0. 001  wit a   f ixed  va lue  a s   the  lea r ning  r a te   a nd  Ada opt im ize r .   T h e   ba tch  s ize   is   s e to  32  a nd   the  number   of   it e r a ti o ns   is   s e to  1 , 500.   E ve r two  L S T M   la ye r   is   a dde with   th e   r e s idue  a s   in   [ 9 ] .   T he   tot a l   tr a i ning   da ta   is   516   s e ntenc e s   a nd  the  tot a voc a bular y   is   901  wo r ds ,   but   it   c a incr e a s e   if   a dmi n   a dds   the   ne w   s e ntenc e s   of   the   a ns we r .     T he   tr a ini ng  da ta  c ontains   s e ntenc e s   a bout  th e   Dua De gr e e   pr ogr a of   I nf or matics   in  Un iver s it a s   M ult im e dia  Nus a ntar a   a nd   it s   ge t   f r om   int e r view   with   the   M a r ke ti ng  Divis ion   of   Unive r s it a s   M u lt im e dia  Nus a ntar a .   B e f or e   pr oc e s s   the  s e ntenc e   int the   model,   we   ne e d   to  do   pr e pr oc e s s ing.   I n   the   pr e pr oc e s s ing,     we   us e   nlt pa c ka ge   to  r e move  punc tuation  a n tokeniz e   the  s e ntenc e   to  w or ds .   F igur e   10  r e pr e s e nts     the  indi c a tor   whe th e   tr a ini ng   pr oc e s s   is   r unnin g.   I the   tr a ini ng   pr oc e s s ,   we   s how   the  s our c e ,   ta r ge t,   a nd   pr e dict  s e ntenc e .   T his   p r oc e s s   is   r unning  in  the  ba c kgr ound  f o r   the  a dmi n is tr a tor   to   c a r r y   out  o ther   a c t ivi ti e s .   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         C lev e r e e :   an  ar ti fi c ial ly  int e ll igent   w e s e r v ice   for   J ac ob  v oice   c hatbot   ( Oc tavany )   1429         F igur e   10.   T r a ini ng  p r oc e s of   s tac ke r e s idual  L S T M       2. 3. 5.   I m p lem e n t at ion   of   c os in e   s im il ar it y   an d   T e xt Rank   T he   im pleme ntation  of   the  C os ine  S im il a r it me thod  us e s   numpy   pa c ka ge   f or   pr e pr oc e s s ing  a nd  c a lcula ti on  ve c tor s   of   e a c s e ntenc e   pa ir s .   T e xt R a nk  a lgor it hm  is   im pleme nted  us ing  ne two r kx  pa c ka ge .     I pr e pr oc e s s ing  da ta  of   s umm a r iza ti on  f e a tur e   is   us e nlt pa c ka ge   to  r e move  s topwor ds   a nd  tokeniz e   s e ntenc e   to  li s of   w or ds .       3.      RE S UL T S   AN AN AL YSI S   3. 1.        T e s t in g   3. 1. 1.   T e s t in f or   im p lem e n t at ion   o f   c os in e   s im il ar it y   B a s e on  the  s c e na r io  in  T a ble  1,   we   ha ve   two  v e c tor s .   I f   we   manua ll c a lcula te  us ing  F or mul a   2,   we   c a ge the  va lue   of   C os ine  S im il a r it y   is   1   be c a us e   bo th  ve c tor s   e xa c tl ha ve   the  s a me  d ir e c ti on.     I T a ble  2 ,   we   ha ve   two  di f f e r e nt  va lues   o f   ve c to r s   a nd  we   ge the   C os ine  S im il a r it y   s c or e   is   0. 77 74   us ing  F or mul a   2 .   F igur e   11  a nd   F igu r e   12   a r e   the  r e s u lt s   that  a r e   given  by   ou r   modul e ,   C leve r e e .   T hus ,   we   c a c onc lude  that  the  im pleme ntation   of   the  C os ine  S i mi lar it method   in  C leve r e e   is   s uc c e s s .       T a ble  1.   F ir s s c e na r io  to  tes the  im pleme ntation  o f   c os ine  s im il a r it method   V a r ia bl e   C ondi ti on   V e c to r  di me ns io n   F iv e   V e c to r  1   [ 0,18  0,3   - 0,18  0,49   - 0,18]   V e c to r  2   [ 0,18  0,3   - 0,18  0,49   - 0,18]   E xpe c te d output   T he  r e s ul of  t he  ma nua c a lc ul a ti on f or  ve c to r  ma gni tu de , dot  pr oduc t,  a nd c os in e  s im il a r it y i s  t he  s a me   a s   th e  r e s ul s how n i n F ig ur e  11 .           F igur e   11 .   T he   s im il a r it y   r e s ult   us ing  c os ine  s im il a r it method   f or   the  f ir s s c e na r io       T a ble  2.   S e c ond  s c e na r io  to   tes the  im pleme ntatio of   c os ine  s im il a r it y   method   V a r ia bl e   C ondi ti on   V e c to r  di me ns io n   T e n   V e c to r  1   [ 0,29  0,19   - 0,81  0,59   - 0,44 0,29  0,19   - 0,81  0,59   - 0,44]   V e c to r  2   [ 0,81  0,35    - 0,98  0,18  0,03  0,81  0,35   - 0,98  0,18  0,03]   E xpe c te d output   T he  r e s ul of  t he  ma nua c a lc ul a ti on f or  ve c to r  ma gni tu de , dot  pr oduc t,  a nd c os in e  s im il a r it y i s  t he  s a me  a s   th e  r e s ul s how n i n F ig ur e  1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   1693 - 6930   T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l Vol.   1 8 ,   No .   3 J une   2020:    1 422   -   1 432   1430       F igur e   12 .   T he   s im il a r it y   r e s ult   us ing  c os ine  s im il a r it method   f or   the  s e c ond  s c e na r io       3. 2.     E valu at io n   T he   e va luations   a r e   c a r r ied  out   us ing  the  T A M   e va luation  method  a nd  int e r view   with   thr e e     J a c ob  a dmi nis tr a tor s .   T he   T AM   e va luation  is   done   us ing  que s ti onna ir e s   to  mea s ur e   the  P e r c e i ve Us e f ulnes s   a nd  P e r c e ived  E a s e   of   Us e .   F igur e   13   pr e s e nts   t he   pe r c e ntage   f or   e a c que s ti on  in  P e r c e ived  Us e f ulnes s   va r iable s   whe r e   que s ti on  number   one   ( J ob  Di f f icult  W it hout ) ,   thr e e   ( J ob  P e r f or manc e ) ,   a nd   f our tee   ( Us e f ull   f o r   S umm a r y   F e a tur e )   ha ve   the   h ighes s c or e .   I t   is   be c a us e   C leve r e e s   f e a tur e s   c a he lp   a nd   incr e a s e     the  pe r f or manc e   o f   the   J a c ob  a dmi job ,   e s pe c ially  in  the   Que s ti on  S umm a r iza ti on   f e a tur e .   T he   s malles t   s c or e   is   a c hieve on  que s ti on  number   twe lve  a bout  M a ke s   J ob  E a s ier .   I is   due   to   the  f e us a ge   ins t r uc ti ons   in  J a c ob  a dmi nis tr a tor   pa ge s   s s ometim e s   a dmi n   f e e ls   c onf us e us ing  the  a dmi n   s ys tem.   Ove r a ll ,   the  tot a pe r c e ntage   f or   P e r c e ived  Us e f ulnes s   i s   79. 17%   ( s tr ongly  a gr e e )   that  thes e   two  f e a tur e s   of   the  C leve r e e   modul e   a r e   us e f ul.   F igur e   14   r e pr e s e nts   the  pe r c e ntage   f or   e a c qu e s ti on  in  P e r c e ived   E a s e   of   Us e   va r iable s   whe r e   que s ti on  number s   f our tee ( e a s e   to  us e   f or   s umm a r f e a tur e )   a nd  f if tee ( e a s e   to  us e   f or   pa r a phr a s e   f e a tur e )   ha ve   the  highes s c or e .   I is   be c a us e   both  f e a t ur e s   make   the  wa to  upda te  J a c ob's   knowle dge   e a s ier   T he   s malles s c or e   is   ob taine on   que s ti on   n umber   nine   a bout   Une xpe c ted  B e ha vior .   I t   is   due   to     the  pa r a phr a s ing  r e s ult s   that   do   not   matc with   t he   a c tual  c ontext,   thus   making   the   s ys tem  unpr e dicta ble.   Othe r   than  une xpe c ted  be ha vior ,   que s ti on   number s   thr e e   ( f r us tr a ti ng) ,   f our   ( de pe nde nc e   on  manua l) ,   a nd  f ive   ( menta e f f or t )   a ls ha ve   the  s malles s c or e   b e c a us e   it   ha s   a   ne ga ti ve   mea ning.   P a r a phr a s ing  r e s ult s   s ometim e s   give  s e mantica l,   s yntac ti c a l,   or   gr a m matica e r r or s   s a dmi ns   mus unde r s tand  the  m e a ning  of     the  s e ntenc e   f ir s be f or e   ve r i f ying  the   r e s ult s   s it   c a us e s   the  f r us tr a ti ng  a nd   menta e f f o r to   a dmi ns .   De pe nde nc e   on  M a nua a ls ge t s   the  s malles s c or e   be c a us e   a s   a   whole   of   a   s ys tem  it   ne e ds   a   manua book  s a dmi can   lea r how  to  us e   both  f e a tur e s .   Ove r a ll ,   the  tot a pe r c e ntage   f o r   P e r c e ived  E a s e   of   Us e   is   72. 57%   ( s tr ongly  a gr e e ) .   B a s e on  the  int e r view   r e s ult s   c onduc ted  to  e va lu a te  the  C leve r e e   in  a   qua li tative  wa y,   it   is   known   that  the  pa r a ph r a s e   ge ne r a ti on  gives   good   r e s ult s .   How e ve r ,   s ome  o f   the  pa r a phr a s e s e ntenc e s   s ti l r e quir e   im pr ove ment.   T he r e   is   a n   incompr e he ns ibl e   s e ntenc e   f r om   the   r e s ult s   of   pa r a phr a s e   be c a us e   a   wor d   a ppe a r s   not  in  the  r igh plac e   ( s yntac ti c a e r r or ) .   T hus ,   it   is   im pa c ti ng  the   c ontext  a nd   mea ning  o f   the   whole   s e ntenc e .   T his   r e s ult   doe s   not   matc h   with   the   a c tual   c onte xt  ( s e mantic   e r r o r ) .   T he   c a us e   of   thi s   pr oblem   i s   whe r e   s e ntenc e s   a nd  wor ds   a r e   not  a va il a ble  in  the  tr a ini ng  da tas e t.   He nc e ,   the  model  ha s   ne ve r   lea r ne d     the  s e ntenc e s   a nd  wor ds   be f or e .   Anothe r   r e s ult   of   the   que s ti on  s umm a r iza ti on   f e a tur e   s uc c e s s f ull gives     the  de s ir e que s ti on  by  J a c ob’ s   a dmi nis tr a tor s   a nd  s hows   the  im por tant  que s ti ons   a s ke by  us e r s .             F igur e   13 .   T he   ba r   c ha r t   f o r   the   r e s ult s   of   pe r c e ived  us e f ulnes s   va r iable s   Evaluation Warning : The document was created with Spire.PDF for Python.
T E L KO M NI KA   T e lec omm un   C omput   E C ontr o l         C lev e r e e :   an  ar ti fi c ial ly  int e ll igent   w e s e r v ice   for   J ac ob  v oice   c hatbot   ( Oc tavany )   1431       F igur e   14 .   T he   ba r   c ha r t   f o r   the   r e s ult s   of   pe r c e ived  e a s e   of   us e   va r iable s       4.   CONC L USI ON   W e   pr opos e a nd  de ve loped  the  C lev e r e e   a r ti f icia int e ll igenc e   modul e   f or   the  J a c ob  voice   c ha tbot   a ppli c a ti on.   C leve r e e   de li ve r s   two  f e a tur e s pa r a p hr a s e   of   a ns we r s   a nd   que s ti ons   s umm a r iza ti on.   T he s e   two  f e a tur e s   a r e   us e f ul  f or   upda ti ng   J a c ob’ s   knowle dge   ba s e   manua ll with  the  he lp  of   a a dmi n is tr a tor .     T he   de ve lopm e nt  of   the  C leve r e e   modul e   a s   a   w e s e r vice   e a s e s   the  int e gr a ti on  of   the  modul e   int J a c ob.   T he   pr e - tr a ined  model   of   S tac ke R e s idual  L S T M   is   a ls pr ove n   to  be   s uc c e s s f ul  in  ge ne r a ti ng  pa r a phr a s e   of   a ns we r s .   I is   a ls dis playe in   t his   s tudy  that   t he   model  c ould  be   us e to  ge ne r a te  pa r a phr a s e   ba s e on    the  given  tr a ini ng  da tas e t.   T he   que s ti ons   s umm a r iza ti on  f e a tur e   powe r e by  the  C os ine  S im il a r it y   method  with  pr e - tr a ined  W or d2Ve c   a nd  T e xtR a nk  a lgor it hm  pr oduc e s   s a ti s f a c tor y   r e s ult s   a s   ve r if ied  by   J a c ob’ s   a dmi nis tr a tor s .   T he   T AM   e va luation  method  s ho ws   th a 79. 17%   o f   r e s ponde nts   s tr ongly  a gr e e   tha the  two  f e a tur e s   a r e   us e f ul  a nd  72 . 57%   of   r e s ponde nts   s tr ongly  a gr e e   that  the  two  f e a tur e s   a r e   e a s to  us e .       RE F E RE NC E S   [1 ]   P.   A .   A n g g a,   et   al . ,   " D e s i g n   o c h at b o t   w i t h   3 D   av a t ar,   v o i ce  i n t erface,   an d   faci a l   ex p res s i o n , "   2 0 1 5   I n t e r n a t i o n a l   Co n f er e n ce  o n   S ci e n ce  i n   I n f o r m a t i o n   Tech n o l o g y,   p p .   3 2 6 - 3 3 0 ,   2 0 1 5 .   [2 ]   M.   H .   Su ,   et   al . " A   Ch at b o t   U s i n g   L ST M - b as e d   Mu l t i - L ay er  E mb ed d i n g   fo E l d erl y   Care, "   2 0 1 7   I n t e r n a t i o n a l   Co n f er e n ce  o n   O r a n g Tech n o l o g i es   (IC O T),   p p .   7 0 - 74 ,   2 0 1 7 .   [3 ]   F.   P.   Pu t ri ,   H .   Mei d i a,   an d   D .   G u n a w an ,   “D e s i g n i n g   In t e l l i g e n t   Pers o n a l i ze d   Ch at b o t   fo H o t e l   Serv i ce s ”,   A CA I   2 0 1 9 P r o cee d i n g s   o f   t h 2 0 1 9   2 nd   In t er n a t i o n a l   Co n f e r en ce  o n   A l g o r i t h m s ,   Co m p u t i n g   a n d   A r t i f i c i a l   In t e l l i g e n ce p p .   4 6 8 - 4 7 2 ,   2 0 1 9 .   [4 ]   S.   W i j ay an d   A .   W i ca k s a n a,   " J aco b   V o i ce  Ch at b o t   A p p l i cat i o n   U s i n g   W i t . ai   fo Pro v i d i n g   In fo rma t i o n   i n   U M N , "   In t e r n a t i o n a l   Jo u r n a l   o f   E n g i n ee r i n g   a n d   A d v a n ce d   Tec h n o l o g y ,   v o l .   8 ,   n o .   6 S3 ,   p p .   1 0 5 - 1 0 9 ,   Sep t emb er   2 0 1 9 .   [5 ]   R.   Bh ag at   a n d   E .   H o v y ,   " W h at   I s   Parap h ra s e?, "   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c .   v o l .   3 9 ,   n o .   3 ,     p p .   4 6 3 - 4 7 2 ,   Sep t em b er   2 0 1 3 .   [6 ]   V .   A .   Bh ag w a t ,   " D eep   L earn i n g   fo Ch a t b o t s , "   M. S.   T h es i s ,   Sch .   o Co m p .   Sci en ce,   San   J o s St a t U n i v . ,   San   J o s e,   CA ,   2 0 1 8 .   [7 ]   M.   Su n d ermey er,   H .   N ey ,   an d   Sch l ü t er,   " Fro Feed fo r w ard   t o   Recu rre n t   L ST N eu ral   N e t w o rk s   fo r     L an g u a g Mo d e l l i n g , "   IE E E / A CM   Tr a n s a c t i o n s   o n   A u d i o ,   S p eec h ,   a n d   La n g u a g P r o ce s s i n g ,   v o l .   2 3 ,   n o .   3 ,     p p .   5 1 7 - 5 2 9 ,   2 0 1 5 .   [8 ]   S.   Y av u z,   e t   al . " D E E PC O PY :   G ro u n d e d   Re s p o n s e   G en erat i o n   w i t h   H i erarch i cal   P o i n t er  N et w o r k s , "   32 nd   Co n f er e n ce  o n   Ne u r a l   In f o r m a t i o n   P r o ce s s i n g   S ys t em s ,   M o n t r éa l ,   2 0 1 9 .   [9 ]   A .   Prak as h ,   et   a l . " N eu ral   Parap h ra s G en erat i o n   w i t h   St ack e d   Res i d u a l   L ST N et w o r k s , "   Th 2 6 th   In t e r n a t i o n a l   Co n f er e n ce  o n   C o m p u t a t i o n a l   Li n g u i s t i cs O c t o b er   2 0 1 6 .   [1 0 ]   I.   Ferrei ra,   et   al . " Bu g   Rep o rt   Su mmari za t i o n :   A n   E v al u a t i o n   o Ran k i n g   T ec h n i q u es , "   2 0 1 6   X   B r a z i l i a n   S ym p o s i u m   o n   S o f t wa r Co m p o n en t s ,   A r ch i t ec t u r es   a n d   R eu s e ,   p p .   1 0 1 - 1 1 0 ,   2 0 1 6 .   [1 1 ]   S.   A.   Bab ar   a n d   P.   D .   Pat i l Im p ro v i n g   Perfo rma n c o T ex t   Su mmar i zat i o n ,   P r o ce d i a   C o m p u t er   S ci e n ce ,     v o l .   4 6 ,   p p .   3 5 4 - 3 6 3 ,   2 0 1 5 .     [1 2 ]   D .   M.   V i c t o r,   e t   a l . " A p p l i cat i o n   o f   E x t rac t i v T e x t   Su mmar i zat i o n   A l g o ri t h m s   t o   S p eech - to - T e x t   Me d i a, "     In t e r n a t i o n a l   Co n f er e n ce  o n   H yb r i d   A r t i f i ci a l   In t el l i g en ce  S ys t e m s ,   p p .   5 4 0 - 5 5 0 ,   2 0 1 9 .   [1 3 ]   R.   Mi h al cea  an d   P.   T arau ,   " T ex t Ran k :   Bri n g i n g   O r d er  i n t o   T e x t , "   P r o ceed i n g s   o f   t h 2 0 0 4   Co n f er e n ce   o n   E m p i r i c a l   M e t h o d   i n   Na t u r a l   La n g u a g P r o ces s i n g ,   p p .   4 0 4 - 4 1 1 2 0 0 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.