I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   21 ,   No .   2 ,  Feb r u ar y   2 0 2 1 ,   p p .   1 0 5 7 ~1 0 64   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 2 1 .i 2 . p p 1 0 57 - 10 64          1057       J o ur na l ho m ep a g e :  h ttp : //ij ee cs.ia esco r e. co m   Dia lo g ue state tra ck i ng  accura cy  i m pro v e m en t  by   disting uishi ng  slo t - v a lue pairs  and  dia lo g ue behav io ur       K ha ldo o n H .   Alhu s s a y ni 1 ,   A lex a nd er   Z a m y a t in 2 ,  S.  E m a n Alsh a m er y 3   1 Co m p u ter  Ce n ter,  Ba b y lo n   Un iv e rsit y ,   Ba b y lo n ,   Ira q .   2 Co m p u terScie n c e   De p a rtme n t,   T o m s k   S tate   Un iv e rsit y ,   T o m s k ,   Ru ss ia   3 S o f tw a r e   De p a rt m e n t,   Ba b y lo n   Un iv e rsit y ,   Ba b y lo n ,   Ira q       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A p r   2 3 ,   2 0 2 0   R ev i s ed   J u n   1 5 ,   2 0 2 0   A cc ep ted   J u l 8 ,   2 0 2 0       Dia lo g   sta te  trac k in g   (DST )  p la y s  a   c rit ica l  ro le  in   c y c le  li f e   o f   a   tas k - o rien ted   d ialo g u e   sy ste m .   DS T   r e p re se n ts  th e   g o a ls  o f   th e   c o n su m e r  a t  e a c h   ste p   b y   d ialo g u e   a n d   d e sc rib e s  su c h   o b jec ti v e s  a s  a   c o n c e p tu a l  stru c tu re   c o m p risin g   slo t - v a lu e   p a irs  a n d   d ialo g u e   a c ti o n s th a t  sp e c if ica ll y   i m p ro v e   th e   p e rf o r m a n c e   a n d   e f fe c ti v e n e ss   o f   d ialo g u e   sy ste m s.  DS T   f a c e s  se v e ra l   c h a ll e n g e s:  d iv e rsit y   o f  li n g u isti c s,  d y n a m ic  so c ial  c o n tex t  a n d   th e   d isse m in a ti o n   o f   th e   sta te  o f   d i a lo g u e   o v e r  c a n d i d a te  v a lu e s  b o th   in   slo t   v a lu e s  a n d   in   d ialo g u e   a c ts  d e term in e d   in   o n to l o g y .   In   m a n y   tu rn s  d u ri n g   th e   d ialo g u e ,   u se rs  in d irec tl y   r e f e r  to   th e   p re v io u s  u tt e ra n c e s,  a n d   th a t   p ro d u c e   a   c h a ll e n g e   to   d isti n g u is h in g   a n d   u se   o f   re late d   d ialo g u e   h isto r y ,   Re c e n t  met h o d s u se d   a n d   p o p u lar  f o r  th a t  a re   in e ff e c ti v e .   In   th is  p a p e r,   w e   p ro p o se   a   d ialo g u e   h isto rica l  c o n tex t  se lf - Atten ti o n   f ra m e w o rk   f o r  DST   th a t  re c o g n ize s   re lev a n t  h isto rica l  c o n tex t  b y   in c l u d i n g   p re v io u s  u se r  u tt e ra n c e   b e s id e   c u rre n t  u se r  u tt e ra n c e s  a n d   p re v io u s  sy s tem   a c ti o n s  w h e re   sp e c if ic  slo t - v a lu e   p iers   v a riatio n s  a n d   u se s  t h a t  t o g e th e r  w it h   w e ig h ted   sy st e m   u tt e ra n c e   to   o u t p e rf o rm   e x isti n g   m o d e ls  b y   re c o g n izin g   th e   re late d   c o n tex t  a n d   th e   re lev a n c e   o f   a   s y ste m   u tt e ra n c e .   F o r  th e   e v a lu a ti o n   o f   th e   p ro p o s e d   m o d e l  th e   W o Z  d a tas e t  w a s  u se d .   T h e   imp lem e n tatio n   w a s  a tt e m p ted   w it h   t h e   p ri o r   u se r  u tt e ra n c e   a s  a   d ialo g u e   e n c o d e r  a n d   se c o n d   b y   th e   a d d it i o n a l  sc o re   c o m b in e d   w it h   a ll   th e   c a n d i d a te  slo t - v a lu e   p a irs  i n   t h e   c o n tex t  o f   p re v io u s  u se r  u tt e ra n c e s  a n d   c u rre n t  u tt e ra n c e s.  T h e   p ro p o se d   m o d e l  o b tain e d   0 . 8   p e r   c e n t  b e tt e r  re su l ts  th a n   a ll   sta te - of - th e - a rt  m e th o d s  i n   t h e   c o m b in e d   p re c isio n   o f   th e   targ e t,   b u t   th is  is  n o t  t h e   tu r n a ro u n d   c h a ll e n g e   f o r  th e   su b m is sio n .   K ey w o r d s :   Dialo g   s tate  tr ac k i n g   E n co d er - d ec o d er     Nau tr al  la n g u a g e  p r o ce s s in g   T ask - o r ien ted   d ialo g u e  s y s te m     T h is  is  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kh ald o o n   H.   A lh u s s a y n i   C o m p u ter   C en ter   B ab y lo n   U n i v er s it y ,  B ab y lo n ,   I r aq   E m ail: a l h u s s a y n i8 3 @ g m a il.c o m       1.   I NT RO D UCT I O N     Dialo g   s tate  tr ac k in g   ( DST )   is   a  cr u c ial  p ar t  o f   ta s k - o r i en ted   d ialo g u e  s y s te m s   t h at  tr ac k   u s er   o b j ec tiv es  at  ea ch   tu r n   b ased   o n   d ialo g u e  h i s to r y .   T ask - o r ie n ted   d ialo g u e  s y s te m s   co m m u n icate   w it h   n at u r al - lan g u a g e  u s er s   b y   ta lk i n g   to   a  v o ice  i n ter f ac e   o r   w r i tin g   t ex t  to   p er f o r m   tas k s   t h e y   h a v e  in   m i n d .   Mo d er n   DST   m et h o d s   r el y   o n   m o d els  f o r   d ee p   lear n in g .   P r o p o s als  th at  ar e  m o r e  r ec en t   h av e   b ee n   m ad e  f o r   s e v er al  n eu r al - b ased   D ST   s tr u ct u r es.  I n   ad d itio n   to   h an d cr af t s   f ea t u r es,  w h er e  a  r ep r esen tatio n   b ased   o n   p r e - tr ain ed   w o r d   in cr u s tatio n s   is   co m p u ted   to   ag r ee   o n   s u c h   v ec to r s ,   th e  n e u r al   f aith   tr ac k er   ( NB T )   m o d el  p r o p o s ed   to   u s e  d ep th   lear n in g   ( DNN)   an d   co n v o lu tio n ar y   n et w o r k   ( C N N)   to   ca lcu late  t h ese  r ep r esen tatio n   v ec to r s   in   o r d er   to   lear n   f ea tu r e  ap p r o p r iate  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1058   f o r   ea ch   s tate   b y   [ 1 ] .   Nev er t h eless ,   m u lti - v alu ed   s lo ts   d o   n o t  tak e  i n to   ac co u n t   all  v al u es ,   alth o u g h   t h i s   w o r k   m a y   p r ed ict  m u lt ip le  p o ten tial   v alu e s   [ 2 ] .   Z h o n g   et  al.   ( 2 0 1 8 )   p r o p o s ed   th e  GL A D  m o d el  w it h   s e lf - atte n tio n - b ased   r ec u r r en t  n et w o r k s   an d   s i m u lated   r ep r esen tatio n s   f o r   ea ch   u ter u s   a n d   p r ev io u s   s y s te m   b eh a v io u r ,   ca lcu lati n g   a  s i m ilar it y   to   ea ch   s lo t - v a lu e  [ 3 ] .   T h is   h as  i m p r o v ed   GL A D  ar ch itect u r e  w it h   th e  el i m in at io n   o f   s lo t - d ep en d en t  r ec u r r en t   u tter an ce   n e t w o r k s   a n d   d ev ice  i n t er v en tio n   en co d er   an d   t h e  u s e  o f   an   ap p licatio n   v ec to r   g lo b all y   co n d itio n ed   en co d er   ( GC E ) .   I n   th e  last   t w o   ap p r o ac h es,  h o w e v er ,   d is tr ib u to r s   in   th e   p r o d u ctio n   s y s te m   w er e  s ti ll  i n ef f ec ti v e   d u e  to   th eir   f a ilu r e   to   r ec o g n is e  a n d   ta k e  th e   ap p licab le  co n tex t   o n   b o ar d ,   w h ile   t h e  w o r k   co u ld   id en ti f y   t h e  as s o ciate d   co n te x t.  T h e  p u r p o s e  o f   DST   is   t o   p r ed ict  th e  s et  o f   o b j ec tiv es  t h at   co r r esp o n d   to   o n to lo g ical  p r o d u cts   in   u s er   s t ate m e n ts   th a t  ar e  r ep r esen ted   as  s lo t - v alu e   p air s .   T h is   w il l  b ec o m e  a  co m p licated   task   w h e n   t h e  lex ica l  d is cr ep an c y   is   c h allen g ed   d y n a m ics  o f   th e  c o n te x t   p r o d u ctio n ,   th e  d is tr ib u tio n   o f   th e  s tate  o f   t h e  d ialo g u e,   to tal  p air s   o f   ca n d id ates  an d   d ialo g u e  ac tio n s   d escr ib ed   in   co n ce p tu aliza tio n .   W e  p r esen t  h er e  an   i m p r o v e m en t  m o d el  u s ed   b y   [ 3 ] ,   u s in g   th e  p r io r   v alu es  in   ea ch   s p i n ,   w h ich   f o r m   th e  s tat e.   T o   th is   e n d ,   th e  c u r r en t  a n d   p r ev io u s   u s er   s tate m en t s   h av e  b ee n   m er g ed   an d   v ar iatio n s   b et w ee n   t h e m   a n d   o n to lo g y   h a v e  b ee n   d eter m i n ed .       2.   RE L AT E D   WO RK   T h e  m e t h o d s   o f   d ialo g u e  s tate   m o n ito r in g   ca n   b e  d iv id ed   in to   a  r u les - b ased   ap p r o ac h ,   s tatis tics   a n d   a  d ee p   lea r n in g   s y s te m .   T h e  u s e  r u le - b ased   h eu r i s tic s   an d   ca lcu late  th e  co n f id en ce   s c o r es  o f   th e  N - b est   ca n d id ates  p r o d u ce d   to   d eter m i n e  t h e  co r r ec t  d ialo g u e  s tat es  f r o m   t h e  p er f o r m a n ce   o f   t h e  n atu r al  lan g u ag e   co m p r e h en s io n   m o d u le  [4 - 7] .   T h e  p u r p o s e  is   m o n ito r   th e  d etails  n ee d ed   to   tr ac k   th e  s tat u s   o f   t h e  d ialo g u e.   Nev er th e less ,   th e s e  p r in cip le s   ar e  n o t  co llected   a u to m at i ca ll y   f r o m   ac t u al  i n f o r m atio n   o n   a  d ialo g u e  to   in v o l v e  ca r e f u l   tu n i n g   an d   r e s p o n s i v e  d esi g n   atte m p t s .   D u e  to   th ese  tech n iq u e s ,   t h e  d ef in itio n   o f   d ialo g u e   s tates o f ten   lead s   to   i n ac cu r ac y .   Statis t ical  m et h o d s   f o r   d ialo g u e   b et w ee n   t h e  Sta te  T r ac k in g   [8 - 10]   h a v e  b ee n   u s ed   t o   p r o v id e  alter n ati v es  to   cr af ted   r u les.  S tatis tical  ap p r o ac h es  s u ch   as  l o g is tic  r eg r es s io n   a n d   th e  B ay esia n   n et w o r k   f o r   th e  ac co m p lis h m en t  o f   h i g h - p er f o r m an ce   m o n ito r i n g   a n d   th e  i m p le m e n tatio n   o f   a  co n f id en ce   ev al u atio n   o f   u s er   i n f o r m atio n .   T h ese  r ep o r ts ,   h o w e v er ,   h a v e  a  co m m o n   p r o b lem   t h at  e v er y   co n v er s atio n ,   r ath er   e x p en s i v e  co m p u tat io n ,   s h o u ld   b e  in clu d ed   in   ev er y .   R ec en tl y ,   th e  u s e  o f   d ee p   lear n in g   tech n iq u e s   f o r   d ialo g u e  tr ac k in g   th e  s tate  [ 1 ,   1 1 - 19] .   I n   ad d iti o n ,   o th er s   ar e  ab le  to   u n d er s t an d   s p ec i f ic  u s er   an d   s y s te m   u tter an ce s   a n d   p r io r   s y s te m   ac t io n s   to   p r ed ict  tu r n a r o u n d .   First  u s ed   f o r   s tate  tr ac k in g   d ialo g u es  w as  t h e  n e u r al  n et w o r k   [ 2 0 ] .   Ou r   r esear ch   is   i m p o r tan t   b ec au s e,   i n   a   p ip elin e   ap p r o ac h ,   t h e  f ir s t  atte m p t  is   to   u s e   a  n eu r al   n et w o r k   to   d ialo g u e   s tate   tr ac k i n g   to   o b tain   ap p r o p r iate  d ata   f r o m   t h e  u s er   u tter an ce s .   I n   th e  ab s e n ce   o f   th e  n ec e s s ar y   u s er   i n te r p r etatio n   d ialo g u e  f r a m e w o r k ,   th e s e  s ch e m e s   ca n   b e  u s ed   to   ac cu m u late  er r o r s   s ep ar atel y   w it h i n   th e  la n g u a g e   m o d u le.   State  T r ac k in g   Dia lo g   r es u lt s   d em o n s tr ate   th e   u tili t y   o f   lear n in g   to   co llecti v el y   i n ter p r et  s p ee ch   an d   m o n ito r   d ialo g u e   [ 1 4 ,   1 8 ,   1 9 ] .   T h ese  s o l u tio n s   ar e   ex tr ac ted   f r o m   th e   N - B est  l is t   d ev elo p ed   b y   t h e  a u to m ated   s p ee ch   r ec o g n i tio n   p r o g r a m m e.   B y   av o id i n g   er r o r   b u ild - u p   f r o m   t h e  co m p r eh e n s io n   d im e n s io n   o f   t h e   o r ig in al  la n g u a g e.   S u c h   f r a m e w o r k s   i n clu d e  t h e  u s e  o f   co m m o n   ta g i n g s   to   o v er r id e  u n i q u e  s lo t  f o r m s   an d   v alu e s ,   as  w ell  a s   h a n d cr af ted   p r o ce d u r al  d ictio n ar ies.  Nev e r th eles s ,   s u ch   m o d els r el y   o n   h an d cr af ted   f ea t u r e s   an d   co m p licated   d o m ain - s p ec if ic  lex ico n s ,   w h ic h   ar e   d if f ic u lt  to   s ca le   f o r   ea c h   f o r m   o f   s lo t  an d   th er e f o r e   d if f ic u lt to   ap p l y   to   n e w   d o m a in s .   R ec en t  s tate - o f   -   t h e - ar t  p r o j ec tio n s   f o r   DST   p r ed icted   th e  co n d itio n   o f   ev er y   tr an s itio n   b y   o b s er v in g   u n i f o r m   co n s u m er   a n d   m ac h i n e  u tter an ce s   r ep r esen ta tio n s .   Nev er t h eles s ,   t h e  e f f ic ien c y   o f   th e s e  s ch e m es   i s   lo w   i n   th e  u n u s u a l  an d   u n f a m i liar   s lo t  v al u es  t h at  h av e  r ec e n tl y   b ee n   ad d r ess ed   b y   lo ca l  s l o t  en co d er s   [ 3 ]   an d   th e  p o in ter   n et w o r k   [ 2 1 ] .   T h e  Glo b al - L o ca l   Sel f - A tte n t io n   E n co d er   m o d el   as   [ 2 ]   s u g g ested   r ec u r r en t  s el f - atten tio n   n et w o r k s   w it h   a  co m p u ted   r ep r esen tat i o n   b y   co m p ar i n g   t h e  s i m ilar it ies  o f   ev er y   s lo t  v al u e  to   ea ch   u s er   u tter an ce   a n d   p r io r   d ev ice  b eh av io u r .   [ 3 ]   i m p r o v ed   g lo b al - lo ca l  s e lf - c ar e  en co d er   s tr u ctu r e  b y   eli m i n ati n g   s lo t - b ased   r ec u r r en t  v o ice  n e t w o r k s   an d   s y s te m   en co d er s   a n d   u s i n g   a  g lo b al - co n d it io n ed   e m b ed d ed   s lo t  s t y le   en co d er .   Nev er th e less ,   b ec a u s e  o f   t h eir   lack   o f   ac ti v it y   i n   u n d er s ta n d in g   an d   i n co r p o r atin g   th e  r ele v an t   co n te x t,  t h ese   ap p r o ac h es  w er e  n o t  s u cc e s s f u l  i n   t h e  p r o d u ctio n   s y s te m ,   w h ile  t h i s   r esear ch   m a y   u n d er s tan d   t h e  co n n ec ti n g   s en s e.       3.   P RO P O SE D   M O DE L   W e   p r e s e n t   th e   p r o p o s e d   m o d e l   i n   th i s   s e ct i o n .   S e ct i o n   3 . 1   f i r s t   ex p l a in s   th e   r e ce n t ly   p r o p o s e d   a r c h it e c tu r e   o f   GC E   [ 3 ] ,   f o l l o w e d   b y   th e   p r o p o s e d   en c o d e r   in   S e c t i o n   3 . 2   th en   th e   m o d e l   s c o u r   in   Se c t i o n   3 . 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dia lo g u e  s ta te  tr a ck in g   a cc u r a cy   imp r o ve men t b y  d is tin g u is h in g   …   ( K h a ld o o n   H.   A lh u s s a yn i )   1059   3 . 1 .   G lo ba lly   co nd it io ned e nco de r  ( G CE )   E ac h   en co d er   i n p u t i s   r ep r ese n ted   as a   r ep r esen tatio n   o f   th e  v ec to r ( C ) .   I n   t h e  G C E   m o d el  t h er e  is   th e   t w o - w a y   L ST M  s y s te m   [ 2 2 ]   an d   all  s lo ts   w h ich   ar e  s h a r ed   to   ac h iev e  a  s eq u en ce   o f   h id d en   s tate s   b y   en cr y p ti n g   t h e  i n p u t   s eq u en ce ,   s h ad ed   b y   a  s el f   atte n tio n   la y er   [ 2 3 ] .   T h e  GC E   ap p r o ac h   tak es   in to   ac co u n t   u s er   ex p r es s io n   a n d   th e  p r ev i o u s   s y s te m   ac tio n   f o r   m o d el  lear n in g .   Ho w ev er ,   i n   o u r   w o r k ,   w e  u s ed   a  GC E   ap p r o ac h   to   lea r n   d is tr ib u tio n   o f   Slo t  Valu e  P air s   an d   co n tex t,  n o t  o n l y   c u r r en t  u s er   u tte r an ce s   an d   p r ev io u s   s y s te m   ac t io n s   b u t a ls o   p r ev io u s   u s er   u t ter an ce .     3 . 2 .   E nco der   m o del   W e  f o llo w ed   th e   p r o p o s ed   ar ch itect u r e  f o r   ca lc u latio n   o f   ea ch   s lo t  v al u e  p air ' s   en co d er ,   u s er   u tter an ce   a n d   p r ev io u s   s y s te m   ac tio n s   at  G C E .   Ho w e v er ,   we  u s e  a n   ad d itio n al  en co d er   to   ex tr ac t  th e  h i s to r y   an d   th e  co n te x t  f o r   p r ev io u s   u s er   u tter a n ce s .   T h e  en co d er   m o d el  is   u s ed   to   e n co d e  th e  p r ev io u s   u s er   u tter an ce s   ( Hp er ,   C p er ) ,   th e  c u r r en t  u s er   u tter a n ce s   ( Hcu r ,   C cu r ) ,   th e  p r ev io u s   s y s te m   ac tio n s   ( He,   C a)   an d   s lo t  v al u e  ( H v ,   C v )   f o r   ea ch   s y s te m   ac t.  As  s h o w n   i n   F ig u r e  1 ,   th e  s lo t - e m b ed d in g   v ec to r   f o r   th e  k th   s lo t  i s   u s ed   f o r   co n t e x t e x tr ac tio n .           Fig u r e  1 .   Dialo g u e   h is to r ical  c o n tex t  s elf - at ten tio n   m o d el  f o r   d ialo g u e  s tate  tr ac k er       T o   ca lcu late  r ep r esen tatio n   H k   f o r   ea ch   s lo t   k th   a s   s h o w n   i n   ( 1 ) ,   w e  co n ca ten ated   t h e  s lo t  e m b ed d i n g   s k   w it h   in p u t  s eq u e n ce   X,   i.e . ,   cu r r en t   u s er   u tter an ce ,   p r ev io u s   u s er   u tter an ce ,   o r   p r ev io u s   s y s te m   ac tio n s ,   a s   in p u t to   t h e  en co d er ,   w h er e  co n ca ten a tio n   i s   d en o ted   as    (         ) .                     (   (         ) )               ( 1 )     W h er e  d r   is   th e  d im e n s io n   o f   t h e  L ST M  s tate.   T h en   w e  ca lc u late  th e  atte n tio n   s co r e           o f   th e   s lo t  f o r   ea ch   to k e n   h id d en   r ep r esen tat io n           as  s h o w n   in   ( 2 ) ,   b y   co n c aten ati n g   th e m   to   t h e  s   lo t  e m b ed d i n g         an d   tr an s ito r y   to   a  lin ea r   lay er ,   th en   ap p ly i n g   a  s o f t m a x         in   ( 3 )   to   n o r m alize   t h e  d is tr ib u tio n .   I n   ( 4 )   co m p u t e   s i m ilar l y   o f   th e  co n tex t      .                (             )           ( 2 )                      (     )         ( 3 )             ∑                         ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1060   E ac h   o f   th e  f o u r   e n co d er s   in   t h e  en co d er   m o d el,   as sh o w n   i n   Fi g u r e  1 ,   ca n   b e  r ep r esen ted   as f o llo w s :     U,   s k a s   in p u ts   a n d                   as o u tp u t s ,   w h er e  U  d en o tes  w o r d   e m b ed d in g s   o f   t h e  u s er   u tter an ce .     P ,   s k   as in p u ts   a n d               as o u tp u t s ,   w h er e  P   d en o tes  w o r d   e m b ed d in g s   o f   t h e  p r ev io u s   u s er   u tter an ce .     A j , s k   a s   in p u ts   a n d                     as o u tp u t s ,   w h er e  A j j th is   t h e  p r ev io u s   s y s te m   ac tio n .     V,   s k   a s   in p u ts   a n d                   as o u tp u t s ,   w h er e  V  d en o tes cu r r e n t slo t - v alu e  p air .     3 . 3 .   Sco ring   m o de l   I n   GL A D  [ 2 ] ,   w e  ad o p ted   th e  s u g g e s ted   m et h o d   to   ca lcu late  th e  p er f o r m a n ce   o f   ea ch   s lo t - v alu e  p air   in   cu r r e n t  an d   p r ev io u s   co n s u m er   u tter a n ce s   a n d   p r ev io u s   s y s te m   s tep s .   T h e y   h o w ev er   u s e  t h e  ad d itio n al   p o in t to   i m p r o v e  th e  m ea n in g   an d   d eliv er y   o v er   t h e  h i s to r y   o f   d ialo g u e.   T h e  s co r es  m o d el  is   u s ed   to   m ea s u r e  s lo t  k   f o r   its   s lo t  v al u es  i n   o r d er   to   ev al u ate  t h e  s l o t  v alu e   th a t   th e  u s e r s   n a m e.   T h is   w as  also   d o n e  u s in g   f iv e  e x a m p le s .   T h e  f ir s t  s co r e               as  s h o w n   in   ( 5 )   is   th e  cu r r en t   u s er   u tter an ce   H cur ,   ta k i n g   i n to   ac co u n t  t h e  s lo t - v al u e  p ai r   b ein g   co n s id   er ed   c v   an d   u s i n g   th e  r es u lti n g   atten tio n   co n te x t q cur  as sh o w n   in   ( 6 )   to   s co r e   th e  s lo t - v al u e  p air .                            (   (           )           )         ( 5 )                ∑                         )           ( 6 )                                       ( 7 )     w h er e  m  i n d icate s   a  n u m b er   o f   w o r d s   i n   t h e  in p u t  s eq u e n ce .   T h e  s co r e              as  s h o w n   i n   ( 7 )   d en o tes   th e  p r ed icted   v alu es o f   th e  u s e r   u tter an ce .   T h e  s ec o n d   s co r e               as  s h o w n   in   ( 8 )   is   s i m ilar   to   th e  f ir s t  s co r e,   b u t  u s es  p r ev io u s   u s er   u tter a n ce   H pre  in s tead   o f   th e   c u r r en t  u s er   u tter a n ce ,   ta k i n g   in to   ac co u n t   th e   s lo t - v a lu e   p air   b ein g   co n s id er ed   c v   a n d   u s i n g   th e  r es u lti n g   a tten t io n   co n te x t               as  s h o w n   i n   ( 9 )   to   s co r e  th e  s lo t - v al u e  p air .   T h e  s co r e              as   s h o w n   in   ( 1 0 )   d en o tes th e  p r ed icted   v alu eso f   th e  p r ev io u s   u tter an ce .                              (   (             )           )         ( 8 )                 ∑                             )           ( 9 )                                       ( 1 0 )     T h en   th e  p r ed icted   v alu es  o f   b o th   cu r r en t  an d   p r ev io u s   u s e r   u tter an ce s   ar e  ad d ed   as  s h o w n   in   t h e  f o llo w in g   as  s h o w n   in   ( 1 1 ) :                                           ( 1 1 )     Si m i lar l y ,   th i s   is   u s ed   to   d eter m i n e  t h e  m e n tio n ed   p r ev io u s   s y s te m   ac tio n s   in   t h e  c u r r en t  o r   p r ev io u s   u s er   u tter a n ce   s ep ar atel y   to   r ea ch   s u f f icie n t  i n f o r m atio n   a b o u t  u s er   u t ter an ce   w h e n   t h i s   is   n o t  i n f o r m ati v e.   T h e  th ir d   s co r e                   as  s h o w n   in   ( 1 2 ) ,   th e  co n tex t  o f   cu r r en t  u s er   u tter an ce   C cur   o v er   th e  p r ev io u s   ac tio n   r ep r esen tatio n s   C a   =  [ C a1   ·   ·   ·   C al ] .   Her e,   l   is   t h e  n u m b e r   o f   p r ev io u s   s y s te m   ac tio n s .   T h en   w e  u s e   th e   s i m ilar it y   b et w ee n   t h e  atten t io n   co n te x t  q acur  as  s h o w n   in   ( 1 3 )   an d   th e  s l ot - v al u e  p air   c v   to   s co r e  th e  s lo t - v alu e   p air .   T h e  s co r e                as  s h o w n   i n   ( 1 4 )   d en o tes  th e  p r ed icted   v alu e s o f   th ep r ev io u s   s y s te m   ac tio n s i n   th e   cu r r en t u s er   u tter a n ce   s ep ar ate l y .                                (   (             )           )             ( 1 2 )                   ∑                               )           ( 1 3 )                                           ( 1 4 )     T h e  f o u r th   s o u r ce                   as  s h o w n   i n   ( 1 5 ) ,   s i m ilar   to   th e  th ir d   s co r e,   b u t  u s es  th e  co n tex t  o f   p r ev io u s   u s er   u tter an ce   C pre   in s er ted   in t o   th e  co n tex t o f   a  cu r r en t  u s er   u tter an ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dia lo g u e  s ta te  tr a ck in g   a cc u r a cy   imp r o ve men t b y  d is tin g u is h in g   …   ( K h a ld o o n   H.   A lh u s s a yn i )   1061                              (   (             )           )             ( 1 5 )                   ∑                               )           ( 1 6 )                                           ( 1 7 )   T h en   th e  p r ed icted   v alu e s   o f   b o th   th e  co n te x t o f   th e  c u r r en t a n d   p r ev io u s   u s er   u tter an ce s   ar e  ad d ed :                                               ( 1 8 )     I n   t h e  las t  s co r e,   w e  f o llo w ed   th e  p r o p o s ed   ap p r o ac h   in   [ 2 4 ]   to   d eter m in e   th e   r elev a n ce   o f   t h e  s lo t - v alu e   p air   in   t h e  c u r r en t  t u r n .   W e  co n ca ten a te  t h e  co n te x t  o f   b o th   c u r r en t  u s er   u t ter an ce             an d   p r ev io u s   u s er   u tter an ce               an d   u s e  a  s i g m o id   ac tiv atio n   o f   t h e  li n ea r   la y er   to   co m p u te  t h e  s co r e.                 (                       )            ( 1 9 )           (           (    )       )   ( 2 0 )     T h en   w e  co m p u te  co n te x t s u m m ar ies l u  of   atte n tio n   f r o m   C v  o v er   H cur   an d   l s  o f   atten t io n   f r o m   C v   o v er   H per .               (                 )   ( 2 1 )               (                  )   ( 2 2 )     T o   c o m p u te  th e  ad d itio n al  s c o r e  y f   t h at  es tab lis h es  t h e  p r o b ab ilit y   o f   t h e  ca n d id ate  s lo t - v alu e  b a s ed   o n   b o th   th e  cu r r e n t a n d   p r ev io u s   u s er   u t ter an ce s   a n d   th e  p r ev io u s   s y s te m   u tter an ce ,   w e  u s e:                         (         )         ( 2 3 )     Fin all y ,   w e   ad d   th e  w ei g h t  o f   all  s co r es  o f   s lo t  k ,   i.e . ,       ,        ,   an d       ,   w h ich   ar e  n o r m a lized   b y   t h e   s ig m o id   f u n ctio n :             (         +         +       )           ( 2 4 )     w h er e  w   is   a  lear n ed   p ar a m ete r .       4.   E XP E R I M E NT   T h e  W izar d   o f   Oz  ( W o Z )   is   a  s in g le  d o m ai n   f o r   a  m o n ito r in g   p latf o r m   d ialo g u e  b o o k in g   ( W en   et  al.   2 0 1 6 ) .   T h e  e m o tio n   d ataset   co n s i s ts   o f   6 0 0   in s tr u c tio n   d ialo g u e s ,   2 0 0   ap p r aisal  d ialo g u e s   a n d   4 0 0   ass es s m en t s .   - d ialo g u e  h as  a   t o tal  o f   ei g h t  t u r n s ,   w it h   a  m ac h in e   tr an s cr ip t,  a  u s er   u tter an c e  tr an s cr ip t,  a  tu r n   m ar k   an d   d ialo g u e  s tatu s   f o r   ea ch   s w itc h .   T h e  o n to lo g y   co n s i s ts   o f   th r ee   s ep a r ate  s lo t  f o r m s :  f o o d   w it h   7 2   v alu e s ,   7   v al u es,  4   v al u e s ,   an d   7   d if f er e n t  k in d   o f   s lo ts ,   in cl u d in g   telep h o n e  n u m b er   an d   ad d r ess .   T h e  o n to lo g y   co n s is t s   o f   th r ee   s p ec if ic  s lo t  s t y le s .   I n   o r d er   t o   ass ess   t h e  m etr ic  o f   m u tu al   tar g et  m o n ito r i n g   p r ec is io n ,   w e  o b s er v ed   t h e  ag g r eg atio n   o f   t u r n s   tar g ets  [ 2 ] .     4 . 1 .   I m ple m ent a t io n  det a ils   T h e  p r e - tr ain ed   em b ed d in g   o f   GL o Ve w o r d   [ 2 5 ]   is   u s ed ,   w h ic h   is   p air ed   w it h   n - g r a m   e m b ed d in g   ch ar ac ter is tic s ,   an d   is   r etai n ed   th r o u g h o u t  th e   tr ain i n g .   T h e  u n i ts   f o r   B I - L ST Ms  ar e  d escr ib ed   in   2 0 0   h id d en   d i m en s io n s   an d   th e  i n itia l  le a r n in g   r ate  is   tr ain ed   u s i n g   an   A D AM   o p ti m izer   [ 2 6 ] .   Fo r   th e  e m b ed d in g   la y er ,   w e  d ef in ed   t h e  d r o p - o u t r ate.   T h e  av er ag e  n u m b er   o f   ti m e s   i s   5 0   to   tr ain   th e  5 0   b atch   m o d els.     4 . 2 .   Resul t s   a n d  a na ly s is   T h e  p r ev io u s   DST   co n s u m er   d ec lar atio n   is   u s ed   to   g ain   t h e  n ec ess ar y   in f o r m a tio n   to   i n cr ea s e  th e  lik eli h o o d   o f   allo ca tio n   a m o n g   all  ap p lican t  s lo t - v al u e  p air s   an d   ac tio n   b eh a v io u r .   Usi n g   a  m o d el  to   p r ac tis e   an d   ch ec k   t h e  w h o le  c y cle  i s   s tr ea m li n ed   an d   p ac e  b en ef its .   T h e  en co d er   s id e  o f   th e  m o d el  is   d eter m i n ed   f o r   b o th   ac tiv ities   o n l y   o n ce .   I n   a  s eg m e n t  s co r in g   m o d el,   w e   d eter m i n e  t h e  o u tco m e s   i n d ep en d en tl y   f r o m   th e   p r ev io u s   u s er   s tate m e n t  a n d   c u r r en t  u s er   s tate m en t  o v er   a ll  ap p lican t  s lo t  p air s   a n d   in t er v en tio n   s tep s   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1062   in cr ea s e  co v er a g e  an d   d is tr ib u tio n   o v er   d ialo g u e  h is to r y ,   a s   s h o w n   th r o u g h   Fi g u r e  1 .   I n   f a ct,   b o th   th e  c u r r en t   an d   p r ev io u s   co n s u m er   u tter a n ce s   ar e  f u s ed   in   t h e  s en s e  o f   ea ch   ap p lican t  s lo t  m ea n i n g   p air ,   as  s h o w n   i n   ( th e   ad d itio n al  s co r e  o f )   Fi g u r e  1 .   C o m p ar ed   w it h   all  s tate - o f   -   th e - ar t  s tr ate g ie s   i n   t h e  s h ar ed   g o al  p h ase,   t h e   p r o p o s ed   m o d el  o b tain ed   s u p e r io r   r esu lts ,   w h ic h   d id   n o t in c l u d e  th e  r eq u est t u r n in g   c h alle n g e.   T ab le   1   p r o v id es  a  s u m m ar y   o f   th e  r esu lt s   o f   o u r   n e w   m o d els  w i th   t h o s e  o f   p r ev io u s   s ta t e - o f   -   t h e - ar t  p r o j ec ts .   T h e  NB T   [ 1 ] ,   w h ich   u t ilis e s   co m m o n   m ar k s   i n s tead   o f   s lo ts   a n d   m ea n i n g s   in   th e  u t ter an ce ,   u s es   C NN  w it h   p r e - tr ai n i n g   ter m   e m b ed d in g s   f o r   r ep r esen tatio n al  lear n i n g   i n s tead   o f   d ele x i ca lis ed   [ 1 5 ] .   I n   th e  d esig n   o f   G L A D  [ 2 ] ,   th e  u tter an ce ,   p r ev io u s   s y s te m   o p er atio n ,   an d   all  s lo t  v alu e s   ar e  s eg r eg ated   in   e n co d er s .   Fo r   all  en co d er s ,   a  co m m o n   d esig n   i s   u s ed .   T h e  w r iter s   u s ed   t w o   r atin g s ,   ea c h   m ea s u r i n g   th e   r el atio n   b et w ee n   th e  s lo t  m ea n i n g   p ai r s   an d   th e  co n s u m er   u tter a n c e  o r   p r ev io u s   s y s te m   o p er atio n .   T h e  r esear ch er s   f o llo w ed   a  s i m ilar   m e th o d   to   GL A D  in   t h e  G C E   m o d el.   T h e  E n co d er   h as  h o w e v er   b ee n   u p d ated   to   in cr ea s e   laten c y   a n d   s p ee d   o f   in f er en ce   b y   r e m o v i n g   i n ad eq u ate  r ec u r r en t la y er s   a n d   s el f - a tten tio n   l a y er s .   T h e  W o Z   d ataset  h a s   b ee n   u s ed   to   tes t  o u r   p r o p o s ed   m o d el  an d   in tr o d u ce   t w o   m o d els.  I n   t h e   d ialo g u e  o f   id en tical   d esig n   [ 3 ] ,   p r ev io u s   u s er   d e f i n itio n s   w er e  u s ed   as  ad d itio n a l  en co d er s   w it h   t h e  s a m e   ac cu r ac ies as  GC E   la y o u t.  T h e  s ec o n d   w as b y   in te g r ati n g   th e  m ea n in g   o f   p r e v io u s   u s er   u tt er an ce s   a n d   cu r r en t   u s er   u t ter an ce s   w i th   all  ca n d id ate  s lo t  v alu e  p air s .   I n cr ea s i n g   e x is t in g   u s er   u tter a n ce   w i th   th e  co r r ec t  u s er   in f o r m atio n   a n d   th e  p r ev io u s   s y s te m   u tter a n ce   also   i m p r o v e s   th e  s tan d ar d   tar g et  ac cu r ac y   b y   0 . 8 %,  as  s h o w n   b y   t h e  f in d i n g s   i n   T ab le  1   an d   r eq u est ac cu r ac y .       T ab le   1 .   C o m p ar is o n   o f   o u r   m o d el  to   p r e v io u s l y   p u b lis h ed   W o Z   r estau r an t r eser v atio n   d ataset   T u r n   R e q u e st   Jo i n t   G o a l   M o d e l   9 1 . 2 %   8 4 . 4 %   N e u r a l   B e l i e f   Tr a c k e r   ( N B T ) — DNN   9 1 . 6 %   8 4 . 2 %   N e u r a l   B e l i e f   Tr a c k e r   ( N B T ) — C N N   9 7 . 1 %   8 8 . 1 %   G l o b a l - L o c a l l y   S e l f - A t t e n t i v e   ( G L D A )   9 7 . 3 8 %   8 8 . 5 %   G l o b a l l y   C o n d i t i o n e d   E n c o d e r   ( G C E)   9 6 . 9 8 %   9 6 . 9 8 %   8 8 . 5 %   8 9 . 3 %   G C E   +  p r e v i o u s  u t t e r a n c e   G C E   +  p r e v i o u s  u t t e r a n c e   +  a d d i t i o n a l   s c o r e       5.   CO NCLU SI O N   DST ' s   o b j ec tiv e  is   to   d ef i n e  t w o   g o als:   t h e  cu r r e n t  s tate  o f   ea ch   r o tatio n   o f   d ialo g u e  s lo t  v alu e  p air s   an d   th e  u s er   d ialo g u e  ac t  to   s u m   u p   all  t h e  u s er 's  o b j ec tiv es.  I n   th is   p ap er ,   w e  p r o p o s e  a  d if f er en t  f r a m e w o r k   f o r   DST   as  a  d ialo g u e   o n   t h e  h i s to r ical  c o n te x t  s el f - Atte n tio n   to   d is ti n g u i s h   a n d   u s e  t h e  r elate d   d ialo g u e   h is to r y   b y   i n cl u d in g   th e  p r ev i o u s   u s er 's  u tter a n ce   in   t w o   s e p ar ate  w a y s   a n d   to   f u s e  in   o r d er   to   p r o v id e  th e   m o d el  w it h   th e  n ec es s ar y   in f o r m atio n .   R ela tiv e  to   all  s tate - o f   -   th e - ar t  m eth o d s ,   th e  p r o p o s ed   m o d el  o b tain ed   o u tco m es  o f   0 . 8 %  in   th e  s h ar ed   aim   p r ec is io n   w it h   th e  W o Z   d ata  s et  u s ed   to   test   o u r   p r o p o s ed   m o d el.   Ou r   m o d el  u s es  a  s m aller   n u m b er   o f   lear n in g   p ar a m eter s   ap p lied   to   in ter p r et  cu r r en t  an d   p r ev io u s   u s er   s ta te m e n t s   u s i n g   t h e  ap p r o p r iate  co n tex t.   T h ey   also   h av e   a  h ig h   d is p ar it y   i n   t h e  p r ec is io n   o f   th e   j o in t  ai m   b ec a u s e  t h e  j o in t  o b j ec tiv e  is   d ec id ed   b y   p ili n g   tu r n   tar g ets  a n d   er r o r s   w h en   es ti m ati n g   a  tu r n   d esti n at io n   ar e  co m p ar ati v el y   s m aller .       RE F E R E NC E S   [1 ]   N.  M rk šić ,   D.  Ó.   S é a g h d h a ,   T . - H.  W e n ,   e t  a l. ,   “ Ne u ra l   b e li e f   trac k e r :  Da t a - d riv e n   d ialo g u e   sta te  trac k in g , ”   Pro c e e d in g s  o f  t h e   5 5 t h   An n u a l  M e e ti n g   o f  th e   Asso c i a ti o n   f o r Co mp u ta ti o n a l   L i n g u isti c s ,  p p .   1 7 7 7 - 1 7 8 8 ,  2 0 1 6 .   [2 ]   V .   Z h o n g ,   C.   X i o n g ,   a n d   R .   S o c h e r,   “ G lo b a l - L o c a ll y   S e l f - A tt e n ti v e   Dia lo g u e   S tate   T ra c k e r, ”   Pro c e e d in g s  o f  t h e   5 6 t h   A n n u a l  M e e ti n g   o f  t h e   Asso c ia ti o n   f o r Co m p u t a ti o n a l  L in g u ist ic ,  p p .   1 4 5 8 - 1 4 6 7 ,   2 0 1 8 .   [3 ]   E.   No u ri  a n d   E.   Ho ss e in i - A sl,  “ To w a rd   sc a lab le  n e u ra l  d ialo g u e   sta te  trac k in g   m o d e l, ”   3 2 n d   Co n fer e n c e   o n   Ne u ra l   In fo rm a t io n   Pro c e ss in g   S y ste ms   ( Ne u rIPS   2 0 1 8 ),   2 n d   C o n v e rs a ti o n a l  AI  wo rk sh o p   M o n tré a l ,   Ca n a d a .   2 0 1 8 .   [4 ]   R.   Hig a sh in a k a ,   M .   N a k a n o ,   a n d   K.  A ik a wa ,   “ Co rp u s - b a se d   d isc o u rse   u n d e rsta n d in g   in   sp o k e n   d ial o g u e   s y ste m s,”   Pro c .   4 1 st A n n u .   M e e t.   Asso c .   C o mp u t.   L in g u ist. ,   p p .   2 4 0 - 2 4 7 ,   2 0 0 3 .   [5 ]   J.  W il li a m s,  A .   Ra u x ,   D.  Ra m a c h a n d ra n ,   A .   Blac k ,   “ T h e   Dia lo g   S tate   T ra c k in g   Ch a ll e n g e   w it h   Ba y e sia n   A p p ro a c h , ”   Pro c .   o f1 4 th   An n u .   M e e t.   S p e c .   I n ter e s.  Gr .   Disc o u rs e   Dia lo g u e ,   n o .   A u g u st,  p p .   4 0 4 - 4 1 3 ,   2 0 1 7 .   [6 ]   K.  S u n ,   L .   Ch e n ,   S .   Z h u ,   K.  Y u .   “ A  g e n e ra li z e d   ru le  b a se d   trac k e r   f o r  d ialo g u e   sta te  trac k in g , ”   Pro c .   S p o k .   L a n g .   T e c h n o l .   W o rk . ,   p p .   3 3 0 - 3 3 5 ,   2 0 1 4 .   [7 ]   S .   L .   a n d   D.  R.   T ra u m ,   “ In f o r m a ti o n   sta te  a n d   d ialo g u e   m a n a g e m e n t  in   th e   tri n d i  d ial o g u e   m o v e   e n g in e   to o lk it , ”  v o l.   6 ,   n o .   3 ,   p p .   3 2 3 - 3 4 0 ,   2 0 0 0 .   [8 ]   D.  Bo h u s  a n d   A .   Ru d n ick y ,   “ K   h y p o th e se s  +   o th e r”   b e li e f   u p d a ti n g   m o d e l, ”   Pro c .   AA AI   W o rk .   S t a t.   Emp ir .   Ap p ro a c h e s t o   S p o k .   Dia l o g u e   S y st. ,   p p .   1 3 - 1 8 ,   2 0 0 6 .   [9 ]   Y.   M a ,   A .   Ra u x ,   D.  Ra m a c h a n d ra n ,   a n d   R.   G u p ta,  “ L a n d m a r k - b a se d   lo c a ti o n   b e li e f   trac k in g   in   a   sp o k e n   d ialo g   s y ste m , ”   S IGD IAL   2 0 1 2   -   1 3 t h   A n n u .   M e e t.   S p e c .   In ter e s.  Gr .   Disc o u rs e   Dia l o g u e ,   Pro c .   Co n f. ,   p p .   1 6 9 - 1 7 8 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dia lo g u e  s ta te  tr a ck in g   a cc u r a cy   imp r o ve men t b y  d is tin g u is h in g   …   ( K h a ld o o n   H.   A lh u s s a yn i )   1063   [1 0 ]   B.   T h o m so n   a n d   S .   Y o u n g ,   “ Ba y e sia n   u p d a te  o f   d ialo g u e   sta t e :  A   P OMDP   f ra m e w o rk   f o r  s p o k e n   d ial o g u e   s y ste m s,”  Co mp u t.   S p e e c h   L a n g . ,   v o l.   2 4 ,   n o .   4 ,   p p .   5 6 2 - 5 8 8 ,   2 0 1 0 .   [1 1 ]   A b h in a v   Ra sto g i,   Dilek   Ha k k a n i - T u r ,  L .   H eck ,   “ S c a lab le  m u lt i - d o m a in   d ial o g u e   sta te  trac k in g , ”   2 0 1 7   IEE E   Au to m a ti c   S p e e c h   Rec o g n it i o n   a n d   Un d e rs ta n d in g   W o rk sh o p   ( AS R U),   p p .   5 6 1 - 5 6 8 ,   2 0 1 7 .   [1 2 ]   I.   Ca sa n u e v a   e t  a l. ,   “ A   b e n c h m a rk in g   e n v iro n m e n t  f o r  re in f o rc e m e n t  lea rn in g   b a se d   tas k   o rien ted   d ial o g u e   m a n a g e m e n t, ”   Co RR ,   v o l .   a b s/ 1 7 1 1 . 1 ,   2 0 1 7 .   [1 3 ]   M .   He n d e rso n ,   B.   T h o m so n ,   a n d   S .   Yo u n g ,   “ De e p   n e u ra l  n e tw o rk   a p p ro a c h   f o r  th e   d ialo g   sta te t ra c k in g   c h a ll e n g e , ”   S IGD IAL   2 0 1 3   -   1 4 th   An n u .   M e e t.   S p e c .   I n ter e s.  Gr .   Disc o u rs e   Dia lo g u e ,   Pro c .   Co n f. ,   p p .   4 6 7 - 4 7 1 ,   2 0 1 3 .   [1 4 ]   M .   He n d e rso n ,   e t  a l. ,   “ W o rd - b a se d   d i a lo g   sta te  trac k in g   w it h   re c u rre n t  n e u ra l  n e tw o rk s , ”   in   Pro c e e d in g s  o f  th e   1 5 t h   A n n u a l  M e e ti n g   o f  t h e   S p e c i a l  In ter e st Gro u p   o n   Disc o u rs e   a n d   Di a lo g u e   ( S IGD IAL ) ,   2 0 1 4 ,   p p .   2 9 2 - 2 9 9 .   [1 5 ]   M .   He n d e rso n ,   B.   T h o m so n ,   a n d   S .   Yo u n g ,   “ Ro b u st  d ial o g   sta te  trac k in g   u sin g   d e lex ic a li se d   re c u rre n t  n e u ra l  n e tw o rk s an d   u n s u p e rv ise d   a d a p t a ti o n , ”   2 0 1 4   I EE E  S p o k e n   L a n g u a g e   T e c h n o l o g y   W o rk sh o p ,   p p .   3 6 0 - 3 6 5 ,   2 0 1 4 .   [1 6 ]   N.  M rk šić ,   e t   a l. ,   “ M u lt i - d o m a in   d ialo g   sta te  trac k in g   u sin g   re c u rre n t  n e u ra l  n e tw o rk s,”  ACL - IJ CN L P  2 0 1 5   -   5 3 rd   An n u .   M e e t.   Asso c .   Co m p u t .   L i n g u ist.   7 t h   In t.   J t.   C o n f .   Na t .   L a n g .   Pro c e ss .   Asi a n   Fe d .   Na t.   L a n g .   Pro c e ss .   Pro c .   Co n f. ,   v o l.   2 ,   p p .   7 9 4 - 7 9 9 ,   2 0 1 5 .   [1 7 ]   J.  P e re z   a n d   F .   L iu ,   “ Dia lo g   st a te  trac k in g ,   a   m a c h in e   re a d in g   a p p r o a c h   u sin g   M e m o r y   Ne t w o rk , ”   Co RR ,   v o l.   a b s/1 6 0 6 . 0 4 0 5 2 ,   2 0 1 6 .   [1 8 ]   T .   W e n ,   e t  a l. ,   “ A   n e t w o rk - b a se d   e n d - to - e n d   train a b le  tas k - o rien ted   d ialo g u e   sy st e m ,”   Pro c e e d in g s  o f  th e   1 5 t h   Co n fer e n c e   o f  th e   E u ro p e a n   C h a p ter   o f  t h e   Asso c i a ti o n   f o r Co m p u ta ti o n a l  L i n g u isti c s,   v o l .   1 ,   p p .   4 3 8 - 4 4 9 ,   2 0 1 7 .   [1 9 ]   L .   Zi lk a   a n d   F .   Ju rc ice k ,   “ In c re m e n tal  L S T M - b a se d   d ialo g   sta te  trac k e r, ”   2 0 1 5   IEE E  W o rk .   Au to m.  S p e e c h   Rec o g n it .   Un d e rs ta n d in g ,   AS RU  2 0 1 5   -   Pro c . ,   v o l.   1 ,   n o .   L ,   p p .   7 5 7 - 7 6 2 ,   2 0 1 6 .   [2 0 ]   M .   He n d e rso n ,   B.   T h o m so n ,   a n d   J.  W il li a m s,  “ Dia lo g   S tate   T r a c k in g   Ch a ll e n g e   2   &   3 , ”   Di a l o g u e s  wit h   S o c .   Ro b o t. ,   n o .   S e p tem b e r,   p p .   1 - 2 2 ,   2 0 1 3 .   [2 1 ]   P .   X u   a n d   Q.  Hu ,   “ A n   e n d - to - e n d   a p p ro a c h   f o r  h a n d li n g   u n k n o w n   slo t   v a lu e s  in   d ialo g u e   s tate   trac k in g , ”   Pro c e e d in g s  o f  t h e   5 6 t h   An n u a l  M e e ti n g   o f  th e   Asso c i a ti o n   f o r Co mp u ta ti o n a l   L i n g u isti c s ,   2 0 1 8 .   [2 2 ]   H.  S e p p   a n d   S .   J u rg e n ,   “ L o n g   sh o rt - term   m e m o r y , ”   Ne u ra l  Co mp u t . ,   v o l.   9 ,   n o .   8 ,   p p .   1 7 3 5 - 1 7 8 0 ,   1 9 9 7 .   [2 3 ]   Z.   L in   e t  a l. ,   “ A   stru c tu re d   s e lf - a tt e n ti v e   s e n ten c e   e m b e d d i n g , ”   5 th   I n ter n a t io n a l   Co n fer e n c e   o n   L e a rn i n g   Rep re se n ta ti o n s ( ICL R  2 0 1 7 ),   p p .   1 - 1 5 ,   2 0 1 7 .   [2 4 ]   S .   S h a rm a ,   P .   K.   Ch o u b e y ,   a n d   R.   Hu a n g ,   “ Im p ro v in g   Dia lo g u e   S tate   T ra c k in g   b y   Disc e rn in g   th e   Re lev a n t   Co n tex t, ”   Pro c e e d in g s  o f  NAA C L - HLT   2 0 1 9 ,   p p.   5 7 6 - 5 8 1 ,   2 0 1 9 .   [2 5 ]   C.   D.  M .   Je f f re y   P e n n in g to n ,   Rich a rd   S o c h e r,   “ G lo V e :  G lo b a l  V e c to rs  f o r  W o rd   Re p re se n tatio n , ”   P ro c .   2 0 1 4   C o n -   fer e n c e   Emp ir.   M e th o d s N a t.   L a n g .   Pro c e ss . ,   p p .   1 5 3 2 - 1 5 4 3 ,   2 0 1 4 .   [2 6 ]   D.  P .   Kin g m a   a n d   J.  Ba ,   “ A d a m :  A   M e th o d   f o r  S to c h a stic  Op ti m iz a ti o n , ”   In ter n a ti o n a l  Co n fer e n c e   o n   L e a r n in g   Rep re se n ta ti o n s ,  p p .   1 - 1 5 ,   2 0 1 4 .       B I O G RAP H I E S O F   AUTH O RS       K h a ld o o n   H a sa n   Al h u ss a y n i   re c e iv e d   th e   BS c   d e g re e s  in   Co m p u ter  S c ien c e   f ro m   th e   Un iv e rsit y   o f   Ba b y lo n ,   Ira q ,   in   2 0 0 8 .   A f ter  c o m p letin g   h is  BS c ,   h e   w o rk e d   a s  a   p ro g ra m m e r  a t   th e   De p a rtme n t  o f   Co m p u ter  Ce n ter,  th e   Un iv e rsity   o f   B a b y lo n .   In   2 0 0 9 ,   re c e iv e d   th e   M S c   d e g re e s  in   Co m p u ter  S c ien c e   a n d   Co m p u ter  En g in e e rin g   f ro m   th e   T u la  S tate   Un iv e rsit y ,   Ru ss ian ,   in   2 0 1 4 .   S e c in c e   No v   2 0 1 6   h e   e n tere d   th e   T o m sk   sta te u n iv e rsit y   ( T S U),  De p a rt m e n t  o f  c o m p u ter sc ien c e   th e o ry   a s a  P h . D.  stu d e n t  in   sp e c ialty   M a th e m a ti c a l  a n d   so f tw a r e   o f   c o m p u ters ,   co m p lex e s  a n d   c o m p u ter  n e tw o r k s.  His  m a in   re s e a rc h   in tere sts  a re   m a c h in e   lea rn in g ,   n e u ra l   n e tw o rk s,  d e e p   lea rn in g ,   d ialo g u e   sy ste m s an d   n a tu ra l  lan g u a g e   p ro c e ss in g .           Z a m y a t i n   A l e x a n d e r   V l a d im i r o v i c h     D .   S c . ,   a s s o c i a t e   p r o f e s s o r ,   H e a d   o f   D e p a r t m e n t   o f   c o m p u t e r   s c i e n c e   t h e o r y   i n   t h e   T o m s k   S t a t e   U n s i v e r s i t y   ( T S U ) .   I n   D e c e m b e r   2 0 0 2   h e   e n t e r e d   t h e   f u l l - t i m e   p o s t g r a d u a t e   s t u d y   o f   T o m s k   P o l y t e c h n i c   U n i v e r s i t y   ( T P U )   i n   s p e c i a l t y   0 5 . 1 3 . 1 1 - M a t h e m a t i c a l   a n d   s o f t w a r e   o f   c o m p u t e r s ,   c o m p l e x e s   a n d   c o m p u t e r   n e t w o r k s ,   w h i c h   h e   g r a d u a t e d   a h e a d   o f   s c h e d u l e   d u e   t o   w i t h   t h e   d e f e n s e   o f   h i s   t h e s i s .   A s   a n   a s s o c i a t e   P r o f e s s o r   o f   t h e   D e p a r t m e n t   o f   c o m p u t e r   s c i e n c e   ( p a r t - t i m e )   c o n t i n u e d   t o   c a r r y   o u t   e d u c a t i o n a l   a n d   r e s e a r c h   a c t i v i t i e s ,   F r o m   J a n u a r y   2 0 1 9   h e   w a s   a p p o i n t e d   a c t i n g   D i r e c t o r   o f   t h e   I n s t i t u t e   o f   a p p l i e d   m a t h e m a t i c s   a n d   c o m p u t e r   s c i e n c e .   Z a m y a t i n   A . V .   c o m p l e t e d   a   s t u d y   a n d   w a s   e n t i t l e d   t h e   t e a c h e r   o f   t h e   h i g h   s c h o o l   I G I P   I n t e r n a t i o n a l   E n g i n e e r i n g   E d u c a t o r   “ I N G - P A E D   I G I P ” ,   N o   E N G - 2 5 5 ,   i s   a c t i v e l y   i n v o l v e d   i n   s c i e n t i f i c   r e s e a r c h ,   p a r t i c i p a n t   r e s e a r c h   a s   t h e   h e a d   ( R u s s i a n   f o u n d a t i o n   f o r   b a s i c   r e s e a r c h   g r a n t s   N o   1 1 - 07 - 0 0 0 2 7 ,   0 3 - 07 - 0 6 0 2 4 ,   1 4 - 07 - 0 0 1 2 7 ,   Г К   N o   1 4 . 5 1 5 . 1 1 . 0 0 4 7   o n   t h e   i n s t r u c t i o n s   o f   M i n i s t r y   o f   e d u c a t i o n   a n d   s c i e n c e   o f   t h e   R u s s i a n   F e d e r a t i o n )   a n d   r e s p o n s i b l e   o f f i c e r   ( g r a n t s   R F B R   № №   0 0 - 07 - 9 0 1 2 4 ,   0 3 - 07 - 9 0 1 2 4 ,   0 6 - 05 - 78056 ) .   E x e c u t o r   f o r   t h e   T S U   f o r   t h e   m e g a - p r o j e c t   " C r e a t i n g   o f   l o c a l   h i g h - t e c h   s o f t w a r e   a n d   i n s t r u m e n t a l   c o m p l e x   f o r   t h e   i m p l e m e n t a t i o n   o f   p r o c e s s   c o n t r o l   s y s t e m s   b a s e d   o n   f r e e   s o f t w a r e ”   c a r r i e d   o u t   i n   c o l l a b o r a t i o n   w i t h   " E l e S y "   c o m p a n y   a n d   T o m s k   s t a t e   u n i v e r s i t y .   A c c o r d i n g   t o   t h e   r e s u l t s   o f   s c i e n t i f i c   a c t i v i t y   Z a m y a t i n   p u b l i s h e d   m o r e   t h a n   7 0   s c i e n t i f i c   p a p e r s ,   i n c l u d i n g   2   m o n o g r a p h s .   Z a m y a t i n   A . V .   i s   a   d e v e l o p e r   a n d   h e a d   o f   t h e   m a s t e r ' s   e d u c a t i o n a l   p r o g r a m   " D a t a   s c i e n c e   a n d   b i o i n f o r m a t i c s " .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 ,  Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1064     E m a n   Al - S h a m e r y   r e c e iv e d   th e   BS c   a n d   M S c   d e g re e s in   Co m p u ter S c ien c e   f ro m   th e   Un iv e rsit y   o f   Ba b y lo n ,   Ira q ,   i n   1 9 9 8   a n d   2 0 0 1 ,   re sp e c ti v e l y .   Af ter  c o m p letin g   h e r  M S c ,   s h e   w o rk e d   a s  a n   a ss istan t  lec tu re r  a t  th e   De p a rtme n t  o f   Co m p u ter  S c ien c e ,   th e   U n iv e rsit y   o f   Ba b y lo n .   In   2 0 1 3 ,   sh e   re c e iv e d   h e r  P h D   in   Co m p u te r  S c ien c e   f ro m   th e   Un iv e rsit y   o f   Ba b y lo n .   Cu rre n t ly ,   sh e   h o l d s  a   p ro f e ss o r  p o siti o n   a t  S o f twa r e   De p a rt m e n t,   Un iv e rsit y   o f   B a b y lo n .   He r  c u rre n t  re se a r c h   in tere sts  in c lu d e   a rti f icia l  in tell ig e n c e ,   b io in f o rm a ti c s,  m a c h in e   lea rn in g ,   n e u ra l  n e tw o rk s,  d e e p   lea rn in g   a n d   d a ta m in in g .       Evaluation Warning : The document was created with Spire.PDF for Python.