I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m p u t er   Science   Vo l.   21 ,   No .   2 Feb r u ar y   2 0 2 1 ,   p p .   1 0 5 7 ~1 0 64   I SS N:  2 5 02 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /i j ee cs.v 2 1 .i 2 . p p 1 0 57 - 10 64          1057       J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Dia lo g ue state tra ck i ng  accura cy  i m pro v e m en by   disting uishi ng  slo t - v a lue pairs  and  dia lo g ue behav io ur       K ha ldo o n H .   Alhu s s a y ni 1 ,   A lex a nd er   Z a m y a t in 2 S.  E m a n Alsh a m er y 3   1 Co m p u ter  Ce n ter,  Ba b y lo n   Un iv e rsit y ,   Ba b y lo n ,   Ira q .   2 Co m p u terScie n c e   De p a rtme n t,   T o m s k   S tate   Un iv e rsit y ,   T o m s k ,   Ru ss ia   3 S o f tw a r e   De p a rt m e n t,   Ba b y lo n   Un iv e rsit y ,   Ba b y lo n ,   Ira q       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   A p r   2 3 ,   2 0 2 0   R ev i s ed   J u n   1 5 ,   2 0 2 0   A cc ep ted   J u l 8 ,   2 0 2 0       Dia lo g   sta te  trac k in g   (DST p la y a   c rit ica ro le  in   c y c le  li f e   o f   a   tas k - o rien ted   d ialo g u e   sy ste m .   DS T   r e p re se n ts  th e   g o a ls  o f   th e   c o n su m e a e a c h   ste p   b y   d ialo g u e   a n d   d e sc rib e su c h   o b jec ti v e a a   c o n c e p tu a stru c tu re   c o m p risin g   slo t - v a lu e   p a irs  a n d   d ialo g u e   a c ti o n s th a sp e c if ica ll y   i m p ro v e   th e   p e rf o r m a n c e   a n d   e f fe c ti v e n e ss   o f   d ialo g u e   sy ste m s.  DS T   f a c e se v e ra l   c h a ll e n g e s:  d iv e rsit y   o li n g u isti c s,  d y n a m ic  so c ial  c o n tex a n d   th e   d isse m in a ti o n   o f   th e   sta te  o f   d i a lo g u e   o v e c a n d i d a te  v a lu e b o th   in   slo t   v a lu e a n d   in   d ialo g u e   a c ts  d e term in e d   in   o n to l o g y .   In   m a n y   tu rn d u ri n g   th e   d ialo g u e ,   u se rs  in d irec tl y   r e f e to   th e   p re v io u u tt e ra n c e s,  a n d   th a t   p ro d u c e   a   c h a ll e n g e   to   d isti n g u is h in g   a n d   u se   o f   re late d   d ialo g u e   h isto r y ,   Re c e n met h o d s u se d   a n d   p o p u lar  f o th a a re   in e ff e c ti v e .   In   th is  p a p e r,   w e   p ro p o se   a   d ialo g u e   h isto rica c o n tex se lf - Atten ti o n   f ra m e w o rk   f o DST   th a re c o g n ize s   re lev a n h isto rica c o n tex b y   in c l u d i n g   p re v io u u se u tt e ra n c e   b e s id e   c u rre n u se u tt e ra n c e a n d   p re v io u sy s tem   a c ti o n w h e re   sp e c if ic  slo t - v a lu e   p iers   v a riatio n a n d   u se t h a t o g e th e w it h   w e ig h ted   sy st e m   u tt e ra n c e   to   o u t p e rf o rm   e x isti n g   m o d e ls  b y   re c o g n izin g   th e   re late d   c o n tex a n d   th e   re lev a n c e   o f   a   s y ste m   u tt e ra n c e .   F o th e   e v a lu a ti o n   o f   th e   p ro p o s e d   m o d e th e   W o d a tas e w a u se d .   T h e   imp lem e n tatio n   w a a tt e m p ted   w it h   t h e   p ri o r   u se u tt e ra n c e   a a   d ialo g u e   e n c o d e a n d   se c o n d   b y   th e   a d d it i o n a sc o re   c o m b in e d   w it h   a ll   th e   c a n d i d a te  slo t - v a lu e   p a irs  i n   t h e   c o n tex o f   p re v io u u se u tt e ra n c e a n d   c u rre n u tt e ra n c e s.  T h e   p ro p o se d   m o d e o b tain e d   0 . 8   p e r   c e n b e tt e re su l ts  th a n   a ll   sta te - of - th e - a rt  m e th o d i n   t h e   c o m b in e d   p re c isio n   o f   th e   targ e t,   b u t   th is  is  n o t h e   tu r n a ro u n d   c h a ll e n g e   f o th e   su b m is sio n .   K ey w o r d s :   Dialo g   s tate  tr ac k i n g   E n co d er - d ec o d er     Nau tr al  la n g u a g p r o ce s s in g   T ask - o r ien ted   d ialo g u s y s te m     T h is  is  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Kh ald o o n   H.   A lh u s s a y n i   C o m p u ter   C en ter   B ab y lo n   U n i v er s it y B ab y lo n ,   I r aq   E m ail: a l h u s s a y n i8 3 @ g m a il.c o m       1.   I NT RO D UCT I O N     Dialo g   s tate  tr ac k in g   ( DST )   is   cr u c ial  p ar o f   ta s k - o r i en ted   d ialo g u s y s te m s   t h at  tr ac k   u s er   o b j ec tiv es  at  ea ch   tu r n   b ased   o n   d ialo g u h i s to r y .   T ask - o r ie n ted   d ialo g u s y s te m s   co m m u n icate   w it h   n at u r al - lan g u a g u s er s   b y   ta lk i n g   to   v o ice  i n ter f ac e   o r   w r i tin g   t ex to   p er f o r m   tas k s   t h e y   h a v in   m i n d .   Mo d er n   DST   m et h o d s   r el y   o n   m o d els  f o r   d ee p   lear n in g .   P r o p o s als  th at  ar m o r r ec en t   h av e   b ee n   m ad f o r   s e v er al  n eu r al - b ased   D ST   s tr u ct u r es.  I n   ad d itio n   to   h an d cr af t s   f ea t u r es,  w h er r ep r esen tatio n   b ased   o n   p r e - tr ain ed   w o r d   in cr u s tatio n s   is   co m p u ted   to   ag r ee   o n   s u c h   v ec to r s ,   th n e u r al   f aith   tr ac k er   ( NB T )   m o d el  p r o p o s ed   to   u s d ep th   lear n in g   ( DNN)   an d   co n v o lu tio n ar y   n et w o r k   ( C N N)   to   ca lcu late  t h ese  r ep r esen tatio n   v ec to r s   in   o r d er   to   lear n   f ea tu r ap p r o p r iate  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1058   f o r   ea ch   s tate   b y   [ 1 ] .   Nev er t h eless ,   m u lti - v alu ed   s lo ts   d o   n o tak i n to   ac co u n t   all  v al u es ,   alth o u g h   t h i s   w o r k   m a y   p r ed ict  m u lt ip le  p o ten tial   v alu e s   [ 2 ] .   Z h o n g   et  al.   ( 2 0 1 8 )   p r o p o s ed   th GL A m o d el  w it h   s e lf - atte n tio n - b ased   r ec u r r en n et w o r k s   an d   s i m u lated   r ep r esen tatio n s   f o r   ea ch   u ter u s   a n d   p r ev io u s   s y s te m   b eh a v io u r ,   ca lcu lati n g   s i m ilar it y   to   ea ch   s lo t - v a lu [ 3 ] .   T h is   h as  i m p r o v ed   GL A ar ch itect u r w it h   th el i m in at io n   o f   s lo t - d ep en d en r ec u r r en t   u tter an ce   n e t w o r k s   a n d   d ev ice  i n t er v en tio n   en co d er   an d   t h u s o f   an   ap p licatio n   v ec to r   g lo b all y   co n d itio n ed   en co d er   ( GC E ) .   I n   th last   t w o   ap p r o ac h es,  h o w e v er ,   d is tr ib u to r s   in   th e   p r o d u ctio n   s y s te m   w er s ti ll  i n ef f ec ti v e   d u to   th eir   f a ilu r e   to   r ec o g n is a n d   ta k th e   ap p licab le  co n tex t   o n   b o ar d ,   w h ile   t h w o r k   co u ld   id en ti f y   t h as s o ciate d   co n te x t.  T h p u r p o s o f   DST   is   t o   p r ed ict  th s et  o f   o b j ec tiv es  t h at   co r r esp o n d   to   o n to lo g ical  p r o d u cts   in   u s er   s t ate m e n ts   th a ar r ep r esen ted   as  s lo t - v alu e   p air s .   T h is   w il b ec o m co m p licated   task   w h e n   t h lex ica d is cr ep an c y   is   c h allen g ed   d y n a m ics  o f   th c o n te x t   p r o d u ctio n ,   th d is tr ib u tio n   o f   th s tate  o f   t h d ialo g u e,   to tal  p air s   o f   ca n d id ates  an d   d ialo g u ac tio n s   d escr ib ed   in   co n ce p tu aliza tio n .   W p r esen h er an   i m p r o v e m en m o d el  u s ed   b y   [ 3 ] ,   u s in g   th p r io r   v alu es  in   ea ch   s p i n ,   w h ich   f o r m   th s tat e.   T o   th is   e n d ,   th c u r r en a n d   p r ev io u s   u s er   s tate m en t s   h av b ee n   m er g ed   an d   v ar iatio n s   b et w ee n   t h e m   a n d   o n to lo g y   h a v b ee n   d eter m i n ed .       2.   RE L AT E D   WO RK   T h m e t h o d s   o f   d ialo g u s tate   m o n ito r in g   ca n   b d iv id ed   in to   r u les - b ased   ap p r o ac h ,   s tatis tics   a n d   d ee p   lea r n in g   s y s te m .   T h u s r u le - b ased   h eu r i s tic s   an d   ca lcu late  th co n f id en ce   s c o r es  o f   th N - b est   ca n d id ates  p r o d u ce d   to   d eter m i n t h co r r ec d ialo g u s tat es  f r o m   t h p er f o r m a n ce   o f   t h n atu r al  lan g u ag e   co m p r e h en s io n   m o d u le  [4 - 7] .   T h p u r p o s is   m o n ito r   th d etails  n ee d ed   to   tr ac k   th s tat u s   o f   t h d ialo g u e.   Nev er th e less ,   th e s p r in cip le s   ar n o co llected   a u to m at i ca ll y   f r o m   ac t u al  i n f o r m atio n   o n   d ialo g u to   in v o l v ca r e f u l   tu n i n g   an d   r e s p o n s i v d esi g n   atte m p t s .   D u to   th ese  tech n iq u e s ,   t h d ef in itio n   o f   d ialo g u e   s tates o f ten   lead s   to   i n ac cu r ac y .   Statis t ical  m et h o d s   f o r   d ialo g u e   b et w ee n   t h Sta te  T r ac k in g   [8 - 10]   h a v b ee n   u s ed   t o   p r o v id alter n ati v es  to   cr af ted   r u les.  S tatis tical  ap p r o ac h es  s u ch   as  l o g is tic  r eg r es s io n   a n d   th B ay esia n   n et w o r k   f o r   th ac co m p lis h m en o f   h i g h - p er f o r m an ce   m o n ito r i n g   a n d   th i m p le m e n tatio n   o f   co n f id en ce   ev al u atio n   o f   u s er   i n f o r m atio n .   T h ese  r ep o r ts ,   h o w e v er ,   h a v co m m o n   p r o b lem   t h at  e v er y   co n v er s atio n ,   r ath er   e x p en s i v co m p u tat io n ,   s h o u ld   b in clu d ed   in   ev er y .   R ec en tl y ,   th u s o f   d ee p   lear n in g   tech n iq u e s   f o r   d ialo g u tr ac k in g   th s tate  [ 1 ,   1 1 - 19] .   I n   ad d iti o n ,   o th er s   ar ab le  to   u n d er s t an d   s p ec i f ic  u s er   an d   s y s te m   u tter an ce s   a n d   p r io r   s y s te m   ac t io n s   to   p r ed ict  tu r n a r o u n d .   First  u s ed   f o r   s tate  tr ac k in g   d ialo g u es  w as  t h n e u r al  n et w o r k   [ 2 0 ] .   Ou r   r esear ch   is   i m p o r tan t   b ec au s e,   i n   a   p ip elin e   ap p r o ac h ,   t h f ir s atte m p is   to   u s e   n eu r al   n et w o r k   to   d ialo g u e   s tate   tr ac k i n g   to   o b tain   ap p r o p r iate  d ata   f r o m   t h u s er   u tter an ce s .   I n   th ab s e n ce   o f   th n ec e s s ar y   u s er   i n te r p r etatio n   d ialo g u f r a m e w o r k ,   th e s s ch e m e s   ca n   b u s ed   to   ac cu m u late  er r o r s   s ep ar atel y   w it h i n   th la n g u a g e   m o d u le.   State  T r ac k in g   Dia lo g   r es u lt s   d em o n s tr ate   th e   u tili t y   o f   lear n in g   to   co llecti v el y   i n ter p r et  s p ee ch   an d   m o n ito r   d ialo g u e   [ 1 4 ,   1 8 ,   1 9 ] .   T h ese  s o l u tio n s   ar e   ex tr ac ted   f r o m   th e   N - B est  l is t   d ev elo p ed   b y   t h a u to m ated   s p ee ch   r ec o g n i tio n   p r o g r a m m e.   B y   av o id i n g   er r o r   b u ild - u p   f r o m   t h co m p r eh e n s io n   d im e n s io n   o f   t h e   o r ig in al  la n g u a g e.   S u c h   f r a m e w o r k s   i n clu d t h u s o f   co m m o n   ta g i n g s   to   o v er r id u n i q u s lo f o r m s   an d   v alu e s ,   as  w ell  a s   h a n d cr af ted   p r o ce d u r al  d ictio n ar ies.  Nev e r th eles s ,   s u ch   m o d els r el y   o n   h an d cr af ted   f ea t u r e s   an d   co m p licated   d o m ain - s p ec if ic  lex ico n s ,   w h ic h   ar e   d if f ic u lt  to   s ca le   f o r   ea c h   f o r m   o f   s lo an d   th er e f o r e   d if f ic u lt to   ap p l y   to   n e w   d o m a in s .   R ec en s tate - o f   -   t h e - ar p r o j ec tio n s   f o r   DST   p r ed icted   th co n d itio n   o f   ev er y   tr an s itio n   b y   o b s er v in g   u n i f o r m   co n s u m er   a n d   m ac h i n u tter an ce s   r ep r esen ta tio n s .   Nev er t h eles s ,   t h e f f ic ien c y   o f   th e s s ch e m es   i s   lo w   i n   th u n u s u a an d   u n f a m i liar   s lo v al u es  t h at  h av r ec e n tl y   b ee n   ad d r ess ed   b y   lo ca s l o en co d er s   [ 3 ]   an d   th p o in ter   n et w o r k   [ 2 1 ] .   T h Glo b al - L o ca l   Sel f - A tte n t io n   E n co d er   m o d el   as   [ 2 ]   s u g g ested   r ec u r r en s el f - atten tio n   n et w o r k s   w it h   co m p u ted   r ep r esen tat i o n   b y   co m p ar i n g   t h s i m ilar it ies  o f   ev er y   s lo v al u to   ea ch   u s er   u tter an ce   a n d   p r io r   d ev ice  b eh av io u r .   [ 3 ]   i m p r o v ed   g lo b al - lo ca s e lf - c ar en co d er   s tr u ctu r b y   eli m i n ati n g   s lo t - b ased   r ec u r r en v o ice  n e t w o r k s   an d   s y s te m   en co d er s   a n d   u s i n g   g lo b al - co n d it io n ed   e m b ed d ed   s lo s t y le   en co d er .   Nev er th e less ,   b ec a u s o f   t h eir   lack   o f   ac ti v it y   i n   u n d er s ta n d in g   an d   i n co r p o r atin g   th r ele v an t   co n te x t,  t h ese   ap p r o ac h es  w er n o s u cc e s s f u i n   t h p r o d u ctio n   s y s te m ,   w h ile  t h i s   r esear ch   m a y   u n d er s tan d   t h co n n ec ti n g   s en s e.       3.   P RO P O SE D   M O DE L   W e   p r e s e n t   th e   p r o p o s e d   m o d e l   i n   th i s   s e ct i o n .   S e ct i o n   3 . 1   f i r s t   ex p l a in s   th e   r e ce n t ly   p r o p o s e d   a r c h it e c tu r e   o f   GC E   [ 3 ] ,   f o l l o w e d   b y   th e   p r o p o s e d   en c o d e r   in   S e c t i o n   3 . 2   th en   th e   m o d e l   s c o u r   in   Se c t i o n   3 . 3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dia lo g u s ta te  tr a ck in g   a cc u r a cy   imp r o ve men t b d is tin g u is h in g     ( K h a ld o o n   H.   A lh u s s a yn i )   1059   3 . 1 .   G lo ba lly   co nd it io ned e nco de ( G CE )   E ac h   en co d er   i n p u t i s   r ep r ese n ted   as a   r ep r esen tatio n   o f   th v ec to r ( C ) .   I n   t h G C E   m o d el  t h er is   th e   t w o - w a y   L ST s y s te m   [ 2 2 ]   an d   all  s lo ts   w h ich   ar s h a r ed   to   ac h iev s eq u en ce   o f   h id d en   s tate s   b y   en cr y p ti n g   t h i n p u t   s eq u en ce ,   s h ad ed   b y   s el f   atte n tio n   la y er   [ 2 3 ] .   T h GC E   ap p r o ac h   tak es   in to   ac co u n t   u s er   ex p r es s io n   a n d   th p r ev i o u s   s y s te m   ac tio n   f o r   m o d el  lear n in g .   Ho w ev er ,   i n   o u r   w o r k ,   w u s ed   GC E   ap p r o ac h   to   lea r n   d is tr ib u tio n   o f   Slo Valu P air s   an d   co n tex t,  n o o n l y   c u r r en u s er   u tte r an ce s   an d   p r ev io u s   s y s te m   ac t io n s   b u t a ls o   p r ev io u s   u s er   u t ter an ce .     3 . 2 .   E nco der   m o del   W f o llo w ed   th e   p r o p o s ed   ar ch itect u r f o r   ca lc u latio n   o f   ea ch   s lo v al u p air ' s   en co d er ,   u s er   u tter an ce   a n d   p r ev io u s   s y s te m   ac tio n s   at  G C E .   Ho w e v er ,   we  u s a n   ad d itio n al  en co d er   to   ex tr ac th h i s to r y   an d   th co n te x f o r   p r ev io u s   u s er   u tter a n ce s .   T h en co d er   m o d el  is   u s ed   to   e n co d th p r ev io u s   u s er   u tter an ce s   ( Hp er ,   C p er ) ,   th c u r r en u s er   u tter a n ce s   ( Hcu r ,   C cu r ) ,   th p r ev io u s   s y s te m   ac tio n s   ( He,   C a)   an d   s lo v al u ( H v ,   C v )   f o r   ea ch   s y s te m   ac t.  As  s h o w n   i n   F ig u r 1 ,   th s lo t - e m b ed d in g   v ec to r   f o r   th k th   s lo i s   u s ed   f o r   co n t e x t e x tr ac tio n .           Fig u r 1 .   Dialo g u e   h is to r ical  c o n tex s elf - at ten tio n   m o d el  f o r   d ialo g u s tate  tr ac k er       T o   ca lcu late  r ep r esen tatio n   H k   f o r   ea ch   s lo t   k th   a s   s h o w n   i n   ( 1 ) ,   w co n ca ten ated   t h s lo e m b ed d i n g   s k   w it h   in p u s eq u e n ce   X,   i.e . ,   cu r r en t   u s er   u tter an ce ,   p r ev io u s   u s er   u tter an ce ,   o r   p r ev io u s   s y s te m   ac tio n s ,   a s   in p u t to   t h en co d er ,   w h er co n ca ten a tio n   i s   d en o ted   as    (         ) .                     (   (         ) )               ( 1 )     W h er d r   is   th d im e n s io n   o f   t h L ST s tate.   T h en   w ca lc u late  th atte n tio n   s co r e           o f   th e   s lo f o r   ea ch   to k e n   h id d en   r ep r esen tat io n           as  s h o w n   in   ( 2 ) ,   b y   co n c aten ati n g   th e m   to   t h s   lo e m b ed d i n g         an d   tr an s ito r y   to   lin ea r   lay er ,   th en   ap p ly i n g   s o f t m a x         in   ( 3 )   to   n o r m alize   t h d is tr ib u tio n .   I n   ( 4 )   co m p u t e   s i m ilar l y   o f   th co n tex     .                (             )           ( 2 )                      (     )         ( 3 )                                     ( 4 )   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1060   E ac h   o f   th f o u r   e n co d er s   in   t h en co d er   m o d el,   as sh o w n   i n   Fi g u r 1 ,   ca n   b r ep r esen ted   as f o llo w s :     U,   s k a s   in p u ts   a n d                   as o u tp u t s ,   w h er d en o tes  w o r d   e m b ed d in g s   o f   t h u s er   u tter an ce .     P ,   s k   as in p u ts   a n d               as o u tp u t s ,   w h er P   d en o tes  w o r d   e m b ed d in g s   o f   t h p r ev io u s   u s er   u tter an ce .     A j , s k   a s   in p u ts   a n d                     as o u tp u t s ,   w h er A j j th is   t h p r ev io u s   s y s te m   ac tio n .     V,   s k   a s   in p u ts   a n d                   as o u tp u t s ,   w h er d en o tes cu r r e n t slo t - v alu p air .     3 . 3 .   Sco ring   m o de l   I n   GL A [ 2 ] ,   w ad o p ted   th s u g g e s ted   m et h o d   to   ca lcu late  th p er f o r m a n ce   o f   ea ch   s lo t - v alu p air   in   cu r r e n an d   p r ev io u s   co n s u m er   u tter a n ce s   a n d   p r ev io u s   s y s te m   s tep s .   T h e y   h o w ev er   u s t h ad d itio n al   p o in t to   i m p r o v th m ea n in g   an d   d eliv er y   o v er   t h h i s to r y   o f   d ialo g u e.   T h s co r es  m o d el  is   u s ed   to   m ea s u r s lo k   f o r   its   s lo v al u es  i n   o r d er   to   ev al u ate  t h s l o v alu e   th a t   th u s e r s   n a m e.   T h is   w as  also   d o n u s in g   f iv e x a m p le s .   T h f ir s s co r e               as  s h o w n   in   ( 5 )   is   th cu r r en t   u s er   u tter an ce   H cur ,   ta k i n g   i n to   ac co u n t h s lo t - v al u p ai r   b ein g   co n s id   er ed   c v   an d   u s i n g   th r es u lti n g   atten tio n   co n te x t q cur  as sh o w n   in   ( 6 )   to   s co r e   th s lo t - v al u p air .                            (   (           )           )         ( 5 )                                        )           ( 6 )                                       ( 7 )     w h er i n d icate s   n u m b er   o f   w o r d s   i n   t h in p u s eq u e n ce .   T h s co r             as  s h o w n   i n   ( 7 )   d en o tes   th p r ed icted   v alu es o f   th u s e r   u tter an ce .   T h s ec o n d   s co r e               as  s h o w n   in   ( 8 )   is   s i m ilar   to   th f ir s s co r e,   b u u s es  p r ev io u s   u s er   u tter a n ce   H pre  in s tead   o f   th e   c u r r en u s er   u tter a n ce ,   ta k i n g   in to   ac co u n t   th e   s lo t - v a lu e   p air   b ein g   co n s id er ed   c v   a n d   u s i n g   th r es u lti n g   a tten t io n   co n te x t               as  s h o w n   i n   ( 9 )   to   s co r th s lo t - v al u p air .   T h s co r             as   s h o w n   in   ( 1 0 )   d en o tes th p r ed icted   v alu eso f   th p r ev io u s   u tter an ce .                              (   (             )           )         ( 8 )                                             )           ( 9 )                                       ( 1 0 )     T h en   th p r ed icted   v alu es  o f   b o th   cu r r en an d   p r ev io u s   u s e r   u tter an ce s   ar ad d ed   as  s h o w n   in   t h f o llo w in g   as  s h o w n   in   ( 1 1 ) :                                           ( 1 1 )     Si m i lar l y ,   th i s   is   u s ed   to   d eter m i n t h m e n tio n ed   p r ev io u s   s y s te m   ac tio n s   in   t h c u r r en o r   p r ev io u s   u s er   u tter a n ce   s ep ar atel y   to   r ea ch   s u f f icie n i n f o r m atio n   a b o u u s er   u t ter an ce   w h e n   t h i s   is   n o i n f o r m ati v e.   T h th ir d   s co r e                   as  s h o w n   in   ( 1 2 ) ,   th co n tex o f   cu r r en u s er   u tter an ce   C cur   o v er   th p r ev io u s   ac tio n   r ep r esen tatio n s   C a   [ C a1   ·   ·   ·   C al ] .   Her e,   l   is   t h n u m b e r   o f   p r ev io u s   s y s te m   ac tio n s .   T h en   w u s e   th e   s i m ilar it y   b et w ee n   t h atten t io n   co n te x q acur  as  s h o w n   in   ( 1 3 )   an d   th s l ot - v al u p air   c v   to   s co r th s lo t - v alu e   p air .   T h s co r               as  s h o w n   i n   ( 1 4 )   d en o tes  th p r ed icted   v alu e s o f   th ep r ev io u s   s y s te m   ac tio n s i n   th e   cu r r en t u s er   u tter a n ce   s ep ar ate l y .                                (   (             )           )             ( 1 2 )                                                 )           ( 1 3 )                                           ( 1 4 )     T h f o u r th   s o u r ce                   as  s h o w n   i n   ( 1 5 ) ,   s i m ilar   to   th th ir d   s co r e,   b u u s es  th co n tex o f   p r ev io u s   u s er   u tter an ce   C pre   in s er ted   in t o   th co n tex t o f   cu r r en u s er   u tter an ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dia lo g u s ta te  tr a ck in g   a cc u r a cy   imp r o ve men t b d is tin g u is h in g     ( K h a ld o o n   H.   A lh u s s a yn i )   1061                              (   (             )           )             ( 1 5 )                                                 )           ( 1 6 )                                           ( 1 7 )   T h en   th p r ed icted   v alu e s   o f   b o th   th co n te x t o f   th c u r r en t a n d   p r ev io u s   u s er   u tter an ce s   ar ad d ed :                                               ( 1 8 )     I n   t h las s co r e,   w f o llo w ed   th p r o p o s ed   ap p r o ac h   in   [ 2 4 ]   to   d eter m in e   th e   r elev a n ce   o f   t h s lo t - v alu e   p air   in   t h c u r r en t u r n .   W co n ca ten a te  t h co n te x o f   b o th   c u r r en u s er   u t ter an ce             an d   p r ev io u s   u s er   u tter an ce               an d   u s s i g m o id   ac tiv atio n   o f   t h li n ea r   la y er   to   co m p u te  t h s co r e.                 (                       )            ( 1 9 )           (           (    )       )   ( 2 0 )     T h en   w co m p u te  co n te x t s u m m ar ies l of   atte n tio n   f r o m   C o v er   H cur   an d   l o f   atten t io n   f r o m   C v   o v er   H per .               (                 )   ( 2 1 )               (                  )   ( 2 2 )     T o   c o m p u te  th ad d itio n al  s c o r y f   t h at  es tab lis h es  t h p r o b ab ilit y   o f   t h ca n d id ate  s lo t - v alu b a s ed   o n   b o th   th cu r r e n t a n d   p r ev io u s   u s er   u t ter an ce s   a n d   th p r ev io u s   s y s te m   u tter an ce ,   w u s e:                         (         )         ( 2 3 )     Fin all y ,   w e   ad d   th w ei g h o f   all  s co r es  o f   s lo k ,   i.e . ,             ,   an d       ,   w h ich   ar n o r m a lized   b y   t h e   s ig m o id   f u n ctio n :             (         +         +       )           ( 2 4 )     w h er w   is   lear n ed   p ar a m ete r .       4.   E XP E R I M E NT   T h W izar d   o f   Oz  ( W o Z )   is   s in g le  d o m ai n   f o r   m o n ito r in g   p latf o r m   d ialo g u b o o k in g   ( W en   et  al.   2 0 1 6 ) .   T h e m o tio n   d ataset   co n s i s ts   o f   6 0 0   in s tr u c tio n   d ialo g u e s ,   2 0 0   ap p r aisal  d ialo g u e s   a n d   4 0 0   ass es s m en t s .   - d ialo g u h as  a   t o tal  o f   ei g h t u r n s ,   w it h   m ac h in e   tr an s cr ip t,  u s er   u tter an c tr an s cr ip t,  tu r n   m ar k   an d   d ialo g u s tatu s   f o r   ea ch   s w itc h .   T h o n to lo g y   co n s i s ts   o f   th r ee   s ep a r ate  s lo f o r m s f o o d   w it h   7 2   v alu e s ,   7   v al u es,  4   v al u e s ,   an d   7   d if f er e n k in d   o f   s lo ts ,   in cl u d in g   telep h o n n u m b er   an d   ad d r ess .   T h o n to lo g y   co n s is t s   o f   th r ee   s p ec if ic  s lo s t y le s .   I n   o r d er   t o   ass ess   t h m etr ic  o f   m u tu al   tar g et  m o n ito r i n g   p r ec is io n ,   w o b s er v ed   t h ag g r eg atio n   o f   t u r n s   tar g ets  [ 2 ] .     4 . 1 .   I m ple m ent a t io det a ils   T h p r e - tr ain ed   em b ed d in g   o f   GL o Ve w o r d   [ 2 5 ]   is   u s ed ,   w h ic h   is   p air ed   w it h   n - g r a m   e m b ed d in g   ch ar ac ter is tic s ,   an d   is   r etai n ed   th r o u g h o u th e   tr ain i n g .   T h u n i ts   f o r   B I - L ST Ms  ar d escr ib ed   in   2 0 0   h id d en   d i m en s io n s   an d   th i n itia le a r n in g   r ate  is   tr ain ed   u s i n g   an   A D AM   o p ti m izer   [ 2 6 ] .   Fo r   th e m b ed d in g   la y er ,   w d ef in ed   t h d r o p - o u t r ate.   T h av er ag n u m b er   o f   ti m e s   i s   5 0   to   tr ain   th 5 0   b atch   m o d els.     4 . 2 .   Resul t s   a n a na ly s is   T h p r ev io u s   DST   co n s u m er   d ec lar atio n   is   u s ed   to   g ain   t h n ec ess ar y   in f o r m a tio n   to   i n cr ea s th lik eli h o o d   o f   allo ca tio n   a m o n g   all  ap p lican s lo t - v al u p air s   an d   ac tio n   b eh a v io u r .   Usi n g   m o d el  to   p r ac tis e   an d   ch ec k   t h w h o le  c y cle  i s   s tr ea m li n ed   an d   p ac b en ef its .   T h en co d er   s id o f   th m o d el  is   d eter m i n ed   f o r   b o th   ac tiv ities   o n l y   o n ce .   I n   s eg m e n s co r in g   m o d el,   w e   d eter m i n t h o u tco m e s   i n d ep en d en tl y   f r o m   th e   p r ev io u s   u s er   s tate m e n a n d   c u r r en u s er   s tate m en o v er   a ll  ap p lican s lo p air s   a n d   in t er v en tio n   s tep s   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1062   in cr ea s co v er a g an d   d is tr ib u tio n   o v er   d ialo g u h is to r y ,   a s   s h o w n   th r o u g h   Fi g u r 1 .   I n   f a ct,   b o th   th c u r r en t   an d   p r ev io u s   co n s u m er   u tter a n ce s   ar f u s ed   in   t h s en s o f   ea ch   ap p lican s lo m ea n i n g   p air ,   as  s h o w n   i n   ( th e   ad d itio n al  s co r o f )   Fi g u r 1 .   C o m p ar ed   w it h   all  s tate - o f   -   th e - ar s tr ate g ie s   i n   t h s h ar ed   g o al  p h ase,   t h e   p r o p o s ed   m o d el  o b tain ed   s u p e r io r   r esu lts ,   w h ic h   d id   n o t in c l u d th r eq u est t u r n in g   c h alle n g e.   T ab le   1   p r o v id es  s u m m ar y   o f   th r esu lt s   o f   o u r   n e w   m o d els  w i th   t h o s o f   p r ev io u s   s ta t e - o f   -   t h e - ar p r o j ec ts .   T h NB T   [ 1 ] ,   w h ich   u t ilis e s   co m m o n   m ar k s   i n s tead   o f   s lo ts   a n d   m ea n i n g s   in   th u t ter an ce ,   u s es   C NN  w it h   p r e - tr ai n i n g   ter m   e m b ed d in g s   f o r   r ep r esen tatio n al  lear n i n g   i n s tead   o f   d ele x i ca lis ed   [ 1 5 ] .   I n   th d esig n   o f   G L A [ 2 ] ,   th u tter an ce ,   p r ev io u s   s y s te m   o p er atio n ,   an d   all  s lo v alu e s   ar s eg r eg ated   in   e n co d er s .   Fo r   all  en co d er s ,   co m m o n   d esig n   i s   u s ed .   T h w r iter s   u s ed   t w o   r atin g s ,   ea c h   m ea s u r i n g   th e   r el atio n   b et w ee n   th s lo m ea n i n g   p ai r s   an d   th co n s u m er   u tter a n c o r   p r ev io u s   s y s te m   o p er atio n .   T h r esear ch er s   f o llo w ed   s i m ilar   m e th o d   to   GL A in   t h G C E   m o d el.   T h E n co d er   h as  h o w e v er   b ee n   u p d ated   to   in cr ea s e   laten c y   a n d   s p ee d   o f   in f er en ce   b y   r e m o v i n g   i n ad eq u ate  r ec u r r en t la y er s   a n d   s el f - a tten tio n   l a y er s .   T h W o Z   d ataset  h a s   b ee n   u s ed   to   tes o u r   p r o p o s ed   m o d el  an d   in tr o d u ce   t w o   m o d els.  I n   t h e   d ialo g u o f   id en tical   d esig n   [ 3 ] ,   p r ev io u s   u s er   d e f i n itio n s   w er u s ed   as  ad d itio n a en co d er s   w it h   t h s a m e   ac cu r ac ies as  GC E   la y o u t.  T h s ec o n d   w as b y   in te g r ati n g   th m ea n in g   o f   p r e v io u s   u s er   u tt er an ce s   a n d   cu r r en t   u s er   u t ter an ce s   w i th   all  ca n d id ate  s lo v alu p air s .   I n cr ea s i n g   e x is t in g   u s er   u tter a n ce   w i th   th co r r ec u s er   in f o r m atio n   a n d   th p r ev io u s   s y s te m   u tter a n ce   also   i m p r o v e s   th s tan d ar d   tar g et  ac cu r ac y   b y   0 . 8 %,  as  s h o w n   b y   t h f in d i n g s   i n   T ab le  1   an d   r eq u est ac cu r ac y .       T ab le   1 .   C o m p ar is o n   o f   o u r   m o d el  to   p r e v io u s l y   p u b lis h ed   W o Z   r estau r an t r eser v atio n   d ataset   T u r n   R e q u e st   Jo i n t   G o a l   M o d e l   9 1 . 2 %   8 4 . 4 %   N e u r a l   B e l i e f   Tr a c k e r   ( N B T ) DNN   9 1 . 6 %   8 4 . 2 %   N e u r a l   B e l i e f   Tr a c k e r   ( N B T ) C N N   9 7 . 1 %   8 8 . 1 %   G l o b a l - L o c a l l y   S e l f - A t t e n t i v e   ( G L D A )   9 7 . 3 8 %   8 8 . 5 %   G l o b a l l y   C o n d i t i o n e d   E n c o d e r   ( G C E)   9 6 . 9 8 %   9 6 . 9 8 %   8 8 . 5 %   8 9 . 3 %   G C E   p r e v i o u u t t e r a n c e   G C E   p r e v i o u u t t e r a n c e   a d d i t i o n a l   s c o r e       5.   CO NCLU SI O N   DST ' s   o b j ec tiv is   to   d ef i n t w o   g o als:   t h cu r r e n s tate  o f   ea ch   r o tatio n   o f   d ialo g u s lo v alu p air s   an d   th u s er   d ialo g u ac to   s u m   u p   all  t h u s er 's  o b j ec tiv es.  I n   th is   p ap er ,   w p r o p o s d if f er en f r a m e w o r k   f o r   DST   as  d ialo g u e   o n   t h h i s to r ical  c o n te x s el f - Atte n tio n   to   d is ti n g u i s h   a n d   u s t h r elate d   d ialo g u e   h is to r y   b y   i n cl u d in g   th p r ev i o u s   u s er 's  u tter a n ce   in   t w o   s e p ar ate  w a y s   a n d   to   f u s in   o r d er   to   p r o v id th e   m o d el  w it h   th n ec es s ar y   in f o r m atio n .   R ela tiv to   all  s tate - o f   -   th e - ar m eth o d s ,   th p r o p o s ed   m o d el  o b tain ed   o u tco m es  o f   0 . 8 in   th s h ar ed   aim   p r ec is io n   w it h   th W o Z   d ata  s et  u s ed   to   test   o u r   p r o p o s ed   m o d el.   Ou r   m o d el  u s es  s m aller   n u m b er   o f   lear n in g   p ar a m eter s   ap p lied   to   in ter p r et  cu r r en an d   p r ev io u s   u s er   s ta te m e n t s   u s i n g   t h ap p r o p r iate  co n tex t.   T h ey   also   h av e   h ig h   d is p ar it y   i n   t h p r ec is io n   o f   th e   j o in ai m   b ec a u s t h j o in o b j ec tiv is   d ec id ed   b y   p ili n g   tu r n   tar g ets  a n d   er r o r s   w h en   es ti m ati n g   tu r n   d esti n at io n   ar co m p ar ati v el y   s m aller .       RE F E R E NC E S   [1 ]   N.  M rk šić ,   D.  Ó.   S é a g h d h a ,   T . - H.  W e n ,   e a l. ,   Ne u ra l   b e li e f   trac k e r Da t a - d riv e n   d ialo g u e   sta te  trac k in g ,   Pro c e e d in g o t h e   5 5 t h   An n u a M e e ti n g   o th e   Asso c i a ti o n   f o r Co mp u ta ti o n a l   L i n g u isti c s p p .   1 7 7 7 - 1 7 8 8 2 0 1 6 .   [2 ]   V .   Z h o n g ,   C.   X i o n g ,   a n d   R .   S o c h e r,   G lo b a l - L o c a ll y   S e l f - A tt e n ti v e   Dia lo g u e   S tate   T ra c k e r,   Pro c e e d in g o t h e   5 6 t h   A n n u a M e e ti n g   o t h e   Asso c ia ti o n   f o r Co m p u t a ti o n a L in g u ist ic p p .   1 4 5 8 - 1 4 6 7 ,   2 0 1 8 .   [3 ]   E.   No u ri  a n d   E.   Ho ss e in i - A sl,  To w a rd   sc a lab le  n e u ra d ialo g u e   sta te  trac k in g   m o d e l,   3 2 n d   Co n fer e n c e   o n   Ne u ra l   In fo rm a t io n   Pro c e ss in g   S y ste ms   ( Ne u rIPS   2 0 1 8 ),   2 n d   C o n v e rs a ti o n a AI  wo rk sh o p   M o n tré a l ,   Ca n a d a .   2 0 1 8 .   [4 ]   R.   Hig a sh in a k a ,   M .   N a k a n o ,   a n d   K.  A ik a wa ,   Co rp u s - b a se d   d isc o u rse   u n d e rsta n d in g   in   sp o k e n   d ial o g u e   s y ste m s,”   Pro c .   4 1 st A n n u .   M e e t.   Asso c .   C o mp u t.   L in g u ist. ,   p p .   2 4 0 - 2 4 7 ,   2 0 0 3 .   [5 ]   J.  W il li a m s,  A .   Ra u x ,   D.  Ra m a c h a n d ra n ,   A .   Blac k ,   T h e   Dia lo g   S tate   T ra c k in g   Ch a ll e n g e   w it h   Ba y e sia n   A p p ro a c h ,   Pro c .   o f1 4 th   An n u .   M e e t.   S p e c .   I n ter e s.  Gr .   Disc o u rs e   Dia lo g u e ,   n o .   A u g u st,  p p .   4 0 4 - 4 1 3 ,   2 0 1 7 .   [6 ]   K.  S u n ,   L .   Ch e n ,   S .   Z h u ,   K.  Y u .   g e n e ra li z e d   ru le  b a se d   trac k e r   f o d ialo g u e   sta te  trac k in g ,   Pro c .   S p o k .   L a n g .   T e c h n o l .   W o rk . ,   p p .   3 3 0 - 3 3 5 ,   2 0 1 4 .   [7 ]   S .   L .   a n d   D.  R.   T ra u m ,   In f o r m a ti o n   sta te  a n d   d ialo g u e   m a n a g e m e n in   th e   tri n d d ial o g u e   m o v e   e n g in e   to o lk it , ”  v o l.   6 ,   n o .   3 ,   p p .   3 2 3 - 3 4 0 ,   2 0 0 0 .   [8 ]   D.  Bo h u a n d   A .   Ru d n ick y ,   K   h y p o th e se +   o th e r”   b e li e f   u p d a ti n g   m o d e l,   Pro c .   AA AI   W o rk .   S t a t.   Emp ir .   Ap p ro a c h e s t o   S p o k .   Dia l o g u e   S y st. ,   p p .   1 3 - 1 8 ,   2 0 0 6 .   [9 ]   Y.   M a ,   A .   Ra u x ,   D.  Ra m a c h a n d ra n ,   a n d   R.   G u p ta,  L a n d m a r k - b a se d   lo c a ti o n   b e li e f   trac k in g   in   a   sp o k e n   d ialo g   s y ste m ,   S IGD IAL   2 0 1 2   -   1 3 t h   A n n u .   M e e t.   S p e c .   In ter e s.  Gr .   Disc o u rs e   Dia l o g u e ,   Pro c .   Co n f. ,   p p .   1 6 9 - 1 7 8 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esia n   J   E lec  E n g   &   C o m p   Sci     I SS N:  2502 - 4752       Dia lo g u s ta te  tr a ck in g   a cc u r a cy   imp r o ve men t b d is tin g u is h in g     ( K h a ld o o n   H.   A lh u s s a yn i )   1063   [1 0 ]   B.   T h o m so n   a n d   S .   Y o u n g ,   Ba y e sia n   u p d a te  o f   d ialo g u e   sta t e A   P OMDP   f ra m e w o rk   f o s p o k e n   d ial o g u e   s y ste m s,”  Co mp u t.   S p e e c h   L a n g . ,   v o l.   2 4 ,   n o .   4 ,   p p .   5 6 2 - 5 8 8 ,   2 0 1 0 .   [1 1 ]   A b h in a v   Ra sto g i,   Dilek   Ha k k a n i - T u r L .   H eck ,   S c a lab le  m u lt i - d o m a in   d ial o g u e   sta te  trac k in g ,   2 0 1 7   IEE E   Au to m a ti c   S p e e c h   Rec o g n it i o n   a n d   Un d e rs ta n d in g   W o rk sh o p   ( AS R U),   p p .   5 6 1 - 5 6 8 ,   2 0 1 7 .   [1 2 ]   I.   Ca sa n u e v a   e a l. ,   A   b e n c h m a rk in g   e n v iro n m e n f o re in f o rc e m e n lea rn in g   b a se d   tas k   o rien ted   d ial o g u e   m a n a g e m e n t,   Co RR ,   v o l .   a b s/ 1 7 1 1 . 1 ,   2 0 1 7 .   [1 3 ]   M .   He n d e rso n ,   B.   T h o m so n ,   a n d   S .   Yo u n g ,   De e p   n e u ra n e tw o rk   a p p ro a c h   f o th e   d ialo g   sta te t ra c k in g   c h a ll e n g e ,   S IGD IAL   2 0 1 3   -   1 4 th   An n u .   M e e t.   S p e c .   I n ter e s.  Gr .   Disc o u rs e   Dia lo g u e ,   Pro c .   Co n f. ,   p p .   4 6 7 - 4 7 1 ,   2 0 1 3 .   [1 4 ]   M .   He n d e rso n ,   e a l. ,   W o rd - b a se d   d i a lo g   sta te  trac k in g   w it h   re c u rre n n e u ra n e tw o rk s ,   in   Pro c e e d in g o th e   1 5 t h   A n n u a M e e ti n g   o t h e   S p e c i a In ter e st Gro u p   o n   Disc o u rs e   a n d   Di a lo g u e   ( S IGD IAL ) ,   2 0 1 4 ,   p p .   2 9 2 - 2 9 9 .   [1 5 ]   M .   He n d e rso n ,   B.   T h o m so n ,   a n d   S .   Yo u n g ,   Ro b u st  d ial o g   sta te  trac k in g   u sin g   d e lex ic a li se d   re c u rre n n e u ra n e tw o rk s an d   u n s u p e rv ise d   a d a p t a ti o n ,   2 0 1 4   I EE S p o k e n   L a n g u a g e   T e c h n o l o g y   W o rk sh o p ,   p p .   3 6 0 - 3 6 5 ,   2 0 1 4 .   [1 6 ]   N.  M rk šić ,   e t   a l. ,   M u lt i - d o m a in   d ialo g   sta te  trac k in g   u sin g   re c u rre n n e u ra n e tw o rk s,”  ACL - IJ CN L 2 0 1 5   -   5 3 rd   An n u .   M e e t.   Asso c .   Co m p u t .   L i n g u ist.   7 t h   In t.   J t.   C o n f .   Na t .   L a n g .   Pro c e ss .   Asi a n   Fe d .   Na t.   L a n g .   Pro c e ss .   Pro c .   Co n f. ,   v o l.   2 ,   p p .   7 9 4 - 7 9 9 ,   2 0 1 5 .   [1 7 ]   J.  P e re z   a n d   F .   L iu ,   Dia lo g   st a te  trac k in g ,   a   m a c h in e   re a d in g   a p p r o a c h   u sin g   M e m o r y   Ne t w o rk ,   Co RR ,   v o l.   a b s/1 6 0 6 . 0 4 0 5 2 ,   2 0 1 6 .   [1 8 ]   T .   W e n ,   e a l. ,   A   n e t w o rk - b a se d   e n d - to - e n d   train a b le  tas k - o rien ted   d ialo g u e   sy st e m ,”   Pro c e e d in g o th e   1 5 t h   Co n fer e n c e   o th e   E u ro p e a n   C h a p ter   o t h e   Asso c i a ti o n   f o r Co m p u ta ti o n a L i n g u isti c s,   v o l .   1 ,   p p .   4 3 8 - 4 4 9 ,   2 0 1 7 .   [1 9 ]   L .   Zi lk a   a n d   F .   Ju rc ice k ,   In c re m e n tal  L S T M - b a se d   d ialo g   sta te  trac k e r,   2 0 1 5   IEE W o rk .   Au to m.  S p e e c h   Rec o g n it .   Un d e rs ta n d in g ,   AS RU  2 0 1 5   -   Pro c . ,   v o l.   1 ,   n o .   L ,   p p .   7 5 7 - 7 6 2 ,   2 0 1 6 .   [2 0 ]   M .   He n d e rso n ,   B.   T h o m so n ,   a n d   J.  W il li a m s,  Dia lo g   S tate   T r a c k in g   Ch a ll e n g e   2   &   3 ,   Di a l o g u e wit h   S o c .   Ro b o t. ,   n o .   S e p tem b e r,   p p .   1 - 2 2 ,   2 0 1 3 .   [2 1 ]   P .   X u   a n d   Q.  Hu ,   A n   e n d - to - e n d   a p p ro a c h   f o h a n d li n g   u n k n o w n   slo t   v a lu e in   d ialo g u e   s tate   trac k in g ,   Pro c e e d in g o t h e   5 6 t h   An n u a M e e ti n g   o th e   Asso c i a ti o n   f o r Co mp u ta ti o n a l   L i n g u isti c s ,   2 0 1 8 .   [2 2 ]   H.  S e p p   a n d   S .   J u rg e n ,   L o n g   sh o rt - term   m e m o r y ,   Ne u ra Co mp u t . ,   v o l.   9 ,   n o .   8 ,   p p .   1 7 3 5 - 1 7 8 0 ,   1 9 9 7 .   [2 3 ]   Z.   L in   e a l. ,   A   stru c tu re d   s e lf - a tt e n ti v e   s e n ten c e   e m b e d d i n g ,   5 th   I n ter n a t io n a l   Co n fer e n c e   o n   L e a rn i n g   Rep re se n ta ti o n s ( ICL 2 0 1 7 ),   p p .   1 - 1 5 ,   2 0 1 7 .   [2 4 ]   S .   S h a rm a ,   P .   K.   Ch o u b e y ,   a n d   R.   Hu a n g ,   Im p ro v in g   Dia lo g u e   S tate   T ra c k in g   b y   Disc e rn in g   th e   Re lev a n t   Co n tex t,   Pro c e e d in g o NAA C L - HLT   2 0 1 9 ,   p p.   5 7 6 - 5 8 1 ,   2 0 1 9 .   [2 5 ]   C.   D.  M .   Je f f re y   P e n n in g to n ,   Rich a rd   S o c h e r,   G lo V e G lo b a V e c to rs  f o W o rd   Re p re se n tatio n ,   P ro c .   2 0 1 4   C o n -   fer e n c e   Emp ir.   M e th o d s N a t.   L a n g .   Pro c e ss . ,   p p .   1 5 3 2 - 1 5 4 3 ,   2 0 1 4 .   [2 6 ]   D.  P .   Kin g m a   a n d   J.  Ba ,   A d a m A   M e th o d   f o S to c h a stic  Op ti m iz a ti o n ,   In ter n a ti o n a Co n fer e n c e   o n   L e a r n in g   Rep re se n ta ti o n s p p .   1 - 1 5 ,   2 0 1 4 .       B I O G RAP H I E S O F   AUTH O RS       K h a ld o o n   H a sa n   Al h u ss a y n i   re c e iv e d   th e   BS c   d e g re e in   Co m p u ter  S c ien c e   f ro m   th e   Un iv e rsit y   o f   Ba b y lo n ,   Ira q ,   in   2 0 0 8 .   A f ter  c o m p letin g   h is  BS c ,   h e   w o rk e d   a a   p ro g ra m m e a t   th e   De p a rtme n o f   Co m p u ter  Ce n ter,  th e   Un iv e rsity   o f   B a b y lo n .   In   2 0 0 9 ,   re c e iv e d   th e   M S c   d e g re e in   Co m p u ter  S c ien c e   a n d   Co m p u ter  En g in e e rin g   f ro m   th e   T u la  S tate   Un iv e rsit y ,   Ru ss ian ,   in   2 0 1 4 .   S e c in c e   No v   2 0 1 6   h e   e n tere d   th e   T o m sk   sta te u n iv e rsit y   ( T S U),  De p a rt m e n o c o m p u ter sc ien c e   th e o ry   a s a  P h . D.  stu d e n in   sp e c ialty   M a th e m a ti c a a n d   so f tw a r e   o f   c o m p u ters ,   co m p lex e a n d   c o m p u ter  n e tw o r k s.  His  m a in   re s e a rc h   in tere sts  a re   m a c h in e   lea rn in g ,   n e u ra l   n e tw o rk s,  d e e p   lea rn in g ,   d ialo g u e   sy ste m s an d   n a tu ra lan g u a g e   p ro c e ss in g .           Z a m y a t i n   A l e x a n d e r   V l a d im i r o v i c h     D .   S c . ,   a s s o c i a t e   p r o f e s s o r ,   H e a d   o f   D e p a r t m e n t   o f   c o m p u t e r   s c i e n c e   t h e o r y   i n   t h e   T o m s k   S t a t e   U n s i v e r s i t y   ( T S U ) .   I n   D e c e m b e r   2 0 0 2   h e   e n t e r e d   t h e   f u l l - t i m e   p o s t g r a d u a t e   s t u d y   o f   T o m s k   P o l y t e c h n i c   U n i v e r s i t y   ( T P U )   i n   s p e c i a l t y   0 5 . 1 3 . 1 1 - M a t h e m a t i c a l   a n d   s o f t w a r e   o f   c o m p u t e r s ,   c o m p l e x e s   a n d   c o m p u t e r   n e t w o r k s ,   w h i c h   h e   g r a d u a t e d   a h e a d   o f   s c h e d u l e   d u e   t o   w i t h   t h e   d e f e n s e   o f   h i s   t h e s i s .   A s   a n   a s s o c i a t e   P r o f e s s o r   o f   t h e   D e p a r t m e n t   o f   c o m p u t e r   s c i e n c e   ( p a r t - t i m e )   c o n t i n u e d   t o   c a r r y   o u t   e d u c a t i o n a l   a n d   r e s e a r c h   a c t i v i t i e s ,   F r o m   J a n u a r y   2 0 1 9   h e   w a s   a p p o i n t e d   a c t i n g   D i r e c t o r   o f   t h e   I n s t i t u t e   o f   a p p l i e d   m a t h e m a t i c s   a n d   c o m p u t e r   s c i e n c e .   Z a m y a t i n   A . V .   c o m p l e t e d   a   s t u d y   a n d   w a s   e n t i t l e d   t h e   t e a c h e r   o f   t h e   h i g h   s c h o o l   I G I P   I n t e r n a t i o n a l   E n g i n e e r i n g   E d u c a t o r   I N G - P A E D   I G I P ,   N o   E N G - 2 5 5 ,   i s   a c t i v e l y   i n v o l v e d   i n   s c i e n t i f i c   r e s e a r c h ,   p a r t i c i p a n t   r e s e a r c h   a s   t h e   h e a d   ( R u s s i a n   f o u n d a t i o n   f o r   b a s i c   r e s e a r c h   g r a n t s   N o   1 1 - 07 - 0 0 0 2 7 ,   0 3 - 07 - 0 6 0 2 4 ,   1 4 - 07 - 0 0 1 2 7 ,   Г К   N o   1 4 . 5 1 5 . 1 1 . 0 0 4 7   o n   t h e   i n s t r u c t i o n s   o f   M i n i s t r y   o f   e d u c a t i o n   a n d   s c i e n c e   o f   t h e   R u s s i a n   F e d e r a t i o n )   a n d   r e s p o n s i b l e   o f f i c e r   ( g r a n t s   R F B R     0 0 - 07 - 9 0 1 2 4 ,   0 3 - 07 - 9 0 1 2 4 ,   0 6 - 05 - 78056 ) .   E x e c u t o r   f o r   t h e   T S U   f o r   t h e   m e g a - p r o j e c t   " C r e a t i n g   o f   l o c a l   h i g h - t e c h   s o f t w a r e   a n d   i n s t r u m e n t a l   c o m p l e x   f o r   t h e   i m p l e m e n t a t i o n   o f   p r o c e s s   c o n t r o l   s y s t e m s   b a s e d   o n   f r e e   s o f t w a r e   c a r r i e d   o u t   i n   c o l l a b o r a t i o n   w i t h   " E l e S y "   c o m p a n y   a n d   T o m s k   s t a t e   u n i v e r s i t y .   A c c o r d i n g   t o   t h e   r e s u l t s   o f   s c i e n t i f i c   a c t i v i t y   Z a m y a t i n   p u b l i s h e d   m o r e   t h a n   7 0   s c i e n t i f i c   p a p e r s ,   i n c l u d i n g   2   m o n o g r a p h s .   Z a m y a t i n   A . V .   i s   a   d e v e l o p e r   a n d   h e a d   o f   t h e   m a s t e r ' s   e d u c a t i o n a l   p r o g r a m   " D a t a   s c i e n c e   a n d   b i o i n f o r m a t i c s " .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4752   I n d o n esia n   J   E lec  E n g   &   C o m p   Sci,   Vo l.  21 ,   No .   2 Feb r u ar y   2 0 2 1   :    10 57   -   10 64   1064     E m a n   Al - S h a m e r y   r e c e iv e d   th e   BS c   a n d   M S c   d e g re e s in   Co m p u ter S c ien c e   f ro m   th e   Un iv e rsit y   o f   Ba b y lo n ,   Ira q ,   i n   1 9 9 8   a n d   2 0 0 1 ,   re sp e c ti v e l y .   Af ter  c o m p letin g   h e M S c ,   s h e   w o rk e d   a a n   a ss istan lec tu re a th e   De p a rtme n o f   Co m p u ter  S c ien c e ,   th e   U n iv e rsit y   o f   Ba b y lo n .   In   2 0 1 3 ,   sh e   re c e iv e d   h e P h D   in   Co m p u te S c ien c e   f ro m   th e   Un iv e rsit y   o f   Ba b y lo n .   Cu rre n t ly ,   sh e   h o l d a   p ro f e ss o p o siti o n   a S o f twa r e   De p a rt m e n t,   Un iv e rsit y   o f   B a b y lo n .   He c u rre n re se a r c h   in tere sts  in c lu d e   a rti f icia in tell ig e n c e ,   b io in f o rm a ti c s,  m a c h in e   lea rn in g ,   n e u ra n e tw o rk s,  d e e p   lea rn in g   a n d   d a ta m in in g .       Evaluation Warning : The document was created with Spire.PDF for Python.