I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   3 7 ,   N o .   2 ,  F e b r ua r y   20 2 5 ,   pp.   1 30 6 ~ 1 31 6   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 3 7 . i 2 . pp 1 30 6 - 1 31 6             1306     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   A  j oi n t  l e ar n in g c la ssi f ic at io n  f or  i n t e n t  d e t e c t io n  an d  s lo t  f il li n g  w ith  d om ai n - ad a p t e d  e m b e d d in gs       Yus u f   I d r is   M u h am m ad ,  Naom ie  S al im ,   Anaz id a  Z ain al   D e pa r tm e nt   of  C o mput e r  S c i e n c e ,   F a c ul t y   of  C omput in g, U ni ve r s it i  T e kn o l o gi  M a la y s ia , J o h o r , M a la y s ia       Ar t ic l e   I n f o     AB S T RA CT     A r ti c le  h is tor y :   R e c e i ve d  J u n   22 ,   202 4   R e vi s e d  S e p   12 ,  202 4   A c c e pt e d  S e p   30 ,   202 4       Fo r  d i al o g u e   s y s t em s   t o   fu n c t i o n   e ff ec t i v e l y ,   a ccu ra t e   n at u ra l   l an g u a g e   u n d e rs t an d i n g   i s   v i t al ,   r e l y i n g   o n   p r ec i s e   i n t en t   rec o g n i t i o n   an d   s l o t   fi l l i n g   t o   e n s u r e  s mo o t h   a n d   m e a n i n g f u l   i n t e ra c t i o n s .   Pr ev i o u s   s t u d i e s   h av e   p ri m ar i l y   fo cu s ed   o n   ad d r e s s i n g   e a c h   s u b t as k   i n d i v i d u al l y .   H o w e v e r ,   i t   h as   b een   d i s co v e r ed   t h at   t h e s e   s u b t as k s   are   i n t e r c o n n ec t e d   an d   a ch i e v i n g   b e t t e r  r e s u l t s   re q u i r e s   s o l v i n g   t h em  t o g e t h e r .   O n e  d ra w b a ck   o f  t h e  j o i n t   l e ar n i n g   m o d e l   i s   i t s   i n ab i l i t y   t o   ap p l y   l e arn ed   p at t e rn s   t o   u n s ee n   d at a,   w h i ch   s t em s   fr o m   a   l ack   o f  l arg e,   an n o t at ed   d at a.   R ece n t   ap p ro ach e s   h av e   s h o w n   t h at   u s i n g   p re t rai n e d   em b ed d i n g s   fo r  e ff ec t i v e   t e x t   re p re s e n t at i o n   c an   h el p   ad d r e s s   t h e  i s s u e   o f  g e n e ra l i zat i o n .   H o w ev e r,   p r e t rai n ed   em b e d d i n g s   are  me r e l y   t rai n ed   o n   co rp u s   t h at   t y p i c a l l y   co n s i s t   o f  co mm o n l y   d i s c u s s ed   m at t e rs ,   w h i c h   mi g h t   n o t   n ece s s ar i l y   co n t ai n   d o m ai n   s p eci fi c  v o c ab u l ar i e s   fo r   t h e  t as k   at   h an d .   T o   ad d r e s s   t h i s   i s s u e ,   t h e   p ap e r   p re s e n t s   a  j o i n t   mo d el   f o r   i n t e n t   d e t ec t i o n   an d   s l o t   fi l l i n g ,   h ar n e s s i n g   p re t rai n e d   em b ed d i n g s   a n d   d o m a i n   s p ec i f i c   em b ed d i n g s   u s i n g   c a n o n i c al   c o rr el at i o n   a n al y s i s   t o   e n h an ce  t h e   mo d el   p e rfo r m an ce.   T h e  p ro p o s ed   mo d el   co n s i s t s   o f  co n v o l u t i o n al   n eu ral   n e t w o rk   al o n g   w i t h   b i d i r ec t i o n a l   l o n g   s h o rt - t e r m   mem o r y   (B i L ST M)   fo r  e ffi ci e n t   j o i n t   l e ar n i n g   cl as s i fi c at i o n .   T h e   r e s u l t s   o f  t h e   e x p e r i me n t   s h o w   t h at   the   p ro p o s e d   mo d el   p e rf o r m s   b e t t e r  t h a n   t h e   b as el i n e   m o d e l s .   K e y w o r d s :   D i a l o gue   s y s t e m     I n t e n t   de t e c t i o n   J o i n t   l e a r ni ng   Na t ur a l   l a n gua ge   un d e r s t a n d i ng   S l o t  f il li ng   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   Yus u f   I dr i s   M u ha m m a d   De pa r t m e n t   o f   C o m put e r   S c i e n c e ,   F a c u l t y   o f   C o m put i n g ,   Uni ve r s i t i   T e k n o l o g i   M a l a y s i a   J o h o r ,   M a l a y s i a   E m a i l :  m u h a mm a d i dr i s @ gr a dua t e . u t m . my       1.   I NT RODU C T I ON     N a tu r a l   l a n gua ge   un de r s tan di n g   ( NL U )   pl a y s   a   c r uc i a l   r o l e   i n   e n a bl i n g   i n te r a c t i o n s   b e t w e e n   h u m a n s   a n d   d i a l o g ue   s y s te m s   [ 1] .  I ts   p r i m a r y   g o a l   i s   to  i n t e r p r e t  t h e   m e a ni n g   o f   a   us e r ’ s   u tt e r a n c e s   a n d   d e t e r m i n e   th e i r   i n t e n t i o n s .   NL U   c o m p r i s e s   tw o  m a i n   tas ks :  i n t e n t   d e tec t i o n   ( I D )   a n d   s l ot  f i l l i n g  ( S F ) .   I n ten t  d e tec ti o n   i s   a   c l a s s i f i c a t i o n   tas k   wh e r e   f e a tu r e s   a r e   e x tr a c te d   f r o m   a n   u tt e r a n c e   a n d   f e d  i n to  a   c l a s s i f i c a t i o n   a l gor i t h m   to   p r e di c t  t h e   a pp r op r i a te  i n ten t   f r o m   a   s e t  o f   p r e d e f i ne d   c l a s s e s .   I n   c o n tr a s t,   s l ot  f i l l i n g  i s   a   s e q ue n c e   l a b e l i n g  tas k  th a t  i de n t i f i e s   t h e   s e m a n t i c   e l e m e n t s   wi t hi n   a n   utt e r a n c e ,   a s s i gni n g  a   l a b e l   to  e a c h   w or d   to  r e p r e s e n t  t h e   s e m a n t i c   i nf or m a t i o n   i t  c a r r i e s ,   whi c h   f ur t h e r   a i ds   i n   i n ten t  i de n t i f i c a t i o n .   I n   p r e vi o us   s tudi e s ,   t h e s e   tas k s   we r e   tr a di t i o n a l l y   h a n d l e d   s e pa r a tel y .   H owe v e r ,   i t  i s   b e e n   a c kn ow l e d ge d   t h a t  th e y   a r e   i n ter c o n n e c ted ,   a n d   a d d r e s s i n g  th e m   j o i n t l y   r e s ul t s   i n   i m pr o v e d   pe r f o r m a n c e   [ 2 ] .   T h i s   s i m u l t a n e ous   a p p r o a c h   e f f e c t i v e l y   h a n d l e s   b o th   tas ks ,   c a p tu r i n g   i n t e n t  a n d   s l ot  l a b e l   di s tr i b u t i o n s   wi t hi n   a n   u tt e r a n c e   whi l e   c o n s i de r i n g   l oc a l   a n d   gl o b a l   c o n t e x t s   [ 3 ] .  Un l i ke   s e pa r a te   m ode l s ,   th e   j o i n t  m o de l   m i ni m i z e s   th e   e r r or   a c c um u l a t i o n   by   e m p l o y i n g   a   uni f i e d   f r a m e w or k  f or   b ot h   f i n e - tuni n g  a n d   tr a i ni n g  [ 4 ] .  T r a i ni n g   a   j o i n t  m o d e l ,   h o w e v e r ,   n e c e s s i t a tes   a   c o m p r e h e n s i v e   a n n ot a te d  d a tas e t  th a t  r e p r e s e n t s   v a r i o us   us e r   q ue r i e s .   Un f or tun a tel y ,   b ui l d i n g   t hi s   t y pe   o f   da tas e t  i s   o f t e n   c os t l y ,   t i m e - i n t e n s i v e ,   a n d   r e qui r e s   c o n s i de r a bl e   m a n ua l   e f f or t.   T o  a d d r e s s   thi s   i s s ue ,   tr a n s f e r   l e a r n i n g   us i n g  p r e tr a i n e d   w or d  Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A   joi nt  lear ning  c las s i f ication  f or   in tent   de tec ti on  and  s lot   f il li ng   …  ( Y us uf   I dr is   M uhamm ad )   1307   e m b e d d i n gs   we r e   l e v e r a ge d .   Ge n e r i c   p r e tr a i n e d   w or d   e m b e dd i n gs   l i ke   Gl o v e   [ 5 ] ,   F a s tT e x t   [ 6 ]   a n d   W or d 2 V ec   [ 7 ] ,   a n d   whi c h   a r e   tr a i n e d   o n   l a r g e   c or p us   h a v e   s hown   a   s i gni f i c a n t  s u c c e s s   a s   f e a tur e s   f or   s up e r vi s e d  l e a r ni n g   i n   v a r i ous   tas ks   s uc h   a s   s e n t i m e n t  c l a s s i f i c a t i o n ,   s l ot  f i l l i n g ,   a n d   i n t e n t  de te c t i o n ,  d ue   to  th e i r   a bi l i t y   t o  c a p tu r e   r i c h   s e m a n t i c   i nf or m a t i o n   wi t hi n   t h e   w or d   v e c tor s .   M a ny   s tu d i e s   i n c o r p or a te  p r e tr a i n e d   e m b e ddi n gs   to   r e duc e   th e   r e l i a n c e   o n   l a r g e   da tas e t s   a n d  e n h a n c e   m ode l   g e n e r a l i z a t i o n .   S o m e   a ppr o a c h e s   e m p l o y   pr e t r a i n e d  G l o Ve   e m b e dd i ngs   to   p r o vi de   s e m a n t i c   i n f o r m a t i o n   t h r o ugh   d i f f e r e n t   a r c hi t e c t ur e s   [ 8 ] - [ 11 ] .   W a n g   e t   a l .   [ 12 ]   u t i l i z e d   c o n v o l u t i o n a l   n e u r a l   n e tw or k  ( C N N )   to  e x tr a c t  f e a tu r e s   f r o m   ge n e r i c   p r e tr a i n e d   W or d 2 V e c   w or d  e m b e ddi n gs ,   whi c h   we r e   f ur t h e r   e n c ode d  u s i n g  bi d i r e c t i o n a l   l o n g   s h or t - te r m   m e m or y   ( B i L S T M )   wi t h   a tt e n t i o n   m e c h a ni s m .   T o  c a p tu r e   r i c h e r   s e m a n t i c   i nf or m a t i o n ,   oth e r   s tu di e s   c o m bi n e d  Gl o v e   a n d   W or d 2 Ve c   e m b e d d i n gs   [ 1 3 ] ,  [ 1 4 ] .   Ki m   e t   al .   [ 1 5] ,   a u gm e n t e d  g e n e r i c   e m b e ddi n gs   wi t h   to  i n tr od uc e   a d d i t i o n a l   s e m a n t i c   i n s i gh ts .   H owe v e r ,   m a ny   n a t u r a l   l a n gu a g e   pr oc e s s i n g  ( NL P )   tas ks   i nv o l v e   s p e c i a l i z e d   v o c a b u l a r i e s   a n d   a r e   c o n s tr a i n e d   by   r e l a t i v e l y   s m a l l   da tas e ts .   I n   s u c h   c a s e s ,   th e   p e r f or m a n c e   o f   g e n e r i c   p r e tr a i n e d   e m b e d d i n gs   i s   l i m i t e d  b e c a us e   th e   e m b e ddi n gs   o b ta i n e d  f r o m   g e n e r a l   c or p or a   m a y   n ot  c a p t u r e   d o m a i n   s p e c i f i c   s e m a n t i c s .   A d d i t i o n a l l y ,   e m b e ddi n gs   l e a r n e d   f r o m   s m a l l   d a tas e ts   ten d  to  b e   l o w   qu a l i t y .   T h i s   p a pe r   p r e s e n t s   a   j o i n t  m ode l   f or   i n t e n t  de tec t i o n   a n d   s l ot  f i l l i n g  w i t h   d o m a i n   a da p te d  w or d  e m b e d d i n gs   t h a t  c a p tu r e   b ot h   d o m a i n - s pe c i f i c   s e m a n t i c s   a n d   g e n e r i c   s e m a n t i c s .   T h e   n e w   j o i n t  m o de l   c o m bi n e s   g e n e r i c   e m b e dd i n gs   a n d   d o m a i n - s pe c i f i c   e m b e ddi ng s   us i n g  c a n o ni c a l   c or r e l a t i o n   a n a l y s i s   ( C C A )   [ 1 6 ]   to  a l i gn  a n d   p r o j e c t  th e   n e w   e m b e ddi n gs   a l o n g   d i r e c t i o n s   of   m a xi m u m   c or r e l a t i o n .   T h e   e v a l ua t i o n   o f   t h e   p r op os e d  m e t h o d   u t i l i z e s   a   C NN - B i L S T M   a r c hi t e c tu r e .   T o  ou r   k n ow l e d ge ,   t h i s   a p p r o a c h   h a s   n ot  y e t  b e e n   e x pl or e d  wi t hi n   t h e   c o n tex t  o f   j o i n t  c l a s s i f i c a t i o n   f or   i n ten t  de te c t i o n   a n d   s l ot  f i l l i n g.   T h e   s tr uc tu r e   o f   t h e   p a pe r   i s   or ga ni z e d   a s   f o l l ows :   s e c t i o n   2   ou t l i n e s   t h e   pr op os e d   m ode l   de s i gn   f or   th e   j o i n t  l e a r ni n g   a p p l i e d   to  i n t e n t  d e tec t i o n   a n d  s l ot   f i l l i n g.   I n   s e c t i o n   3 ,   t h e   s tu d y ' s   m e t h o d o l o gy   i s   d e ta i l e d .   S e c t i o n   4   pr e s e n t s   t h e   r e s ul t s   a n d   p r o v i de s   a n   a n a l y s i s ,   whi l e   s e c t i o n   5   c o n c l ude s   t h e   pa pe r .       2.   P ROP OS E D  M ODE L   DE S I GN   F i gur e   1  s h o ws   t h e   a r c hi t e c t ur e   o f   t h e   pr o p o s e d  C NN - B i L S T M   j o i n t   l e a r ni ng  m o de l   w i t h   do m a i n - a da pt e d  e m b e dd i ng s .   T hi s   m o de l   i n t e gr a t e s   C NN ,   a s   pr o p o s e d  by   [ 17] ,  wi t h   e a c h   c o m po n e n t   c o n t r i b ut i n g  to  t h e   e nh a n c e m e n t   o f   t h e   m o de l ' s   o v e r a l l   e f f e c t i ve n e s s .   T hi s   s e c t i o n   pr o vi de s   a n   o v e r vi e w  o f   t h e   m o de l   s t r u c t ur e .           F i gur e   1 .   P r o p o s e d  C NN - B i L S T M   a r c hi t e c t ur e   wi t h   do m a i n - a d a pt e d  e m b e dd i ng s           Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   2 ,  F e b r ua r y   20 2 5 :   1 30 6 - 1 31 6   1308   2. 1 .     E m b e d d in g  l aye r   A t   t hi s   l a y e r ,   t h e   i n put   s e que n c e   i s   c o nve r t e d  i n t o  a   m a t r i x   o f   r e pr e s e n t a t i o ns .   T hi s   c o nv e r s i o n   us e s   e m b e dd i ng  t e c hni qu e s   to  t r a n s l a t e   e a c h   wor d   i n t o  i t s   c or r e s po n d i n g  v e c t o r   f o r m ,   whi c h   i s   t h e n   ut i li z e d  by   t h e   m o de l   f o r   f ur t h e r   pr o c e s s i ng .   T h us ,   i n   t h e   pr o p o s e d  w o r k,   a   d o m a i n - a da pt e d  e m b e dd i ngs   wa s   o b t a i ne d  b y  c o m bi n i ng  b o t h   ge n e r i c   pr e t r a i n e d  e m be dd i ngs   a nd  do m a i n - s pe c if i c   e m be dd i ng s .   A  C C A   wa s   us e d  t o   pr o j e c t   wo r d  v e c to r s   a l o n g  t h e   d i r e c t i o n   o f   m a xim u m   c o r r e l a t i o n .   T o   c r e a t e   t h e   ge n e r i c   e m be dd i ngs ,   a   pr e t r a i n e d   wo r d  e m b e dd i ng  de r i ve d  f r o m   a   c o r pus   o f   100  bil l i o n   wo r ds   f r o m   Goo gl e ' s   da t a s e t   wa s   e m p lo y e d   [ 7] .  M e a n w hil e ,   t h e   d o m a i n - s pe c i f i c   e m be dd i ngs   we r e   pr o duc e d  us i n g  t h e   c o n t i n uo us   b a g  o f   wo r ds   ( C B O W )   a ppr o a c h   f r o m   t h e   W o r d2 V e c   m o de l ,   tr a i n e d  on   t h e   S NI P S   a n d  a i r   tr a v e l   i nf o r m a t i o n   s y s t e m   ( A T I S )   da t a s e t s .   E a c h   wo r d  i n   t h e   m o de l   i s   r e pr e s e n t e d  by   a   v e c t o r   wi t h   300  d i m e ns i o n s .   T o   e n s ur e   s e n t e nc e   l e n gt h  unif o r m i t y ,   wo r d  pa ddi n g  i s   e m p l o y e d  to   s e t   t h e   l e n gt h   e qua l   t o   t h e   m a xim u m   s e que n c e   i n   o ur   da t a s e t s .   L e t    ∈   ℝ |  | ×   a n d   ∈   ℝ |  | ×   r e p r e s e n t   a   m a t r i c e s   o f   do m a i n - s pe c if i c   a n d  ge n e r i c   pr e tr a i ne d  e m be dd i ngs   r e s p e c t i v e ly ,   w h e r e      a n d     a r e   t h e   v o c a b u l a r i e s   f o r   do m a i n - s pe c if i c   a n d  ge n e r ic  pr e tr a i ne d  e m be dd i ngs   r e s pe c t i v e ly   a n d    i s   t h e   d i m e ns i o n .   L e t    =        ∩      a n d  ,    a n d  ,    b e   t h e   e m b e dd i ng  o f   wo r d    i n   do m a i n   s pe c if i c   a n d  g e n e r i c   e m be dd i ng s   r e s pe c t i v e ly .   F o r   1 - di m e ns i o n a l   C C A ,   l e t   ∅    a n d  ∅    b e   t h e   pr o j e c t i o n   d i r e c t i o ns   o f   ,    a n d  ,    r e s pe c t i v e ly .   T he   pr o j e c t e d  v a l ue s   c a n   b e   g i v e n   a s :     ̅ ,  =   ,    ∅            ( 1)     ̅ ,  =   ,    ∅      ( 2)     C C A   m a xim i z e s   t h e   c o r r e l a t i o n   b e t we e n   ̅ ,    a n d  ̅ ,    to  ob t a i n   ∅  a n d  ∅    s uc h   t h a t ,     ( ∅  , ∅  ) =   m a x ∅  , ∅  [ 〈 ̅ ,  , ̅ ,  〉 ] √ [ ̅ ,  2 ] [ ̅ ,  2 ]   ( 3)     w h e r e     i s   t he   c o r r e l a t i o n   b e t we e n   t h e   e m be dd i ng s   a n d    i s   t h e   e x pe c t a t i o n   o v e r   a l l   wo r ds     ∈  .   T h e   do m a i n   a da pt e d  e m b e dd i ngs   f o r   w o r d    i s   g i ve n   by ,     ̂ ,  =   ̅ ,  +   ̅ ,    ( 4)     w h e r e   t h e   pa r a m e t e r s     a n d    a r e   o b t a i n e d  by   s o l vi ng   t h e   f o l l o w i ng  o p t i mi z a t i o n ,     m in , | | ̅ ,  − ( ̅ ,  +   ̅ ,  ) | | 2 2 +   | | ̅ ,  − ( ̅ ,  +   ̅ ,  ) | | 2 2   ( 5)     I n   ( 5)   gi v e s   a   we i g h t e d  c o m bi na t i o n   w i t h   = =   1 2 ,   a n d  t h e   do m a i n   a do pt e d  v e c to r   i s   e qua l   t o  t h e   a v e r a ge   o f   t h e   t w o  pr o j e c t i o n s :     ̂ ,  =   1 2 ̅ ,  +   1 2 ̅ ,    ( 6)     2 .2 .    Convol u t ion   l aye r   F e a t ur e s   we r e   e x t r a c t e d  f r o m   t h e   e m be dd i ng  l a y e r   by   pe r f o r m i ng  c o nv o l ut i o n   o n   t h e   e n c o de d  i n put   s e n t e n c e s   ( v e c to r s )   to   ge n e r a t e   l o c a l   f e a t ur e s .   A  z e r o - pa ddi n g  t o ke n   wa s   a dde d  pr i o r   to   t h e   c o n v o l ut i o n   to  m a i n t a i n  c o n s i s t e n t   o u t pu t   s i z e s   a c r o s s   v a r i o us   f il t e r s .   T o  e x t r a c t   t h e   l o c a l   f e a t ur e s   o f   t h e   do m a i n  a da pt e d  f e a t ur e s   ̂ ,    d i f f e r e n t   f i l t e r s   a n d  ke r n e l   s i z e s   we r e   a pp l i e d.   C o n v e n t i o n a ll y ,   t h e   c o n v o l ut i o n   o pe r a ti o n  i nv o l ve s   c o m put i n g  t h e   i nn e r   pr o duc t  b e t we e n   f il t e r   we i g h t s     ∈     ℎ    a n d  a   l o c a l   r e g i o n   o f   t h e   i n put   da t a ,   f o l l o we d  by   a n   a c t i v a t i o n   f u n c t i o n ,   w h e r e   h   de n o t e s   t h e   e m b e dd i ng  d i m e ns i o n   f o r   e a c h   wor d,   a n d  ws   s pe c i f i e s   t h e   w i ndo w  s i z e ,   w hi c h   c o n t r o l s   t h e   nu m b e r   o f   a d j a c e n t   w o r ds   c o n s i de r e d .   L e t    ∈ ℎ    b e   f i l t e r s   e m p l o y e d  o n   wi n do w  s i z e   ws   f o r   t h e   d om a i n   a da pt e d  e m b e dd i ngs .   T h e   ge n e r a t e d  f e a t ur e s   c a n   be   e x pr e s s e d  a s   ( 7) .     = ( . : +  − 1 + )   ( 7)     W h e r e   ( ∙ )   i s   t h e   c o nv o l ut i o n   o pe r a to r ,   f   i s   a   n o n - l i n e a r   a c t i v a t i o n   f u n c t i o n   s u c h   a s   tanh  o r   R e L U ,  b   i s   t h e   bi a s   f o r   we i g h t   w .   T hi s   f u n c t i o n   i s   a pp l i e d  to  e a c h   w i ndo w   a n d  i s   de n o t e d   by   [ 1 :  , 2 :  + 1 , … , −  : ] .   I n   t hi s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A   joi nt  lear ning  c las s i f ication  f or   in tent   de tec ti on  and  s lot   f il li ng   …  ( Y us uf   I dr is   M uhamm ad )   130 9   s t udy ,   e m p l o y e d  a  r e c t i f i e d  l i ne a r   u ni t   ( R e L U )   a c t i v a t i o n   f u n c t i o n   wa s   e m p l o y e d  b e c a us e   o f   i t s   e f f i c i e nc y   c o m pa r e d  t o  t a n h   [ 18] .  W h e r e      ∈   −  + 1 .   T h e   f e a t ur e   m a p  ge n e r a t e d  f o r   t h e   do m a i n  a da pt e d  e m b e dd i ng  m a t r i x   c a n   b e   e x pr e s s e d  a s   ( 8) .      = [ 1  , 2  , … , −  + 1  ]   ( 8)     2 .3 .     M ax p ool in g   T h e   m a x po o l i ng  l a y e r   i s   e m p l o y e d  to   r e duc e   t h e   s i z e   o f   t h e   f e a t ur e   m a ps   pr o duc e d  by   t h e   c o n v o l ut i o n a l   l a y e r s ,   h e l p i ng  to  l o we r   c o m put a t i o n a l   de m a n ds   a n d  m i t i ga t e   o v e r f i t t i n g .  I t  h e l p s   to  a c hi e v e   t r a n s l a t i o n   i nva r i a n c e   by   pr e s e r vi n g  t h e   i m po r t a n t  f e a t ur e s ,   r e ga r dl e s s   o f   t h e i r   e x a c t   s pa t i a l   l o c a t i o n   i n   t h e   da t a .   A dd i t i o n a ll y ,   i t   a i ds   i n   e x t r a c t i n g  hi g h e r - l e v e l   r e pr e s e n t a t i o n s   by   c o n s o l i da t i n g  i nf o r m a t i o n   f r o m   n e i g hb o r i n g  to ke n s   o r   wor ds .   T h e r e   a r e   di f f e r e n t  t y pe s   o f   po o l i ng  o pe r a t i o ns ,   w i t h   m a x po o l i ng  be i n g  t h e   m o s t   c o m m o n .   M a x po o l i ng  o pe r a t e s   by   s e l e c t i ng  t h e   hi g h e s t   v a l u e   f r o m   e a c h   l o c a li z e d  s e g m e nt   o f   t h e   f e a t ur e   m a p,   t h e r e by   e m p h a s i z i ng  t h e   m o s t   pr o m i n e n t   f e a t ur e s   [ 18] .   I n   ge n e r a l ,   t h e   m a x po o l i ng  l a ye r   s e l e c t s   t h e   m a xim u m   v a l ue   f r o m   t h e   f e a t ur e   m a p  ge n e r a t e d  by   t h e   c o nv o l ut i o n a l   l a y e r .   S pe c i f i c a ll y ,   t hi s   o pe r a t i o n   c a n   b e   e x pr e s s e d  a s   ( 9) .     ̃  = m a x [ 1  , 2  , … , −  + 1 ]       ( 9)     Af t e r   a pp l yi ng  m a x   poo l i ng,   t h e   f i na l   o ut pu t   wa s   de r i v e d  by   c o n c a t e n a t i n g  t h e   e x t r a c t e d   f e a t ur e s ,   a s   r e pr e s e n t e d  by   ( 10) .     =   ̃  1 ⊕ … ⊕   ̃        ( 10)     W h e r e   ⊕   i s   t h e   c o n c a t e n a to r   o pe r a to r   a n d  m   i s   t h e   f il t e r   f o r   t h e   f e a t ur e s .     2. 4 .    S h ar e d   B iL S T M   l aye r   B i L S T M s   e nha n c e   t r a di t i o na l   r e c ur r e n t   n e ur a l   n e t wo r ks   ( R NN s )   by   e f f e c t i ve ly   c a pt ur i n g  l o n g - t e r m   de pe n d e n c i e s   i n   s e que n t i a l   d a t a .   Unl i ke   b a s i c   L S T M   m o de l s ,   B i L S T M s   i n c o r por a t e   b ot h   f o r wa r d  a n d  b a c kw a r d  L S T M   c o m po ne n t s ,   a l l o w i ng  t h e m   to  ob t a i n   a   r i c he r   un de r s t a n d i ng  o f   c o n t e x t ua l   i nf o r m a t i o n   [ 19] .   B i L S T M   n e t wo r ks   u t i li z e   t w o   di s t i n c t   L S T M   s t r u c t ur e s   to  a n a l y z e   s e que n t i a l   d a t a .   On e   L S T M   pr o c e s s e s   t h e   s e que n c e   f r o m   t h e   b e g i nni ng,   a n d  t h e   ot h e r   L S T M   pr o c e s s e s   i t   f r o m   t h e   e n d.   T h e   r e s u l t s   f r o m   th e s e   t w o  n e t wo r ks   a r e   c o m bi ne d  a t   e a c h   po i n t   i n   t h e   s e q ue n c e .   T hi s   c o nf i gur a t i o n   a l l o ws   t h e   m o de l   t o   i n t e gr a t e   c o n t e x t   f r o m   b o t h   e a r l i e r   a n d  l a t e r   pa r t s   o f   t h e   s e que n c e ,   e nh a n c i ng  i t s   a bi li t y   t o   c a p t ur e   l o n g - t e r m   de pe n d e n c i e s .   T h e   o u t pu t   Z   f r o m   t h e   c o nv o l ut i o na l   l a y e r   wa s   c o m bi ne d  a n d  t h e n   f e d  i n t o   t h e   B i L S T M   l a y e r   to  p r o duc e   t h e   f i na l   o ut pu t   ℎ .     ℎ ⃗ ⃗ ⃗   = ( , ℎ − 1 ⃗ ⃗ ⃗ ⃗ ⃗ ⃗ ⃗ ⃗   )   ( 11)     ℎ ⃖ ⃗ ⃗ ⃗ = ( , ℎ − 1 ⃖ ⃗ ⃗ ⃗ ⃗ ⃗ ⃗ ⃗ ⃗   )   ( 12)     ℎ =   ⃗ ⃗ ⃗ ⃗ ⃗   . ℎ ⃗ ⃗ ⃗   +   ⃖ ⃗ ⃗ ⃗ ⃗ ⃗ . ℎ ⃖ ⃗ ⃗ ⃗ +   ( 13)     T h e   o u t pu t   o f   t h e   B i L S T M   w i ll   b e   de n ot e d  a s   ( 14) .     = [ ℎ 1 , ℎ 2 , … , ℎ ]         ( 14)     2 .5 .    Ou t p u t   l aye r   T h e   m o de l   ge n e r a t e s   d i s t i n c t   o u t pu t s   f o r   i n t e n t   de t e c t i o n   a n d  s l o t  f i ll i ng.   F o r   i n t e n t   de t e c t i o n ,   a   m a x po o l i ng  l a y e r   i s   a pp l i e d  to  e x t r a c t  t h e   m o s t   im po r t a n t  r e pr e s e n t a t i o n   o f   t h e   wh o l e   s e que n c e   f r o m   t h e   B i L S T M ,   s i mi l a r   t o  t h e   m e t h o d  e m p l o y e d  i n   [ 20] .  I n   t hi s   r e s e a r c h ,   t h e   o u t pu t  f r o m   t h e   m a x po o l i ng  l a y e r   wa s   a dd i t i o n a ll y   f o r wa r de d  to  a   gl o b a l   m a x   poo l i n g  l a y e r ,   pr o duc i n g  a   s u m m a r y   o f   t h e   e n t i r e   s e que nc e .   F o l l o w i ng  t hi s ,   a   f u l ly   c o nn e c t e d  l a y e r   w i t h   S o f t m a x   a c t i v a t i o n   wa s   ut i l i z e d  to  i de n t i f y   t he   i n t e n t .   C o n s e que n t l y ,   t h e   i n t e n t   o u t pu t  v e c t o r   i s   de t e r m i ne d  us i n g   ( 15) .     ℎ  = { m a x ( ℎ 1 , ℎ 2 ) , … , m a x ( ℎ − 1 , ℎ ) }   ( 15)     In   t h e   g l o b a l   m a x po o l i n g  l a y e r ,   t h e   hi g h e s t   v a l ue   f r o m   t h e   e n t i r e   t h e   e n t i r e   s e que n c e   h ,  a s   i ll u s t r a t e d  i n   ( 16)   i s   us e d  to   o b t a i n   t h e   i n t e n t   l a b e l     a s   i n   ( 17) ,   wh e r e   b   i s   a   b a i s   v e c t o r   a n d  W   i s   t h e   t r a n s f o r m a t i o n   m a t r i x .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   2 ,  F e b r ua r y   20 2 5 :   1 30 6 - 1 31 6   1310   ℎ   = m a x ( ℎ 1 , ℎ 2 , … , ℎ )   ( 16)     =  ( . ℎ   +   )   ( 17)   F o r   t h e   s l ot   f i ll i ng  o u t pu t ,   t h e   B i L S T M ’ s   o u t pu t   i s   f e d   in t o  a   f u l ly   c o nn e c t e d  l a y e r   w i t h   S o f t m a x   a c t i v a t i o n .   T h e   r e s u l t i ng  o ut pu t   v e c to r   i s   c o m put e d  a s   i n   ( 18) .   W h e r e   ,   a r e   t h e   bi a s   v e c to r   a n d   t r a n s f o r m a t i o n   m a t r i x   r e s pe c t i ve l y ,     i s   t h e   s l o t   l a b e l .     =   ( . ℎ +   )   ( 18)       3.   M E T HO D   T hi s   s e c t i o n   o f f e r s   a   s u mm a r y   o f   t h e   da t a s e t s   us e d  i n   t h e   e x pe r i m e n t s ,   f o l l o w e d  by   t he   e x pe r im e n t a l   m e t h o do l o g y   us e d  t o   a s s e s s   t h e   e f f e c t i v e n e s s   o f   t he   pr o p o s e d  a ppr o a c h .   A dd i t i o n a ll y ,   a   c o m p a r a t i v e   a n a ly s i s   o f   t h e   b a s e li ne   m e t h o ds   i s   i nc l ude d.   T h e   m o de l' s   pe r f o r m a nc e   wa s   e v a l ua t e d  us i ng  a c c ur a c y   f o r   i n t e n t   de t e c t i o n   a n d  t h e   F 1 - s c o r e   f o r   s l o t  f i ll i ng.     3. 1 .     Dat as e t   T o  v e r i f y   t h e   pr o p o s e d  m o de l ,   e x pe r i m e n t s   we r e   c a r r i e d  o u t   wi t h   t w o   o f   t h e   m o s t   c o m m o nly   ut i li z e d   da t a s e t s   i n   NL U   r e s e a r c h :   S NI P S  [ 21 ]   a n d  A T I S   [ 22] .  S NI P S   i s   a   da t a s e t  t h a t   c o n t a i n s   15 , 884  u tt e r a n c e s ,     7  i n t e n t s ,   a n d  72   s l ot s .   I t  c o v e r s   v a r i o us   do m a i ns   s uc h   a s   we a t h e r ,   r e s t a ur a n t s ,   a n d  e n t e r t a i nm e n t .  T h e   A T I S   da t a s e t   c o n s i s t s   4 , 978  t r a i ni ng  s a m p l e s ,   893  t e s t   s a m p l e s ,   21  i n t e n t s ,   a n d  128  s l o t s   [ 23] .   T h e   da t a s e t   s t a t i s t i c s   a r e   s u m m a r i z e d  i n   T a bl e   1.       T a bl e   1 .   S t a t i s t i c s   o f   S NI P S   a n d  A T I S   da t a   s e t s   D a ta s e t   S iz e   I nt e nt   S lo t   T r a in in g da ta   T e s t  da ta   V a li da ti o n da ta   S N I P S   15 , 884   7   72   13 , 084   700   700   A T I S   4 , 978   21   128   4 , 478   893   500       An   e x a m p l e   o f   a   s e m a n t i c   f r a m e   f o r   a n   utt e r a n c e   f r o m   t h e   S NI P S   da t a s e t ,   “ f i nd  f i s h  s t o r y , ”   i s   s h o wn  i n   T a bl e   2.   T h e   i n t e n t   f o r   t h i s   utt e r a n c e   i s   l a be l e d  a s   “ S e a r c h S c r e e ni ngE v e n t , ”   a n d  t h e   s l o t s   a r e   a nn o t a t e d   us i n g  t h e   I OB   ( i n - o ut - b e g i n )   t a gg i n g  s c h e m e .   I n   thi s   s c he m e ,   “ O”   i n d i c a t e s   t h a t   t h e   wor d  d o e s   n ot  b e l o n g  to  a ny   n a m e d  e n t i t y ,   “ B - m o vi e _ n a m e ”   m a r k s   t h e   b e g i nni ng  o f   a   n a m e d  e n t i t y ,   a n d  “ I - m o vi e _ n a m e ”   r e pr e s e n t s   a   wor d  t h a t  c o n t i n u e s   w i t hi n  t h e   s a m e   e n t i t y       T a bl e   2 .  I l l us t r a t i o n   o f   s e m a n t i c   f r a m e   a n d  I OB   t a gg i n g  f o r   S NI P S   da t a s e t   E nt it y   s lo ts   I nt e nt   F in d   O      S e a r c hS c r e e ni ngE ve nt   F is h   B - m ov i e _na m e   S to r y   I - m ov i e _na me       3 .2 .     E x p e r im e n t a l   s et - up   A   gr i d  s e a r c h   wa s   pe r f o r m e d  to  f i ne - t un e   t h e   hy pe r pa r a m e t e r s   o f   o u r   m o de l .   T h r e e   f il t e r   s i z e s   ( 2,   3,   a n d  5)   we r e   t e s t e d,   a l o n g  w i t h   128  f e a t ur e   m a ps .   T o  a ddr e s s   o v e r f i t t i n g,   a   dr o p o u t  r a t e   o f   0. 5  wa s   a pp l i e d  to   t h e   f e a t ur e   m a ps .   T h e   s h a r e d  e n c o de r ,   whi c h   i n c l ude d   200  hi dde n   u ni t s   a n d  us e d  t h e   R e L U  a c t i v a t i o n  f u n c t i o n ,   wa s   f o l l o w e d  by   a n   a dd i t i o n a l   dr o po u t   r a t e   o f   0. 5  to   r a n do m ly   dr o p   s o m e   u ni t s .   F o r   th e   i n t e n t   de t e c t i o n   a n d  s l o t   f il li ng  t a s ks ,   L 2  r e gu l a r i z a t i o n   w i t h   a   c o e f f i c i e n t   o f   0. 001  wa s   a pp l i e d  t o  t h e   de n s e   l a y e r   we i g h t s ,   whi c h   we r e   a c t i v a t e d  by   t h e   S o f t M a x   f u n c t i o n .   T h e   m o de l   wa s   t r a i n e d  us i ng  t h e   A d a m   o pt i mi z e r   a n d  c a t e go r i c a l   c r o s s - e n t r o py   l o s s ,   w i t h   pe r f o r m a nc e   e v a l ua t e d  t h r o ugh   a c c ur a c y   f o r   i n t e n t   de t e c t i o n  a n d  t h e   F1 - s c o r e   f o r   s l ot   f i ll i ng.   T r a i ni ng  wa s   c o n duc t e d  w i t h   a   b a t c h   s i z e   o f   32.     3. 3.     Com p ar at ive  m e t h od s   T h e   e f f e c t i v e n e s s   o f   t h e   pr o p o s e d  m o de l   wa s   e v a luat e d   by   c o m pa r i n g  i t   wi t h   t h e   f o l l o w i ng  ba s e li ne   m o de l s :   -   R NN - L S T M   [ 24] :  t hi s   m o de l   us e s   a   B i R NN   w i t h  L S T M   to  pe r f o r m   a   j o i n t   l e a r ni ng  c l a s s i f i c a t i o n   us i ng   l e xi c a l   f e a t ur e s   r e pr e s e n t e d  by   1 - h ot   e n c o di n g.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A   joi nt  lear ning  c las s i f ication  f or   in tent   de tec ti on  and  s lot   f il li ng   …  ( Y us uf   I dr is   M uhamm ad )   1311   -   B i R NN - a tt e n t i o n   [ 25] :  t hi s   m o de l   e m p l o y s   a n   e nc o de r - de c o de r   a r c hi t e c t ur e   wi t h   a n   a t t e n t i o n   m e c h a ni s m  w i t h   r a n do m   e m be dd i ng  i ni t i a li z a t i o n .   -   C NN - B i L S T M   [ 12] :  e m p l o y s   C NN   t o  e x t r a c t  f e a t ur e s   f r o m   ge n e r i c   pr e t r a i n e d  W o r d2 V e c   wo r d   e m b e dd i ng s   a n d  t h e   B i L S T M   l a y e r   a s   a n   e n c o de r   a n d  us e s   a n   a t t e n t i o n - b a s e d  R N N  a s   de c o de r .     -   B i G R U/B i L S T M - M L P   [ 14] :  a   m u l t i - t a s k  e ns e m b l e   m e t h o d  w i t h   f e a t ur e s   o b t a i ne d  f r o m   g l o v e ,   W o r d2 V e c ,   a n d  pa r t - of - s pe e c h   ( P OS )   t a gs .   -   B i L S T M + a t t e n t i o n   [ 26] :  a   j o i n t   m o de l   w i t h   P OS  s c a li ng  a tt e n t i o n   to  h e l p  t h e   m o de l   f o c us   o n   v e r bs   a n d   n o un s   t h a t   a r e   i m po r t a n t   i n   r e pr e s e n t i n g  us e r   b e h a vi o r   a n d  o bj e c t   o pe r a t i o ns ,   r e s pe c t i v e ly .   -   S A S GB C ( B E R T   o nl y )   [ 27] :  t hi s   m o de l   us e s   bi d i r e c t i o n a l   e n c o de r   r e pr e s e n t a t i o n s   f r o m   t r a n s f o r m e r s   ( B E R T )   to   e n c o de   t h e   i n put   s e q ue n c e ,   i n t e gr a te  i n t e n t   i nf o r m a t i o n   w i t h   s l o t   ga t e s ,   a n d  e s t a bl i s h   a   c o n t e x t ua l   s e m a n t i c   r e l a t i o n s hi p  w i t h   s e l f - a t t e n t i o n .   -   B i L S T M + a t t e n t i o n   [ 28] :  t hi s   m o de l   e x p l o i t s   t h e   p r e tr a i ne d  B E R T   m o de l   to ge t h e r   w i t h   B i L S T M   a nd  c o - i n t e r a c t i v e   a tt e n t i o n ,   a n d  i ni t i a li z e s   t h e   e m b e dd i ng  l a y e r   w i t h   g l o v e   e m be dd i ngs .     I t  s h o ul d  b e   n o t e d  t h a t  f o l l o w i ng  t h e   c o m m o n   pr a c t i c e   i n   t h e   l i t e r a t ur e   [ 14] ,  [ 29] ,  t hi s   s t ud y   d i r e c t l y  us e   t h e   f i nd i n g s   o f   t h e   a f o r e m e n t i o n e d  b a s e li ne   m e t h o ds   pr e s e n t e d  i n   t h e i r   or i g i na l   pu bli c a t i o ns   a n d  c o m p a r e s   t h e m   w i t h   o ur   p r o p o s e d  m o de l .       4.   RE S UL T S   AN D  DI S CU S S I ON   T a bl e   3  s h o ws   t h e   pe r f o r m a n c e   o f   t h e   pr o p o s e d  m o de l   a c r o s s   v a r i o us   s e t t i n gs .   M o de l - 1,   whi c h   us e d   r a n do m ly   i n i t i a l i z e d  e m b e dd i ng s ,   pe r f o r m e d  wo r s e   t h a n   t h e   ot h e r   m o de l s   t h a t  us e d  pr e t r a i n e d  e m be dd i n g s .   T hi s   de m o ns t r a t e s   t h e   a dv a n t a ge   o f   pr e t r a i n e d  wo r d  e m b e dd i ng s   o v e r   r a n do m ly   i n i t i a l i z e d  o n e s   i n   th e   j o i n t   l e a r ni ng  c l a s s i f i c a t i o n   o f   i n t e n t   de t e c t i o n   a n d  s l o t   f i ll i ng,   c o n s i s t e n t   wi t h   pr e vi o us   r e s e a r c h   f i nd i ngs   [ 9] ,  [ 11] ,  [ 30] .   P r e t r a i n e d  e m be dd i ngs ,   e n r i c h e d  w i t h   s e man t i c   i nf o r m a t i o n   f r o m   l a r ge   c o r p or a ,   pr o vi de   a   s t r o n ge r   f o u n da t i o n   f o r   m o de l   t r a i ni ng,   l e a d i ng  to   m o r e   a c c ur a t e   pr e di c t i o ns .   T h e   pe r f o r m a n c e   d i f f e r e n c e   b e t we e n   m o de l - 2,   whic h   us e d  ge n e r i c   e m be dd i ngs ,   a n d  m o de l - 3,   whi c h  ut i li z e d  do m a i n - s pe c if i c   e m be dd i ng s ,   f ur t h e r   i ll u s tr a t e s   t h e   i m po r t a n c e   o f   e m b e dd i ng s   r e l e v a nc e   to   t h e   t a s k  a t  h a n d.   M o de l - 3  o u t pe r f o r m e d  m o de l - 2,   l i ke ly   due   to  t h e   r i c h e r ,   d o m a i n - s pe c i f i c   v o c a b u l a r y   pr e s e n t   i n   t h e   e m b e dd i ng s ,   whi c h   b e t t e r   c a pt u r e d  t h e   n ua n c e s   o f   t h e   da t a s e t.   T hi s   f i nd i ng  i nd i c a t e s   t h a t   e m b e dd i ngs   tr a i ne d   o n   d o m a i n - s p e c i f i c   c o r p o r a   c a n   gr e a t l y   im pr o v e   t h e   m o de l ’ s   c a pa c i t y   to   c o m pr e h e n d  a n d  h a n d l e   do m a i n - s pe c i f i c   l a n gua ge ,   l e a d i ng  to  b e tt e r   pe r f o r m a n c e .   M o de l - 4,   whi c h   c o m bi ne d  ge n e r i c   a n d  do m a i n - s p e c i f i c   e m b e dd i ng s   t h r o ugh   a   s i m p l e   c o n c a t e n a t i o n  o pe r a t i o n ,   o u t pe r f o r m e d  b o t h   m o de l - 2  a n d  m o d e l - 3.   T hi s   im pr o v e m e n t   c a n   be   a tt r i b ut e d  to  t h e   hy br i d   r e pr e s e n t a t i o n   t h a t   l e ve r a ge s   t h e   s t r e n gt h s   o f   b o t h   e m b e dd i ng  t y pe s ,  ge n e r i c   e m be dd i ngs   pr o vi d e   b r o a d  c o v e r a ge   o f   l a n gua g e ,   whil e   do m a i n - s pe c if i c   e m b e dd i ng s   o f f e r   de pt h   i n   t h e   r e l e v a n t   d o m a i n .   T his   c o m bi na t i o n   a ll o ws   t h e   m o de l   t o  b e n e f i t   f r o m   b o t h   ge n e r a l   l i ngu i s t i c   pa tt e r n s   a n d  s p e c i f ic  do m a in  kn o w l e dge ,   l e a d i ng  to  b e tt e r   o v e r a l l   pe r f o r m a nc e .   I n   F i gur e   2,   i t   i s   e vi de n t   t h a t   b ot h   m o de l - 2  a n d  m o de l - 3  e xhi b i t e d  hi g h e r   a c c ur a c y   o n   t h e   S NI P S   da t a s e t  c o m pa r e d  to  t h e   A T I S   da t a s e t ,   de s p i t e   t h e   us e   o f   pr e tr a i n e d  e m be dd i ngs .   T hi s   d i s c r e pa nc y   c a n   b e   a tt r i b ut e d  to   t h e   A T I S   da t a s e t ' s   s m a ll e r   s i z e   a n d  i t s   s i g nif i c a n t   c l a s s   im ba l a n c e   [ 1] .   S uc h   i m ba l a nc e   po s e s   c h a ll e n g e s   f o r   t h e   m o de l   i n   l e a r ni ng  to   di s t i n gu i s h  b e t we e n   l e s s   f r e que n t   c l a s s e s ,   whi c h   li ke ly   c o n t r i b ut e d  to  t h e   r e duc e d   a c c ur a c y .   M o de l - 5,   a   v a r i a n t   o f   m o de l - 4,   o u t pe r f o r m e d  a l l  ot h e r   m o de l s   by   a li g ni ng  ge ne r i c   a n d  do m a i n - s pe c i f i c   e m be dd i ngs   us i ng  C C A .   T hi s   m e t h o d  a l lo ws   f o r   b e t t e r   i n t e gr a t i o n   o f   t h e   t wo   t y pe s   o f   e mb e dd i ng s ,   c a pt ur i n g  t h e   un de r lyi ng  s t r uc t ur e   o f   t h e   da t a   m o r e   e f f e c t i ve ly .   T h e   s up e r i o r   pe r f o r m a n c e   o f   m o de l - 5  a l i g n s   w i t h   pr e vi o us   s t ud i e s   de m o n s t r a t i n g  t h a t   t h e   c om b i na t i o n   o f   d i f f e r e n t   e m b e dd i ngs   c a n   l e a d  t o  s ub s t a n t i a l   im pr o v e m e n t s   i n   m o de l   a c c ur a c y   [ 14] ,  [ 31] .       T a bl e   3 .   P e r f o r m a nc e   o f   d i f f e r e n t   v e r s i o ns   o f   t h e   pr o p o s e d  m o de l   M o de l   E mbe ddi ngs   A T I S   S N I P S   A c c u r a c y   (%)   F1 - s c o r e   (%)   A c c u r a c y   (%)   F1 - s c o r e   (%)   M o de l - 1   R a ndo m   79.00   96.04   86.79   94.01   M o de l - 2   G e ne r i c  w or d2 ve c   81.34   95.54   97.30   98.28   M o de l - 3   D o ma in - s p e c i f i c  w or d2 ve c   88.76   96.88   97.99   98.24   M o de l - 4    G e ne r i c   w or d2 ve c  +   D o ma in - s p e c i f i c  w or d2 ve c   93.88   97.54   97.79   98.48   M o de l - 5   C C A  ( G e n e r i c  w o r d2 ve c  +   D o ma in - s p e c i f i c  w or d2 ve c )   97.87   98.16   98.10   98.43     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   2 ,  F e b r ua r y   20 2 5 :   1 30 6 - 1 31 6   1312   F i gu r e   3   f ur t h e r   d e m o n s tr a tes   t h e   e f f i c a c y   o f   t h e   p r op os e d   m o de l   v a r i a n t s ,   e s pe c i a l l y   i n   t h e   s l ot  f i l l i n g   ta s k   f or   b ot h   d a t a s e t s .   T h e   h i gh   F 1 - s c or e s ,   e s pe c i a l l y   t h o s e   a c hi e v e d  by   m o d e l - 5 ,   hi ghl i g h t  t h e   s u pe r i or i t y   o f   n o n - c o n tex t ua l   e m b e ddi n gs   s uc h   a s   W or d 2 V e c ,   Gl oVe ,   a n d   F a s tT e x t  f or   tas ks   r e qui r i n g   f i n e - g r a i n e d   w or d - l e v e l   r e p r e s e n ta t i o n s .   T hi s   f i n d i n g  hi ghl i g h t s   t h a t  n a tu r a l   l a n gu a g e   p r o c e s s i n g  m ode l s   c a n   b e   s i gni f i c a n t l y   e n h a n c e d   by   w or d - l e v e l   r e p r e s e n t a t i o n s ,   e s p e c i a l l y   in   e n t i t y   r e c ogni t i o n   a n d   c l a s s i f i c a t i o n   tas ks   [ 32 ] - [ 3 4] .           F i gur e   2 .   Gr a phi c a l   r e pr e s e n t a t i o n   o f   t h e   pe r f o r m a n c e s   o f   t h e   d i f f e r e n t   v e r s i o n s   o f   t h e   pr o p o s e d  m o de l   b a s e d  o n   a c c ur a c y           F i gur e   3 .   Gr a phi c a l   r e pr e s e n t a t i o n   o f   t h e   pe r f o r m a n c e s   o f   t h e   d i f f e r e n t   v e r s i o n s   o f   t h e   pr o p o s e d  m o de l   b a s e d  o n   F 1 - s c o r e       4 . 1 .    Com p ar is on   wit h   b as e l in e   m od e l s   T a bl e   4  s h o ws   t h a t   u t i li z i ng  do m a i n - a da pt e d  e m be dd i ngs   o ut pe r f o r m e d  s e ve r a l   b a s e li ne   m o de l s   a c r o s s   b o t h   t h e   A T I S   a n d  S NI P S   da t a s e t s .   C om pa r e d  t o  t h e   R NN - L S T M   m o de l   w i t h   c l a s s i c a l   o n e - h o t  e n c o d i n g,   t h e   pr o p o s e d   m o de l   a c hi e v e d  a   s i g nif i c a n t   ga i n   o f   3. 27%   i n   a c c ur a c y   a n d  8. 76%   i n   F 1 - s c o r e   o n   t h e   A T I S   da t a s e t .   T h e s e   r e s u l t s   hi g hli g h t   t h e   s upe r i o r i t y   o f   u t i l i z i ng   wo r d   e m b e dd i ngs   o v e r   t r a di t i o n a l   m e t h o ds   li ke   o n e - h o t   e n c o di n g.   A dd i t i o n a ll y ,   t h e   pr o p o s e d   m o de l   o u t pe r f o r m e d  th e   B i R NN - a t t e n t i o n   m o de l ,   whi c h   us e d  r a n do m   e m b e dd i ng s ,   w i t h   a   n o t a bl e   ga i n  o f   3. 47%   i n   a c c u r a c y   a n d  2. 38%   i n   F 1 - s c o r e .   T h e   i m pr o v e m e n t   h e r e   c a n   be   a tt r i b ut e d  to  t h e   us e   o f   s e m a n t i c a ll y   m e a ni ng f u l   e m be dd i ngs ,   a s   o ppo s e d  to  r a n do m ly   i n i t i a li z e d  o ne s .   E v e n  wh e n   c o m pa r e d  t o  t h e   C NN - B i L S T M   m o de l ,   w hi c h   s h a r e s   a   s i mi l a r   a r c hi t e c t ur e   b ut   us e s   ge n e r i c   W o r d2 V ec  e m b e dd i ng s ,   t h e   pr o p o s e d  s h o we d  i m pr o v e d  o n   th e   A T I S   da t a s e t ,   wi t h   ga i ns   o f   0. 7%   i n   a c c ur a c y   a n d  0. 4%   in   F1 - s c o r e .  T hi s   i m pr o v e m e n t   i s   pr o b a bly   a tt r i b ut e d  to  t h e   do m a i n - s pe c if i c   c h a r a c t e r i s t i c s   o f   t h e   e m b e dd i ng s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A   joi nt  lear ning  c las s i f ication  f or   in tent   de tec ti on  and  s lot   f il li ng   …  ( Y us uf   I dr is   M uhamm ad )   1313   T hi s   f i nd i n g   de m o n s t r a t e s   t h a t  l e v e r a g i n g  do m a in - a da pt e d  e m b e dd i ng s ,   pa r t i c u l a r ly   w h e n   a l i g n e d   w i t h   ge n e r i c   e m b e dd i ng s   t h r o ugh   C C A ,   s i g ni f i c a n t l y   b o o s t  t h e   pe r f o r m a nc e   o f   i n t e n t   de t e c t i o n   a n d  s l o t   f i ll i ng   t a s ks   by   c a pt ur i n g   b o t h   b r o a d   l i ngu i s t i c   pa tt e r n s   a n d  do m a i n - sp e c if i c   n ua n c e s .   T h e   r e s u l t   i s   a   m a r ke d   im pr o v e m e n t   i n   pe r f o r m a n c e   f o r   t h e s e   t a s ks .   T hi s   a ppr o a c h   o f f e r s   a   s t r a i g h t f o r wa r d   y e t  p o we r f u l   m e t h o d   f o r   e nh a nc i n g  m o de l   pe r f o r m a n c e .   I t  s t a n ds   o u t  f o r   i t s   e f f i c i e n c y ,   a s   i t   a v o i ds   t h e   n e e d  f o r   e x t e n s i ve   f e a t ur e   e n g i ne e r i ng  o r   o v e r l y   c o m p l e x   a r c hi t e c t ur e s .   B y   f o c us i ng  o n   o p t i m i z i ng  e m be dd i ng  qua li t y ,   t hi s   m e t h o d   pr o vi de s   a   pr a c t i c a l   s o l ut i o n   f o r   i m pr o vi ng  n a t ur a l   l a n gua ge   pr o c e s s i ng  m o de l s .   G i v e n   i t s   e f f e c t i v e n e s s ,   t h e   pr o p o s e d   m e t h o d  pr e s e n t s   a   pr o m i s i ng  a v e n ue   f o r   f ut ur e   r e s e a r c h   i n  NL P .   F ur t h e r   e x p l o r a t i o n   a n d  r e f i ne m e n t   o f   do m a i n - a da pt e d  e m b e dd i ng s ,   e s pe c i a ll y   i n  c o m bi na t i o n   w i t h  ot h e r   t e c hni que s ,   c o u l d  l e a d  t o   e v e n   gr e a t e r   a dva n c e m e n t s .   T hi s   a ppr o a c h   h o l d s   pot e n t i a l   t o   e x pa n d  t h e   c a pa bi li t i e s   o f   NL U   t a s ks .   T h e   f i nd i ngs   o f   t hi s   s t ud y   a li g n   w i t h   pr i o r   r e s e a r c h   e m p h a s i z i ng  t h e   be n e f i t s   o f   pr e t r a i n e d   e m b e dd i ng s   a n d  t h e i r   do m a i n - s pe c if i c   a da pt a t i o n s   i n   n a t ur a l   l a n gu a ge   un de r s t a n d i n g  t a s ks .   T h e   s upe r i o r   pe r f o r m a n c e   o f   t h e   m o de l ,   pa r t i c u l a r ly   w h e n   ut i li z i n g  do m a i n - a d a pt e d  e m b e dd i ng s   o b t a i n e d  t h r o ug h   C C A ,   r e i nf o r c e s   t h e   i de a   t h a t   e m b e dd i ng  r e l e v a nc e   a n d   a l i g nm e n t   pl a y   r o l e s   i n   e nh a nc i ng  m o de l   a c c ur a c y .   T hi s   a l i g n   w i t h   pr e vi o u s   s t ud i e s   t h a t   h a v e   de m o n s t r a t e d  i m pr o v e m e n t s   i n   v a r i o us   NL P   t a s ks   t h r o ugh   t h e   c a r e f u l   s e l e c t i o n   a n d  a da pt a t i o n   o f   e m be dd i ngs   [ 9] ,  [ 11] ,  [ 30] ,  [ 14] ,  [ 31 ] - [3 4 ] .   W hi l e   t h e   p r op os e d   m ode l   h a s   s h o wn   s tr on g   pe r f or m a n c e   o n   t h e   A T I S   a n d   S N I P S   d a tas e ts ,   f ur t h e r   r e s e a r c h   i s   n e e d e d   to  v a l i da t e   i t s   g e n e r a l i z a bi l i t y   a c r os s   m or e   c h a l l e n g i n g   a n d   di v e r s e   NL U  da tas e ts .   E x pl or i n g  di f f e r e n t  a r c hi tec tu r e s   a n d   c o m bi ni n g  a ddi t i o n a l   t y pe s   o f   e m b e d d i n gs ,   s uc h   a s   c o n tex tual   e m b e ddi n gs   wi t h   d o m a i n - a da p te d   e m b e d d i n gs ,   c oul d  y i e l d  f ur t h e r   i m pr o v e m e n t s .   A d d i t i o n a l l y ,   i n v e s t i ga t i n g  th e   i m pa c t  o f   t h e   p r op os e d   a pp r oa c h   o n   oth e r   NL P   tas ks ,   s u c h   a s   e n t i t y   r e c ogni t i o n   or   s e n t i m e n t  a n a l y s i s ,   w oul d  b e   v a l ua bl e .       T a bl e   4 .   E v a l ua t i o n   o f   pu bl i s he d  m e t r i c s   o n   S NI P S   a n d  A T I S   da t a s e t s   M o de ls   F e a tu r e s   A T I S   S N I P S   A c c u r a c y   (%)   F 1_s c o r e   ( % )   A c c u r a c y   (%)   F 1_s c o r e   (%)   R N N - L S T M   [ 24]   L e x i c a l  f e a tu r e s  ( o n e - h o t  e n c o di ng)   94.6   89.40   -   -   B iR N N + a tt e nt i o n   [ 25]   R a ndo m e m b e ddi ngs   94.4   95.78   -   -   C N N - B i L S T M   [ 12]   W o r d  e mb e ddi ngs ( w o r d2 ve c )   97.17   97.76   -   -   Bi - G R U + f e a tu r e   [ 14 ]   G l ove  +  W o r d2 ve c  +  P O S     97.76   97.93   -   -   B i L S T M + a tt e nt i o n   [ 26 ]   P O S     95.70   95.60   97.70   89.2   BC   [ 27]   B E R T   e mb e ddi ngs   97.20   96.34   98.0   95.68   CNN - B iL S T M   ( m o d e l - 5)   D o m ai n  ad ap t e d   e m b e d d in gs   97.87   98.16   98.10   98.43       4 .2 .    Com p ar is on   of   s e p a r at e   an d   j oin t   m od e l   of   t h e   p r op os e d   m od e l   T h e   e x pe r im e n t a l   r e s u l t s   c o m p a r i n g  t h e   j o i n t   m o de l   w i t h   t h e   s e pa r a t e   m o de l   o f   t h e   pr o p o s e d  w or k   a r e   pr e s e n t e d  i n   T a bl e   5.   I t  c a n   be   o b s e r ve d  t h a t   i n   b o t h   t a s ks   a c r o s s   a l l   da t a s e t s ,   t h e   j o i n t   m o de l   s ur pa s s e s   t h e   s e pa r a t e   m o de l s ,   s h o wc a s i n g  t h e   e f f e c t i v e n e s s   o f   jo i n t   t r a i ni ng.   T h e   j o i n t   m o de l ’ s   l o s s   f u n c t i o n   c o m bi ne s   t h e   l o s s   f u n c t i o n s   o f   b o t h   t a s ks ,   a l l o w i ng  i t   to   l e a r n   t h e   t a s ks ’   i n t e r de pe n d e n c e   a n d  e nh a n c e   pe r f o r m a n c e   t h r o ugh   s ha r e d  r e pr e s e n t a t i o n .   Due   to  t h e   i nf o r m a t i o n   s ha r i n g  a c r o s s   b ot h   t a s ks ,   t h e   j o i n t   m o de l   o u t pe r f o r m s   t h e   s e pa r a t e   m o de l .   F ur t h e r m o r e ,   t h e   j o i n t   m o de l   b a l a n c e s   t h e   l o s s   f u n c t i o n   o f   b o t h   t a s ks   a n d  s h a r e s   pa r a m e t e r s ,   whi c h   a c c e l e r a t e s   t h e   t r a i ni ng  pr o c e s s .       T a bl e   5 .   C o m pa r i s o n   o f   s e pa r a t e   a n d  j o i n t   m o de l   o f   t h e   pr o p o s e d  wor k   M o de ls   A T I S     S N I P S   A c c u r a c y   ( % )   F1 - s c o r e  ( % )   A c c u r a c y   ( % )   F1 - s c o r e  ( % )   I nt e nt  d e t e c ti o n  o nl y   94.38   -   97.72   -   S lo t  f il li ng  o nl y   -   98.0   -   98.37   J o in t  m o d e l   97.87   98.16   98.10   98.43       4 .3 .    F il t e r   s i z e   s e t t in gs   I n   t h e   c o n v o l ut i o n a l   l a y e r ,   f il t e r s   e x t r a c t   f e a t ur e s   s i mi l a r   t o  n - gr a m   f e a t ur e s .   T h e   d i f f e r e n t   s i z e s   o f   t h e s e   f i l t e r s   l e a d  to  di f f e r e n t   m a pp i ng s   o f   l o c a l  f e a t ur e s ,   whi c h   s i g ni f i c a n t l y   im pa c t   t h e   r e s u l t s   o f   t h e   c o n v o l ut i o n .   Us i ng  m u l t i p l e   f il t e r   s i z e s   ge n e r a ll y  i m pr o v e s   pe r f o r m a n c e   c o m pa r e d  t o   us i n g  a   s i n g l e   f il t e r   s i z e .   B a s e d  o n   t h e   f i nd i ngs   i n   T a bl e   6,   a   f il t e r   s i z e   o f   [ 2, 3, 5 ]   o u tper f o r m e d  ot h e r   s e t ups   i n   t h e   e x pe r i m e n t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   2 ,  F e b r ua r y   20 2 5 :   1 30 6 - 1 31 6   1314   T hi s   e m p h a s i z e s   t h e   c r uc i a l   r o l e   o f   t r i - gr a m   f e a t ur e s   i n   c a pt ur i n g  l o c a l   f e a t ur e s .   It   i s   hy po t h e s i z e d  t h a t  s e que n c e s   o f   t r i - gr a m   f e a t ur e s   c a n   e n a bl e   B i L S T M   to  a c hi e v e   a   m o r e   e f f e c t i v e   s e m a n t i c   r e pr e s e n t a t i o n   o f   t h e   i nput   u tt e r a n c e s .       T a bl e   6 .   P e r f o r m a nc e   b a s e d  o n   c o n v o l ut i o n a l   f il t e r s   F il te r  s iz e   A T I S   S N I P S   A c c u r a c y   ( % )   F1 - s c o r e  ( % )   A c c u r a c y   ( % )   F1 - s c o r e  ( % )   2   92.27   84.55   93.37   97.63   3   89.96   97.47   97.79   98.27   5   87.86   97.46   98.03   98.49   [ 2,3,5]   97.87   98.16   98.10   98.43       5.   CONC L USI ONS   AN D  F UT UR E   WORK   T hi s   s t ud y   h a s   de m o ns t r a t e d  t h e   e f f e c t i v e n e s s   o f   us i n g  do m a i n - a da pt e d  e m b e dd i ngs ,   pa r t i c u l a r l y  wh e n   a li g n e d  w i t h   ge ne r i c   e m be dd i ng s   t h r o ugh   C C A ,   i n   e nh a nc i ng  t h e   pe r f o r m a n c e   o f   de e p  l e a r ni n g  m o de l s   f o r   i n t e n t   de t e c t i o n   a n d  s l o t   f il li ng.   B y   c o m bi n i n g  b ot h   g e n e r i c   a n d  do m a i n - s pe c i f i c   f e a t ur e s ,   t h e   pr o p o s e d   a ppr o a c h   h a s   s h o wn   s upe r i o r   a c c ur a c y ,   a n d  F 1 - s c o r e s   c o m pa r e d  to   b a s e l i ne   m o de l s   a c r o s s   t h e   S NI P S   a n d  A T I S   da t a s e t s .   T h e   j o i n t   l e a r ni ng  m o de l ,   s uppo r ted  by   t h e s e   e n r i c h e d  e m be dd i ngs ,   e f f e c t i v e ly   c a p t ur e s   t h e   i n t e r de pe n de n c e   o f   i n t e n t   de t e c t i o n   a n d  s l o t   f i ll i ng  t a s ks ,   l e a d i ng  to   s i g ni f i c a n t   pe r f o r m a nc e   ga i ns .   T h e   e x pe r im e n t a l   r e s u l t s   e m p h a s i z e   t h e   c r i t i c a l   r o l e   o f   e m b e dd i ng  r e l e v a n c e   a n d  a li g nm e n t   i n   im pr o vi ng  m o de l   a c c ur a c y ,   a s   we ll   a s   t h e   b e ne f i t s   o f   j o i n t   t r a i ni ng  ov e r   s e pa r a t e   m o de l s .   T h e   f i nd i ngs   a li g n   w i t h   pr i o r   r e s e a r c h ,   r e i nf o r c i n g  t h e   i m po r t a n c e   o f   e m be dd i ng  qua l i t y   a n d  t a s k  i n t e r de pe n de n c e   i n   n a t ur a l   l a n gu a ge   u n de r s t a n d i ng   t a s ks .   T h e   us e   o f   m u l t i p l e   c o nv o l ut i o n a l   f il t e r   s i z e s   i n   t h e   m o de l   f ur t h e r   c o n t r i b ut e d  to  i t s   s uc c e s s   b y   c a pt ur i n g  e s s e n t i a l   n - gr a m   f e a t ur e s ,   pa r t i c u l a r l y   t r i gr a m s ,   w hi c h   a r e   c r uc i a l   f o r   e f f e c t i v e   s e m a n t i c   r e pr e s e n t a t i o n .   G i ve n   t h e   pr o m i s i ng  r e s u l t s ,   f ut ur e   r e s e a r c h   s h o u l d  f o c us   o n   f ur t h e r   v a li da t i n g  t hi s   a ppr o a c h   o n   m o r e   c h a ll e n g i ng   a n d  d i ve r s e   N L U  da t a s e t s .   A dd i t i o n a ll y ,   e x p l o r i ng  t h e   i n t e gr a t i o n   o f   o t h e r   e m be dd i ng   t y pe s ,   s uc h   a s   c o n t e x t ua l   e m be dd i ng s ,   a n d  a pp lyi ng  t hi s   m e t h o do l o g y   to   ot h e r   NL P   t a s ks ,   l i k e   e n t i t y   r e c o gni t i o n   or   s e n t i m e n t   a n a l y s i s ,   c o ul d  l e a d  to  e ve n   gr e a t e r   a dv a n c e m e n t s   i n   t h e   f i e l d.   T h e   e f f i c i e nc y   o f   t h e   pr o p o s e d   m e t h o d  m a k e   i t   a   v a l ua bl e   d i r e c t i o n   f o r   on go i n g  r e s e a r c h   i n   NL P .       AC K NOWL E DGE M E NT S   A ut h o r s   t h a n ks   t h e   M i ni s t r y   o f   H i g h e r   E duc a t i o n   M a l a y s i a   f o r   pa r t i a ll y   f u n d i ng  t hi s   r e s e a r c h   un d e r   F u n da m e n t a l   R e s e a r c h   Gr a n t   s c h e m e   ( F R GS/ 1/2022/ I C T 06/UT M /01/ 1)   wi t h   gr a n t   v o t e   N o.     R . J 130000. 7851. 5F 568 .   F ur t h e r m o r e ,   a pp r e c i a t i o n  i s   e x t e n de d  t o  Uni v e r s i t i   T e k n o l o g i   M a l a y s i a   ( UT M )   f o r   pr o vi d i n g  t h e   r e s o ur c e s   us e d  i n   t hi s   r e s e a r c h   wo r k .       RE F E R E NC E S   [ 1]   H .  W e ld ,  X .   H ua ng,  S .  L ong,  J .  P oo n,   a nd  S .   C .  H a n,  " A   S ur ve y   of   j o in t  in t e nt   de t e c ti o n   a nd  s lo t  f il li ng  m o d e ls   in   na tu r a l  la ngua ge  unde r s ta ndi ng , "   A C M  C om put in g Sur v e y s ,  v o l.  55, n o. 8, 2022, do i :  10.1145/3547138.   [ 2]   S .  M .  S uha il i,   N .  S a li m,  a nd  M .   N .  J a mbl i,   " S e r v i c e   c ha tb o ts :  a   s y s te ma ti c   r e v i e w , "   E x pe r t  Sy s te m s   w it h  A ppl ic at io ns ,  vo l.   184,    p. 115461, 2021, do i:   10.1016/j . e s w a .2021.115461 .   [ 3]     S .  L o u v a n  a nd  B .   M a gni ni ,  " R e c e nt   n e ur a l  m e th o ds   o n  s lo t  f il li ng  a nd  in te nt   c la s s i f i c a ti o n  f o r   ta s k - or i e nt e d   di a l o gue   s y s te m s :  a   s ur ve y , "   in   P r oc e e di ngs   of   th e   28t h  I nt e r nat io nal   C onf e r e nc e   on  C om put at io nal   L in gui s ti c s ,  202 0,  pp.  480 - 496,   do i:   10.48550/ar X iv .2011.00564 .    [ 4]   M .  F ir da us ,  A .  E kba l,   a nd  E .  C a mbr ia ,  " M ul ti ta s k  l e a r ni ng  f or   mul ti li ngua l  in t e nt   d e te c ti o n  a nd  s l o t  f il li ng  in   di a l o gu e   s y s t e ms ,"   I nf or m at io n F u s io n,  vo l.  91, pp. 299 - 315, 2023, d o i:   10.1016/j .i nf f us .2022.09.029     [ 5]     J .  P e nni ngt o n,  R .  S oc h e r ,  a nd  C .  D .  M a nni ng,  " G l ov e :  g l o b a l  v e c t or s   f or   w o r d  r e pr e s e nt a ti o n, "   in   P r oc e e di ngs   o f   th e   2 014  c onf e r e nc e  on e m pi r ic al  m e th ods  i n natur al  l anguage  p r oc e s s in g ( E M N L P ) , 2014, pp. 1532 - 1543, d o i:  10.3115/ v 1 /D14 - 1162.    [ 6]   P .  B o ja n o w s ki ,  E .   G r a v e ,   A .  J o ul in ,  a nd  T .  M ik o l ov ,  " E nr i c h in g  w or d  ve c t o r s   w it h  s ubw o r d  in f or ma ti o n, "   T r ans ac ti ons   of   th e   as s oc ia ti on  f or  c om put at io nal  l in gui s ti c s ,  v ol . 5, pp. 135 - 146, 2 017 , do i:  10.1162/t a c l_ a _00051.   [ 7]   T .  M ik o l ov ,  K .  C h e n,  G .  C or r a d o ,  a nd  J .  D e a n,  " E f f i c i e nt   e s ti ma ti o n  of   w o r d  r e pr e s e n ta ti o ns   in   ve c t o r   s pa c e , "   ar X iv   pr e pr in t   ar X iv : 1301.3781,  2013 , do i:  10.48550 /a r X i v .1301.3781.   [ 8]   S . D a d a s , J . P r o ta s ie w ic z , a n d   W .   P e dr y c z ,   " A  de e p l e a r ni ng   mo de l  w i th   d a ta   e nr ic hme nt   f o r   in te nt  de te c ti o n   a nd  s lo t   f il l in g, "  i n   2 0 19  I E E E  I nt e r n at i on al   C o n fe r e n c e  o n  S y s t e m s , M an  a nd   C y b e r n e t ic s   ( SM C ) ,  20 19 ,   pp .  30 12 - 3 01 8,  do i:  1 0. 11 09 /S M C . 20 19 .8 91 45 42 .    [ 9]   Q .   N .  T .  D o   a n d  J .  G a s pe r s ,   " C r o s s - li ng u a l   tr a n s f e r   le a r ni n g  f o r   s po ke n   l a n gu a ge   u nde r s ta nd in g,"   i n  I C A SSP   2 01 9 - 20 19   I E E E   I nt e r n at io nal   C o n fe r e n c e   on  A c ou s ti c s ,  S pe e c h  a nd  S ig na l  P r o c e s s i ng  ( I C A SSP ) ,  20 19 ,  pp .  59 56 - 59 60 ,  do i:  1 0. 18 6 5 3/ v 1/ D 19 - 11 53 .     [ 10]   E .  O kur ,  S .  H .  K uma r ,  S .  S a ha y ,  A .  A r s la n  E s me ,  a nd  L .  N a c h ma n,  " N a tu r a l  la ngua ge   in te r a c t i o ns   in   a ut o no m o us   v e h ic l e s :  I n te nt   de t e c t i o n  a nd  s lo t  f il li ng  f r o m  pa s s e nge r   ut t e r a n c e s ,"   I nt e r nat i onal   C onf e r e n c e   on   C om put at io nal   L in gui s ti c s   and  I nt e ll ig e nt   T e x t   P r oc e s s in g , 2019: S pr in ge r , pp. 334 - 350, d o i:   10.1007/978 - 3 - 0 31 - 24340 - 0_25 .    [ 11]   A .  B ha s in ,  B .  N a ta r a ja n,  G .  M a th ur ,  a nd  H .  M a ngl a ,  " P a r a ll e l   in te nt   a nd  s l o t  pr e di c ti o n  us i ng  ml b  f us io n, "   in   2020  I E E E   1 4t h   I nt e r nat io nal  C onf e r e nc e  on Se m ant ic  C om put in g ( I C SC ) , 2020 ,  pp. 217 - 220, do i :  10.1109/I C S C .2020.00045.    Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         A   joi nt  lear ning  c las s i f ication  f or   in tent   de tec ti on  and  s lot   f il li ng   …  ( Y us uf   I dr is   M uhamm ad )   1315   [ 12]   Y .  W a ng,  L .  T a ng,  a nd  T .  H e ,  " A tt e nt i o n - ba s e d  C N N - B L S T M   ne two r ks   f o r   j o in t  in t e nt   de t e c ti o n  a nd  s lo t  f il li ng, "   in   C hi ne s e   C om put at io nal   L in gui s ti c s   and  N at ur al   L anguage   P r oc e s s in g   B as e d  on  N at ur al ly   A nnot at e d  B ig   D at a:   17t h  C hi na  N at io nal   C onf e r e nc e ,  C C L   2 018,  and   6t h  I nt e r nat io nal   S y m pos iu m ,   N L P - N A B D   2018,  C ha ngs ha ,   C hi na ,   2018 ,  pp.   250 - 261,  do i:   10.1007/978 - 3 - 030 - 01716 - 3_21 .    [ 13]   M .  F ir da us ,  A .  K uma r ,  A .  E kba l,   a nd  P .  B ha tt a c ha r yy a ,  " A   m ul ti - ta s k  hi e r a r c hi c a l  a ppr o a c h  f or   in t e nt   d e t e c ti o n  a nd  s l o t  f il li ng,"   K now le dge - B as e d Sy s te m s ,  v o l.  183, p. 104846, 2019, d o i:   10.1 016/ j. kno s y s .2019.07.017 .   [ 14]     M . F ir da us , S . B ha tn a ga r , A .  E kba l,  a nd P .  B ha tt a c ha r yy a ,   " A   de e p l e a r ni ng ba s e d  mul ti - ta s k  e ns e mbl e  m o d e l  f or  i n te nt  de te c ti o n   a nd  s lo t  f il li ng  in   s po k e n   la ngua ge   und e r s ta ndi ng, "   in   N e ur al   I nf or m at io n  P r oc e s s in g:   25t h  I nt e r nat io nal   C onf e r e nc e ,  I C O N I P   2018,  Si e m   R e ap,  C am bodi a,  D e c e m be r   13 - 16 ,  2018,   P r oc e e di ngs ,  P ar t  I V   25 ,  2018:  S pr in ge r ,  pp.  647 - 658,  do i:   10.1007/97 8 - 3 - 030 - 04212 - 7_57.   [ 15]   J .  - K .  K im ,  G .  T ur ,  A .  C e li k y il ma z ,  B .  C a o   a nd  Y .  - Y .  W a ng,   " I nt e nt   d e t e c t i o n  us in g  s e ma nt ic a ll y   e nr ic h e d  w o r d  e mb e ddi n gs ,"   2016  I E E E   Spok e n  L anguage   T e c h nol ogy   W or k s hop  ( SL T ) ,  S a n  D i e g o ,  C A ,  U S A ,  2016,  pp.  414 - 419,  do i:   10.1109/S L T .2016.7846297.   [ 16]   X .  Z hua ng,  Z .  Y a ng,  a nd  D .  C o r d e s ,  " A   t e c hni c a l  r e v ie w   of   c a no ni c a l  c o r r e la ti o n  a na l y s is   f or   n e ur o s c i e n c e   a ppl ic a ti o ns , "   H u m an  br ai n m appi ng,  vo l.  41, n o . 13,   pp. 3807 - 3833, 2020, d o i:   10.10 02/ hbm.25090 .   [ 17]   M .  G im é ne z ,  A .  F a br e ga t - H e r ná nde z ,  R .  F a br a - B o lu da ,  J .  P a la nc a ,  a nd  V .  B o tt i,   " A   de ta il e d  a na l y s is   of   th e   in te r p r e ta bi li t y  of   C o n vo lu ti o na l  N e ur a l  N e tw or ks   f o r  t e x t  c la s s if i c a ti o n, "   L og ic  J our nal  of  t he  I G P L ,  2024, d o i:   10.1093/j ig pa l/ j z a e 057 .   [ 18]   Y . K im ,  " C o n vo lu ti o na l  n e ur a l  n e tw o r ks   f o r  s e nt e nc e   c la s s if i c a ti o n , "  2014 , d o i:  10.48550/ar X i v .1408.5882   [ 19]   I .  H .  S a r ke r ,  " D e e p  l e a r ni ng:   a   c o mpr e he ns i ve   ove r v i e w   o n  te c hni que s ,  ta xo n o m y ,  a ppl i c a ti o ns   a nd  r e s e a r c h  di r e c ti o ns , "   SN   C om put e r  Sc ie n c e ,  v o l.  2, n o . 6, p. 420, 2021, d o i:   10.1007 /s 42979 - 021 - 00815 - 1 .   [ 20]     X .  Z ha ng  a nd  H .  W a ng,  " A   j o in t  m o de l  of   in t e nt   de t e r mi na ti o n  a nd  s lo t  f il li ng  f or   s po k e n  la ngua ge   und e r s ta ndi ng, "   in   I J C A I ,  2016, vo l.  16, n o . 2016, pp. 2993 - 2999.    [ 21]   A .  C o uc k e   e t  al . ,  " S N I P s   vo i c e   pl a t f or m:   a n  e mb e dd e d  s poke n  la ngua ge   u nd e r s ta ndi ng  s y s te m  f or   pr i v a t e - by - d e s ig n  voi c e   in te r f a c e s , "   ar X iv  pr e pr in t  ar X iv : 1805.10190,  2018, do i:   10.48 550/ a r X iv .1805.10190 .   [ 22]     P .  P r ic e ,  " E v a lu a ti o n  of   s po k e n  la ngua ge   s y s te ms :  t h e   A T I S   d o ma in , "   in   H L T   ' 90:   P r oc e e di ngs   o f   th e   w or k s hop  on   Spe e c h   and   N at ur al  L anguage , 1990, do i:   10.3115/116580.116 612 .    [ 23]   H . W e ld , X . H ua ng, S .  L ong, J . P oo n, a nd S . C . H a n,  " A  s ur ve y of  j oi nt  i nt e nt  d e te c ti o n a nd s l o t  f il li ng m o d e ls  i n na tu r a l  la ngua ge   unde r s ta ndi ng, "   A C M  C om put in g Sur v e y s  ( C SU R ) ,  2021, do i:   1 0.1145/3547138 .   [ 24]   D .  H a kka ni - T ü r   e t  al . ,   " M ul ti - d o ma in   j o in t  s e ma nt ic   f r a m e   pa r s in g  us in g  bi - di r e c ti o na l  R N N - L S T M , "   in   I nt e r s pe e c h ,  2016,   pp.  715 - 719, do i :  10.21437/I nt e r s pe e c h.2016 - 402 .   [ 25]   B .  L iu   a nd  I .  L a n e ,  " A tt e nt i o n - ba s e d  r e c ur r e nt   n e ur a l  n e tw o r k   mo d e ls   f o r   j o in t  in t e nt   d e t e c ti o n  a nd  s lo t  f il l in g, "   P r oc e e di ngs   of   th e   A nnual  M e e ti ng  of   th e   Spe e c h  C om m uni c at io n  A s s oc ia ti on  ( I N T E R S P E E C H ' 16) .  2016,  pp.  685 - 689 ,  do i:   10.21437/I nt e r s pe e c h.2016 - 1352 .   [ 26]   W .  C ha o ,  Y .  K e   a nd  W .  X ia of e i,   " P O S   s c a li ng  a tt e nt i o n   m o d e l  f or   j o in t   s lo t   f il li ng   a nd  in t e nt   c la s s if i c a ti o n, "   2020  I E E E   2 0t h   I nt e r nat io nal   C onf e r e n c e   on  C om m uni c at io n  T e c hnol og y   ( I C C T ) ,  N a nni ng,  C hi na ,  2020,   pp.  1483 - 1487,  do i:   10.1109/I C C T 50939.2020.9295901.   [ 27]   C .  W a ng,   Z .  H ua ng,   a nd  M .  H u,  " S A S G B C :  i mpr ov in g  s e qu e n c e   la be li ng  pe r f or ma n c e   f or   jo in t  le a r ni ng  of   s lo t  f il l in g  a nd  in te nt   de t e c t i o n, "   in   P r oc e e di ngs   of   2020  th e   6t h  I nt e r nat io nal   C onf e r e nc e   on  C om put in g  and  D at a  E ngi ne e r in g ,  2020,  pp.  29 - 33,  do i:   10.1109/C C D C 62350.2024.1 0587455.   [ 28]   L .  Q in ,  T .  L iu ,  W .  C he ,  B .  K a ng,  S .  Z ha o ,  a nd  T .  L iu ,  " A   c o - i nt e r a c ti ve   tr a ns f or m e r   f o r   j o in t  s l o t  f il li ng  a nd  in te nt   d e t e c t i o n, "   in   I C A SS P   2021 - 2021  I E E E   I nt e r nat io nal   C onf e r e n c e   on  A c ous ti c s ,  Spe e c h  and  Si gnal   P r oc e s s in g  ( I C A SS P ) ,  2021 ,  pp.   8193 - 8 197,  do i:  10.1109/ I C A S S P 39728.2021.9414110.    [ 29]   T .  H e ,  X .  X u,  Y .  W u,  H .  W a ng,   a nd  J .  C he n,  " M ul ti ta s k  le a r ni ng  w it h  kno w le dg e   ba s e   f o r   j o in t  in t e nt   de t e c ti o n  a nd  s lo t  f il l i n g,"   A ppl ie d Sc ie nc e s ,  v o l.  11, n o . 11, p. 4887, 2021 , d o i:  10.3390 /a pp1111 4887.   [ 30]   M . F ir da us , H .  G o l c hha , A .  E kba l,  a nd P .  B ha tt a c ha r yy a ,   " A  d e e p mul ti - ta s k m o de l   f o r  di a l o gue  a c t  c la s s i f i c a ti o n, i nt e nt  d e t e c t io n  a nd s lo t  f il li ng, "   C ogni ti v e  C om put at io n,  vo l.  13, n o . 3, pp. 626 - 645, 2021, do i :   10.1007/s 12559 - 020 - 09718 - 4 .   [ 31]   A .  S id dha nt ,  A .  G oy a l,   a nd  A .  M e ta ll in o u,  " U ns upe r v is e d  t r a ns f e r   l e a r ni ng  f or   s po k e n  la ngua g e   unde r s ta ndi ng  in   in t e ll i ge nt   a ge nt s , "   in   P r oc e e di ngs   of   th e   A A A I   c onf e r e nc e   on  ar ti f i c ia l  in te ll ig e nc e ,  2019,  vo l.   33,   n o .  01,   pp.  4959 - 4966,  do i:   10.48550/ar X iv .1811.05370 .    [ 32]   K .  S a i f ul la h,  M .  I .  K ha n,  S .  J a ma l,   a nd  I .  H .  S a r k e r ,  " C y b e r b ul l y in g  t e x t  id e nt i f ic a ti o n  ba s e d  o n  d e e p  l e a r ni ng  a nd  tr a ns f o r me r - ba s e d  la ngua ge   m o de ls ,"   E A I   E ndor s e d  T r ans ac ti ons   on  I ndu s tr ia l  N e tw or k s   and  I nt e ll ig e nt   Sy s t e m s ,  v o l.   11,  n o .  1,  pp.  e 5 - e 5,   2024, do i:   10.4108/ e e ti ni s . v 11i 1.4703.   [ 33]   E .  S e z e r e r   a nd   S .  T e k ir ,  " A   s ur ve y   o n   ne u r a l  w o r d   e mb e ddi n gs ,"   ar X iv   pr e pr in t  ar X iv : 2110.01804,  2021.  [ O nl in e ] .  A v a il a bl e :   ht tp s :/ /a r x i v . or g/ pd f /2 110.01804 .   [ 34]   S .  J .  J o hns o n,  M .  R .   M ur ty ,  a nd  I .  N a v a ka nt h,  " A   de ta il e d  r e vi e w   o n  w o r d  e mbe ddi ng  t e c hni qu e s   w it h  e mpha s is   o n  w o r d2 ve c , "   M ul ti m e di a T ool s  and A ppl ic at io ns ,  vo l.  83, n o . 1 3, pp. 37979 - 38007, 2024, do i:   10.1007/s 11042 - 023 - 17007 - z .       B I OG RA P HI E S   OF   AU T HO RS          Y u s uf  I dri s   M uh a m m a d           w as   b o r n   i n   K a n o ,   N i g eri a  i n   1 9 8 4 .   H e   r ecei v ed   h i s   B. E n g .   Co m p u t e r  E n g i n ee r i n g   fro m   Ba y ero   U n i v e r s i t y   K a n o ,   N i g e r i a  an d   M . S c .   fro m  Me v l an a  U n i v e rs i t y   K o n y a,   T u rk ey .   H e   i s   c u rr en t l y   p u rs u i n g   h i s   Ph . D .   d e g r ee   i n   c o m p u t e r  s c i e n ce  w i t h   F a c u l t y   o f   Co m p u t i n g ,   U n i v e rs i t i   T e k n o l o g i   Ma l a y s i a .   H e   i s   a l s o   a   l ec t u r e r  at   Saad at u   R i m i   U n i v e rs i t y   o f  E d u c at i o n   K u m b o t s o   K a n o ,   N i g e ri a .   H i s   cu rr e n t   r e s e ar c h   ar e a  i n c l u d e s   N L P,   c l o u d   co m p u t i n g ,   an d   b i g   d at a  an al y t i c s .   H e   c an   b e   co n t a c t ed   at   em ai l :   mu h a mm ad i d r i s @ g ra d u at e . u t m . my .   Evaluation Warning : The document was created with Spire.PDF for Python.