I n te r n ati o n al   Jo u r n al   o El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   3 J u n e   20 20 ,   pp .   2710 ~ 2718   IS S N :   2088 - 8708 D O I :   10. 1 1591 / i j e c e . v 10 i 3 . pp2710 - 2718             2710       Jou r n al   h o m e pa ge ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   C o n v o l u t i o n a l   r e c u r r e n t   n e u r a l   n e t w o r k   w i t h   t e m p l a t e   b a sed  r e p r e sent a t i o n   f o r   c o m p l e x   q u e st i o n   a n s w e r i n g       A .   C h an d r a   O b u l R e d d y,   K .   M ad h av i   D e pa r t m e n t   o f   C o m put e r   S c i e nc e   a n d   E ng i ne e r i ng ,   J a w a ha r l a l   N e h r T e c hno l o g i c a l   U n i v e r s i t y ,   I ndi a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e A ug  5 ,   2018   R e v i s e N o v   2 4 ,   2019   A c c e pt e D e c   8,   20 19       C o m pl e Q ue s t i o a ns w e r i ng   s y s t e m   i s   de v e l o pe t o   a ns w e r   d i f f e r e n t   t y pe s   o f   que s t i o ns   a c c ur a t e l y .   I ni t i a l l y   t he   que s t i o f r o m   t he   na t u r a l   l a ng ua g e   i s   t r a ns f o r m e t o   a i n t e r na l   r e pr e s e nt a t i o w hi c c a pt ur e s   t he   s e m a nt i c s   a nd   i nt e n t   o f   t he   que s t i o n.   I t he   pr o po s e w o r k,   i nt e r na l   r e p r e s e nt a t i o i s   pr o v i de w i t t e m pl a t e s   i ns t e a d   o f   us i ng   s y n o n y m s   o r   ke y w o r ds .   T he f o r   e a c i nt e r na l   r e p r e s e n t a t i o n ,   i t   i s   m a ppe t o   r e l e v a nt   q ue r y   a g a i ns t     t he   kno w l e dg e   ba s e .   I pr e s e nt   w o r k,   t h e   T e m pl a t e   r e pr e s e nt a t i o ba s e d   C o nvo l ut i o na l   R e c ur r e nt   N e u r a l   N e t w o r ( T - C R N N )   i s   p r o po s e f o r   s e l e c t i ng   a n s w e r   i n   C o m pl e Q u e s t i o A ns w e r i ng   ( C Q A )   f r a m e w o r k.   R e c ur r e nt   n e ur a l   n e t w o r i s   us e t o   o bt a i t he   e xa c t   c o r r e l a t i o n   be t w e e a ns w e r s   a nd  q ue s t i o ns   a nd   t h e   s e m a n t i c   m a t c h i ng   a m o ng   t he   c o l l e c t i o o f   a ns w e r s .   I ni t i a l l y ,   t he   p r o c e s s   o f   l e a r ni ng   i s   a c c o m pl i s h e d   t hr o ug C o nvo l ut i o na l   N e ur a l   N e t w o r ( C N N )   w h i c r e p r e s e n t s   t he   q ue s t i o ns   a nd   a ns w e r s   s e pa r a t e l y .   T he t he   r e p r e s e n t a t i o w i t f i xe l e ng t i s   p r o duc e f o r   e a c que s t i o w i t t he   h e l o f   f ul l y   c o nne c t e ne ur a l   ne t w o r k.   I o r de r   t o   de s i g t h e   s e m a n t i c   m a t c hi ng   b e t w e e t h e   a n s w e r s ,   t he   r e pr e s e nt a t i o o f   Q ue s t i o A ns w e r   ( Q A )   pa i r   i s   g i v e i n t o   t he   R e c ur r e nt   N e u r a l   N e t w o r ( R N N ) .   F i n a l l y ,   f o r   t he   g i v e que s t i o n,   t h e   c o r r e c t l y   c o r r e l a t e a n s w e r s   a r e   i de n t i f i e d   w i t h   t he   s o f t m a x   c l a s s i f i e r .   Ke y w or d s :   Co m pl e que s t i o n   a n s w e r i n g   Co n v o l ut i o n a l   r e c urr e n t   n e u ra l   n e t w o r k   N a t u ra l   l a n gu a ge   p r o c e s s i n g   Q ue s t i o n   a n s w e r   pa i r   T e m pl a t e     C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e   A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   A .   C ha n d ra   O b ul a   R e ddy   D e pa rt m e n t   o f   Co m put e S c i e n c e   a nd   E n g i n e e r i ng,   J a w a h a rl a l   N e hr u   T e c hn o l o gi c a l   U ni v e r s i t y ,   A na n t ha pu r,   A n a nt h a pu r a m u   -   515002 ,   A . P . ,   I n d i a .   E m a i l :   c ha n d ra j nt ua na nt a p u r @ g m a i l . c o m       1.   I N TR O D U C TI O N     In   r e c e n t   y e a r s ,   t h e   t a s of   que s t i o n   a n s w e r i n pl a y s   a   m a j or   r o l e   of  i n f o r m a t i o n   r e t ri e v a l   i n   hum a c o m put e r   i n t e r a c t i o n.   T h e   r e qu i r e i n f o r m a t i o n   i s   de s c r i b e i n   t h e   f o r m   of   que s t i o n s   o r   s t a t e m e n t s   [1] .   Q ue s t i o n   A n s w e r i n s y s t e m s   pr e s e n t i n a n   i nt e r f a c e ,   w h e r e   us e r s   c o ul s t a t e   t h e i r   de m a n f o r   i n f o r m a t i o n   i t h e   N a t u r a l   L a n g ua ge   f o r m a t   a n d   t h e   s e a r c h   e n g i n e   w i l l   p r o duc e   s ui t a b l e   a n s w e r s   t o   t h e s e   que s t i o n s .   W h e n   c o m pa r e w i t h   t h e   t ra di t i o na l   i n f o r m a t i o n   r e t r i e v a l   s y s t e m ,   t h e   r e l e v a n t   a m o u n t   o i n f o r m a t i o n   i s   c o n s i de r e a s   a n   a n s w e r   i n s t e a o f   r e t r i e v i n t h e   e nt i r e   do c um e nt   [2] .   D a t a   m i n i ng  i s   a   s ub f i e l of   c o m put e r   s c i e n c e   t h a t   e n a b l e s   i nt e l l i ge n t   e xt r a c t i o n   o f   us e f ul   i n f o r m a t i o n   [3].   T h e   us e r   i s   e xpe c t i n c o r r e c t ,   c o m pr e h e n s i b l e   a n d   c o n c i s e   a n s w e r   w h i c h   m a y   i ndi c a t e s   t h e   s e nt e n c e ,   i m a ge ,   w o r d,   p a r a g ra p h,   a ud i f r a g m e nt   o t h e   w h o l e   do c um e n t   [ 4].   T h e   p r o b l e m   b e h i n t hi s   a p p r o a c i s   c o n v e r t i n g   t h e   us e r   i n f o r m a t i o n   i t h e   f o r m   o f   e v a l ua t i o n.   I t   c a b e   a c c o m pl i s h e b y   i n f e r e n c i n a n d   S e m a nt i c   W e b   que r y   pr o c e s s i n a pp r o a c h e s .   T h e   a pp l i c a t i o w i l l   t a ke   a dv a n t a ge   o f   t hi s   c l a s s   s t r uc t u r e   t o   de t e r m i n e   t h e   s e m a n t i c   s i m i l a r i t y .   S t r e e t   a n d   c i t y   s e m a n t i c a l l y   a r e   c l o s e r   t ha s t r e e t   a n d   t i m e   [5 ].   T h e   c o m b i n a t i o n   o f   que s t i o n   f oc us   a n que s t i o n   t o pi c   i s   c o n s i de r e a s   a   que s t i o n.   T h e   t o pi c s   of    t h e   que s t i o n   c o m m o n l y   h a v e   t h e   c o n di t i o n s   o r   c o n t e xt   b a s e o n   t h e   us e r   c h a ra c t e ri s t i c s   of   i n t e r e s t   [6] .     T h e   i n t e r e s t   o f   t h e   a n s w e r   i s   i de n t i f i e by   t h e   s e a r c hi n t o pi c s   w h i c h   a r e   e n t e r e d.   S e v e r a l   f a c t o r s   o f   que s t i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Conv o l ut i ona l   r e c ur r e n t   ne ur a l   n e t w or k   w i t t e m p l at e   bas e d   r e pr e s e nt a t i o n . . .   ( A .   Cha ndr O bu l a   R e dd y )   2711   t o pi c   a r e   f o r m ul a t e i que s t i o n   f o c us   [7].   If   t h e   us e r   m o di f i e s   t h e   t o pi c   i C o m m u ni t y   que s t i o n   a n s w e r i ng  (CQ A ),   i t   i s   s h o w n   by   t h e   t o pi c   v a r i a t i o n   o que s t i o n   a n a ns w e r .   CQ A   i s   a   t y pe   o i n f o r m a t i o n   r e t ri e v a l   w a s   us e r   n e e f r o m   t h e   c o m m u n i t y   i s   gi ve n   i n   t h e   fo r m   o f   n a t u ra l   l a ngua ge   que s t i o n   a n c o m m u n i t y   r e s po n s e   i s   i n   t h e   f o r m   o f   n a t u ra l   l a ngua ge   a n s w e r .   T hi s   s t r uc t u r e   i s   hi g hl y   c o m pl e i n   w hi c t h e   p r o pe rt i e s   a r e   s uf f i c i e n t   fo r   c o n s t r uc t i n Q A   f r a m e w o r a t   t h e   p r e s e n c e   of   s t r uc t u r e da t a   s o ur c e s   a n do m a i o nt o l o g y   [8].   D ue   t o   t h e   c a pa b i l i t y   o r e pl a c i n a nd  e xt e n d i n t h e   c o m po n e nt s   w i t h   v a ri o us   i m pl e m e nt a t i o n s ,   t h e   po r t a b i l i t y   i s   ob t a i n e a t   t h e   do m a i w i t h   r e s pe c t   t o   t h e   t a r ge t e do m a i o o n t o l o g y   [9].   T o   t a c kl e   t hi s   i s s ue ,   w i de   r a n ge   o t e c h ni que s   ha s   b e e n   de v e l o pe fo r   a n s w e r i n t h e   que s t i o n s   o na t u ra l   l a ngua ge   b a s e o n   h e t e r o ge n e o us   a nd  l a r ge   s t r uc t u r e   of   da t a   [10 ,   11] .   I ni t i a l l y ,   t h e   e xa c t   que s t i o n s   o a n y   t o pi c   w i l l   b e   p o s t e by   t h e   da t a   s e e ke r s   a n i t   a l l o w s   t h e   o t h e r   us e r s   t o   s ha r e   t h e i r   a n s w e r s .   By   i n f l ue n c i ng  t h e   e ff e c t s   of   c o m m uni t y ,   t h e y   c a n   a b l e   t ob t a i n   c o rr e c t   a n s w e r s   w i t h   t h e   h e l o f   s e a r c e n gi n e s   [12] .   B e t t e r   qu a l i t y   of   r e s ul t   i s   ge n e r a t e w i t h   t h e   h u m a n   i n t e l l i ge n c e   s y s t e m   w h e n   c o m pa r e w i t t h e   CQ A   a n a u t o m a t e Q A   s y s t e m .   T h e   i n c r e di b l e   a m o u nt   o f   Q A   pa i r s   ha s   b e e n   de ve l o p e w i t h   t h e   da t a   s t o r a ge   a n d   i t   p r o v i de s   t h e   s e a r c h   a n d   p r e s e r v a t i o n   o f   e v a l ua t e que s t i o n s   [13] .   Q ue s t i o n   a n s w e r i n i s   t h e   p r o c e s s   of   f i n d i n a n s w e r i n f o r   t h e   que s t i o n   po s t e i c o m m o n   l a n gu a ge   a ut o m a t i c a l l y .   Q A   f r a m e w o r r e qui r e s   t h e   c a pa b i l i t y   of   un de r s t a ndi n na t u ra l   l a n g ua ge   l i ngui s t i c s ,   t e xt   a n d   c o m m o n   k n o w l e dge   [14].   T h e   c o rr e c t   a n s w e r   f r o m   t h e   g i v e n   s e t   o f   do c um e n t s   c a n   b e   de t e r m i n e by   t h e   Q A   s y s t e m   by   us i n t h e   que s t i o n   o f   n a t u ra l   l a ngua ge   [ 15].   N a t u ra l   L a ngu a ge   P r o c e s s i n (N L P a pp r o a c h     i s   c o m m o n l y   de ve l o pe i n   Q A   s y s t e m   fo r   r e pl y i n us e r s   que s t i o n .   I a dd i t i o n   t o   t ha t ,   s a m e   ki n ds   o   i s s ue s   a r e   t e rm e u n i que l y   i n   s e v e r a l   Q A   s y s t e m s .   T he   n a t u r a l   l a ngua ge   ov e r h e a l i ke   a m b i gu i t y ,     co - r e fe r e n c e ,   I m pl i c i t n e s s ,   i n f e r e n c e   e t c .   c r e a t e d   h i n d ra n c e   i n   s e n t i m e n t   a na l y s i s   t o o   [16].   N a t u r a l   l a n g ua ge   s e a r c h ,   o n   t h e   o t h e r   h a n d ,   a t t e m p t s   t o   us e   n a t u r a l   l a ng ua ge   pr o c e s s i n t o   un de r s t a nd  t h e   na t u r e   of    t h e   que s t i o a n d   t h e n   t o   s e a r c h   a n r e t u rn   a   s ub s e t   o f   t h e   re po s i t o r i e s   s uc h   a s   w e b   da t a b a s e s   t h a t   c o n t a i n s     t h e   a n s w e r   t o   t h e   que s t i o n .   T h e   r e s ul t   w i l l   b e   m o r e   c r e di b l e   a n o f   h i g h e r   r e l e v a n c e   t ha n   r e s ul t s   f r o m     a   ke y w o r s e a r c h   e n gi n e   [ 17] .   R e c e n t l y ,   t h e   e f f i c i e n t   que s t i o a n s w e r i n g   w e b s i t e s   a re   i n v e nt e t o   de t e rm i n e   t h e   a n s w e r   a ut o m a t i c a l l y   [18].   T h i s   k i n o f   que s t i o n   a n s w e r i n s y s t e m   f a c e s   s o m e   i s s ue s   duri n i t s   p r o c e s s i n [ 19].   F o r   r e s o l v i n t h e   que s t i o n,   c e rt a i n   qu a nt i t i e s   o f   que s t i o n s   a r e   w a i t i ng  a nd  s o m e   o f   t h e m   a r e   e l i m i na t e by     t h e   us e w h o   a n s w e r s   t ha t   a n d   t h e   l a rge   a m o unt   o f   t i m e   i s   w a s t e f o r   ge t t i n a n s w e r .   I n   w o r s t   c a s e s ,     t h e   s ui t a b l e   a n s w e r   i s   n o t   o b t a i n e f r o m   t h e   e xpe rt s   by   t h e   a s ke r   [20] .   T h e   w e b s i t e s   s uc h   a s   q ue s t i o a n s w e r i n t hr o ug h   k n o w l e dge   s h a r i n i s   a f f e c t e by   t h i s   k i n o f   pr ob l e m s .   H e n c e   i t   i s   r e qui r e t o   de t e c t     t h e   n e c e s s a r y   e xpe r t s   fo r   e a c h   que s t i o n ,   t h us   i t   i m p r o v e s   t h e   a n s w e r   qua l i t y ,   m i n i m i z i ng  t h e   w a i t i n t i m e   a nd  i m p r o v e s   t h e   e f f i c i e n c y   o f   kn o w l e dg e   s h a ri n g   [21 ].   H ow e ve r ,   t h e   i s s ue   i s   t h a t   a   hum a n   c a n   a s a   que s t i o n   i n   v a r i e t y   of   w a y s .   T s o l ve   t h i s   ki n o f   i s s u e s   s e v e r a l   t e c hni que s   ha s   b e e n   de v e l o pe w i t h   l a r ge   s t r u c t u r e d   a n h e t e r o ge n e o us   da t a   f o r   que s t i o n   a n s w e r i ng  i n   na t u ra l   l a n g ua ge s .   P r e v i o us   a ppr o a c h e s   ha v e   n a t u ra l   l i m i t s   due   t o   t h e i r   r e p r e s e nt a t i o n s :   r u l e   b a s e d   a pp r o a c h e s   a r e   ut i l i z e f o r   p r o c e s s i n t h e   l e s s   c o l l e c t i o n   of   c a nn e d”   que s t i o n s ,   w h i l e   ke y w o r b a s e o r   s y n o n y m   b a s e m e t h o ds   c a nn o t   f ul l y   un de r s t a nd  t h e   que s t i o n s .   H e n c e   t e m pl a t e   b a s e a pp r o a c h e s   a n d   b e t t e a n s w e r   s e l e c t i o n   i s   r e qui r e f o r   e ff i c i e n t   que s t i o n   a n s w e r i ng   s y s t e m .   In  t hi s   w o r t w o   pa r a l l e l   Co n v o l ut i o n a l   N e ur a l   N e t w o r ks   (CN N s a r e   ut i l i z e t o   l e a rn  t h e   s e m a n t i c   c o r r e l a t i o n   p a t t e rn  a m o ng  que s t i o n   a n s w e r   p a i r.   T h e   p r o po s e a pp r o a c e ff e c t i v e l y   c a pt ur e s   t h e   v a l ua b l e   c o nt e xt   f r o m   t h e   s e que n c e   o f   a n s w e r s .   T h e   o r g a n i z a t i o o f   o ur   w o r i t hi s   pa pe i s   de s c ri b e a s   f ol l o w s .   S e c t i o n   de s c r i b e s   t h e   p r o po s e d   a pp r o a c h   o f   Co m pl e Q ue s t i o n   A n s w e r i n g .   S e c t i o n   e xpl a i n s   t h e   r e s e a r c h   m e t h o d,   t e m pl a t e   b a s e d   c o n vo l ut i o n a l   r e c urr e n t   n e u ra l   n e t w o r (T - CR N N fo r   c o m pl e que s t i o n   a n s w e r i n g .   I n   S e c t i o n   4 ,   t h e   e xpe r i m e n t a l   r e s ul t s   o T - CR N N   a r e   a n a l y z e d.   S e c t i o n   i l l us t r a t e s   t h e   s i g ni f i c a nt   a s pe c t s   of   t h e   w o r k   a n c o n c l u de s .       2.   TH E   P R O P O S ED   M ET H O D   T h i s   s e c t i o n   de s c r i b e s   t h e   pr o po s e a ppr o a c h   o f   c o m pl e que s t i o n   a n s w e r i n g .   F o r   c o m pl e que s t i o n   a n s w e r i n s y s t e m ,   B i n a r y   f a c t o i que s t i o n s   (B F Q s a r e   t a ke n   i n t o   a c c o un t   a nd  i t   h a s   t h e   s pe c i f i c   pr o pe r t y   of  a n   e nt i t y .   In i t i a l l y ,   t h e   e nt i t y   f r o m   t h e   i n p ut   que s t i o n   i s   r e p l a c e w i t h   t h e   t e m pl a t e s .   B a s e o n   t h e   r e pl a c e d   e n t i t i e s   i t   us e s   di v i de   a n c o n que r   a pp r o a c h   f o r   de c o m po s e   t h e   que s t i o n.   T h e n   t h e   CN N ,   R N N   a n s c o r i n i s   us e f o r   de t e rm i ni n g   t h e   c o rr e c t   a n s w e r .   T h e   p r o po s e a pp r o a c o f   CQ A   i s   s h o w n   i F i g u r e   1 .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   3 J u n e   2 020   :     27 09   -   2 718   2712   n Q u e s t i o n   a n d   a n s w e r . . . . . . I n p u t   q u e s t i o n Q u e s t i o n   r e p r e s e n t a t i o n K n o w l e d g e   b a s e C o m p l e x   q u e s t i o n   d e c o m p o s i t i o n   ( D i v i d e   a n d   c o n q u e r   a p p r o a c h ) C N N C N N C N N C N N C N N C N N R N N R N N R N N M u l t i   l a y e r   p e r c e p t r o n S c o r i n g   ( S o f t m a x   C l a s s i f i e r ) S e m a n t i c   m a t c h i n g   p a t t e r n s C o n t e x t   f e a t u r e s     F i gu r e   1 .   P r o po s e a pp r o a c o f   c o m pl e que s t i o a n s w e r i n g       2. 1 .   Q u e s ti o n   r e p r e s e n tat i o n   T h e   que s t i o n     s h o ul b e   r e p r e s e n t e f o r   a n s w e r i n g   t h e   que s t i o n.   Q ue s t i o r e p r e s e n t a t i o n   i s     t h e   pr o c e s s   of   c o n v e r t i n t h e   que s t i o n   f r o m   t h e   na t u ra l   l a ngua ge   t o   i t s   i nt e rna l   r e p r e s e nt a t i o n   f o r   c a pt u ri n g   t h e   i n t e n t s   a n s e m a n t i c s   of   t ha t   que s t i o n.   M a t c hi n i s   a n   i m po r t a nt   c o n c e pt   i n   t h e   a r e a   o f   s e m a n t i c   w e b   s uc h   a s   o n t o l o g y   i nt e r o pe ra b i l i t y ,   da t a   s ha r i ng,   a nd  do c um e n t   c l a s s i f i c a t i o n   e t c   [22].   F o r   que s t i o n   r e p r e s e n t a t i o n ,   t h e   k n o w l e dge   b a s e   i s   ut i l i z e d.   T h e   i nt e rna l   r e p r e s e n t a t i o n   i s   de n o t e a s   t e m pl a t e   ,   w h e r e ,   = ( , , )   a n d     r e p r e s e n t s   t h e   c a t e go r y .   F i gu r e   2   s h o w s   t h e   i nt e rna l   r e p r e s e n t a t i o o f   que s t i o r e p r e s e n t a t i o n .     E a c h   que s t i o n   i s   c o n s i de r e a s   a   s e t   of   e n t i t i e s   a n t h e   t e m pl a t e s   f r o m   t h e   kn o w l e dge   b a s e   i s   us e t r e p r e s e n t   t h e   que s t i o n.   T h e   e nt i t y     of   t h e   que s t i o i s   r e pl a c e by   i t s   c o n c e pt   a n i t   c a n   b e   a c h i e v e t hr o ug h   t h e   p r o c e s s   of  c o n c e pt ua l i z a t i o n.   T h i s   a pp r o a c h   i s   de pe ndi n g   o n   t h e   n e t w o r o f   l a r ge   s e m a nt i c s   (P r o b a s e   [23])  a n d   i t   c o n t a i n s   m i l l i o n s   o f   c o n c e pt s .   H e n c e   s uff i c i e n t   g ra n ul a r i t y   i s   t h e r e   f o r   r e pr e s e nt i ng  a l l   ki n d   o f   q ue s t i o n s .     T h e   k n o w l e dge   b a s e   of   e a c h   p r e di c a t e   i s   b a s e o n   s e v e r a l   t e m pl a t e s .   F o r   o ur  w o r k,   2 7, 12 6, 3 55  t e m pl a t e s   a r e   l e a rn e f o r   27 82  p r e d i c a t e s .   T h e   l a rge   a m o unt   o f   t e m pl a t e s   i n d i c a t e s   w i de   c o ve r a ge   f o r   t e m pl a t e   b a s e CQ A .     2. 2 .   C om p l e x   q u e s ti on   d e c o m p o s i ti o n   F o r   c o m pl e que s t i o n   de c o m po s i t i o n ,   di v i de   a nd  c o n que r   a pp r o a c i s   us e i t h e   p r o po s e CQ A   s y s t e m .   In i t i a l l y ,   t h e   i n pu t   que s t i o n   i s   de c o m po s e i n t o   s e t   of   B F Q ’s ,   t h e n   e a c h   a r e   a n s w e r e s e pa r a t e l y .     T h e   b l o c di a gra m   f o r   c o m pl e que s t i o n   de c o m po s i t i o n   i s   s h o w n   i n   F i gu r e   3 .   T h e   de c o m po s e que s t i o n   c o n t a i n s   m o di f i e e n t i t i e s   e xc e pt   t h e   f i r s t   que s t i o n .   A f t e r   a s s i g n i n t h e   v a r i a b l e   w i t h   s pe c i f i c   e n t i t y   w h i c h   i s   t h e   a n s w e r   o f   pr e v i o us   que s t i o n,   o n l y   t h e   que s t i o s e que n c e   i s   m a t e r i a l i z e d.     T h e   a n s w e r   f o r   t h e   gi v e que s t i o n   i s   o b t a i n e w i t h   R D F   k n o w l e dge   b a s e     w h i c i s   i t h e   s t ruc t u r e   of   ( , , ) .   W h e r e ,     de n o t e s   t h e   s ub j e c t ,     r e p r e s e n t s   t h e   p r e d i c a t e   a n d     r e p r e s e n t s   t h e   p r e di c a t e s .     T h e   a n s w e r   o b t a i n e d   f o r   t h e   q ue s t i o i s   r e p r e s e nt e i t h e   f o r m   o f    1 = { ( 1 , 1 ) , ( 1 , 2 ) , , ( 1 , ) } W h e r e ,     r e p r e s e n t s   t h e   q ue s t i o a nd    r e p r e s e n t   t h e   a n s w e r   f o r   t h e   que s t i o .   T h e   a n s w e r   1   c o n t a i n s     t h e   e xa c t   f a c t o i a n s w e r   o f   v a r i o us   s e nt e n c e s .       Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Conv o l ut i ona l   r e c ur r e n t   ne ur a l   n e t w or k   w i t t e m p l at e   bas e d   r e pr e s e nt a t i o n . . .   ( A .   Cha ndr O bu l a   R e dd y )   2713   Q u e s t i o n   1 E n t i t y   1 R e p r e s e n t a t i o n   1 E n t i t y   2 E n t i t y   n R e p r e s e n t a t i o n   1 R e p r e s e n t a t i o n   1 . . . . . . Q u e s t i o n   2 E n t i t y   1 R e p r e s e n t a t i o n   1 E n t i t y   2 E n t i t y   n R e p r e s e n t a t i o n   1 R e p r e s e n t a t i o n   1 . . . . . . Q u e s t i o n   n E n t i t y   1 R e p r e s e n t a t i o n   1 E n t i t y   2 E n t i t y   n R e p r e s e n t a t i o n   1 R e p r e s e n t a t i o n   1 . . . . . . . . . . . .     F i gu r e   2 .   B l o c di a g r a m   f o r   q ue s t i o r e p r e s e n t a t i o n     Q u e s t i o n   1 D i v i d e   a n d   c o n q u e r Qn 1 Qn 1 Qn 1 A n s 1 A n s 1 A n s 1 ... ... Q u e s t i o n   2 D i v i d e   a n d   c o n q u e r Qn 2 Qn 2 Qn 2 A n s 2 A n s 2 A n s 2 ... ... Q u e s t i o n   n D i v i d e   a n d   c o n q u e r Qn n Qn n Qn n A n s n A n s n A n s n ... ... ...     F i gu r e   3 .   B l o c di a g r a m   f o r   c o m pl e que s t i o de c o m po s i t i o n       3.   R ES EA R C H   M ET H O D   T h i s   s e c t i o n   de s c ri b e s   t h e   r e s e a r c h   m e t h o d,   t e m p l a t e   b a s e c o n vo l ut i o n a l   r e c urr e nt   n e u r a l   n e t w o r (T - CR N N f o r   c o m pl e que s t i o n   a n s w e r i n g .     3. 1 .   S e m an ti c   m atc h i n p att e r n   In  o r de r   t o   o b t a i n   t h e   s e m a t i c   m a t c hi n g   pa t t e rn   b e t w e e n   t h e   que s t i o n   a n a n s w e r ,   t h e   CN N   i s   us e i t h e   Re s e a r c h   m e t h o T - CR N N .   T h e   B l o c di a gr a m   o f   CN N   b a s e d   s e n t e n c e   m o de l   i s   s h ow n   i n   F i g u r e   4.     T h e   CN N   i s   ut i l i z e t o   l e a rn  t h e   r e p r e s e nt a t i o n   f r o m   t h e   Q A   pa i r   ( , ) .   F o r   t ha t   i ni t i a l l y ,   t h e   d i s t r i b ut i o n a l   r e p r e s e n t a t i o o f   que s t i o n   a nd  a n s w e r   ( , )   i s   l e a rn e s e pa ra t e l y .   T h e t h e   f i xe l e n gt r e p r e s e n t a t i o n     i s   e xt ra c t e us i n g   f ul l y   c o n n e c t e h i d de l a y e r .       P r e   t r a i n e d   w o r d   e m b e d d i n g ( W o r d   t o   v e c t o r ) C o n v o l u t i o n a l p o o l i n g C o n v o l u t i o n a l   a n d   p o o l i n g L e a r n t   s e n t e n c e   r e p r e s e n t a t i o n     F i gu r e   4 .   B l o c di a g r a m   o f   CN N   b a s e s e n t e n c e   m o de l       T h e   m a t ri x   o f   pr e   t ra i n e d   w o r e m b e ddi ng   × |  |   i s   ut i l i z e f o r   p rov i di n d i s t ri b ut i o na l   v e c t o fo r   e a c h   w o r d     f r o m   t h e   s e n t e n c e   = ( 1 , , | | ) .   W h e r e ,   t h e   n u m b e r   o f   vo c a b ul a r y     i s   de n o t e a s   | |   de n o t e s   t h e   l e n gt o f   w o r v e c t o r .   T h e   i n pu t   s e n t e n c e   m a t ri x   × | |   i s   c o n s t ruc t e a n d   i t   i s   gi v e n   a s   a i n pu t   f o r   c o n v o l ut i o n a l   s e n t e n c e   m o de l .   T h e   c o n v o l ut i o na l   m o de l   c o n t a i n s   s e v e r a l   c o n v o l ut i o na l   a n d   po o l i n l a y e r s   w h i c h   p r o v i de   h i g h   l e v e l   r e pr e s e nt a t i o n   o f   s e n t e n c e   ve c t o r .   Co n v o l ut i o na l   N e u ra l   N e t w o r (CN N i s   a   s pe c i a l   ki nd  o f   de e n e u ra l   n e t w o r [24] .   a.   Co n v o l ut i o n   F r o m   t h e   i n pu t   s e n t e n c e   m a t ri x   Y ,   t h e   f e a t u r e   m a p   p a r a m e t e r s   ( e ( v , j ) , d ( v , j ) )   a r e   c o m put e d   i n   t h e   c o n v o l ut i o n a l   l a y e r   a nd  c o n v o l ut i o na l   f i l t e r   .   T h e   o ut put   fo r   t h e   c o n v o l ut i o na l   f i l t e r   i s   t h e   f e a t u r e   m a p   In  t h e   o ut pu t   l a y e r   ,   t h e   f e a t ur e   m a p a r a m e t e r s   a r e   i n   t h e   f o r m   o f   di m e n s i o na l   a rra y s .   T h e   s l i di ng  w i n do w s   of   w o r ds   w i t h   w i dt h   1   a r e   ut i l i z e f o r   f e a t u r e   m a ppi n i n   t h e   f i r s t   l a y e r   o f   c o n vo l ut i o na l   u ni t .     T h e   o ut put   f o r   t h e   c o n v o l ut i o n a l   l a y e r   i s   c o m put e d   a s     ( 1 , ) ( 1 , ) ( ) = ( ( 1 , ) ̂ ( 0 ) + ( 1 , ) )   (1)   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   3 J u n e   2 020   :     27 09   -   2 718   2714   T h e   a b ov e   e qua t i o i s   i m a t ri x   f o r m   ( 1 ) ( 1 ) ( ) = ( ( 1 ) ̂ ( 0 ) + ( 1 ) ) ,   w h e r e   ̂ ( 0 ) = : + 1 1   de n o t e s   t h e   1   w o r ds   o f   c o n c a t e n a t e v e c t o r   w h i c h   i s   o b t a i n e d   by   t h e   s l i d i n g   w i n do w s   of   c o n v o l ut i o n .   W h e n   t h e   c o n v o l ut i o n   i s   a ppl i e t o   t h e   de e pe l a y e r ,   i t   i s   de s c r i b e a s     ( ) = ( ( ) ̂ ( 1 ) + ( ) )   ( 2 )     w h e r e ,   ( , ) de n o t e s   t h e   o ut put   o f   f e a t ur e   m a p,   ( . )   i s   t h e   a c t i v a t i o f un c t i o (e . g. ,   S i g m o i d)  a n d     ( ) [ ( , 1 ) , , ( , ) , , ( , | ) ]   de n o t e s   t h e   pa ra m e t e o f   l a y e r   .   b.   P oo l i n g   M a x   po o l i n g   i s   a ppl i e t o   t h e   o ut put   o f   c o n v o l ut i o n   l a y e r   f or  e v e r y   t w o   uni t   f e a t u r e     m a p   w i n do w .   It   c a b e   fo r m u l a t e a s ,     ( , ) = ma x ( 2 1 ( 1 , ) , 2 ( 1 , ) )   ( 3 )     T h e   us e l e s s   w o r c o m po s i t i o n   i s   f i l t e r e a n m e a n i ngf ul   s e m a nt i c   o r   s y n t a c t i c   s t ruc t u r e   i s   c a pt u r e t hr o ug h   po o l i n o pe ra t i o n.   c.   M a t c h i n g   T w o   c o n vo l ut i o na l   s e n t e n c e   m o de l s   (  , .  )   a r e   de ri v e fo r   t h e   gi v e i n p ut   Q A   pa i r   ( , )   fo r   ge t t i n g   di s t r i b ut i o n a l   r e p r e s e nt a t i o o f   s e n t e n c e   ( , ) .   I t   i s   de no t e a s :     =  ( , )   ( 4)     =  ( , )   ( 5 )     H e r e ,   t h e   pa ra m e t e r s   o f   c o n v o l ut i o n a l   s e nt e n c e   m o de l   a re   de n o t e a s   , .   T h e   s e n t e n c e   v e c t o r   ( , )   a n f e a t u r e   v e c t o r s     a r e   i n t e g r a t e i nt o   a   c o n c a t e n a t e v e c t o r   = [ , , ]   us i n g   a   j o i n t   l a y e r .   T h e   f ul l y   c o n n e c t e hi dde n   l a y e r   i s   us e fo r   l e a rni n t h e   r e p r e s e nt a t i o n   o f   Q A   pa i r   by   t a ki n g   t h e   c o n c a t e n a t e v e c t o r .     = ( + )   ( 6 )     w h e r e ,   ( . )   i s   t h e   a c t i v a t i o n   f u n c t i o n ,   a nd   ( , )   de n o t e s   t h e   pa ra m e t e r s   o f   hi dde n   l a y e r .   T h e   o ut p ut   f o r   t h e   i n p ut   Q A   p a i r   ( , )   i s   t h e   l e a rnt   r e p r e s e n t a t i o n .     3. 2 .   C o n te x d e p e n d e n r e p r e s e n tat i o n   w i th   T - CRNN   In  o r de r   t o   f i n d   t h e   c o rr e l a t i o f r o m   t h e   s e que n c e   o f   a n s w e r s   t h e   R N N   i s   ut i l i z e d.   T h e r e   a r e   t w c o n s t ra i nt s   f o r   t h e   c o rr e l a t i o a m o n a n s w e r s .   F o r   t h e   s ub s e que n t   a n s w e r ,   t h e   p r e c e de n t   a n s w e r   m a y   c o n t a i t h e   c o n t e xt   i n f o r m a t i o n   a n t h e   c o m m e n t s   f o r   t h e   p r e c e de n t   a n s w e r   a r e   a v a i l a b l e   i t h e   s ub   s e que nt   a n s w e r .   T h e   b i   di r e c t i o na l   R N N   i s   u t i l i z e df o r   m o de l l i n t h e   s e m a nt i c   c o rr e l a t i o b e t w e e n   a n s w e r s   a n f o r   ga t h e r i n g   t h e   c o n t e xt   b a s e r e pr e s e nt a t i o n s   o f   t h e   s e t   o f   a n s w e r s .   F o r   m o de l i n t h e   b a s i c   b l o c f o r   t h e   s e m a nt i c   c o r r e l a t i o a m o n a n s w e r s ,   t h e   L o n S h o rt - T e r m   M e m o r y   (L S T M u n i t   i s   us e d .   It   i s   po s s i b l e   t o   m o dul a t e   t he   m e m o r y   i n s t e a d   o f   o ve r w r i t i ng  t h e   s t a t e s e a c h   t i m e .   T h e   m e m o r y   c e l l     i s   a   ke y   e qui pm e nt   o f   L S T M   uni t a nd  i t s   s t a t e   i s   v a ri e o ve r   t i m e .   T h e   L S T M   u ni t   t a ke s   de c i s i o r e ga rdi n g t h e   m o di f i c a t i o a n d   a ddi t i o o f   m e m o r y   i n   t h e   c e l l     t hr o ug s i g m o i da l   u ni t .     It   i n c l ude s   t h e   i n p ut   u n i t   ,   o ut p ut   u n i t     a nd  f o r ge t   u n i t   .   T h e   Q A   pa i r e pr e s e nt a t i o n     fo r   t h e   c urr e n t   t i m e   ,   t h e   m e m o r y   c e l l   i s   m o di f i e t hr o ug h     t h e   a c t i v a t i o o f   fo r ge t   u ni t     a n d   i nput   u ni t   .   T h e   upd a t e d   e qu a t i o n   i s   de n o t e a s   f o l l ow s :     = 1 + t a n h (  +  1 + )   ( 7 )     T h e   c o n t e xt   o f   t h e   L S T M   u n i t   i s   u pda t e by   e l i m i n a t i n t he   un w a n t e c o n t e xt   i n   f o r ge t   m o dul e     a n a ppe n t h e   n e w   pa r t   f r o m   i n pu t   m o dul e   .   T h e   e xt e ns i o n s   f o r   m o dul a t i n t h e s e   t w o   c o n t e xt s   a r e   c o m put e a s   f o l l ow s :     = (  +  ( 1 ) +  1 + )   ( 8 )         = (  +  ( 1 ) +  1 + )   ( 9 )   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Conv o l ut i ona l   r e c ur r e n t   ne ur a l   n e t w or k   w i t t e m p l at e   bas e d   r e pr e s e nt a t i o n . . .   ( A .   Cha ndr O bu l a   R e dd y )   2715   F o r   t h e   upda t e c e l l   s t a t e   ,   t h e   r e p r e s e n t a t i o n     a nd  t h e   o ut pu t     f r o m   t h e   L S T M   u n i t   a r e   c o m put e a s ,     = (  +  1 +  + )   (10)     = t a n h ( )   (1 1 )     w h e r e ,   × ,   × ,   ( , )   r e p r e s e n t s   t h e   L S T M   u ni t   pa ra m e t e r s ,   ( . )   r e pr e s e nt s     t h e   s i gm o i a c t i v a t i o n   f u n c t i o n ,     i s   t h e   di m e n s i o n   o f   h i dde n   l a y e r ,     de n o t e s   t h e   di m e n s i o n   o f   Q Z   pa i r e p r e s e n t a t i o a n d    ,  ,    a r e   di a go n a l   m a t ri c e s .   T h e   b i   di r e c t i o na l   R N N s   a r e   ut i l i z e f o r   pa r a l l e l y   l e a rni n t h e   Q A   pa i r s   f r o m   t h e   Q A   pa i r e p r e s e n t a t i o n    = [ 1 , , , , |  | ]   i f o r w a rd   a n d   r e v e r s e   d i r e c t i o n.   It   us e s   b o t f ut u r e   a n d   p r e v i o us   c o n t e xt   i n   t h e   a n s w e r   s e que n c e .   T h e   b i   di r e c t i o n a l   R N N s   (   , )   a re   ut i l i z e i n   a dd i t i o n   w i t h   t h e   f i xe r e p r e s e n t a t i o n     o f   s pe c i f i c   Q A   pa i r   ( , )   f o r   o b t a i n i ng  t h e   c o n t e xt   de pe n de nt   r e p r e s e nt a t i o n.       =   ( , 1   ,   )   (1 2 )     = ( , 1 , )   (1 3 )     w h e r e   ,     r e p r e s e nt s   t h e   c o n c a t e n a t e   p a ra m e t e r s   o f   t w o   di r e c t i o na l   R N N .   F r o m   t h e   l e a rni n g   o f   b i   di r e c t i o n a l   s e que n c e   t h e   l e a rnt   r e p r e s e n t a t i o i s   c o m b i n e d   a n d   t h e   c o n t e xt   de pe n de n t   r e p r e s e nt a t i o   i s   c o m put e f o r   t h e   Q A   pa i r   ( , ) .     = [   ]   (1 4 )     In  o r de t o   c o m put e   t h e   s c o r e   = [ 1 , , , , | | ]   o v e r   t h e   a n s w e r   c l a s s     i s   gi v e n   i nt o     t h e   s c o r i n g   p r o c e s s .   It   c a b e   c o m put e a s ,     = ( + )   (1 5 )     w h e r e   × ,   ( , )   de n o t e s   t h e   s c o r i n g   p a r a m e t e r,     r e p r e s e nt s   t h e   n u m b e r   o f   a n s w e r   c l a s s e s ,   a n d     de n o t e s   t h e   f i na l   r e p r e s e n t a t i o n   o f   .   T h e   p r e di c t i o n   f o r   t h e   c urr e n t   a n s w e r     i s   c o m put e w i t   t h e   s o f t m a f u n c t i o by   us i n g   .       4.   R ES U LTS   A N D   D I S C U S S I O N   T h e   da t a s e t   us e f o r   o ur  w o r i s   F a c t o i Q & A   Co rpus   [25]   w h i c h   c o nt a i n s   1 , 714   m a n ua l l y - c r e a t e f a c t o i que s t i o n s   a nd  t h e i r   r e l e v a n t   a n s w e r s   c o l l e c t e by   t h e   U n i v e r s i t y   of   P i t t s b ur gh   a n C a rn e gi e   M e l l o U n i v e r s i t y   b e t w e e n   2008  a n 2010 .   T h e   c o n f i gu r a t i o n s   us e i n   o ur   p r o po s e T - CR N N   a r e   de s c r i b e a s   fo l l ow s .   F o r   m o de l l i n b o t h   que s t i o n   a nd  a n s w e r ,   t h e   CN N   i s   c o n s t ruc t e w i t h   c o n v o l ut i o na l   a n po o l i n g   l a y e r s .   T h e   n um b e r   o f   fe a t ur e   m a u t i l i z e f o r   e a c h   l a y e r   i s   100.   T h e   c o n v o l ut i o n   w i n do w   s i z e   of   e a c h   l a y e r   i s   5x100 ,   4x1 ,   2 x1  a nd  t h e   po o l i n w i ndo w   s i z e   i s   4x100,   3x1,   3 x1.   T hi s   c o n f i gura t i o n   i s   a l s o   de n o t e a s   (5, 4 , 2)  a n (4 , 3 , 3) .   T h e   R N N   i s   m o de l l e w i t L S T M   u ni t s   a nd  t h e   s i z e   o f   a l l   L S T M   u n i t s   i s   s e t   t o   360.     P r e - t ra i n e w o r e m be ddi n i s   us e w i t h   t h e   di m e n s i o n   o 100.   F o r   e a c h   s e n t e n c e ,   t h e   m a xi m u m   l e n g t h   i s   s e t   t o   100. T h e   p r o po s e T - CR N N   i s   c o m pa r e w i t h   t h e   e xi s t i ng  a p p r o a c h e s   s uc a s   J A IS T ,   ICR a n d   R CN N .   T h e   pe r f o r m a n c e   o t h e   p r o po s e w o r i s   v a l i d a t e w i t h   pe r f o r m a n c e   m e a s u r e s .   T h e   i n c r e a s e v a l ue   of   t h e s e   m e a s u r e s   s h o w s   pe r c e n t a ge   o f   i m p r o v e m e n t .   T h e   pe r f o r m a n c e   m e a s ur e s   s uc a s   p r e c i s i o n,   r e c a l l ,   F - m e a s u r e   a n a c c ura c y   a r e   e s t i m a t e d .       4. 1 .   P r e c i s i o n   P r e c i s i o n   c o m put e s   t h e   a m o unt   o f   po s i t i v e   i n s t a n c e   a m o n t h e   t o t a l   a m o u n t   o f   r e t ri e v e i n s t a n c e s .   It   i s   a l s o   kn o w n   a s   po s i t i v e   pr e di c t i v e   v a l ue .   It   i s   a l s o   t e r m e a s   s e n s i t i v i t y .   T h e   pr e c i s i o n   v a l ue   c o m pa ri s o n s   w i t h   d i f f e r e n t   a pp r o a c h e s   f o r   v a r y i n g   t h e   n u m b e r   o f   doc um e nt s   a r e   s h o w n   i n   F i gu r e   5 .   F o r   t h e   e xi s t i n a pp r o a c h e s ,   t h e   p r e c i s i o n   i s   i n   t h e   r a nge   be t w e e n   0. a n 0. 6   w h e n   v a r y i n t h e   n u m b e r   of   d o c um e n t s   t o   300,   500,   700  a n 100 0.   T h e   pr o po s e a ppr o a c h   r e a c h e s   t h e   pr e c i s i o n   l e v e l   up  t o   0. 98.   W h e n   t h e   num b e r   o do c um e n t s   i s   i n c r e a s e d,   t h e n   t h e r e   i s   de gr a d a t i o n   i n   p r e c i s i o n   v a l ue .   T h e   e xi s t i n a pp r o a c h e s   pr o v i de   e qua l   pe r f o r m a n c e   a nd  i t   i s   l e s s   t h a 0. 6.   T h e   i m p r o v e v a l ue   o T - CR N N   s h o w s   t h e   e ff i c i e n c y   of   t h e   p r o po s e d   a pp r o a c h.   T h e   v a l ue s   ob t a i n e f o r   t h e   p r o po s e a ppr o a c h   i s   0. 98 ,   0 . 97,   0. 95  a nd  0 . 93.   T h e   a v e ra ge   p r e c i s i o n   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   3 J u n e   2 020   :     27 09   -   2 718   2716   ob t a i n e by   R CN N ,   IC R C,   J A IS T ,   A - A R a n T - C R N N   a r e   0. 545,   0 . 545 ,   0. 547 ,   0. 57  a n 0. 95  r e s pe c t i v e l y .   T h e   i m p r o v e pr e c i s i o n   s h o w s   b e t t e r   pe r f o r m a n c e   f o r   t h e   p r o po s e a pp r o a c h.   T h e   a v e ra ge   pr e c i s i o m e a s u r e   i s   s h o w n   i n   F i gu r e   6 .           F i gu r e   5 .   P r e c i s i o c o m pa r i s o f o r   v a r y i n t h e   n u m b e r   o f   do c um e n t s       F i gu r e   6 .   A v e r a ge   p r e c i s i o v a l ue   f o r   v a r i o us   CQ A   a pp r o a c h e s       4. 2 .   R e c a l l   R e c a l l   c o m put e s   t h e   r e t ri e v e a m o un t   o f   r e l e v a n t   i n s t a n c e   a m o n g   t h e   t o t a l   a m o unt   o f   r e l e v a n t   i n s t a n c e s .   T h e   c o n v e n t i o n a l   a pp r o a c a c h i e v e s   t h e   r e c a l l   v a l ue s   i t h e   ra n ge   b e t w e e n   0. 55   a nd  0 . 6.     T h e   p r o po s e a ppr o a c h   i m p r o v e s   t h e   r e c a l l   r e s ul t   up   t o   0. 88.   F o r   v a r y i n t h e   n u m b e r   o f   doc um e n t s ,   t h e   r e c a l l   v a l ue   ob t a i n e f o r   t h e   p r o po s e a pp r o a c i s   0 . 88 ,   0 . 86 ,   0 . 85   a n 0 . 8 .   T h e   l o w e r   v a l ue   i s   o b t a i n e w i t h   ICR a n R CN N .   T h e   r e m a i n i ng  c o n v e n t i o n a l   a p p r o a c h e s   a c h i e ve   t h e   v a l ue   s i m i l a r   t o   t h e   ICR w i t s l i g ht   v a r i a t i o n.   T h e   a v e r a ge   r e c a l l   v a l ue   i s   c o m put e by   t a ki n a v e r a ge   fo r   t h e   n u m b e r   o f   d oc um e n t s   us e fo r     t h e   w o r k.   T h e   a v e ra ge   r e c a l l   i n   t h e   ra n ge   w a s   b e t w e e n   0. a n 0 . 55  f o r   t h e   c o n v e n t i o na l   a pp r o a c h.     T h e   p r o po s e a ppr o a c c a n   a c hi e v e   t h e   r e c a l l   b e t w e e n   0 . a n d   0. 85.   T h e   c o m pa ri s o n   o f   r e c a l l   r e s ul t   i s   s h o w n   i n   F i gu r e s   7   a n d   8 .           F i gu r e   7 .   R e c a l l   c o m pa ri s o f o r   v a r y i n g   t h e   n u m b e r   o f   do c um e n t s       F i g u r e   8 .   A v e r a ge   r e c a l l   v a l ue   f o r   v a r i o us   CQ A   a pp r o a c h e s       4. 3 .   F - m e as u r e   T h e   F - m e a s u r e   i s   c o m put e a s   a   ha r m o n i c   m e a n   b e t w e e n   pr e c i s i o n   a n r e c a l l .   I t   i s   a l s o   t e r m e a s   b a l a n c e F -   s c o r e .   It   de t e r m i n e s   t h e   a v e r a ge   o f   bo t h   p r e c i s i o n   a n r e c a l l   w h e n   t h e y   a r e   c l o s e .   F i gur e s     a n 10  s h o w   t h e   pr o po s e d   f - m e a s ur e   c o m pa ri s o n   by   v a r y i n t h e   n um b e r   o f   d o c um e n t s   a nd  fo r   di f fe r e nt   a pp r o a c h e s .   F o r   t h e   p r o po s e m e t h o i t   a c h i e v e s   t h e   v a l ue   b e t w e e n   0 . 85  a n d   0. 9 5.   T h e   c o n v e n t i o n a l   a pp r o a c h e s   a r e   i n   t h e   r a n ge   o f   0. 45  a n 0 . 57 .   T h e   v a l ue s   ob t a i n e f o r   f - m e a s ur e   c o m put a t i o n   i s   0. 92 7,   0 . 911 ,   0. 897   a n d   0 . 86 .   T h e   a v e r a ge   f - m e a s u r e   v a l ue   f o r   R CN N ,   I CR C,   J A IS T ,   A - A R a n T - CR N N   i s   0 . 548 ,   0. 516 ,   0. 5 55,   0 . 565   a nd  0 . 898 .     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m E n g     IS S N :   2088 - 8708       Conv o l ut i ona l   r e c ur r e n t   ne ur a l   n e t w or k   w i t t e m p l at e   bas e d   r e pr e s e nt a t i o n . . .   ( A .   Cha ndr O bu l a   R e dd y )   2717       F i gu r e   9 .   F - m e a s u r e   c o m pa r i s o n   f o r   v a r y i n   t h e   n u m b e r   o f   do c um e n t s       F i gu r e   10 .   F - m e a s u r e   r e c a l l   v a l ue   f o r   v a ri o us   CQ A   a pp r o a c h e s       4. 4 .   A c c u r ac y   T h e   a c c ura c y   of   t h e   p r o po s e w o r i s   e s t i m a t e b a s e o n   t h e   a m o u n t   o f   c o r r e c t   a n s w e r   s e l e c t i o n.   T h e   a c c ura c y   i s   c a l c ul a t e w i t h   t h e   num b e r   o f   do c um e n t s   a s   300 ,   500 ,   700   a n d   1000 .   T h e   a c c u r a c y   of   300   do c um e n t s   i s   h i g h e r   t ha n   t h e   a c c ura c y   of   t h e   s y s t e m   w i t 1000   do c um e n t s .   T h i s   s h o w s   t h e   i n c r e a s e   i n     t h e   n u m b e r   o doc um e n t s   r e duc e s   t h e   a c c ur a c y   of   t h e   CQ A   s y s t e m .   T h e   a c c ura c y   c o m pa ri s o n   f o r   v a r y i n   t h e   n u m b e r   o f   doc um e n t   i s   s h o w n   i n   F i g u r e   11.   T h e   a c c ura c y   of   pr o po s e T - CR N N   i s   h i g h e r   t ha n   o t h e c o n v e n t i o n a l   a pp r o a c h e s .   T h e   a v e r a ge   a c c u r a c y   fo r   t h e   p r o po s e a ppr o a c h   i s   h i g h e r   t ha n   t h e   c o n v e n t i o n a l   a pp r o a c h e s   i s   s h o w n   i n   F i gu r e   12.   T h e   p r e c i s i o n,   r e c a l l ,   f - m e a s u r e   a nd  a c c ur a c y   r e s ul t   c o m pa r i s o n   s h o w s     t h e   i m p r o v e pe r f o r m a n c e   o f   t h e   p r o po s e CQ A   s y s t e m .             F i gu r e   11 .   A c c u r a c y   c o m pa ri s o f o r   v a r y i n g     t h e   n u m b e r   o f   do c um e n t s       F i gu r e   12 .   A v e ra ge   a c c u r a c y   fo r   v a ri o us   CQ A   a pp r o a c h e s       5.   C O N C LU S I O N   In   t hi s   w o r T - CR N N   i s   pr o po s e fo r   a n s w e r   s e l e c t i o n   i n   c o m pl e que s t i o n   a n s w e r i n s y s t e m .   Ini t i a l l y ,   t h e   gi v e n   i n put   que s t i o n   i s   de c o m pos e i n t o   s e v e ra l   que s t i o n s .   It   i s   a c c o m pl i s h e w i t r e pl a c i ng    t h e   e a c h   e n t i t y   of   t h e   que s t i o n   w i t h   t h e   t e m pl a t e   t hr o ug h   t h e   us e   of   kn ow l e dge   b a s e .   T h e n   t h e   s e n t e n c e   m a t r i x   o f   que s t i o n   a n a n s w e r   pa i r   i s   c r e a t e a nd  i t   i s   re pr e s e n t e i n   v e c t o r   f o r m   by   t h e   a p p r o a c h   o   pr e - t ra i n e w o r e m b e ddi n g.   T h e   s e m a nt i c   m a t c hi n p a t t e rn   b e t w e e n   que s t i o n   a nd  a n s w e r   i s   o b t a i n e w i t CN N .   T h e   s e m a n t i c   c o r r e l a t i o n   a m o n s e que n c e   of   a n s w e r s   i s   a c h i e v e w i t h   R N N .   T h e   s c o r i n f o r   e a c h   a n s w e r   i s   c o m put e w i t h   m ul t i - l a y e r   pe r c e pt r o n   a n s o f t m a c l a s s i f i e r . T h e   pr o po s e a ppr o a c h   i s   e v a l ua t e w i t h   t h e   pe r f o r m a n c e   m e a s u r e s   s uc h   a s   p r e c i s i o n,   r e c a l l ,   f - m e a s ur e   a n a c c ura c y .   T h e   pe r f o r m a n c e   o   t h e   pr o po s e a ppr o a c h   i s   e v a l ua t e w i t h   t h e   c o n v e n t i o na l   m e t h o ds   a n i t   s h o w s   t h e   e ff i c i e n c y   of    t h e   p r o po s e CQ A   s y s t e m .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m E n g ,   V o l .   10 ,   N o .   3 J u n e   2 020   :     27 09   -   2 718   2718   R EF ER EN C ES   [ 1]   M .   S a r r o ut i   a nd  S . E . A .   O u a t i k ,   " A   pa s s a g e   r e t r i e v a l   m e t ho ba s e o pr o ba b i l i s t i c   i nf o r m a t i o r e t r i e v a l   a nd  U M L S   c o n c e pt s   i n   b i o m e di c a l   qu e s t i o n   a n s w e r i ng , "   J ou r na l   of   B i om e di c a l   I n f o r m at i c s ,   v o l .   68,   p p.   96 - 10 3,   20 17 .   [ 2]   F . S .   U t o m o ,   e t   al . ,   " N e w   i ns t a nc e s   c l a s s i f i c a t i o f r a m e w o r o qu r a n   o nt o l o gy   a ppl i e d   t o   q ue s t i o   a ns w e r i ng   s y s t e m , "   T E L K O M N I K A   ( T e l e c om m uni c at i on   C om pu t i ng  E l e c t r on i c s   an C on t r ol ) ,   v o l .   17 ,   no .   1,     pp.   13 9 - 146,   2 019 .   [ 3]   A . I .   A de ki t a n ,   e t   a l . ,   " D e t e r m i ni ng   t he   o pe r a t i o na l   s t a t us   o f   a   t hr e e   pha s e   i nd uc t i o m o t o r   us i ng   a   p r e d i c t i v e     da t a   m i n i ng   m o de , "   I nt e r na t i ona l   J o ur na l   o f   P ow e r   E l e c t r on i c s   and  D r i v e   Sy s t e m   ( I J P E D S) ,   v o l .   10,   no .   1 ,     pp.   93 - 10 3,   20 19.   [ 4]   O .   K o l o m i y e t s   a nd  M . F .   M o e ns ,   " A   s ur v e y   o que s t i o a n s w e r i ng   t e c hno l o gy   f r o m   a i nf o r m a t i o r e t r i e v a l   pe r s pe c t i v e , "   I n f or m a t i on   Sc i e nc e s ,   v o l .   1 81 ,   pp .   5 412 - 543 4,   20 11.   [ 5]   U .   U ng ka w a ,   e t   a l . ,   " M e t ho do l ogy   f o r   c o ns t r uc t i ng   f o r m   o nt o l ogy , "   P r oc e e di ng  of   t he   E l e c t r i c a l   E ng i ne e r i ng ,   C om put e r   Sc i e nc e   an I n f or m a t i c s   ( E E C SI ) ,   v o l .   4,   p p.   69 6 - 701,   2 0 17.   [ 6]   P .   M o r e d a ,   e t   al . ,   " C o m bi ni ng   s e m a nt i c   i nf o r m a t i o i qu e s t i o a ns w e r i ng   s y s t e m s , "   I n f o r m at i on  P r oc e s s i ng  &   M an age m e nt ,   v o l .   47 ,   pp .   870 - 885 ,   201 1.   [ 7]   R .   H o ng ,   e t   a l . ,   " M u l t i m e d i a   qu e s t i o a ns w e r i ng , "   I E E E   M ul t i m e d i a ,   v o l .   19 ,   no .   4,   pp .   72 - 78 ,   2012 .   [ 8]   S .   G e e r t h i k ,   e t   al . ,   " A ns w e r R a nk :   I de nt i f y i ng   R i g ht   A ns w e r s   i Q A   s y s t e m , "   I nt e r n at i ona l   J ou r na l   of   E l e c t r i c a l   and  C om pu t e r   E n gi ne e r i n ( I J E C E ) ,   v o l .   6 ,   no .   4,   pp .   188 9 - 1896 ,   2 016.   [ 9]   O .   F e r r a nde z ,   e t   a l . ,   " T h e   Q A L L - M E   f r a m e w o r k:   A   s pe c i f i a bl e - do m a i m ul t i l i ng ua l   que s t i o a ns w e r i ng   a r c hi t e c t u r e , "   W e s e m ant i c s :   Sc i e nc e ,   s e r v i c e s   an age nt s   o t he   w or l d   w i de   w e b,   v o l .   9 ,   no .   2,   pp .   137 - 14 5,   20 11 .   [ 10]   C .   U ng e r ,   e t   a l . ,   " A i nt r o duc t i o t o   que s t i o a n s w e r i ng   o v e r   l i nke d a t a , "   Sp r i n ge r   I n t e r nat i o nal   P ubl i s hi ng,     pp.   10 0 - 140,   2 014 .   [ 11]   F .   L i u,   e t   al . ,   " T o w a r a ut o m a t e c o ns um e r   que s t i o a ns w e r i ng:   A ut o m a t i c a l l y   s e pa r a t i ng   c o ns um e r     que s t i o ns   f r o m   pr o f e s s i o na l   qu e s t i o ns   i t h e   he a l t hc a r e   do m a i n , "   J our na l   of   b i om e di c al   i n f or m a t i c s ,   v o l .   4 4,     pp.   10 32 - 1038 ,   201 1.   [ 12]   L .   N i e ,   e t   al . ,   " B e y o nd  t e x t   Q A :   m ul t i m e di a   a n s w e r   g e ne r a t i o by   ha r v e s t i ng   w e i nf o r m a t i o n, "   I E E E   T r ans ac t i o ns   on  M u l t i m e di a ,   v o l .   15 ,   no .   2,   pp .   426 - 44 1,   20 13 .   [ 13]   S . D .   P a t r i c a n M . F .   M o e ns ,   " K no w l e dg e   a nd   r e a s o n i ng   f o r   que s t i o a n s w e r i ng :   R e s e a r c pe r s p e c t i v e s , "   I nf or m a t i on  P r o c e s s i ng  &   M ana ge m e nt ,   v o l .   47 ,   pp .   899 - 906 ,   201 1 .   [ 14]   S .   I v a a nd  M .   B i e l i ko v a ,   " A   c o m pr e he ns i v e   s ur v e y   a nd  c l a s s i f i c a t i o o f   a ppr o a c he s   f o r   c o m m uni t y   que s t i o a ns w e r i ng , "   A C M   T r an s ac t i ons   o t he   W e b ,   v o l .   1 0,   no .   3,   p p.   1 - 63 ,   201 6.   [ 15]   A .   K o n y s ,   " K no w l e dg e - ba s e a pp r o a c t o   qu e s t i o a ns w e r i ng   s y s t e m   s e l e c t i o n, "   S pr i nge r ,   p p.   36 1 - 370 ,   2 015 .   [ 16]   D .   A s m i t a ,   e t   al . ,   " R e v i e w   o O pi n i o M i ni ng   f o r   F ul l y   F l e dg e S y s t e m , "   I ndo ne s i an  J ou r na l   of   E l e c t r i c al   E ngi ne e r i n and   I n f o r m at i c s   ( I J E E I ) ,   v o l .   4,   no .   2 ,   pp .   1 41 - 148 ,   20 16.   [ 17]   T .   E ni kuo m e hi a nd  J . S .   S a d i ku ,   " T e xt   W r a pp i ng   A ppr o a c t na t u r a l   L a ng ua g e   I nf o r m a t i o r e t r i e v a l   us i ng   s i g ni f i c a n t   I ndi c a t o r , "   I A E S   I n t e r na t i ona l   J ou r na l   of   A r t i f i c i al   I nt e l l i ge nc e   ( I J _ A I ) ,   v o l .   2 ,   no .   3,   pp .   136 - 14 2,   20 13 .   [ 18]   A .   P a l ,   e t   al . ,   " E xp l o r i ng   que s t i o s e l e c t i o bi a s   t o   i de n t i f y   e xpe r t s   a n po t e n t i a l   e x pe r t s   i c o m m uni t y   que s t i o n   a ns w e r i ng , "   A C M   T r an s ac t i ons   o I n f or m a t i on   Sy s t e m s ,   v o l .   30 ,   no .   2,   pp .   1 - 28,   2 012 .   [ 19]   D . R .   L i u ,   e t   al . ,   " I nt e g r a t i ng   e xpe r t   p r o f i l e ,   r e pu t a t i o a nd  l i n a n a l y s i s   f o r   e xpe r t   f i nd i ng   i qu e s t i o n - a ns w e r i ng   w e bs i t e s , "   I nf o r m a t i o pr o c e s s i ng  &   m an age m e nt ,   v o l .   49 ,   pp .   312 - 329,   2 013 .   [ 20]   Z .   Z ha o ,   e t   al . ,   " E xpe r t   f i ndi ng   f o r   que s t i o a ns w e r i ng   v i a   g r a ph  r e g ul a r i z e m a t r i c o m pl e t i o n, "   I E E E   T r ans ac t i ons   on   K now l e dge   an D a t a   E ng i ne e r i n g ,   v o l .   2 7,   no .   4 ,   p p.   993 - 10 04,   2 015 .   [ 21]   A .   B a r r e r a ,   e t   al . ,   " S e m Q u e s t :   U ni v e r s i t y   of   H o us t o n ' s   S e m a nt i c s - ba s e Q ue s t i o A ns w e r i ng   S y s t e m , "   R e s e ar c h   gat e ,   pp .   1 - 9,   201 1.   [ 22]   A . M .   B a g i w a   a nd  S .   B .   J un a i d u,   " A   C o nc e pt ua l   F r a m e w o r f o r   A ddi ng   T e x t ua l   A nno t a t i o ns   t o   H i e r a r c hi c a l   T r e e s   R e pr e s e n t i ng   O nt o l o g i e s   a s   A   m e a ns   O f   A c hi e v i ng   S e m a nt i c   I nt e r o pe r a b i l i t y   be t w e e D i f f e r e n t   O n t o l o g i e s   o f     t he   S a m e   D o m a i n , "   I n t e r na t i ona l   j ou r na l   of   e l e c t r i c a l ,   e l e c t r on i c s   and   c om p ut e r   s y s t e m s   ( I J E E C S) ,   v o l .   1 ,   no .   1 ,   pp.   1 - 5,   2 011 .   [ 23]   W .   W u,   et   al . ,   " P r o ba s e :   A   pr o ba bi l i s t i c   t a xo no m y   f o r   t e x t   u nde r s t a ndi ng , "   A C M . ,   pp.   4 81 - 492 ,   2012 .   [ 24]   H . F .   P a r de de ,   e t   a l . ,   " C o nv o l ut i o na l   N e u r a l   N e t w o r a nd   F e a t u r e   T r a n s f o r m a t i o f o r   D i s t a nt   S pe e c R e c o g ni t i o n, "   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n ( I J E C E ) ,   v o l .   8 ,   no .   6,   pp .   538 1 -   53 88 ,   2 018 .   [ 25]   Z .   Y a ng ,   e t   a l . ,   " F i n di ng   t h e   r i g ht   s o c i a l   m e di a   s i t e   f o r   que s t i o ns , "   I E E E / A C M ,   pp .   63 9 - 644,   2 015 .       Evaluation Warning : The document was created with Spire.PDF for Python.