I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 ,   pp.   50 7 ~ 51 7   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 3 7 . i 1 . pp 50 7 - 51 7             507     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   E le v at in g  i n t e ll ig e n t   v oi c e   a ss is t an t   c h at b ot s w ith   n at u r al   l an gu age   p r oc e ssi n g, an d  Op e n A I  t e c h n ol ogi e s       Nil e s h   B .   K or ad e 1 ,  M ah e n d r a  B .   S al u n k e 2 ,  Am ol   A.   B h os l e 3 ,  Gayat r i   G.   As alk a r 4 ,  B e c h oo   L al 4 ,  P r as h an t   B .   K u m b h ar k a r 1   1 D e pa r tm e nt   of  C o mpu te r  E ngi n e e r i ng ,  J S P M ’ s  R a ja r s hi  S ha hu C o ll e ge   of  E ngi n e e r in g, P un e ,  I ndi a   2 D e pa r tm e nt   of  C o mpu te r  E ngi n e e r in g,   P C E T ’ s , P im p r i  C hi nc h w a d C o ll e g e   of   E ngi n e e r in g a nd R e s e a r c h, P un e ,  I ndi a   3 D e pa r tm e nt   of  C o mpu te r  S c ie n c e  a nd E ngi n e e r in g, M I T  A r t,   D e s ig n a nd  T e c hn o l o g y  U ni ve r s it y , P un e , I ndi a   4 D e pa r tm e nt   of  C o mpu te r  S c ie n c e  a nd E ngi n e e r in g, S h r i  J a gdi s hpr a s a d J ha b a r ma l  T ib r e w a la  U ni ve r s it y , R a ja s th a n, I ndi a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  A pr   3 ,   202 4   R e vi s e d  S e p   10 ,  202 4   A c c e pt e d  S e p   29 ,   202 4       Bu s i n e s s e s   c an   o ff e r   s u p p o rt   t o   c u s t o me rs   o u t s i d e   o f  u s u al   b u s i n e s s   h o u rs   an d   a c r o s s   t i me   zo n e s   b y   em p l o y i n g   ch at b o t s ,   w h i ch   c a n   p ro v i d e   r o u n d - the - c l o c k   s u p p o rt .   Ch at b o t s   c an   re a c t   t o   u s e r  i n q u i ri e s   q u i ck l y ,   r e d u c i n g   w ai t   t i me s   an d   i m p ro v i n g   cu s t o me r   s at i s fac t i o n .   I t   b eco me s   ch al l e n g i n g   fo r   t h e  c h at b o t   t o   d i ff e r en t i at e   b e t w ee n   t w o   q u e ri e s   t h at   u s e rs   p o s e   t h at   c arr y   t h e  s am e   me a n i n g ,   m ak i n g   i t   h ar d e r  fo r  i t   t o   u n d e rs t an d   an d   re a c t   ap p ro p ri at e l y .   T h e   ai m   o f  t h i s   r e s e ar ch   i s   t o   d ev e l o p   a  c h at b o t   c ap ab l e   o f  u n d e rs t an d i n g   t h e  s e m a n t i c   me a n i n g   o f   q u e s t i o n s   as   w el l   as   r ec o g n i z i n g   v ari o u s   s p eec h   p at t e rn s ,   accen t s ,   an d   d i al ec t s   t o   p ro v i d e   a cc u rat e   r e s p o n s e s .   I n   t h i s   r e s e ar ch ,   w e   h av e   i m p l emen t ed   a  v o i ce - e n ab l ed   c h at b o t   s y s t em   w h e r e   u s e rs   c an   v e rb al l y   p o s e   q u e s t i o n s ,   a n d   t h e   c h at b o t   p ro v i d e s   r e s p o n s e s   t h ro u g h   v o i ce  as s i s t an ce .   T h e   ar ch i t ec t u r e   i n co rp o rat e s   s ev e ral   k ey   c o m p o n e n t s :   a   q u e s t i o n - a n s w e r  d at ab as e ,   O p en A I  em b ed d i n g   f o r  s eman t i c  r e p re s e n t at i o n ,   an d   O p e n A I  t e x t - to - s p e e ch   ( TTS )   a n d   s p ee ch - to - t e x t   ( S T T )   fo r  au d i o - to - t e x t   a n d   t e x t - to - au d i o   co n v e rs i o n ,   r e s p ec t i v e l y .   Sp eci fi c a l l y ,   O p e n A I   em b ed d i n g   i s   u t i l i z ed   t o   en c o d e   q u e s t i o n s   a n d   r e s p o n s e s   i n t o   v ec t o r   r e p re s e n t at i o n s ,   e n ab l i n g   e ffi ci e n t   s i m i l ari t y   c al cu l at i o n s .   A d d i t i o n a l l y ,   e x t reme   g rad i e n t   b o o s t i n g   ( X G Bo o s t )   i s   t rai n ed   o n   O p e n A I   em b ed d i n g s   t o   i d en t i f y   s i mi l ari t i e s   b e t w een   u s e r  q u e r i e s   an d   q u e s t i o n s   w i t h i n   t h e   d at as e t .   T h i s   framew o rk   al l o w s   f o r  s e a m l e s s   i n t e ra c t i o n   b e t w een   u s e rs   an d   t h e   ch at b o t ,   l ev e rag i n g   s t at e - of - the - art   t ech n o l o g i e s   i n   n at u ra l   l an g u a g e  p ro ce s s i n g   (N L P)   a n d   s p eec h   r eco g n i t i o n .   T h e   o u t c o me   d em o n s t rat e s   t h at   t h e   X G Bo o s t   mo d e l   d el i v e rs   e x ce l l e n t   o u t c o me s   w h e n   i t   i s   t rai n e d   o n   O p e n A I  em b e d d i n g   an d   t u n ed   w i t h   t h e   p art i cl e   s w ar m   o p t i mi z e r   (PSO ) .   T h e   O p e n A I - g en e rat ed   em b ed d i n g   h as   g o o d   p o t en t i al   fo r   c ap t u ri n g   s e n t e n ce   s i mi l ari t y   an d   p ro v i d e s   e x cel l en t   i n fo r m at i o n   f o r  mo d el s   t rai n e d   o n   i t .   K e y w o r d s :   C ha t b ot s   E m be dd i ng   Ope nA I   P a r t i c l e   s wa r m   o pt i mi z e r   S pe e c h   t o  t e x t   T e x t   to   s pe e c h   XG B o o s t   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   N i l e s h   B .   K o r a de   De pa r t m e n t   o f   C o m put e r   E n g i n e e r i n g,   J S P M ’ s   R a jar s hi   S h a h u  C o l l e ge   o f   E n g i ne e r i ng   T a t h a wa de ,   P un e ,   M a h a r a s h t r a ,   I n d i a   E m a i l :  nil e s h . ko r a de . m l @g m a il . c o m       1.   I NT RODU C T I ON   C ha t b ot s   c a n   s a v e   c o ns u m e r s   t i m e   a n d  e f f o r t   by   in s t a n t l y   r e s po n d i ng  t o  f r e que n t l y   a s ke d  que s t i o ns   o n   g oo ds ,   s e r vi c e s ,   r e gul a t i o ns ,   a n d  m o r e .   C h a t b ot s   h a v e   t h e   c a pa bil i t y   t o  pr o vi de   c o m pr e he n s i v e   de t a i l s   r e ga r d i n g  pr o duc t s   or   s e r vi c e s ,   e n c o m pa s s i ng  f e a t u r e s ,   s pe c i f i c a t i o n s ,   pr i c i ng,   a n d  a va i l a bil i t y   [ 1] .   T hi s   a i d s   c us t o m e r s   i n   m a k i ng  we ll - i nf o r m e d  de c i s i o n s   w h e n   c o n s i d e r i n g  a   pur c h a s e .   C ha t b ot s   a r e   a bl e   to   i n t e r a c t   wi t h  Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   50 7 - 51 7   508   c o n s u m e r s   i n   t h e   l a n gu a ge   o f   t h e i r   c h o i c e ,   e l im i na t i n g  l i ngu i s t i c   o b s t a c l e s   a n d  e n s ur i ng  a c c e s s ibi li t y   f o r   c o n s u m e r s   w i t h   v a r y i ng  li ngu i s t i c   b a c kgr o un ds .   C h a t b o t s   h a ve   be e n   c r uc i a l   i n  t r a n s f o r m i ng  b us i ne s s   pr o c e dur e s ,   i n t e r a c t i o n   w i t h   c li e n t s ,   a n d  c o m m u ni c a t i o n   [ 2] .   C h a t b ot s   m a y   s a v e   b u y e r s   t i m e   a n d  e f f o r t   by   i ns t a n t l y   r e s po n d i ng  to  t h e i r   m o s t  c o m m o n   que s t i o n s   o n   goo ds ,   s e r vi c e s ,   n o r m s ,   a n d  m o r e .   C h a t b o t s   c a n   pr o vi de   qu i c k  a dvi c e   o n   f i r s t - a i d  pr a c t i c e s   f o r   c omm o n   i nj ur i e s   a n d  m e d i c a l   c r i s e s .   T h e y   c a n   o f f e r   pr e c i s e   gu i da n c e   o n   h o w  to  h a n d l e   s i t ua t i o ns   l i ke   b ur ns ,   c u t s ,   f r a c t ur e s ,   a n d  c a r di a c   a r r e s t .   C o m pa r e d   to  s t a f f   m e m be r s ,   c h a t b o t s   a r e   e x t r e m e ly   f l e xi b l e   s i nc e   t h e y   c a n   m a n a ge   m u l t i p l e   i n t e r a c t i o ns   c o n c ur r e n t l y .     T hi s   a ll o ws   t he m   t o   e f f i c i e n t l y   h a n d l e   m a s s i ve   n u m be r s   o f   r e que s t s .   Us e r s   c a n   c o nn e c t   w i t h   c h a t b o ts   i n   t h e i r   pr e f e r r e d  l a n gu a ge   b e c a us e   t h e y   c a n   c o n ve r s e   i n  v a r i o us   to n gue s .   T hi s   r e duc e s   t h e   n e e d  f o r   pr o f e s s i o n a ls   wh o   a r e   pr o f i c i e n t   i n   a   pa r t i c u l a r   l a n gua ge   a n d  e nh a n c e s   a c c e s s i bil i t y   a n d  us e r   s a t i s f a c t i o n ,   pa r t i c u l a r ly   f o r   c o m pa ni e s   w i t h   i n t e r na t i o na l   o pe r a t i o n s   [ 3] ,   [ 4 ] .   T h r e e   s i g ni f i c a n t   o b s t a c l e s   l i e   a h e a d  wh e n   de ve l o p i n g  a   v o i c e   a s s i s t a n t   c h a t b ot .   A c c ur a t e   t e x t  t r a n s c r i pt i o n   o f   s po ke n   wo r ds   i s   n e c e s s a r y   f o r   vo i c e   r e c o gni t i o n   t e c hn o l o g y .   Vo i c e - to - t e x t   c o n v e r s i o n   i s   a f f e c t e d  by   f a c t or s   s uc h   a s   s pe e c h   pa t t e r n s ,   a c c e n t s ,   a n d  d i a l e c t s ,   a s   we l l   a s   l o w  a ud i o   qua l i t y   a n d   b a c kgr o un d  n o i s e   [ 5] ,   [ 6] .   A n s w e r i n g  us e r   i n qu i r ies   t h a t  a r e   s e m a n t i c a ll y   s im il a r   to  t h o s e   t h a t  a r e   a l r e a d y   i n  t h e   da t a s e t  b ut  a s ke d  i n   a   d i f f e r e n t   wa y   c a n   b e   o n e   o f   t h e   bi gge s t   h ur dl e s   i n   b u il d i ng  a   c h a t b o t.   I f   n o t  h a n d l e d  pr o pe r l y ,   t hi s   pr o bl e m   m a y   r e s u l t   i n   mi s i n t e r pr e t a t i o n s   a n d  i na c c ur a t e   a ns we r s   [ 7] .   I t  c a n   be   c h a ll e n g i ng  to  b u il d  a   c h a t b o t  t h a t   c a n   a ns we r   c l e a r l y   a n d  n a t ur a l ly   t o  a   v a r i e t y   o f   a ud i e n c e s   w h e n   i t   c o m e s   t o  t e x t - to - s pe e c h   ( T T S )   c a pa bil i t i e s   f o r   a c c e n t s   a n d  s pe e c h   pa tt e r n s ,   s uc h   a s   t h o s e   s e e n   i n   US  a n d  I n d i a n   E n g l i s h .   T h e r e   a r e   v a r i a t i o n s   i n   wo r d  pr o n un c i a t i o n   b e t we e n   I n d i a n   a n d  US  E n g li s h .   T o  a s s ur e   c o r r e c t  pr o n un c i a t i o n   f o r   e v e r y   a ud i e n c e ,   t h e   T T S   s y s t e m   n e e d s   to  t a ke   t h e s e   d i s t i n c t i o n s   i n t o   c o n s i de r a t i o n .   F i n d i ng  t w o  s t a t e m e n t s   wi t h   t h e   s a m e   m e a ni ng  a n d  r e s po n s e   i s   t h e   pr i m a r y   c h a ll e n ge   i n   de v e l o p i ng  a   v o i c e   a s s i s t a n t   s y s t e m .   Que r i e s   l i k e   “ De s c r i be   t h e   pr o c e s s   f o r   r e gi s t e r i n g  a n   a c c o un t   w i t h   a   b a n k ”   a n d  “ E x p l a i n   t h e   s t e ps   i nv o l v e d  i n   o pe ni n g  a   b a n k  a c c o un t ”   c a n   be   po s e d  i n   a   v a r i e t y   o f   wa y s   by   t h e   us e r ,   a n d  b o t h   h a ve   e qu i v a l e n t   i n t e r pr e t a ti o n s   a n d   r e p l i e s .   S uc h   s e m a n t i c   r e l e v a n c e   n e e d s   to   b e   r e c o g ni z e d  by   t h e   a s s i s t a nc e   s y s t e m   [ 8] .     T h e   pur po s e   o f   t hi s   r e s e a r c h   i s   t o  c r e a t e   a   c h a t bot  t h a t   c a n   c o m pr e h e n d  t h e   s e m a n t i c   m e a ni ng  o f   que s t i o ns   e ve n   wh e n   t h e y   us e   d i f f e r e n t   wor ds ,   a s   we l l   a s   i de n t i f y   v a r i o us   s pe e c h   pa tt e r n s ,   a c c e n t s ,   a n d  d i a l e c t s ,   to  de l i ve r   a c c ur a t e   r e s p o n s e s .   P r e vi o us   r e s e a r c h   h a s   m o s t l y   f o c us e d  o n   a n s we r i ng  que s t i o n s   t h a t   c o ul d  b e   s u c c e s s f u l ly   m a pp e d.   W e   h a ve   ga t h e r e d  c o m m o n   i nqu i r i e s   a n d  t h e i r   a ns we r s   f r o m   a   va r i e t y   o f   s o ur c e s ,   i n c l ud i ng  f i r s t   a i d  pr o c e dur e s ,   hi s t o r i c a l   a n d  ge o gr a phi c a l   i n f o r m a t i o n ,   Ay ur v e d i c   h o m e   r e m e d i e s ,   l a w s ,   m a t h e m a t i c a l   c o nc e pt s   a n d  f o r m u l a s ,   r e c i pe s   f o r   I n d i a n   f o o d.   W e   pr e pr o c e s s e d  t h e   da t a   t h a t   h a d  b e e n  c o l l e c t e d  a n d  c r e a t e d  a   f e w  n e w  f e a t ur e s   b a s e d  o n   t e x t ua l   pr o pe r t i e s .   Af t e r   e xa m i n i ng  s e v e r a l   e mb e dd i ng s   a n d  t r a i ni ng  m o de l s   t o   c a p t ur e   t h e   s e m a n t i c   m e a ni ng  a n d  e qu i va l e nc y   o f   b o t h   po s e d  a n d  da t a s e t   que s t i o ns ,   we   h a v e   de c i d e d  t o   us e   e x t r e m e   gr a d i e n t   b o o s t i n g  ( X g b o o s t )   a n d  Ope nA I   e m b e dd i ng s .   T h e   us e r   a s ks   que r i e s   a n d  r e c e i ve s   a   v e r b a l   r e s po ns e .   Ope nA I   W hi s p e r   i s   us e d  f o r   t r a n s f o r m i ng  v o i c e   to  t e x t ,   a n d  T or to i s e   T T S   i s   us e d  to  t r a n s l a t e   t e x t   to  s pe e c h .   T h e   f i nd i ng  de m o n s t r a t e s   t h a t  t h e   Ope nA I - pr o vi de d  e m b e dd i ng  p l a c e s   v e c t o r   r e pr e s e n t a t i o ns   o f   que s t i o ns   w i t h   e qu i v a l e n t   s i g ni f i c a n c e   c l o s e   to  e a c h   ot h e r ,   m a k i ng  i t   e a s y   f o r   t h e   m o de l   t o  r e c o gni z e   t h e m .   T h e   e x pe r im e n t a l   r e s u l t s   de m o ns t r a t e   t h a t   XG B oo s t,   tr a i ne d  us i ng  Ope nA I   e m be dd i n gs   a n d   o p t i mi z e d  w i t h   P S O,   e f f e c t i v e ly   c a pt ur e s   t h e   s e m a n t i c   m e a ni ng  o f   que s t i o ns   e v e n   whe n   di f f e r e n t   w o r ds   a r e   us e d  a s   c o m pa r e d  to  s t a t e - of - t h e - a r t  t e c h ni que s .   A dd i t i o n a ll y ,   Ope nA I ’ s   T T S   a n d  S T T   s y s t e m s   c a n   r e c o gni z e   v a r i o us   s pe e c h   pa tt e r n s ,   a c c e n t s ,   a n d   d i a l e c t s   to   ge n e r a t e   a c c ur a t e   r e s po n s e s   f o r   us e r s .       2.   L I T E RA T UR E   S UR VE Y   P e o pl e   f i nd  i t   d i f f i c u l t   to   t a ke   s e r i o us l y   t h e i r   h e a l t h   b e c a us e   o f   t h e i r   he c t i c   s c he du l e s ,   w hi c h   r e s u l t s   i n   f a t a l   d i s e a s e s   whi c h   c a n   h a r m   pe o p l e .   An   A I - po we r e d  h e a l t h c a r e   c ha t b ot   s y s t e m   de s ign e d  by    J e ga de e s a n   e t  al .   [ 9]   c a n   r e c o gni z e   d i s e a s e s   a n d  o f f e r   b a s i c   i nf o r m a t i o n   a b o ut  t h e m .   T h e   c h a t b ot  pr o vi de s   y o u  w i t h   Ay ur v e d i c   a n d  h o m o e o pa t hi c   r e m e d ies   f o r   a s s o c i a t e d  h e a l t h   i s s ue s   i n   a dd i t i o n   to  m e d i c a l  pr e s c r i pt i o n s   a n d  m e d i c a t i o ns   f o r   t h o s e   c o n d i t i o n s .   F o r   e v e r y   i n qu i r y ,   t h e   b o t  i s   t r a i n e d  to   e v a l ua t e   a l l   po s s i bl e   a n s w e r s ,   s e l e c t   t h e   m o s t   r e l e v a n t   o n e s ,   a n d  t h e n   de l i ve r   t h e   r e s u l t s   t o   t h e   us e r .   T h e   s t ud y   a i m s   t o   m a ke   us e   o f   a   da t a b a s e   o f   we ll - o r ga ni z e d  r e s po n s e s   a n d  a   r e t r i e v a l - b a s e d  a ppr o a c h   t h a t  i s   b a s e d  o n   di r e c t e d  f l o w  t h e o r y   o r   g r a ph   t h e o r y .   Us i n g  n a t ur a l   l a n gua ge   pr o c e s s i ng  ( NL P ) ,   t h e   c h a t b o t  un de r s t a n ds   h u m a n   i n put   a n d  us e s   t h e   t r a i ni ng  da t a   s e t   to   p r o vi de   a c c ur a t e   r e s po n s e s .   T h e   s ugge s t e d  a ppr o a c h   a c hi e v e s   a n   a pp r o xi m a t e   82%   s uc c e s s   r a t e .   P r a y i t n o   e t  al .   [ 10]   p r e s e n t e d  a   c h a t b o t   t h a t  u s e s   NL P   t o  de l i ve r   h e a l t h - r e l a t e d  i nf o r m a t i o n .   P r e pr o c e s s i n g  t a s ks ,   i nc l ud i n g  l o we r c a s e ,   punc t ua t i o n   r e m o v a l ,   a n d  s t o pw o r d   r e m o v a l ,   we r e   ha n d l e d  by   t h e   NL P .   W he n   do c um e n t s   a r e   e m b e dd e d,   a   v e c to r   p r e s e n t a t i o n   o f   t h e   s a m e   do c um e n t   wi t h   a   c l o s e r   v e c t o r   i s   pr o duc e d.   T h e   d ot   pr o duc t  o f   t h e   v e c to r s   di vi de d  by   t h e   pr o duc t   o f   t h e i r   l e n gt hs   i s   c o s i ne   s im i l a r i t y ,   whi c h   i s   t h e   c o s i n e   o f   t h e   a n g l e   b e t we e n   t h e   v e c t o r s .   T h e   s t udy   r e t ur n s   t h e   r e s po n s e   w i t h   t h e   hi g h e s t   d e gr e e   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E lev ati ng  int e ll igent   v oice   as s is tant   c hatbot s   w i th  natur al  …   ( N il e s h  B .   K or ade )   509   s i mi l a r i t y   be t we e n   t h e   us e r ’ s   que s t i o n   a n d  t h e   a n s we r   f o un d  i n   t h e   da t a s e t   us i n g  c o s i n e   s im il a r it y .   T h e   o u t c o m e   de m o n s t r a t e s   t h a t  t h e   us e r ’ s   c o n d i t i o ns   we r e   e f f e c t i v e ly   e v a l ua t e d  by   t h e   m e d i c a l   c ha t b ot,   wi t h   a n  a c c ur a c y   r a t e   o f   a b o ut  87% .   I n   o r de r   to   o f f e r   a n   a l t e r na t i ve   pe r s pe c t i v e   t o  th e   c o nv e n t i o n a l   wa y s   o f   c o n duc t i n g  h e a l t hc a r e   i n t e r vi e ws ,   ga t h e r i n g  s ym pt o m s ,   a n d  m a k i ng  d iagn o s e s ,   Va s il e i o u  a n d  M a g l o g i a nni s   [ 11]   c o n s t r uc t e d  a   h e a l t h   b o t .   T h e   pl a t f o r m   c a n   a n a ly z e   a n d  c a t e g o r i z e   f r e e   t e x t   a n d  v o i c e   i n put   da t a   i n t o  s y m pt o m s   us i ng  NL P   a n d  s pe e c h   r e c o gni t i o n   t e c hn o l o g i e s ,   s uc h   a s   Go og l e ’ s   D i a l o g F l o w.   I n   o r de r   to   e s t i m a t e   t h e   po s s i bil i t y   t h a t   a   pa t i e n t   wo ul d  h a v e   a   c e r t a i n   d i s o r de r   a n d  t o   r e c e i v e   a l e r t s   i n   t h e   e v e n t   o f   a   c o n d i t i o n ,   t h e   c l a s s if i e d   da t a   h a s   b e e n   us e d  i n   t h e   m a c hi ne   l e a r ni ng  ( ML )   t r a i ni ng  pr o c e s s   o f   t h e   a r t i f i c i a l   i n t e ll i ge n c e   ( AI )   m o de l s .   On e   o f   t h e   t w o  t r a i n e d  l o g i s t i c   r e gr e s s i o n   m o de l s   i s   us e d  to   pr e d i c t   h e a r t  di s o r de r s ,   whi l e   t h e   ot h e r   i s   us e d  to  pr e di c t   C OV I D - 19  di s e a s e .   T h e   m o de l   h a s   b e e n   t r a i ne d   a n d  e v a l ua t e d  us i n g  t h e   W o r l d  He a l t h   Or ga ni z a t i o n   a n d   C l e ve l a n d  He a r t   da t a s e t s   f r o m   UC I ,   y i e l d i ng  98. 3%   a n d  82%   a c c ur a c y ,   r e s pe c t i v e ly .   T h e   r e s e a r c h   o bj e c t i v e   o f   Z h o u  e t  al .   [ 12 ]   i s   to   i nve s t i g a t e   wh e t h e r   i t   i s   f e a s i b l e   t o   us e   a n   a r t i f i c i a ll y  i n t e ll i ge n t   c h a t b ot   to  pr o m o t e   C OV I D - 19   v a c c i na t i o n s   i n   a   v a r i e t y   o f   h e a l t h c a r e   s e t t i n gs .   Dur i n g  t h e   s pa n   o f   a   y e a r ,   f r o m   2021  to   2022 ,   t h e   r e s e a r c h e r   i m p l e m e n t e d  t h e   s y s t e m   i n   t h e   U ni t e d  S t a t e s   a n d  r e c or de d  t h e   n u m be r   o f   us e r s ,   t h e   s ubj e c t s   t h a t  we r e   di s c u s s e d,   a n d  da t a   r e ga r di n g  t h e   c o r r e c t n e s s   o f   t h e   pl a t f o r m ’ s   r e pl i e s   to  us e r   de s i r e s .   NL P   c o n tr i b ut e s   to   a n a l y z i ng  a n d  un d e r s t a n d i ng  us e r   i n put   m e s s a ge s ,   a n d  t h e   m a c hi ne   l e a r ni ng  m o de l   i s   i m p l e m e n t e d  to  r e a c t  to  us e r   r e que s t s .   T h e   r e s u l t   s h o ws   t h a t   wh e n   a dd i t i o n a l   C OV I D - r e l a t e d  i nf o r m a t i o n ,   l i ke   t h a t   r e ga r di n g  t h e   De l t a   va r i a n t ,   a ppe a r e d,   a c c ur a c y   dr o ppe d.   T h e   s y s t e m ’ s   a c c ur a c y   r a t e   i n   m a t c hi ng  r e s po n s e s   to   us e r   que r i e s   r a n ge d  f r o m   54%   to   91 . 1% .   A   r u l e - b a s e d  c h a t b o t  wa s   i n t r o duc e d  by   R a t h   e t   al.   [ 13]   to   o f f e r   a   b r i e f   o v e r vi e w  o f   a   pe r s o n ’ s  m e n t a l   s t a t e .   Us i n g  Go o gl e   F o r m s ,   t hi s   m e t h o d  g a t h e r e d  a   da t a s e t   c o n t a i ni ng  que r i e s   a n d  r e s po ns e s   f r o m   a   w i de   r a n ge   o f   pa r t i c i pa n t s .   NL P   i s   us e d  f o r   pr e l im i na r y   pr o c e s s i ng  o f   t h e   ga t h e r e d  da t a s e t ,   i n c l ud i ng   to ke ni z a t i o n ,   s t e m mi ng,   l o we r c a s i ng,   punc t ua t i o n  r e m o v a l ,   a n d  mi s s i ng  v a l ue   e li mi na t i o n .   T h e   t e xt   da t a   i s   t r a n s f o r m e d  i n t o   a   v e c t or   wi t h   a   ve c t or i z a t i o n   t e c hni que   li ke   t e r m   f r e que nc y - i nve r s e   do c u m e n t   f r e que nc y   ( T F - I DF ) .   W i t h   t h e   gu i da n c e   o f   de c i s i o n   t r e e s   a n d  e s t a bli s h e d  r u l e s ,   t h e s e   c ha t b ot s   l e a d  us e r s   to wa r ds   s pe c i f i c   b e h a vi o r s .   El - A z ha r i   e t  al.   [ 14 ]   c o n s t r uc t e d   a n   i n c l us i ve   c h a t b ot  t h a t  c a n   de a l   w i t h   s pe e c h   a n d  t e x t  m e s s a ge s   f o r   l e a r n e r s   w i t h   d i s a bil i t i e s   by   u s i ng  s m a r t   l e a r ni ng  a r c hi t e c t ur e .   A I   c h a t b o t s   i nc o r p o r a t e   n a t u r a l   lan gua g e   un de r s t a n d i ng  ( N L U )   to   i n t e r pr e t   us e r   r e que s ts   a n d  n a t ur a l   l a ngua ge   ge n e r a t i o n   ( NL G )   t o   pr o duc e   a ppr o p r i a t e   r e s p o n s e s   t h a t   o f f e r   a c c ur a t e   i nf o r m a t i o n .   T h e   s ugge s t e d  m e t h o d  a uto m a t i c a ll y   ga t h e r s   pa i r s   o f   que s t i o ns   a n d  a ns we r s   f r o m   a   v a r i e t y   o f   d i s c u s s i o n   f o r u m s   a n d  l e a r ni ng  r e s o ur c e s ,   i n c l ud i ng  C o ur s e r a ,   Gur u99,   I n t e r vi e w  B i t ,   S i m p li l e a r n ,   E dur e ka ,   a n d  P r o j e c t   P r o .   T h e   s t ud y   t e s t s   f o ur   po pul a r   wo r d  e m b e dd i ng   s t r a t e gi e s   f o r   t ur ni n g  a   s e n t e n c e   i n t o   a   v e c to r :  W o r d2Ve c ,   T F - I DF ,   Gl o Ve ,   a n d  F a s t T e x t .   Ne ur a l   n e t wo r ks   ( NN s )   a r e   us e d  i n   t h e   pr o p o s e d  de s i g n   f o r   t w o   pr i m a r y   r e a s o n s :  f i r s t ,   t h e y   r e qu i r e   l e s s   f o r m a l   s t a t i s t i c a l  t r a i ni ng,   a n d  s e c o n d,   t h e y   h a v e   a   hi g h   c a pa c i t y   t o  i d e n t i f y   i n t r i c a t e   n o nli ne a r   a s s o c i a t i o ns   a m o n g  d e pe n d e n t  a n d  i n d e pe n de n t   v a r i a bl e s .   A c c o r di n g  t o  t h e   r e s u l t s ,   F a s t t e x t  s uc c e s s f u ll y   c l a s s if i e s   70%   o f   n o n - W H   que s t i o ns ,   whil e   t e r m   f r e que nc y - i nve r s e   do c u m e n t   f r e que nc y   ( TF - I DF )   a c c ur a t e l y   c l a s s i f i e s   90%   o f   W H   que s t i o ns .     Us i n g  d e e p  l e a r ni ng  t e c hni qu e s ,   An wa r   e t  al.   [ 15]   i m p l e m e n t e d  a n   N L P - b a s e d  c h a t b o t   f o r   e duc a t i o na l   s e r vi c e s   t h a t   o f f e r s   s t ude n t s   a n d  r e s e a r c h e r s   c o m pr e he n s i ve   a s s i s t a n c e .   T h e   pr o po s e d  c h a t b o t  o f f e r s   pr e c i s e   a n d  i nf o r m a t i v e   uni ve r s i t y   r e c o mm e n da t i o n s ,   que s t i o n - a ns we r i ng  ( QA ) ,   a n d  j o b   s e a r c h  s e r vi c e s   by   im p l e m e n t i n g  s e n t i m e n t   a n a l y s i s   a n d  s a r c a s m   de t e c t i o n   a ppr o a c h e s .   Us i n g  t h e   S t a nf o r d   S e n t i m e n t   T r e e b a n k  da t a s e t ,   t h e   pr e - t r a i n e d  R o B E R T a   m o de l   h a s   b e e n   e nha n c e d  f o r   s e n t i m e n t   a n a ly s i s .   O n  t h e   t e s t i n g  s e t ,   t h e   R o B E R T a   m o de l   e xc e e de d  s e ve r a l   s t a t e - of - t h e - a r t  s e n t i m e n t   a s s e s s m e n t   m o de l s ,   s uc h   a s   bi d i r e c t i o n a l   e nc o de r   r e pr e s e n t a t i o ns   f r o m   t r a n s f o r m e r s   ( B E R T )   a n d  XL Ne t ,   wi t h   a n   a c c ur a c y   r a t e   o f   93. 8% .   T h e   l o n g  s h o r t - t e r m   m e m o r y   ( L S T M )  b a s e d   bi - di r e c t i o n a l   a t t e n t i o n   f l o w  ne t wor k  ( B i D AF )   m o de l   o u t pe r f o r m e d  e a r li e r   v e r s i o ns   o n   c o m pa r a bl e   b e n c hm a r ks ,   a c hi e vi ng  a n   a c c ur a c y   o f   85%   a n d  a n   F 1 - s c o r e   o f   80%   o n   a   b e s po ke   QA   da t a s e t .   K o t h a r i   e t  al .   [ 16]   i m p l e m e n t e d  c h a t b o t s   to  c a r r y   o u t  t h e   e l e c t r o ni c   f u n ds   t r a n s f e r   ( E F T )   pr o c e s s   f o r   T ur ki s h   ba n k i n g.   T he   l a n gu a ge   de s c r i pt o r   l a y e r   de t e r m i ne s   w h e t he r   t h e   s e n t e n c e   e n t e r e d  by   t h e   us e r   i s   i n   T ur ki s h ,   a n d  t h e   i n t e n t i o n   r e c o gni t i o n   s t a ge   de t e r mi ne s   w h e t h e r   t h e   s e n t e n c e   f a ll s   i n t o   o n e   o f   t h r e e   c l a s s e s ,   s uc h   a s   E F T   w i t h   a c c o un t ,   I B A N,   or   c r e di t   c a r d  n u m be r .   T h e   pe r t i n e n t   s e n t e nc e   i s   s e n t   to   t h e   n a med  e n t i t y   r e c o gni t i o n   s t a ge ,   wh e r e   i n f o r m a t i o n   n e c e s s a r y   f o r   t h e   E F T   t r a n s a c t i o n ,   i nc l ud i ng  t h e   a m o un t   a n d   a c c o un t   n u m be r ,   i s   o b t a i ne d  a n d  t h e   s e n t e n c e ’ s   wo r ds   a r e   c a t e g o r i z e d  b a s e d  o n   t h e i r   a s s e t   s tr uc t ur e s .   T h e   l a n gua g e   de t e c t i o n   pr o c e s s   t a ke s   a d v a n t a ge   o f   t h e   Az ur e   t e x t   l a n gua ge   a n a ly s i s   r e s t   A P I   s e r vi c e .   T o   e x t r a c t   t h e   s pe c i f i e d  e n t i t i e s   f r o m   t h e   us e r - pr o vi de d  t e x t ,   a   m u l t i li ngu a l   B E R T   wo r d  e m b e dd i ngs   li b r a r y   a nd  a   de e p  l e a r ni ng - ba s e d  m o de l   h a v e   b e e n   us e d.   T h e   L S T M   m o de l   h a s   b e e n   us e d  t o   pr o v i d e   r e s po n s e s   b a s e d  o n   t h e   m e s s a ge s   t h a t  us e r s   s ubmi t t e d  to  t h e   c h a t .   A   70 %   s uc c e s s   r a t e   wa s   a tt a i n e d  i n   E F T   w i t h   a c c o un t  n u m b e r ,   90%   i n   E F T   w i t h   I B AN ,   a n d  90%   i n   E F T   w i t h   c r e d i t   c a r d  n u m b e r ,   a c c o r di n g  to   t h e   r e s e a r c h   c o m m u ni c a t e d.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   50 7 - 51 7   510   3.   M E T HO D   T h e   c o l l e c t e d  da t a s e t   c o n t a i ni ng   que s t i o n s   a n d   a n s we r s   wa s   f i r s t   pr e pr o c e s s e d,   a n d  v a r i o us   v e c t o r i z a t i o n   t e c h ni qu e s   we r e   a pp l i e d  to  tr a n s f o r m   i t   i n to   n u m e r i c a l   v e c t o r s .   Ne w   f e a t ur e s   we r e   c r e a t e d   b a s e d  o n   t h e   da t a s e t ’ s   pr o pe r t i e s ,   a n d  d im e n s i o na l i t y   r e duc t i o n   wa s   e m p l o y e d  t o   de c r e a s e   t h e   v e c to r   s i z e .   D i f f e r e n t   m o de l s   we r e   a n a ly z e d  us i ng  v a r i o us   ve c to r i z a t i o n   t e c hni que s ,   a n d  i t   wa s   f o un d  t h a t   X GB oo s t,   t r a i n e d  w i t h   Op e nA I   e m b e dd i ng s ,   pe r f o r m e d  t h e   b e s t .   T h e   o p t i m a l   pa r a m e t e r   v a l ue s   f o r   t r a i ni ng  XG B o o s t  we r e   de t e r m i ne d  us i ng  t h e   pa r t i c l e   s wa r m   o p t i mi z e r   ( P S O)   a l go r i t hm .   C o n s e qu e n t l y ,   XG B o o s t  wa s   tr a i n e d   o n   t h e   pr e pr o c e s s e d  da t a s e t   wi t h   t h e   pa r a m e t e r s   i de n t i f i e d  by   P S O,   m a k i ng  t h e   m o de l   r e a d y   t o  a ns we r   que r i e s .   Ope nA I ’ s  s pe e c h - to - t e x t  ( S T T )   s y s t e m   l is t e n s   to  t h e   us e r ’ s   que r y ,   c o n v e r t s   i t   to  t e x t,   whi c h   i s   t h e n  pr e pr o c e s s e d,   v e c t o r i z e d,   a n d  f e d  to   t h e   m o de l   to  f i nd  t h e   r e l e va n t   a n s we r .   T h e   r e s po n s e   i s   t h e n   c o n v e r t e d  b a c k  t o   s pe e c h   us i ng  Ope nA I ’ s   T T S   s y s t e m ,   pr o vi d i ng  a   v o c a l   r e s po n s e   to   t h e   us e r ’ s   que r y .   F i gur e   1   r e pr e s e n t s   t h e   s t r a t e gi e s   i m p l e m e n t e d  i n   de t a i l   f o r   b u il d i ng  i n t e l li ge n t   v o i c e   a s s i s t a n t   c h a t b ot s .           F i gur e   1.   I m p l e m e n t a t i o n   de t a i l s   f o r   i n t e l li ge n t   v o i c e   a s s i s t a n t   c h a t b o t s       3. 1.     Dat as e t   T h e   que s t i o n s   a n d  a n s we r s   i n   t h e   da t a s e t   we r e   ga t h e r e d  f r o m   a   v a r i e t y   o f   s o ur c e s ,   i n c l ud i ng   gu i de li ne s   o n   f i r s t   a i d  pr o c e s s e s ,   ge o gr a phi c a l   a n d  hi s t o r i c a l   de t a i l s ,   Ay ur v e d i c   h o m e   r e m e d i e s ,   l a ws ,   m a t h e m a t i c a l   f o r m u l a s   a n d  c o n c e pt s ,   I n d i a n   f o o d   r e c i pe s ,   a n d  m o r e .   T a bl e   1  di s p l a y s   t h e   or ga ni z a t i o n   o f   t h e   10, 000  s a m p l e s   t h a t   m a ke   up  t h e   da t a s e t.       T a bl e   1.   Da t a s e t   ID   I s s ue   S o lu t i o n   01   I  a m ha v in g i ndi g e s ti o n.  W ha t  s ho ul d  I  d o ?   D r in ki ng  w a r m  w a te r   w it h  le m o n,  c a r o m  s e e ds ,  a nd  mi nd f ul   e a ti ng a r e  s o m e   of  t h e   A y u r v e di c  t h e r a pi e s   f o r  i ndi g e s ti o n.   …   …   …       3. 2.     P r e p r oc e s s in g   B e f o r e   t h e   da t a s e t  c a n   b e   us e d  f o r   v e c t or i z a t i o n   a n d  m o de l   t r a i ni ng  i n   t h e   n e x t   ph a s e ,   i t   n e e ds   to  un de r go   b a s i c   pr e pa r a t i o n .   T h e   r e dun da n t   or   i n a c c ur a t e   r e c or ds   a r e   c h e c ke d  o u t   wi t hi n   t h e   da t a b a s e ,   a n d   t h o s e   t h a t  a r e   di s c o v e r e d  a r e   e l i mi na t e d.   E a c h   ph r a s e   i n   t h e   da t a s e t  i s   t r a n s f o r m e d  t o  l o we r   c a s e ;   pun c t ua t i o n ,   UR L s ,   HT M L   t a gs ,   a n d  s to p  w o r ds   h a v e   b e e n   e li mi na t e d;   s pe c i a l   s ym b o l s ,   s uc h   a s   t h e   do l l a r   s ym b o l   “ $, ”   h a v e   b e e n   r e p l a c e d  w i t h   t h e i r   s t r i n g  e qu i va l e n t s ;   c h a r t   w o r ds ,   s uc h   a s   “ A S A P , ”   whi c h   s t a n ds   f o r   “ a s   s oo n   a s   po s s i bl e , ”   h a v e   b e e n   r e p l a c e d ;   a n d  l e mm a t i z a t i o n   h a s   b e e n   us e d.     3. 3.     Ve c t or iz at ion   W o r d  e m b e dd i ng,   a l s o   kn o wn   a s   v e c t or i z a t i o n ,   i s   a   t e c hni que   t h a t   m a ps   v o c a b u l a r y   wo r ds   o r   ph r a s e s   to   a n   e qu i v a l e n t   v e c t or   o f   r e a l   n u m be r s .   W e   h a v e   e x a mi ne d  t h e   pe r f o r m a n c e   o f   T F - I DF ,   W o r d2V e c ,   F a s t T e x t ,   a n d  Ope nA I   e m be dd i ng  f o r   a n s we r i ng  t h e   c o r r e s po n d i n g  que s t i o n s .     3. 3. 1.   T F - I DF   T e r m   f r e que n c y   ( T F ) ,   whi c h   i s   t h e   r a t i o   o f   a   w o r d ’ s   o c c ur r e n c e   i n   a   d o c um e n t   to  t h e   tot a l   n u m be r   o f   t e r m s   i n   t h e   do c um e n t ,   i s   us e d  to  de t e r m i ne   h o w  f r e que n t l y   a   wo r d   ( w)   o c c ur s   i n   a   d o c um e n t   ( d) .   W i t hi n   t h e   e n t i r e   c o r pus   o f   do c um e n t s   D,   t h e   I DF   s h o ws   t h e   f r e que n c y   o r   un c o m m o nn e s s   o f   a   wo r d  [ 17] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E lev ati ng  int e ll igent   v oice   as s is tant   c hatbot s   w i th  natur al  …   ( N il e s h  B .   K or ade )   511   T F I DF ( w , d , D ) = TF ( w , d ) [ f r e q u e nc y   of   w ′ s   a pp e a r a nc e   in   d . t ot a l   nu m b e r   of   w or d s   in   d oc u m e nt   d . ] ∗ I DF ( w , D ) [ log nu m b e r   of   d oc u m e nt   in   D . T h e   nu m b e r   of   d oc u m e nt s   t h a t   i nc lud e   w ]   ( 1)     3. 3. 2.   W or d 2V e c   T h e   W o r d2 V e c   wo r d  e m b e dd i ng  t e c hni qu e ,   whi c h   i s   ba s e d  o n   t h e   c o n t i n uo us   ba g - of - wo r ds   ( C B O W )   a n d  s k i p - gr a m m e   a r c hi t e c t ur e s ,   tr a n s f o r m s   wo r ds   i n t o  v e c to r s   wi t h   c l o s e r   v e c t o r   r e pr e s e n t a t i o n s   f o r   wo r ds   wi t h   e qu i va l e n t   m e a ni ngs .   C o n t e x t ua l   o r   s ur r o un d i n g  wo r ds   ( X)   a r e   i n put t e d  i n to   t h e   C B O W   i n  o r de r   to  a n t i c i pa t e   t h e   t a r ge t   or   m i dd l e   wo r d  ( Y) ,   w h e r e a s   t h e   s k i p - gr a m   a r c hi t e c t ur e   a n t i c i pa t e s   c on t e x t   or   s ur r o un d i n g  wo r ds   ( Y1 ,   Y2 ,   . . . . )   f o r   a   gi v e n   t a r ge t  w o r d   ( X ) .   T h e   a i m   o f   s k i p - gr a m   f o r   a   w or d  s e qu e n c e   w 1 ,  w 2 . . .   w T   c a n   b e   r e pr e s e n t e d  a s   t h e   a v e r a ge   l o g  pr o b a bil i t y   d e s c r i be   i n   ( 2 ) .   W h e r e   v   r e pr e s e n t s   t h e   tar ge t ,   v ’   r e pr e s e n t s   t h e   c o n t e x t   v e c t or   r e pr e s e n t a t i o n   o f   wo r ds ,   W   r e pr e s e n t s   t h e   v o c a b u l a r y   s i z e ,   a n d  c   r e pr e s e n t s   t h e   s i z e   o f   t h e   t r a i ni ng  c o n t e x t .   A pp l yi ng  t h e   s o f t m a x   f u n c t i o n ,   t h e   f u n da m e n t a l   s k i p - gr a m   f o r m u l a t i o n  e s t a bli s h e s   t hi s   pr o b a bi li t y   de s c r i b e   i n   ( 3 ) .     1 ∑ ∑      ( +   |   ) − ≤ ≤   ≠ 0 = 1   ( 2)     ( 0 |  ) =  (  ′    ) ∑  (  ′    ) = 1   ( 3)     I n   o r de r   to  l e a r n   wo r d   e m be dd i n g s   a n d  wo r d  c l a s s i f i c a t i o ns ,   F a c e b o o k   A I   r e s e a r c h   o f f e r s   a n   o p en - s o ur c e ,   f r e e   pa c ka ge   c a ll e d  F a s t T e x t.   I t  ge n e r a t e s   v e c t o r   r e pr e s e n t a t i o n s   s o   t h a t   a   t e x t ’ s   v e c t or   a n d  th e   l a b e l s   a s s o c i a t e d  w i t h   i t   a r e   e qu i v a l e n t .   T h e   s o f t m a x   f u nc t i o n   i s   us e d  by   F a s t T e x t   to   de t e r m i ne   t h e   pr o b a bil i t y   o f   a n  a ppr o p r i a t e   l a b e l   g i ve n   i t s   a s s o c i a t e d  t e x t ,   a s   de s c r i b e d  i n   ( 3 ) ,   wh e r e   S   i s   t h e   t e x t   t h a t  i s   a s s o c i a t e d  w i t h   t h e   l a b e l   L   [ 18] .     ( ) = ∗ ∑ ∗ ∈   ( 4)     3. 3. 3.   Op e n AI   T h e   a ppr o a c h   o f   t ur ni n g  t e x t   i n t o  a   v e c t or   o f   f l o a t i n g - po i n t   n u m be r s   i s   c a ll e d  a n   e m be dd i ng.     A   v e c t or ’ s   c l o s e n e s s   i s   m e a s ur e d  by   i t s   d i s t a n c e   f r o m   a n o t h e r   v e c t o r .   W i de   d i s t a n c e s   i n d i c a t e   l o w  s i mi l a r i t y ,   a n d  m i n o r   v a r i a t i o n s   i n d i c a t e   hi g h   r e l a t e dn e s s .   T h i s   s e r v e s   a s   t h e   f o un d a t i o n   f o r   Ope n A I   e m be dd i n g s ,   whi c h  r e pr e s e n t   t e x t   us i n g  a   t y pe   o f   NN   kn o wn   a s   a   tr a n s f o r m e r .   Ope nA I   pr e s e n t s   t h r e e   e f f e c t i v e   t hi r d - g e n e r a t i o n  e m b e dd i ng  m o de l s :  “ t e x t - e m b e dd i ng - 3 - s m a l l ” ,   “ t e x t - e m b e dd i ng - 3 - l a r ge ” ,   a n d  “ t e x t - e m b e dd i ng - a da - 002 ” .   C o m m o n   us e s   o f   Ope nA I   e m be dd i ngs   c o m pr is e   s e a r c hi ng,   c l us t e r i n g,   r e c o m m e n da t i o ns ,   i de n t i f yi ng   a n o m a li e s ,   d i v e r s i t y   a s s e s s m e n t   a n d  c a t e gor i z a t i o n .   T e x t - e m b e dd i ng - a da - 002  b e a t s   a l l   pr e c e d i ng  e m be dd i ng   m o de l s   f o r   t e x t   c l a s s i f i c a t i o n ,   a n d  pe r f o r m s   c o m pa r a bly   f o r   t e x t ua l   s e a r c h ,   c o de   s e a r c h ,   a n d  ph r a s e   s im il a r i t y   t e s t s .   De a l i ng  w i t h   do c u m e n t s   t h a t   a r e   l e n gt hy   be c o m e s   e a s i e r   by   e x pa n d i ng  t h e   t e x t - e m b e dd i ng - a da - 002  c o n t e x t   l e n gt h   by   a   f a c to r   o f   f o ur ,   f r o m   2048  t o  8192  to ke n s .   W i t h   o nl y   1536  d im e n s i o ns   a n d  a   m a xim a l   i nput   to ke n   o f   8191,   t h e   n e w  e m be dd i ngs   a r e   o nl y   o n e - e i g h t h   t h e   s i z e   o f   t h e   da vi nc i   e m be dd i ngs   [ 7 ].     3. 4.     F e at u r e   c r e at ion   R o b us t   f e a t ur e s   m a y   b o o s t   m a c hi ne   l e a r ni ng  m o de l s ’   f o r e c a s t i n g  c a pa c i t y   by   pr o vi d i n g  r e l e v a n t   da t a .   Ne w  f e a t ur e s   h a v e   be e n   de v e l o pe d  us i ng  t h e   s e n t e n c e   c h a r a c t e r i s t i c s   t h a t   we r e   l i s t e d  i n   t h e   da t a s e t .   S e n t e n c e   l e n gt h ,   n u m be r   o f   wo r ds ,   r a t i o   o f   c o m mo n   wor ds   to  di s t i n gu i s he d  wo r ds ,   c o m m o n   wo r d  c o un t,   a n d   d i s t i n c t   w o r d   c o un t  r e pr e s e n t   s o m e   o f   t h e   f u n da m e n t a l   f e a t ur e s .   T h e   ot h e r   f e a t ur e s   i n c l ude   a ve r a ge   to ke n s ,   a bs o l ut e   l e n gt h   d i f f e r e n c e ,   f i r s t   a n d  l a s t   wor d  e qua l i t y ,   r a t i o   o f   c o m m o n   s t o pw or ds   to   m i n i mu m   a n d   m a xim u m   s t o pw or d  c o un t s   i n   b o t h   s e n t e nc e s ,   r a ti o   o f   c o m m o n   wo r d   c o un t   to  s e n t e n c e   l e n gt h ,   a nd  s o  o n .   S e v e r a l   s t r a t e gi e s   f o r   s t r i n g  a n a ly s i s   a n d  a l go r i t hm - b a s e d  s c o r e   o f   s i mi l a r i t y   c o m put a t i o n s ,   i n c l ud i ng  f uz z   r a t i o ,   f uz z   pa r t i a l   r a t i o ,   to ke n   s o r t  r a t i o ,   a n d  to k e n   s e t   r a t i o n   we r e   e m p l o y e d  a s   f e a t ur e   f u n c t i o ns   i n   t h e   f uz z y wuz z y   P y t h o n   l i br a r y   [ 19 ].     3. 5.     Dim e n s ion al it y  r e d u c t ion   T h e   t e r m   “ c ur s e   o f   d im e n s i o n a li t y ”   de m o n s t r a t e s   t h a t   t h e   c o m put a t i o n a l   c o m p l e xi t y   o f   m a c hi ne   l e a r ni ng  m e t h o ds   i n c r e a s e s   e x po n e n t i a ll y   w i t h   t h e   a ddi t i o n   o f   d i m e n s i o ns ,   o r   c h a r a c t e r i s t i c s ,   to  t h e   da t a s e t .     I n   o r de r   to  e l im i na t e   t h e   c ur s e   o f   d i m e ns i o n a li t y   a n d  t r a n s f o r m   da t a   w i t h   hi g h   d im e n s i o ns   i n t o   l o we r - d i m e n s i o na l   da t a ,   a   f e a t ur e   e x t r a c t i o n   a ppr o a c h   k n o wn   a s   P C A   c a n   b e   us e d.   P r i n c i p a l   c o m po ne n t s ,   o r   t h e   li ne s   t h a t   c o n t a i n   t h e   m a j o r i t y   o f   t h e   da t a ’ s   i nf o r m a t i o n ,   a r e   t h e   di r e c t i o n s   o f   t h e   da t a   t h a t  e x p l a i n   t h e   gr e a t e s t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   50 7 - 51 7   512   a m o un t   o f   v a r i a n c e .   Ne w  v a r i a bl e s   b u il t   a s   l i ne a r   c o m bi na t i o n s   o f   t h e   o r i g i na l   va r i a bl e s   a r e   c a l l e d  pr i n c i pa l   c o m po n e n t s .   M o s t  o f   t h e   i nf o r m a t i o n   s t o r e d   i n   t h e   o r i g i na l   v a r i a bl e s   i s   c o m pr e s s e d  i n t o  t h e   f i r s t   c om po n e n t s   a s   a   r e s u l t   o f   t h e s e   c o m bi na t i o ns ,   whi c h   r e s u l t   i n   unc o r r e l a t e d  n e w  v a r i a bl e s   ( i . e . ,   p r i n c i p a l   c o m po n e n t s ) .     As   pe r   P C A ,   t h e   v a r i a n c e   o f   a   f e a t ur e   s i g ni f i e s   i t s   i nf o r m a t i o n   c o n t e n t ;   t h e   gr e a t e r   t h e   v a r i a t i o n   i n   a   f e a t ur e ,   t h e   m o r e   i nf o r m a t i o n   i t   h o l ds .  T h e   P C A   e x p l a n a t i o n   h a s   b e e n   g i ve n   h e r e ,   s t e p - by - s t e p.   S t a n da r d i z e   t h e   c o n t i n uo us   o r i g i na l   v a r i a bl e s ’   r a nge s   to  e n s ur e   t h a t   e a c h   o n e   c o n tr i b ut e s   e qua l ly   t o  t h e   a n a ly s i s   us i ng  ( 5 ) .   S t a n da r d i z a t i o n   e n s ur e s   t h a t  e a c h   v a r i a bl e   ha s   a   s t a n da r d  de vi a t i o n   o f   o n e   a nd  a   m e a n  o f   z e r o .           ( ) = ( ) −  ( )      ( )   ( 5)     C o v a r i a n c e   i n d i c a t e s   t h e   e x t e n t   to  whi c h   t wo   o r   m o r e   v a r i a bl e s   f l u c t ua t e   wi t h   r e s p e c t   to   o n e   a n o t h e r .   P o s i t i v e   c o v a r i a n c e   i n d i c a t e s   t h a t  t h e   t w o  v a r i a bles   a r e   c or r e l a t e d,   o r   i nc r e a s e   o r   de c r e a s e   to ge t h e r ,   whi l e   n e ga t i v e   c o v a r i a nc e   i nd i c a t e s   t h a t   t h e   t wo   v a r i a bl e s   a r e   i nve r s e ly   c o r r e l a t e d,   o r   i n c r e a s e   w h e n   t h e   o t h e r   de c l i ne s .   I n   ( 6 )   p r e s e n t s   t h e   e x pr e s s i o n   f o r   t h e   c o v a r i a n c e   c o m put a t i o n .     Co v a r ia nce   ( , ) = ( −   ) / ( − ȳ ) − 1   ( 6)     W h e r e   N  i s   t h e   tot a l   s a m p l e   s i z e ,   xi ,   y i   a r e   t h e   da t a   v a l ue s ,   a n d  x ̄ ,   ȳ   a r e   t h e   m e a ns .   No n - z e r o   v e c to r s   t h a t  r e m a i n  i n  t h e   s a m e   d i r e c t i o n   a f t e r   a   l i ne a r   t r a n s f o r m a t i o n   a r e   kn o wn   a s   e i ge nv e c to r s .   A s s u mi ng  a   “ n   ×   n ”   li ne a r   t r a n s f o r m a t i o n   m a t r i x   T   a n d  a n   e i ge nv a l u e   λ ,   a   n o n - z e r o  v e c to r   X   i s   a n   e i g e nv e c t o r   i f   a n d  o nl y   if   i t   s a t i s f i e s   t h e   f o l l o w i ng  c o n d i t i o n s   c o n d i t i o n s   pr e s e n t e d  i n   ( 7 ).     Tx   =   λ x   ( 7)     Alm o s t   a l l   v e c t o r s   c h a n ge   d i r e c t i o n   a f t e r   b e i ng   m u l t i p li e d  by   T .   A   f e w  r a r e   v e c t o r s   kn o wn   a s   e i ge nv e c t or s   i n d i c a t e   t h a t   x   i s   po i n t i n g  i n  t h e   s a m e   d i r e c t i o n   a s   T x .   T h e   e i ge nv e c t o r s   o f   t h e   c o v a r i a n c e   m a t r ix  s e r v e   a s   t h e   pr i m a r y   a x e s   o f   t h e   da t a ,   a n d  t h e   pr oj e c t i o ns   o f   t h e   da t a   i ns t a n c e s   o n to   t h e s e   pr i n c i pa l   a x e s   a r e   kn o wn   a s   t h e   pr i n c i pa l   c o m po n e n t s .   T h e   pr i n c i pa l   c o m po n e n t s   c a n   be   o b t a i n e d  i n   o r de r   o f   s i g ni f i c a n c e   b y  o r de r i n g  y o ur   e i ge nve c t or s   a c c or di n g  t o  t h e i r   e i g e nv a l ue s ,   f r o m   l a r ge s t   to   l e a s t   [2 0 ] .     3. 6 .    M od e l   s e l e c t ion   S e v e r a l   de e p  l e a r ni ng  a n d  m a c hi ne   l e a r ni n g  m o de l s   we r e   t r a i n e d  w i t h   e m be dd i ngs   m a de   u s i ng   v a r i o us   t e c hni qu e s .   B y   c o m bi n i ng  m a ny   de c i s i o n   t r e e   f o r e c a s t s   i ns t e a d  o f   de pe n d i ng  o nly   o n   o n e   t r e e ’ s  o u t pu t,   t h e   r a n do m   f o r e s t   ( R F )   a ddr e s s e s   t h e   o v e r f i t t i n g  pr o bl e m   a n d  hi g h   va r i a nc e   i s s ue s .   T o  b oo s t   t h e   e f f i c i e n c y   o f   m a c hi ne   l e a r ni ng  a l go r i t hm s ,   A da B oo s t ,   a l s o   kn o wn   a s   “ a da pt i v e   b o o s t i n g, ”   i s   a n   e n s e m ble   m a c hi ne - l e a r ni ng  t e c hni qu e   t h a t   c r e a t e s   de c i s i o n   s t um p s   us i ng  de c i s i o n   t r e e s   a n d  c o m bi ne s   we a k  l e a r n e r s   i n t o   a   s i n g l e ,   po we r f u l   c l a s s if i e r .   I t  b u i l d s   t h e   m o de l   by   f i r s t   g i vi n g  e a c h   da t a   p o i n t   a n   i de n t i c a l  we i g h t .     T h e   da t a   po i n t s   w h o s e   c l a s s if i c a t i o n   by   t h e   pr e vi o us   m o de l   wa s   wr o n g  w i ll   be   g i ve n   m o r e   we i g h t   i n  t h e   n e x t   i t e r a t i o n .   I n   t hi s   wa y ,   i t   tr a n s f e r s   m o de l   e r r o r s   to  s ub s e que n t   m o de l s   a n d  a tt e m pt s   to  e nh a n c e   f o r e c a s t i n g.     T h e   L S T M   n e t wo r k  i s   o n e   v a r i a n t   o f   a   r e c ur r e n t   n e ur a l   n e t wo r k  ( R NN )   t h a t   c a n   r e c o gni z e   a n d  de t e c t   o r de r   de pe n d e n c e   i n  s e qu e n c e   pr e d i c t i o n   pr o bl e m s .   T he   i n put ,   f o r ge t,   a n d  o u t pu t   ga t e s   a r e   t h e   t h r e e   ga tes   i n   t he   m e m o r y   t h a t   r e gul a t e   i nf o r m a t i o n   f l o w  a n d  h a v e   t h e   a bi li t y   t o  a dd   o r   r e m o v e   da t a   f r o m   t h e   c e l l   s t a t e   [2 1 ] .  1D - C NN   i s   a   C NN   v e r s i o n   t h a t   s pe c i a li z e s   i n   t h e   a n a ly s i s   o f   o n e - d i m e n s i o na l   da t a   s e que n c e s ,   s uc h   a s   wo r ds .   T h e   c o n v o l ut i o n a l   l a y e r s   c o nv o l ve d  t h e   i n put ,   r e tr i e v e d  f e a t ur e s   f r o m   t h e   i n put ,   a n d  s e n t   t h e   o u t p ut  to  t h e   f o l l o w i n g  l a y e r   by   s w i p i ng  t h e   f il t e r   o v e r   t h e   i n put   m a t r i x .   T h e   p oo l i ng  l a y e r   a tt e m pt s   to  pr o g r e s s i ve l y   de c r e a s e   t h e   s pa t i a l   d i m e ns i o n   o f   t h e   r e pr e s e n t a ti o n   i n   o r de r   to  m i n im i z e   t h e   n u m be r   o f   pa r a m e t e r s   a n d   c o m put a t i o n s   i n   t h e   n e t wo r k  by   m u l t i p lyi ng  t h e   o ut pu t   m a t r i x   f r o m   t h e   c o nv o l ut i o n   l a y e r   a n d  po o l in g  m a t r i x   [2 2 ] ,   [ 2 3 ] .     3. 6. 1.   XG B oos t   B oo s t i n g  i s   a   ML   e n s e m b l e   a ppr o a c h   t h a t   i n t e gr a t e s   we a k  c l a s s if i e r s   t o  ge n e r a t e   s t r o n g  c l a s s i f i e r s ,   whi c h   e nh a n c e s   t h e i r   pe r f o r m a n c e .   B o o s t i n g  wo r ks   by   t r a i ni ng  a   s e r i e s   o f   we a k  m o de l s ,   t y p i c a ll y   de c i s i o n  t r e e s ,   o n e   a f t e r   t h e   ot h e r   i n   a n   a tt e m pt   to   f i x   t h e   m is t a ke s   o f   t h e   e a r l i e r   m o de l s   de p i c t e d  i n   F i gur e   2 .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E lev ati ng  int e ll igent   v oice   as s is tant   c hatbot s   w i th  natur al  …   ( N il e s h  B .   K or ade )   513       F i gur e   2 .  XG B oo s t  a r c hi t e c t ur e       A   m o d i f i e d  v e r s i o n   o f   gr a d i e n t   b oo s t i n g  kn o wn   a s   XG B o o s t  i nv o l v e s   pa r a l l e l   pr o c e s s i ng  ( a t   t h e   n o de   l e ve l )   to  b oo s t   s pe e d  a n d  i n c o r por a t e s   a   n u m b e r   o f   r e gul a r i z a t i o n   s t r a t e gi e s   to  m i n im i z e   o v e r f i t t i n g  a n d   e nh a nc e   o v e r a ll   p e r f o r m a n c e   [2 4 ] .   S t a r t i n g  w i t h   t he   b a s e   m o de l   ( m 1) ,   whi c h  c a l c u l a t e s   t h e   l o g  o f   o dds   g i v e n  i n   ( 8 ) ,   us e s   ( 9 )   to  c o m put e   pr o b a bil i t y ,   a n d  c o m put e s   t h e   ps e udo   r e s i dua l   us i ng  ( 10 ) .        ( ) = ( 1 − )   ( 8)           ( ) =   ( ) 1 +   ( )   ( 9)         e s id u a l   ( R1 ) = A ctu a l − P r e d ict e d   ( 10)     De c i s i o n   s t u m ps   a r e   c r e a t e d  by   s e n d i ng  t h e   i nput   a n d  c o m put e d  r e s i dua l s   t o   a   s ub s e que n t   m o de l .   On c e   t h e   da t a   h a s   b e e n   s o r t e d,   e v e r y   r e s i dua l   i s   a dde d  t o   t h e   l e a f   n o de ,   a n d  ( 11 )   i s   us e d  t o   de t e r m i ne   t h e   s im il a r i t y   s c o r e .     S im il a r it y   S co r e   ( SS ) = ( ∑  ) 2 ( ∑ (      ∗ ( 1 −      ) + ) )   ( 1 1)     Af t e r   s p l i t t i n g  b a s e d  o n   t h e   a v e r a ge   o f   t wo  c o n s e c ut i v e   i n put s ,   t h e   l e f t   a n d  r i g h t   b r a n c h e s ’   s im il a r i t y   s c o r e s   a r e   de t e r m i ne d,   a n d  f i na ll y   t h e   ga i n   i s   e s t i m a t e d  us i n g  ( 12 ) .   T h e   s p l i t t i n g  c r i t e r i o n   t h a t   y ie l d s   t h e  hi g h e s t   ga i n   i s   c h o s e n .      = S im il a r it y   S co r e  + S im il a r it y   S co r e  ℎ − S im il a r it y   S co r e    ( 12)     U l t i m a t e l y ,   t h e   n o de   o u t pu t  v a l ue   i s   c o m put e d  a s   e x pr e s s e d  i n   ( 13 ) ,   f o l l o we d  by   t h e   m o de l   pr e d i c t i o n   f o r   t h e   g i v e n   i n put   a s   e x pr e s s e d  i n   ( 14 ) .     No d e   O u tp u t   V a l u e = ( ∑  ) 2 ( ∑ (      ∗ ( 1 −      ) + ) )   ( 13)         = 1 +   ( 2 ) + ( 3 ) … . ℎ               ( 14)     Af t e r   t h e   c o m put a t i o n   o f   t h e   r e s i dua l ,   t h e   r e s i dua l   a n d  i nput   a r e   us e d  to   p r o duc e   a   de c i s i o n   s t u m p  f o r   t h e   n e x t   s t a ge   o f   m o de l   b u il d i ng.   Un t i l   t h e   r e s i dua l   r e a c he s   o r   e qua l s   z e r o ,   t h e   pr o c e s s   i s   r e pe a t e d   [2 5 ] .       3. 7 .    Op t im iz at ion   P S O  i s   a   s c i e n t i f i c   c o m put a t i o n   a ppr o a c h   de s i g n e d  to  e n ha n c e   a   p ot e n t i a l   s o l ut i o n   i t e r a t i ve ly   w i t h  r e s pe c t   to  a   gi v e n   qua l i t y   m e t r i c   i ns p i r e d  by   t h e   s o c i a l   b e h a vi o r   o f   bi r d  s wa r m s .   B y   f e e d i ng  a   pot e n t i a l   s o l ut i o n   i n t o  a   m o de l   a n d  a c c e s s i ng  m o de l   pe r f o r m a n c e   a ga i ns t   e v a l ua t i o n   m e t r i c s ,   t h e   o p t i m i z a t i o n   pr o c e s s   a tt e m pt s   to   r a i s e   o r   de c r e a s e   t h e   c o s t   o f   a n   o bj e c t i v e   f u n c t i o n   [2 6 ] .   E a c h   pa r t i c l e   i n  a   P S O  ha s   t h r e e   d i f f e r e n t   v a r i a bl e s :  a   v e l o c i t y ,   whi c h   i s   a   m o vi ng  pa r a m e t e r ;   a   f i t ne s s   v a l ue   de t e r m i ne d  by   a n   o bj e c t i v e   f u n c t i o n   t h a t  t a ke s   t h e   pa r t i c l e ’ s   po s i t i o n   i n t o   c o n s i de r a t i o n;   a n d  a   po s i t i o n   t h a t   c or r e l a t e s   to   a   s o l ut i o n ’ s   a t t r i but e s .   T h e   po s i t i o n   o f   e v e r y   p a r t i c l e   i n   t h e   s wa r m   i s   m o d i f i e d  i n   s u c h   a   wa y   t h a t   i t   ge t s   c l o s e r   to  t h e   pa r t i c l e   w i t h   t h e   o p t i m a l   po s i t i o n .   T o  upda t e   i t s   po s i t i o n   a n d  v e l o c i t y   i n   e a c h   i t e r a t i o n ,   e a c h   pa r t i c l e   ke e p s   t r a c k  o f   “ g be s t , ”   t h e   b e s t   s o l ut i o n   f o un d  by   a ll   pa r t i c l e s ,   a n d  “ p b e s t , ”   t h e   b e s t   s o l ut i o n   i t   i n de pe n de n t l y   i d e n t i f i e d.   B e l o w  i s   a n  o v e r vi e w  o f   t h e   s t a ge s   o f   pr o c e s s i n g  t h a t   a r e   r e qui r e d  to  i m p l e m e n t   t h e   P S O  a l go r i t hm   [2 7 ] .    Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   50 7 - 51 7   514   T h e   f o l l o w i ng  i nput s   a r e   us e d:   po pul a t i o n   s i z e   ( n ) ,   n u m b e r   o f   d im e ns i o ns   ( d) ,   n u m b e r   o f   i t e r a t i o n s   ( m a x _ i t e r a t i o ns ) ,   o bj e c t i v e   f u n c t i o n   f   ( X) ,   v a r i a bl e   b o un da r y ,   i ne r t i a   we i g h t   ( W ) ,   c o r r e l a t i o n   f a c to r s   ( C 1 ,   C 2) ,   a n d  r a n do m   n u m be r   ( r 1,   r 2) .   T h e   o u t c o m e :   t h e   o p t i m a l   pa r a m e t e r s   S t a ge   1 :   T o   ge n e r a t e   r a n do m   po s i t i o n   p  a n d  ve l o c i t y   v   i n   a l l   d im e n s i o ns ,   us e   t h e   m e n t i o n e d  c a l c u l a t i o n :            ( ) =  _  +   _  ∗   (  _  −  _  )   ( 15)     V e l o cit y   ( v i ) =  _ b o u nd   +  _ no ∗   ( u p p e r _ b o u nd −   l o w e r _ b o u nd )   ( 16)     S t a ge   2 :   A s s i g n   pbe s t = x i   a n d  gbe s t = b e s t   p o s i t i o n   a m o n g  a l l   pa r t i c l e s   a f t e r   c a l c u l a t i n g  t h e   o bj e c t i v e   f u n c t i o n   v a l ue s   f   ( xi ) ,   wh e r e   i = 1. n ,   f o r   e a c h   pa r t i c l e .   S t a ge   3 :     F o r   i t e r a t i o n ( i tr ) = 1  to  m a x _ i t e r a t i o n s   F o r   i =   1  to  n   Af t e r   upda t i n g  t h e   pa r t i c l e ’ s   po s i t i o n   a n d  ve l o c i t y   us i ng  ( 1 7 )   a n d  ( 1 8 ) ,   de t e r m i ne   t h e   v a l ue   o f   t h e   o bj e c t i v e   f u nc t i o n   f   ( xi ) ,   a n d  t h e   pb e s t   f o r   t h e   pa r t i c l e .     + 1 = + + 1   ( 17)     + 1 = + 1 1 ( − ) + 2 2 ( − )   ( 18)     W h e r e ,     i s   t h e   v e l o c i t y   o f   t h e   i th   pa r t i c l e   a t   i t e r a t i o n   t ,     i s   t h e   po s i t i o n   o f   a   pa r t i c l e ,   + 1   a n d   + 1   a r e   t h e   n e w ly   c a l c u l a t e d  v e l o c i t y   a n d  po s i t i o n .   T h e     i s   t h e   pa r t i c l e ’ s   b e s t   po s i t i o n   f o r   i t e r a t i o n   t  a n d  P q   i s   t h e   g l o b a l   be s t   po s i t i o n .   E n d  f o r   i   As s i g n   gbe s t   =   b e s t   p o s i t i o n   a m o n g  a l l   pa r t i c l e s .   E n d  f o r   i t r     3. 8 .    Voic e   an d   t e x t   c on ve r s ion   An   a ut o m a t e d  s pe e c h   r e c o gni t i o n   s y s t e m   c a ll e d  O pe nA I   W hi s pe r   h a s   b e e n   t r a i ne d  w i t h   0. 7  m il l i o n  h o ur s   o f   m u l t il i ngua l ,   m u l t i t a s k - s up e r vi s e d  we b   da t a .   T h e   i m p l e m e n t a t i o n   o f   a n   e x t e ns i ve   a n d  d i v e r s e   da t a s e t  e nh a nc e s   r o b us t n e s s   t o wa r ds   pr o n un c i a t i o n ,   b a c k gr o un d  n o i s e ,   a n d  t e c hni c a l   t e r m i n o l o g i e s .   I t  a l s o   a l l o ws   t r a n s c r i pt i o n   i n   m a ny   l a n gu a ge s   a n d  t r a n s l a t i o n   f r o m   t h o s e   l a n gua ge s   i n t o   E n g l i s h .   An   A I   m o de l   c a ll e d  T T S   t r a n s f o r m s   t e x t   i n t o  v e r b a l   s pe e c h   t h a t   s o un ds   na t ur a l .   T wo  di s t i n c t   m o de l   va r i a t e s   a r e :  “ tts - 1, ”   whi c h   i s   o p t i mi s e d  f o r   r e a l - t i m e   TTS   s c e n a r i o s ,   a n d  “ tts - 1 - h d, ”   whi c h   i s   o pt i m i s e d  f o r   qua l i t y   [2 8 ] .       4.   RE S UL T S   AN D  DI S CU S S I ON   T h e   e x pe r i m e n t a l   s e t up,   pe r f o r m a nc e   e v a l ua t i o n   o f   t h e   pr o p o s e d  t e c hni que ,   a n d  d i s c us s i o n   o f   t h e   f i nd i n g s   a r e   pr e s e n t e d  b e l o w.     4 . 1.     E x p e r im e n t a l   s e t u p   T h e   i m p l e m e n t a t i o n   o f   t hi s   s t ud y   wa s   c a r r i e d  o u t   us i n g  t h e   J up y t e r   No t e b oo k  e n vi r o nm e n t   a va i l a bl e   o n   G oo gl e   C o l a b .   T h e   P y t h o n   l i br a r y   P a n da s   wa s   u t i li z e d  f o r   e f f i c i e n t   da t a   m a ni pu l a t i o n ,   whi l e   N L T K   a n d   s pa c y   we r e   e m p l o y e d  f o r   i ni t i a l   pr e - pr o c e s s i n g  t a s ks .   F o r   v e c t or i z a t i o n ,   t h e   s t udy   m a de   us e   o f   Ge ns im ,   Ope nA I   too l s ,   a n d  s c i k i t - l e a r n   li b r a r y .   M o de l   b u il d i ng  a n d  vi s u a l i z a t i o n   we r e   c o n duc t e d  us i n g  s c ik i t - l e a r n ,   XG B o o s t,   Te n s o r F l o w ,   a n d  S e a b o r n   l i b r a r y .   A   w ide  r a n ge   o f   s o ur c e s ,   s uc h   a s   f i r s t   a i d  pr o c e dur e s ,   hi s t o r i c a l  a n d  ge o gr a phi c a l   i nf o r m a t i o n ,   Ay ur ve d i c   h o m e   t r e a t m e n t s ,   m a t h e m a t i c a l   f o r m u l a s   a n d  c o n c e pt s ,   I n d i a n   f o o d   r e c i pe s ,   a n d  m o r e ,   we r e   us e d  to  c o n s t r uc t  t h e   10, 000  q ue s t i o n s   a n d  a n s w e r s   da t a s e t .   Us i n g  t h e   ph r a s e ’ s  c h a r a c t e r i s t i c s   l i s t e d  i n   t h e   da t a s e t ,   n e w  f e a t ur e s   h a v e   be e n   c o n s t r uc t e d.   S e v e r a l   e m b e dd i ng  t e c h ni q ue s   we r e   us e d  to   tr a i n   t h e   va r i o us   m o de l s   o n   da t a s e t.   I n   or de r   to   e v a l ua t e   t h e   e f f e c t i v e ne s s   o f   t h e   pr o p o s e d  a ppr o a c h ,   1000  que s t i o n s   w i t h   i de n t i c a l   m e a ni ng s   b ut   di s t i n c t  t e x t   we r e   ge n e r a t e d .     4. 2 .    P e r f o r m an c e   v al id at ion   T a bl e   2  pr e s e n t s   t h e   v a r i o us   v e c t or i z a t i o n   t e c h ni q ue s   a n d  h o w  e f f e c t i v e ly   t h e y   wo r k  wi t h   d i f f e r e n t   a l go r i t hm s .   T h e   n u m be r   o f   a c c ur a t e   a n d  i na c c ur a t e   r e s po n s e s   ge n e r a t e d  by   a ll   m o de l s   u s i ng  t h e   d i f f e r e n t   e m b e dd i ng  s t r a t e gy   i s   s h o wn   i n   F i gur e s   3  a n d  4.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52       E lev ati ng  int e ll igent   v oice   as s is tant   c hatbot s   w i th  natur al  …   ( N il e s h  B .   K or ade )   515   T a bl e   2 .   P e r f o r m a nc e   o f   d i f f e r e n t   e m b e dd i ng s   w i t h   v a r i o us   a l go r i t hm s   M o de l   TF - I D F   W o r d2V e c   F a s tT e x t   O pe nA I     A ns w e r e d   c o r r e c tl y   A ns w e r e d   i nc o r r e c tl y   A c c u r a c y   A ns w e r e d   c o r r e c tl y   A ns w e r e d   i nc o r r e c tl y   A c c u r a c y   A ns w e r e d   c o r r e c tl y   A ns w e r e d   i nc o r r e c tl y   A c c u r a c y   A ns w e r e d   c o r r e c tl y   A ns w e r e d   i nc o r r e c tl y   A c c u r a c y   RF   787   213   78.7   806   194   80.6   804   196   80.4   812   188   81.20   A da boo s t   792   208   79.2   834   166   83.4   838   162   83.8   844   156   84.40   X G B oo s t   861   139   86.1   908   92   90.8   912   88   91.2   923   77   92.30   L S T M   815   185   81.5   839   161   83.9   837   163   83.7   862   138   86.20   C N N   858   142   85.8   901   99   90.1   897   103   89.7   908   92   90.80           F i gur e   3 .  Num b e r   o f   a c c ur a t e   r e s po n s e s       F i gur e   4 .  Num b e r   o f   in a c c ur a t e   r e s po n s e s       4. 3 .     Re s u l t s   d is c u s s ion   T h e   r e s u l t s   s h o w  t h a t   Ope n A I   e m be dd i ng  h a s   a   g r e a t   de a l   o f   po t e n t i a l   f o r   i de n t i f y i ng  t he   s e m a n t i c   m e a ni ng  o f   que s t i o n s   a s ke d,   a s   i t   c a n   i m pr o v e   c h a t b o t  pe r f o r m a nc e   by   c r e a t i n g  ve c t or s   o f   que s t i o n s   w i t h  s i mi l a r   m e a ni ng s   t h a t  a r e   c l o s e r   to  o n e   a n o t h e r .   C om pa r i ng  t h e   XG B o o s t  to  C NN ,   L S T M ,   A da b o o s t,   a n d  RF ,  t h e   XG B o s t  de m o ns t r a t e s   gr e a t e r   p ot e n t i a l   f o r   c o r r e c t l y   a c k n o w l e dg i ng  t h e   que s t i o n .   P S O  o p t i m i s a t i o n   i s   us e d  f o r   e s t i m a t i n g  t h e   o p t i m a l   hy pe r pa r a m e t e r   v a l ue   i n   o r de r   to  f ur t h e r   i m pr o v e   XG B oo s t   pe r f o r m a n c e .   R e s u l t s   i nd i c a t e   t h a t   P S O  f i n d s   t h e   i de a l   X GB o o s t   pa r a m e t e r   o nl y   i n  t h e   f i r s t   i t e r a t i o n ,   a n d  i n c r e a s e s   i t s   a c c ur a c y   by   2% .   T a bl e   3   pr e s e n t s   t h e   pa r a m e t e r ’ s   o pt i m a l   v a l u e   f o r   XG B oo s t   a s   we l l   a s   t h e i r   l o we r   a n d   uppe r   b o un ds .       T a bl e   3 .   XG B oo s t   h y pe r pa r a m e t e r s   P a r a me t e r   n_e s ti ma t o r s   ma x _d e pt h   le a r ni ng_r a t e   ga mm a   e ta   L o w e r   b o und   100   3   0.001   0   0   U ppe r   b o und   1000   10   0.3   5   1   O pt im a l  v a lu e   150   5   0.004   1   0.01       5.   CONC L USI ON   C o m pa r e d  to  h u m a n   a ge n t s ,   c h a t b ot s   a r e   m uc h   m o r e   s c a l a bl e   s i nc e   t h e y   c a n   ha n d l e   s e ve r a l   r e que s t s   a t   o n c e ,   pr o v i d e   c us t o m e r   s e r vi c e   o ut s i de   o f   r e gu l a r   b us i ne s s   h o ur s ,   a n d  f u n c t i o n   a c r o s s   t i m e   z o n e s .   T h e   us e r   c a n   c o nv e r s e   w i t h   t h e   c h a t b o t  a n d  r e c e i v e   v o c a l  r e s po n s e s .   T h e   o u t c o m e   r e v e a l s   t h a t   Ope n A I   e m be dd i ng   b u il ds   ve c t or   r e pr e s e n t a t i o n   i n   a   wa y   t h a t  m a k e s   que s t i o ns   w i t h   s i mi l a r   m e a ni ng s   c l o s e r   to   o n e   a n ot h e r ,   im pr o vi n g  t h e   pe r f o r m a n c e   o f   m a c hi ne   l e a r ni ng  m o de l s .   XG B o o s t  t r a i n e d  o n   Ope nA I   e m be dd i ng  a c c ur a t e ly  i de n t i f i e s   t h e   que s t i o n   a n d  i t s   c o r r e s p o n d i n g  r e s po n s e ,   a n d  P S O  de t e r m i ne s   t h e   i d e a l   pa r a m e t e r   t h a t  i m pr o v e s   XG B o o s t ’ s   f o r e c a s t i n g  pe r f o r m a n c e .   E ve n   t h o ug h   a   us e r   m a y   po s e   t h e   s a m e   que s t i o n   i n  a   d if f e r e n t   wa y ,     t h e   c h a t b o t  s h o u l d  b e   a bl e   t o  di s c o v e r   i t s   s e m a n t i c   m e a ni ng.   T h e   pr o p o s e d  a pp r o a c h   s h o ws   pr o m i s e   in  r e s po n d i n g  to   que r i e s   w i t h   s e m a n t i c   m e a ni ngs   s im il a r   to  t h o s e   i n   t h e   da t a b a s e .   F ur t h e r m o r e ,   we   c a n   t r y   d i f f e r e n t   e m b e dd i ngs ,   a l go r i t hm s ,   a n d  o pt i m i s a t i o n s   i n  s u b s e que n t   r e s e a r c h   t o  a c hi e v e   b e t t e r   r e s u l t s .     B y   r e m e m be r i ng  a n d  r e f e r r i n g  t o   pr e vi o us   i n t e r a c ti o n s   o v e r   e x t e n de d  pe r i o ds   o f   t i m e ,   v o i c e   a s s i s t a n t s   c a n   be   e x p l o r e d  to   f a c il i t a t e   m e a ni ng f u l   a n d  c o n t i n uo us   c o n v e r s a t i o ns   w i t h   us e r s .       RE F E R E NC E S   [ 1]   N .  B .  K or a de   e t  al . ,  “ E x pl o r in g   N L P   te c hni qu e s   f or   dupl i c a t e   que s ti o n  d e t e c ti o n  t o   ma x im i z in g   r e s po ns e s   o n   Q &A  w e bs it e s ,”   I nt e r nat io nal  J our nal  of  I nt e ll ig e nt  Sy s te m s  and A ppl ic at io ns  i n  E ngi ne e r in g , vo l.  12, n o . 3, pp. 11 – 20, 2024.   [ 2]   V .  O gunt o s in   a nd  A .  O l om o ,  “ D e ve l o pm e nt   of   a n  e - c o mm e r c e   c ha tb o t  f or   a   uni ve r s it y   s h o ppi ng  m a ll ,”   A ppl ie d  C om put at i onal   I nt e ll ig e nc e  and Sof t  C om put in g , v o l.  2021, pp. 1 – 14, M a r . 202 1, do i:  10.1155/2021/ 6630326.   [ 3]   S .  H .  A nw a r ,  K .  M .  A bo ua is h,  E .  M .  M a tt a ,  A .  K .  F a r o uq,  A .  A .  A hme d,  a nd  N .  K .  N e gi e d,  “ A c a d e m i c   a s s is ta nc e   c ha t bo t - a  c o mpr e h e ns iv e   N L P   a nd  de e p  l e a r ni ng - ba s e d  a ppr o a c he s ,”   I n done s ia n  J ou r nal   o f   E le c tr ic al   E ngi ne e r in g  and  C o m put e r   S c i e nc e   ( I J E E C S) ,  vo l.  33, n o . 2, pp. 1042 – 1056,  F e b. 2024, d o i :  10.11 591/ ij e e c s .v 33.i 2.pp1042 - 1056.   [ 4]   E .  A da mo p o ul o u   a nd  L .  M o us s ia de s ,  “ C ha tb o ts :  h is to r y ,  te c hno l o g y ,  a nd  a ppl i c a ti o ns ,”   M ac hi ne   L e ar ni ng  w it h  A ppl ic at i ons ,    vo l.  2, p. 100006, D e c . 2020, d o i:  10.1016/j .ml w a .2020.100006 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   50 7 - 51 7   516   [ 5]   C .  R z e pka ,  B .  B e r g e r ,  a nd  T .  H e s s ,  “ V o ic e   A s s is ta nt   v s .  c ha t bo t  –   e x a mi n in g  th e   f it   be twe e n  c o n ve r s a ti o na l  a ge nt s ’   in t e r a c ti o n   mo da li ti e s   a nd  in f or ma ti o n   s e a r c h  ta s k s ,”   I nf or m at io n  Sy s te m s   F r ont ie r s ,  vo l.   24,   n o .  3,   pp.  839 – 856,  J un.   2 022,     do i:  10.1007/s 10796 - 021 - 10226 - 5.   [ 6]   A .  P a nde   a nd  D .  M is hr a ,  “ T h e   s y ne r g y   b e tw e e n   a   huma noi d  r o b o t  a nd  w hi s pe r :  br id g in g  a   ga p  in   e du c a ti o n,”   E le c tr oni c s   ( Sw it z e r la nd) ,  vo l.  12, n o . 19, p. 3995, S e p. 2023, d o i:  10.3390/ e l e c t r o ni c s 12193995.   [ 7]   K .  I .  R o u me l i o ti s   a nd  N .  D .  T s e li ka s ,  “ C ha tG P T   a nd  O pe n - A I   mo d e ls :  a   pr e li m in a r y   r e vi e w ,”   F ut ur e   I nt e r ne t ,  vo l.   15,  no .  6,     p. 192, M a y  2023, d o i :  10.3390/ f i1 5060192.   [ 8]   Z .  D o ng,  Q .  D in g,  W .  Z ha i,   a nd  M .  Z h o u,   “ A   s pe e c h   r e c o g ni ti o n   m e th o d  ba s e d  o n   d o ma in - s pe c i f i c   da ta s e ts   a nd  c o n f id e nc e   de c is io n n e tw o r ks ,”   Se ns or s , v o l.  23, n o . 13, p. 6036, J un. 2023 , do i:  10. 3390/s 23136036.   [ 9]   R .  J e ga de e s a n,  D .  S r in iv a s ,  N .  U ma pa th i,   G .  K a r th ic k,  a n d  N .  V e nka te s w a r a n,  “ P e r s o na l  he a lt h c a r e   c ha tb o t  f o r   m e d ic a l  s ugge s ti o ns   us in g  a r ti f ic ia l   in t e ll ig e nc e   a nd  ma c hi n e   l e a r ni ng, ”   E ur ope an  C he m ic al   B ul le ti n ,  vol .  12,  n o .  S 3,   pp.  6004  –   6 012,  2023, do i:  10.31838/ e c b/ 2023.12.s 3.670.   [ 10]   P .  I .  P r a y it n o ,  R .  P .  P uj o   L e ks o n o ,  F .  C ha i,   R .  A ld y ,  a nd  W .  B udi ha r t o ,  “ H e a lt h  c ha tb o t  us in g  na tu r a l  la ngua ge   pr oc e s s in g  f or   di s e a s e   pr e di c ti o n  a nd  tr e a tm e n t, ”   in   P r oc e e di ngs   of   2021  1 s t  I nt e r nat io nal   C on f e r e nc e   on  C o m put e r   S c ie nc e   and  A r ti f ic ia l   I nt e ll ig e nc e , I C C SA I  2021 , O c t.  2021, pp. 62 – 67, d o i:  10.1109/ I C C S A I 53272.2021.9609784.   [ 11]   M .  V .  V a s il e io u  a nd  I .  G .  M a gl o gi a nni s ,  “ T he   h e a lt h  c ha tb ot s   in   te le m e di c in e :  in te ll ig e nt   di a l o g  s y s t e m  f o r   r e m o t e   s u p po r t, ”   J our nal  of   H e al th c ar e  E ngi ne e r in g , v o l.  2022, pp. 1 – 12, O c t.  2 022, do i:  10.1155/2022/ 4876512.   [ 12]   S .  Z h o u,  J .  S i l v a s s ta r ,  C .  C la r k,  A .  J .  S a l y e r s ,  C .  C ha ve z ,  a nd  S .  S .  B ul l,   “ A n  a r ti f i c ia ll y   in t e ll ig e nt ,  na tu r a l  la ngua ge   p r o c e s s in g  c ha tb o t  de s ig n e d   t o  pr o m ot e  C O V I D - 19  v a c c in a ti o n:   a   pr oof - of - c o n c e pt  pi l o t  s tu d y ,”   D ig it al  H e al th ,  vo l.  9, J a n. 2023 .   [ 13]   S .  R a th ,  A .  P a tt a n a y a k,  S .  T r ip a th y ,  S .  B .  B .  P r i y a da r s hi ni ,  A .  T r ip a th y ,  a nd  S .  T a n v i,   “ P r e di c ti o n  of   a   n ov e l  r ul e - ba s e d  c ha t bo t   a ppr o a c h  ( R C A )   us in g   na tu r a l  la ngua g e   pr oc e s s in g  te c hni qu e s ,”   I nt e r nat io nal   J our nal   of   I nt e ll ig e nt   Sy s te m s   and  A ppl ic at io ns   in   E ngi ne e r in g , vo l.  11, n o . 3, pp. 318 – 325, 2023.   [ 14]   K .  E l - a z ha r i,   I .  H il a l,   N .  D a o udi ,  R .  A jh o un,  a nd  I .  B e lg a s ,  “ A n  e vo lu t i v e   kn o w l e dge   ba s e   f o r   ‘ A s kB ot ’   t o w a r d  in c lu s i ve   a nd   s ma r t  le a r ni ng - ba s e d  N L P   t e c hni qu e s ,”   I nt e r nat io nal   J our nal   of   A dv anc e d   C om put e r   Sc ie nc e   and  A ppl ic at io ns ,  v o l.   14,  n o .   5,     pp. 413 – 422, 2023, do i:  10.14569/ I J A C S A .2023.0140544.   [ 15]   S .  H .  A nw a r ,  K .  M .  A bo ua is h,  E .  M .  M a tt a ,  A .   K .  F a r o uq,  A .  A .  A hme d,  a nd  N .  K .  N e gi e d,  “ A c a d e mi c   a s s is ta nc e   c ha t bo t - a  c o mpr e h e ns iv e   N L P   a nd  de e p  l e a r ni ng - ba s e d  a ppr o a c he s ,”   I n done s ia n  J ou r nal   o f   E le c tr ic al   E ngi ne e r in g  and  C o m put e r   S c i e nc e   ( I J E E C S) ,  vo l.  33, n o . 2, pp. 1042 – 1056,  F e b. 2024, d o i :  10.1 1 591/ ij e e c s .v 33.i 2.pp1042 - 1056.   [ 16]   S .  K ot ha r i,   P .   B a ga n e ,  M .  M is hr a ,  S .  K ul s hr e s th a ,  Y .  A s r a ni ,  a nd  V .  M a he s w a r i,   “ C r o p G ua r d:   e mp o w e r in g   a gr i c ul tu r e   w it h   A I   dr iv e n  pl a nt   di s e a s e   d e t e c ti o n  C ha tb o t, ”   I nt e r nat io nal   J our nal   of   I nt e ll ig e nt   Sy s te m s   and  A ppl ic a ti ons   in   E ngi ne e r in g ,  v o l.   12,    no . 12s , pp. 530 – 537, 2024.   [ 17]   H .  V r a nke n  a nd  H .  A li z a d e h,  “ D e t e c ti o n  of   D G A - ge n e r a t e d  do ma in   na m e s   w it h  T F - I D F ,”   E le c tr oni c s   ( Sw it z e r la nd) ,  vo l.   11,     no . 3, p. 414, J a n. 2022, do i :  10.3390/e le c tr o n ic s 11030414.   [ 18]   Q .  D u,   N .  L i,   W .  L iu ,  D .  S un,  S .  Y a ng,  a nd  F .  Y ue ,  “ A   t opi c   r e c o gni ti o n  m e th o d  of   ne w s   t e x t  ba s e d  o n  w or d  e mb e dd in g  e nha nc e m e nt ,”   C om put at io nal  I nt e ll ig e nc e  and N e ur os c ie nc e ,  vo l.  2022, pp. 1 – 15, F e b. 2022, d o i:  10.1155/2022 /4 582480.   [ 19]   N .  B .  K o r a d e ,  M .  B .  S a l unke ,  A .  A .  B ho s l e ,  P .  B .  K umbha r ka r ,  G .  G .  A s a lk a r ,  a nd  R .  G .  K he dka r ,  “ S tr e ngt h e ni ng   s e nt e nc e   s im il a r it y   id e nt i f ic a ti o n  th r o ugh  O pe nA I   e mb e ddi ngs   a nd  de e p  le a r ni ng,”   I nt e r nat io nal   J our nal   o f   A dv anc e d  C om put e r   Sc i e nc e   and A ppl ic at io ns , vo l.  15, n o . 4, pp.   821 – 829, 2024, d o i :  10.14 569/ I J A C S A .2024.0150485.   [ 20]   R .  D r ik v a ndi   a nd  O .  L a w a l,   “ S pa r s e   pr in c ip a l  c o mp o n e nt   a n a l y s is   f or   na tu r a l  la ngua ge   p r o c e s s in g,”   A nnal s   of   D at a  Sc ie nc e ,    vo l.  10, n o . 1, pp. 25 – 41, F e b. 2023, d o i:  10.1007/s 40745 - 020 - 00277 - x.   [ 21]   N .  B .  K o r a d e   a nd  M .  Z ub e r ,  “ B oo s t  s to c k  f or e c a s ti ng  a c c ur a c y   us in g  th e   m o di f i e d  f ir e f l y   a lg or it hm  a nd  mul t ic ha n ne l  c o n vo lu ti o na l  n e ur a l  n e tw o r k,”   J our nal  of  T he or e ti c al  and A pp li e d I nf or m at io n T e c hnol ogy ,  v o l .   1 0 1 ,   n o .   7 ,   p p .   2 6 6 8 – 2 6 7 7 ,   2 0 2 3 .   [ 22]   N .  B .  K o r a d e   a nd  M .  Z ub e r ,  “ S t oc k   f o r e c a s ti ng  us in g  mul t ic ha nne l   C N N   a nd  f i r e f l y   a lg o r it h m,”   in   C ogni ti v e   Sc ie nc e   and   T e c hnol ogy , vo l.  P a r t  F 1466, 2023, pp. 447 – 458.   [ 23]   N .  B .  K o r a d e   a nd  M .  Z ub e r ,  “ F o r e c a s ti ng  s to c k  pr ic e   us in g  t i me - s e r i e s   a na l y s is   a nd  de e p   le a r n i ng  t e c hn iq ue s ,”   in   L e c tu r e   N ot e s   in  E le c tr ic al  E ngi ne e r in g , vo l.  1146  L N E E , 2024, pp. 403 – 421.   [ 24]   L .   G a n,  “ X G B oo s t - ba s e d  e - c o mm e r c e   c us t o m e r   l o s s   pr e di c t io n,”   C om put at io nal   I nt e ll ig e nc e   and  N e ur os c ie n c e ,  v o l.   20 22,     pp. 1 – 10, J ul . 2022, do i:  10.1155/2022 /1 858300.   [ 25]   Z .  S ha o ,  M .  N .   A hma d,  a nd  A .  J a v e d,   “ C o mpa r is o n   of   r a ndom  f o r e s t  a nd  X G B oo s t   c la s s if i e r s   us in g  in te g r a te d   o p ti c a l  a nd  S A R   f e a tu r e s   f o r  ma ppi ng u r ba n i mpe r v i o us  s ur f a c e ,”   R e m ot e  Se ns in g , vo l.  16, n o . 4, p. 665, F e b. 2024, d o i:  10.3390/ r s 16040665.   [ 26]   J .  K e nn e d y   a nd  R .  E be r ha r t,   “ P a r ti c l e   s w a r m  o pt im i z a ti o n,”   in   P r oc e e di ngs   o f   I C N N ’ 95  -   I nt e r nat io nal   C on f e r e nc e   on   N e ur al   N e tw or k s , v o l.  4, pp. 1942 – 1948, d o i:  10.1109 /I C N N .1995.488968.   [ 27]   N .  B .  K o r a d e   a nd  M .  Z ube r ,  “ S to c k  pr i c e   f o r e c a s ti ng  us in g  c o n vol ut i o na l  ne ur a l  n e tw o r ks   a nd  o pt im i z a ti o n  te c hni qu e s ,”   I nt e r nat io nal   J our nal   of   A dv anc e d  C om put e r   Sc ie nc e   and  A pp li c at io ns ,  vo l.   13,   n o .  11,   pp.  378 – 385,   2022,     do i:  10.14569/ I J A C S A .2022.0131142.   [ 28]   L .  O r y nba y ,  B .  R a z a khov a ,  P .  P e e r ,  B .  M e d e n,  a nd  Ž .  E m e r š i č ,   “ R e c e n t  a dv a n c e s   in   s y nt h e s is   a nd  in te r a c ti o n  of   s pe e c h,  t e x t,   a nd   v is i o n,”   E le c tr oni c s  ( Sw it z e r la nd) , vo l.  13, n o . 9, p. 1726, Ap r .  2024, do i:  10.3390/ e l e c tr o ni c s 13091726.       B I OG RA P HI E S   OF   AU T HO RS       N i l es h  B.   Ko ra de          i s   an   A s s i s t an t   Pro f e s s o r  at   J SPM ’ s   Raj ars h i   Sh a h u   Co l l eg e   o f   E n g i n ee r i n g ,   P u n e,   I n d i a .   H e   i s   a  d at a  s ci e n ce   p ro f e s s i o n al   w i t h   a   Ph . D .   in  C o m p u t e r   S c i en ce  an d   E n g i n ee ri n g .   H i s   r e s e ar ch   ar e as   ar e   d at a  s c i en ce,   d at a  an a l y s i s ,   t i me  s e r i e s ,   m a c h i n e  l e ar n i n g ,   N L P ,   an d   d ee p   l e arn i n g .   H e   h as   w o rk ed   o n   s e v e ra l   co n s u l t an cy   p ro j ec t s ,   fi l e d   s e v e ral   I n d i a n   p at en t s ,   an d   o b t ai n e d   c o p y r i g h t s   fo r  h i s   c r e at i v e  i d e as .   H e   c a n   b e   co n t a c t ed   at   em ai l :   n i l e s h . k o ra d e . ml @ g m ai l . c o m.   Evaluation Warning : The document was created with Spire.PDF for Python.