I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   1 ,  Feb r u ar y   2 0 2 6 ,   p p .   237 ~ 246   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 1 . p p 2 3 7 - 2 4 6           237     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Rea l - time  int el lig ent  v irt ua l as sis tant bas ed on  retr i e v a l  a ug mented gener a tion       I   K et ut  Resik a   Art ha na 1 ,   Ni  P utu  No v it a   P us pa   Dew i 1 ,   G ede  Arna   J ud e  Sa s k a ra 2 ,     I   M a de  Ardw i P ra dn y a na 2 ,   L uh   I nd ra y a ni 3   1 P r o g r a m St u d y   o f   C o mp u t e r   S c i e n c e ,   F a c u l t y   o f   En g i n e e r i n g   a n d   V o c a t i o n a l ,   U n i v e r si t a s P e n d i d i k a n   G a n e s h a ,   S i n g a r a j a ,   I n d o n e si a   2 P r o g r a m St u d y   o f   I n f o r m a t i o n   S y st e ms,  F a c u l t y   o f   E n g i n e e r i n g   a n d   V o c a t i o n a l ,   U n i v e r s i t a s Pe n d i d i k a n   G a n e sh a ,   S i n g a r a j a ,   I n d o n e si a   3 P r o g r a m St u d y   o f   En g l i s h   L a n g u a g e   Ed u c a t i o n ,   F a c u l t y   o f   La n g u a g e   a n d   A r t s,  U n i v e r si t a s   P e n d i d i k a n   G a n e s h a ,   S i n g a r a j a ,   I n d o n e s ia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct  2 8 ,   2 0 2 4   R ev is ed   Dec   2 4 ,   2 0 2 5   Acc ep ted   J an   1 0 ,   2 0 2 6       Im p ro v i n g   u se r  e x p e rien c e   i n   a c c e s sin g   i n fo rm a ti o n   o n   o r g a n iza ti o n a l   we b sites   re m a in s  a   c h a ll e n g e .   Us e rs  o ften   fa c e   c o m p lex   n a v i g a ti o n   a n d   m u l ti - ste p   se a rc h e s  th a t  slo w  i n fo rm a ti o n   re tri e v a l .   T h is  stu d y   in tr o d u c e s  th e   re a l - ti m e   in telli g e n t  v irt u a l  a ss istan t   (RIVA ),   wh ich   in teg ra tes   larg e   lan g u a g e   m o d e ls   (LL M s)  wi th   th e   re tri e v a l - a u g m e n ted   g e n e ra ti o n   (RAG )  fra m e wo rk   to   s u p p o rt   re a l - ti m e   i n tera c ti o n   with   we b site   c o n ten t.   T h e   sy ste m   wa s  imp lem e n ted   o n   th e   Un i v e rsitas   P e n d id i k a n   G a n e sh a   (Un d i k sh a )  we b site  u sin g   a   Wo r d P re ss   c o n ten t   m a n a g e m e n t  sy ste m   ( C M S )   a n d   d e v e lo p e d   fo ll o wi n g   th e   d e sig n   sc ien c e   re s e a rc h   (DSR)  a p p r o a c h ,   wh ich   in c lu d e s  six   sta g e s:  p ro b lem   id e n ti fica ti o n ,   so lu ti o n   o b jec ti v e s,  d e sig n   a n d   d e v e lo p m e n t,   d e m o n stra ti o n ,   e v a lu a ti o n ,   a n d   c o m m u n ica ti o n .   T h e   re tri e v a l - a u g m e n te d   g e n e ra ti o n   a ss e ss m e n t  ( RA G AS )   e v a lu a ti o n   i n d ica ted   th a t   c o m b i n e d   m o d e l  o f  tex t - e m b e d d in g - a d a - 0 0 2   a n d   s e m a n ti c   c h u n k in g   y iel d e d   t h e   b e st  re su lt s,  with   c o n tex t  p re c isio n = 0 . 8 3 ,   c o n tex t  re c a ll = 0 . 9 0 ,   re sp o n se   re le v a n c y = 0 . 9 1 ,   fa it h fu l n e ss = 0 . 8 3 ,   a n d   a n sw e r  c o rre c tn e ss = 0 . 8 5 .   Us e r  e x p e rien c e   q u e stio n n a ire   (UEQ)  tes ti n g   p e rf o rm e d   we ll ,   p a rti c u larly   in   t h e   n o v e lt y   a n d   stim u l a ti o n   d ime n sio n s.  T h e se   re su lt s  d e m o n stra te  th a t  RIVA   c a n   p ro v id e   u se rs  with   a c c e ss   to   re lev a n t  a n d   e n g a g i n g   i n fo rm a ti o n .   As   a   re su lt ,   fu t u re   re se a rc h   will   fo c u s  o n   imp ro v in g   re tri e v a l  a n d   d e v e lo p in g   a d a p t iv e   se m a n ti c   c h u n k in g   f o r  stru c t u re d   a n d   c o m p lex   d a ta.   K ey w o r d s :   Desig n   s cien ce   r esear ch   L ar g e  lan g u ag e  m o d els   R I VA   R etr i e v al - a u g m e n te d   g e n e r at io n   R AGAS   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   I   Ketu t Res ik a  Ar th an a   Pro g r a m   St u d y   o f   C o m p u t er   Sc ien ce ,   Fa cu lt y   o f   E n g i n ee r i n g   a n d   V o ca t io n al,   U n i v er s i tas   Pe n d i d i k a n   Ga n esh a   Ud ay an a  Stre et,   Sin g ar aja,   B u lelen g ,   B ali,   I n d o n esia   E m ail: r esik a@ u n d ik s h a. ac . id       1.   I NT RO D UCT I O N   Or g an izatio n al  web s ites   ar e  a   p r im ar y   ch a n n el  f o r   in f o r m a tio n   ac ce s s ;  h o wev er ,   u s er s   o f ten   f ac e   d if f icu lties   d u e  to   m an u al  s ea r ch es,  co m p lex   n av ig atio n ,   an d   u n in t u itiv e  in ter f ac es,  wh ich   r ed u ce   u s er   s atis f ac tio n   an d   s er v ice  ef f ec tiv en ess .   T o   ad d r ess   th e  g r o win g   d em an d   f o r   f ast  an d   ac cu r ate   in f o r m atio n   ac ce s s ,   a r tific ial  in tellig en ce   ( AI ) ,   p a r ticu lar ly   AI   b ased   v ir tu al  ass is tan ts ,   h as   em er g ed   as  a  p r o m is in g   s o lu tio n   to   s im p lify   in f o r m ati o n   r etr ie v al  an d   en h a n ce   u s er   e x p er ien ce .   I n   th is   co n tex t,  lar g e  lan g u ag e   m o d els  ( L L M)   as   g en er ativ e  AI   h as  ch a n g ed   th e  way   p eo p le  in ter ac t  with   in f o r m atio n   s y s tem s .   L L Ms  r esear ch   an d   p r ac tical   ap p licatio n   co n tin u o u s ly   ad v a n ce ,   g en e r atin g   v ar io u s   tech n o lo g ical  in n o v atio n s   [ 1 ] ,   [ 2 ] .   A s   o n e  o f   t h e  p o p u lar   LLM - b ased   ap p licatio n s ,   C h atGPT   h as a ttra cted   g lo b al  atten tio n   d u e  to   its   ab ilit y   to   m an ag e  lan g u ag e - r elate d   task s   in   co n v e r s atio n   [ 3 ]   a n d   en h an ce   p r o d u ctiv ity   in   r esear ch   an d   ac ad em ia   [ 4 ] ,   [ 5 ] .   L ar g e  tex t  d atasets   ar e   u s ed   to   tr ain   L L Ms,  en ab lin g   th em   to   g en e r ate  co h er en t   an d   co n tex t u ally   r ele v an t  r esp o n s es  [ 6 ] .   L L Ms  h a v e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  16 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   237 - 2 4 6   238   b ee n   wid ely   ap p lied   i n   v ar io u s   f ield s   an d   d o m ain s ,   wh ich   in clu d e  ed u ca tio n   [ 7 ] ,   h ea lth ca r e  [ 8 ] – [ 1 0 ] ,   s o f twar e  d ev elo p m e n t  [ 1 1 ] ,   [ 1 2 ] ,   a n d   in d u s tr y   [ 1 3 ] .   L L Ms  ex is ten c e  also   cr ea tes  o p p o r tu n ities   f o r   o r g an izatio n s   t o   im p lem en t  th em   as  v ir tu al  a s s is tan ts ,   im p r o v in g   in f o r m at io n   s er v ices  b y   r ec eiv in g   an d   f o llo win g   u p   o n   cu s to m er   f ee d b ac k   to   im p r o v e   s er v ice  q u ality   an d   u s er   e x p er ien ce   [ 1 4 ] ,   [ 1 5 ] .   L L Ms  s till   f ac e  lim itatio n s   wh en   in te g r ated   in to   o r g a n izatio n al  web s ites   alth o u g h   th ey   h av e  m a d e   r ap id   p r o g r ess .   Alth o u g h   tr ain ed   u s in g   lar g e   d atasets ,   th eir   k n o wled g e  s tay s   s tatic  an d   o f te n   f ails   to   ca p tu r e  t h e   s p ec if ic  co n tex t  o f   an   o r g an iza tio n ,   n ec ess i tatin g   ex ten s iv e  r e tr ain in g   [ 1 6 ] .   A d d itio n ally ,   L L Ms  f ac e  ch allen g es  lik e  h allu cin atio n s   [ 1 7 ] ,   f alsi f icatio n   [ 1 8 ] ,   a n d   ir r atio n al  r esp o n s es  in   ce r tain   co n tex ts   [ 1 9 ] .   T h e  r etr iev al - au g m en ted   g en er atio n   ( R AG)   ap p r o ac h   h as  em er g e d   as  a  p r o m is in g   s o lu tio n   to   ad d r ess in g   th ese  is s u es.  R AG   allo ws  L L Ms  to   ac ce s s   an d   i n teg r ate  r ea l - tim e  in f o r m atio n   f r o m   ex te r n al  s o u r ce s ,   r esu lt in g   in   co n te x tu ally   r elev an t  an d   u p - to - d ate  r esp o n s es  [ 6 ] .   C o m b in in g   L L Ms  with   R AG  as s is t s   in   o v er co m in g   th e  lim itatio n s   o f   s tatic  k n o wled g e   an d   ex p a n d s   th eir   r o le   as  in tellig en t   ass is ta n ts   in   o r g an izatio n al   en v ir o n m en ts .   R AG  r esear ch   is   co n s tan tly   ev o l v in g ,   h ig h lig h tin g   its   e v o lu tio n   th r o u g h   t h r ee   p a r ad ig m s :  n a iv e  R AG,   ad v an ce d   R AG,   an d   m o d u lar   R AG  [ 2 0 ] .   Naiv e  R AG  im p lem en ts   a  s im p le  r etr iev e - an d - r ea d   p r o ce s s ,   wh ile  a d v an ce d   R AG  in tr o d u ce s   q u er y   r ewr itin g   an d   co n te x t  o p tim izatio n .   L astl y ,   m o d u lar   R AG  co n n ec ts   r et r iev al,   m em o r y ,   a n d   g en er atio n   f o r   d o m ain - s p ec if i c  r ea s o n in g .   T h is   ev o lu tio n   in d icate s   a  s h if t  in   R AG  f r o m   a  s tatic  d ata  r etr iev al  m o d el  to   an   ad a p tiv e  f r am ew o r k   th at  s u p p o r ts   co m p lex   d ec i s io n - m ak in g .   I ts   ef f ec tiv en ess   h as  b ee n   v alid ated   in   v ar io u s   f ield s ,   in clu d i n g   au to n o m o u s   v eh icle  s y s tem s   th at  in teg r ate  R AG  an d   L L Ms  f o r   ac cu r ate  r ea l - tim e   in f o r m atio n   d eliv er y   [ 2 1 ] .   R etr iev al - au g m e n ted   g en er atio n   a s s es s m en t  ( R AGAS)   f r am ewo r k   g en er ally   u s ed   to   ev alu ate  p er f o r m a n ce   [ 2 2 ] ,   m e asu r in g   th e   q u ality   o f   in f o r m at io n   r etr ie v al  an d   g e n er atio n   th r o u g h   m etr ics  s u c h   as c o n tex t p r ec is io n ,   c o n tex t  r ec all,   f aith f u ln ess ,   an d   a n s wer   r elev an ce .   T ab le  1   d is p lay s   a  co m p ar is o n   b etwe en   ex is tin g   R AG - b ased   s y s tem s   an d   f r am ewo r k s ,   b y   h i g h lig h tin g   th e  r ea l - tim e   in tellig en t  v ir t u al  ass is tan t  ( R I VA)   u n iq u e   co n tr i b u tio n s   i n   r ea l - tim e  s y n ch r o n izatio n   an d   em p ir ical  ev alu atio n .   Mo s t  o f   th e  p r ev io u s   s tu d ies  f o cu s ed   o n   d o m ain - s p ec if ic  o r   g en er al  f r am ewo r k s ,   lik e   L an g C h ain   a n d   C h atGPT   Plu g in s ,   wh ich   h av e   n o t  y et   ad d r ess ed   r ea l - tim e  in teg r atio n   with   o r g a n iza tio n al  web s ites ,   p ar ticu lar ly   i n   ed u ca tio n al  en v ir o n m e n ts .   T h is   s tu d y   in tr o d u ce s   R I VA,   wh ich   is   b u ilt b ased   o n   L L M  an d   R AG  in teg r ati o n   t o   ad d r e s s   th ese  g ap s .   R I VA  in teg r ates  W o r d Pre s s   co n ten t  m a n ag e m en t  s y s tem   ( C MS)   s y n ch r o n izatio n ,   u s er   ex p er ie n ce   q u esti o n n air e  ( UE Q) - b ase d   u s er   e x p er ie n ce   ev al u atio n ,   an d   lo ca l   lan g u ag e  ad ap tatio n   f o r   I n d o n esian   u s er s .   As  an   ex am p le,   a  ca s e  s tu d y   co n d u cted   at  Un iv er s itas   P en d id ik an   Gan esh a   ( Un d ik s h a)   s h o ws  th at  th e   co m b in atio n   o f   L L M  an d   R AG  c an   f ac ilit ate  ac cu r ate,   u p - to - d a te,   an d   u s er - f r ie n d ly   ac ce s s   to   o r g an izatio n al  in f o r m atio n .       T ab le  1 .   B en ch m a r k in g   R AG - b ased   s y s tem s   an d   f r am ewo r k s   S y st e m/ p a p e r   F o c u s/ d o ma i n   C o n t r i b u t i o n   R A G   a n d   LL M   i n t e g r a t i o n   [ 2 3 ]   G e n e r a l   R A G - LL M   c o n c e p t s   P r o v i d e s  a n   o v e r v i e w   o f   i n t e g r a t i n g   R A G   w i t h   LL M s  a c r o ss  d o m a i n s,   h i g h l i g h t i n g   c o r e   a r c h i t e c t u r a l   p r i n c i p l e s   Ef f i c i e n t   b i o me d i c a l   q u e st i o n - a n sw e r i n g   (QA)  v i a   R A G   [ 2 4 ]   B i o me d i c a l     P r o p o ses  a   r e p r o d u c i b l e   a n d   e f f i c i e n t   R A G   f r a mew o r k   f o r   b i o me d i c a l   q u e st i o n   a n sw e r i n g   O p e n - so u r c e   LLM + R A G   [ 2 5 ]   O p e n - so u r c e   i n t e g r a t i o n   D e mo n st r a t e s h o w   o p e n - so u r c e   LL M s  c a n   b e   i n t e g r a t e d   w i t h   R A G   p i p e l i n e s  f o r   f l e x i b l e   a p p l i c a t i o n s   La n g C h a i n   [ 2 6 ]   G e n e r a l - p u r p o s e   p i p e l i n e s   A   w i d e l y   u se d   o p e n - so u r c e   f r a m e w o r k   p r o v i d i n g   mo d u l a r   t o o l s  f o r   R A G ,   memo r y ,   a n d   a g e n t - b a se d   a p p l i c a t i o n s wit h   i n t e g r a t i o n   t o   v a r i o u s  d a t a b a s e s   C h a t G P T  p l u g i n s  [ 2 7 ]   G e n e r a l - p u r p o s e   a ssi s t a n t s   A   p l u g i n   s y st e m  c o n n e c t i n g   C h a t G P T  w i t h   e x t e r n a l   A P I s,  a l l o w i n g   r e a l - t i me   d a t a   r e t r i e v a l   w i t h i n   t h e   O p e n A I   e c o s y st e m   R I V A   ( t h i s w o r k )   Ed u c a t i o n a l   w e b si t e   C M S   I n t r o d u c e s  a   d o m a i n - sp e c i f i c   R A G   a ss i st a n t   w i t h   r e a l - t i me  i n t e g r a t i o n ,   e v a l u a t i o n   u si n g   U EQ ,   a n d   l o c a l   l a n g u a g e   a d a p t a t i o n   f o r   I n d o n e s i a n   h i g h e r   e d u c a t i o n       2.   M E T H O D   T h is   s tu d y   u tili ze d   th e  d esig n   s cien ce   r esear ch   ( DSR )   ap p r o ac h ,   f o cu s in g   o n   c r ea tin g   in n o v ativ e   ar tifa cts  s u ch   as  s y s tem s ,   m o d els,  o r   m eth o d s   th at  ca n   b e  em p ir ically   v e r if ied .   T h e   DSR   f r a m ewo r k   co m p r is ed   s ix   m ain   s tag es:  p r o b lem   i d en tific atio n ,   s o lu tio n   o b ject iv es,  d esig n   an d   d ev el o p m e n t,  d em o n s tr atio n ,   ev alu atio n ,   a n d   co m m u n icatio n .     2 . 1 .     P r o blem   identif ica t io n   T h e  p r im ar y   is s u e  with   o r g a n izatio n al  web s ites   is   th eir   t r ad itio n al  s ea r ch   s y s tem s   an d   co m p lex   n av ig atio n ,   wh ich   o f ten   m ak e s   it  d if f icu lt  f o r   u s er s   to   f in d   r elev an t  in f o r m atio n .   As  a  r esu lt,  L L M  p r o v id es  a   s o lu tio n   th r o u g h   n atu r al  lan g u ag e - b ased   in te r ac tio n   with o u t  th e  n ee d   to   m an u ally   n av ig ate  th e  in ter f ac e.   Ho wev er ,   in teg r atin g   L L M  with   o r g an izatio n al  web s ites   p o s es  ch allen g es,  esp ec iall y   in   m ain tain in g   s y n ch r o n izatio n   to   k ee p   in f o r m atio n   u p - to - d ate  an d   r elev an t   to   th e  o r g an izatio n al  co n tex t.  T h er ef o r e,   t h is   s tu d y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   239   u tili ze d   R AG  to   in teg r ate  th e   L L M  with   th e   o r g an izatio n al   d atab ase.   Ho wev er ,   R AG  s ea r ch   r esu lts   wer e   n o t  alwa y s   r elev an t  to   th e  co n tex t ,   n ec ess itatin g   a  co m p ar is o n   o f   v ar io u s   ch u n k in g   an d   e m b ed d in g   tech n i q u es  to   d eter m in e  th e  o p tim al  co n f ig u r atio n   f o r   g en e r atin g   ac c u r ate  an d   co n tex tu al  r esp o n s es.     2 . 2 .     O bje c t iv e  o f   a   s o lutio n   T h i s   s tu d y   a im ed   to   en h an ce   t h e  ab il ity   o f   L L M - b a s ed   s y s te m s   to   p r o v id e   r e lev an t  an d   c o n tex tu a lly   r el ev an t  an s w er s   o n   o r g an iz a tio n al  web s it es .   T h e  R AG  a p p r o ac h   wa s   ap p li ed   to   co n n ec t  th e  L L M  wi th   o r g an i za tio n a l  d at ab a s es ,   en s u r in g   t h at  th e  g en er at ed   in f o r m at io n   r e m a in ed   u p   to   d a te.   T h e  s tu d y 's  p r i m ar y   f o cu s   wa s   to   d e ter m in e  th e  m o s t  ef f e ct iv e  co m b in a tio n   o f   ch u n k in g   an d   em b e d d in g   f o r   p r o d u cin g   an   ac cu r a te   in f o r m at io n   r et r i ev a l  p r o ce s s ,   s e r v in g   a s   a  b a s i s   f o r   d ev e l o p in g   a  r e s p o n s iv e   an d   co n t ex tu al ly   in t el lig en t  s e ar ch   s y s te m .     2 . 3 .     Desig n a nd   d ev elo pm en t   T h e  s tu d y   em p lo y e d   a  s y s tem   d esig n   co m p r is in g   two   in ter r elate d   ar c h itectu r es.  First,  th e   im p lem en tatio n   a r ch itectu r e  ( Fig u r e  1 )   r ep r esen ted   th e  R I V A  s y s tem   d ep lo y m e n t  o n   th e  o r g an izatio n al  web s ite  as  an   L L M - b ased   in f o r m atio n   r etr iev al  s o lu tio n ,   with   th e  o v e r all  p r o ce s s   in teg r atio n   b etwe en   th e  o r g an izatio n al   web s ite  an d   R I VA  ( Fig u r e  2 ) .   Seco n d ,   th e  ex p e r im en tal  ar ch itectu r e  ( Fig u r e  3 )   was  d ev elo p ed   to   ev alu ate   v ar io u s   co m b in atio n s   o f   c h u n k in g   an d   em b e d d in g   tech n i q u es,   id en tify in g   th e  m o s t  ef f ec tiv e   co n f ig u r a tio n   p r io r   to   im p lem en tatio n   in   th e  m ain   s y s tem .   T h ese  two   ar ch itectu r es  wer e  iter ativ e  an d   co m p lem en tar y ,   wh er e  th e   ex p er im en tal  ar ch itectu r e ’ s   r esu lts   wer e  u s ed   to   r ef in e  th e  im p lem en tatio n   ar ch itectu r e,   en s u r in g   th at  th e  f in al   s y s tem   p r o v id ed   m o r e   ac cu r at e,   r elev an t,  a n d   co n tex tu ally   a p p r o p r iate  r esp o n s es.           Fig u r e  1 .   Ar c h itectu r e  o f   R I VA           Fig u r e  2 .   Pro ce s s   in teg r atio n   o r g an izatio n   web   to   R I VA       2. 3 . 1 .  Desig n  a rc hite ct ure  imp lem ent a t io n  ( RIVA)   As s h o wn   in   Fig u r e  1 ,   th e  R I VA  ar ch itectu r e  in teg r ated   a  r ea l - tim e  web   s y n ch r o n izatio n   m o d u le  an d   a  R AG  p ip elin e  th at  p r o ce s s es  u s er   q u e r ies  th r o u g h   th e   r etr i ev al  an d   g en er atio n   s tag es.  T h is   f ig u r e  p r esen ts   a   h ig h - lev el  s y s tem   ar ch itectu r e  th at  s h o ws  h o w  u s er   q u er i es  ar e  p r o ce s s ed   th r o u g h   a  co m b in atio n   o f   web   in teg r atio n   m o d u les  an d   R AG  co m p o n en ts ,   allo win g   f o r   r ea l - tim e  in f o r m atio n   r etr iev al   f r o m   u p d ated   we b s ite  s o u r ce s   v ia  L L M  v ir tu al  ass is tan ts .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  16 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   237 - 2 4 6   240   i)   Mo d u le  web   i n teg r atio n :  v ar io u s   web s ite  an d   R AG  in teg r atio n   m ec h a n is m s   wer e  ex am in e d   to   d eter m in e   an   ef f icien t  a n d   s ec u r e  s o lu tio n .   W eb   s cr ap in g   o f f er s   im p le m en tatio n   s im p licity   an d   d ata   f lex ib ilit y   b u t   in v o lv es  leg al  co n ce r n s   an d   v u ln er ab ilit y   to   ch an g es  in   web s ite  s tr u ctu r e,   wh i le  b u ilt  in   API s   p r o v id e   g r ea ter   s tab ilit y   with   lim ited   ac ce s s   to   co n ten t.   Acc o r d i n g ly ,   th is   s tu d y   em p l o y ed   a  c u s to m   API   to   m ain tain   f u ll  co n tr o l  o v e r   d ata   f lo w  an d   en s u r e  s ec u r ity   th r o u g h   to k e n - b ased   au th e n ticatio n .   As  s h o wn   in   Fi g u r e  2 ,   c o n ten t  u p d ates  ac tiv ate  web h o o k s   th at  s y n ch r o n i ze   d ata  to   R I VA  f o r   s to r a g e,   s eg m en tatio n ,   an d   v ec to r   in d e x in g ,   s u p p o r tin g   ac cu r ate  an d   r eliab le  r ea l tim e  in f o r m atio n   r etr ie v al.   ii)   Mo d u le  r e tr ie v al   a u g m en te d   g e n e r a ti o n :  t h e   R AG   m o d u le  s er v ed   as  t h e  c o r e  c o m p o n e n t  o f   R I VA,   d es ig n e d   to   e n r ic h   u s e r   q u e r i es  a n d   g en er ate   ac c u r ate ,   c o n te x t u al ,   a n d   r elia b l e  r es p o n s es  b y   in te g r ati n g   f ac tu al   a n d   r e al  t im e  k n o wle d g e   f r o m   e x ter n al  s o u r ce s ,   t h er eb y   e n h a n cin g   L L M  ca p a b i liti es  w h i le   m iti g ati n g   t h e   lim i tat io n s   o f   s tat ica ll y   t r ai n e d   m o d els   a n d   r e d u ci n g   h a ll u ci n ati o n s .   I n   th is   s t u d y ,   t h e  R AG  p i p el in e  b eg an   wit h   d o c u m en t  ch u n k i n g   a n d   em b e d d i n g ,   w h e r e   l o n g   o r   u n s tr u ct u r e d   te x ts   we r e   s e g m e n t e d   in to   c o h e r e n t   u n its   b ase d   o n   n a tu r al   la n g u a g e  b o u n d a r i es   a n d   tr an s f o r m ed   i n t o   n u m e r ic al   r e p r ese n t ati o n s   u s i n g   la n g u ag e   m o d els,   e n a b l in g   s e m a n ti c  s i m ila r it y   r e c o g n i ti o n   b e y o n d   s u r f ac e   le v el  w o r d   m at c h i n g .   T h es e  e m b e d d i n g s   wer e  s to r e d   i n   a  v ec t o r   d a ta b as e  t o   s u p p o r t  f ast   a n d   ac c u r ate   s im il ar it y   s ea r c h ,   w it h   F ac eb o o k   AI   s i m il ar it y   s ea r c h   ( FA I SS )   s ele cte d   f o r   it s   s ca la b il it y ,   h i g h   p e r f o r m a n c e,   a n d   s u it ab ili ty   f o r   r ea l   ti m e   r et r ie v a l  in   a   u n i v e r s it y   we b s it e  co n t e x t.   I n f o r m a ti o n   r et r i ev al   e m p lo y ed   a   h y b r id   s t r a te g y   t h a t  co m b i n e d   v ec t o r   b as e d   s em a n t ic  s ea r c h   an d   B M 2 5   l ex i ca l  r et r ie v al  t o   b a la n c e  c o n te x t u al  r el e v a n c e  a n d   k e y w o r d   p r e cisi o n ,   f o ll o we d   b y   r e f i n em en t  u s i n g   th e   B A AI   B G E   R er a n k er   la r g e  m o d el   t o   s el ec t  th e   m o s t   r e le v a n t   p ass ag es.   Fin all y ,   th e  r e f i n e d   c o n t ex t w a s   p r o ce s s ed   b y   t h e  GPT  4 o   m o d el   d u r i n g   t h e  g e n e r ati o n   s ta g e   to   s y n t h esi ze   f l u e n t ,   f a ct u al l y   co n s is te n t ,   an d   u s e r   al ig n ed   r es p o n s es,   e n s u r in g   r e lia b l e  in f o r m ati o n   d e li v e r y .       2 . 3 . 2 .   Desig n a rc hite ct ure  ex perim ent   T h is   s tag e  m ain ly   f o cu s ed   o n   test in g   co m b i n atio n s   o f   v a r io u s   ch u n k in g   s tr ateg ies  an d   e m b ed d in g   m o d els  to   d is co v er   th e   m o s t  ef f ec tiv e  s ettin g s   f o r   g en e r atin g   r elev a n t  co n tex t  an d   ac cu r ate  r esp o n s es.  T h e   d ev elo p m e n t  p r o ce s s   co m p r is ed   p r ep ar i n g   d ata  f r o m   th e  o r g an izatio n al  web s ite,   im p lem en tin g   R AG  p ip elin es   f o r   r etr iev al  an d   g en er atio n ,   a n d   ev alu atin g   r esu lts   u s in g   R AGAS  m etr ics.  A s   a  r esu lt,  th i s   s tag e  wil l f o r m   th e  b asis   f o r   f in al  d esig n   d ec is io n s   to   b e  ap p lied   t o   th e  R I VA  s y s tem   im p lem en tatio n   ar ch itect u r e .   T h e  ex p e r im en tal  ar ch itectu r e  f lo w  u s ed   to   d eter m in e  t h e  o p tim al  ch u n k i n g   an d   e m b ed d in g   co n f ig u r atio n s   in   th e  R I VA  s y s tem   is   s h o wn   in   Fig u r e  3 .   B ased   o n   th e  f lo w,   th e  p r o ce s s   b eg an   with   d ata  co llectio n   f r o m   th e  r esear ch ' s   m ain   s o u r ce ,   n am ely   th e  o r g a n izati o n ’ s   o f f icial  web s ite.   B a s ed   o n   th is   d ata,   a   d ataset  co n tain in g   2 0 0   q u esti o n - an s wer   p air s   i n   I n d o n esian   was  d ev elo p ed   u s in g   GPT - 4 o .   Fu r th er m o r e,   ea c h   p air   was  v er if ied   b y   two   ex p e r ts   to   en s u r e  its   r elev an ce ,   ac cu r ac y ,   an d   co n s is ten cy   with   th e  web s ite  co r p u s .   An   ex am p le  d ataset  is   p r esen ted   i n   T ab le  2 .           Fig u r e  3 .   Desig n   a r ch itectu r e  ex p er im en t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   241   T ab le  2 .   E x am p le  d atasets   I n p u t   Ex p e c t e d   o u t p u t   W h e n   t o   f i l l   i n   t u i t i o n   f e e   d a t a   f o r   S N B P   a t   U n d i k s h a ?   Tu i t i o n   d a t a   s u b mi ss i o n   f o r   S N B P   a t   U n d i k s h a   i s   o p e n   f r o m  M a r c h   2 8   t o   A p r i l   5 ,   2 0 2 4 .   C a n   st u d e n t s   w h o   p a ss   S N B P   f o l l o w   t h e   S N B T  p r o g r a m ?   S t u d e n t s   w h o   p a ss   t h e   S N B P   a r e   n o t   p e r mi t t e d   t o   p a r t i c i p a t e   i n   t h e   S N B T   o r   t h e   i n d e p e n d e n t   p r o g r a m se l e c t i o n   ( S M B J M ) .       T h e  n ex t  s tag e  in v o lv es  th e   ch u n k i n g   an d   em b e d d in g   p r o ce s s .   T h e  tex t  is   d iv id ed   u s in g   th r ee   s tr ateg ies:   f ix ed   ch u n k s   o f   1 , 0 0 0   ch a r ac ter s   with   2 0 0 - c h ar ac ter   o v er la p ,   f ix ed   ch u n k s   o f   5 0 0   ch a r ac ter s   with   100 - c h ar ac ter   o v er lap ,   an d   s em an tic  ch u n k in g   b ased   o n   n at u r al  lan g u ag e  b o u n d ar ies.  E ac h   s tr ateg y   is   test ed   with   th r ee   em b ed d in g   m o d els’  tex t - em b ed d in g - ad a - 0 0 2   ( Op en AI ) ,   in tf lo at/m u ltil in g u al - e5 - b ase,   an d   in d o b e n ch m ar k /in d o b er t - b ase - p 2   to   g e n er ate  s em an tic  v ec to r   r ep r esen tatio n s .   T h ese  em b e d d in g s   ar e  th en   u s ed   in   a  h y b r id   r etr iev al   p r o ce s s   c o m b in in g   v ec t o r - b ased   s em an tic  s ea r ch   an d   B M2 5   lex ical   s ea r ch   to   o b tain   t h e   m o s t  r elev an t  co n tex t.  Fu r th e r m o r e,   th is   s tu d y   u tili ze d   GPT - 4 o   to   p r o ce s s   th e  r etr iev e d   c o n tex t  an d   g en e r ate  r esp o n s es,  wh ich   wer e  e v alu a ted   u s in g   th e  R AGAS  f r am e wo r k   with   f iv e   m etr ics:   co n te x t  ac cu r ac y ,   co n te x t  r ec all,   r esp o n s e  r elev an ce ,   f i d elity ,   an d   an s wer   ac cu r ac y .   T h e  p r o ce s s   en ab led   th e  co m p ar is o n   o f   d if f e r en t  ch u n k i n g   an d   em b e d d in g   co n f ig u r atio n s   to   id e n tify   th e  m o s t e f f ec tiv e  s ettin g s   f o r   R I VA   i m p lem en tatio n .     2 . 4 .     De m o ns t ra t io n   T h e  n ex t  s tep   in   th is   s tu d y   w as  a  d em o n s tr atio n   s tag e.   T h is   s tag e  wa s   p er f o r m ed   to   p r o v e  th at  th e  R I VA  s y s tem   d esig n   was  s u f f icien t  to   o p er ate  as  in te n d ed   f o r   th e  r esear c h   o b jectiv es.  T h e   o p tim al   co n f ig u r atio n   o f   th e   ch u n k in g   an d   em b ed d i n g   e x p er im e n t s   at  t h is   s tag e  was  im p lem e n ted   in to   th e  R I VA  s y s tem .   Fu r th er m o r e,   r ea l - wo r ld   u s ag e  wo u ld   test   th e  s y s t em ,   wh er e  u s er s   s ea r ch   f o r   in f o r m atio n   th r o u g h   n atu r al  lan g u ag e   co n v er s atio n s .   As  a  r esu lt,  ea ch   r eq u est  was  p r o ce s s ed   th r o u g h   R AG,   wh ich   in v o l v ed     v ec to r - b ase d   r etr iev al  an d   an s wer   g en er atio n   u s in g   GPT - 4 o .     2 . 5 .     E v a lua t i o n   T h e  ev alu atio n   s tag e  co m p r is e d   two   co m p o n e n ts :  s y s tem   p e r f o r m a n ce   ev alu atio n   u s in g   th e  R AGA S   f r am ewo r k   an d   u s er   ex p er ien ce   ev alu atio n   u s in g   th e  u s er   UE Q.   R AG AS  wa s   u s ed   to   a s s es s   r etr iev al  an d   g en er atio n   q u ality   b y   m ea s u r in g   th e  r elev an ce   a n d   f ac tu al   co n s is ten cy   o f   r etr iev ed   c o n t ex ts   an d   g en er ated   r esp o n s es.  UE Q  ev alu ated   u s er s ’   p er ce p tio n s   o f   u s ab ilit y ,   ef f icien cy ,   an d   o v er all  s atis f ac tio n ,   p r o v id in g   in s ig h ts   in to   th e  s y s tem ’ s   p r ac tical  ap p licab ilit y .     2 . 5 . 1 .   P er f o r m a nce  e v a lua t io n us ing   RAG A S   T h e  R AGAS  ev alu atio n   s tag e  co m p r is ed   d ataset  p r e p ar atio n ,   co n tex t  r etr ie v al,   an s wer   g e n e r atio n ,   an d   m etr ic  co m p u tatio n   to   ass ess   r etr iev al  an d   g en er atio n   q u ality .   Fiv e  m etr ics  wer e  em p lo y ed :   co n tex t  p r ec is io n ,   co n tex t  r ec all,   an s wer   r elev a n cy ,   f aith f u ln ess ,   a n d   an s wer   co r r ec tn es s .   C o n tex t  p r ec is io n   m ea s u r e d   th e   p r o p o r tio n   o f   r elev an t  ch u n k s   with in   th e  r etr iev ed   co n tex t  u s in g   p r ec is io n @ k ,   in d icatin g   th e  ac cu r ac y   o f   th e   r etr iev al  p r o ce s s .   C o n tex t   r ec all  ev alu ated   th e   s y s tem ’ s   ab ilit y   to   r et r iev e  all   r elev a n t  r ef er en ce   co n tex ts ,   en s u r in g   c o m p leten ess   o f   th e   r etr iev ed   in f o r m atio n .   An s wer   r elev an c y   ass ess ed   th e  s em an tic  r elev an ce   o f   g en er ated   r esp o n s es  to   u s er   q u er ies  b y   co m p u tin g   th e  a v er ag e  co s in e  s im ilar ity   b etwe en   em b ed d in g s   o f   t h e  o r ig in al  q u esti o n   a n d   g en er ate d   q u esti o n s   d er iv ed   f r o m   th e  r e s p o n s e.   Faith f u ln ess   m ea s u r ed   f ac tu al  co n s is te n cy   b y   ca lcu latin g   th e  p r o p o r tio n   o f   an s wer   claim s   th at  co u ld   b e  in f er r ed   f r o m   th e  r etr iev ed   co n tex t.  An s wer   c o r r ec tn ess   ev alu ated   o v er all   r esp o n s e  q u ality   u s in g   a  weig h ted   co m b i n atio n   o f   f ac tu al  co r r ec tn ess   an d   s em an tic  s im ilar ity   b etwe en   g en er ated   an s wer s   an d   g r o u n d   tr u th ,   with   d ef au lt  weig h ts   o f   0 . 7 5   f o r   f ac t u al  co n s is ten cy   an d   0 . 2 5   f o r   s em a n tic  s im ilar ity .     2 . 5 . 2 .   User  ex perience   ev a lua t io n   User   ex p er ien ce   was  ev alu ate d   u s in g   t h e  s tan d a r d   UE Q,   wh ic h   co n s is ts   o f   2 6   item s   d esig n e d   to   ass es s   b o th   p r ag m atic  a n d   h ed o n ic   q u alities   o f   s y s tem   in ter ac tio n .   T h e   ev alu atio n   co v er e d   s ix   d im e n s io n s :   attr ac tiv en ess ,   p er s p icu ity ,   ef f i cien cy ,   d e p en d a b ilit y ,   s tim u latio n ,   an d   n o v elty ,   r e p r esen tin g   o v er all  im p r ess io n ,   ea s e  o f   u s e,   task   ef f ec tiv en ess ,   s y s tem   r eliab ilit y ,   u s er   en g ag em en t,  an d   p er ce i v ed   in n o v ati o n .   T h is   in s tr u m en t   p r o v id e d   a  s tr u ctu r ed   an d   q u a n titativ e  ass es s m en t o f   u s er s ’   p er ce p tio n s   o f   R I VA  d u r in g   s y s tem   u s e.     2 . 6 .     Co mm un ica t io n     T h is   s tag e  d o cu m en ted   an d   d i s s em in ated   th e  s tu d y   r esu lts   th r o u g h   th is   p u b licatio n ,   h ig h lig h tin g   t h e   R I VA ' s   co n ce p tu al   an d   p r ac ti ca l  co n tr ib u tio n s .   T h e   s tu d y   p r esen ted   an   i n n o v ativ e  in teg r a tio n   b etwe en   R AG   an d   u n iv er s ity   web s ites .  I t  also   p r o v id ed   an   em p ir ical  ev alu atio n   f r am ewo r k   th at   co u ld   b e   r ep licated   b y   o th e r   ed u ca tio n al  in s titu tio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  16 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   237 - 2 4 6   242   3.   RE SU L T S AN D  D I SCU SS I O N     I n   th is   s ec tio n ,   th e  s tu d y   d escr ib es  th e  r esu lts   f r o m   im p lem en tin g   an d   ev alu atin g   th e  R I VA  s y s tem .   T h e  d is cu s s io n   f o cu s es  o n   a n aly zin g   t h e  e x p er im e n tal  r esu lts ,   in ter p r etin g   t h e  s y s tem ’ s   p e r f o r m an ce   in   v ar io u s   co n f ig u r atio n s ,   an d   h ig h lig h tin g   im p o r tan t  p a tter n s   o b s er v e d   d u r in g   test in g .   T h u s ,   th ese  r esu lts   ar e  o r g an ized   to   p r o v id e  q u an titativ e  ev id e n ce   an d   in ter p r etiv e  in s ig h ts   th a t su p p o r t th e   s tu d y ’ s   o b jectiv es.     3 . 1 .     Resul t s   3 . 1 . 1 .   P er f o r m a nce  r esu lt s   T ab le  3   p r esen ts   th e  f in al  ex p e r im en tal  r esu lts .   T h e   p er f o r m a n ce   o f   v ar io u s   ch u n k in g   an d   e m b ed d in g   co n f ig u r atio n s   im p lem en ted   in   th e  R I VA  s y s tem   was e v alu at ed   in   th is   ex p er im en t.   T h e   ev a lu atio n   u tili ze d   th e   R AGAS   m etr ic,   co n s is tin g   o f   co n tex t  p r ec is io n ,  co n tex t  r ec all ,  r esp o n s e  r elev an cy ,  f ait h f u ln ess ,   an d   an s wer   co r r ec tn ess .   T h ese  m etr ics  wer e  u s ed   to   m ea s u r e  th e  s y s tem ’ s   ac cu r ac y   an d   c o n s is ten cy   in   r etr iev in g   r elev a n t  co n tex t a n d   g en e r atin g   f ac t u ally   co r r ec t r esp o n s es a cr o s s   v ar io u s   co n f ig u r atio n s .       T ab le  3 .   E v alu atio n   r esu lts   M o d e l   e mb e d d i n g   C h u n k i n g   C o n t e x t   p r e c i si o n   C o n t e x t   r e c a l l   R e s p o n se   r e l e v a n c y   F a i t h f u l n e ss   A n sw e r   c o r r e c t n e ss   Te x t - e m b e d d i n g - a d a - 0 0 2   ( O p e n A I )   F i x e d   ( 1 , 0 0 0 ;   2 0 0 )   0 . 8 2   0 . 9 1   0 . 8 8   0 . 8 5   0 . 8 2   Te x t - e m b e d d i n g - a d a - 0 0 2   ( O p e n A I )   F i x e d   ( 5 0 0 ,   1 0 0 )   0 . 8 0   0 . 8 3   0 . 8 2   0 . 8 5   0 . 7 7   Te x t - e m b e d d i n g - a d a - 0 0 2   ( O p e n A I )   S e ma n t i c   0 . 8 3   0 . 9 0   0 . 9 1   0 . 8 3   0 . 8 5   I n t f l o a t / m u l t i l i n g u a l - e5 - b a s e   F i x e d   ( 1 , 0 0 0 ,   2 0 0 )   0 . 8 3   0 . 8 9   0 . 8 9   0 . 8 5   0 . 7 9   I n t f l o a t / m u l t i l i n g u a l - e5 - b a s e   F i x e d   ( 5 0 0 ,   1 0 0 )   0 . 8 0   0 . 8 4   0 . 8 4   0 . 8 5   0 . 7 7   I n t f l o a t / m u l t i l i n g u a l - e5 - b a s e   S e ma n t i c   0 . 8 1   0 . 8 8   0 . 8 8   0 . 8 8   0 . 8 1   I n d o b e n c h mar k / i n d o b e r t - b a se - p2   F i x e d   ( 1 , 0 0 0 ,   2 0 0 )   0 . 7 6   0 . 7 4   0 . 7 9   0 . 8 4   0 . 7 5   I n d o b e n c h mar k / i n d o b e r t - b a se - p2   F i x e d   ( 5 0 0 ,   1 0 0 )   0 . 8 0   0 . 7 2   0 . 7 4   0 . 8 0   0 . 7 3   I n d o b e n c h mar k / i n d o b e r t - b a se - p2   S e ma n t i c   0 . 7 5   0 . 7 5   0 . 7 8   0 . 8 4   0 . 7 4       A s   s h o w n   in   T ab l e   3 ,   t h er e   ar e   d i s t i n c t   d i f f e r en c e s   in   p er f o r m a n c e   b e t w e e n   e m b e d d i n g   m o d e l s   a n d   c h u n k in g   s t r a t eg i e s .   A s   a   wh o l e ,   t h e  h ig h e s t  a n d   m o s t   c o n s i s t e n t   s co r e s   a c r o s s   a l l   R AG A S   m e t r i c s   w e r e  a c h i ev e d   b y   t h e   t e x t - e m b e d d i n g - a d a - 0 0 2   ( Op en A I )   m o d e l.   E i t h er   f i x ed   c h u n k i n g   o r   s e m a n t i c   ch u n k in g   p r o d u c e d   s t a b le   r e s u l t s ,   w i t h   a l l   v a l u e s   e x c e e d in g   0 . 8 0 .   A d d i t i o n a l l y ,   th e  b e s t  p er f o r m a n c e   w a s   o b s e r v e d   i n   t h e   s e m an t i c   c h u n k i n g   co n f i g u r a t i o n ,   w i th   co n t ex t   p r e c i s io n =0 . 8 3 ,   c o n t ex t   r ec a l l = 0 . 9 0 ,   r e s p o n s e   r e l e v an cy = 0 . 9 1 ,   f a i t h f u ln e s s = 0 . 8 3 ,   a n d   an s w e r   c o r r e c tn e s s = 0 . 8 5 .   T h e s e  f i n d i n g s   in d i ca t e d   th a t   th e   m o d e l  w a s   e x t r e m e l y   ef f e c t iv e   a t   c a p t u r i n g   s e m an t i c   r e l a t io n s h i p s   a n d   m a in t a i n in g   ac c u r a c y   i n   g e n er a t in g   c o n t ex t u a l l y   r e l ev a n t  a n s w er s .   S u b s e q u e n t ly ,   t h e  I n t f lo a t / m u l t i l i n g u a l - e5 - b a s e  m o d e l  a ls o   e x h i b i te d   c o m p e t i t iv e   p er f o r m an c e ,   p a r t i cu l a r ly   in   s em a n t i c  cu t - o f f   s e t t i n g s   ( co n te x t  p r e c i s i o n =0 . 8 1 ,   co n t ex t   r e c a ll = 0 . 8 8 ,   r e s p o n s e  r e l e v an cy = 0 . 8 8 ,   f a i th f u l n e s s = 0 . 8 8 ,   an s w e r   co r r e c t n e s s =0 . 8 1 ) .   D e s p i t e   b e in g   d e s i g n e d   f o r   m u l t i l in g u a l   u s e ,   t h i s   m o d e l   p e r f o r m ed   f av o r ab l y   o n   I n d o n e s i a n   d a t a  d u e  to   i t s   r o b u s t   s e m a n t i c  r e p r e s en t a t i o n .   C o n v e r s e ly ,   t h e   lo w e s t  r e s u l t s   w e r e   r e co r d ed   b y   th e   I n d o b e n c h m a r k /i n d o b er t - b a s e - p 2   m o d e l,   p a r ti c u l a r ly   i n   c o n t ex t   r e c a l l  a n d   a n s w er   co r r e c tn e s s .   I t  i n d i c a t e s   t h at   i t s   e m b e d d i n g   r e p r e s e n t a t io n   w a s   l e s s   p r o f i c i e n t  a t   c a p tu r in g   d e e p   co n t ex t u a l   s i m i la r i t i e s   c o m p ar e d   to   la r g e r   a n d   g e n e r a l - p u r p o s e  m o d e l s ,   d e s p i t e   i n d o b e r t   b e i n g   s p e c i f i c a l ly   t r a in ed   o n   I n d o n e s i a n .   Su m m a r i z in g ,   th e   T e x t - em b ed d in g - a d a - 0 0 2   ( O p e n A I )   m o d e l   w i t h   s e m a n t i c   ch u n k in g   a ch i ev e d   t h e   b e s t   o v e r a l l   p er f o r m a n c e ,   s h o w ca s i n g   th a t   m ea n in g - d r i v e n   s e m an t i c  c h u n k in g ,   co m b i n ed   w i t h   a  r o b u s t   e m b e d d i n g   m o d e l ,   c an   s i g n i f ic a n t ly   im p r o v e  r e tr ie v a l  p r e c i s i o n   an d   f a c t u a l  c o n s i s t e n cy   in   R A G   p i p e l i n e s .     3 . 1 . 2 .     UE Q   r esu lt s   T h e  UE Q  e v alu ated   R I VA  u s er   ex p e r ien ce s ,   m ea s u r i n g   s ix   d im e n s io n s :  attr ac tiv en e s s ,   clar ity ,   ef f icien cy ,   d e p en d a b ilit y ,   s tim u latio n ,   an d   n o v elty .   Fu r th er m o r e,   th e  ass ess m en t  aim ed   to   ex p lo r e  u s er s ’   p er ce p tio n s   o f   th e  s y s tem ’ s   u s ab ilit y ,   r eliab ilit y ,   an d   in n o v atio n .   T h e  ev al u atio n   en g a g ed   u s er s   in   d ir ec t  in ter ac tio n   with   R I VA  to   m ea s u r e  its   ea s e  o f   u s e  an d   u s er   s a tis f ac tio n .   T ab le  4   d em o n s tr ates  th at  R I VA  s co r ed   h ig h ly   ac r o s s   all  d im en s io n s ,   in d icatin g   a   s tr o n g   p o s itiv e  r esp o n s e  f r o m   u s er s .   No v elty   ( 2 . 5 4 8 )   an d   s tim u latio n   ( 2 . 4 5 2 )   r ec o r d ed   th e   h ig h est  av er a g e  s co r es,  in d icatin g   th at  u s er s   f in d   th e   s y s tem   in n o v ativ e,   e n g ag i n g ,   a n d   p lea s an t  to   u s e.   Ad d itio n ally ,   b o th   attr ac tiv en ess   an d   d ep en d a b ilit y   s co r ed   h ig h ly ,   i n d icatin g   th at  th e  in ter f ac e  w as  v is u ally   ap p ea lin g   an d   co n s is ten tly   d eliv er ed   r eliab le  r esu lts .   A  s lig h tly   lo wer   b u t  r em ain in g   p o s itiv e  r atin g   in   th e   p er s p icu it y   an d   e f f icien cy   ca teg o r ies  in d icate d   th at  R I VA  was   ea s y   to   u n d er s tan d ,   in tu itiv e,   an d   ef f ec tiv e  in   ass is tin g   u s er s   in   co m p letin g   task s .   C o m p ar in g   with   th e   UE Q  b en ch m ar k   d ataset  [ 2 8 ] ,   ac r o s s   all  d im en s io n s ,   R I VA  ac h i ev ed   s co r es   in   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   243   ‘ ex ce llen t’   r a n g e,   in d icatin g   h ig h   u s er   ac ce p tan ce   an d   r ec o g n itio n   o f   its   in n o v atio n .   Acc o r d in g ly ,   th e   r esu lts   d em o n s tr ated   th at  R I VA  d eliv er ed   a  p leasan t,   ef f icien t,   an d   m o d er n   u s er   ex p e r ien ce ,   an d   it  is   s u itab le   f o r     r ea l - tim e  in f o r m atio n   ac ce s s .       T ab le  4 .   UE Q  r esu lts   U EQ   sca l e s (m e a n   a n d   v a r i a n c e )   A t t r a c t i v e n e ss   2 . 3 1 7   0 . 06   P e r sp i c u i t y   2 . 2 2 6   0 . 07   Ef f i c i e n c y   2 . 1 6 7   0 . 11   D e p e n d a b i l i t y   2 . 2 8 6   0 . 17   S t i m u l a t i o n   2 . 4 5 2   0 . 06   N o v e l t y   2 . 5 4 8   0 . 07       3 . 2 .     Dis cus s io n   T h e  ex p er im e n ts   d em o n s tr ate d   th at  co m b in in g   h y b r id   r etr i ev al  an d   r er an k in g   s ig n if ica n tly   en h an ce d   s y s tem   p er f o r m an ce   b y   im p r o v in g   t h e  r elev an ce   an d   ac cu r ac y   o f   f ac ts .   I t  was  ac h iev ed   b y   r etr iev in g   ca n d id ate   co n tex ts   u s in g   b o th   s em an tic  a n d   lex ical  s im ilar i ty   an d   r ef in i n g   th em   th r o u g h   r er an k in g .   T h e  s y s tem   im p r o v ed   ac cu r ac y   b u t in cu r r e d   h ig h e r   c o m p u tatio n al  c o s ts   an d   lo n g er   r esp o n s e  tim es.  T h o s e  co n s id er atio n s   ca n   lead   to   s ca lab ilit y   ch allen g es  in   r ea l - t im e  en v ir o n m en ts ,   s u ch   as  R I VA.   T h e  d etails  o f   f ailed   c as es  ( R AGAS  s co r e   <0 . 7 )   a r e  p r esen ted   in   f i v e  c ateg o r ies:   m is r etr iev al,   p ar tia l  o r   r ed u n d a n t  an s wer s ,   co n tex t  lo s s ,   s em an tic  m is m atch ,   an d   tab le  p ar s in g   er r o r s ,   as  s h o wn   in   T ab le  5 .   Misre tr iev al  ( 3 0   ca s es)  an d   p ar tial  o r   r ed u n d an t   an s wer s   ( 2 8   ca s es)  o cc u r r ed   m o s t  f r eq u e n tly ,   f o llo wed   b y   c o n tex t  l o s s   ( 2 1   ca s es),   s em an tic  m is m atch     ( 1 2   ca s es),   an d   tab le  p ar s in g   er r o r s   ( 1 0   ca s es).   T h ese  f r eq u en cies  in d icate d   th at  r etr iev al  f ailu r es  wer e  th e   p r im ar y   s o u r ce   o f   er r o r   in   o u r   im p lem en tatio n .       T ab le  5 .   E r r o r   a n aly s is   Er r o r   t y p e   F r e q u e n c y   Ex a m p l e   c a s e   Er r o r   c a u s e   M i sr e t r i e v a l   30   W h i c h   st u d y   p r o g r a ms   r e q u i r i n g   a   TO EFL t e st   r e s u l t ?   Th e   r e t r i e v e r   f a i l e d   t o   f i n d   se man t i c a l l y   r e l e v a n t   c o n t e x t ,   o f t e n   d u e   t o   w e a k   e mb e d d i n g   mi sma t c h e s   o r   l a c k   o f   d o ma i n - sp e c i f i c   k e y w o r d s.   P a r t i a l / r e d u n d a n t   a n sw e r   28   W h a t   d o c u m e n t s  m u st   b e   sc a n n e d   a n d   u p l o a d e d   f o r   re - r e g i st r a t i o n ?   Th e   m o d e l   g e n e r a t e d   p a r t i a l l y   c o r r e c t   o r   r e p e t i t i v e   r e s p o n ses   d u e   t o   i n c o m p l e t e   c o n t e x t   a g g r e g a t i o n   d u r i n g   a u g me n t a t i o n .   C o n t e x t   l o ss   21   W h e n   s h o u l d   S N B T  p r o sp e c t i v e   st u d e n t s   a t   U n d i k s h a   f i l l   o u t   t h e   t u i t i o n   p a y me n t   f o r m ?   R e l e v a n t   i n f o r mat i o n   w a s  s c a t t e r e d   a c r o ss   v a r i o u s  c h u n k s,  l e a d i n g   t o   f r a g m e n t e d   c o n t e x t   r e t r i e v a l .   S e ma n t i c   m i sma t c h   12   W h a t   d o c u me n t s  mu s t   b e   p r e p a r e d   a n d   u p l o a d e d   d u r i n g   re - r e g i st r a t i o n ?   Th e   sy s t e m   mi s u n d e r st o o d   t h e   u ser ’ s  i n t e n t ,   r e su l t i n g   i n   r e t r i e v a l   f r o m  u n r e l a t e d   c o n t e x t s .   Ta b l e   p a r si n g   e r r o r   10   H o w   m u c h   d o e s  i t   c o st   t o   st u d y   c o m p u t e r   sci e n c e ?   Th e   mo d e l   c a n n o t   n o t   i n t e r p r e t   r e l a t i o n s h i p s   b e t w e e n   t a b l e   h e a d e r s  a n d   c e l l   v a l u e s  e x t r a c t e d   f r o m st r u c t u r e d   d a t a .       Mi s r etr iev al  er r o r s   ar o s e  w h en   th e  r etr iev al  s y s tem   f a il ed   to   ch o o s e  s em an t ic al ly   r el ev an t     p ar ag r ap h s .   T h i s   wa s   m o s t p r o b ab ly   ca u s ed   b y   m i s m at ch e s   b et we en   e m b ed d in g s   an d   q u e r ie s ,   o r   b y   a  lack   o f   d o m ain - s p ec if ic  c u e s .   Par ti al   o r   r ep e ti t iv e  an s wer   er r o r s   t en d ed   to   o c cu r   wh en   t h e  r e tr iev e d   co n tex t  w a s   in co m p le te   o r   in s u f f ic ien tly   o v er l ap p i n g ,   l ea d i n g   th e  g en er a tio n   m o d el   to   r ep ea t  co n t en t   o r   o m it   c r u c ia l   in f o r m at io n .   C o n t ex t   lo s s   o cc u r r ed   wh en   r e lev an t   in f o r m at i o n   w as   s ca tt er e d   a cr o s s   m u lt ip le  ch u n k s ,   r e s u lt i n g   in   f r ag m en t ed   r e tr i ev a l  d u r i n g   s eg m en t at io n .   W h il e  s e m an t ic   m i s m a tch e s   o cc u r r ed   wh en   th e   s y s t em   m i s u n d e r s to o d   u s er   i n t en t,   ca u s in g   r e tr iev a l   f r o m   u n r el at ed   co n t en t.  Ad d it io n a lly ,   tab le   p ar s in g     er r o r s   o cc u r r ed   wh en   th e   m o d el   w a s   u n ab l e   to   co r r ec t ly   i n f er   th e  as s o ci at io n s   b e tw ee n   t ab l e  h ea d er s   an d     ce l l  v alu es   in   s tr u c tu r ed   d ata ,   p ar t icu lar ly   in   c as e s   wh er e  ch u n k in g   s ep ar at e d   r o w s   f r o m   th ei r     co r r e s p o n d in g   h ea d er s .   T h e s e  o b s er v at io n s   wer e  co n s is ten t  w ith   th e  r es u l t s   r e p o r t e d   in   ev a lu a t in g   r etr iev al   q u a l i ty   in   R AG   [ 2 9 ] ,   wh ich   h ig h l ig h t ed   th at   d o cu m en t  r et r ie v a l  q u al it y   wa s   o f t en   a  m a jo r   f ac to r   l i m it in g   th e  g en e r a l   p er f o r m an c e  o f   R AG .   L ik e w is e,   th e   s u r v ey   ev a lu a t io n   o f   R AG :  a  s u r v ey   [ 3 0 ]   h ig h lig h ted   th a t  r etr ie v a l   r el ev an ce ,   a cc u r ac y ,   an d   f a ith f u ln e s s   r em ain   p er s i s ten t  ch a l le n g es   in   h y b r id   s y s tem s .   Up o n   s u c ce s s f u l  co n tex t  r etr iev al  in   o u r   ex p e r im en t ,   t h e  g en e r a tio n   m o d u l e  co n s i s t en t ly   g en er a ted   co h e r en t  an d   f ac tu a lly   ac cu r a t e   r es p o n s e s ,   a f f ir m in g   th at   co n tex t  r et r i ev a l  r o b u s tn e s s   is   a  c r i ti ca l  f ac to r   af f ec ti n g   s y s t em   a cc u r ac y   an d   r el iab il i ty .   Mo v in g   f o r war d ,   f u tu r e   im p r o v e m en ts   s h o u ld   f o cu s   o n   r ef i n in g   ad ap t iv e   s e m an t ic   ch u n k in g   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  16 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   237 - 2 4 6   244   p r e s er v e  co n tex tu a l  r e la tio n s h ip s ,   en h a n c in g   em b ed d in g   alig n m en t  to   b et ter   c ap tu r e  d o m a in - s p e cif ic   s em an ti cs ,   an d   d ev elo p in g   r etr iev al   m o d e l s   th a t  a r e  aw ar e  o f   s tr u c tu r a l  r el at io n s h i p s   in   tab u la r   an d   h ier ar ch ic al   d o cu m en ts ,   w h i le   m ai n t ain in g   a  b a lan ce   b e tw e en   a cc u r ac y   an d   co m p u ta tio n al  ef f ic ien c y   in   th e   r eo r d er in g   p r o c e s s .       4.   CO NCLU SI O N   B ased   o n   th e  L L M – R AG  f r am ewo r k ,   th e  d ev el o p m en t  o f   R I VA  d em o n s tr ated   its   ca p ab ilit y   to   en h an ce   r ea l - tim e  ac ce s s   to   o r g an izatio n al  i n f o r m atio n   w h ile  im p r o v in g   u s er   ex p e r ien ce .   B y   in teg r atin g   L L Ms  with   R AG,   th e  s y s tem   g en er at ed   ac cu r ate,   r elev an t,   an d   co n t ex tu ally   co h er en t  r esp o n s es  d i r ec tly   g r o u n d ed   in   ac tiv e  web s ite  d ata,   an d   its   d ep lo y m en t   o n   th e  Un d ik s h a  web s ite  co n f ir m ed   th e  f ea s ib ilit y   o f   R AG - b ased   in tellig en t  ass is tan t s   in   ed u ca tio n al  en v ir o n m en ts .   E v al u atio n   u s in g   th e  R AGAS  f r am ewo r k   s h o we d   co n s is ten t ly   h ig h   s co r es  ac r o s s   all  m etr ics,  in d icatin g   r eliab le  r etr iev al  an d   g e n er atio n   p er f o r m an ce ,   with   th e  co m b in atio n   o f   s em an tic  c h u n k in g   a n d   th e   tex t - em b e d d in g - ad a - 0 0 2   m o d el  ac h iev i n g   th e   b est  r esu lts .   E r r o r   an aly s is   r ev ea led   th at  d ata  r e tr iev al  r em ain s   th e  m o s t  ch al len g in g   co m p o n en t,  p ar ticu la r ly   f o r   tab u lar   an d   s tr u ctu r ally   co m p lex   d ata,   wh i le  th e  g en e r atio n   s tag e   p r o d u c ed   co h e r en t  a n d   f ac tu ally   co n s is ten t  o u tp u ts   o n ce   r elev an t c o n tex t w as r etr iev ed .   User   ex p er ien ce   ev alu atio n   f u r th er   in d icate d   s tr o n g   p er f o r m an ce ,   esp ec ially   in   n o v elty   a n d   s tim u latio n ,   s u g g esti n g   p o s itiv e  u s er   ac ce p tan ce ,   an d   f u tu r e  w o r k   s h o u ld   f o cu s   o n   im p r o v in g   s tr u ctu r ed   d ata  r etr iev al,   a d ap tiv e  s em an tic  p r o ce s s in g ,   an d   s ca lab ilit y   to   s u p p o r t  s u s tain ed   r ea l - tim e   in f o r m atio n   ac ce s s   in   h ig h er   e d u ca tio n   c o n tex ts .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  f u n d ed   b y   th e  Dir ec to r ate  o f   R esear ch ,   T ec h n o lo g y ,   a n d   C o m m u n it y   Ser v ice   ( DR T PM) ,   Min is tr y   o f   E d u ca tio n   a n d   C u ltu r e,   R ep u b lic  o f   I n d o n esia,   u n d er   co n tr ac t  n u m b e r s   0 8 1 /E5 /PG.0 2 . 0 0 . PL/2 0 2 4   a n d   3 7 1 /UN4 8 . 1 6 /LT / 2 0 2 4 .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   I   Ketu t Res ik a  Ar th an a   ✓   ✓   ✓   ✓     ✓       ✓   ✓     ✓   ✓   ✓   Ni  Pu tu   No v ita  Pu s p a  Dewi   ✓   ✓         ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓   G e d e   A r n a   J u d e   S a s k a r a   ✓     ✓   ✓   ✓     ✓       ✓       ✓   ✓   I   M a d e   A r d w i   P r a d n y a n a   ✓   ✓         ✓   ✓     ✓           ✓   L u h   I n d r ay a n i             ✓     ✓   ✓   ✓       ✓       C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au t h o r s   d ec lar e   th at  th e y   h av e  n o   k n o wn   c o m p etin g   f in an cial  in ter ests   o r   p er s o n al  r el atio n s h ip s   th at  co u ld   h av e  ap p ea r ed   t o   in f lu en ce   th e  wo r k   r e p o r te d   in   t h is   p ap er .   Au th o r s   s tate  n o   co n f lict o f   in ter est.       DATA AV AI L AB I L I T Y   T h e  d ata   th at  s u p p o r t  th e   f in d in g s   o f   th is   s tu d y   ar e   av ailab le   f r o m   th e  c o r r esp o n d in g   a u th o r ,   [ I KR A] ,  u p o n   r ea s o n ab le   r eq u est.  T h e  d ata  th at  ar e   n o t  p u b licly   av ail ab le  d u e   to   in s titu tio n al  d ata  m an ag em en t   p o licies  b u t c an   b e  s h ar ed   f o r   ac a d em i c  an d   r esear ch   p u r p o s es.         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       R ea l - time  in tellig en t v ir tu a l a s s is ta n t b a s ed   o n   r etri ev a l a u g men ted   g en era tio n   ( I   K etu t R e s ika   A r th a n a )   245   RE F E R E NC E S   [ 1 ]   M .   K l e n k ,   “ Et h i c s   o f   g e n e r a t i v e   A I   a n d   ma n i p u l a t i o n :   a   d e s i g n - o r i e n t e d   r e sea r c h   a g e n d a , ”   Et h i c s   a n d   I n f o rm a t i o n   T e c h n o l o g y ,   v o l .   2 6 ,   n o .   1 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 7 6 - 0 2 4 - 0 9 7 4 5 - x.   [ 2 ]   S .   Q i ,   Z.   C a o ,   J .   R a o ,   L .   W a n g ,   J .   X i a o ,   a n d   X .   W a n g ,   “ W h a t   i s   t h e   l i m i t a t i o n   o f   mu l t i m o d a l   LL M s ?   A   d e e p e r   l o o k   i n t o   mu l t i mo d a l   LLM s  t h r o u g h   p r o m p t   p r o b i n g , ”   I n f o rm a t i o n   Pr o c e s si n g   a n d   M a n a g e m e n t ,   v o l .   6 0 ,   n o .   6 ,   N o v .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i p m. 2 0 2 3 . 1 0 3 5 1 0 .   [ 3 ]   T.   W u   e t   a l . ,   “ A   b r i e f   o v e r v i e w   o f   C h a t G P T :   t h e   h i s t o r y ,   s t a t u s  q u o   a n d   p o t e n t i a l   f u t u r e   d e v e l o p m e n t , ”   I EE E/ C AA  J o u rn a l   o f   Au t o m a t i c a   S i n i c a ,   v o l .   1 0 ,   n o .   5 ,   p p .   1 1 2 2 – 1 1 3 6 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / J A S . 2 0 2 3 . 1 2 3 6 1 8 .   [ 4 ]   E.   L a t i f   a n d   X .   Z h a i ,   “ F i n e - t u n i n g   C h a t G P T   f o r   a u t o ma t i c   sc o r i n g , ”   C o m p u t e rs   a n d   E d u c a t i o n :   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 ,     Ju n .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c a e a i . 2 0 2 4 . 1 0 0 2 1 0 .   [ 5 ]   F .   S u f i ,   “ G e n e r a t i v e   p r e - t r a i n e d   t r a n s f o r mer  ( G P T)   i n   r e sea r c h :   a   s y st e mat i c   r e v i e w   o n   d a t a   a u g me n t a t i o n , ”   I n f o rm a t i o n ,   v o l .   1 5 ,   n o .   2 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / i n f o 1 5 0 2 0 0 9 9 .   [ 6 ]   P .   O mr a n i ,   A .   H o sse i n i ,   K .   H o o sh a n f a r ,   Z .   E b r a h i mi a n ,   R .   T o o s i ,   a n d   M .   A l i   A k h a e e ,   “ H y b r i d   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n   a p p r o a c h   f o r   L LM s   q u e r y   r e s p o n se   e n h a n c e m e n t , ”   i n   2 0 2 4   1 0 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   We b   Re s e a rch ,   I C WR   2 0 2 4 ,    A p r .   2 0 2 4 ,   p p .   2 2 – 26 ,   d o i :   1 0 . 1 1 0 9 / I C W R 6 1 1 6 2 . 2 0 2 4 . 1 0 5 3 3 3 4 5 .   [ 7 ]   J.  M e y e r   e t   a l . ,   “ U si n g   LL M s  t o   b r i n g   e v i d e n c e - b a se d   f e e d b a c k   i n t o   t h e   c l a ssr o o m :   A I - g e n e r a t e d   f e e d b a c k   i n c r e a ses  s e c o n d a r y   st u d e n t s’   t e x t   r e v i si o n ,   mo t i v a t i o n ,   a n d   p o s i t i v e   e m o t i o n s, ”   C o m p u t e rs  a n d   Ed u c a t i o n :   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 ,   J u n .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . c a e a i . 2 0 2 3 . 1 0 0 1 9 9 .   [ 8 ]   A .   S u á r e z   e t   a l . ,   “ B e y o n d   t h e   S c a l p e l :   a ssess i n g   C h a t G P T’ s  p o t e n t i a l   a s  a n   a u x i l i a r y   i n t e l l i g e n t   v i r t u a l   a ssi s t a n t   i n   o r a l   s u r g e r y , ”   C o m p u t a t i o n a l   a n d   S t ru c t u r a l   Bi o t e c h n o l o g y   J o u r n a l ,   v o l .   2 4 ,   p p .   4 6 – 5 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c s b j . 2 0 2 3 . 1 1 . 0 5 8 .   [ 9 ]   H .   W a n g ,   C .   G a o ,   C .   D a n t o n a ,   B .   H u l l ,   a n d   J.   S u n ,   “ D R G - LLa M A   :   t u n i n g   L La M A   m o d e l   t o   p r e d i c t   d i a g n o s i s - r e l a t e d   g r o u p   f o r   h o s p i t a l i z e d   p a t i e n t s, ”   N PJ   D i g i t a l   M e d i c i n e ,   v o l .   7 ,   n o .   1 ,   J a n .   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 7 4 6 - 0 2 3 - 0 0 9 8 9 - 3.   [ 1 0 ]   T.   L i   e t   a l . ,   “ C a n c e r G P T  f o r   f e w   s h o t   d r u g   p a i r   sy n e r g y   p r e d i c t i o n   u si n g   l a r g e   p r e t r a i n e d   l a n g u a g e   m o d e l s,”   N P J   D i g i t a l   Me d i c i n e ,  v o l .   7 ,   n o .   1 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 1 0 3 8 / s4 1 7 4 6 - 0 2 4 - 0 1 0 2 4 - 9.   [ 1 1 ]   J.  S a u v o l a ,   S .   Ta r k o m a ,   M .   K l e me t t i n e n ,   J.  R i e k k i ,   a n d   D .   D o e r ma n n ,   “ F u t u r e   o f   s o f t w a r e   d e v e l o p m e n t   w i t h   g e n e r a t i v e   A I , ”   Au t o m a t e d   S o f t w a re   E n g i n e e r i n g ,   v o l .   3 1 ,   n o .   1 ,   M a y   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 5 1 5 - 0 2 4 - 0 0 4 2 6 - z.   [ 1 2 ]   G .   Lu ,   X .   J u ,   X .   C h e n ,   W .   P e i ,   a n d   Z.   C a i ,   “ G R A C E :   e mp o w e r i n g   L LM - b a s e d   s o f t w a r e   v u l n e r a b i l i t y   d e t e c t i o n   w i t h   g r a p h   s t r u c t u r e   a n d   i n - c o n t e x t   l e a r n i n g , ”   J o u rn a l   o f   S y st e m s   a n d   S o f t w a r e ,   v o l .   2 1 2 ,   Ju n .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j ss . 2 0 2 4 . 1 1 2 0 3 1 .   [ 1 3 ]   A .   S a k a   e t   a l . ,   “ G P T   m o d e l s   i n   c o n st r u c t i o n   i n d u s t r y :   o p p o r t u n i t i e s,   l i mi t a t i o n s ,   a n d   a   u s e   c a s e   v a l i d a t i o n , ”   D e v e l o p m e n t s  i n   t h e   Bu i l t   E n v i ro n m e n t ,   v o l .   1 7 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . d i b e . 2 0 2 3 . 1 0 0 3 0 0 .   [ 1 4 ]   A .   A l su m a y t   e t   a l . ,   “ B o u n d a r i e s  a n d   f u t u r e   t r e n d s  o f   C h a t G P T  b a se d   o n   A I   a n d   sec u r i t y   p e r s p e c t i v e s,”   H i g h T e c h   a n d   I n n o v a t i o n   J o u rn a l ,   v o l .   5 ,   n o .   1 ,   p p .   1 2 9 – 1 4 2 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 2 8 9 9 1 / H I J - 2 0 2 4 - 05 - 01 - 0 1 0 .   [ 1 5 ]   B .   J .   M c C l o sk e y ,   P .   M .   La C a sse ,   a n d   B .   A .   C o x ,   “ N a t u r a l   l a n g u a g e   p r o c e ssi n g   a n a l y si s   o f   o n l i n e   r e v i e w s  f o r   smal l   b u s i n e ss :   e x t r a c t i n g   i n si g h t   f r o m  s mal l   c o r p o r a , ”   A n n a l s   o f   O p e r a t i o n s   Re s e a rc h ,   v o l .   3 4 1 ,   n o .   1 ,   p p .   2 9 5 – 3 1 2 ,   O c t .   2 0 2 4 ,     d o i :   1 0 . 1 0 0 7 / s 1 0 4 7 9 - 023 - 0 5 8 1 6 - 2.   [ 1 6 ]   J.  G r u d i n   a n d   R .   J a c q u e s,   “ C h a t b o t s,  h u m b o t s ,   a n d   t h e   q u e st   f o r   a r t i f i c i a l   g e n e r a l   i n t e l l i g e n c e , ”   i n   C o n f e re n c e   o n   H u m a n   Fa c t o r s   i n   C o m p u t i n g   S y st e m s - P ro c e e d i n g s ,   M a y   2 0 1 9 ,   p p .   1 – 11 ,   d o i :   1 0 . 1 1 4 5 / 3 2 9 0 6 0 5 . 3 3 0 0 4 3 9 .   [ 1 7 ]   W .   C h e n   e t   a l . ,   “ S y s t e ms   e n g i n e e r i n g   i ssu e s fo r   i n d u st r y   a p p l i c a t i o n s  o f   l a r g e   l a n g u a g e   m o d e l , ”   A p p l i e d   S o f t   C o m p u t i n g ,   v o l .   1 5 1 ,   Jan .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a so c . 2 0 2 3 . 1 1 1 1 6 5 .   [ 1 8 ]   R .   Ems l e y ,   “ C h a t G P T:   t h e se  a r e   n o t   h a l l u c i n a t i o n s – t h e y ’ r e   f a b r i c a t i o n s  a n d   f a l si f i c a t i o n s,”   S c h i zo p h re n i a ,   v o l .   9 ,   n o .   1 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 3 7 - 023 - 0 0 3 7 9 - 4.   [ 1 9 ]   A .   B a r r e d o   A r r i e t a   e t   a l . ,   “ E x p l a i n a b l e   a r t i f i c i a l   i n t e l l i g e n c e   ( X A I ) :   c o n c e p t s ,   t a x o n o mi e s,   o p p o r t u n i t i e s  a n d   c h a l l e n g e s  t o w a r d   r e sp o n s i b l e   A I , ”   I n f o rm a t i o n   F u s i o n ,   v o l .   5 8 ,   p p .   8 2 – 1 1 5 ,   J u n .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 1 9 . 1 2 . 0 1 2 .   [ 2 0 ]   Y .   G a o   e t   a l . ,   “ R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   f o r   l a r g e   l a n g u a g e   mo d e l s :   a   su r v e y , ”   a rX i v : 2 3 1 2 . 1 0 9 9 7 ,  M a r .   2 0 2 4 .   [ 2 1 ]   X .   D a i   e t   a l . ,   “ V i st a R A G :   t o w a r d   s a f e   a n d   t r u st w o r t h y   a u t o n o mo u s  d r i v i n g   t h r o u g h   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n , ”   I EEE   T ra n s a c t i o n s  o n   I n t e l l i g e n t   V e h i c l e s ,   v o l .   9 ,   n o .   4 ,   p p .   4 5 7 9 – 4 5 8 2 ,   A p r .   2 0 2 4 ,   d o i :   1 0 . 1 1 0 9 / TI V . 2 0 2 4 . 3 3 9 6 4 5 0 .   [ 2 2 ]   S .   Es,   J.  J a mes ,   L .   E .  - A n k e ,   a n d   S .   S c h o c k a e r t ,   “ R A G A S :   a u t o m a t e d   e v a l u a t i o n   o f   r e t r i e v a l   a u g me n t e d   g e n e r a t i o n , ”   EAC L   2 0 2 4 - 1 8 t h   C o n f e re n c e   o f   t h e   E u ro p e a n   C h a p t e r  o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s,   Pr o c e e d i n g s  o f   S y s t e m   D e m o n s t ra t i o n s ,  2 0 2 4 ,   p p .   1 5 0 – 1 5 8 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . e a c l - d e mo . 1 6 .   [ 2 3 ]   B .   T u r a l ,   Z.   Ö r p e k ,   a n d   Z.   D e st a n ,   “ R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   ( R A G )   a n d   L LM   i n t e g r a t i o n , ”   i n   2 0 2 4   8 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   I n n o v a t i v e   Ap p ro a c h e s  i n   S m a r t   T e c h n o l o g i e s   ( I S AS ) ,   İ st a n b u l ,   T u r k i y e ,   2 0 2 4 ,   p p .   1 - 5 ,     d o i :   1 0 . 1 1 0 9 / I S A S 6 4 3 3 1 . 2 0 2 4 . 1 0 8 4 5 3 0 8 .   [ 2 4 ]   L.   S t u h l ma n n ,   M .   A .   S a x e r ,   a n d   J .   F u r st ,   “ Ef f i c i e n t   a n d   r e p r o d u c i b l e   b i o med i c a l   q u e st i o n   a n sw e r i n g   u si n g   r e t r i e v a l   a u g me n t e d   g e n e r a t i o n , ”   2 0 2 5   I EEE   S w i ss   C o n f e r e n c e   o n   D a t a   S c i e n c e   ( S D S ) ,   Z ü r i c h ,   S w i t zerl a n d ,   J u l .   2 0 2 5 ,   p p .   1 5 4 - 1 5 7 ,     d o i :   1 0 . 1 1 0 9 / S D S 6 6 1 3 1 . 2 0 2 5 . 0 0 0 2 9 .   [ 2 5 ]   A .   W .   B h i w g a d e   a n d   N .   N a g r a l e ,   “ I n t e g r a t i n g   o p e n - so u r c e   L LM s   w i t h   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n   f o r   o b s t e t r i c s  a n d   g y n e c o l o g y   d o m a i n , ”   i n   I E EE   I n t e r n a t i o n a l   C o n f e re n c e   o n   N e x t   G e n e r a t i o n   I n f o r m a t i o n   S y st e m   E n g i n e e ri n g ,   N G I S E   2 0 2 5 ,   M a r .   2 0 2 5 ,     p p .   1 – 5 ,   d o i :   1 0 . 1 1 0 9 / N G I S E6 4 1 2 6 . 2 0 2 5 . 1 1 0 8 5 1 8 8 .   [ 2 6 ]   La n g c h a i n ,   “ L a n g C h a i n   o v e r v i e w , ”   L a n g C h a i n   D o c s ,   2 0 2 4 .   A c c e sse d :   N o v .   2 6 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / d o c s.l a n g c h a i n . c o m / o s s/ p y t h o n / l a n g c h a i n / o v e r v i e w   [ 2 7 ]   O p e n A I ,   “ C h a t G P T  p l u g i n s, ”   O p e n AI   P l a t f o rm ,   2 0 2 3 .   A c c e ssed :   N o v .   2 6 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / o p e n a i . c o m/ i n d e x / c h a t g p t - p l u g i n s /   [ 2 8 ]   M .   S c h r e p p ,   A .   H i n d e r k s,   a n d   J.   T h o masc h e w s k i ,   “ C o n s t r u c t i o n   o f   a   b e n c h mar k   f o r   t h e   u s e r   e x p e r i e n c e   q u e st i o n n a i r e   ( U EQ ) , ”   I n t e r n a t i o n a l   J o u r n a l   o f   I n t e ra c t i v e   M u l t i m e d i a   a n d   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   4 ,   n o .   4 ,   p p .   4 0 – 4 4 ,   Ju n .   2 0 1 7 ,     d o i :   1 0 . 9 7 8 1 / i j i ma i . 2 0 1 7 . 4 4 5 .   [ 2 9 ]   A .   S a l e mi   a n d   H .   Z a ma n i ,   “ Ev a l u a t i n g   r e t r i e v a l   q u a l i t y   i n   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n , ”   i n   S I G I R  2 0 2 4 - Pr o c e e d i n g s  o f   t h e   4 7 t h   I n t e r n a t i o n a l   A C M  S I G I R  C o n f e re n c e   o n   R e se a rc h   a n d   D e v e l o p m e n t   i n   I n f o rm a t i o n   R e t r i e v a l ,   J u l .   2 0 2 4 ,   p p .   2 3 9 5 – 2 4 0 0 ,     d o i :   1 0 . 1 1 4 5 / 3 6 2 6 7 7 2 . 3 6 5 7 9 5 7 .   [ 3 0 ]   H .   Y u ,   A .   G a n ,   K .   Zh a n g ,   S .   T o n g ,   Q .   Li u ,   a n d   Z.   L i u ,   “ E v a l u a t i o n   o f   r e t r i e v a l - a u g me n t e d   g e n e r a t i o n :   a   su r v e y , ”   i n   C o m m u n i c a t i o n s   i n   C o m p u t e r  a n d   I n f o rm a t i o n   S c i e n c e ,   v o l .   2 3 0 1 ,   2 0 2 5 ,   p p .   1 0 2 – 1 2 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 96 - 1 0 2 4 - 2 _ 8 .         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  16 ,   No .   1 ,  Feb r u ar y   2 0 2 6 :   237 - 2 4 6   246   B I O G RAP H I E S O F   AUTH O RS       I  K e tu t  Re sik a   Ar th a n a           e a rn e d   a   M a ste r  o f  Co m p u ter   ( M . K o m . )  fro m   Un iv e rsitas   In d o n e sia ,   In d o n e sia   in   2 0 1 2 .   Cu rre n tl y ,   h e   wo r k s  a s  a n   a ss o c iate   p ro fe ss o r  a t  t h e   De p a rtme n t   o f  Co m p u ter  S c ien c e   o f  Un iv e rsi tas   P e n d id i k a n   G a n e sh a   (Un d ik s h a ) ,   Ba li ,   In d o n e sia .   Ov e r  a   d e c a d e   o f  e x p e rien c e   in   a c a d e m ia,   h e   h a s  c o n tri b u ted   t o   th e   fiel d   th r o u g h   h is  tea c h in g ,   re se a rc h ,   a n d   a d m in istrativ e   r o les .   His  re se a rc h   in tere sts  a re   in   c o m p u ter  sc ien c e ,   in c lu d i n g   a rti ficia l   in telli g e n c e   (AI),  e sp e c ially   i n   g e n e ra ti v e   AI,  s o ftwa re   d e v e lo p m e n t ,  h u m a n - c o m p u ter  in tera c ti o n   (HCI),   a n d   t h e   i n t e rn e t  o f   t h in g s  (I o T).   He   c a n   b e   c o n tac ted   a t   e m a il :  re sik a @u n d i k sh a . a c . i d .         Ni  Pu tu   N o v it a   Pu sp a   De wi          i s  a n   a ss istan t   p ro fe ss o r   in   De p a rt m e n t  o f   Co m p u ter   S c ien c e   a t  th e   F a c u lt y   o f  En g i n e e rin g   a n d   Vo c a ti o n a l  E d u c a ti o n ,   Un i v e rsitas   P e n d i d ik a n   G a n e sh a ,   In d o n e sia .   S h e   h o ld s   a   m a ste r’s  d e g re e   in   C o m p u ter  S c ie n c e   fro m   U n iv e rsitas   G a d jah   M a d a   a n d   a   M a ste r  o f   In fo rm a ti o n   M a n a g e m e n t  fr o m   Na ti o n a l  Taiwa n   Un i v e rsity   o f   S c ien c e   a n d   Tec h n o lo g y .   He r  re se a rc h   in tere sts  in c lu d e   a rti ficia l  in telli g e n c e ,   m a c h in e   lea rn in g ,   d a ta  sc ien c e ,   a n d   ti m e - se ries   fo re c a sti n g .   He r  c u rre n t  re se a rc h   fo c u se s  o n   lar g e   lan g u a g e   m o d e ls,   se n ti m e n t  a n a ly sis,  e d u c a ti o n a l  d a ta  m in in g ,   a n d   re m o te  se n si n g – b a se d   m a c h in e   lea rn i n g   a p p li c a ti o n s.  S h e   c a n   b e   c o n tac te d   a t  e m a il :  n o v it a . p u s p a . d e wi@u n d i k sh a . a c . id .         G e d e   Ar n a   J u d e   S a ska r a           e a rn e d   a   Ba c h e lo r  o f  E n g i n e e rin g   (S . T. )  i n   Tele c o m m u n ica ti o n   E n g i n e e rin g   fro m   In stit u t  Tek n o lo g i  Telk o m ,   a   M a ste r  o f  En g in e e rin g   (M . T. )  in   E lec tri c a l  En g i n e e rin g   with   a   c o n c e n tratio n   in   Tele m a ti c s  a n d   Tele c o m m u n ica ti o n   Ne two rk s  fr o m   In sti tu t   Tek n o l o g i   Ba n d u n g ,   a n d   a   P ro fe ss io n a l  E n g in e e r  (Ir. )   q u a li fica ti o n   fr o m   Un iv e rsitas   Ud a y a n a .   C u rre n tl y ,   h e   is  a   lec tu re r  a t  Un iv e rsitas   P e n d id i k a n   G a n e sh a ,   tea c h in g   i n   th e   In fo rm a ti o n   S y ste m s  P ro g r a m ,   De p a rtme n t  o f  In fo rm a ti c s  En g i n e e rin g ,   F a c u lt y   o f  En g i n e e rin g   a n d   Vo c a ti o n a l  S tu d ies .   His  re se a rc h   in tere sts  a re   fo c u se d   o n   c o m p u ter  n e two r k s  a n d   n e tw o rk   se c u rit y .   He   c a n   b e   c o n tac ted   a t  e m a il :  j u d e . sa sk a ra @u n d ik sh a . a c . i d .         I  Ma d e   Ar d wi  Pr a d n y a n a           is  a   lec tu re r  a t  De p a rtme n t  o f  I n fo r m a ti c s,  F a c u lt y   o f  En g i n e e rin g   a n d   V o c a ti o n a l ,   Un i v e rsitas   P e n d i d ik a n   G a n e sh a   (Un d ik sh a ) ,   Ba li ,   In d o n e sia .   He   e a rn e d   a   M a ste r  o f  En g i n e e rin g   ( M . T. )  d e g re e   in   i n fo rm a ti c s  with   a   sp e c ializa ti o n   i n   in f o rm a ti o n   sy ste m s  fro m   th e   In stit u t  Tek n o l o g i  Ba n d u n g .   His  r e se a rc h   in tere sts  in c lu d e   IT  g o v e r n a n c e ,   e n terp rise   a rc h it e c tu re ,   IT  se rv ice   m a n a g e m e n t,   b u sin e ss   p ro c e ss   m a n a g e m e n t,   a n d   h u m a n   c o m p u ter  i n tera c ti o n .   He   is  a   m e m b e r  o f  t h e   E n terp rise   I n fo rm a ti o n   S y ste m   Re se a rc h   G ro u p   (EI S - RG ).   He   c a n   b e   c o n tac ted   a t   e m a il :  a rd wi. p ra d n y a n a @ u n d ik s h a . a c . id .         Lu h   Ind r a y a n i          e a r n e d   h e r  b a c h e l o r  a n d   m a s ter ’s  d e g re e s  i n   E n g l i sh   e d u c a t i o n   f r o m   Un i v e rs i tas   P e n d i d i k a n   G a n e s h a   i n   2 0 1 5   a n d   2 0 1 7   re s p e c ti v e l y .   C u r re n t l y ,   s h e   is  tea c h in g   i n   t h e   De p a rt m e n t   o f  E n g l is h   E d u c a ti o n   a t   U n i v e rs it a s   P e n d i d i k a n   G a n e sh a .   He r   re se a rc h   i n ter e st s   in c l u d e   E n g li sh   a s   a   f o re i g n   la n g u a g e   ( E F L ),   t e c h n o l o g y   i n t e g ra ti o n   in   e n g li s h   la n g u a g e   tea c h i n g   (E LT )   a n d   A I   i n   e d u c a t i o n ,   i n n o v a ti v e   p e d a g o g ica l   p ra c ti c e s   a n d   i n c l u s i v e   e d u c a ti o n .   S h e   t e a c h e s   se v e ra l  d isc i p l i n e s   i n   e d u c a ti o n   a n d   l it e ra t u re .   S h e   a l s o   a c t i v e l y   p a rt ici p a tes   in   se r v i c e   a s  a c t i o n   fo r  t h e   c o m m u n i t y .   H e   c a n   b e   c o n tac t e d   a t  e m a i l :  l u h . i n d ra y a n i@ u n d i k s h a . a c . i d .     Evaluation Warning : The document was created with Spire.PDF for Python.