I nte rna t io na l J o urna l o f   Adv a nces in Applie d Science s   ( I J AAS)   Vo l.  14 ,   No .   3 ,  Sep tem b er   20 25 ,   p p .   8 49 ~ 8 58   I SS N:  2252 - 8 8 1 4 ,  DOI :  1 0 . 1 1 5 9 1 /ijaas . v 14 . i 3 . pp 8 49 - 8 58           849       J o ur na l ho m ep a g e :  h ttp : //ij a a s . ia esco r e. co m   La rg e lang ua g e mo dels a nd ret rie v a l - a ug mented ge nera tion - ba sed cha tbot  for  ado lescent me nta l health       Andi   Ria n s y a h 1 ,   I m a m   M uch Ib n u Su bro t o 1 ,   I nta n Nur’ a ini 1 ,   Ra t na   Su pra dewi 2 ,   Su y a nto   Su y a nto 3   1 D e p a r t me n t   o f   I n f o r mat i c s   E n g i n e e r i n g ,   F a c u l t y   o f   I n d u st r i a l   T e c h n o l o g y ,   U n i v e r si t a s   I sl a m Su l t a n   A g u n g ,   S e m a r a n g ,   I n d o n e si a   2 D e p a r t me n t   o f   P sy c h o l o g y ,   F a c u l t y   o f   P sy c h o l o g y ,   U n i v e r si t a s I sl a m   S u l t a n   A g u n g ,   S e mara n g ,   I n d o n e s i a   3 F a c u l t y   o f   N u r si n g ,   U n i v e r s i t a s   I sl a m Su l t a n   A g u n g ,   S e mar a n g ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 2 ,   2 0 2 4   R ev is ed   Ap r   1 7 ,   2 0 2 5   Acc ep ted   J u n   1 0 ,   2 0 2 5       Ac c e ss   to   fa st  a n d   e fficie n t  i n f o rm a ti o n   is  c ru c ial   in   to d a y ' s  d ig it a l  e ra ,   e sp e c ially   fo r   tee n a g e rs  i n   o b tai n in g   m e n tal   h e a lt h   se rv ice s.  T h e   m a n u a l  m e th o d   u se d   b y   Y o u t h   In f o rm a ti o n   a n d   C o u n se ll in g   Ce n tre  ( P IK  R )   t o   p ro v id e   m e n tal  h e a lt h   in f o rm a ti o n   re q u ir e s  si g n if ica n t  ti m e   a n d   e f fo rt.   Th is   re se a rc h   p re se n ts  a n   AI - b a se d   so lu ti o n   b y   d e v e l o p i n g   a   c h a t b o t  sy s tem   u sin g   re tri e v a l - a u g m e n ted   g e n e ra ti o n   ( RAG )  a n d   larg e   lan g u a g e   m o d e l s  (LL M ).   Th is  c h a tb o t  is  d e sig n e d   t o   p ro v id e   a c c u ra te  a n d   e ffe c ti v e   m e n tal  h e a lt h   in fo rm a ti o n   f o r  tee n a g e rs  t h ro u g h o u t  th e   d a y .   A n   a n a l y sis  o f   a   d a tas e t  c o n sistin g   o f   a rti c les   o n   tee n a g e   m e n tal  h e a lt h   a n d   d a ta  fr o m   t h e   Alo d o k ter   we b site  wa s  u se d   a s  t h e   b a sis   fo r  t h e   d e v e lo p m e n t   o f   th is  c h a tb o t .   T h e   re se a rc h   re su lt s  sh o w  th a t   th e   c h a tb o t   is   c a p a b le  o f   p r o v i d in g   re l e v a n t  a n d   a c c u ra te  in fo rm a ti o n ,   with   e v a lu a ti o n s  u sin g   th e   re c a ll - o rie n ted   u n d e rstu d y   fo r  g isti n g   e v a lu a ti o n   (ROU GE)  sc o re   m e th o d   y iel d in g   a n   a v e ra g e   o f   ROU G E - 1   with   a   p re c isio n   o f   8 7 . 8 % ,   re c a ll   o f   8 3 . 0 % ,   a n d   F 1 - m e a su re   o f  8 4 . 0 % ;   ROU G E - 2   wit h   a   p re c i sio n   o f   8 2 . 8 % ,   re c a ll   o f  7 6 . 8 % ,   a n d   F 1 - m e a su re   o f  7 8 . 2 % ;  a n d   ROU GE - L  with   a   p re c isio n   o f  8 8 . 0 % ,   re c a ll   o f  8 2 . 6 % ,   a n d   F 1 - m e a su re   o f  8 3 . 4 % .   Th e se   fin d in g s  in d ica te  th e   p o ten ti a l  u se   o f  c h a tb o ts as   a n   e ffe c ti v e   t o o l  to   su p p o rt  t h e   m e n tal   h e a lt h   o f   a d o les c e n ts.   K ey w o r d s :   Ar tific ial  in tellig en ce   C h atb o t   L ar g e  lan g u ag e  m o d el   Me n tal  h ea lth   s er v ices   R etr iev al - au g m en ted   g en er atio n   Yo u th   co u n s elin g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   An d i Ri an s y ah   Dep ar tm en t o f   I n f o r m atics E n g in ee r in g ,   Facu lty   o f   I n d u s tr ial  T ec h n o lo g y ,   Un i v er s itas   I s lam   Su ltan   Ag u n g   St.  R ay a  Kalig awe   Km .   4 ,   Sem ar an g   5 0 1 1 2 ,   I n d o n esia   E m ail:  an d i@ u n is s u la. ac . id       1.   I NT RO D UCT I O N   T h e  ac ce s s   to   in f o r m atio n   f o r   teen a g er s   h as  b ee n   r ev o lu tio n ized   b ec au s e  o f   th e  f ast - p ac ed   d ev elo p m e n t  o f   co m m u n icati o n   tech n o lo g y .   I n   th e   cu r r en t  ag e  o f   th e  d ig ital  wo r ld ,   ch at b o ts   h av e   b ec o m e   a   to o l  th at  is   ess en tial  f o r   2 4 /7   s u p p o r t  an d   e n ab lin g   n atu r al  la n g u ag e  i n ter ac tio n   [ 1 ] ,   [ 2 ] .   T h o u g h   p ast  r esear ch   h as  s h o wn   th at   co n v er s atio n al  ag en ts   ca n   p r o v id e  e f f ec ti v e  s o lu tio n s   in   v ar i o u s   s ettin g s ,   litt le  is   k n o wn   r eg ar d in g   h o w  th ey   ca n   b e  lev er ag ed   to   s u p p o r t m en tal  h ea lt h ,   p ar ticu lar l y   f o r   teen ag e r s   [ 3 ] .   T h er e   is   e v id en ce   th at  t h e  m e n tal  d is o r d e r s   p r e v alen ce   a m o n g   a d o lescen ts   is   in cr ea s in g ,   a s   in d icate d   b y   an   in cr ea s in g   n u m b er   o f   s tu d ies  attes tin g   to   wid es p r ea d   em o tio n al  an d   b eh a v i o r al  d is o r d er s   lik e  d ep r ess io n   an d   an x iety   [ 4 ] – [ 6 ] .   T h e  c o n v e n tio n al  s er v ic es,  as  o f f er ed   b y   th e  Yo u t h   I n f o r m atio n   an d   C o u n s ellin g   C en tr e  ( PIK   R ) ,   l ac k   tim ely   an d   p r ec is e  m e n tal  h ea lth   in f o r m atio n   [ 7 ] .   I n   ad d itio n ,   wh ile  o t h er   r esear ch   h as  ass ess ed   th e  u s ef u ln ess   o f   ch atb o ts   in   co n v e y in g   in f o r m atio n ,   s u ch   r esear ch   f r eq u en tly   f alls   s h o r t  in   ter m s   o f   p r o v id in g   t h e  in ten s e  an al y s is   r eq u ir ed   f o r   c o m p licated   o r   b ig   q u esti o n s ,   s u ch   as  t h o s e  in v o lv in g   m u ltip le - ch o ice   ex am s   o r   m ea s u r ab le  d ata  r etr iev al  [ 8 ] – [ 1 1 ] .   A  r ev iew   o f   ex is tin g   liter atu r e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   14 ,   No .   3 ,  Sep tem b er   20 25 :   8 49 - 8 58   850   in d icate s   th at  wh ile  p ast   r e s ea r ch   h as  em p lo y ed   ch at b o ts   to   o p tim ize  th e  ac ce s s ib ilit y   o f   in f o r m atio n ,   a   n u m b er   o f   im p o r tan t  m atter s   h av e  n o t  b ee n   s u f f icien tly   ad d r ess ed .   Fo r   o n e,   ex is tin g   s o lu tio n s   p r o v id e  g e n er alize d   r esp o n s es  th at  ca n n o t  f u lf ill  th e  in tr icate   n ee d s   th at  ac co m p an y   ad o lescen t  m en tal   h ea lth .   Seco n d ly ,   th er e  is   m i n im al  d is co u r s e  o n   th e   m eth o d s   o f   o v er co m in g   ch allen g es  ass o ciate d   with   in f o r m atio n   r etr ie v al  an d   co n te x tu al  co m p r e h en s io n .   R ec en t  ad v an ce m en ts   in   lar g e  lan g u a g e  m o d els  ( L L Ms)   an d   r etr iev al - au g m en te d   g en er atio n   ( R AG)   h av e  s h o wn   p o ten tial  in   ad d r ess in g   th ese  g a p s   b y   en ab lin g   m o r e  co n tex tu ally   r el ev an t  an d   d ata - in f o r m ed   r es p o n s es  [ 1 2 ] ,   [ 1 3 ] .  C o m p ar ativ e  r esear ch   o n   th e   u s e  o f   th ese  tech n o lo g ies  m o r e  s p ec if ically   f o r   o f f er in g   m en tal  s u p p o r t  f o r   teen ag er s   h as  y et  to   b e  co n d u cted ,   h o wev er .   T h e  g a p s   ar e  f i lled   in   o u r   r es ea r c h   th r o u g h   t h e  in tr o d u ctio n   o f   a   n o v el  ch atb o t  s y s tem   th at  co m b in es  R AG  an d   L L M  p ar ad ig m s .   W ith   th e  u s e  o f   th is   in - d ep th   m eth o d o lo g y ,   th e  ch atb o t   ca n   n o t  o n ly   r ec o g n ize  th e  n u an ce   o f   u s er   q u er ies  b u t  also   d er iv e   an d   in co r p o r ate  ac cu r ate   an d   r elate d   in f o r m atio n   f r o m   a  ca r ef u lly   f ilter ed   p o o l  o f   u s er - cr ea ted   co n ten t  th at  is   r etr i ev ed   f r o m   r eliab le   web s ites   an d   ac ad em ic  p ap er s   r elate d   to   m en tal  h ea lth .   I n   th is   p ap er ,   we  test   th e  p er f o r m a n ce   o f   ad v an ce d   L L Ms,  n am ely ,   g en er ativ e  p r e - tr ain ed   tr an s f o r m er   ( GPT) - 4   an d   GPT - 3 . 5   T u r b o ,   o n   task s   lik e  y e s - or - n o   q u esti o n s ,   m u ltip le - ch o ice  an s wer in g ,   an d   n u m er ical  i n f o r m atio n   e x tr ac ti o n   [ 1 4 ] ,   [ 1 5 ] .  B y   c o m p ar i n g   t h ese  m o d els d ir ec tly   t o   ex p er t - an n o tated   d ata   an d   ev alu atin g   p e r f o r m an ce   a g ai n s t  m etr ics  lik e  r ec all - o r ien t ed   u n d er s tu d y   f o r   g is tin g   ev alu atio n   ( R OUGE )   s co r es,  th is   r esear ch   b u ild s   o n   th e   ef f o r ts   o f   ea r lier   c o n tr ib u tio n s .   T h is   r esear c h   p r o v i d es  s ev er al  s ig n if ican t   en h an ce m e n ts .   Firstl y ,   we  p r o p o s e  a  u n if y in g   f r am ewo r k   th at  b r in g s   to g eth e r   th e  a cc u r ate  in f o r m atio n   r etr iev al  ca p ab ilit ies  o f   R AG  an d   th e  n atu r al  lan g u ag e  c o m p r eh e n s io n   ca p ab ilit ies  o f   L L M.   Su ch   a  f u s io n   h as   n o t  b ee n   e x h au s tiv ely   e x p lo r ed   in   th e  d o m ain   o f   ad o lesc en t  m en tal  h ea lth .   Seco n d ly ,   we  g iv e  a  d etailed   ev alu atio n   o f   th e  p e r f o r m an ce   o f   th e  s y s tem ,   lis tin g   its   s tr en g th s   an d   lim itatio n s   w h ile  d is cu s s in g   th e  im p l icatio n s   o f   o u r   f in d in g s .   W h ile  th e  co m b in ed   s tr ateg y   s u cc ee d s   in   y ield in g   ac c u r at e  an d   co n tex tu ally   ap p r o p r iate  in f o r m atio n ,   b as ed   o n   o u r   a n aly s is ,   ch allen g es  r em ain ,   p ar ticu lar ly   f o r   co m p lex   lin g u is tic   co n s tr u ctio n s   an d   co m p licated   q u esti o n s .   L ast  b u t  n o t  leas t,  th e  im p licatio n s   o f   o u r   s tu d y   s u g g est  th at  th is   ch atb o t  s y s tem   ca n   s ig n if ican t ly   en h a n ce   th e   q u ality   an d   av a ilab ilit y   o f   m e n tal  h ea lth   s er v i ce s   f o r   a d o lescen ts   [ 1 6 ] – [ 1 8 ] .  W h ile  p r ev io u s   s tu d ies  h av e  ex p lo r ed   th e  u s e  o f   ch atb o ts   in   v ar io u s   in f o r m atio n   r etr iev al  co n tex ts ,   th ey   d id   n o t  ex p licitly   ad d r ess   th eir   in f lu en ce   o n   p r o v id in g   n u an ce d ,   co n tex t u ally   r ich   m e n tal  h ea lth   s u p p o r t  s p ec if ically   tailo r ed   f o r   ad o lescen ts .   T h is   r esear ch   s ee k s   to   b r id g e  th is   g ap   b y   co m b in in g   ac cu r ate   in f o r m atio n   r etr iev al   an d   n atu r al  lan g u ag e   u n d er s tan d in g   to   en h a n ce   ad o lescen t  m en tal  h ea lt h     s u p p o r t   [ 1 9 ] ,   [ 2 0 ] .       2.   M E T H O D   2 . 1 .     Resea rc h desi g n   T h is   r esear ch   b eg in s   with   p la n n in g   a n d   p r e p ar atio n ,   wh er e   th e  p r o b le m   an d   th e  n ee d   f o r   a  m en tal  h ea lth   ch at b o t  f o r   teen ag e r s   a r e  id en tifie d .   A   liter atu r e   r ev i ew  is   co n d u cted   to   u n d e r s tan d   tech n o lo g ies  s u c h   as   L L Ms  an d   R AG,   a s   well  as  to   estab lis h   ev alu atio n   m etr ics  s u ch   as  ac cu r ac y ,   r elev a n ce ,   an d   r esp o n s e  s p ee d .   Nex t,  m en tal  h ea lth   d ata  is   co llected   f r o m   tr u s ted   s o u r ce s ,   p r o ce s s ed ,   an d   lab eled   to   f ac ilit ate  it s   u s e  in   th e  m o d el.   On ce   th e  d ata  is   r ea d y ,   th e   ch atb o t  s y s tem   is   d ev elo p ed   b y   in teg r atin g   a n   L L M  as  th e  co r e  an d   R AG  to   r etr iev e  r elev an t  in f o r m atio n   f r o m   a  k n o wled g e  d atab ase.   T h e  m o d el  is   th en   tr ain ed   u s in g   th e   p r ep ar e d   d ata  an d   in itially   test ed   to   en s u r e  its   f u n ctio n a lity .   T h e  s y s tem   i s   ev alu ate d   b y   m ea s u r in g   its   p er f o r m an ce   u s in g   t h e  estab l is h ed   m etr ics,  an d   teen a g er s   ar e  in v o lv ed   as  u s er s   to   p r o v id e  f ee d b ac k .   T h e   ev alu atio n   r esu lts   ar e  an aly ze d   to   id en tify   s h o r tco m in g s   an d   ar ea s   f o r   im p r o v em e n t.  B ased   o n   th e  ev al u atio n   r esu lts ,   th e  s y s tem   is   r e f in ed   th r o u g h   iter atio n s ,   s u ch   as  u p d atin g   t h e  m o d el  a n d   k n o wled g e  d atab ase,   a n d   th en   r etested   to   en s u r e  im p r o v ed   p er f o r m an ce .   Af ter   f in aliza tio n ,   th e  ch atb o t is im p lem en ted   an d   lau n ch e d   o n   p latf o r m s   ea s ily   ac ce s s ib le  to   teen ag er s ,   s u ch   as  ap p s   o r   we b s ites .   Per i o d ic  m o n ito r in g   is   co n d u cte d   to   en s u r e   th e  s y s tem   r em ain s   r elev an t  an d   ac cu r ate.   T h e  r esear ch   r esu lts   ar e  r ep o r ted   an d   p u b li s h ed   in   jo u r n als  o r   s cien tific   co n f er en ce s ,   wh ile  th e  ch atb o t  s y s tem   is   d is s em in ated   to   th e  p u b lic  an d   r ele v an t  s tak eh o ld er s .   L o n g - t er m   ev alu ati o n   is   also   ca r r ied   o u t  to   m o n ito r   th e  c h a tb o t' s   im p ac t  o n   teen ag e r s '   m en tal  h ea lth ,   s u c h   as  in cr ea s ed   awa r en ess   o r   r ed u c ed   s tr ess   lev el s ,   an d   p er io d ic   u p d ates  ar e  p er f o r m ed   to   m ain tain   th e  s y s tem 's   q u ality .   T h r o u g h   th is   p r o ce s s ,   th e  r esear ch   is   ex p ec ted   t o   p r o d u ce   an   ef f ec tiv e  a n d   b en ef icial  ch atb o t  f o r   teen ag er s   in   th e  c o n tex t o f   m e n tal  h ea lth .     2 . 2 .     Resea rc h pro ce du re s   I n   th is   r esear ch ,   th e  d ataset  u s ed   was  o b tain ed   f r o m   two   m ain   s o u r ce s :   ar ticles  r elate d   to   m en tal  h ea lth   an d   d ata  f r o m   th e  Alo d o k ter   web s ite.   T h e  m en tal  h ea lth   ar ticles  wer e  co llected   f r o m   v ar io u s   s cien tific   p u b licatio n s   an d   o t h er   tr u s ted   s o u r ce s ,   co n tain i n g   in - d ep th   in f o r m atio n   o n   v a r io u s   asp ec ts   o f   m en tal  h ea lth ,   s u ch   as  an x iety   d is o r d er s ,   d ep r ess io n ,   an d   co p in g   tech n i q u e s   [ 2 1 ] .   Me an wh ile,   d ata  f r o m   Alo d o k ter   co n s is ts   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g e  la n g u a g e  mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o t  …  ( A n d i R ia n s ya h )   851   o f   f r eq u en tly   ask ed   q u esti o n s   an d   an s wer s   b y   u s er s   o f   th e  s ite  r eg ar d in g   m e n tal  h ea lth   to p ics  [ 2 2 ] .   T h e  d ataset  f r o m   Alo d o k ter   p r o v id es  v alu ab le  in s ig h ts   in to   co m m o n   m en tal  h ea lth   is s u es  f ac ed   b y   th e   co m m u n ity ,   as  well  as   th e  m ed ical  r esp o n s es  o f f er ed   b y   e x p er ts   o n   th e  p latf o r m   [ 2 1 ] ,  [ 2 2 ] .   T h e  co m b in atio n   o f   th ese  two   s o u r ce s   p r o v id e s   a  s tr o n g   f o u n d atio n   f o r   f u r t h er   an al y s is ,   esp ec ially   in   d e v elo p in g   a  ch atb o t   s y s tem   ca p ab le  o f   d eliv e r in g   r elev an t a n d   ac c u r ate  m e n tal  h ea lth   in f o r m atio n   an d   s u p p o r t.   T h e  d ata   p r o ce s s in g ,   as  s h o wn   i n   Fig u r e  1 ,   in v o lv es  c h u n k in g ,   wh ich   is   d iv i d in g   th e  tex t  in to   s m aller ,   r elev an t  p iece s   to   f ac ilit ate  em b ed d in g .   C h u n k i n g   i s   d o n e  to   en s u r e  th at  th e  em b ed d ed   in f o r m atio n   r em ain s   s tr u ctu r ed   an d   ea s ily   ac ce s s ib le  b y   th e  m o d el.   An   e f f ec tiv e  ch u n k in g   s tr ateg y   ca n   also   s ig n if ican tly   en h an ce   th e   s p ee d   an d   ac cu r ac y   o f   th e   m o d e .   Af ter   ch u n k in g ,   t h e  p r o ce s s ed   d ata  is   tr an s f o r m ed   in to   v ec t o r s   u s in g   th e   Ollam aE m b ed d in g   m o d el.   T h is   tr an s f o r m atio n   o f   te x t in to   v ec to r s   is   cr u cial  in   th e  d ata  p r ep r o ce s s in g   s tag e  s o   th at  th e   co llected   d ata  ca n   b e  p r o ce s s ed   an d   u n d e r s to o d   b y   th e  L L M  m o d el  [ 2 3 ] ,   [ 2 4 ] .   T h is   is   b ec au s e  th e  d ev elo p m en t  o f   th e  ch at b o t   in v o lv es  in teg r atin g   L L M  an d   R AG.   L L M  is   u s ed   to   u n d er s tan d   th e  co n tex t  o f   th e  q u esti o n s ,   wh ile  R A G   ass is ts   in   r etr iev in g   r ele v an t   in f o r m atio n   f r o m   th e   em b e d d ed   d ata.   T h is   s y s tem   is   d esig n ed   to   p r o v id e   ac cu r ate  an d   r elev an t a n s wer s   b ased   o n   th e   av ailab le  d ata.   I n   Fig u r e  2 ,   th e   s tag es  o f   s y s tem   m o d elin g   d ep icted   in   th e  f lo wch ar t  ab o v e   ar e  d iv id ed   in to   s ev er al   p h ases ,   wh ich   in cl u d e   e m b e d d in g   th e  u s er ' s   in p u t  u s in g   th e  s am e  m o d el  as  th e   em b e d d in g s   d u r in g   d ata   co llectio n   [ 1 2 ] .   T h is   is   f o llo wed   b y   a  s im ilar ity   s ea r ch   f o r   r etr iev in g   o r   ex tr ac tin g   th e  r elev an t  co n tex t   b etwe en   th e  in p u t  d ata   an d   th e  d ata  in   t h e  d atab ase,   u s in g   t h e  cr ea te_ r etr ie v al_ ch ain   f r o m   th e  lib r a r y .   Fr o m   th e  r elev a n t  co n tex ts   th at   h av e  b ee n   r etr iev e d ,   th ey   will  b e   g en e r ated   with   llam a3 ,   an d   t h e  r esu lts   f r o m   th e   llam a3   g en er atio n   will b e  p r es en ted   to   th e  u s er   [ 1 3 ] .           Fig u r e  1 .   Data   co llectio n   f lo w ch ar t       Fig u r e  2 .   Sy s tem   m o d elin g   f lo wch ar t       2 . 3 .     Dev el o pm ent s   o f   cha t b o t s   T h e  ch atb o t  s y s tem   in teg r ate s   R AG  ar ch itectu r e  an d   L L M.   R AG  co n s is t s   o f   a  r etr iev er   an d   a   g en er ato r   [ 2 5 ] ,   wh er e  th e   r et r iev er   f etch es  r elev a n t  d o c u m en ts   an d   th e  g e n er ato r   u s es  L L M  to   p r o d u ce   an s wer s .   T h e  Ollam aE m b ed d i n g   m o d el  is   u s ed   to   co n v er t te x t d ata  in to   v ec t o r s   u tili ze d   b y   th e  r etr iev er .   L L M   is   em p lo y ed   to   u n d e r s tan d   th e  co n tex t a n d   g en e r ate  an s wer s   b ased   o n   th e   r etr iev ed   d ata  [ 1 3 ] .   T h e  d e v elo p m e n t  o f   th e   ch atb o t  in v o l v es  th e  in te g r atio n   o f   t h e  Ollam aE m b ed d in g   m o d el,   R AG,   an d   L L M.   T h e  s y s tem   ar ch itectu r e  d iag r am   ca n   b e  s ee n   i n   Fig u r e  3 ,   wh ich   illu s tr ates  h o w   d ata  is   p r o ce s s ed   an d   h o w  th e  s y s tem   c o m p o n en ts   i n ter ac t.  T h e   wo r k f lo w  d iag r a m   f o r   d ata  r et r iev a l  an d   p r o ce s s in g   is   p r esen ted   in   Fig u r e  1 .   T h e  s y s tem   is   d esig n ed   to   p r o v id e  r elev an t a n s wer s   b ased   o n   t h e  em b e d d ed   d ata  [ 2 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   14 ,   No .   3 ,  Sep tem b er   20 25 :   8 49 - 8 58   852       Fig u r e  3 .   R AG  ar ch itectu r e       B ased   o n   Fig u r e  3 ,   th e  R AG  ar ch itectu r e  h as th r ee   m ain   co m p o n e n ts :   −   R etr iev er :  th is   co m p o n en t  is   r esp o n s ib le  f o r   r etr iev in g   r ele v an t  d o cu m en ts   f r o m   th e  k n o w led g e  s o u r ce   b ased   o n   th e  g i v en   q u er y .   So u r ce s   ca n   b e  eith er   o p e n   s o u r c e   o r   clo s ed   s o u r ce   [ 2 6 ] .   A  r et r iev er   f u n cti o n s   to   m ea s u r e  th e   r elev an ce   b e twee n   a  q u e r y   a n d   d o cu m e n ts   f o r   ef f ec tiv e   in f o r m atio n   r etr iev al.   Pre - r etr iev al  an d   p o s t - r etr iev al  en h an ce m en t  tech n iq u es  ar e  u s ed   to   im p r o v e  th e  ac cu r ac y   an d   r elev an ce   o f   r etr iev al  r esu lts .   −   Au g m en tatio n :  t h is   co m p o n e n t  p r o ce s s es  th e  r etr iev ed   d o cu m en ts   to   e x tr ac t  im p o r tan t   in f o r m atio n .   Au g m en tatio n   is   ap p lied   at  t h r ee   s tag es:  in p u t  lay er   ( co m b in in g   d o c u m en ts   with   th e   o r ig in al  q u e r y ) ,   o u tp u t  la y er   ( co m b in in g   r etr ie v al  an d   g en e r atio n   r esu lts ) ,   a n d   in ter m ed iate  lay e r   ( in te g r a tin g   r esu lts   in   th e  in ter n al  g e n er ato r   la y er )   [ 2 6 ] .   I n ter m ed iate - la y er   au g m e n tatio n   o f f er s   th e  p o te n tial  f o r   p er f o r m an ce   im p r o v em e n t,  b u t it  r eq u ir es d ee p er   ac ce s s   to   th e  L L M.   −   Gen er atio n :  th is   co m p o n en t  is   a  lan g u ag e  m o d el  th at  p r o d u c es  f in al  an s wer s   b ased   o n   th e  in p u t  an d   t h e   au g m en ted   r etr iev al   r esu lts .   Au g m en tatio n   ca n   b e   p er f o r m ed   at  th r ee   s tag es  ( in p u t,  o u t p u t,  o r   in ter m ed iate) ,   d e p en d i n g   o n   th e  s y s tem 's n ee d s   [ 2 6 ] .   Fig u r e  1   s h o ws  h o w  r etr iev al  an d   g e n er atio n   tec h n iq u es  wo r k   to g eth e r   to   p r o d u ce   r ele v an t  an s wer s .   Au g m en tatio n   at   v ar io u s   lay e r s   en s u r es  ac cu r ate  an d   co n te x tu ally   ap p r o p r iate  an s wer s .   Fig u r e  2   illu s tr ates   th e  ap p licatio n   o f   R AG  in   ch atb o ts .   Fig u r e  4   illu s tr ates  th e  ar ch itectu r e  o f   th e  R AG  s y s tem   ap p lied   to   a   ch atb o t  f o r   m en tal  h e alth   in f o r m atio n   s er v ices.  T h e  p r o ce s s   b eg in s   with   in p u t  i n   th e  f o r m   o f   a  d o cu m e n t  o r   ar ticle  ( th e  r e d   f ile  s y m b o l   o n   th e  lef t) ,   wh ich   is   th en   d iv id e d   in to   s m aller   p iece s   th r o u g h   a  ch u n k in g   p r o ce s s   [ 2 2 ] .   T h ese  p iece s   ar e  p r o ce s s ed   b y   th e  r etr i ev e r   co m p o n en t   ( r ep r esen ted   b y   th e  o r an g e  ch ip   s y m b o l) ,   wh ich   f u n ctio n s   to   s ea r c h   f o r   an d   r et r iev e  r elev an t i n f o r m atio n   f r o m   a  v ec to r - b ased   d atab ase  ( b l u e  b u c k et  s y m b o l) .           Fig u r e  4 .   I m p lem en tatio n   o f   R AG  an d   L L M  in   c h atb o ts       T h e  r etr iev er   co n d u cts  a  s ea r ch   b ased   o n   th e   s em an tic  s im ilar ity   b etwe en   th e  u s er ' s   q u er y   ( t h e  p er s o n   s y m b o l  i n   th e   u p p er   r ig h t)   an d   t h e  p r o ce s s ed   d o cu m en ts   [ 2 7 ] .   R elev an t   in f o r m a tio n   is   s en t  to   th e   g en er ato r   ( an o th er   ch ip   s y m b o l  o n   th e   r ig h t) ,   w h ich   u s es  Op en AI ' s   L L M  to   g e n er ate   an s wer s   b ased   o n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g e  la n g u a g e  mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o t  …  ( A n d i R ia n s ya h )   853   au g m en ted   s ea r ch   r esu lts .   T h e  f in al  r esu lt  is   a  r esp o n s e  p r o v id ed   b ac k   to   th e  u s er ,   tailo r ed   to   th e  r elev an t   co n tex t.  Ov er all,   t h is   d iag r am   illu s tr ates  h o w  th e  co m b in ati o n   o f   s im ilar ity   s ea r ch   an d   p r o m p tin g   with in   th e   R AG  s y s tem   en ab les  t h e  ch a tb o t  to   p r o v id e  m o r e  ac c u r at e  an d   in f o r m ativ e  r esp o n s es,  ass is tin g   u s er s   in   o b tain in g   m en tal  h ea lth   in f o r m atio n   q u ic k ly   an d   ac cu r ately .     2 . 4 .     E v a lua t i o n   T h e  ev alu atio n   o f   L L Ms  is   an   im p o r tan t  co m p o n en t  in   co n tem p o r ar y   ar tific ial  in tellig en ce   r esear ch   b ec au s e  it  h elp s   to   u n d er s tan d   th eir   o p e r atio n al  ca p ab ilit ies  an d   s h o ws  th e  way   f o r   f u tu r e  ad v an ce m e n ts   [ 2 8 ] .  T h e  ch atb o t  is   test ed   b y   p r o v id in g   v ar io u s   q u esti o n s   to   ass es s   th e  s y s tem 's  ab ilit y   to   p r o v id e  ac c u r ate   an s wer s .   T h e  ev alu atio n   was  co n d u cted   u s in g   R OUGE   m etr ics,  n am ely   R OUG E - 1 ,   R OUGE - 2 ,   an d     R OUGE - L ,   to   m ea s u r e   th e   q u ality   an d   r elev a n ce   o f   t h e  an s wer s   [ 2 9 ] .   T h is   test   aim s   to   en s u r e  th at  t h e  c h atb o t   ca n   p r o v id e  ef f ec tiv e  m en tal  h ea lth   in f o r m atio n   th at  m ee ts   th e  n ee d s   o f   a d o lescen ts   [ 3 0 ] – [ 3 2 ] .     2 . 4 . 1 .   RO UG E - 1   R OUGE - 1   is   an   ev alu atio n   m o d el  t h at  s er v es  to   m ea s u r e  s im ilar ity   b ased   o n   u n ig r am s   ( s in g le  wo r d s )   b etwe en   t h e  o u t p u t  tex t  o f   a  m o d el  an d   r ef e r en ce   tex t.  T h is   m eth o d   is   u s ef u l  f o r   ev alu atin g   h o w  m an y   im p o r tan t   wo r d s   i n   th e   r ef e r e n ce   ap p ea r   i n   th e   m o d el' s   o u tp u t.  R OUGE - 1   is   ca lcu lated   as  t h e  r atio   o f   t h e   n u m b er   o f   u n ig r am s   th at  o v er lap   with   th e  r ef er en ce   to   th e  to tal  u n ig r am s   in   th e  r ef er en c e  o r   m o d el  o u tp u t,   d ep en d i n g   o n   wh eth er   p r ec is io n ,   r ec all,   o r   F - m ea s u r e  is   b ei n g   ca lcu lated .   Her e   is   th e  ca lcu latio n   f o r m u la:      =                  ℎ        ( 1 )      =                 ℎ        ( 2 )     −  = 2 ×    ×      ×     ( 3 )     2 . 4 . 2 .   RO UG E - 2   R OUGE - 2   is   an   e v alu atio n   m o d el  t h at  f u n ctio n s   to   m ea s u r e  s im ilar ity   b ased   o n   b ig r am s   ( two   co n s ec u tiv e  wo r d s )   b etwe en   t h e  m o d el' s   o u tp u t   an d   r ef er e n ce   tex ts .   T h is   m eth o d   is   u s e d   to   ev al u ate  m o r e   co m p lex   wo r d   s eq u e n ce s ,   p r o v id in g   d ee p er   i n s ig h ts   in to   th e  co h esio n   a n d   co n tex t  ca p t u r ed   b y   th e  m o d el.   R OUGE - 2   is   ca lcu lated   as  th e  r atio   o f   th e  n u m b e r   o f   b ig r am s   th at  o v er lap   with   th e  r e f er en ce   to   th e  to tal   n u m b er   o f   b ig r am s   in   t h e  r ef er en ce   o r   th e   m o d el  o u tp u t.  Her e  is   th e  ca lcu latio n   f o r m u la:      =                 ℎ        ( 4 )      =                 ℎ        ( 5 )     −  = 2 ×    ×      ×     ( 6 )     2 . 4 . 3 .   RO UG E - L   R OUGE - L   is   an   ev alu atio n   m o d el  th at  s er v es  to   m ea s u r e   s im ilar ity   b ased   o n   th e  l o n g est  co m m o n   s u b s eq u en ce   ( L C S)  b etwe en   th e  m o d el  o u t p u t  an d   t h e  r ef er en ce   tex t.  T h is   m o d el  is   u s ed   to   ev alu ate  th e   s im ilar ity   o f   l o n g   s eq u en ce s   b etwe en   th e   m o d el' s   o u tp u t  a n d   th e   r e f er en ce ,   allo win g   f o r   th e   ass ess m en t  o f   h o w  well  th e  g en er ated   s eq u en ce   r ef lects  th e  ex p ec ted   s eq u en ce   in   th e  r ef e r en ce .   Her e  is   th e  ca lcu latio n   f o r m u la:      =               (  )          ℎ        ( 7 )      =            (  )          ℎ        ( 8 )     −  = 2 ×    ×      ×     ( 9 )       3.   RE SU L T S AN D  D I SCU SS I O N   I n   th is   s ec tio n ,   th e  ev alu atio n   r esu lts   o f   th e  ch atb o t  s y s tem   d esig n ed   to   ass is t   teen ag er s   in   o b tain in g   m en tal  h ea lth   in f o r m atio n   wil l  b e  an aly ze d   in   d etail.   T h e  m ain   o b jectiv e  o f   th is   ev alu atio n   is   to   as s es s   th e   ac cu r ac y ,   r elev a n ce ,   an d   ef f e ctiv en ess   o f   th e  ch atb o t  in   p r o v id in g   ap p r o p r iate  s o lu tio n s   f o r   th e  s itu atio n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   14 ,   No .   3 ,  Sep tem b er   20 25 :   8 49 - 8 58   854   f ac ed   b y   u s er s .   T h e  e v alu atio n   r esu lts   aim   to   p r o v id e   a   c lear   p ictu r e   o f   th e   s y s tem ' s   p er f o r m a n ce   a n d   its   co n tr ib u tio n   to   s u p p o r tin g   th e  m en tal  h ea lth   o f   ad o lescen ts .     T h e  ev alu atio n   m et h o d   u s ed   is   th e  m ea s u r em en t  o f   R OUGE   s co r es,  wh ich   is   ap p lied   to   ass es s   t h e  ex ten t  to   wh ich   t h e  an s wer s   p r o v id e d   b y   th e  ch at b o t  alig n   with   th e  p r ed ete r m in ed   r ef er en ce   an s wer s .   T h is   ass es s m en t  in clu d es  R OUG E - 1 ,   R OUGE - 2 ,   an d   R OUGE - L ,   ea ch   o f   wh ic h   p r o v id e s   in s ig h ts   in to   th e   p r ec is io n ,   r ec all,   an d   F - m ea s u r e  o f   th e  s y s tem .   I n   ad d it io n ,   th e  u s er   in ter f ac e  ( UI )   asp ec t  is   also   ev alu ated   to   en s u r e  th at  th e  s y s tem   is   n o t o n ly   ef f ec tiv e  i n   ter m s   o f   c o n te n t b u t a ls o   ea s y   to   u s e  f o r   e n d   u s er s .   T o   ev alu ate  t h e  ch atb o t’ s   a b ilit y   to   r esp o n d   to   v ar io u s   ty p es  o f   u s er   in p u ts ,   a  s e t  o f   f iv e   r ep r es en tativ e  q u esti o n s   was  s elec ted .   T h ese   q u esti o n s   c o v er   b o th   g e n er al  k n o wled g e  an d   s p ec if ic  u s er   s ce n ar io s   r elate d   to   ad o lescen t  m en tal  h ea lth :  i)   W h at   is   d e p r ess io n ?   ii)  W h at  i s   em o tio n al  m en tal  d is o r d er ?   iii)  W h at  i s   th e  d ev elo p m en t  o f   em o tio n al  m en tal  h e alth   lik e  b etwe en   ad o lescen ts   li v in g   in   th e  "Pu tr i  Ais y iah "  o r p h a n ag e  a n d   th o s e  liv in g   at  h o m e  i n   Su k o r ejo   V illag e,   Ken d al  R eg en cy ?   iv )   I   am   an   1 8 - y ea r - o ld   f r esh m an ,   a n d   I   o f ten   f o r g et  t h in g s   an d   ca n ' t  f o cu s   at  all.   I s   th er e  a  way   f o r   m e  to   r eg ain   m y   co n ce n tr atio n ?   an d   v )   I   o f ten   lau g h   ex ce s s iv ely   an d   s o m etim es c r y   u n c o n tr o llab ly ; w h at  s y m p to m s   co u ld   t h at  b e?   T ab le  1   s h o ws  th e   r esu lts   o f   t h e  ch atb o t   p er f o r m a n ce   ev alu atio n   b ased   o n   th e   R OUGE   s c o r e,   wh ich   m ea s u r es  th e  q u ality   o f   th e  ch atb o t' s   r esp o n s es  b y   co m p ar in g   th em   to   r ef er e n ce   an s wer s .   T h is   ev alu atio n   in v o lv es  th r ee   m ain   m etr ics:   R OUGE - 1 ,   R OUGE - 2 ,   an d   R OUGE - L .   E ac h   m etr ic   is   m ea s u r ed   f r o m   th r ee   asp ec ts ,   n am ely   p r ec is io n ,   r ec all,   an d   F1 - m ea s u r e .   −   R OUGE - 1   m ea s u r es  th e  s im ilar ity   b ased   o n   u n ig r a m s   b etwe en   th e   ch atb o t' s   r esp o n s es  an d   th e   r ef er en ce .   T h e  r esu lts   s h o w  an   av er ag e  p r ec is io n   o f   8 7 . 8 %,  r ec all  o f   8 3 %,  a n d   F1 - m ea s u r e  o f   8 4 %.  T h is   in d icate s   th at  th e  ch atb o t  is   c ap ab le  o f   r ec o g n izin g   a  m ajo r ity   o f   th e  r elev an t  k ey wo r d s   th at  alig n   with   th e  r ef er en ce   an s wer s ,   with   a  g o o d   b alan ce   b etwe en   p r ec is i o n   an d   co v e r ag e.     −   R OUGE - 2   m ea s u r es  th e  s u it ab ilit y   b ased   o n   b ig r am s .   T h e  av er ag e  p r ec is io n   f o r   th is   m etr ic  r ea ch es   8 2 . 8 %,  r ec all  is   at  7 6 . 8 %,  an d   th e  F1 - m ea s u r e  is   7 8 . 2 %,  wh ich   is   s l ig h tly   lo wer   th an   R OUGE - 1 .   T h i s  in d icate s   th at  wh en   th e  c h atb o t  is   ask ed   to   u n d e r s tan d   th e   r e latio n s h ip s   b etwe en   wo r d s ,   its   p er f o r m an ce   s lig h tly   d ec lin es.    −   R OUGE - L   m ea s u r es  th e  s im ilar ity   b ased   o n   th e  l o n g est  m atch in g   w o r d   s eq u en c e  b etwe en   t h e     ch atb o t' s   r esp o n s e  an d   th e  r ef er en ce .   T h e   av e r ag e  p r ec is io n   is   8 8 %,  r ec all  is   8 2 . 6 %,  an d   th e  F1 - m ea s u r e   r ea ch es 8 3 . 4 %.       T ab le  1 .   R esu lts   o f   th e  R OUGE   s co r e  ev alu atio n   Q u e st i o n   R O U G E - 1   R O U G E - 2   R O U G E - L   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - mea s u r e   ( %)   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - mea s u r e   ( %)   P r e c i s i o n   ( %)   R e c a l l   ( %)   F1 - mea s u r e   ( %)   i   70   89   81   64   78   70   74   90   81   ii   1 0 0   94   97   1 0 0   94   97   1 0 0   94   97   iii   72   83   77   59   68   63   70   81   75   iv   1 0 0   96   98   98   94   96   99   95   97   v   97   53   67   93   50   65   97   53   67   A v e r a g e   8 7 . 8   83   84   8 2 . 8   7 6 . 8   7 8 . 2   88   8 2 . 6   8 3 . 4       Ou r   f in d in g s   in d icate   th at   in teg r atin g   R AG  an d   L L M  s ig n if ican tly   en h an ce s   th e   c o n tex tu al   u n d er s tan d i n g   a n d   ac c u r ac y   o f   ch atb o t  r esp o n s es,  o u tp er f o r m in g   s im p ler   ch atb o t   s y s tem s   ex p lo r ed   in   p r i o r   r esear ch .   T h is   s u g g ests   th at  em p lo y in g   a  r etr ie v al - au g m e n ted   a p p r o ac h   ef f ec tiv ely   s u p p o r ts   d etailed   a n d   co n tex t - s p ec if ic  in f o r m atio n   d eliv er y   with o u t  n e g ativ ely   i m p ac tin g   r esp o n s e  q u ality .   T h ese  r esu lts   alig n   f av o r a b ly   with   s im ilar   r esear ch ,   in d icatin g   e n h an ce d   ac c u r ac y   an d   r elev an ce   wh en   lev er ag in g   ad v a n ce d     L L M  tec h n iq u es.   Fig u r e  5   p r esen ts   an   in ter ac t iv e  ch atb o t  in ter f ac e  s p ec if ic ally   d esig n ed   to   p r o v id e  m e n tal  h ea lth   in f o r m atio n   an d   ad v ice  f o r   ad o lescen ts .   User s   ca n   p o s e   v ar io u s   q u esti o n s ,   s u ch   as  is s u es   r elate d   to   co n ce n tr atio n   o r   f o r g et f u ln ess ,   an d   th e   ch atb o t  r esp o n d s   with   p r ac tical   r ec o m m en d atio n s   an d   r ef e r en ce s   to   r elev an t  r esear ch .   T h is   u s er - f r ien d ly   in ter f ac e  e n ab les  teen a g er s   to   q u ick ly   a n d   co n v en ie n tly   ac ce s s   v alu ab le   m en tal  h ea lth   in f o r m atio n .   I n   th is   e x p er im e n t,  th e   u s er   p o s ed   q u esti o n s   r elate d   t o   th e   d i f f icu lties   in   c o n ce n tr atio n   e x p er ien ce d ,   wh ich   o f ten   o cc u r   am o n g   s tu d en ts .   T h e  c h atb o t  r esp o n d s   b y   p r o v id i n g   a   co m p r eh en s iv e  ex p lan atio n   o f   th e   p o s s ib le  ca u s es o f   co n ce n tr atio n   d if f icu lties ,   s u ch   as lac k   o f   s leep ,   s tr ess ,   an d   m u ltit ask in g   h ab its .   I n   ad d iti o n ,   th e  ch atb o t  p r o v id es  p r ac tical  s u g g esti o n s   to   ad d r ess   th ese  is s u es,  s u ch   as  m ain tain in g   a  s u f f icien t  s leep   p atter n ,   m an a g in g   s tr ess ,   an d   r ed u cin g   g ad g et  u s e  b ef o r e  b ed tim e.     T h e  r esp o n s es  p r o v id ed   b y   th e   ch atb o t   in   th is   ex p er im en t   d e m o n s tr ate  a   f air ly   h ig h   lev el   o f   ac cu r ac y   an d   r elev an ce .   T h e  ch at b o t  s u cc ess f u lly   id en tifie d   th e  is s u es  f ac ed   b y   th e  u s er   an d   p r o v id ed   an s wer s   th at  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g e  la n g u a g e  mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o t  …  ( A n d i R ia n s ya h )   855   wer e  r elev an t  to   th e  co n tex t   o f   th e  q u esti o n s .   T h is   in d icate s   th at  th e  s y s tem   ca n   r ec o g n ize  an d   p r o v id e   ac cu r ate  an s wer s   r elate d   to   t h e  m en tal  h ea lth   is s u es  f ac ed   b y   ad o lescen ts ,   in   ac c o r d an ce   with   th e  co n tex t  t h at  h as  b ee n   em b ed d ed   in to   th e  m o d el.   Fig u r e  6   s h o ws  th e   c o n v er s atio n   p ag e   b etwe en   th e  u s er   an d   th e   b o t,  wh er e  th e  in p u t  q u esti o n s   ar e  o u ts id e  th e  co n tex t  p r esen t  in   th e  v e cto r   s to r e.   Fo r   ev er y   q u esti o n   th at  is   o u t  o f   co n tex t,  th e  b o t w ill co n f i r m   t h at  th er e  is   n o   r elatio n   b etwe e n   th e  q u esti o n   an d   t h e  to p ic  b e in g   d is cu s s ed .   T h e  m ain   o b jectiv e  o f   th is   r esear ch   is   to   d ev elo p   an d   e v alu ate  an   au to m ate d   s y s tem   th at  u s es   ad v an ce d   lan g u ag e  m o d els  an d   r etr ie v al  tech n i q u es  to   g en er ate   s u m m ar ies  o f   m en tal  h ea lth - r elate d   in f o r m atio n   f o r   ad o lescen ts .   T h is   r esear ch   aim s   to   im p r o v e  th e  ac ce s s ib il ity   an d   ac cu r ac y   o f   m en tal  h ea lth   in f o r m atio n   p r o v id e d   to   y o u n g   in d iv id u als,  e n s u r in g   th at   th e  in f o r m atio n   is   b o th   r elev an t  an d   ea s y   to   u n d er s tan d .   T h e  h y p o th esis   o f   th is   s tu d y   is   th at  th e   u s e  o f   a  R AG  ap p r o ac h   will  en h an c e  th e  ac cu r ac y   an d   co m p r eh e n s iv en ess   o f   th e  g en er ated   s u m m ar ies  co m p ar ed   to   tr ad itio n al  s u m m ar izatio n   m eth o d s .   Sp ec if ically ,   it  i s   h y p o th esized   th at  in teg r atin g   r etr iev al  tech n iq u es  with   ad v an ce d   lan g u ag e  m o d els  will  im p r o v e   b o t h   th e   p r ec is io n   an d   r ec all  o f   th e   s y s tem ,   lead in g   to   s u m m a r ies  th at  b etter   r ef le ct  th e  k e y   p o in ts   o f   m en tal  h ea lth   co n ten t w h ile  m ain tain in g   r elev a n ce   an d   cl ar ity   f o r   a d o lescen t u s er s .           Fig u r e  5 .   C h atb o t   co n v er s atio n   p ag e           Fig u r e  6 .   C h atb o t   co n v er s atio n   o u t o f   co n tex t       4.   CO NCLU SI O N   B ased   o n   th e  f in d in g s   o f   th is   s tu d y ,   th e  ch atb o t  s y s tem   d e v elo p ed   u s in g   L L M  a n d   R AG  m eth o d s   s h o ws  s tr o n g   p o ten tial  as  a  m en tal  h ea lth   in f o r m atio n   s er v ice  f o r   ad o lescen ts .   E v alu atio n   r esu lts   co n f ir m   a   s atis f ac to r y   p er f o r m an ce ,   with   an   av er ag e  R OUGE   s co r e  o f   R OUGE - 1 :  p r ec is io n   8 7 . 8 %,  r ec all  8 3 . 0 %,  an d   F1 - m ea s u r e  8 4 . 0 %;  R OUGE - 2 :  p r ec is io n   8 2 . 8 %,  r ec all  7 6 . 8 %,  an d   F1 - m ea s u r e   7 8 . 2 % ;  an d   R OUGE - L :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   14 ,   No .   3 ,  Sep tem b er   20 25 :   8 49 - 8 58   856   p r ec is io n   8 8 . 0 %,  r ec all  8 2 . 6 %,  an d   F1 - m ea s u r e  8 3 . 4 %,  i n d icate   th e  d ev elo p ed   ch at b o t  s y s tem   ef f ec tiv ely   ad d r ess es  ad o lescen t  m en tal  h ea lth   in f o r m atio n   n ee d s .   Ou r   f in d in g s   o f f er   d ef in itiv e  p r o o f   th at  em p lo y in g   R AG  an d   L L M  s ig n if ican tly   en h an ce s   ch atb o t  p er f o r m an ce   in   ter m s   o f   co n tex t u al  ac cu r a cy   an d   in f o r m atio n   r elev an ce ,   r ath er   t h an   b ein g   lim ited   b y   tr ad itio n al  r esp o n s e  g en er atio n   m eth o d s .   L o o k in g   ah ea d ,   f u tu r e  r esear ch   co u ld   ex p a n d   o n   th is   ap p r o ac h   b y   in co r p o r atin g   r ea l - tim e  co n n ec tio n s   to   m e n tal  h ea lth   p r o f ess io n als   o r   ad d in g   p er s o n alize d ,   c o n t ex t - awa r e  r ec o m m e n d atio n s   b ased   o n   in d iv id u al  u s er   p r o f iles .   Ad d itio n ally ,   ex p lo r in g   ad a p tatio n s   f o r   m u l tip le  lan g u a g es  an d   cu ltu r al   s ettin g s   ca n   h el p   in c r ea s e  th e  s y s tem ’ s   r ea ch   an d   r elev an ce .   Ov er all,   th ese  r esu lts   u n d er s co r e  th e  p r o m is e  o f   AI - d r iv en   s o lu tio n s   lik e  ch atb o ts   in   en h an cin g   m en tal  h ea lth   r eso u r ce s   f o r   ad o lescen ts ,   lay in g   a  f o u n d atio n   f o r   b r o a d er   ap p licatio n s   i n   d ig ital  h ea lth ca r e  a n d   well - b ein g   in ter v e n tio n s .       ACK NO WL E DG M E N T S   W e  wo u ld   f ir s t  lik e  to   th an k   t h e  p s y ch o lo g is ts   wh o   v er if ied   th e  d ataset  we  co llected ;  with o u t  th em ,   th is   r esear ch   wo u ld   n o t  h av e   b ee n   p o s s ib le.   I n   a d d itio n ,   we  th an k   o u r   ac ad em ic  a d v is o r   f o r   th eir   in v alu a b le  s u g g esti o n s   an d   ass is tan ce   d u r in g   th e  in v esti g atio n .   T h is   r esear ch   aim s   to   b en ef it  ev e r y o n e  wh o   is   s tr iv in g   to   im p r o v e  m en tal  h ea lth   ca r e  f o r   ad o lescen ts   in   I n d o n esia.       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  f u n d ed   b y   Un iv er s itas   I s lam   Su ltan   Ag u n g ,   Sem a r an g ,   I n d o n esia.  T h e  au th o r s   g r ate f u lly   ac k n o wled g e  t h e  f in an cial  s u p p o r t  p r o v i d ed   b y   th e  u n iv er s ity   i n   co n d u ctin g   an d   co m p letin g     th is   s tu d y .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   An d i Ri an s y ah   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓   I m am   Mu ch   I b n u   Su b r o to   ✓   ✓     ✓   ✓   ✓       ✓   ✓       ✓     I n tan   Nu r ’ ain i   ✓   ✓   ✓     ✓   ✓   ✓     ✓   ✓   ✓         R atn a  Su p r ad ewi   ✓   ✓       ✓         ✓             Su y an to   Su y a n to   ✓   ✓       ✓         ✓               C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     T h e  au th o r s   d ec lar e  th at  th er e  ar e  n o   k n o wn   co n f licts   o f   in ter est,  eith er   f in an cial  o r   n o n - f in an cial,   th at  co u ld   h av e  in f l u en ce d   t h e  r esu lts   o f   th is   r esear ch .   T h is   s tu d y   was  co n d u cte d   in d ep en d en tly ,   an d   all   f in d in g s   h a v e  b ee n   p r esen ted   o b jectiv ely   b ased   o n   th e  d ata  an d   an aly s is   ca r r ied   o u t b y   th e   r esear ch   team .       DATA AV AI L AB I L I T Y    T h e  d ata  s u p p o r tin g   th e  f in d i n g s   o f   th is   s tu d y   wer e  o b tain ed   f r o m   v ar i o u s   s cien tific   ar ticles  r elate d   to   ad o lescen t  m e n tal  h ea lth .   T h e  d ata  wer e   p r o ce s s ed   an d   a n o n y m ize d   p r io r   t o   u s e  i n   th e  d ev elo p m e n t  o f   th e   ch atb o t  s y s tem .   Du e  to   c o p y r ig h t  r estrictio n s   an d   p r iv ac y   c o n s id er atio n s ,   th e  d ata  ar e  n o t   p u b licly   a v ailab le  b u t m ay   b e  o b tain ed   f r o m   th e   co r r esp o n d in g   a u th o r   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   Y .   Z h u ,   J.   L i a n g ,   a n d   Y .   Z h a o ,   “ E x p e r t   o r   p a r t n e r :   t h e   ma t c h i n g   e f f e c t   o f   A I   c h a t b o t   r o l e s   i n   d i f f e r e n t   s e r v i c e   c o n t e x t s, ”   El e c t r o n i c   C o m m e rc e   R e se a rc h   a n d   A p p l i c a t i o n s ,   v o l .   7 1 ,   p .   1 0 1 4 9 6 ,   M a y   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . e l e r a p . 2 0 2 5 . 1 0 1 4 9 6 .   [ 2 ]   M .   S k j u v e ,   A .   F ø l s t a d ,   K .   I .   F o s t e r v o l d ,   a n d   P .   B .   B r a n d t z a e g ,   “ M y   c h a t b o t   c o m p a n i o n   -   a   st u d y   o f   h u ma n - c h a t b o t   r e l a t i o n sh i p s,”   I n t e r n a t i o n a l   J o u r n a l   o f   H u m a n - C o m p u t e r   S t u d i e s ,   v o l .   1 4 9 ,   p .   1 0 2 6 0 1 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . i j h c s. 2 0 2 1 . 1 0 2 6 0 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       La r g e  la n g u a g e  mo d els a n d   r e tr ieva l - a u g men ted   g en era tio n - b a s ed   ch a t b o t  …  ( A n d i R ia n s ya h )   857   [ 3 ]   A .   R i a n sy a h ,   M .   Q o maru d d i n ,   M .   I n d r i a s t u t i ,   a n d   M .   S a g a f ,   “ C l u s t e r i n g   d i g i t a l   t r a n sf o r ma t i o n   o f   sm a l l   a n d   m e d i u m   e n t e r p r i ses   ( S M Es)   u s i n g   f u z z y   K - m e a n s  met h o d , ”   i n   2 0 2 3   1 0 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   El e c t r i c a l   E n g i n e e ri n g ,   C o m p u t e r  S c i e n c e   a n d   I n f o rm a t i c s ,   I EEE,   S e p .   2 0 2 3 ,   p p .   5 4 0 – 5 4 4 .   d o i :   1 0 . 1 1 0 9 / EE C S I 5 9 8 8 5 . 2 0 2 3 . 1 0 2 9 5 6 6 4 .   [ 4 ]   S .   I t o ,   E.   F u r u k a w a ,   T.   O k u h a r a ,   H .   O k a d a ,   a n d   T.   K i u c h i ,   “ Le v e r a g i n g   a r t i f i c i a l   i n t e l l i g e n c e   c h a t b o t s  f o r   a n e mi a   p r e v e n t i o n :   a   c o m p a r a t i v e   st u d y   o f   C h a t G P T - 3 . 5 ,   C o p i l o t ,   a n d   G e mi n i   o u t p u t s  a g a i n st   g o o g l e   sea r c h   r e s u l t s, ”   PE C   I n n o v a t i o n ,   v o l .   6 ,     p .   1 0 0 3 9 0 ,   J u n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . p e c i n n . 2 0 2 5 . 1 0 0 3 9 0 .   [ 5 ]   H .   W u ,   X .   Y i n ,   K .   M i a o ,   J.   Y i n ,   a n d   H .   Z h a o ,   “ C a r d i o r e s p i r a t o r y   f i t n e ss i n   a d o l e s c e n t s   w i t h   m e n t a l   su b - h e a l t h   i n   C h i n a , ”   A n n a l e s   Mé d i c o - p syc h o l o g i q u e s,  rev u e   p s y c h i a t r i q u e ,   v o l .   1 7 9 ,   n o .   1 ,   p p .   3 3 – 3 8 ,   Ja n .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . a m p . 2 0 2 0 . 0 8 . 0 0 2 .   [6 ]   T.   A .   M a t t h e w s ,   H .   S h a o ,   M .   F o r st e r ,   a n d   I .   K i m ,   “ A sso c i a t i o n s  o f   a d v e r s e   c h i l d h o o d   e x p e r i e n c e s  w i t h   d e p r e ss i o n   a n d   a n x i e t y   a mo n g   c h i l d r e n   i n   t h e   U n i t e d   S t a t e s :   r a c i a l   a n d   e t h n i c   d i s p a r i t i e s   i n   me n t a l   h e a l t h , ”   J o u r n a l   o f   Af f e c t i v e   D i so rd e rs ,   v o l .   3 6 2 ,     p p .   6 4 5 – 6 5 1 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j a d . 2 0 2 4 . 0 7 . 1 2 1 .   [ 7 ]   A .   M a r w a n t o ,   A .   R i a n s y a h ,   a n d   M .   K .   A n w a r ,   “ A n   i m p r o v e m e n t   o f   a p p l e   l e a f   d i s e a s e s  d e t e c t i o n   u s i n g   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   me t h o d s  b a se d   o n   m o b i l e   s y s t e ms, ”   i n   2 0 2 4   1 1 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   E l e c t ri c a l   E n g i n e e ri n g ,   C o m p u t e r  S c i e n c e   a n d   I n f o rm a t i c s ,   I EEE,   S e p .   2 0 2 4 ,   p p .   4 4 0 – 4 4 7 .   d o i :   1 0 . 1 1 0 9 / E EC S I 6 3 4 4 2 . 2 0 2 4 . 1 0 7 7 6 3 4 5 .   [ 8 ]   E.   K u s u m a n i n g t y a s,  E .   La u r e n t i n o ,   a n d   A .   B a r a k b a h ,   “ R e s p o n s i v e   c h a t b o t   u si n g   n a me d   e n t i t y   r e c o g n i t i o n   a n d   c o si n e   s i m i l a r i t y , ”   i n   Pr o c e e d i n g s   o f   t h e   5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Ap p l i e d   S c i e n c e   a n d   T e c h n o l o g y   o n   En g i n e e ri n g   S c i e n c e ,   S C I TEPRE S S   -   S c i e n c e   a n d   T e c h n o l o g y   P u b l i c a t i o n s ,   2 0 2 2 ,   p p .   2 3 9 – 2 4 5 .   d o i :   1 0 . 5 2 2 0 / 0 0 1 1 7 5 6 3 0 0 0 0 3 5 7 5 .   [ 9 ]   D .   G a o   e t   a l . ,   “ F a sh i o n G P T :   LL M   i n s t r u c t i o n   f i n e - t u n i n g   w i t h   m u l t i p l e   Lo R A - a d a p t e r   f u si o n , ”   K n o w l e d g e - Ba s e d   S y s t e m s ,    v o l .   2 9 9 ,   p .   1 1 2 0 4 3 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . k n o s y s. 2 0 2 4 . 1 1 2 0 4 3 .   [ 1 0 ]   G .   Ji a n g ,   Z.   M a ,   L.   Z h a n g ,   a n d   J.   C h e n ,   “ EP l u s - LL M :   a   l a r g e   l a n g u a g e   m o d e l - b a s e d   c o mp u t i n g   p l a t f o r m  f o r   a u t o m a t e d   b u i l d i n g   e n e r g y   m o d e l i n g , ”   A p p l i e d   E n e rg y ,   v o l .   3 6 7 ,   p .   1 2 3 4 3 1 ,   A u g .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a p e n e r g y . 2 0 2 4 . 1 2 3 4 3 1 .   [ 1 1 ]   Z.   P a n g ,   Y .   L u a n ,   J.  C h e n ,   a n d   T.   L i ,   “ P a r I n f o G P T:   a n   LL M - b a s e d   t w o - st a g e   f r a m e w o r k   f o r   r e l i a b i l i t y   a sses smen t   o f   r o t a t i n g   mac h i n e   u n d e r   p a r t i a l   i n f o r mat i o n , ”   R e l i a b i l i t y   E n g i n e e ri n g   &   S y st e m   S a f e t y ,   v o l .   2 5 0 ,   p .   1 1 0 3 1 2 ,   O c t .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . r e s s. 2 0 2 4 . 1 1 0 3 1 2 .   [ 1 2 ]   L.   S h i ,   M .   K a z d a ,   B .   S e a r s,   N .   S h r o p sh i r e ,   a n d   R .   P u r i ,   “ A sk - ED A :   a   d e si g n   a ssi s t a n t   e m p o w e r e d   b y   L LM ,   h y b r i d   R A G   a n d   a b b r e v i a t i o n   D e - h a l l u c i n a t i o n , ”   a rX i v ,   Ju n .   2 0 2 4 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 4 0 6 . 0 6 5 7 5   [ 1 3 ]   J.  R o b e r t s,  M .   B a k e r ,   a n d   J.   A n d r e w ,   “ A r t i f i c i a l   i n t e l l i g e n c e   a n d   q u a l i t a t i v e   r e se a r c h :   t h e   p r o mi s e   a n d   p e r i l s  o f   l a r g e   l a n g u a g e   mo d e l   ( LL M )   ‘ a ss i st a n c e , ’ ”   C ri t i c a l   Pe rsp e c t i v e s  o n   A c c o u n t i n g ,   v o l .   9 9 ,   p .   1 0 2 7 2 2 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c p a . 2 0 2 4 . 1 0 2 7 2 2 .   [ 1 4 ]   S. - C .   C h i e n   e t   a l . ,   “ U si n g   l a r g e   l a n g u a g e   m o d e l   ( LL M )   t o   i d e n t i f y   h i g h - b u r d e n   i n f o r ma l   c a r e g i v e r s   i n   l o n g - t e r m   c a r e , ”   C o m p u t e r   Me t h o d s   a n d   Pr o g ra m s   i n   B i o m e d i c i n e ,   v o l .   2 5 5 ,   p .   1 0 8 3 2 9 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c m p b . 2 0 2 4 . 1 0 8 3 2 9 .   [ 1 5 ]   M .   S t a d l e r ,   M .   B a n n e r t ,   a n d   M .   S a i l e r ,   “ C o g n i t i v e   e a se  a t   a   c o st :   LL M s  r e d u c e   m e n t a l   e f f o r t   b u t   c o m p r o mi s e   d e p t h   i n   st u d e n t   sci e n t i f i c   i n q u i r y , ”   C o m p u t e rs  i n   H u m a n   Be h a v i o r ,   v o l .   1 6 0 ,   p .   1 0 8 3 8 6 ,   N o v .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c h b . 2 0 2 4 . 1 0 8 3 8 6 .   [ 1 6 ]   M .   H .   S .   L e sma n a   a n d   M . - H .   C h u n g ,   “ P s y c h o m e t r i c   p r o p e r t i e s  o f   t h e   p e e r   m e n t a l   h e a l t h   st i g m a t i z a t i o n   s c a l e   i n   I n d o n e s i a n   a d o l e sce n t s,”   S S M  -   M e n t a l   H e a l t h ,   v o l .   7 ,   p .   1 0 0 4 0 0 ,   J u n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . ssm m h . 2 0 2 5 . 1 0 0 4 0 0 .   [ 1 7 ]   S .   W e c h t ,   M .   H e n d r i x so n ,   a n d   A .   R a d o v i ć ,   “ A   mi x e d   me t h o d   i n v e st i g a t i o n   o f   p a r e n t - a d o l e s c e n t   c o mm u n i c a t i o n   a b o u t   me n t a l   h e a l t h , ”   J o u r n a l   o f   A d o l e s c e n t   H e a l t h ,   v o l .   7 5 ,   n o .   6 ,   p p .   9 0 4 – 9 1 1 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j a d o h e a l t h . 2 0 2 4 . 0 7 . 0 1 2 .   [ 1 8 ]   E.   J e n ,   H . - Y .   C h a n ,   a n d   H .   N .   C h e u n g ,   “ A d d r e s si n g   a d o l e sce n t   s o c i a l   a n d   e mo t i o n a l   c o n c e r n s :   i n s i g h t s  f r o m  l o n e l i n e s s,   b u r n o u t ,   a n d   p r e f e r r e d   c o n v e r s a t i o n   t o p i c s  i n   A si a n   a n d   UK   c o n t e x t s  p o s t - p a n d e mi c , ”   Ac t a   Ps y c h o l o g i c a ,   v o l .   2 4 7 ,   p .   1 0 4 3 2 6 ,   Ju l .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . a c t p s y . 2 0 2 4 . 1 0 4 3 2 6 .   [ 1 9 ]   M .   T h e b e r a t h   e t   a l . ,   “ Ef f e c t s o f   C O V I D - 1 9   p a n d e m i c   o n   me n t a l   h e a l t h   o f   c h i l d r e n   a n d   a d o l e sc e n t s:   a   s y st e ma t i c   r e v i e w   o f   s u r v e y   st u d i e s, ”   S AG E  O p e n   Me d i c i n e ,   v o l .   1 0 ,   J a n .   2 0 2 2 ,   d o i :   1 0 . 1 1 7 7 / 2 0 5 0 3 1 2 1 2 2 1 0 8 6 7 1 2 .   [ 2 0 ]   K .   Q .   L i n ,   M .   C .   C . - B r e e n ,   C .   N o w e l l ,   A .   F .   Jo r m ,   a n d   M .   B .   H .   Y a p ,   “ P a r e n t i n g   s t r a t e g i e s   t o   s u p p o r t   a d o l e s c e n t   me n t a l   h e a l t h   d u r i n g   a   p a n d e m i c :   a   D e l p h i   c o n s e n su s   st u d y , ”   Me n t a l   H e a l t h   &  Pre v e n t i o n ,   v o l .   3 6 ,   p .   2 0 0 3 6 3 ,   D e c .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . m h p . 2 0 2 4 . 2 0 0 3 6 3 .   [ 2 1 ]   A .   D ’ A r q o m  e t   a l . ,   “ M e n t a l   h e a l t h   a n d   d e c i si o n - ma k i n g   p a r t i c i p a t i o n   o f   a d o l e s c e n t   o r p h a n s:   a   p i l o t   s t u d y , ”   J u r n a l   K e p e ra w a t a n   Pa d j a d j a ra n ,   v o l .   1 1 ,   n o .   3 ,   p p .   1 7 6 – 1 8 3 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 2 4 1 9 8 / j k p . v 1 1 i 3 . 2 3 5 8 .   [ 2 2 ]   S .   E . - La c k o ,   P .   F .   G i l a b e r t ,   a n d   M .   K n a p p ,   “ T h e   d o u b l e   d i sa d v a n t a g e   f a c e d   b y   a d o l e sce n t s  f r o m  l o w   so c i o e c o n o m i c   b a c k g r o u n d s   w i t h   m e n t a l   h e a l t h   p r o b l e ms   a f f e c t s   e a r n i n g s   u p   t o   mi d - l i f e , ”   S o c i a l   S c i e n c e   &   M e d i c i n e ,   v o l .   3 6 2 ,   p .   1 1 7 3 8 5 ,   D e c .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 2 4 . 1 1 7 3 8 5 .   [ 2 3 ]   L.   W u   e t   a l . ,   “ A   f r a mew o r k   e n a b l i n g   LLM s  i n t o   r e g u l a t o r y   e n v i r o n m e n t   f o r   t r a n s p a r e n c y   a n d   t r u st w o r t h i n e ss  a n d   i t s  a p p l i c a t i o n   t o   d r u g   l a b e l i n g   d o c u me n t , ”   Re g u l a t o r y   T o x i c o l o g y   a n d   Ph a rm a c o l o g y ,   v o l .   1 4 9 ,   p .   1 0 5 6 1 3 ,   M a y   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . y r t p h . 2 0 2 4 . 1 0 5 6 1 3 .   [ 2 4 ]   D .   B a r ma n ,   Z.   G u o ,   a n d   O .   C o n l a n ,   “ T h e   d a r k   si d e   o f   l a n g u a g e   mo d e l s :   e x p l o r i n g   t h e   p o t e n t i a l   o f   LL M s  i n   m u l t i m e d i a   d i s i n f o r ma t i o n   g e n e r a t i o n   a n d   d i ss e mi n a t i o n , ”   M a c h i n e   L e a r n i n g   w i t h   Ap p l i c a t i o n s ,   v o l .   1 6 ,   p .   1 0 0 5 4 5 ,   J u n .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . m l w a . 2 0 2 4 . 1 0 0 5 4 5 .   [ 2 5 ]   Y .   G a o   e t   a l . ,   “ R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   f o r   l a r g e   l a n g u a g e   mo d e l s :   a   su r v e y , ”   a r Xi v ,   M a r .   2 0 2 4 ,   [ O n l i n e ] .     A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 3 1 2 . 1 0 9 9 7   [ 2 6 ]   W .   F a n   e t   a l . ,   “ A   s u r v e y   o n   r a g   mee t i n g   L LM s :   t o w a r d s   r e t r i e v a l - a u g me n t e d   l a r g e   l a n g u a g e   m o d e l s,”   i n   Pr o c e e d i n g s  o f   t h e   3 0 t h   AC M   S I G K D D   C o n f e r e n c e   o n   K n o w l e d g e   D i sc o v e ry  a n d   D a t a   M i n i n g ,   N e w   Y o r k ,   N Y ,   U S A :   A C M ,   A u g .   2 0 2 4 ,   p p .   6 4 9 1 – 6 5 0 1 .   d o i :   1 0 . 1 1 4 5 / 3 6 3 7 5 2 8 . 3 6 7 1 4 7 0 .   [ 2 7 ]   K .   F o r t h   a n d   A .   B o r r ma n n ,   “ S e ma n t i c   e n r i c h m e n t   f o r   B I M - b a s e d   b u i l d i n g   e n e r g y   p e r f o r ma n c e   si m u l a t i o n s   u s i n g   sema n t i c   t e x t u a l   si mi l a r i t y   a n d   f i n e - t u n i n g   m u l t i l i n g u a l   LL M , ”   J o u r n a l   o f   B u i l d i n g   En g i n e e r i n g ,   v o l .   9 5 ,   p .   1 1 0 3 1 2 ,   O c t .   2 0 2 4 ,     d o i :   1 0 . 1 0 1 6 / j . j o b e . 2 0 2 4 . 1 1 0 3 1 2 .   [ 2 8 ]   Y .   Li u   e t   a l . ,   “ A r e   LL M s  g o o d   a t   st r u c t u r e d   o u t p u t s ?   a   b e n c h m a r k   f o r   e v a l u a t i n g   st r u c t u r e d   o u t p u t   c a p a b i l i t i e s   i n   LL M s , ”   I n f o rm a t i o n   Pr o c e ssi n g   &  Ma n a g e m e n t ,   v o l .   6 1 ,   n o .   5 ,   p .   1 0 3 8 0 9 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . i p m. 2 0 2 4 . 1 0 3 8 0 9 .   [ 2 9 ]   A .   R i a n s y a h ,   S .   M u l y o n o ,   a n d   M .   R o i c h a n i ,   “ A p p l y i n g   f u z z y   p r o p o r t i o n a l   i n t e g r a l   d e r i v a t i v e   o n   i n t e r n e t   o f   t h i n g s   f o r   f i g s   g r e e n h o u se , ”   I AE S   I n t e rn a t i o n a l   J o u rn a l   o f   Ar t i f i c i a l   I n t e l l i g e n c e ,   v o l .   1 0 ,   n o .   3 ,   p p .   5 3 6 – 5 4 4 ,   S e p .   2 0 2 1 ,     d o i :   1 0 . 1 1 5 9 1 / i j a i . v 1 0 . i 3 . p p 5 3 6 - 5 4 4 .   [ 3 0 ]   J.  J.   G .   T o r r e s   e t   a l . ,   “ A u t o m a t e d   q u e s t i o n - a n sw e r   g e n e r a t i o n   f o r   e v a l u a t i n g   r a g - b a s e d   c h a t b o t s, ”   i n   Pr o c e e d i n g s  o f   t h e   F i rs t   Wo r k sh o p   o n   Pa t i e n t - O ri e n t e d   L a n g u a g e   Pr o c e ssi n g   ( C L 4 H e a l t h )   @   L RE C - C O L I N G   2 0 2 4 ,   EL R A   a n d   I C C L,   2 0 2 4 ,     p p .   2 0 4 – 2 1 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / a c l a n t h o l o g y . o r g / 2 0 2 4 . c l 4 h e a l t h - 1 . 2 5 . p d f   [ 3 1 ]   J.  L u   e t   a l . ,   “ E v a l u a t i o n   o f   l a r g e   l a n g u a g e   mo d e l s  ( L LM s)   o n   t h e   mas t e r y   o f   k n o w l e d g e   a n d   s k i l l s   i n   t h e   h e a t i n g ,   v e n t i l a t i o n   a n d   a i r   c o n d i t i o n i n g   ( HVAC )   i n d u st r y , ”   E n e r g y   a n d   B u i l t   En v i r o n m e n t ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . e n b e n v . 2 0 2 4 . 0 3 . 0 1 0 .   [ 3 2 ]   Z.   R a s o o l   e t   a l . ,   “ Ev a l u a t i n g   L LM s   o n   d o c u me n t - b a s e d   QA :   e x a c t   a n s w e r   sel e c t i o n   a n d   n u meri c a l   e x t r a c t i o n   u si n g   c o g t a l e   d a t a se t , ”   N a t u r a l   L a n g u a g e   Pro c e ss i n g   J o u rn a l ,   v o l .   8 ,   p .   1 0 0 0 8 3 ,   S e p .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . n l p . 2 0 2 4 . 1 0 0 0 8 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci ,  Vo l.   14 ,   No .   3 ,  Sep tem b er   20 25 :   8 49 - 8 58   858   BIO G RAP H I E S O F   AUTH O RS       And i  Ria n sy a h           is  a   c o m p u ter  sc ien ti st  wit h   a   b a c h e lo r  o f  c o m p u ter  sc ien c e   d e g re e   fro m   Un iv e rsitas   Isla m   S u lt a n   Ag u n g   a n d   a   m a ste r  o f  in fo r m a ti o n   sy ste m s  d e g re e   fro m   Un iv e rsitas   Dip o n e g o r o .   He   p o ss e ss e s  o v e r  7   y e a rs  o f   re se a rc h   e x p e rien c e   a n d   h a s  a c q u ired   a   p ro f o u n d   u n d e rsta n d in g   o f  c o m p u ter  sc ien c e ,   m a k in g   n o tew o rth y   c o n tri b u ti o n s  to   sc ien t ifi c   a d v a n c e m e n t.   He   c a n   b e   c o n tac ted   a t  e m a il :  a n d i@u n issu la.ac . id .         Im a m   Mu c h   Ibn u   S u b r o to           re c e iv e d   th e   P h . D.  d e g re e   fro m   Un i v e rsiti   Tek n o l o g i   M a lay sia   in   2 0 1 5 .   He   is  c u rre n tl y   a   S e n io r   Lec tu re r   with   t h e   De p a rtme n t  o f   In f o rm a ti c s   En g i n e e rin g ,   Un iv e rsitas   Isla m   S u lt a n   A g u n g .   He   is  t h e   f o u n d e r  o f  S INTA   a n d   t h e   f o u n d e r  o f   G AR UD A.  His  re s e a rc h   in tere st s  in c lu d e   c o m p u ter  sc ien c e ,   a rti ficia l  in telli g e n c e ,   m a c h in e   lea rn in g ,   d a ta  m i n in g ,   a n d   e d u c a ti o n   tec h n o l o g y .   He   c a n   b e   c o n tac ted   a t  e m a il :   ima m @u n issu la.ac . id .         Inta n   Nur'a i n i          p rima ry   fo c u s  li e s  in   c o m p u ter  sc ien c e ,   p a rti c u l a rly   in   th e   field   o f   d a ta  e n g i n e e r in g   a n d   a rti ficia l   i n telli g e n c e ,   wh e re   h e   h a s  c o m p l e ted   n u m e ro u s  c o u rse s  a n d   re se a rc h   p ro jec ts.  As id e   fr o m   h is  a c a d e m ic  p u rs u it s.  S h e   c a n   b e   c o n tac ted   a t  e m a il :   in tan n u ra @s td . u n issu la.ac . id .         Ra tn a   S u p r a d e wi          is   a   p s y c h o l o g y   e x p e rt .   S h e   re c e iv e d   a   Ba c h e lo r  o f  P sy c h o lo g y   a n d   a  M a ste r  o f  P s y c h o lo g y   fro m   G a j a h   M a d a   Un i v e rsity .  S h e   c a n   b e   c o n tac ted   a t  e m a il :   su p ra d e wi@u n issu la.ac . id .         S u y a n to   S u y a n t o           is  a   n u rsin g   lec tu re r.   He   re c e iv e d   a   Ba c h e lo r  o f  Nu rsin g   d e g re e   (S . Ke p . ),   a   M a ste r  o f  N u rsin g   d e g re e   (M . Ke p . ),   a n d   a   M e d ica l - S u rg ica l  Nu rsi n g   S p e c ialist   c e rti fica ti o n .   (S p . Ke p . M B . ) .  He   c a n   b e   c o n tac ted   at   e m a il :  su y a n to @u n issu la.ac . i d .       Evaluation Warning : The document was created with Spire.PDF for Python.