I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m pu t er   E ng ineering   ( I J E CE )   Vo l.   15 ,   No .   5 Octo b er   20 25 ,   p p .   4 8 2 9 ~ 4 8 3 6   I SS N:  2088 - 8 7 0 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijece. v 15 i 5 . pp 4 8 2 9 - 4 8 3 6           4829       J o ur na l ho m ep a g e h ttp : //ij ec e. ia esco r e. co m   La ng ua g e mo del optimiza tion for  menta l healt h que stio a nswering  appli c a tion       F a rda n Z a m a k hs y a ri 1 ,2 ,   Ag u ng   F a t wa nto 2   1 I n f o r mat i o n   T e c h n o l o g y ,   S e k o l a h   T i n g g i   Te k n o l o g i   C a h a y a   S u r y a ,   K e d i r i ,   I n d o n e s i a   2 I n f o r mat i c s De p a r t me n t ,   F a c u l t y   o f   S c i e n c e   a n d   T e c h n o l o g y U n i v e r s i t a s I sl a m N e g e r i   S u n a n   K a l i j a g a ,   Y o g y a k a r t a ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   1 8 ,   2 0 2 4   R ev is ed   J u n   5 ,   2 0 2 5   Acc ep ted   J u n   3 0 ,   2 0 2 5       Q u e s t io n   a n s w e ri n g   ( Q A)   i s   a   ta s k   in   n a tu r a l   l a n g u a g e   p ro c e s s in g   ( N LP )   w h e r e   th e   b id i r e c t io n a e n c o d e r   r e p r e s e n t a t io n s   f ro m   t r a n s f o r m e r s     ( B E R T l a n g u a g e   m o d e h a s   sh o wn   r e m a r k a b l e   r e su lt s .   T h i r e s e a r c h   f o c u s e s   o n   o p ti m i z in g   t h e   I n d o B E R T   a n d   M B E RT   m o d e l s   f o r   t h e   Q   t a s k   in   t h e   m e n t a h e a l th   d o m a i n ,   u s in g   a   t r a n s l a t e d   v e r sio n   o th e   Am o d /me n tal_ h e a lt h _ c o u n se li n g _ c o n v e rsa ti o n s   d a tas e o n   H u g g in g   F a c e .   Th e   o p t imiz a ti o n   p ro c e ss   in v o lv e fin e - tu n i n g   I n d o BERT   a n d   M BERT   t o   e n h a n c e   th e ir  p e rfo rm a n c e ,   e v a lu a ted   u si n g   BERT S c o re   c o m p o n e n ts:  F 1 ,   re c a ll ,   a n d   p re c isio n .   T h e   re su lt s i n d ica te t h a f in e - tu n i n g   si g n if ica n tl y   b o o sts   In d o BERT ’s p e rfo rm a n c e ,   a c h iev in g   a n   F 1 - BERT S c o re   o 9 1 . 8 % ,   a   re c a ll   o 8 9 . 9 % ,   a n d   p re c isio n   o f   9 3 . 9 % ,   m a rk in g   a   2 8 %   im p ro v e m e n t.   F o t h e   m o d e l,   M - BERT ’s  fin e - tu n i n g   re su lt i n c lu d e   a n   F 1 - BERT S c o re   o 7 9 . 2 % ,   re c a ll   o 7 3 . 4 % ,   a n d   p re c isio n   o 8 6 . 2 % ,   with   o n l y   a   5 %   imp ro v e m e n t.   Th e se   fin d i n g u n d e rsc o re   th e   imp o rt a n c e   o fin e - tu n in g   a n d   u sin g   lan g u a g e - sp e c ifi c   m o d e ls  li k e   I n d o BERT   f o sp e c ialize d   NL P   tas k s,   d e m o n s tratin g   th e   p o ten ti a to   c re a te  m o re   a c c u ra te  a n d   c o n tex tu a ll y   re lev a n t   q u e stio n - a n sw e rin g   sy ste m s in   th e   m e n tal  h e a lt h   d o m a in .   K ey w o r d s :   B id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   I n d o B E R T   MBERT   Natu r al  lan g u ag e   p r o ce s s in g   Qu esti o n   a n s wer   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ag u n g   Fatwan to   I n f o r m atics De p ar tm en t,  Facu lty   o f   Scien ce   an d   T ec h n o lo g y ,   Un iv er s itas   I s lam   Neg er i Su n an   Kalijag a   J l.  Ma r s d Ad is u cip to ,   Yo g y a k ar ta  5 5 2 8 1 ,   Yo g y a k ar ta   E m ail: a g u n g . f atwa n to @ u in - s u k a. ac . id       1.   I NT RO D UCT I O N   R e c e n im p r o v em en ts   to   f am ily   o f   n eu r al  m o d els,  k n o w n   as  b id ir ec tio n al  en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m er s   ( B E R T ) ,   h ea v ily   r ely   o n   p r e - tr ai n in g   an d   h av s h o w n   p r o m is in   r an g o f   n at u r al   lan g u ag e   p r o ce s s in g   ( NL P)  ta s k s ,   wh ich   in clu d e   tex ca teg o r izatio n   a n d   d ataset  q u esti o n - an s wer in g   [ 1 ] .   T o   lear n   wo r d   r ep r esen tatio n s ,   B E R T   u s es   th t r an s f o r m er   ar ch itectu r e,   wh ich   c o n s is ts   o f   s ev er al  en co d e r   lay er s .   B ec au s it   p r o ce s s es  s eq u en tial  in p u t,  lik wo r d s   in   tex t,  u s in g   an   atten tio n   m ec h an is m ,   th T r an s f o r m er   is   r eg ar d e d   as  r em ar k ab le  with in   th d is cip lin o f   n atu r al  lan g u ag p r o ce s s in g .   d ee p er   c o m p r eh en s io n   o f   th e   tex t' s   co n tex is   m ad p o s s ib le  b y   th e   atten tio n   m ec h an is m ,   wh ich   e n ab les  th e   m o d el  to   a cc u r ately   r e p r esen t   th r elatio n s h ip   b etwe en   wo r d s   th at  ar f ar   ap a r [ 2 ] .   T h B E R T   f r am ewo r k   c o n s is ted   o f   two   s tag es,  p r e - tr ain in g   an d   f in e - tu n i n g .   Pre - t r ain in g   in v o lv es  u s in g   s ev er al  p r e - tr ain in g   tas k s   to   tr ain   th m o d el  o n   u n la b eled   d ata  [ 3 ] .   Usi n g   lab elled   d ata  f r o m   ea r lier   task s ,   th f ir s s tag to   b d o n in   th B E R T   m o d el  is   t h p r e - tr ain i n g   p ar a m eter s ,   th en   th p r o ce s s   is   f o llo wed   b y   f i n e - tu n in g   all  o f   th p ar am eter s .   Desp ite  b ein g   s tar ted   with   th s am p r e - tr ain in g   p ar am eter s ,   ev er y   task   h as  u n iq u f in e - t u n ed   m o d el  [ 4 ] .   T h is   s tu d y   m ak es  u s o f   two   B E R T   m o d el   v er s io n s   th at  wer cr ea ted   esp ec ially   f o r   I n d o n e s ian   an d   m u ltil in g u al  lan g u a g es:  th B E R T   m u ltil in g u al  b ase  m o d el  ( ca s ed )   ( g o o g l e - b e r t / b e r t - b a s e - m u l ti l i n g u a l - c a s e d )   a n d   t h e   I n d o B E R T   b a s e   u n c a s e d   ( R i f k y / I n d o b er t - Q A ) .   R es e a r c h e r s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 8 2 9 - 4 8 3 6   4830   u s e d   t w o   p r e - e x i s t i n g   B E R T   m o d e l s   m o n o l i n g u a l   B E R T   f o r   I n d o n e s i a n   ( c a l l e d   I n d o B E R T )   an d   m u ltil in g u al   B E R T   ( m B E R T ) .   MBE R T   is   tr ain ed   b y   co m b i n in g   1 0 4   lan g u ag es  o f   W ik ip ed ia  d o cu m en ts ,   wh ich   also   in clu d I n d o n esian ,   an d   is   ef f e ctiv f o r   m u ltil in g u al  task s   th a t d o   n o t   r eq u i r m u c h   ex p la n atio n   [ 5 ] .   I n d o B E R T   is   B E R T   u s in g   tr an s f o r m er - b ased   m o d el  [ 4 ] ,   tr ain ed   with   th Hu g g in g f ac f r am ewo r k   with   th d ef au lt   B E R T   b ase  ( u n ca s ed )   c o n f ig u r atio n   [ 6 ] .   I n   c o n tr ast,  an o th er   v ar ia n o f   B E R T   is   m u ltil in g u al - B E R T   ( m B E R T )   th at  u s es  m ask ed   lan g u ag e   m o d ellin g   ( M L M)   to   tr ain   it  o n   th la r g est  W ik ip ed ia  d ataset  ac r o s s   1 0 4   lan g u ag es,  in clu d i n g   I n d o n esian .   Ov er s am p lin g   is   u s ed   f o r   s m all  lan g u ag es,  a n d   u n d e r s am p lin g   is   u s ed   f o r   lar g lan g u a g es  wh en   d ea lin g   with   u n b ala n ce d   d at a.   T h is   m ak es  it  p o s s ib le  to   e m p lo y   th m B E R T   m o d el  o n   lan g u ag e   d atasets   with   lim ited   r eso u r ce s ,   s u ch   as   I n d o n esian   [ 7 ] .   T h e   B E R T   co n f ig u r atio n ,   1 2   atten tio n   h ea d s ,   1 2   h id d e n   la y er s   o f   7 6 8   ea ch ,   a n d   f ee d - f o r war d   h id d en   la y er s   o f   3 , 0 7 2   ar s h ar ed   b y   t h ese  two   m o d els  [ 8 ] .   W wil l u s th d a tase ts   A m o d / m e n ta l_ h ea l th _ co u n s el in g _ c o n v er s ati o n s   t a k e n   f r o m   t h H u g g in g f a ce   web s ite t o   e v a lu at e   t h e   tw o   d i f f er e n t   m o d e ls .   Qu esti o n s   a n d   r esp o n s es  f r o m   two   o n lin co u n s ellin g   an d   th er ap y   p latf o r m s   ar in cl u d e d   in   th is   d ataset.   Qu alif ied   p s y ch o lo g is ts   h av an s wer ed   th q u esti o n s ,   wh ich   s p an   wid r an g o f   m en tal  h ea lth   co n ce r n s .   T h aim   o f   th is   d ataset  i s   to   en h an ce   th q u ality   o f   lan g u ag e   m o d els.  T h d ataset  is   s till   i n   E n g lis h ,   s o   t h r esear ch e r   m an u ally   tr a n s lated   it  in to   I n d o n esian   f o r   m o r r elev an test in g .   T h e v alu atio n   o f   th d ataset  will  u s B E R T - Sco r e.   T h is   ev alu atio n   m etr ic  is   v er y   u s ef u f o r   ev alu atin g   th p er f o r m an ce   o f   q u esti o n - an s wer   [ 9 ] .   T o p ics  r elate d   to   q u esti o n - a n s wer   s y s tem s   with   I n d o n esian s   h av b ee n   r esear c h ed   b ef o r e,   s u ch   as  r esear ch   co n d u cted   by   Dza k y   et  a l.   [ 1 0 ] ,   in   h is   r esear ch   cr ea tin g   ch atb o f o r   m e n tal  h ea lth   u s in g   d ee p   n eu r al  n etwo r k   an d   B E R T   m o d els  s p ec if ically   f o r   I n d o n esia n s .   Af ter   test in g ,   th r esu lts   o f   th is   s tu d y   s h o wed   an   ac cu r ac y   v alu o f   7 1 . 7 3 [ 1 0 ] .   I n   ad d itio n ,   in   r esear ch   co n d u cted   b y   Hu za e n i   et   a l.   [ 1 1 ]   wh er e   h is   r esear ch   aim ed   to   cr ea te  ch a tb o s y s tem   to   d iag n o s m en tal  h ea lth   s y m p to m s   u s in g   th B E R T   m o d el,   b ased   o n   th e   r esu lts   o f   test s   th at  h a v b ee n   ca r r ied   o u t,   th ac c u r ac y   v alu e   is   7 8 . 6 7 %   [ 1 1 ] .   T h i s   r esear ch   ass ess es   th r esu lts   o f   p r ev io u s   s tu d ies  an d   f o cu s es  o n   im p r o v in g   p er f o r m an ce   f o r   m e n tal  h ea lth   q u esti o n - an s wer   s y s tem s   b y   ad o p tin g   I n d o n esi an   d atasets .   T h is   ex p er im e n tal  r esear ch   aim s   to   d em o n s tr ate  th e   ef f icien cy   in   u tili zin g   t h M - B E R T   an d   I n d o B E R T   m o d els  o n   a n   AI   ch atb o t   f o cu s in g   o n   d i g ital  m en tal  h ea lth .   B y   co n d u ctin g   th is   r esear ch ,   it   is   ex p ec ted   t o   f i n d   o u t   th r elev a n ce   o f   B E R T   m o d els  t h at  ar e   s u itab le,   ef f icien t,   an d   s ca lab le  f o r   u s i n   c h atb o t   m o d els.  Oth er   co n tr ib u tio n   o f   th is   r esear ch   is :     a.   O p t i m i z e d   I n d o B E R T   a n d   M B E R T   m o d e l   f o r   Q A   t a s k   o f   t h e   m e n t a l   h e a lt h   d o m a i n   i n   I n d o n e s i a n   la n g u a g e ,     b.   T h tr an s latio n   o f   th Am o d / m en tal_ h ea lth _ c o u n s elin g _ co n v er s atio n s   d ataset  to   I n d o n es ian   lan g u a g e,   c.   Pro v id a n   o v er v iew   o f   th e   m en tal  h ea lth   q u esti o n - an s wer   s y s tem   th at  ca n   b a p p lied   ac co r d in g   to   th in ten d ed   s p ec if icatio n s .     T h is   ty p o f   r esear ch   is   p o t en tially   r ep ea tab le  to   b co n d u cted   f o r   o t h er   k i n d s   o f   f o u n d atio n al   m o d els’   d ataset.   T h r esu lt  o f   th at   k in d   o f   s tu d y   is   p o s s ib le  to   b a p p lied   to   m e n ta h ea lth   q u esti o n s   an s wer in g   s y s tem   o f   d if f er en t la n g u ag es.  I ca n   b p o ten tiall y   im p lem en te d ,   esp ec ially   in   c o u n tr ies  with   lar g e   p o p u latio n s   wh er s o m etim es  s u f f er   f r o m   in s u f f icien t m en ta l h ea lth   p r o f ess io n als .       2.   M E T H O D   T h is   s tu d y   em p l o y s   an   ex p la n ato r y   r esear ch   d esig n   with   a   q u an titativ a p p r o ac h .   T h e x p lan ato r y   tech n iq u was  ch o s en   s in ce   th s tu d y ' s   g o al  i s   to   d escr i b an d   ass ess   th ca u s e - an d - ef f ec r elatio n s h ip   b etwe en   f in e - tu n in g   an d   p er f o r m an ce   im p r o v em e n in   th I n d o B E R T   an d   MBERT  lan g u ag m o d els  [ 1 2 ] T h q u an titativ ap p r o ac h   was  u tili ze d   b ec au s th d ata  ac q u ir ed   wer n u m e r ical,   in d icatin g   th lev el  o f   m o d el  p er f o r m an c b ef o r an d   af ter   o p tim izatio n .   T h d ata  was  co llected   u s in g   ex p er im en tal  tech n iq u e.   E x p er im en ts   wer e   ca r r ie d   o u b y   co n d u ctin g   f in e - tu n i n g   t o   t h I n d o B E R T   an d   MBERT  lan g u ag e   m o d els  an d   th en   co m p ar in g   t h eir   p er f o r m a n ce   b ef o r an d   af ter   th is   o p tim izatio n   p r o ce s s   [ 1 3 ]     2 . 1 .     I ns t rum ent   2 . 1 . 1 .   So f t wa re   a nd   h a rdwa re   T h is   r esear ch   u tili ze d   Go o g le  C o lab   as  th m ain   d ev elo p m e n en v ir o n m en t,  s u p p o r ted   b y   T esla  T 4   GPU.   T h T 4   GPU,   b ased   o n   NVI DI A' s   T u r in g   ar ch itectu r e,   o f f e r s   ef f icien p er f o r m an c f o r   d ee p   lear n in g   task s   with   1 6   GB   GDD R 6   m em o r y   an d   u p   to   8 . 1   T FLOPS  o f   co m p u ter   p o wer .   T h is   s etu p   en ab les  f aster   m o d el  tr ain in g   a n d   in f er en ce ,   esp ec ially   f o r   r eso u r ce - i n ten s iv task s   in   n atu r al  lan g u a g p r o ce s s in g .   Fo r   o f f lin p r ep ar atio n ,   we  u s ed   a   lap to p   with   an   I n tel  C o r i5   p r o ce s s o r ,   8   GB   R AM ,   an d   a n   NVI DI GeFo r ce   MX 2 3 0   GPU.   Alth o u g h   l o ca l h ar d war was  u s ed   f o r   in itial  test in g   an d   co d d ev elo p m en t,  all  f in e - tu n in g   an d   ev alu atio n   wer c o n d u cted   in   th C o lab   en v ir o n m en t o   lev e r ag clo u d - b ased   ac ce ler atio n .   T h is   co m b in atio n   allo wed   s ea m less   in teg r atio n   b etwe en   co d p r o to t y p in g   an d   s ca lab le  m o d el  tr ain in g .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         La n g u a g m o d el  o p timiz a tio n   fo r   men ta l h ea lth   q u esti o n   a n s w erin g     ( F a r d a n   Za ma kh s ya r i )   4831   2 . 2 .     M a t er ia l   2 . 2 . 1 .   F o un da t io na m o del   I n   c o n d u c t i n g   t h is   r es e a r c h ,   w e   u s e d   t w o   l a n g u a g e   m o d e ls   d e v e l o p e d   b as e d   o n   t h e   B E R T   m o d el,   n a m e l y   I n d o B E R T   a n d   MB E R T .   I n d o B E R T   is   a   t r a n s f o r m e r - b a s e d   m o d e l   i n   t h e   B E R T   s t y l e ,   I t   w a s   t r a i n e d   o n l y   a s   a   m a s k e d   l a n g u a g e   m o d e l   u s i n g   t h e   H u g g i n g f a c e   f r a m e w o r k ,   a d h e r i n g   t o   t h e   s t a n d a r d   B E R T - B a s c o n f i g u r a t i o n   ( u n c a s e d )   [ 1 4 ] .   T h e   m o d e l   c o n s i s t s   o f   1 2   f e ed - f o r w a r d   h i d d e n   l a y e r s   w i t h   3 , 0 7 2 d ,   1 2   a t t e n t i o n   h e a d s ,   a n d   1 2   h i d d e n   l a y e r s   w it h   7 6 8 d   e a c h .   T h e   m o d e l   s e t   t h e   t r a i n i n g   t o   u s e   5 1 2   t o k e n s   p er   b a t c h   a n d   e x t e n d s   t h e   H u g g i n g f a c e   f r a m e w o r k   t o   a n a l y z e   d i s t i n c t   s e ts   o f   t e x t   f o r   d i s t i n ct   d o c u m e n t   b l o c k s .   A   v o c a b u l a r y   o f   3 1 , 9 2 3   I n d o n e s i a n   W o r d P i e c es   w a s   u s e d   t o   t r ai n   I n d o B E R T   [ 5 ] .   T h e   t o t a l   a m o u n o f   w o r d s   u s e d   t o   tr a i n   t h e   I n d o B E R T   m o d e l   w a s   o v e r   2 2 0   m i l li o n ,   g a t h e r e d   f r o m   t h r e e   p r e d o m i n a n t   s o u r c e s :   i )   t h e   7 4   m il l i o n   w o r d s   f o u n d   o n   t h e   I n d o n e s i a n   W i k i p e d i a ;   ii )   n e ws   i t e m s   s o u r c e d   f r o m   K o m p a s ,   L i p u t a n 6 ,   T e m p o   ( a   t o t a l   o f   5 5   m i l l i o n   w o r d s ) a n d   iii )   t h e   9 0   m i l li o n   w o r d s   f o u n d   i n   t h e   I n d o n e s i a n   W e b   c o r p u s .   U p o n   p r e p r o c e s s i n g   th e   c o r p u s   i n t o   5 1 2   t o k e n i z e d   d o c u m e n t   b l o c k s ,   w e   w e r e   a b l e   t o   a c q u i r e   1 3 , 9 8 5   d e v e l o p m e n t   e x a m p l e s   a n d   1 , 0 6 7 , 5 8 1   t r a i n i n g   e x a m p l e s   ( w it h o u t   r e d u n d a n c y ) .   F o u r   N v i d i a   V 1 0 0   G P U s   ( 1 6   G B   e a c h ) ,   a   b a t c h   s i z e   o f   1 2 8   a n d   a   l e a r n i n g   r a t o f   1 e - 4 ,   a l o n g   w it h   a n   A d a m   o p t i m i z e r   a n d   a   l i n e a r   s c h e d u l e r ,   w e r e   e m p l o y e d   f o r   t h t r a i n i n g .   O v e r   t h c o u r s o f   t w o   m o n t h s ,   t h e   m o d e l   w a s   t r a i n e d   f o r   2 . 4   m i l l i o n   s t e p s ,   o r   1 8 0   e p o c h s ,   a n d   t h e   d e v e l o p m e n t   s e t' s   u l t i m at a c c u r a c y   r a t e   w as   3 . 9 7 ,   o r   c o m p a r a b l e   t o   B E R T - b as e   i n   E n g l is h   [ 1 5 ] .   An   I n d o n esian - la n g u a g W ik ip ed ia  co r p u s   c o n s is tin g   o f   1 0 4   m o n o lin g u al   lan g u a g es  w as  u s ed   to   p r e - tr ain   t h s in g le - lan g u ag e   m u ltil in g u al  B E R T   ( M - B E R T )   m o d el.   R esear ch er s   ca n   u tili ze   th m - B E R T   m o d el  to   tack le  task s   in   d if f er en lan g u ag es  b ec au s it  h as  f in is h ed   th p r e - tr ain in g   p r o ce s s   in   an   ex ten s iv e   v ar iety   o f   lan g u ag es,  ex p an d i n g   its   u s ef u ln ess   [ 1 6 ] .   T h b e n ef it  o f   m u ltil in g u al  B E R T s   i s   th at  th ey   f ac ilit ate   m u ltil in g u al  lear n in g .   T h ey   ar ab le  to   b co ac h ed   o n   s p ec if ic  task   in   o n lan g u ag an d   i m p lem en t th s am task   q u ite  well  in   an o th er   la n g u ag e,   e v en   if   th e y   ar o n ly   tr ain ed   f o r   m o n o lin g u al  task .   T h m o d el  u s es  1 2   T r an s f o r m e r   lay e r s   with   1 2   h ea d s ,   7 6 8   em b ed d in g   d i m en s io n s ,   an d   3 0 7 2   f ee d - f o r war d   h id d en   lay er   d im en s io n s ,   with   d r o p o u r a te  o f   0 . 1   an d   GE L ac tiv atio n .   Mu ltil in g u al  B E R T   was  o p ti m ized   u s in g   Ad am   Op tim izer ,   8 8   b atc h   s izes,  an d   m ix ed - p r ec is io n   tr ain in g   with   1 0   ep o c h s .   E ac h   m o d el  was  t r ain ed   o n   NVI DI R T T itan   h ar d war with   2 4   GB   o f   m em o r y   f o r   ap p r o x im at ely   2 0   h o u r s   [ 1 7 ] .     2 . 2 . 2 .   Da t a s et     T h i s   r e s e a r c h   w as   c o n d u c t e d   u s i n g   t h e   A m o d / m e n t a l _ h e a lt h _ c o u n s e l i n g _ c o n v e r s a ti o n s   d a ta s e t   t a k e n   f r o m   t h e   H u g g i n g   F a c e   w e b s i te .   T h i s   d a t as e t   o r i g i n al l y   c o n t ai n s   c o n v e r s a ti o n s   i n   E n g l is h   b e t w e e n   c o u n s el l o r s   a n d   c l i e n t s   d i s c u s s i n g   m e n t a l   h e a l t h   i s s u e s .   T o   s u i t   t h e   c o n te x t   o f   t h i s   s t u d y ,   t h e   d a t a s e t   w a s   t r a n s l a t e d   i n t o   I n d o n e s i a n .   T h e   t r a n s l a ti o n   p r o c e s s   wa s   d o n e   d i r e c t l y   b y   t h r e s e a r c h   t e a m   a n d   n o t   m e c h a n i c a l l y   t o   e n s u r e   t h a c c u r a c y   a n d   t r a n s l a ti o n   q u a l i t y .   T h A m o d / m e n t al _ h e a lt h _ c o u n s e l i n g _ c o n v e r s a ti o n s   d a t a s et   c o n s i s t s   o f   c o n v e r s a t i o n s   c o v e r i n g   a   r a n g o f   m e n t a l   h e a lt h - r e l a te d   t o p i cs,   s u c h   a s   t r a u m a ,   a n x i et y ,   r e l ati o n s h i p   is s u es ,   a n d   d e p r e s s i o n .   E a c h   c o n v e r s at i o n   c o n s i s ts   o f   m u l t i p le   e x c h a n g e s   b e t w ee n   t h e   c o u n s e l l o r   a n d   t h e   c l i e n t ,   w h i c h   a l l o ws   r e s ea r c h e r s   t o   a n al y z e   th e   d y n a m i c s   o f   t h e   c o n v e r s at i o n   a n d   e f f e c t i v e   c o u n s e ll i n g   s t r at e g i e s .   T h u s o f   th ese  d atasets   in   r esear ch   p r o v id es   s ev er al  ad v an tag es.  Firstl y ,   it  p r o v i d es  a   r ich   an d   r ea lis tic  r ep r esen tatio n   o f   m e n tal  h ea lth   co u n s ellin g   s itu atio n s ,   allo win g   r esear ch er s   to   e x p lo r th is s u in   a   r elev an co n tex t.  Seco n d ,   th e   tr an s latio n   in to   I n d o n esian   a llo ws  th is   s tu d y   to   c o n tr ib u te   to   th e   g r o wth   o f   r eso u r ce s   an d   tec h n o lo g ies  in   I n d o n esian ,   wh ic h   is   s till   r elativ ely   lack in g   c o m p a r ed   to   o th er   la n g u a g es.  T h ir d ,   th is   d ataset  ca n   b u s ed   to   tr ain   an d   ev alu ate  lan g u ag m o d els  an d   co n v er s atio n al  s y s tem s   d esig n ed   to   ass is t in   th co n tex t o f   m en tal  h ea lth   co u n s ellin g .     T h d ataset  tr an s latio n   p r o ce s s   was  d o n m a n u ally .   I n   th p r o ce s s ,   we  wo r k e d   with   a   p s y ch o th er ap y   ass is tan an d   lectu r er   in   th I s lam ic  p s y ch o lo g y   s tu d y   p r o g r am .   I n   ad d itio n ,   th tr an s lato r   is   g r ad u ate  o f   th Ma s ter   o f   I s lam ic  Ps y ch o lo g y   E d u ca tio n   at   Su n an   Kal ijag State  I s lam ic  Un iv e r s ity   Yo g y ak ar ta.   T h tr an s lato r   o f   th e   d ataset  h as g o o d   I n d o n esian   lan g u ag e   s k ills   an d   u n d er s tan d s   E n g lis h   as  th m ain   la n g u a g o f   th tr an s lated   d ataset.     2 . 3 .     P r o ce du re   I n   th is   r esear c h ,   th e r ar e   s ev er al  p r o ce d u r es  th at  n ee d   t o   b d o n e,   s tar tin g   f r o m   p r e - p r o ce s s in g     d ata,   an d   m o d el  tr ain in g   to   m o d el  ev alu atio n .   as  f o r   th e   d et ails   th at   will  b ex p lain ed   in   Fig u r 1 .   Fig u r 1   s h o ws  th p r o ce s s   f lo in   t h is   r esear ch ,   w h er t h f ir s t   p r o ce s s   is   d ata   co llectio n   wh ich   will  b e   th   m ain   m ater ial  in   th q u esti o n - an s wer   s y s tem   [ 1 8 ] .   At  th is   s tag e,   th r esear ch er   u s es  d ataset  f r o m   Am o d /m en tal_ h ea lth _ co u n s elin g _ co n v er s atio n s   wh ich   will  b tr an s lated   in to   I n d o n esian .   Fu r th er m o r e,   af te r   th d ata  is   s u cc ess f u lly   o b tain ed ,   d ata  p r e - p r o ce s s in g   will  b ca r r ied   o u t,  wh er later   th d ata  will  b m ad e   in to   to k e n s ,   an d   c o lu m n s   will  b ad d ed   to   th e   d ataset  [ 1 9 ] .   Af ter   p r e - p r o ce s s in g   is   co m p lete,   we  will  co n tin u e   with   m o d el  tr ain in g   f o r   q u esti o n - an s wer   n ee d s ,   wh er o p ti m izatio n   will  b ca r r ied   o u b y   f in e - tu n in g   th e   m o d el  to   im p r o v th q u ality   o f   th m o d el.   Fin ally ,   th m o d el  will  b tes ted   u s in g   B E R T Sco r to   ass es s   th e   o p tim izatio n   r esu lts   [ 2 0 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 8 2 9 - 4 8 3 6   4832       Fig u r 1 .   R esear ch   f lo w       2 . 3 . 1 .   Da t a   pre - pro ce s s ing   Data   n ee d s   to   p ass   th im p o r t an s tag o f   p r e - p r o ce s s in g   as  p r ep a r atio n   b ef o r it  is   u s ed   t o   tr ain   t h q u esti o n - an s wer in g   m o d el.   T h is   s tag aim s   to   tr an s f o r m   u n p r o ce s s ed   d ata  in to   a   s u itab le  f o r m at  th at   ca n   b e   p r o ce s s ed   p r o p er ly   b y   d ee p   lear n in g   m o d els.  So m o f   t h d ata  p r e - p r o ce s s in g   s tep s   th at  will  b ca r r ied   o u t   ar [ 2 1 ] .   a.   T o k en izatio n   o f   q u esti o n s   an d   an s wer s T h q u esti o n   an d   a n s wer   tex is   s ep ar ated   in t o   in d iv id u al  to k en s   u s in g   s p ec ialized   to k en izer ,   s u ch   as  th B E R T   to k en ize  [ 2 2 ] .   T h is   to k en izatio n   is   im p o r t an to   b r ea k   th tex in to   u n its   th at  ca n   b u n d er s to o d   b y   th m o d el,   s u ch   as   wo r d s   o r   s u b - wo r d s .   T h is   s tag en s u r es  th at  th in p u d ata  co n f o r m s   to   th e   f o r m at  r e q u ir ed   b y   t h B E R T   m o d el  [ 2 3 ] .   b.   Sear ch   f o r   th s tar an d   en d   p o s itio n   o f   th an s wer T h b eg in n in g   an d   co n clu s io n   o f   th an s wer   in   th e   tex f ac to r s   ar id en tifie d   an d   m ar k ed   [ 2 4 ] .   T h is   s tep   h elp s   th m o d el  lear n   th co r r ela tio n   am o n g   th e   q u esti o n ,   th tex t c o n tex t,  an d   th ac tu al  p o s itio n   o f   th a n s wer .   c.   A d d i t i o n   o f   s t a r t _ p o s i ti o n s   a n d   e n d _ p o s i t i o n s   c o l u m n s   t o   t h e   d a t a s et :   T h e   s t a r t   a n d   e n d   p o s iti o n   i n f o r m a t i o n   o b t a i n e d   f r o m   t h e   p r e v i o u s   s t e p   i s   a d d e d   t o   t h e   d a t a s e t   as   n e c o l u m n s ,   s u c h   as   s t a r t _ p o s i t i o n s   a n d   e n d _ p o s i t i o n s   [ 2 5 ] .   T h e s e   c o l u m n s   w i ll   b e   u s e d   as   t a r g et s   o r   la b e l s   i n   t h e   m o d e l   t r a i n i n g   p r o c e s s .     2 . 3 . 2 .   M o del  t ra ini ng   T h m o d el  tr ain in g   s tag is   an   im p o r tan p a r o f   d ev el o p in g   d ee p   lear n in g - b ased   s y s tem .   T h is   p r o ce s s   in v o lv es  tr ain in g   th t r an s f o r m er   m o d el  u s in g   p r e - p r o ce s s ed   d ataset.   in   th is   s ta g e,   h y p e r p ar am ete r   d eter m in atio n   a n d   f i n e - tu n i n g   p r o ce s s   will b ex ec u ted   o n   th m o d el  th at  h as b ee n   d ete r m i n ed   [ 2 6 ] .   a.   Def in in g   lan g u ag m o d el  o p ti m izatio n T o   en s u r f air   c o m p ar is o n ,   b o th   I n d o B E R T   an d   MBERT  wer e   f in e - tu n e d   u s in g   id e n tical  h y p er p ar am eter s lear n in g   r ate  o f   2 e - 5 ,   b atch   s ize  o f   8 ,   3   tr ain in g   ep o ch s ,   a n d   a   d r o p o u r ate   o f   0 . 1 .   B o th   m o d els  s h ar th e   s am ar ch itect u r ( 1 2   h id d e n   lay e r s ,   1 2   atte n tio n   h e ad s ,   an d   h id d en   s ize  o f   7 6 8 ) .   Op ti m izatio n   s tr ateg ies  in clu d e   p ar am eter   in itializatio n ,   t o k en izatio n ,   an d   r eg u lar izatio n   [ 2 7 ] .   b.   Fin e - tu n in g Usi n g   lab elled   d ata  f r o m   ea r lier   jo b s ,   th B E R T   m o d el  th en   in itialized   b y   u s in g   p r e - tr ain e d   p ar am eter s .   T h e   p r o ce s s   th en   co n tin u es  to   ad ju s tm en t o f   all  p ar am eter s .   E v e n   wh ile  all   task s   s tar with   th e   s am p r e - tr ain in g   s ettin g s ,   ea ch   o n h as a   u n iq u r ef i n ed   m o d el  [ 2 8 ] .   I n   p e r f o r m in g   q u esti o n - a n s wer in g   task s   o n   I n d o n esian   d at a,   two   tr an s f o r m er   m o d els  ca n   b u s ed ,   n am ely   I n d o B E R T   an d   m u ltil in g u al - B E R T   ( MBERT) .   B o th   m o d els  ar b ased   o n   th B E R T   ar ch itectu r t h at   h as p r o v e n   r eliab le  in   s ev e r al  n atu r al  lan g u ag p r o ce s s in g   ta s k s   [ 2 9 ] .     2 . 3 . 3 .   M o del  e v a lua t io n   I n   th is   r esear ch ,   th m o d el  p e r f o r m a n ce   ev alu atio n   u s es  B E R T Sco r e.   B E R T Sco r is   an   ev alu atio n   m etr ic  f o r   lan g u ag g e n er atio n   b ased   o n   p r e - tr ain e d   co n tex t u al  em b ed d i n g   B E R T .   B E R T Sco r ca lcu lates  th s im ilar ity   b etwe en   co u p le  o f   s en ten ce s   as  th to tal  o f   th e   cu m u lativ s im ilar ity   b etwe e n   b o th   s en ten ce s   em b ed d in g   to k e n s .   B E R T s co r ass ig n s   tr u an s wer   s en ten ce   ( )   a n d   p r e d ictio n   s e n ten ce   ( ) ,   W u s e   co n tex tu al  e m b ed d in g   to   r ep r esen th to k en s   an d   ca lc u late  th r esu lt  u tili zin g   co s in s i m ilar ity ,   o p tio n ally   im p o r tan ce   r ev iewe d   with   in v er s d o cu m e n f r e q u en c y   ( I D F)  s co r [ 2 0 ] .   B E R T s co r will  m atch   ea ch   to k e n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         La n g u a g m o d el  o p timiz a tio n   fo r   men ta l h ea lth   q u esti o n   a n s w erin g     ( F a r d a n   Za ma kh s ya r i )   4833   in     with   to k en   in     to   ca l cu late  r ec all  B E R T Sco r e,   an d   ea ch   to k en   in     with   to k en   in     to   ca lcu late  p r ec is io n   B E R T Sco r e.   Af ter   th at,   th p r ec is io n   a n d   r ec a ll  v alu es  will  b co m b in ed   to   ca lcu late  th F1   B E R T Sco r s ize.   T h f o llo win g   is   th e   f o r m u la   u s ed   to   ca l cu late  r ec all  B E R T Sco r e,   p r e cisi o n   B E R T Sco r e,   an d   F1   B E R T Sco r [ 9 ] .   Fo r   th ev alu atio n   o f   th is   q u esti o n - a n s wer   s y s tem ,   we  will test u s i n g   B E R T Sco r an d   co m p ar th e   r esu lts   b ef o r e   an d   af ter   o p tim izin g   th m o d el,   in   o r d er   t o   g et  clea r   a n d   c r ed ib le   r esu lts .       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Da t a   pre - pro ce s s ing   Af ter   th e   d ataset  is   p r ep ar ed ,   th d ata   g o es   to   t h p r e - p r o ce s s in g   p h ase.   T h d ataset  was   r ea d ju s ted   b ef o r th q u esti o n - a n s wer in g   m o d el  is   tr ain ed .   T h g o al  o f   th is   s tep   is   to   alter   u n p r o ce s s ed   in p u o n   f o r m   th at  d ee p   lear n in g   m o d els  ca n   h an d le  c o r r ec tly .   Ad d itio n all y ,   th d ata   was  s p litt ed   in   th is   p r o ce s s ,   with   8 0 %   o f   th d ata  g o in g   to war d   tr ain i n g   an d   2 0 % g o in g   t o war d   v ali d atio n .     3 . 1 . 1 .   T o k eniza t io n o f   qu estio ns   a nd   a ns wer s   At  th is   s tag e,   ea ch   q u esti o n   an d   an s wer   wer e   to k en ized ,   t o   d iv id th tex in p u in   th d ata  in to   s m aller   p ar ts   f o r   ea s y   p r o ce s s in g .   I n   th p r o ce s s ,   b ec au s t h er wer two   d if f er en m o d e ls ,   th to k en s   u s ed   wer also   d if f er en b etwe en   th I n d o B E R T   an d   MBERT  m o d els.  T h I n d o B E R T   m o d el  u s ed   th B E R T   T o k en izer   f r o m   R if k y / I n d o b er t - QA   wh ile  MBERT  u s ed   b er t - b ase - m u ltil in g u al - ca s ed .   I n   g e n er al,   th er e   was  n o   d if f er en ce   in   ter m s   o f   th p r o ce s s ,   b u t   th R if k y /I n d o b e r t - QA   to k e n izatio n   u s ed   an   I n d o n esian   d ictio n ar y ,   wh ile  b er t - b ase - m u ltil in g u al - ca s ed   u s ed   a   d ictio n ar y   o f   1 0 0   lan g u ag es  in   g en e r al,   s o   f o r   I n d o n esian   s p ec if ically ,   R if k y /I n d o b er t - QA   is   s u p er io r .   Af ter   d eter m i n in g   th B E R T   t o k en izer ,   iter ate  o n   ea c h   r o an d   r et r iev q u esti o n s   an d   a n s wer s   f r o m   th d ataset.   Qu esti o n s   an d   an s wer s   wer to k en ized   u s in g   th e   p r ed ef in e d   to k en ize r .   T h s tar t a n d   en d   p o s itio n s   o f   th an s wer   in   th in p u to k en s   wer d eter m in ed   b y   f in d in g   th to k en   [ SEP]   th at  s ep ar ates  th q u esti o n   an d   an s wer .   I f   th [ SEP]   to k e n   is   n o f o u n d ,   t h s tar an d   en d   p o s itio n s   wer s et  to   0 .   T h s tar an d   en d   p o s itio n s   wer s to r ed   in   th s tar t_ p o s itio n s   an d   en d _ p o s itio n s   lis ts .   F o r   d eter m in atio n ,   th [ C L S]  to k en   was  alwa y s   at   p o s itio n   0 ,   s o   a f ter   th [ C L S]  t o k en   was star t_ p o s itio n s .     3 . 1 . 2 .   Addi t io n o f   s t a rt _ po s it io ns   a nd   end_ po s it io ns   co lu m ns   t o   t he  da t a s et   Af ter   k n o win g   th s tar t_ p o s itio n s   an d   en d _ p o s itio n s ,   th ` s tar t_ p o s itio n s `   an d   ` en d _ p o s itio n s `   co lu m n s   wer ad d ed   to   th d at aset.  T h is   was   to   s h ar th lab els  o r   tar g ets  th at  th m o d el  will  lear n   d u r in g   th tr ain in g   p r o ce s s .   I n   t h q u esti o n   an s wer in g   ( QA)   task ,   th e   m o d el  was  r eq u ir ed   to   d eter m in th s tar an d   en d   p o s itio n s   o f   th a n s wer   f r o m   t h co n tex t.  B y   ad d in g   th e   ` s ta r t_ p o s itio n s `   a n d   ` en d _ p o s itio n s `   f ield s   wh ich   p u th s tar tin g   an d   en d in g   p o s itio n s   o f   th ac tu al  a n s wer ,   th m o d el  c o u ld   b e   tr ain ed   t o   s tick   to   p atter n s   ass o ciate d   with   th co r r ec an s wer .   Du r in g   tr ain in g ,   th m o d el  was   r ec eiv in g   in p u in   th e   f o r m   o f   q u esti o n s   an d   tex t   co n te x t,  an d   tar g ets  in   th f o r m   o f   ` s tar t_ p o s itio n s `   an d   ` en d _ p o s itio n s `   o f   th e   a ctu al  an s wer s .   T h e   m o d el  was   lear n ed   to   m ap   th in p u to   th co r r ec tar g ets  s o   th at  d u r in g   in f e r en ce   ( ju d g m en o r   u s ag e) ,   it  co u ld   f o r esee  th s tar an d   en d   p o s itio n s   o f   th co r r ec an s wer   f o r   t h g iv e n   q u esti o n   an d   tex co n tex t.  T h u s ,   th ad d itio n   o f   th e   ` s tar t_ p o s i tio n s `   an d   ` en d _ p o s itio n s `   f iel d s   to   th e   tr ain in g   an d   v alid ati o n   d atasets   was  an   im p o r tan t step   in   p r e p ar in g   in f o r m atio n   f o r   th Qu esti o n   An s wer in g   task   s o   th at  th m o d el  co u ld   b tr ain e d   to   lear n   p atter n s   th at  wer ass o ci ated   with   co r r ec t a n s wer s .     3 . 2 .     M o del  t ra ini ng   Af ter   d eter m in i n g   th e   to k e n s   in   th d ataset  an d   ad d in g   th s tar t_ p o s itio n s   an d   e n d _ p o s itio n s   co lu m n s ,   th e   n ex t   s tep   was  tr ain in g   th e   m o d el.   I n   th m o d el  tr ain i n g   s tag e,   th h y p er p ar am eter s   wer e   d eter m in ed   an d   th f in e - tu n i n g   p r o ce s s   wer p er f o r m e d   o n   ea ch   m o d el.   T h is   s tag was  th co r e   p r o ce s s   o f   th is   r esear ch .     3 . 2 . 1 .   Def ini ng   la ng ua g mo del o ptim iza t io n   Dete r m in in g   th f o u n d atio n al   m o d el,   s tr ateg y   an d   o p tim al  h y p er p ar am eter   v alu es,  s u ch   as  n u m b e r   o f   ep o ch s ,   b atch   s ize,   an d   lea r n in g   r ate,   was  v er y   im p o r tan to   g et   g o o d   im p lem en tatio n   f r o m   th m o d el.   I n   th is   r esear ch ,   we   s et  th s am v alu b etwe en   th e   I n d o B E R T   an d   MBERT  m o d els  s o   th at  t h co m p ar is o n   g ets   b alan ce d   r esu lts .   T h h y p er p ar am eter s   u s ed   in   b o th   m o d e ls   ar Hid d en   Dr o p o u Pro b a b ilit y   o f   0 . 1 ,   u s in g   Ad am   as  th o p tim izer ,   lear n i n g   r ate  o f   2 . 0 0 E - 0 5   as  well  as  u s in g   3   e p o ch s   an d   b atch   s ize  o f   8 .   Fo u n d atio n al   m o d els  o f   I n d o B E R T   an d   M B E R T   h av th s am p ar am et er s ,   n am ely   1 2   h i d d en   lay er s ,   1 2   atten tio n   h ea d s ,   an d   Hid d e n   Size  7 6 8 .   Fo r   b etter   m o d el  o p tim izatio n ,   s tr ateg ies  s u ch   as  p ar am eter   in itializatio n ,   to k e n izatio n ,   m o d el  o p tim izatio n ,   an d   r eg u l ar izatio n   ar n ee d ed .     T ab le  1   s u m m a r izes  th o p tim izatio n   s ettin g s .   T h p ar am eter s   f o llo th e   s tan d ar d   B E R T   co n f ig u r atio n ,   an d   id en tical  h y p er p ar am eter s   wer ap p lie d   to   b o th   m o d els  f o r   f air   co m p ar is o n .   T h is   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 8 2 9 - 4 8 3 6   4834   h y p er p ar am eter   p r o v is io n   ad a p ts   to   Dev lin ' s   r esear ch   en tit led   B E R T:  P r e - tr a in in g   o Dee p   B id ir ec tio n a l   Tr a n s fo r mer s   fo r   La n g u a g e   U n d ers ta n d in g ,   wh er e   h is   r ese ar ch   m e n tio n ed   r elate d   h y p er p ar am eter s   th at  a r o p tim al  en o u g h   to   b e   u s ed   in   th f in e - tu n in g   p r o ce s s .   T h e   s tr ateg y   u s ed   in   t h is   r esear ch   in clu d es  p ar a m eter   in itializatio n ,   to k en izatio n ,   m o d el  o p tim izatio n ,   an d   r e g u lar izatio n .   Fo r   p ar a m eter   in itializatio n   an d   to k en izatio n ,   we  u s th f o u n d atio n   o f   I n d o B E R T   an d   MBERT,   wh ile  th r eg u lar iz atio n   tech n iq u u s es  d r o p o u t p r o b ab ilit y ,   wh ich   wa s   in ten d ed   to   r ed u ce   d ata  o v e r f itti n g   d u r i n g   th f in e - tu n in g   p r o ce s s .       T ab le  1 .   Dete r m in i n g   lan g u ag m o d el  o p tim izatio n   V a r i a b l e   I t e m   I n d o B ER T   M B ER T   P a r a me t e r s   H i d d e n   l a y e r s   12   12   A t t e n t i o n   h e a d s   12   12   H i d d e n   s i z e   7 6 8   7 6 8   H y p e r p a r a me t e r s   M a x   l e n g t h   5 1 2   5 1 2   Le a r n i n g   r a t e   2 . 0 0 E - 05   2 . 0 0 E - 05   O p t i mi z e r   A d a m   A d a m   Ep o c h   3   3   B a t c h   s i z e   8   8   S t r a t e g y   P a r a me t e r   I n i t i a l i z a t i o n   R i f k y / I n d o b e r t - QA   b e r t - b a s e - mu l t i l i n g u a l - c a s e d   To k e n i z a t i o n   R i f k y / I n d o b e r t - QA   b e r t - b a s e - mu l t i l i n g u a l - c a s e d   M o d e l   o p t i mi z a t i o n   U si n g   H y p e r p a r a me t e r   U si n g   H y p e r p a r a me t e r   R e g u l a r i z a t i o n   D r o p o u t   P r o b a b i l i t y   ( 0 . 1 )   D r o p o u t   P r o b a b i l i t y   ( 0 . 1 )       3 . 2 . 2 .   F ine - t un ing   Af ter   s ettin g   in itial  h y p er p ar a m eter s ,   f in e - tu n in g   was  p er f o r m ed   o n   b o th   I n d o B E R T   an d   MBERT .   T h p r o ce s s   s tar ts   with   to k en i za tio n ,   wh ich   d if f e r s   f r o m   th e   ea r lier   p r e p r o ce s s in g   s tep .   I i n v o lv es  in itializin g   th d ata  f r am e,   to k e n izer ,   an d   tex len g th ,   co u n tin g   d atas et  s ize,   an d   s am p lin g   f r o m   t h Qu esti o n   an d   An s wer   co lu m n s .   Sp ec ial  t o k en s   lik e   [ C L S]  an d   [ SEP]   wer ad d e d ,   te x ts   wer tr u n c ated   o r   p a d d ed   to   m ax im u m   len g th ,   an d   in p u ts   ar co n v e r ted   to   Py T o r ch   ten s o r s .   Nex t,  th m o d el  was  b u ilt  b y   ad ap tin g   it  to   th q u esti o n - an s wer   task   with   th s p ec if ied   d ataset  an d   p ar am eter s .   T r ain in g   r u n s   f o r   3   ep o ch s   o n   b o th   tr ain in g   a n d   v alid atio n   d ata   t o   o p tim ize  th e   m o d el  weig h ts   f o r   b etter   p r ed ictio n s .   Af ter   tr ain in g ,   th m o d el   an d   to k en ize r   wer s av ed   u s in g   m o d el. s av e _ p r etr ai n ed   an d   to k en izer . s av e _ p r etr ain e d   f o r   later   u s with o u t   r etr ain in g .     3 . 3 .     M o del  e v a lua t i o n   At  th is   s tag e,   th s av ed   r es u lts   o f   th e   f in e - tu n in g   p r o c ess   ( th m o d el)   wer e v alu ated   u s in g   B E R T Sco r e.   B E R T Sco r is   lan g u ag g en er atio n   ev alu a tio n   m etr ic  b ased   o n   th p r e - tr ain ed   co n tex tu al   em b ed d in g   B E R T .   B E R T Sco r ca lcu lates  th s im ilar ity   o f   two   s en ten ce s   as  th to tal  o f   th cu m u lativ e   s im ilar ity   b etwe en   th em b ed d in g   to k en s .   As  illu s tr ated   in   T ab le  2 ,   th e   I n d o B E R T   m o d el  d em o n s tr a ted   n o tab le  p er f o r m a n ce   in   ter m s   o f   m o d el  ev al u atio n   u s in g   B E R T Sco r e.   T h e   m o d el   attain ed   an   F1 - B E R T Sco r o f   9 1 . 8 %,   ac co m p a n ied   b y   a   r ec all  B E R T Sco r o f   8 9 . 9 an d   a   p r ec is io n   B E R T Sco r e   o f   9 3 . 9 %.  I n   c o m p ar is o n ,   t h MBERT  m o d el  ex h ib ited   a   co m p ar ativ ely   lo wer   p er f o r m an ce ,   with   an   F 1 - B E R T Sco r o f   7 9 . 2 %,  r e ca ll  B E R T Sco r o f   7 3 . 4 %,  an d   p r ec is io n   B E R T Sco r o f   8 6 . 2 %.  I n   ad d itio n ,   co m p ar is o n   was  m ad with   th GPT - 2   m o d el,   an d   th e   r esu lts   o b tain e d   wer e   F1 - B E R T Sco r 6 6 . 2 %,  r ec al B E R T Sco r 6 8 . 0 %,  a n d   p r e cisi o n   B E R T Sco r 6 5 . 5 %.  B ased   o n   t h v alu es  o b tain e d ,   it  ca n   b c o n clu d ed   th at  t h I n d o B E R T   m o d e is   s u p er io r   to   t h e   MBERT  an d   GPT - 2   m o d els in   q u esti o n   an d   an s wer   task s   u s in g   I n d o n esian - la n g u a g m en ta l h ea lth   d atasets .       T ab le  2 .   Dete r m in i n g   lan g u ag m o d el  o p tim izatio n   M o d e l   I t e m   F 1   B ER TSc o r e   P r e c i s i o n   B E R TSc o r e   R e c a l l   B ER TSc o r e   I n d o B ER T   B e f o r e   F i n e - T u n i n g   6 5 . 3 %   7 3 . 8 %   6 0 . 8 %   A f t e r   F i n e - T u n i n g   9 1 . 8 %   9 3 . 9 %   8 9 . 9 %   M B ER T   B e f o r e   F i n e - T u n i n g   7 4 . 2 %   7 8 . 8 %   7 2 . 2 %   A f t e r   F i n e - T u n i n g   7 9 . 2 %   8 6 . 2 %   7 3 . 4 %   G P T - 2   B e f o r e   F i n e - T u n i n g   5 8 . 4 %   5 6 . 4 %   6 0 . 0 %   A f t e r   F i n e - T u n i n g   6 6 . 2 %   6 8 . 0 %   6 5 . 5 %       3 . 4 .     Dis cus s io n   T h r esu lts   o f   th is   s tu d y   e m p h asize  th im p o r tan ce   o f   u s in g   lan g u ag e - s p ec if ic   m o d els  in   NL task s .   I n d o B E R T ,   wh ich   was  p r e - tr ain ed   o n   I n d o n esian   tex t,  s ig n if ican tly   o u tp er f o r m ed   th m u ltil in g u al  MBERT  Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E lec  &   C o m p   E n g     I SS N:   2088 - 8 7 0 8         La n g u a g m o d el  o p timiz a tio n   fo r   men ta l h ea lth   q u esti o n   a n s w erin g     ( F a r d a n   Za ma kh s ya r i )   4835   af ter   f in e - t u n in g .   I n d o B E R T   ac h iev ed   a n   F1 - B E R T Sco r o f   9 1 . 8 %,  p r ec is io n   o f   9 3 . 9 %,  an d   r ec all  o f   8 9 . 9 % .   I n   co m p ar is o n ,   MBERT  o n ly   r ea ch e d   7 9 . 2 F1 ,   with   8 6 . 2 p r ec is io n   an d   7 3 . 4 %   r ec all.   T h is   2 8 im p r o v em e n in   I n d o B E R T 's  F1   s co r co m p ar ed   t o   its   p er f o r m an ce   b e f o r e   f in e - tu n in g ,   v er s u s   o n ly   5 % g ain   in   MBERT,   s h o ws  th at  f in e - t u n in g   is   h ig h ly   ef f ec tiv e   esp e cially   wh en   th e   m o d el  ar ch it ec tu r an d   tr ain in g   d ata  ar clo s ely   alig n ed   with   t h tar g et  lan g u ag e.   T h e   lo wer   p er f o r m an ce   o f   MBERT  ca n   b attr ib u ted   to   its   m u ltil in g u al  tr ain in g   o b jectiv e ,   wh ich   r ed u ce s   its   s p ec ializati o n   in   a n y   s in g le  lan g u ag e,   in cl u d in g   I n d o n esian .   T h ese  f in d in g s   s u p p o r th id ea   th at  f o r   s p ec ialized   d o m ain s   lik m en tal  h ea lth   in   s p e cif ic  lan g u ag e ,   m o n o lin g u al  m o d els  ar e   m o r e   s u itab le.   Ad d itio n ally ,   th o p tim ized   I n d o B E R T   m o d el   h as   p o ten tial   f o r   r ea l - wo r ld   d e p lo y m e n in   m en tal  h ea lth   ch atb o ap p licatio n s .   Ho wev er ,   eth ical   an d   leg al  c o n s id er atio n s   r em ai n   ess en tial,  p ar ticu lar ly   r eg ar d in g   d ata  p r iv ac y ,   co n ten m o d er atio n ,   a n d   ap p r o p r iate  r esp o n s h an d lin g .   E n s u r in g   r esp o n s ib le  AI   d esig n   is   cr itical  b ef o r s u ch   s y s tem s   ar p u b licly   im p lem en ted .       4.   CO NCLU SI O N   T h in ten tio n   o f   th is   wo r k   wa s   to   eq u alize   t h p e r f o r m an ce   o f   B E R T   m o d els  in   q u esti o n - an s wer in g   task s ,   s p ec if ically   I n d o B E R T   an d   M - B E R T   m o d els,  u tili zin g   I n d o n esian   lan g u ag d atasets   f o cu s ed   o n   m en tal  h ea lth   d o m ain .   T h p er f o r m an ce   o f   I n d o B E R T   s u r p ass ed   M - B E R T ,   with   an   F1 - B E R T Sco r o f   9 1 . 8 %,  r ec all   B E R T Sco r o f   8 9 . 9 %,  an d   p r ec is io n   B E R T Sco r o f   9 3 . 9 %.  Me an wh ile,   th MBERT  m o d el  h as  lo we r   p er f o r m an ce ,   with   a   v alu e   o f   F1 - B E R T Sco r o f   7 9 . 2 %,  r ec all  B E R T Sco r o f   7 3 . 4 %,  an d   p r ec is io n   B E R T Sco r o f   8 6 . 2 %.  T h ese  f in d in g s   h ig h lig h th n ee d   t o   u s lan g u ag e - s p ec if ic  m o d els,  s u ch   as  I n d o B E R T   f o r   I n d o n esian ,   to   im p r o v t h p er f o r m a n ce   an d   r ele v an c o f   r esp o n s es  in   q u esti o n - a n s wer   s y s tem s .   I n   ad d itio n ,   th is   s tu d y   d em o n s tr ates  th ef f ec tiv en ess   o f   f in e - tu n in g   m eth o d s   in   im p r o v in g   m o d el  p er f o r m an ce   wh ich   in   th is   ca s th I n d o B E R T   im p r o v b y   2 8 wh ile  MBERT  im p r o v b y   ab o u 5 %.  T h h ig h er   im p r o v em e n o f   I n d o B E R T   s h o ws  th at  m o d els  tr ain ed   f o r   s p ec if ic  ty p o f   lan g u a g ( in   th is   ca s th e   I n d o n esian   lan g u a g e)   ca n   im p r o v s ig n if ica n tly   wh en   o p tim ize  f o r   NL task s   in   th at  s p ec i f ic  lan g u a g e.   Oth e r   co n tr ib u tio n   o f   t h is   r esear ch   w er e;  o p tim ized   I n d o B E R T   an d   MBERT  m o d el  f o r   QA  task   o f   th m en tal  h ea lth   d o m ain   in   I n d o n esian   lan g u ag e,   th tr an s latio n   o f   t h Am o d /m en tal_ h ea lth _ co u n s elin g _ c o n v er s atio n s   d ataset  to   I n d o n esian   lan g u ag e,   a n d   p r o v id e   an   o v er v iew  o f   th m en tal  h ea lth   q u esti o n - an s wer   s y s tem   th at  ca n   b e   ap p lied   ac co r d in g   to   th in ten d ed   s p ec if icatio n s .   T o   s u m m a r ize,   th is   s tu d y   n o o n ly   d e m o n s tr ate  I n d o B E R T ' s   s u p er io r ity   in   I n d o n esian   q u esti o n - an s wer in g   task s   co m p a r e d   to   MBERT  b u also   em p h as izes  th im p o r tan ce   o f   in v esti n g   in   th d ev elo p m en an d   o p tim izatio n   o f   lan g u ag e - s p ec if ic  m o d els  to   im p r o v th ac ce s s ib ilit y   an d   q u ality   o f   d ig ital  s er v ices,  p ar ticu lar ly   in   s en s itiv ar ea s   s u ch   as  m en tal  h ea lth .   T h is   s tu d y   also   s h o ws  a   h ig h er   ac cu r ac y   v alu co m p ar ed   to   s ev er al  p r ev io u s   s tu d ies  with   an   F1 - B E R T Sco r o f   9 1 . 8 %,  r ec all  B E R T Sco r o f   8 9 . 9 %,  an d   p r ec is io n   B E R T Sco r o f   9 3 . 9 %.  T h ese  f in d in g s   p av th wa y   f o r   f u t u r s tu d ies  in to   th ad a p tatio n   o f   NL P m o d els to   d if f er e n t c u ltu r al  c o n te x ts   an d   ap p licatio n   d o m ai n s .       RE F E R E NC E S   [ 1 ]   J.  A .   A l z u b i ,   R .   Ja i n ,   A .   S i n g h ,   P .   P a r w e k a r ,   a n d   M .   G u p t a ,   C O B ER T:   C O V I D - 1 9   q u e s t i o n   a n sw e r i n g   s y st e u s i n g   B E R T,   Ara b i a n   J o u rn a l   f o S c i e n c e   a n d   En g i n e e ri n g ,   v o l .   4 8 ,   n o .   8 ,   p p .   1 1 0 0 3 1 1 0 1 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s1 3 3 6 9 - 0 2 1 - 0 5 8 1 0 - 5.   [ 2 ]   A .   K e sarw a n i ,   S .   D a s,   D .   R .   K i sk u ,   a n d   M .   D a l u i ,   M u l t i - sc a l e   v i si o n   t r a n sf o r m e r   t o w a r d   i mp r o v e d   n o n - i n v a si v e   a n a e mi a   d e t e c t i o n   u s i n g   p a l v i d e o ,   M u l t i m e d i a   T o o l a n d   Ap p l i c a t i o n s ,   v o l .   8 3 ,   n o .   3 8 ,   p p .   8 5 8 2 5 8 5 8 4 8 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 2 4 - 2 0 1 1 8 - w.   [ 3 ]   M .   B i l a l   a n d   A .   A .   A l maz r o i ,   Ef f e c t i v e n e ss   o f   f i n e - t u n e d   B E R T   mo d e l   i n   c l a ss i f i c a t i o n   o f   h e l p f u l   a n d   u n h e l p f u l   o n l i n e   c u s t o m e r   r e v i e w s,   El e c t ro n i c   C o m m e rc e   R e se a rc h ,   v o l .   2 3 ,   n o .   4 ,   p p .   2 7 3 7 2 7 5 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 2 2 - 0 9 5 6 0 - w.   [ 4 ]   J.  D e v l i n ,   M .   W .   C h a n g ,   K .   Le e ,   a n d   K .   To u t a n o v a ,   B ER T :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r me r f o r   l a n g u a g e   u n d e r s t a n d i n g ,   in   N AAC L   H L T   2 0 1 9   -   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h   A m e ri c a n   C h a p t e o f   t h e   Ass o c i a t i o n   f o C o m p u t a t i o n a l   L i n g u i st i c s:   H u m a n   L a n g u a g e   T e c h n o l o g i e s   -   Pr o c e e d i n g o f   t h e   C o n f e re n c e ,   v o l .   1 ,   p p .   4 1 7 1 4 1 8 6 ,   O c t .   2 0 1 9 .   [ 5 ]   F .   K o t o ,   A .   R a h i mi ,   J.   H .   La u ,   a n d   T.   B a l d w i n ,   I n d o LE M   a n d   I n d o B ER T:   A   b e n c h mark   d a t a se t   a n d   p r e - t r a i n e d   l a n g u a g e   m o d e l   f o r   I n d o n e s i a n   N LP,   i n   Pr o c e e d i n g o f   t h e   2 8 th   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 0 ,   p p .   7 5 7 7 7 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . c o l i n g - mai n . 6 6 .   [ 6 ]   F .   K o t o ,   J.  H .   La u ,   a n d   T.   B a l d w i n ,   I N D O B ER TWEET :   a   p r e t r a i n e d   l a n g u a g e   m o d e l   f o r   I n d o n e s i a n   Tw i t t e r   w i t h   e f f e c t i v e   d o m a i n - s p e c i f i c   v o c a b u l a r y   i n i t i a l i z a t i o n ,   in   E MN L 2 0 2 1   -   2 0 2 1   C o n f e re n c e   o n   Em p i ri c a l   M e t h o d i n   N a t u r a l   L a n g u a g e   Pro c e ssi n g ,   Pro c e e d i n g s ,   p p .   1 0 6 6 0 1 0 6 6 8 ,   2 0 2 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . e mn l p - ma i n . 8 3 3 .   [ 7 ]   Q .   Li   a n d   Y .   Zh a n g ,   I mp r o v e d   t e x t   mat c h i n g   m o d e l   b a se d   o n   B E R T,   Fr o n t i e rs i n   C o m p u t i n g   a n d   I n t e l l i g e n t   S y s t e m s ,   v o l .   2 ,   n o .   3 ,   p p .   4 0 4 3 ,   2 0 2 3 ,   d o i :   1 0 . 5 4 0 9 7 / f c i s . v 2 i 3 . 5 2 0 9 .   [ 8 ]   T.   M .   L u u ,   H .   T.   Le ,   a n d   T.   M .   H o a n g ,   A   h y b r i d   m o d e l   u s i n g   t h e   p r e t r a i n e d   B ER T   a n d   d e e p   n e u r a l   n e t w o r k s   w i t h   r i c h   f e a t u r e   f o r   e x t r a c t i v e   t e x t   su mm a r i z a t i o n ,   J o u rn a l   o f   C o m p u t e S c i e n c e   a n d   C y b e r n e t i c s ,   v o l .   3 7 ,   n o .   2 ,   p p .   1 2 3 1 4 3 ,   2 0 2 1 ,   d o i :   1 0 . 1 5 6 2 5 / 1 8 1 3 - 9 6 6 3 / 3 7 / 2 / 1 5 9 8 0 .   [ 9 ]   T.   Zh a n g ,   V .   K i sh o r e ,   F .   W u ,   K .   Q .   W e i n b e r g e r ,   a n d   Y .   A r t z i ,   B E R TS C O R E :   e v a l u a t i n g   t e x t   g e n e r a t i o n   w i t h   B ER T,   in   8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L e a r n i n g   Re p res e n t a t i o n s,  I C L 2 0 2 0 ,   p p .   1 4 3 ,   2 0 2 0 .   [ 1 0 ]   A .   A .   D z a k y   e t   a l . O p t i m i z a t i o n   C h a t b o t   s e r v i c e b a s e d   o n   D N N - B ER f o r   men t a l   h e a l t h   o f   u n i v e r si t y   s t u d e n t s ,   J o u rn a l   o f   Ap p l i e d   I n f o rm a t i c a n d   C o m p u t i n g ,   v o l .   8 ,   n o .   1 ,   p p .   1 3 2 1 ,   2 0 2 4 ,   d o i :   1 0 . 3 0 8 7 1 / j a i c . v 8 i 1 . 7 4 0 3 .   [ 1 1 ]   H .   H u z a e n i ,   Z.   K .   S i m b o l o n ,   a n d   M .   A .   F i r d a u s,   M e n t a l   h e a l t h   d i so r d e r   c h a t b o t   u si n g   N LP   a n d   f o r w a r d   c h a i n i n g   me t h o d s,   c a se   st u d y   o f   C u t   M e u t i a   H o sp i t a l ,   J o u r n a l   o f   I n f o rm a t i o n   T e c h n o l o g y   a n d   C o m p u t e rs   ( J I T C ) ,   v o l .   4 ,   n o .   2 ,   p p .   2 3 1 2 3 7 ,   2 0 2 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8 7 0 8   I n t J E lec  &   C o m p   E n g ,   Vo l.   15 ,   No .   5 Octo b e r   20 25 :   4 8 2 9 - 4 8 3 6   4836   [ 1 2 ]   M .   S a u n d e r s,   P .   L e w i s ,   a n d   A .   Th o r n h i l l ,   Re s e a rc h   m e t h o d f o r   b u n i e ss s t u d e n t s .   P e a r so n ,   2 0 0 7 .   [ 1 3 ]   J.  W .   C r e ssw e l l ,   Ed u c a t i o n a l   rese a r c h   p l a n n i n g ,   c o n d u c t i n g ,   a n d   e v a l u a t i n g   q u a n t i t a t i v e   a n d   q u a l i t a t i v e   r e se a rc h , 4 th   e d .   B o s t o n :   P h o e n i x   C o l o r   C o r p ,   2 0 1 2 .   [ 1 4 ]   R .   S u t o y o ,   H .   L.   H .   S .   W a r n a r s,  S .   M .   I sa,   a n d   W .   B u d i h a r t o ,   Emo t i o n a l l y   a w a r e   C h a t b o t   f o r   r e s p o n d i n g   t o   I n d o n e s i a n   p r o d u c t   r e v i e w s,   I C I C   Ex p r e ss Le t t e rs ,   v o l .   1 9 ,   n o .   3 ,   p p .   8 6 1 8 7 6 ,   2 0 2 3 ,   d o i :   1 0 . 2 4 5 0 7 / i j i c i c . 1 9 . 0 3 . 8 6 1 .   [ 1 5 ]   F .   K o t o ,   J.   H .   La u ,   a n d   T.   B a l d w i n ,   L i p u t a n 6 :   a   l a r g e - s c a l e   i n d o n e si a n   d a t a s e t   f o r   t e x t   su mm a r i z a t i o n ,   a rX i v   p r e p r i n t   a rXi v : 2 0 1 1 . 0 0 6 7 9 ,   n o .   1 ,   2 0 2 0 .   [ 1 6 ]   N .   K .   N i ss a   a n d   E.   Y u l i a n t i ,   M u l t i - l a b e l   t e x t   c l a s si f i c a t i o n   o f   I n d o n e si a n   c u st o m e r   r e v i e w u s i n g   b i d i r e c t i o n a l   e n c o d e r   r e p r e s e n t a t i o n s fr o m t r a n sf o r mers   l a n g u a g e   m o d e l ,   I n t e r n a t i o n a l   J o u rn a l   o f   E l e c t r i c a l   a n d   C o m p u t e r E n g i n e e r i n g ,   v o l .   1 3 ,   n o .   5 ,   p p .   5 6 4 1 5 6 5 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 5 9 1 / i j e c e . v 1 3 i 5 . p p 5 6 4 1 - 5 6 5 2 .   [ 1 7 ]   S .   W u   a n d   M .   D r e d z e ,   A r e   a l l   l a n g u a g e s   c r e a t e d   e q u a l   i n   m u l t i l i n g u a l   B ER T ? ,   P ro c e e d i n g s   o f   t h e   A n n u a l   Me e t i n g   o f   t h e   Asso c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   n o .   J u l y ,   p p .   1 2 0 1 3 0 ,   2 0 2 0 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 0 . r e p l 4 n l p - 1 . 1 6 .   [ 1 8 ]   A .   K a z e m i ,   J.   M o z a f a r i ,   a n d   M .   A .   N e m a t b a k h sh ,   P e r si a n Q u A D :   t h e   n a t i v e   q u e s t i o n   a n sw e r i n g   d a t a s e t   f o r   t h e   P e r si a n   l a n g u a g e ,   I EEE  Ac c e ss ,   v o l .   1 0 ,   p p .   2 6 0 4 5 2 6 0 5 7 ,   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 2 . 3 1 5 7 2 8 9 .   [ 1 9 ]   A .   K e s a r w a n i ,   S .   D a s ,   D .   R .   K i sk u ,   a n d   M .   D a l u i ,   D u a l   mo d e   i n f o r ma t i o n   f u si o n   w i t h   p r e - t r a i n e d   C N N   m o d e l a n d   t r a n sf o r m e r   f o r   v i d e o - b a se d   n o n - i n v a s i v e   a n a e m i a   d e t e c t i o n ,   B i o m e d i c a l   S i g n a l   Pr o c e ssi n g   a n d   C o n t r o l ,   v o l .   8 8 ,   p .   1 0 5 5 9 2 ,   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . b s p c . 2 0 2 3 . 1 0 5 5 9 2 .   [ 2 0 ]   A .   C h e n ,   G .   S t a n o v s k y ,   S .   S i n g h ,   a n d   M .   G a r d n e r ,   E v a l u a t i n g   q u e st i o n   a n sw e r i n g   e v a l u a t i o n ,   M RQ A @ EM N L P   2 0 1 9   -   Pro c e e d i n g o f   t h e   2 n d   W o rks h o p   o n   Ma c h i n e   R e a d i n g   f o r   Q u e st i o n   An s w e ri n g ,   p p .   1 1 9 1 2 4 ,   2 0 1 9 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / d 1 9 - 5 8 1 7 .   [ 2 1 ]   F .   B a h a r u d d i n   a n d   M .   F .   N a u f a l ,   F i n e - t u n i n g   I n d o B E R T   f o r   I n d o n e si a n   e x a q u e st i o n   c l a ss i f i c a t i o n   b a se d   o n   b l o o m’ s   t a x o n o my ,   J o u rn a l   o f   I n f o rm a t i o n   S y s t e m s   E n g i n e e r i n g   a n d   B u si n e ss   I n t e l l i g e n c e ,   v o l .   9 ,   n o .   2 ,   p p .   2 5 3 2 6 3 ,   2 0 2 3 ,   d o i :   1 0 . 2 0 4 7 3 / j i s e b i . 9 . 2 . 2 5 3 - 2 6 3 .   [ 2 2 ]   X .   P .   Q i u ,   T.   X .   S u n ,   Y .   G .   X u ,   Y .   F .   S h a o ,   N .   D a i ,   a n d   X .   J .   H u a n g ,   Pre - t r a i n e d   mo d e l s   f o r   n a t u r a l   l a n g u a g e   p r o c e ssi n g :   A   su r v e y ,   S c i e n c e   C h i n a   T e c h n o l o g i c a l   S c i e n c e s ,   v o l .   6 3 ,   n o .   1 0 ,   p p .   1 8 7 2 1 8 9 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 4 3 1 - 020 - 1 6 4 7 - 3.   [ 2 3 ]   M .   R .   R i z q u l l a h ,   A .   P u r w a r i a n t i ,   a n d   A .   F .   A j i ,   Q A S i N a :   r e l i g i o u s   d o ma i n   q u e s t i o n   a n sw e r i n g   u si n g   S i r a h   N a b a w i y a h ,   i n   2 0 2 3   10 t I n t e r n a t i o n a l   C o n f e re n c e   o n   A d v a n c e d   I n f o rm a t i c s:   C o n c e p t ,   T h e o ry  a n d   A p p l i c a t i o n ,   I C AI C T 2 0 2 3 ,   2 0 2 3 ,   p p .   1 6 ,   d o i :   1 0 . 1 1 0 9 / I C A I C TA 5 9 2 9 1 . 2 0 2 3 . 1 0 3 9 0 1 2 3 .   [ 2 4 ]   M .   S e o ,   A .   K e mb h a v i ,   A .   F a r h a d i ,   a n d   H .   H a j i s h i r z i ,   Bi - d i r e c t i o n a l   a t t e n t i o n   f l o w   f o r   ma c h i n e   c o m p r e h e n si o n ,   in   5 th   I n t e r n a t i o n a l   C o n f e re n c e   o n   L e a r n i n g   R e p r e se n t a t i o n s ,   I C L 2 0 1 7   -   C o n f e re n c e   T r a c k   Pro c e e d i n g s ,   p p .   1 1 3 ,   2 0 1 7 ,   d o i :   a b s / 1 6 1 1 . 0 1 6 0 3 .   [ 2 5 ]   B .   V a n   A k e n ,   A .   L ö s e r ,   B .   W i n t e r ,   a n d   F .   A .   G e r s,   H o w   d o e B E R a n sw e r   q u e s t i o n s?   A   l a y e r - w i s e   a n a l y si o f   t r a n sf o r mer   r e p r e s e n t a t i o n s ,   in   I n t e r n a t i o n a l   C o n f e re n c e   o n   I n f o rm a t i o n   a n d   K n o w l e d g e   M a n a g e m e n t ,   Pro c e e d i n g s ,   p p .   1 8 2 3 1 8 3 2 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 4 5 / 3 3 5 7 3 8 4 . 3 3 5 8 0 2 8 .   [ 2 6 ]   A .   R a h a l i   a n d   M .   A .   A k h l o u f i ,   E n d - to - e n d   t r a n sf o r mer - b a se d   m o d e l s   i n   t e x t u a l - b a se d   N LP ,   AI   ( S w i t z e rl a n d ) ,   v o l .   4 ,   n o .   1 ,   p p .   54 1 1 0 ,   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / a i 4 0 1 0 0 0 4 .   [ 2 7 ]   A .   K e sarw a n i ,   S .   D a s,  D .   R .   K i s k u ,   a n d   M .   D a l u i ,   N o n - i n v a si v e   a n a e mi a   d e t e c t i o n   b a s e d   o n   p a l p a l l o r   v i d e o   u si n g   t r e e - st r u c t u r e d   3 D   C N N   a n d   v i s i o n   t r a n sf o r mer  m o d e l s ,   J o u r n a l   o f   Ex p e ri m e n t a l   T h e o re t i c a l   A rt i f i c i a l   I n t e l l i g e n c e ,   p p .   1 2 9 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 2 8 1 3 X . 2 0 2 3 . 2 3 0 1 4 0 1 .   [ 2 8 ]   R .   C a l i z z a n o ,   M .   O st e n d o r f f ,   Q .   R u a n ,   a n d   G .   R e h m,  G e n e r a t i n g   e x t e n d e d   a n d   m u l t i l i n g u a l   s u mm a r i e s   w i t h   p r e - t r a i n e d   t r a n sf o r mers ,   in   2 0 2 2   L a n g u a g e   Re s o u r c e s   a n d   E v a l u a t i o n   C o n f e r e n c e ,   L REC   2 0 2 2 ,   n o .   Ju n e ,   p p .   1 6 4 0 1 6 5 0 ,   2 0 2 2 .   [ 2 9 ]   A .   F a t w a n t o ,   F .   Za m a k h s y a r i ,   R .   N d u n g i ,   a n d   L.   F i t r i y a n i ,   S y st e ma t i c   l i t e r a t u r e   r e v i e w   o f   B ER T - b a s e d   m o d e l s   f o r   n a t u r a l   l a n g u a g e   p r o c e ssi n g   t a sk s,   I n f o t e l ,   p p .   7 1 3 7 2 8 ,   2 0 2 4 ,   d o i :   1 0 . 2 0 8 9 5 / I N F O TEL. V 1 6 I 3 . 1 2 0 6 .       B I O G RAP H I E S O F   AUTH O RS       Fa r d a n   Z a m a k h sy a r         s tu d y i n g   t o   g e a   b a c h e l o o c o m p u ter   sc ien c e   (S . Ko m . )   d e g re e   in   in f o rm a ti o n   sy ste m s ,   a S u n a n   Am p e l   S tate   Isla m ic  Un iv e rsity   S u ra b a y a   in   2 0 1 7 ,   c o n ti n u i n g   h is  M a ste o C o m p u ter  S c ien c e   (M . K o m . e d u c a t io n   i n   i n fo rm a ti c s,  S u n a n   Ka li jag a   S tate   Isla m ic  Un iv e rsity   Yo g y a k a rta  i n   2 0 2 4 .   C u rre n tl y   wo r k in g   a a   lec tu re r     a th e   De p a rtme n o In f o rm a ti c s,  F a c u lt y   o E n g in e e rin g ,   S e k o lah   T in g g Ca h a y a   S u ry a ,   Ke d iri ,   I n d o n e sia .   His   re se a rc h   in tere sts  i n c lu d e   we b   d e v e l o p m e n t ,   d a ta  sc ien c e ,   n a tu ra l   lan g u a g e   p r o c e ss in g ,   a n d   a rt ifi c ial  in telli g e n c e .   He   c a n   b e   c o n tac ted   v ia  e m a il :   m a sfa rd a n 9 9 @g m a il . c o m .         A g u n g   F a twa n t o           o b tai n e d   a   b a c h e lo o f   sc ien c e   (S . S i. )   in   c o m p u ter  sc ien c e   a n d   m a ste r’s  de g re e   (M . Ko m . i n   C o m p u ter  S c ien c e   fro m   G a d jah   M a d a   Un i v e rsity .   He   late r   p u rsu e d   h is  d o c t o ra e d u c a ti o n   a th e   De p a rtme n o Co m p u ter  S c ien c e Au stra li a n   Na ti o n a l   Un iv e rsity .   He   is  c u rre n tl y   a   lec tu re a th e   In f o rm a ti c s   De p a rtm e n t,   F a c u lt y   o S c ien c e   a n d   Tec h n o l o g y ,   Un i v e rsitas   Isla m   Ne g e ri  S u n a n   Ka li jag a ,   Yo g y a k a rta,  In d o n e sia .   His  re se a r c h   in tere sts  in c lu d e   so ftwa re   e n g in e e rin g ,   n a tu ra l   lan g u a g e   p ro c e ss in g ,   a rti ficia in telli g e n c e   a n d   d a ta sc ien c e He   c a n   b e   c o n tac ted   v ia em a il a g u n g . fa twa n to @ u in - s u k a . a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.