I n d on e s ian   Jou r n al   o f   E lec t r ica l   E n gin e e r in g  a n d   Com p u t e r   S c ience   Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 ,   pp.   3 1 5 ~ 324   I S S N:  2 502 - 4 7 52 ,   DO I :  10 . 11591/i j e e cs .v 3 7 . i 1 . pp 3 1 5 - 324             315     Jou r n al  h o m e page :  ht tp: // ij e e cs . iaes c or e . c om   In t e gr at in g E L E C T R A  an d   B E R T   m o d e ls   in  t r an sf or m e r - b ase d   m e n t al  h e al t h c ar e  c h at b ot       Ju n t a  Z e n iar j a 1 , 2 ,  Cin an t ya   P ar a m it a 1 , 2 ,   E gia  R os i  S u b h iyak t o 1 , 2 ,   S in d h u   Rak as iwi 1 , 2 ,     Gu r u h   F aj ar   S h id ik 1 , 2 ,   P u l u n g  Nur t an t io   And o n o 1 , 2 ,   Anam ar ij a  Ju r c e v  S avice vic 3   1 F a c ul t y   of  C omput e r  S c i e nc e , U ni ve r s it a s  D ia n N us w a nt o r o , S e ma r a ng, I nd o n e s ia   2 R e s e a r c h C e nt e r   f o r   I nt e ll ig e nt  D is tr ib ut e d S ur ve il la n c e  a nd S e c ur it y  ( I D S S ) , U ni ve r s it a s  D ia n N us w a nt o r o , S e ma r a ng, I nd o n e s ia   3 D e pa r tm e nt   of   H e a lt h S tu di e s , P ubl ic   H e a lt h I ns ti tu t e   of   S pl it - D a lm a ti a , S c h oo l  of  M e di c in e , U ni ve r s it y   of   S pl it ,  S pl it ,   C r o a ti a       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve d  M a y   2 ,   202 4   R e vi s e d  S e p   9 ,  202 4   A c c e pt e d  S e p   29 ,   202 4       O v e r   t h e   l as t   d ec a d e,   t h e  s u r g e   i n   men t al   h e al t h   d i s o r d e rs   h as   n ece s s i t at e d   i n n o v at i v e   s u p p o rt   me t h o d s ,   n o t ab l y   art i fi ci al   i n t el l i g en t   ( AI )   c h at b o t s .   T h e s e  c h at b o t s   p ro v i d e   p ro m p t ,   t ai l o r ed   co n v e rs at i o n s ,   b ec o mi n g   c r u c i a l   i n   me n t al   h e al t h   s u p p o rt .   T h i s   art i cl e   d e l v e s   i n t o   t h e  u s e  o f   s o p h i s t i c at ed   mo d e l s   l i k e   co n v o l u t i o n a l   n e u ra l   n e t w o rk   ( CN N ) ,  l o n g - s h o rt   t e r m   memo r y   ( L ST M ) ,  e ffi ci e n t l y   l e arn i n g   an   e n co d e r   t h at   cl as s i fi e s   t o k en   r e p l a cemen t s   acc u rat e l y   ( E L E CT RA ) ,   an d   b i d i r e c t i o n a l   e n co d e r   re p re s e n t at i o n   o f   t ran s fo rme rs   ( B E RT )   i n   d ev e l o p i n g   e ff ec t i v e   men t al   h e a l t h   ch at b o t s .   D e s p i t e  t h e i r   i m p o rt an ce   f o r   em o t i o n a l   as s i s t an ce ,   t h e s e   ch at b o t s   s t ru g g l e  w i t h   p re ci s e  an d   r el e v an t   r e s p o n s e s   t o   c o m p l e x   men t al   h e al t h   i s s u e s .   BE RT ,   w h i l e   s t ro n g   i n   co n t e x t u al   u n d e rs t an d i n g ,   l a ck s   i n   r e s p o n s e  g en e rat i o n .   Co n v e rs e l y ,   E L E CT RA   s h o w s   p ro mi s e  i n   t e x t   c r e at i o n   b u t   i s   n o t   f u l l y   e x p l o i t e d   i n   me n t al   h e al t h   co n t e x t s .   T h e   art i c l e   i n v e s t i g at e s   me r g i n g   E L E CT RA   a n d   B E RT   t o   i m p ro v e   ch at b o t   e ffi ci e n cy   i n   men t al   h e a l t h   s i t u at i o n s .   B y   l e v e ra g i n g   a n   e x t e n s i v e   me n t al   h e al t h   d i al o g u e  d at as e t ,   t h i s   i n t eg rat i o n   s u b s t an t i al l y   en h a n ce d   ch at b o t   p re ci s i o n ,   s u rp as s i n g   9 9 %   acc u ra cy   i n   me n t al   h e al t h   r e s p o n s e s .   T h i s   d ev e l o p men t   i s   a  s i g n i f i c an t   s t ri d e  i n   ad v a n c i n g   A I  c h at b o t   i n t e ra c t i o n s   a n d   t h e i r   c o n t ri b u t i o n   t o   me n t al   h e al t h   s u p p o rt .   K e y w o r d s :   B E R T   C ha t b ot   E L E C T R A   M e n t a l   h e a l t h   T r a n s f o r m e r   Th i s   i s   a n   o p en   a c ces s   a r t i c l e  u n d e r   t h e  CC  B Y - SA   l i cen s e.     C or r e s pon din g  A u th or :   C i n a n t y a   P a r a m i t a   F a c u l t y   o f   C o m put e r   S c i e n c e ,   Uni ve r s i t a s   D i a n   Nu s wa n t or o   S e m a r a n g,   I n do n e s i a     E m a i l :  c i na n t y a . pa r a m i t a @ ds n . d i n u s . a c . i d       1.   I NT RODU C T I ON   I n   r e c e n t   y e a r s ,   t h e   c r i t i c a l   im po r t a n c e   o f   m e n ta l   he a l t h   c a r e   h a s   be e n   i n c r e a s i ng l y   r e c o gni z e d,   r e f l e c t i n g  b o t h   i t s   pr o f o un d  i m pa c t   o n   i n d i v i dua ls   a n d  i t s   s u b s t a n t i a l   c o s t   to   t h e   gl o b a l   e c o n o m y .   S t udi e s   r e v e a l   t h a t   a   s i g ni f i c a n t   n u m b e r   o f   i n d i v i dua l s   wh o   s uc c u m b e d  to  s ui c i de   h a d  i n t e r a c t e d   wi t h   he a l t h c a r e   pr o vi de r s   s h o r t l y   b e f o r e   t h e i r   de a t h ,   un de r s c o r i n g  t h e   c h a ll e n ge s   i n  de t e c t i n g  a n d  a ddr e s s i n g   s u i c i da l  i de a t i o n ,   pa r t i c u l a r l y   i n   t h o s e   wh o   vi e w  s uc h   d i s c us s i o n s   a s   t a b o o  [ 1] .   Gl o b a ll y ,   m e n t a l   i ll ne s s e s ,   i n c l ud i ng   c o m m o n   c o n d i t i o ns   l i ke   a nxi e t y   a n d  de pr e s s i o n   a s   we l l   a s   m o r e   s e v e r e   d i s o r v de r s ,   a f f e c t   c l o s e   to  a   bi ll i o n  pe o pl e ,   de gr a d i n g  t h e i r   qua l i t y   o f   l if e   a n d  s o c i e t a l   c o n t r i b ut i o n .   T hi s   r e s u l t s   i n   a n   e s t i m a t e d  e c o n o m i c   b ur de n  o f   USD  2. 5   t r i l li o n   a nn ua ll y ,   pr o j e c t e d  to  r i s e   to   USD  6  tr i ll i o n   by   2030  [ 2] .   De s pi t e   t h e   gr o wi n g  pr e v a l e n c e   o f   ps y c h o l o g i c a l   d i s t r e s s ,   a   v a s t   m a j o r i t y   o f   t h o s e   s u f f e r i n g  do   n o t   r e c e i v e   a d e qua t e   tr e a t m e n t   due   to  l im i t e d   a c c e s s   to  m e n t a l   h e a l t h   c o un s e li ng.   He a l t h   c o a c hi ng  h a s   e m e r ge d   a s   a   pr o m i s i ng  m e t h o d  f o r   s uppor t i n g  t h o s e   w i t h   c h r o ni c   c o n d i t i o ns ,   b ut  t h e   s c a r c i t y   o f   pr a c t i t i o n e r s   l im i t s   i t s   r e a c h .   M e a n w hil e ,   t h e   e x pa n d i ng   v o l u m e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   3 1 5 - 324   316   o f   c l i n i c a l   i nf o r m a t i o n   i n   h e a l t h c a r e   pr e s e n t s   n e w  o pp o r t uni t i e s   f o r   l e ve r a g i n g  t e c hn o l o g y   a n d  c o m put e r   s c i e n c e   t o  i m pr o v e   m e n t a l   h e a l t h c a r e   a c c e s s i b il i t y   a n d  e f f e c t i ve n e s s .   A r t i f i c i a l   i n t e ll i ge n c e   ( A I )   r e pr e s e n t s   a   gr o un db r e a k i n g  s hi f t   i n   he a l t h c a r e ,   b r o ugh t   a b o ut  by   t h e   c o n v e r ge n c e   o f   e x p a n d i n g  he a l t h   da t a   a n d  a d v a n c e d  a n a ly t i c a l   t e c hni que s .   T hi s   t e c hn o l o g y   i s   p i v o t a l   in  mi r r o r i n g  h u m a n   c o gni t i v e   pr o c e s s e s   a n d  m a r ks   a   s i g nif i c a n t   t r a n s f o r m a t i o n   i n   h e a l t h c a r e   dy na mi c s .   F ur t h e r m o r e ,   A I   o f f e r s   uni qu e   s o l ut i o n s   to   o v e r c om e   s o c i a l   s t i g m a ,   a   n o t a bl e   b a r r i e r   i n   a c c e s s i ng  he a l t h c a r e .   Am o n g  i t s   d i ve r s e   a pp l i c a t i o ns ,   A I - dr i v e n   he a l t h   c h a t b o t s   h a v e   b e e n   i ns t r u m e n t a l   i n  pr o m o t i n g   phy s i c a l   a c t i vi t y ,   h e a l t hy   e a t i n g  h a bi t s ,   a n d  b r o a de ni ng  pa t i e n t   a c c e s s   t o   e s s e n t i a l   h e a l t h   i nf o r m a t i o n .   T h e s e   c h a t b o t s ,   s o phi s t i c a t e d  c o m put e r   p r o gr a m s   de s i g ne d  f o r   s i mu l a t i n g  i n t e r a c t i v e   h u m a n   c o n v e r s a t i o n   vi a   t h e   i n t e r n e t ,   a r e   e m e r g i ng  a s   va l ua bl e   too l s   i n   e nh a n c i ng  pa t i e n t   e n ga ge m e n t   a n d  h e a l t h c a r e   de l i ve r y .   R e c e n t   r e s e a r c h   i n   AI   pr i m a r i ly   f o c u s e s   o n   de v e l o p i n g  m o de l s   a n d  a l go r i t hm s ,   s pe c if i c a ll y   a r t i f i c i a l  n e ur a l   n e t wo r ks   [ 3] ,   de e p  n e ur a l   n e t wo r k   [ 4 ] ,   c o n v o l ut i o n a l   n e ur a l   n e t wo r k   ( C NN )   [ 5 ] ,   l o n g  s ho r t  t e r m   m e m o r y   ( L S T M )   [ 6]   a n d  ot h e r   de e p  l e a r ni ng  a l g o r i t hm s   [ 7] ,   [ 8 ] .   A I   r e f e r s   to   t h e   c a pa bil i t y   o f   m a c hi ne s   to  pe r f o r m   t a s ks   t h a t  t y p i c a l ly   r e qu i r e   h u m a n   i n t e l li ge n c e ,   s uc h   a s   v o i c e   r e c o gni t i o n ,   n a t ur a l   l a n gua g e   un de r s t a n d i ng,   a n d  de c i s i o n - m a k i ng  [ 9] .   R e b e l o   e t  al.   [ 10]   h a v e   s h o wn   t h e   e f f e c t s   o f   A I   o n   m e n t a l   h e a l t h  t a s ks .   T h e y   i nv o l ve   s e v e r a l   m e n t a l   h e a l t h c a r e   wo r ke r s   s uc h   a s   ps y c h o l o gi s t s ,   t h e r a p i s t s ,   a n d  ps y c hi a t r i s t s ,   i nc l ud i ng  t h e   t a s ks   t h e y   c a r r y   o ut  s uc h   a s   a s s e s s m e n t ,   t h e r a p y ,   m e d i c a l   pr e s c r i pt i o ns ,   do c um e n t a ti o n ,   a n d   m o ni t o r i n g.   T h e   a bi li t y   t o   c o m pr e h e n d  n a t ur a l   l a ngua ge   i s   n o t   l i mi t e d  t o   h u m a n   c o m m u ni c a t i o n   b ut   e x t e n d s   to   c o m m u ni c a t i o n   b e t we e n   h u m a n s   a n d  m a c hi ne s ,   b r i dg e d  by   n a t ur a l   l a n gua ge   pr o c e s s i ng   ( NL P ) .   T h e   t e c h n o l o g y   e m p l o y e d  by   NL P   ha s   s i g ni f i c a n t l y   a dv a nc e d  i n   r e c e n t   y e a r s ,   e nh a n c i ng  b o t h   v o i c e   a n d  t e x t - b a s e d  i n t e r a c t i o n s   t o   a s s i s t   h u m a ns .   S o m e   r e s e a r c h e r s   a r e   de d i c a t e d  to  f i nd i ng  m o de l s   w i t h   hi g h e r   a c c ur a c y ,   c a p i t a l i z i ng  o n   b r e a kt h r o ugh s   i n   ne ur a l   n e t wo r ks   th a t   b r i n g  n o v e l   i de a s   t o  t h e   f i e l d s   o f   A I   a n d  NL P ,   r e s u l t i n g   i n   t h e   e m e r ge n c e   o f   v a r i o us   t e c hni que s   a n d  m e t h o ds .   F u  e t  a l.   [ 11]   p r e s e n t e d  r e pr e s e n t a t i v e   wor ks   a n d   c a t e g o r i z e d  e xi s t i n g  d i a l o gue   m o de l s   i n t o  t h r e e   t y pe s ,   a n a l y s i ng  tr e n ds   i n   o pe n - do m a i n   d i a l o gue   de v e l o p m e n t   a n d  s u m m a r i z i ng  o bj e c t i v e s   i n   t w o  a s pe c t s :  i nf o r m a t i v e   a n d  c o n t r o l l e d.   M a h   e t  al.   [ 12]   u t i li z e d   t e x t  c o n t e n t  a s   pa r t   o f   NL P   a n d  A I   to   a s s e s s   t h e   c onn e c t i o n   o f   t h e   i n t e r n e t   o f   t hi n gs   ( I oT s )   wi t h   h u m a n   n e e ds .     C ha t b ot s ,   a l s o   kn o wn   a s   a r t i f i c i a l   c o nv e r s a t i o n   e n t i t i e s ,   c a n   b e   de v e l o p e d  us i n g  m a c hi ne   l e a r ni ng   a n d  pa tt e r n   m a t c hi ng,   w i t h   t h r e e   t y pe s   b a s e d  o n   r e s po n s e   ge n e r a t i o n   m e t h o ds :  r ul e - b a s e d,   r e t r i e v a l - b a s e d,   a n d  ge n e r a t i v e   [ 13] .   P a n de y   a n d  S ha r m a   [ 14]   c om pa r e d  r e t r i e v a l - b a s e d  a n d  ge n e r a t i v e - b a s e d  c h a t b o t s   f o r   m e n t a l   h e a l t h ,   f i nd i ng  t h a t   ge n e r a t i v e   m o de l s   w i t h   e n c o de r - de c o de r   a r c hi t e c t ur e   a c hi e v e d  t h e   hi g he s t  a c c ur a c y   a t   94. 45% .   S i m a r m a t a   e t  al.   [ 15 ]   e x p l o r e d   v a r i o us   t r a n s f o r m e r   m o de l s   f o r   i n t e n t   c l a s s if i c a t i o n ,   n ot i n g  bi d i r e c t i o n a l   e n c ode r   r e p r e s e n ta t i o n   o f   tr a n s f or m e r s   ( B E R T )   wi t h   L S T M ' s   9 4 . 4 7 %   a c c u r a c y .   Y u   e t   a l .   [ 1 6 ]   de v e l o p e d   a   B E R T - b a s e d   c h a t b ot  f or   f i n a n c i a l   c us to m e r   s e r v i c e   c a pa bl e   o f   m a n a gi n g  c o m p l e x   qu e r i e s   a nd  p e r f or m i n g  a u to m a t i c   s pe l l i n g  c or r e c t i o n .   F a t i m a   e t  a l .   [ 1 7 ]   us e d  a   C OV I D - 19   r um or s   da tas e t  f or   v e r a c i t y ,   s tan c e ,   a n d   s e n t i m e n t  a n a l y s i s ,   a c hi e vi n g  h i gh   a c c u r a c y   w i t h   L S T M + C NN   m o d e l s .   T h e   s tudy   a l s o  hi ghl i gh t s   th e   f us i o n   o f   e f f i c i e n t l y   l e a r n i n g   a n   e n c ode r   t h a t  c l a s s i f i e s   tok e n   r e pl a c e m e n t s   a c c u r a tel y   ( E L E C T R A )   a n d  L S T M   m ode l s   f or   q ue s t i o n   c l a s s i f i c a t i o n ,   c o m bi ni n g   E L E C T R A ' s   l a n gu a ge   un de r s tan di n g   w i t h  L S T M ' s   s e qu e n t i a l   l e a r ni n g  a bi l i t i e s   [ 1 8 ] ,  [ 19 ] .   C e n tr a l   to  t hi s   r e s e a r c h   i s   a   c o m pr e h e n s i v e   da tas e t  f or   tr a i ni n g   c h a t b ots   i n   m e n t a l   h e a l t h   c o n v e r s a t i o n s ,   e m p l o y i n g   A I   m o d e l s   l i ke   B E R T ,   C NN ,   L S T M ,   a n d   E L E C T R A   to  e n ha n c e   th e   c h a t b ot’ s   a bi l i t y   to  un de r s tan d   a n d   r e s p o n d   to  h um a n   e m ot i o n s   a n d   l i n gui s t i c   s ub t l e t i e s   [ 20 ] ,  [ 21 ] .   A   c r i t i c a l   c h a ll e n g e   f o r   m e n t a l   h e a l t h c a r e   c h a t b o t s   i s   a c hi e vi ng  hi g h   a c c ur a c y   i n   un d e r s t a n d i ng  a n d   r e s po n d i n g  t o  us e r   i n put s .   De s p i t e   a dv a n c e m e n t s   w i t h   m o de l s   l i ke   E L E C T R A   a n d  B E R T ,   t h e i r   i n t e gr a t i o n  i n t o   t h e   T r a n s f o r m e r   f r a m e wo r k   f o r   n ua n c e d  m e nt a l   h e a l t h   d i a l o gue s   r e m a i ns   s u b o pt i m a l .   T hi s   a c c ur a c y   i s   vi t a l   f o r   e f f e c t i v e   s uppo r t   b ut  f a c e s   i s s ue s   s u c h   a s   da t a   p r i v a c y ,   d i ve r s e   da t a s e t s ,   a n d  c ul t ur a l ly   s e n s i t i ve   r e s po n s e s .   E v a l ua t e d  us i n g  m e t r i c s   l i ke   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   a n d  F 1  s c o r e ,   tr a n s f o r m e r   m o de l s   o u t pe r f o r m   ot h e r s   b ut   s t i l l   r e qu i r e   e t hi c a l   c o ns i d e r a t i o ns   a n d  r e s po ns i bl e   r e gu l a t i o n .   B a l c o m b e   [ 22]   hi g hli g h t s   A I   c h a t b ot s '   de c a de - l o n g  r o l e   i n   i m pr o v i ng  m e n t a l   h e a l t h   c a r e ,   t h o ugh   t h e y   l a c k  pe r s o n a l   e m pa t hy .   Hu m a n - A I   c o l l a b o r a t i o n   c a n   i n t e gr a t e   h u m a n   va l ue s   i n t o  A I ,   i m pa c t i n g  va r i o us   s e c t or s   l i ke   de pr e s s i o n ,   a nxi e t y ,   a n d  A DH D  s uppo r t.   Ho we v e r ,   f ur t h e r   r e s e a r c h   i s   n e e de d  f o r   c r i s i s   s uppo r t  qua l i t y .   C a l da r i n i   e t  al.   [ 23]   r e vi e w s   t h e   c o m p l e xi t i e s   o f   e v a l ua t i n g  c h a t b o t s   due   to   di ve r s e   c o nv e r s a t i o n a l   go a l s   a n d  do m a i n - s pe c i f i c   da t a ,   e m p h a s i z i ng  t h e   ga p  b e t we e n   i n dus t r y   pr a c t i c e s   a n d  a c a de m i c   a d v a nc e m e n t s   a n d  t h e   n e e d  f o r   a   c o m m o n   e v a l u a t i o n   f r a m e wo r k  a n d  b e tt e r   da t a s e t s .   R a h a l i   a n d  A k hl o u f i   [ 24]   e x p l o r e s   T r a n s f o r m e r - b a s e d   m o de l s   i n   NL P ,   n o t i n g  t h e i r   s i g nif i c a n t   i m pa c t   a n d  s ugge s t i n g  i m pr o v e m e n t s   t h r o ugh   i n t e r m e d i a t e   l a y e r s .   Kh a n   e t  al.   [ 25 ]   r e s e a r c h   o n   a   tr a n s f o r m e r - b a s e d  m o de l   f o r   po l i t e n e s s   pr e d i c t i o n   i n   c o nv e r s a t i o ns   hi g hli g h t s   i t s   s upe r i o r   pe r f o r m a nc e   b ut   n o t e s   i t s   l i mi t a t i o n   t o  E n g l i s h   da t a s e t s ,   i n d i c a t i n g  a   n e e d  f o r   f ut ur e   r e s e a r c h   o n   m u l t i li ngu a l   o r   c o de - m i xe d  da t a .   T h e   a u t h or s   s ug ge s t  th a t  th e   p r op o s e d   m ode l   i s   e f f e c t i v e   f or   po l i ten e s s   p r e di c t i o n   i n   E n gl i s h   tex t s   b u t  l a c ks   i m por tan t  f e a tu r e s .   F u r t h e r   r e s e a r c h   wi l l   i n c or p or a te  t h e s e   f e a tu r e s   a nd  e x pl or e   i t s   a da p ta t i o n   to  m u l t i - l i n gua l   a n d   c ode m i x e d   d a ta .   T h e   m ode l   h a s   n ot  u n de r g o n e   e v a l ua t i o n   f or   th e   d e tec t i o n   o f   h a t e   s pe e c h   a n d   o f f e n s i v e   c o n ten t.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         I ntegr ati ng  E L E C T R A   and   B E R T   mode ls   in  tr ans for me r - bas e d  me ntal   …  ( J unta  Z e niar ja )   317   C h a t b ots   l i ke   C h a tG P T   a r e   A I - p ow e r e d   p r og r a m s   de s i gn e d   to  r e pl i c a t e   h um a n   c o n v e r s a t i o n   a n d  p e r f or m   tas ks   s u c h   a s   a n s we r i n g   q ue s t i o n s   a n d   c o n t r o l l i n g  s m a r t  h o m e   de vi c e s .   A   s tu dy   by   S udh e e s h   e t  a l .   [ 2 6 ]   a n d   a   te a m   f r o m   Un i v e r s i da d   I n te r n a c i o n a l   a n a l yz e d   s e n t i m e n t s   a n d   topi c s   i n   C h a t G P T - b a s e d   twe e ts   us i n g  l a t e n t   di r i c hl e t  a l l o c a t i o n   ( L DA )   f or   topi c   m ode l in g   a n d   t h e   B E R T   m o de l   f or   s e n t i m e n t  a n a l y s i s ,   a c hi e vi n g  9 6 . 49 %   a c c u r a c y .   T h e   r e s e a r c h   hi ghl i g h t s   C h a t G P T ' s   a bi l i t y   to  e n h a n c e   us e r   e x pe r i e n c e   t h r ough   n a t u r a l   l a n g u a g e   p r oc e s s i n g ,   wi t h   B E R T   e f f i c i e n t l y   c a teg or i z i n g   e m ot i o n s   i n   tw e e ts .   De s pi te   t h e   m a j or i t y   o f   s e n t i m e n t s   b e i n g  p o s i t i v e ,   s o m e   c r i t i c i s m s   e xi s t.   T h e   c h a t b ot  i n dus tr y   i s   p r o j e c ted   to  r e a c h   $3 . 62   bi l l i o n   by   20 3 0 ,   w i t h   p oten t i a l   e du c a t i o n a l   b e n e f i t s .   T h e   s tu dy   e m ph a s i z e s   t h e   i m p o r tan c e   o f   publ i c   p e r c e p t i o n ,   i n di c a t i ng   f u tur e   r e s e a r c h   w i l l   e x pa n d   da ta   c o l l e c t i o n   f r o m   s o c i a l   m e d i a   to  un de r s tan d   s e n t i m e n t s   b e tt e r   a n d   de v e l o p   m a c hi n e   l e a r ni n g  a pp r oa c h e s   f or   r e s p o n s i bl e   de p l o y m e n t  o f   C h a tG P T .     Al r u q i   a n d  Al z a h r a ni   [ 27 ]   r e s e a r c h   i n   “ E v a l ua t i o n   o f   a n   A r a bi c   c h a t b ot  b a s e d   o n   e x tr a c t i v e   qu e s t i o n - a n s w e r i n g  tr a n s f e r   l e a r ni n g   a n d   l a n gua ge   tr a n s f or m e r s ”   de m o n s tr a tes   th e   A r a E l e c tr a - S QuA D   m ode l 's   s up e r i o r   pe r f o r m a n c e   i n   i m pr o v i n g  t h e   a c c u r a c y   a n d  r e l e v a n c e   o f   A r a bi c   c h a t b ots .   Us i n g  v a r i ous   A r a bi c   QA   d a tas e ts   a n d   tr a n s f e r   l e a r ni n g   tec h ni que s ,   t h e   s tu d y   a dd r e s s e s   t h e   c o m p l e xi t y   o f   A r a bi c   c h a t b ots   a n d   hi ghl i g h t s   th e   n e e d  f or   b e tt e r   c o m pu ta t i o n a l   r e s ou r c e s   a n d   p r e p r oc e s s i n g   m e t h ods .   T h e   r e s e a r c h   e m ph a s i z e s   t h e   i m por tan c e   o f   c o n f i de n c e   m e tr i c s   a n d  s ug ge s ts   f u tu r e   w or k  s h o ul d  f o c us   o n   i m pr o v i n g  c o h e r e n c e ,   qua l i t y ,   a n d  a u to m a t e d  p r oc e s s e s .   A d d i t i o n a l l y ,   F a n g   a n d   e t   a l .   [ 2 8 ]   pr op os e   a n   e f f e c t i v e   E L E C T R A - b a s e d   pi pe l i n e   m od e l   f o r   s e n t i m e n t  a n a l y s i s   o f   tou r i s t   a tt r a c t i o n   r e vi e ws ,   s h o w c a s i n g   hi gh   e f f i c i e n c y   a n d   a dv oc a t i n g  de e p  l e a r ni n g   m ode l s   f or   e n h a n c e d   a n a l y s i s .   E v a l ua t i o n   m e tr i c s   s u c h   a s   pr e c i s i o n ,   r e c a l l ,   a n d   F 1 - s c or e   hi ghl i gh t  th e   m ode l ' s   s uc c e s s ,   s ug ge s t i n g  i t s   a p p l i c a t i o n   to  oth e r   do m a i n s .   I n   " C o m b a t i n g   f a k e   n e ws   w i t h   tr a n s f or m e r s , "    K a s n e s i s   e t  al .   [ 2 9 ]   d i s c us s e s   us i n g  l a n gua ge   m o d e l s   to  a s s e s s   t h e   s ubj e c t i vi t y   a n d   s tan c e   o f   s oc i a l   m e d i a   p os t s ,   wi t h   R o B E R T a   ou tp e r f or m i n g   E L E C T R A   i n   s tan c e   d e tec t i o n .   T h e   s tudy   hi ghl i gh t s   th e   c h a l l e n ge s   o f   v e r i f y i n g   s oc i a l   m e d i a   i nf or m a t i o n   a n d   s u gge s ts   f u t u r e   r e s e a r c h   o n   tr e e - b a s e d   s tr uc tu r e s ,   f r e e z i n g  m ode l   p a r a m e te r s ,   a n d  g r a ph   n e u r a l   n e tw or ks ,   c o n c l ud i n g  t h a t  m i s i nf or m a t i o n   i s   o f ten   l i n ke d   to  s ubj e c t i v e   l a n gua ge .   T h i s   s tudy   i nv e s t i ga t e d  th e   i n t e g r a t i o n   o f   a dv a n c e d  NL P   m ode l s   l i ke   E L E C T R A   a n d   B E R T   i n to  m e n t a l   h e a l t h c a r e   c h a t b ots .   W hi l e   e a r l i e r   s tu d i e s   h a v e   e x pl or e d   th e   de v e l o pm e n t  o f   A I - d r i v e n   c h a t b ots   f or   m e n t a l   h e a l t h   a n d   t h e i r   p oten t i a l   i n   h a n d l i n g   m e n t a l   h e a l t h   di a l ogue s ,   th e y   h a v e   n ot  e x pl i c i t l y   a d d r e s s e d   t h e   c h a l l e n ge s   r e l a ted   to  c ul tu r a l   s e n s i t i vi t y ,   e t h i c a l   c o n s i de r a t i o n s ,   a n d  t h e   a p p l i c a t i o n   o f   t h e s e   m od e l s   to  m u l t i l i n gua l   or   c ode - m i x e d   da tas e t s .   T h e   i n teg r a t i o n   o f   a dv a n c e d   NL P   m ode l s   l i ke   E L E C T R A   a n d   B E R T   i n to   m e n t a l   h e a l t h c a r e   c h a t b o t s   i s   a   r a pi d l y   de v e l o pi n g  a r e a   o f   r e s e a r c h   t h a t  p r o m i s e s   to  e n h a n c e   t h e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   o f   t h e s e   s y s te m s .   T h e   l i te r a tu r e   r e v e a l s   a   c l e a r   tr a j e c tor y   f r o m   s i m p l e   r u l e - b a s e d   s y s tem s   to  c o m pl e x   A I - d r i v e n   s o l u t i o n s ,   un de r s c or i n g  th e   p oten t i a l   o f   t h e s e   m o de l s   i n   h a n dl i n g  t h e   n ua n c e s   o f   m e n t a l   h e a l t h   di a l ogu e s .   A s   th e s e   tec h n o l og i e s   e v o l v e ,   i t  i s   i m pe r a t i v e   to  b a l a n c e   t h e i r   tec h ni c a l   a dv a n c e m e n t s   w i t h  e t h i c a l   c o n s i de r a t i o n s ,   e n s u r i n g  t h e y   s e r v e   a s   a   be n e f i c i a l   too l   i n   m e n t a l   h e a l t h c a r e .   F u tu r e   r e s e a r c h   s h ou l d  c o n t i n ue   to  e x p l or e   t h i s   i n t e g r a t i o n ,   f o c us i n g   o n   i m pr o v i n g   t h e   e m ot i o n a l   i n t e l l i ge n c e   a n d   r e s p o n s i v e n e s s   o f   c h a t b ots   to  b e tt e r   a d d r e s s   t h e   di v e r s e   n e e ds   o f   m e n t a l   h e a l t h c a r e .       2.   M E T HO D   T hi s   r e s e a r c h   f o l l o we d  a   s t r uc t u r e d  a ppr o a c h ,   a s   de p i c t e d  i n   F i g ur e   1,   be g i nni ng  w i t h   da t a   c o l l e c t i o n  a n d  pr o gr e s s i n g  t h r o ugh   da t a   s p l i t t i n g  f o r   t r a i nin g,   t e s t i n g,   a n d  v a li da t i o n   pha s e s .   T h e   m o de l i n g  ph a s e   ut i li z e d  f i ve   d i f f e r e n t   m o de l s :  B E R T ,   C NN ,   L S T M ,   E L E C T R A ,   a n d  a   hy br i d  o f   E L E C T R A   a nd  B E R T .   E v a l ua t i o n   o f   t h e s e   m o de l s   wa s   pe r f o r m e d  us i ng  m e t r i c s   l i ke   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   a n d  F 1  s c or e ,   u l t i m a t e l y   de t e r m i n i ng  t h e   c l a s s if i c a t i o n   a c c ur a c y.   F i g ur e   2,   i s   e x p l a i ne d  i n   s e c t i o ns   2. 1  t h r o ugh   2. 4  o f   t h e   d i s c us s i o n .           F i gur e   1 .  S h o ws   t h e   f l o wc ha r t   o f   t h e   A I - b a s e d  m o de l s   a n d  e x pe r im e n t a l   m e t h o ds   a pp l i e d   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   3 1 5 - 324   318       F i gur e   2 .   E L E C T R A   a n d  B E R T   i n   t r a n s f o r m e r   m o de l       2 . 1.     E x p e r im e n t   s e t u p   T o  c o n duc t  o ur   t r a i ni ng,   we   l e ve r a ge   Goo gl e   C o l a b   P r o,   e qui ppe d  w i t h   a   s i n g l e   NV I DI A   P 100/T 4   GPU  wi t h   a   c a pa c i t y   o f   up  to  15   GB   a n d  R A M   r e a c hi ng  8   GB .   T h e   pr e - t r a i n e d  l a n gu a ge   m o de l s   u t i li z e d   e n c o m pa s s   E L E C T R A   ba s e   m o de l   a n d  B E R T   e m p l o yi ng  t h e   T r a n s f o r m e r   a l go r i t hm ,   a l o n g  w i t h   t h e   C NN .   S ub s e qu e n t l y ,   we   a pp ly   t h e   E L E C T R A   b a s e   m o de l   w i t h   L S T M   a s   t h e   a l go r i t hm ,   E L E C T R A + B E R T   o p t i mi z a t i o n   i nv o l v e s   t h e   u s e   o f   t h e   A da m W   o p t i mi z e r ,   s e tt i n g  t h e   l e a r ni ng  r a t e   to  1r = 5e - 5.     2 . 2 .    Dat as e t   T hi s   r e s e a r c h   ut i li z e s   s e c o n d a r y   da t a ,   c o m pr i s in g  t wo   t y pe s   o f   I n t e n t s . j s o n   da t a s e t s .   T h e   f i r s t   da t a s e t,   I n t e n t s . j s o n   ( E n g) ,   i s   s o ur c e d  publ i c ly  a n d  i n c l ude s   a t tr i b ut e s   s uc h   a s   t a g ( ) ,   pa tt e r n s ( ) ,   a n d   r e s po n s e s ( ) .   C o n v e r s e ly ,   t h e   s e c o n d  da t a s e t ,   I n t e n t s . j s o n   ( I n d) ,   po s s e s s e s   s i mi l a r   a tt r i b ut e s   b ut   i s   a c qu i r e d   t h r o ugh   p r i va t e   s o ur c e s .   T h e s e   a tt r i b ut e s   pl a y   a   c r uc i a l   r o l e   i n   b ot h   da t a s e t s .   T h e   t a g ( )   f u n c t i o n   i s   de s i g ne d  to  c l a s s if y   t h e   i n t e n t   or   pur p o s e   o f   a   que s t i o n   o r   s t a t e m e n t .   P a tt e r n s ( ) ,   c o n s i s t i n g  o f   t e x t   e x a m p l e s   o r   ph r a s e s ,   a r e   c r a f t e d  to  r e pr e s e n t   t h e   i n t e n t   a s s o c i a t e d  wi t h   a   s pe c i f i c   t a g  a n d  a r e   us e d  a s   t r a i ni ng  i n put s   f o r   th e   NL P   m o de l .   T hi s   a ll o ws   t h e   m o de l   t o  r e c o gn i z e   a n d  a c c ur a t e l y   m a p  s i mi l a r   i n put s   to   t h e   c or r e s po n d i n g  t a g .   On   t h e   ot h e r   h a n d,   r e s po n s e ( )   i s   t h e   o ut pu t  pr o vi de d  by   t he   c h a t b o t   wh e n   a   pa t t e r n   i s   i d e n t i f i e d  w i t h   a   pa r t i c u l a r   t a g.   T hi s   r e s po ns e   i s   t y p i c a ll y   pr e de f i ne d  by   t h e   c ha t b ot ' s   c r e a to r   a n d  i s   ut i li z e d  t o   de l i ve r   a n   a ppr o pr i a t e   r e p l y   t o  t h e   us e r .     2 . 3 .    S p l it   d at a   F o l l o w i ng  t hi s   pr o c e s s ,   da t a   s p l i t t i n g  i s   e x e c ut e d,   wh e r e i n   t h e   da t a   i s   m e t h o d i c a l ly   d i v i de d  i n t o  d i s t i n c t   s e t s ,   t y p i c a ll y   c o m pr i s i n g  t r a i ni ng,   t e s t i n g,   a n d  va l i d a t i o n   s e t s .   I n   t h e   pr o vi de d  c o n t e x t ,   t h i s   p r o c e dur e   i s   s pe c if i c a ll y   a pp l i e d  to  t h e   ' I n t e n t s . E n g '   a n d   ' I n t e n t s . I n d '   da t a s e t s .   S uc h   s e g m e n t a t i o n   o f   da t a   i s   o f   pa r a m o un t   i m po r t a n c e   f o r   t h e   e f f e c t i ve   tr a i ni ng  o f   m o de l s ,   a s   i t   a l l o w s   t h e m   to  b e   f i ne - t un e d  o n   di ve r s e   da t a   s a m p l e s   a n d  e n s ur e s   t h e i r   r o b us t   pe r f o r m a n c e   o n   n e w,   u n s e e n   da t a ,   t h e r e by   e nh a n c i ng  t h e   o v e r a l l   e f f i c a c y   o f   t h e   m o de l i ng  pr o c e s s .     2 . 4 .    M od e l in g   M o de l i n g  i s   a   s t a ge   wh e r e   de e p  l e a r ni ng  m o de l s   a r e   i m p l e m e n t e d  to  a c hi e v e   t h e   r e s e a r c h   o bj e c t i v e ,   n a m e ly   t h e   a c c ur a c y   o f   t h e   d a t a s e t   f o r   i n t e n t s   d a t a .   T hi s   e x pe r i m e n t   i nv o l v e s   f i ve   pr e d i c t i v e   a l g o r i t hm s :  B E R T ,   C NN ,   L S T M ,   E L E C T R A ,   a n d  a   c o m bi na t i o n   o f   E L E C T R A   a n d  B E R T .   T h e s e   f i ve   m o de l s   c a n   h a n d l e   c a s e s   o f   s e n t i m e n t   a n a ly s i s ,   t e x t   s um m a r i z a t i o n ,   o r   que s t i o n   un de r s t a n d i ng,   wh e r e   a c c ur a c y   i s   m e a s ur e d  b y   c o m pa r i ng  t h e   m o de l ' s   pr e d i c t i o n s   w i t h   a c t ua l   a n s we r s   i n   t h e   f o r m   o f   t e x t   da t a .     2. 4. 1.   B id ir e c t ion al   e n c od e r   r e p r e s e n t at ion   f r o m   t r an s f o r m e r s   B E R T   e m p l o y s   a   pr e - t r a i ni ng  m e t h o d  c a l l e d  a   m a s ke d  l a n gua ge   m o de l   ( M L M ) ,   i n   w hi c h   a   s pe c if i c   f r a c t i o n   o f   i n put   to ke n s   i s   o b s c ur e d.   T h e   o bj e c t i ve   o f   t h e   m o de l   i s   to  m a ke   pr e d i c t i o ns   r e ga r di n g  t h e s e   c o n c e a l e d  to ke n s   by   c o n s i de r i ng  t h e i r   c o n t e x t ua l   inf o r m a t i o n .   I n   m a t h e m a t i c a l   t e r m s ,   wh e n   pr o vi de d  w i t h   a n   i nput   s e que n c e   X,   t h e   l o s s   L   i s   c o m put e d  a s   - l o g  P ( xi   |  X - i ;   θ) ,   wi t h   θ  r e pr e s e n t i n g  t h e   m o de l 's   pa r a m e t e r s .   F i g ur e   3  s h o ws   t h e   a r c hi t e c t ur e   o f   B E R T .     2. 4. 2.   Convol u t ion al   n e u r al   n e t wo r k   T h e   de v e l o p m e n t   o f   a   C NN   m o de l   k i c ks   o f f   w i t h   m e t i c u l o us   da t a   pr e pr o c e s s i n g,   wh e r e   to ke ni z a t i o n  a n d  pa dd i n g  a r e   c r uc i a l   f o r   s t a n da r d i z i ng  i n put   l e n gt h s .   Us i n g  T e ns o r F l o w's   T F T o ke ni z e r ,   t h e   da t a   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         I ntegr ati ng  E L E C T R A   and   B E R T   mode ls   in  tr ans for me r - bas e d  me ntal   …  ( J unta  Z e niar ja )   319   to ke ni z e d,   a n d  n u m e r i c a l   s e que n c e s   a r e   pa dde d  to  e n s ur e   c o n s i s t e n c y .   L a b e l s   a r e   c o nv e r t e d  to  n u m e r i c a l   f o r m   a n d  e n c o de d  i n t o  bi n a r y   m a t r i c e s   vi a   o n e - h o t  e n c o di n g  us i ng  a   l a be l   e n c o de r .   T h e   da t a s e t  i s   t h e n  d i vi de d  i n t o   80%   f o r   tr a i ni n g  a n d  20%   f o r   t e s t i n g,   e n s ur i ng  a   ba l a n c e d  a ppr o a c h   t o   m o de l   t r a i ni ng  a n d   v a li da t i o n .   T h e   C NN   a r c hi t e c t ur e   i s   c o m po s e d  o f   m u l t i p l e   l a y e r s :  a n   e m b e dd i ng  l a y e r   f o r   v e c to r   t r a n s f o r m a t i o n ,   c o nv o l ut i o na l   a n d  po o l i ng  l a y e r s   f o r   f e a t ur e   e x t r a c t i o n ,   de ns e   l a y e r s   f o r   f e a t ur e   c onn e c t i o n ,   a n d  a n   o u t pu t   l a y e r   to   ge n e r a t e   i n t e n t   pr o b a bi li t i e s .   T h e   m o de l   i s   t r a i n e d  w i t h   t h e   A da m   o pt i mi z e r ,   e m p l o yi ng   c a t e g o r i c a l   c r o s s e n t r o py   a s   t h e   l o s s   f u n c t i o n   a n d  a c c ur a c y   a s   t h e   pe r f o r m a n c e   m e t r i c .   T hi s   we l l - s t r uc t u r e d  m e t h o do l o g y   e n s ur e s   t h e   C NN   m o de l   pr o c e s s e s   a nd  c l a s s i f i e s   da t a   wi t h   hi g h   pr e c i s i o n   a n d  e f f i c i e n c y.           F i gur e   3 .  B E R T   m o de l   a r c hi t e c t ur e       2. 4. 3.   L on g  s h or t - t e r m   m e m o r y   L S T M   i s   a   s o phi s t i c a t e d  t y pe   o f   a r t i f i c i a l   r e c ur r e nt  n e ur a l   n e t wor k  ( R NN )   a r c hi t e c t ur e   us e d  i n   de e p   l e a r ni ng,   n o t a bl e   f o r   i t s   f e e d b a c k  c o n n e c t i o ns   t h a t   s e t   i t   a pa r t   f r o m   t r a di t i o n a l   n e ur a l   n e t wo r ks .   A n   L S T M   c e l l   i s   c o m po s e d  o f   s e v e r a l   ke y   c o m po n e n t s :  t h e   C e l l   S t a t e   ( C _t) ,   I n put   Ga t e   ( i _t ) ,   F o r ge t   Ga t e   ( f _t ) ,   a n d  Out pu t  Ga t e   ( o _ t )   [ 30 ] .   Af t e r   t h e   e m b e dd i ng  pr o c e s s ,   L S T M   n e t w o r ks   e x t r a c t   s e que n t i a l   de pe n de n c i e s   f r o m   t h e   i nput   t e x t .   Gi ve n   t h e i r   a bi li t y   t o  pr o c e s s   s e que n c e s ,   L S T M s   a r e   pa r t i c u l a r ly   a de pt   a t   h a n d li ng  que s t i o n s   t h a t   t y p i c a ll y   s t a r t  wi t h   " w h"   wo r ds   l i ke   " w h o , "   " wha t , "   o r   " wh e r e , "   a n d  e n d  w i t h   a   s u bj e c t   or   o bj e c t .   R e c o gni z i ng   t hi s   s t r uc t u r e   h e l p s   i n   ga i n i ng  de e pe r   i n s i g h t s   i n t o  th e   que s t i o ns '   un de r lyi ng  pa tt e r n s .     2. 4. 4.   E f f icie n t l y  l e a r n in g  an   e n c od e r   t h at   c l as s i f ies   t ok e n   r e p l ac e m e n t s   ac c u r at e l y   E L E C T R A   e m p l o y s   a   d i s c r im i na t i v e   tr a i ni ng  m e t ho d   wh e r e   t h e   m o de l   l e a r ns   to  di s t i n gu i s h   b e t we e n  " r e a l "   a n d  " f a k e "   to ke n s   w i t hi n   a   s e n t e nc e .   Gi ve n   a n   i n put   X= [ x 1,   x 2, . . . ,   x n ] ,   a   ge n e r a to r   G   p r o p o s e s   s ubs t i t u t e s   xi   f o r   m a s ke d  to ke n s ,   whi l e   a   di s c r i mi n a t o r   D   e v a l ua t e s   t h e   pr o b a bil i t y   P ( D( xi )   =   1|   X)   th a t   e a c h  to ke n   i s   ge n u i ne .   T he   o bj e c t i v e   i s   t o   m i n i mi z e   - l o g( D( xi ) )   f o r   r e a l   to ke n s   a n d  - l o g( 1  -   D( xi ) )   f o r   f a k e   to ke n s ,   r e f i n i ng  t h e   m o de l 's   a bil i t y   t o  i de n t i f y   a ut he n t i c   ve r s us   i n a ut h e n t i c   e l e m e n t s   i n   t h e   t e x t .   F i g ur e   4  s ho ws   t h e   a r c hi t e c t ur e   o f   E L E C T R A .           F i gur e   4 .  E L E C T R A   m o de l   a r c hi t e c t ur e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   3 1 5 - 324   320   2. 4. 5.   Com b in at ion   of   E L E CT RA   an d   B E RT   I n   t h e   r e a l m   o f   n a t ur a l   l a n gua ge   pr o c e s s i n g,   tr a n s f o r m e r   m o de l s   l i ke   E L E C T R A   a n d  B E R T   a r e   p i v o t a l   f o r   a n a ly z i ng  i n t e n t   da t a s e t s   c o m po s e d  o f   t a gs ,   pa tt e r n s ,   a n d  r e s po n s e s .   T h e   pr o c e s s   s t a r t s   by   o r ga ni z i ng  l a b e l s   a n d  s e n t e n c e   pa tt e r n s   i n to   l i s t s ,   wi t h   t a gs   a c t i n g  a s   l a be l s   a n d  pa tt e r n s   s to r i n g  s e n t e n c e   s t r uc t ur e s .   Us i n g  S k l e a r n ,   t h e   da t a   i s   d i vi de d  in t o   80 %   f o r   t r a i ni ng  a n d  20%   f o r   t e s t i n g.   E L E C T R A's   to ke ni z e r ,   pa r t i c u l a r l y   go o gl e /e l e c t r a - s m a ll - ge n e r a to r ,   c r e a t e s   t e x t   r e s e m bli ng  t h e   o r i g i na l ,   w hi c h  i s   t h e n  e v a l ua t e d  by   G o o gl e / E L E C T R A - s m a ll - d i s c r im i n a to r ,   l e v e r a g i ng  t r a n s f o r m e r s   f o r   e f f i c i e n t   a n d  a c c ur a t e   m o de li ng.   T h e   ge n e r a to r   m a s k s   a n d  a l t e r s   wo r d s   to  pr o duc e   c o n t e x t ua l ly   r e l e v a n t   s e n t e n c e s ,   whi c h   a r e   e n c o de d  to  a i d  t h e   m o de l 's   un d e r s t a n d i ng,   w i t h   a d j us t m e n t s   f o r   s e n t e n c e   l e n gt h   a n d  pa dd i ng.   T h e   E L E C T R A  d i s c r i mi na t o r   tr a i ns   o n   t hi s   da t a ,   a s s e s s i ng  i f   s e n t e n c e s   a r e   ge n e r a t e d  or   or i g i na l ,   upda t i n g  t h e   m a s k  ge n e r a t o r   a c c o r di n g ly .   Dur i n g  t r a i ni ng,   t h e   A da m W   o pt i m i z e r   f i ne - t un e s   t h e   m o de l   us i ng  B E R T   pr i n c i p l e s .   B E R T   e m p l o y s   M A S K   a n d  n e x t   s e n t e n c e   pr e d i c t i o n s   ( N S P )   to   un de r s t a n d  i n t e r - s e n t e n c e   r e l a t i o n s hi ps ,   f o c us i n g  o n  wo r d   r e l e v a n c e   a n d  m e a ni ng  to  de c i de   i f   s e n t e n c e s   n e e d  r e ge n e r a t i o n   b a s e d  o n   t h e   d i s c r im i na t or ' s   j u dg m e n t .   T hi s   s o phi s t i c a t e d  m e t h o d  e nh a n c e s   t h e   m o de l ' s   n a t ur a l   l a n gua g e   un de r s t a n d i ng  a n d  r e s po n s e   c a pa bi li t i e s .     2. 5.     E val u at ion   Af t e r   s p l i t t i n g  a n d  f i ne - t uni n g  t h e   m o de l ,   t h e   e v a l ua t i o n   o f   i t s   pe r f o r m a nc e   w i ll   b e   c o n duc t e d  t h r o ugh   t h e   a n a ly s i s   o f   o ut pu t   r e s ul t s .   T hi s   a s s e s s m e n t   w i ll   i nv o l ve   t h e   ut i l i z a t i o n   o f   a   C o nf u s i o n   M a t r i x   a n d   v a r i o us   m e t r i c s   s uc h   a s   a c c ur a c y ,   pr e c i s i o n ,   r e c a l l ,   a n d  F 1 - s c o r e ,   a i m i ng  to  c o m pr e he n s i ve ly   g a uge   t h e   m o de l 's   e f f e c t i v e n e s s   a c r o s s   a l l   t a s ks .   A c c ur a c y :  c a l c u l a t e s   t h e   pr o p or t i o n   o f   a c c ur a t e l y   p r e d i c t e d  s a m p l e s   o u t  o f   t h e   e n t i r e   s a m p l e   s e t .       = ( (  +  ) ) / ( (  +  +  +  ) )   ( 1)     P r e c i s i o n :  r e pr e s e n t s   t h e   p o r t i o n   o f   po s i t i ve   i de n t i f i c a t i o ns   t h a t  we r e   a c c ur a t e l y   m a de .        =  / ( (  +  ) )   ( 2)     R e c a ll :  d e m o ns t r a t e s   t h e   pr o p or t i o n   o f   t r ue   p o s i t i ve s   t h a t   we r e   c o r r e c t l y   r e c o gni z e d.       =  / ( (  +  ) )   ( 3)     F 1  s c o r e :  t hi s   b a l a n c e d  m e t r i c   f u n c t i o n s   a s   t h e   h a r m o ni c   m e a n   b e t we e n   pr e c i s i o n   a n d  r e c a ll .     1    = 2 × (    ×   ) / ( (    +   ) )   ( 4)     W h e r e   T P   s t a n ds   f o r   tr ue   p o s i t i v e ,   T N  f o r   t r ue   n e ga t i v e ,   F P   f o r   f a l s e   po s i t i v e ,   a n d  F N  f o r   f a l s e   n e ga t i v e .       3.   RE S UL T S   AN D  DI S CU S S I ON   T h e   T a bl e   1  pr e s e n t s   t h e   pe r f o r m a nc e   o f   va r i o us   de e p  l e a r ni ng  m o de l s   f o r   i n t e n t   c l a s s i f i c a t i o n   o n  E n g l i s h   a n d  I n do n e s i a n   da t a s e t s .   T h e   m e t r i c s   i n c l ude   a c c ur a c y   ( A c c ) ,   F 1 - s c o r e   ( F 1) ,   pr e c i s i o n   ( P r e ) ,   a n d   r e c a l l   ( R e c ) .   T h e   m o de l s   e v a l ua t e d  a r e   B E R T ,   C NN ,   L S T M ,   E L E C T R A ,   a n d  a   c o m bi na t i o n   o f   E L E C T R A  a n d  B E R T .       T a bl e   1.   R e s u l t s   o f   a c c ur a c y   p e r f o r m a n c e   o f   de e p  l e a r ni ng  m o de l s   f o r   i n t e n t   E n g l i s h ,   a n d  i n t e n t   I n do n e s i a n   da t a s e t s   M o de ls   D a ta s e t   A c c   ( % )   F 1 ( % )   P r e   ( % )   R e c   ( % )   B E R T   I nt e nt   E ngl is h   76.92   77.15   84.48   76.92   I nt e nt   I nd o ne s ia n   96.79   96.55   97.38   96.79   C N N   I nt e nt   E ngl is h   71.79   69.87   79.57   71.79   I nt e nt   I nd o ne s ia n   89.94   89.66   93.15   89.94   L S T M   I nt e nt   E ngl is h   64.10   60.91   73.68   64.10   I nt e nt   I nd o ne s ia n   90.55   90.17   93.07   90.55   E L E C T R A   I nt e nt   E ngl is h   98.92   53.61   55.31   57.44   I nt e nt   I nd o ne s ia n   99.66   48.23   49.12   50.81   E L E C T R A + B E R T   I nt e nt   E ngl is h   99.46   43.90   42.19   48.93   I nt e nt   I nd o ne s ia n   99.66   48.74   49.66   51.63     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         I ntegr ati ng  E L E C T R A   and   B E R T   mode ls   in  tr ans for me r - bas e d  me ntal   …  ( J unta  Z e niar ja )   321   T h e   pe r f o r m a n c e   r e s u l t s   o f   va r i o us   de e p  l e a r ni ng   m o de l s   f o r   i n t e n t   c l a s s i f i c a t i o n   s h o w  t h a t   B E R T   de m o ns t r a t e s   s tr o n g  a n d  b a l a nc e d  pe r f o r m a nc e ,   a c hi e vi ng  76. 92%   a c c ur a c y   f o r   E n g l i s h   i n t e n t s   a n d   96. 79%   f o r   I n do n e s i a n   i n t e n t s ,   wi t h   hi g h   F 1 - s c o r e s ,   pr e c i s i o n ,   a n d  r e c a ll ,   pa r t i c u l a r ly   e xc e ll i ng  i n   t h e   I ndo n e s i a n  da t a s e t  wi t h   a n   F 1 - s c o r e   o f   96. 55% ,   p r e c i s i o n   of   97. 38% ,   a n d  r e c a l l   o f   96. 79% .   C NN ,   whi l e   pe r f o r m i ng   r e a s o n a bly   w e l l ,   f a ll s   s h o r t   o f   B E R T ' s   e f f e c t i v e n e s s ,   a c hi e vi ng  71. 79%   a c c ur a c y   f o r   E n g l i s h   i n t e n t s   a n d  89. 94%   f o r   I n do n e s i a n   i n t e n t s ,   w i t h   s li g h t l y   l o w e r   F 1 - s c o r e s ,   pr e c i s i o n ,   a n d  r e c a ll .   L S T M   h a s   t h e   l o we s t   pe r f o r m a n c e   f o r   E n g l i s h   i n t e n t s   a t   64. 10%   a c c ur a c y   b ut   i m pr o v e s   s i g nif i c a n t l y   f o r   I n do n e s i a n   i n t e n t s   w i t h  90. 55%   a c c ur a c y   a n d  b a l a n c e d  m e t r i c s .   E L E C T R A   s h o ws   ve r y   hi g h   a c c ur a c y   f o r   b ot h   E n g l i s h   ( 98. 92% )   a n d  I n do n e s i a n   ( 99. 66% )   i n t e n t s ,   b ut  wi t h   n o t a bl y   l o w e r   F 1 - s c o r e s ,   p r e c i s i o n ,   a n d  r e c a ll ,   pa r t i c u l a r ly   f o r   E n g l i s h  i n t e n t s   ( F 1 - s c o r e   o f   53. 61% ,   pr e c i s i o n   o f   55. 31% ,   a n d  r e c a l l   o f   57. 44% ) ,   i n d i c a t i n g  pot e n t i a l   i s s ue s   l i ke   c l a s s   im ba l a n c e   o r   m i s c l a s s if i c a t i o n .   T h e   c o m bi na t i o n   o f   E L E C T R A   a n d  B E R T   a c hi e v e s   t h e   hi g h e s t   a c c ur a c y   f o r   b o t h   E n g l i s h   ( 99. 46% )   a n d  I n do n e s i a n   ( 99. 66% )   i n t e n t s ,   b ut  wi t h   l o w  F 1 - s c o r e s ,   pr e c i s i o n ,   a nd  r e c a l l ,   s ugge s t i n g  po s s i bl e   o v e r f i t t i n g  o r   ot h e r   i s s ue s .   T his   un de r s c o r e s   t h e   n e e d  t o  c o n s i de r   a l l   pe r f o r m a n c e   m e t r i c s ,   n o t  j u s t   a c c ur a c y ,   wh e n   e v a l ua t i n g  m o de l   pe r f o r m a n c e .   B a s e d  o n   t h e   T a bl e   2,   t h e   pe r f o r m a n c e   o f   de e p  l e a r ni ng  m o de l s   f o r   i n t e n t   c l a s s i f i c a t i o n   s h o ws   s i g nif i c a n t   i m pr o v e m e n t   a c r o s s   e po c h s   f o r   b ot h   E n g l i s h   a n d  I n do n e s i a n   da t a s e t s .   A t  50  e p o c h s ,   th e   m o de l   e xhi b i t s   l o w  a c c ur a c y   a n d  F 1 - s c o r e s ,   wi t h   E n g l is h   i n t e n t s   a t   34. 59%   a c c ur a c y   a n d  10. 02%   F 1 - s c o r e ,   a n d   I n do n e s i a n   i n t e n t s   a t  21. 38 %   a c c ur a c y   a n d  4. 35%   F 1 - s c o r e .   T h e s e   r e s u l t s   s ugge s t   t h a t   t h e   m o de l   i s   un de r t r a i ne d  a n d  u n a bl e   t o  e f f e c t i v e ly   c l a s s if y   i n t e n t s   a t  t hi s   s t a ge .       T a bl e   2.   R e s u l t s   o f   a c c ur a c y   p e r f o r m a n c e   o f   de e p  l e a r ni ng  m o de l s   f o r   i n t e n t   E n g l i s h ,   a n d  i n t e n t   I n do n e s i a n   da t a s e t s   wi t h   d i f f e r e n t   E p o c h   E poc h   D a ta s e t   A c c   ( % )   F 1 ( % )   P r e   ( % )   R e c   ( % )   50   I nt e nt   E ngl is h   34.59   10.02   9.34   12.76   I nt e nt   I nd o ne s ia n   21.38   4.35   3.82   8.69   100   I nt e nt   E ngl is h   49.19   13.09   11.87   17.02   I nt e nt   I nd o ne s ia n   85.43   30.32   29.37   35.05   150   I nt e nt   E ngl is h   81.62   34.62   37.58   36.17   I nt e nt   I nd o ne s ia n   98.03   43.29   44.33   45.38   200   I nt e nt   E ngl is h   93.51   38.15   40.14   42.55   I nt e nt   I nd o ne s ia n   99.18   45.18   45.24   48.09   250   I nt e nt   E ngl is h   97.84   44.32   43.97   48.93   I nt e nt   I nd o ne s ia n   99.52   49.17   50.73   51.35   300   I nt e nt   E ngl is h   99.46   43.90   42.19   48.93   I nt e nt   I nd o ne s ia n   99.66   49.94   50.02   52.71       B y   100  e po c h s ,   t h e   m o de l   s h o ws   n o t i c e a bl e   im p r o v e m e n t ,   wi t h   t h e   I n do n e s i a n   da t a s e t   a c hi e vi n g   85. 43%   a c c ur a c y   a n d  a   30. 32%   F 1 - s c o r e ,   a n d  t he   E n g li s h   da t a s e t   a c hi e vi ng  49. 19%   a c c ur a c y   a n d   13. 09%   F1 - s c o r e .   A t   150   e po c h s ,   pe r f o r m a n c e   f ur t h e r   i n c r e a s e s ,   w i t h   t h e   E n g li s h   da t a s e t   r e a c hi ng  81. 62%   a c c ur a c y   a n d  a   34. 62%   F 1 - s c o r e ,   a n d  t h e   I n do n e s i a n   da t a s e t  a c hi e vi ng  98. 03%   a c c ur a c y   a n d  a   43. 29%   F 1 - s c o r e .   T hi s   t r e n d  c o n t i n ue s   a t   200   e p o c h s ,   w i t h   t h e   E n g l i s h   d a t a s e t  a t   93 . 51%   a c c ur a c y   a n d  a   38. 15%   F 1 - s c o r e ,   a n d  t h e   I n do n e s i a n   da t a s e t   a t  99. 18%   a c c ur a c y   a n d  a   45. 18%   F 1 - s c o r e .   B y   250  e po c hs ,   t h e   m o de l   r e a c he s   hi g h  pe r f o r m a n c e ,   wi t h   t h e   E n g l i s h   da t a s e t  a t  97 . 84%   a c c ur a c y   a n d  a   44. 32%   F 1 - s c o r e ,   a n d  t h e   I n do ne s i a n   da t a s e t   a t   99 . 52%   a c c ur a c y   a n d  a   49. 17%   F 1 - s c o r e .   A t   3 00  e po c h s ,   t h e   hi g h e s t   pe r f o r m a n c e   i s   o b s e r v e d,   w i t h   t h e   E n g l i s h  da t a s e t   a c hi e vi ng  99. 46%   a c c ur a c y   a n d  a   43. 90%   F 1 - s c o r e ,   a n d  t h e   I n do n e s i a n   da t a s e t   a c hi e vi ng   99. 66%   a c c ur a c y   a n d  a   49. 94%   F 1 - s c o r e .   T h e s e   r e s u l t s   i n d i c a t e   t h a t   i n c r e a s i ng  t h e   n u m be r   o f   t r a i ni ng  e po c h s   s i g nif i c a n t l y   e nh a n c e s   t h e   m o de l ' s   pe r f o r m a n c e   f o r   i n t e n t   c l a s s if i c a t i o n ,   w i t h   t h e   m o s t  s ub s t a n t i a l   ga i ns   o b s e r v e d  up  to   250   e po c h s ,   b e y o n d  w hi c h   a c c ur a c y   i m pr o v e m e n t s   a r e   m a r g i n a l .   T h e   r e s u l t s   v a li da t e   t h e   i ni t i a l   hy po t h e s i s   t h a t   i nc r e a s i ng  t h e   n u m be r   o f   t r a i ni ng  e po c hs   e nh a n c e s   m o de l   pe r f o r m a n c e   s i g ni f i c a n t l y .   A t   50  e po c h s ,   a c c ur a c y   wa s   34. 59%   f o r   E n g l i s h   a n d  21. 38%   f o r   I n do n e s i a n  i n t e n t s ,   b ut  by   300  e p o c h s ,   a c c ur a c y   i m pr o v e d  to  99. 46 %   f o r   E n g l i s h   a n d  99. 66%   f o r   I n do n e s ian .   T hi s   c o nf i r m s   s u b s t a n t i a l   ga i ns   up  t o   250  e p o c h s .   T h e   hy po t h e s i s   t h a t   t r a n s f o r m e r - b a s e d  m o de l s   li ke   B E R T   a n d  E L E C T R A   wo u l d  o u t pe r f o r m   o t h e r s   wa s   pa r t l y   c o nf i r m e d ;   E L E C T R A   a c hi e v e d  hi g h   a c c ur a c y   ( 98. 92%   f o r   E n g l i s h  a n d  99. 66%   f o r   I n do n e s i a n )   b ut   h a d  l o we r   F 1 - s c o r e s ,   pr e c i s i o n ,   a n d  r e c a ll ,   i nd i c a t i n g  po s s i bl e   b a l a n c e   i s s u e s .   B E R T   s h o we d  s t r o n g  pe r f o r m a n c e ,   e s pe c i a l l y   w i t h   I n do n e s i a n  i n t e n t s   ( 96. 79%   a c c ur a c y   a n d  96. 55%   F 1 - s c or e ) .   T h e   c o m bi na t i o n   o f   E L E C T R A   a n d  B E R T   a c hi e v e d  t h e   hi g h e s t   a c c ur a c y   b ut   wi t h   l o we r   F1 - s c o r e s ,   s ugge s t i n g  pot e n t i a l   o v e r f i t t i n g.   T h e   f in d i ngs   a l s o   e m p h a s i z e   t h a t   r e l yi ng  s o l e ly   o n   a c c ur a c y   c a n  b e   m i s l e a d i ng,   a n d  m u l t i p l e   m e t r i c s   a r e   c r uc i a l   f o r   a   b a l a n c e d  e v a l ua t i o n .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   3 1 5 - 324   322   4.   CONC L USI ON   T h e   r e s u l t s   o f   t hi s   r e s e a r c h   hi g hli g h t   s i g ni f i c a n t   a dv a n c e m e n t s   i n   t h e   h e a l t h   s e c t o r   a n d  r e l a t e d  s c i e n t i f i c   c o m m u ni t i e s   by   de m o n s t r a t i n g  t h a t  c h a tb o t s   us i n g  t h e   E L E C T R A   a n d  B E R T   t r a n s f o r m e r   m e t h o ds   c a n   pr o vi de   hi g hly   a c c ur a t e ,   e f f e c t i ve ,   a n d  e m pa t h e t i c   s uppo r t   f o r   m e n t a l   he a l t h   i s s ue s .   W i t h   a n   i m pr e s s i ve   a c c ur a c y   o f   99. 66%   a c r o s s   E n g l i s h  a n d  I n do ne s i a n   da t a s e t s ,   t h e s e   c ha t b ot s   o f f e r   v a l ua bl e   24/7  s up po r t  a n d   t i m e ly   r e s po n s e s ,   e nh a n c i ng  a c c e s s i b il i t y   t o  m e n t a l   he a l t h   r e s o ur c e s   a n d  pot e n t i a ll y   r e duc i ng  t h e   bur de n   o n   h u m a n   pr o f e s s i o na l s .   T hi s   a d va n c e m e n t   i s   pa r t i c u l a r ly   b e n e f i c i a l   i n   e m e r ge n c y   s i t ua t i o n s ,   w h e r e   im m e d i a t e   a s s i s t a n c e   i s   c r i t i c a l .   M o r e o v e r ,   t h e   s t udy   unde r s c o r e s   t h e   p ot e n t i a l   o f   i n t e gr a t i n g  c utt i n g - e dge   A I   t e c h n o l o g i e s   i n t o   m e n t a l   h e a l t h   c a r e ,   c o n t r i b ut i n g   to  a   de e pe r   un de r s t a n d i ng  o f   t h e i r   pr a c t i c a l   a pp li c a t i o ns   a n d  f o s t e r i n g  f ur t h e r   r e s e a r c h   i n  t h e   f i e l d.   T h e   f i nd i ng s   s ugge s t   t h a t   t h e s e   A I   m o de l s   c a n   c o m p l e m e n t   t r a di t i o na l   m e n t a l   h e a l t h   s e r vi c e s   by   pr o vi d i ng  pr e l im i na r y   s uppo r t  a n d  di r e c t i n g  us e r s   to  pr o f e s s i o n a l   h e l p   wh e n   n e e de d,   t h e r e by   e n r i c hi ng  t h e   o v e r a l l   m e n t a l   h e a l t h   c a r e   l a n ds c a pe .   T hi s   s t ud y   de m o n s t r a t e d  t h e   e f f e c t i v e n e s s   o f   us i n g  E L E C T R A   a n d  B E R T   t r a n s f o r m e r   m e t h o ds   i n  m e n t a l   h e a l t h   c h a t b o t s ,   a c hi e vi ng  hi g h   a c c ur a c y   a n d  pr o vi d i ng  v a l ua bl e   s uppo r t   i n   E n g l i s h  a n d  I n d o n e s i a n .   Ho we v e r ,   f ur t h e r   r e s e a r c h   i s   ne e de d  t o   a ddr e s s   l im i t a t i o n s   s u c h   a s   t h e   m o de l s '   p e r f o r m a n c e   a c r o s s   o t h e r   l a n gua ge s   a n d  c u l t ur a l ly   d i v e r s e   c o n t e x t s .   A dd i t i o n a ll y ,   e t hi c a l   c o n c e r ns ,   i n c l ud i ng  da t a   p r i v a c y  a n d  t h e   a bs e n c e   o f   h u m a n   e m p a t hy   i n   A I   s o l ut i o n s ,   we r e   n o t  di s c us s e d.   F ut ur e   r e s e a r c h   c o ul d  e x p l o r e   t h e   a da pt a t i o n  o f   t h e s e   m o de l s   to   a ddi t i o na l   l a n gua ge s   a n d  c u l t ur a l l y   d i ve r s e   c o n t e x t s   to  b r o a de n   t h e i r   a pp l i c a bil i t y .   A dd i t i o n a ll y ,   i nve s t i ga t i n g  wa y s   t o   e n h a n c e   t h e   e t hi c a l   a s pe c t s   o f   A I - dr i v e n   s o l ut i o ns ,   s uc h   a s   i m pr o vi ng   da t a   p r i va c y   a n d  i n t e gr a t i n g  e m pa t h e t i c   r e s po ns e s ,   c o ul d  a ddr e s s   c ur r e n t   l im i t a t i o n s .       AC K NOWL E DGE M E NT S   T h e   a ut h o r   w o ul d  li ke   t o   e x pr e s s   s i nc e r e   gr a t i t ude   to   t h e   R e s e a r c h   a n d  C o m m u ni t y   S e r vi c e   I n s t i t ut e   ( L P P M )   a t  Uni ve r s i t a s   D i a n   Nus w a n to r o  f o r   t h e i r   i nva l ua bl e   s uppo r t .   T hi s   r e s e a r c h   wa s   f u n de d  by   t h e   B a s i c   R e s e a r c h   Gr a n t   S c h e m e   u n de r   c o n t r a c t   n o.   109/A . 38 - 0 4/UDN - 09/XI /2023.       RE F E R E NC E S   [ 1]   A .  L i,   X .  H ua ng,  D .  J ia o ,   B .   O ’ D e a ,  T .  Z hu,  a nd  H .  C hr is t e ns e n,  “ A n  a na l y s is   of   s ti gma   a nd  s ui c id e   li t e r a c y   in   r e s p o ns e s   to   s ui c id e s  br o a d c a s t  o n s o c ia l  me di a ,”   A s ia - P ac if ic   P s y c hi at r y , vo l.  10, n o . 1, M a r . 2018, d o i:  10.1111/app y .12314.   [ 2]   “ M e nt a l  he a lt h  a c ti o n  p la n  2013 - 2020,”   W or ld   H e al th   O r gani z at io n .  [ O nl in e ] .  A v a il a bl e :  ht tp :/ /ww w .w ho .i nt / ir is /h a ndl e /1 0665 /8 9966.   [ 3]   J .  M .   G ór r i z   e t  al . ,  “ C o mput a ti o na l  a ppr o a c h e s   to   e x p la in a bl e   a r ti f ic ia l  in te ll ig e n c e :  a dv a nc e s   in   th e o r y ,  a ppl ic a ti o ns   a nd  tr e n ds ,”   I nf or m at io n F us io n , vo l.  100, p. 101945, D e c . 2023, d o i:  10.10 16/ j. in f f us .2023.101945.   [ 4]   M .  K .  R us ia   a nd   D .  K .  S in gh,  “ A   c o l o r - te xt ur e - ba s e d  d e e p  n e u r a l  ne tw o r k  t e c hni qu e   t o   d e te c t  f a c e   s poof in g  a tt a c ks ,”   C y be r ne ti c s   and I nf or m at io n T e c hnol ogi e s , v ol . 22, n o . 3, pp. 127 – 145, S e p . 2022, do i:  10.2478/ c a it - 2022 - 0032.   [ 5]   B .  P .  B a bu  a nd  S .  J .  N a r a y a na n,  “ O ne - vs - a ll   c o n vo lu ti o na l  ne ur a l  ne tw or ks   f o r   s y nt h e ti c   a pe r tu r e   r a da r   ta r ge t  r e c o g ni t i o n,”   C y be r ne ti c s  and I n f or m at io n T e c hnol ogi e s , v ol . 22, n o . 3, pp. 1 79 – 197, S e p. 2022, d o i:  10.2478/ c a it - 2022 - 0035.   [ 6]   V .  B a r o t  a nd  V .  K a pa di a ,  “ L o ng  s h o r t   t e r m  m e m or y   n e ur a l  ne tw o r k - ba s e d   m o d e l  c o ns tr u c ti o n  a nd  f n e - tu ni ng  f or   a ir   qua li t y   pa r a me t e r s   pr e di c ti o n,”   C y be r ne ti c s   and  I nf o r m at io n  T e c hnol ogi e s ,  vo l.   22,  n o .  1,  pp.   171 – 189,  M a r .  2022,  d o i:   10.2478/ c a it - 2022 - 0011.   [ 7]   L .  K uma r   a nd  D .  K .  S in gh,  “ H a r dw a r e   r e s po ns e   a nd  pe r f o r ma nc e   a na l y s is   of   mul ti c or e   c o mput in g  s y s t e ms   f or   de e p  le a r ni ng  a lg o r it h ms ,”   C y be r n e ti c s  and I n f or m at io n T e c hnol ogi e s , v o l.  2 2, no . 3, pp. 68 – 81, S e p. 2022, d o i:  10.2478/ c a it - 2022 - 0028.   [ 8]   S .  V a ndha na   a nd  J .  A nur a dha ,  “ S pa ti a l  a nd  t e mp o r a l   v a r ia t io ns   o n   a ir   qua li t y   pr e di c ti o n  us in g  d e e p  le a r ni ng   t e c hni qu e s ,”   C y be r ne ti c s  an d I n f or m at io n T e c hnol ogi e s , v ol . 23, n o . 4, pp. 2 13 – 232, Nov . 2023, d o i:  10.2478/ c a it - 2023 - 0045.   [ 9]   M .  S o or i,   B .  A r e z oo ,  a nd  R .  D a s tr e s ,  “ A r ti f i c ia l  in t e ll ig e n c e ,  m a c hi ne   l e a r ni ng  a nd  de e p  le a r ni ng  in   a d v a nc e d  r o b o ti c s ,  a   r e v i e w ,”   C ogni ti v e  R obot ic s , vo l.   3, pp. 54 – 70, 2023, d o i:  10.1016/j . c o gr .2023.04.001.   [ 10]   A .  D .  R e be l o ,  D .  E .  V e r b oo m,  N .  R .  do s   S a nt o s ,  a nd  J .  W .  de   G r a a f ,  “ T h e   im pa c t  of   a r ti f i c ia l  in te l li ge n c e   o n  th e   ta s ks   of   m e n ta l   he a lt hc a r e   w o r k e r s :  A   s c o pi ng  r e vi e w ,”   C om put e r s   in   H um an  B e hav io r :   A r ti f ic ia l  H um ans ,  vo l.   1,  n o .   2,  p.  100008,   A ug.  20 23,  do i:  10.1016/j . c hba h.2023.100008.   [ 11]   T .   F u,  S .  G a o ,  X .  Z ha o ,  J .  W e n,  a nd  R .  Y a n,  “ L e a r ni ng  t o w a r ds   c o n ve r s a ti o na l  A I :  a   s ur ve y ,”   A I   O pe n ,  vol .  3,  pp.  14 – 28,  2 022,  do i:  10.1016/j .a i o p e n.2022.02.001.   [ 12]   P .  M .  M a h,  I .  S ka ln a ,   a nd J . M uz a m,  “ N a tu r a l  la ngu a ge   pr oc e s s in g  a nd a r ti f i c ia l  in t e ll ig e n c e   f o r   e nt e r pr is e   ma na ge m e nt   in   th e   e r a   of   I ndus tr y  4.0,”   A ppl ie d Sc ie nc e s , vo l.  12, n o . 18, p. 9207, S e p . 2022, do i:  10.3390/app121892 07.   [ 13]   E .  A da mo p o ul o u  a nd  L .  M o us s ia de s ,  “ C ha tb o ts :  h is to r y ,  t e c hn o l o g y ,  a nd  a ppl ic a ti o ns ,”   M ac hi ne   L e ar ni ng  w it h  A ppl ic at io ns , vo l.   2, p. 100006, De c . 2020, d oi :  10.1016/j .ml w a .2020.100006.   [ 14]   S .  P a nde y   a nd  S .  S ha r ma ,  “ A   c o mpa r a ti v e   s tu d y   of   r e t r i e va l - ba s e d  a n d  ge ne r a ti v e - ba s e d  c ha tb ot s   us in g  de e p  l e a r ni ng  a nd   ma c hi ne   le a r n in g ,”   H e al th c ar e  A nal y ti c s , v o l.  3, p. 100198, N ov . 2023, d o i:  10.1016/j .h e a lt h.2023.100198.   [ 15]   R .  S im a r ma ta ,  J .  K r is ta nt o ,   a nd  A .  C ho w a nda ,  “ U ti li z in g  tr a ns f o r m e r - ba s e d  d e e p   l e a r ni ng  f or   i nt e nt   c la s s if ic a ti o n   o n  t e x t, ”   J our nal  of  T he o r e ti c al  and A ppl ie d I nf o r m at io n T e c hnol ogy , v ol . 101, no . 13, pp. 5078 – 5084, 2023.   [ 16]   S .  Y u,  Y .  C he n,  a nd  H .  Z a id i,   “ A V A :  a   f in a n c ia l  s e r v i c e   c ha tb o t  ba s e d  o n  d e e p  bi di r e c ti o na l  t r a n s f or me r s ,”   F r ont ie r s   in   A p pl ie d  M at he m at ic s  and Stat is ti c s , v o l.  7, A ug. 2021, d o i:  10.3389/ f a ms .2021.604842.   [ 17]   R .  F a ti ma   e t   al . ,  “ A   na tu r a l  la ngua ge   pr o c e s s in g  ( N L P )   e v a lu a t io n  o n  C O V I D - 19  r umo u r   da ta s e t  us in g  de e p  le a r ni ng  t e c hn iq u e s ,”   C om put at io nal  I nt e ll ig e nc e  and N e ur o s c ie n ce , v o l.  2022, pp. 1 – 17, S e p. 2022, d o i:  10.1155/2022/ 6561622.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n do n e s i a n   J   E l e c   E n g  &   C o m p  S c i     I S S N:   2 5 0 2 - 4 7 52         I ntegr ati ng  E L E C T R A   and   B E R T   mode ls   in  tr ans for me r - bas e d  me ntal   …  ( J unta  Z e niar ja )   323   [ 18]   K .  C la r k,  M .  T .  L u o ng,  Q .  V .  L e ,   a nd  C .  D .  M a nni ng,  “ E le c tr a :   pr e - tr a in in g   te x t   e n c o d e r s   a s   di s c r im in a to r s   r a th e r   t ha n   ge n e r a t o r s ,”   8t h I nt e r nat io nal  C onf e r e nc e  on L e a r ni ng  R e pr e s e nt at io ns , I C L R  2020 , 2020.   [ 19]   S .  A bur a s s ,  O .  D o r gha m,  a nd  M .   A .  R umm a n,  “ A n  e ns e mbl e   a ppr o a c h  to   qu e s ti o n  c la s s if i c a ti o n:   in t e gr a ti ng  e le c tr a   tr a ns f o r me r ,   G l o V e ,  a nd  L S T M ,”   I nt e r nat io nal   J our nal   of   A dv anc e d  C om p ut e r   Sc ie nc e   and  A ppl ic at io ns ,  v o l.   15,  n o .  1,  pp.  507 – 514,  20 24,  do i:  10.14569/ I J A C S A .2024.0150148.   [ 20]   S .  S a r ka r ,  M .  G a u r ,  L .  K .  C h e n,  M .  G a r g,  a nd  B .  S r i v a s ta v a ,  “ A   r e v i e w   of   th e   e x pl a in a bi li t y   a nd  s a f e t y   of   c o n ve r s a ti o na l  a ge n ts   f or   me nt a l  h e a lt h  t o   id e nt i f y   a ve nu e s   f o r   im pr ove m e nt ,”   Fr ont ie r s   in   A r ti f ic ia l  I nt e ll ig e nc e ,   v ol .  6,  O c t.   2023,  do i:   10.3389/f r a i. 2023.1229805.   [ 21]   A .  V a s w a ni   e t  al . ,  “ A tt e nt io n  is   a ll   y o u   ne e d,”   A dv anc e s   in   N e ur al   I nf or m at io n  P r oc e s s in g  Sy s te m s ,  v o l.   2017 - D e c e m,  n o .  N ip s ,   pp. 5999 – 6009, 2017.   [ 22]   L .   B a lc o mb e ,   “ A I   c ha tb o ts   in   d ig it a l  m e nt a l   he a lt h, ”   I nf or m at ic s ,  v o l.   10,  n o .   4,  p.   82,  O c t.   2023,  do i:   10.3390/i n f o r ma ti c s 10040082.   [ 23]   G .  C a ld a r in i,   S .   J a f ,   a nd  K .  M c G a r r y ,   “ A   li t e r a tu r e   s ur ve y   of   r e c e nt   a dv a n c e s   in   c ha tb o ts ,”   I nf or m at io n ,  vo l.   13,  n o .   1,   p.  41,  J a n.   2022, do i:  10.3390/i n f o13010041.   [ 24]   A .  R a ha li   a nd  M .  A .  A khl o u f i,   “ E nd - to - e nd   tr a ns f o r m e r - ba s e d   m o de ls   in   t e x tu a l - ba s e d   N L P ,”   AI ,   vo l.   4,   n o .  1,   pp.  54 – 110,  J a n.   2023, do i:  10.3390/ai4010004.   [ 25]   S . K ha n  e t  al . , “ T r a ns f or me r   a r c hi t e c tu r e - ba s e d  tr a ns f e r  l e a r ni n g  f o r  p o li te n e s s  pr e di c ti o n i n  c o n ve r s a ti o n,”   Sus ta in abi li ty ,  vo l.  15,  no . 14, p. 10828, J ul . 2023, d o i:  10.3390/s u151410828.   [ 26]   R .  S udhe e s h   e t  al . ,  “ A na l y z in g  s e nt im e n ts   r e ga r d in g  C ha tG P T   us in g  nove l  B E R T :  a   ma c hi n e   l e a r ni ng   a p pr o a c h,”   I nf or m at io n ,  vo l.  14, n o . 9, p. 474, Aug. 202 3, d o i:  10.3390/i n f o14090474.   [ 27]   T .  N .  A lr uqi   a nd  S .  M .  A lz a hr a ni ,  “ E v a lu a ti o n  of   a n  A r a bi c   c h a tb o t  ba s e d  o n  e xt r a c ti v e   qu e s ti o n - a ns w e r in g  tr a ns f e r   le a r ni ng  a nd   la ngua ge  t r a ns f or m e r s ,”   AI ,  vo l.  4, n o . 3,   pp. 667 – 691, Aug. 20 23, do i:  10.3390/ai4030035.   [ 28]   H .  F a ng,  G .  X u,  Y .   L o ng,  a nd   W .  T a ng,  “ A n   e f f e c t i v e   E L E C T R A - ba s e d  p ip e l in e   f o r   s e nt im e nt   a na l y s is   of   t o ur is t  a tt r a c t io n   r e v i e w s ,”   A ppl ie d Sc ie nc e s  ( Sw it z e r la nd) , vo l.  12, n o . 21, p. 10 881, Oc t.  2022, d o i:  10.3390/app122110 881.   [ 29]   P .  K a s ne s is ,  L .  T ouma ni di s ,  a nd  C .  Z .  P a t r ik a ki s ,  “ C o mba ti n g  f a ke   n e w s   w it h  t r a ns f o r me r s :  a   c o mpa r a ti ve   a na l y s is   of   s ta nc e   de t e c t i o n a nd s ubj e c ti v it y  a na l y s is ,”   I nf or m at io n ( Sw it z e r la nd) , vo l.  12, n o . 10, p. 409, O c t.  2021, d o i:  10.3390/i n f o12100409.   [ 30]   H .  R .  S a y e gh,  W .  D o ng,   a nd  A .  M .  A l - ma da ni ,  “ E nha nc e d  in tr us io n  d e t e c ti o n   w it h  L S T M - ba s e d  m o d e l,   f e a tu r e   s e l e c ti o n,  a nd   S M O T E   f o r  i mba la n c e d d a ta ,”   A ppl ie d Sc ie nc e s  ( Sw it z e r la nd) , vo l.  14, n o . 2, p. 479, J a n. 2024, doi:   10.3390/a pp14020479.       B I OG RA P HI E S   OF   AU T HO RS         J un ta   Zeni a rja           i s   a  p e r m a n e n t   l ec t u r e r  at   t h e   D e p art men t   o f   I n f o r m at i c s   E n g i n ee r i n g ,   Fa cu l t y   o f  Co m p u t e r  S ci e n ce,   U n i v e rs i t as   D i an   N u s w an t o r o ,   I n d o n e s i a.   H e   rece i v e d   t w o   m as t e r's   d eg ree s   i n   In fo r m at i c s   E n g i n ee ri n g   fro m  U n i v e rs i t i   T e k n i k al   Ma l a y s i a   Me l a k a  (U T e M)  i n   Mal a y s i a  a n d   U n i v e rs i t as   D i an   N u s w an t o r o   i n   I n d o n e s i a.   T h e   m a i n   re s e ar ch   i n t e r e s t s   are   d at a  m i n i n g ,   m a c h i n e   l e arn i n g ,   d ee p   l e arn i n g ,   i n f o r m at i o n   r e t ri e v a l ,   an d   g eo g rap h i c   i n f o r m at i o n   s y s t em s .   H i s   cu rr e n t   r e s e arch   c o v e rs   a  w i d e   ra n g e   o f  D at a  Mi n i n g   an d   D at a  S c i e n ce   ap p l i c at i o n s ,   s u ch   as   p red i c t i n g   s t u d en t   g rad u at i o n ,   s e ar c h   e n g i n e s   fo r   k i d s ,   t h e s i s   d o c u men t   c l as s i fi c at i o n ,   s e n t i men t   an al y s i s ,   a n d   g e o g rap h i c  i n fo r m at i o n   s y s t em s   b as e d   o n   i n f o r m at i o n   r e t ri ev al   (G eo g rap h i c   In fo r m at i o n   R e t ri e v a l ).   H e  c an   b e  c o n t ac t ed   at   em a i l :   j u n t a@ d s n . d i n u s . a c . i d .         C i n a n ty a   P a ra m i ta           i s   a   p e r m an en t   l ec t u r e r   at   t h e  D e p art men t   o f  In fo r m at i c s   E n g i n ee r i n g ,   Fa cu l t y   o f  C o m p u t e r   S c i en ce ,   U n i v e rs i t as   D i an   N u s w a n t o ro ,   I n d o n e s i a.   S h e   rece i v e d   t h e   b ach e l o r's   d e g r ee   i n   c o m p u t e r  s ci e n ce   fro m   U n i v e rs i t as   D i a n   N u s w a n t o ro ,   Sem aran g ,   In d o n e s i a,   i n   2 0 1 1 ,   t h e   m as t e r's   d eg r ee   i n   E l ec t ri c al   a n d   C o m p u t e r  E n g i n ee r i n g   fro m  So u t h   Ch i n a  U n i v e rs i t y   o f  T ech n o l o g y ,   G u an g zh o u   Ch i n a,   i n   2 0 1 4 .   T h e   m ai n   r e s e ar ch   i n t e r e s t s   are   I T   e s s en t i al s ,   cy b e rs ec u r i t y ,   d at a  m i n i n g ,   m a c h i n e   l e arn i n g ,   a n d   d ee p   l e arn i n g .   Sh e   c o n t ri b u t i n g   as   a  t rai n e r   fo r  v ari o u s   ac a d em i e s   u n d e r  Mi n i s t r y   o f  C o mm u n i c at i o n s   an d   I n f o r m at i c s ,   c o v e ri n g   I T   e s s en t i al s ,   cy b e rs ec u r i t y ,   a n d   d at a  an al y s t .   S h e   c an   b e   co n t a c t ed   at   em ai l :   c i n an t y a. p ara m i t a@ d s n . d i n u s . a c . i d .         Eg i a   R o s i   Su bhi y a k to           co m p l e t e d   h i s   Ba c h e l o r's   d e g r ee   i n   Co m p u t e r  S c i en ce  an d   E n g i n ee r i n g   i n   2 0 1 1   at   t h e   U n i v e rs i t as   K o m p u t e r   I n d o n e s i a,   Ban d u n g ,   W e s t   J av a.   H e  p u rs u e d   h e r  Mas t e r's   d e g r ee   i n   C o m p u t e r  S ci en ce   a t   D i an   N u s w an t o r o   U n i v e rs i t y   an d   U n i v e rs i t i   T e k n i k al   Mal a y s i a  M e l a k a  ( U T e M)  i n   2 0 1 4 .   Si n ce   2 0 1 4 ,   h e  h as   b een   w o r k i n g   as   a  l ec t u r e r   at   D i a n   N u s w a n t o ro   U n i v e rs i t y ,   S em aran g ,   i n   t h e  Co m p u t e r  S ci e n ce  p ro g ra m.   H e r  G o o g l e   S ch o l ar  H - I n d e x   i s   1 2 ,   i 1 0 - I n d e x   i s   1 5 ,   an d   Sc o p u s   H - I n d e x   i s   3 .   H e   c an   b e   co n t a c t ed   at   em ai l :   eg i a @ d s n . d i n u s . ac. i d .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2 5 0 2 - 4 7 52   In do n e s i a n   J   E l e c   E n g   &   C o m p  S c i ,  Vo l .   3 7 ,   N o .   1 ,  J a n ua r y   20 2 5 :   3 1 5 - 324   324     Si n d hu   R a k a s i w i           co m p l e t ed   h e r  Ba c h el o r's   d e g r ee   i n   Co m p u t e r  S ci en ce   a n d   E n g i n ee r i n g   i n   2 0 1 0   a t   U n i v e rs i t as   D i an   N u s w an t o r o ,   Sem aran g ,   C e n t ral   J av a .   Sh e  p u rs u e d   h e r   Mas t e r's   d eg r ee   i n   Co m p u t e r  S ci e n ce  at   U n i v e rs i t as   D i an   N u s w an t o r o ,   i n   2 0 1 2 .   Fro m  2 0 1 3   t o   2 0 2 3 ,   s h e   w o r k e d   as   a  l ec t u r e r  at   t h e   U n i v e rs i t as   Sai n s   d a n   T e k n o l o g i   K o m p u t e r ,   Sem aran g .   Si n ce   2 0 2 3 ,   s h e  h as   b ee n   s e r v i n g   as   a   l ec t u re r   at   D i a n   N u s w a n t o ro   U n i v e rs i t y ,   Sem aran g ,   i n   t h e  Co m p u t e r  S c i en ce   p ro g ra m .   H e r  G o o g l e   S ch o l ar  H - In d e x   i s   5 ,   an d   h e r  i 1 0 - I n d e x   i s   4 .   S h e  c an   b e   co n t a c t ed   at   em a i l :   s i n d h u . ra k as i w i @ d s n . d i n u s . a c . i d .         Gu r uh   F a ja r  Shi di k           (Mem b e r ,   I E E E )   w as   b o rn   i n   W e s t   Bo r n e o ,   I n d o n e s i a,   i n   Fe b ru ar y   1 9 8 7 .   H e   recei v ed   t h e   b ac h el o r's   d eg r ee   i n   co m p u t e r  s c i en ce   fro m   U n i v e rs i t as   D i an   N u s w an t o r o ,   S em aran g ,   I n d o n e s i a,   i n   2 0 0 9 ,   t h e   m as t er's   d e g r ee  i n   co m p u t e r   s ci e n ce  fro m  T e ch n i c al   Ma l a y s i a  M el a k a  U n i v e rs i t y ,   Ma l a y s i a,   i n   2 0 1 1 ,   an d   t h e   Ph . D .   d e g r ee   fro m  U n i v e rs i t as   G ad j ah   Mad a,   Y o g y a k art a,   In d o n e s i a,   i n   2 0 1 6 .   H e   i s   cu rr e n t l y   a n   A s s o c i at e   Pro fe s s o r  w i t h   U n i v e rs i t as   D i an   N u s w a n t o ro .   H i s   r e s e ar c h   i n t e r e s t s   i n c l u d e  c l o u d   c o m p u t i n g ,   w i r e l e s s   c o mmu n i c a t i o n ,   m a c h i n e   l e arn i n g ,   a n d   art i f i c i a l   i n t el l i g en c e.   H e   c a n   b e   co n t a c t ed   at   em ai l :   g u ru h . faj ar @ r e s e ar ch . d i n u s . a c . i d .         P u l un g   N u rta n ti o   A n do n o           rece i v e d   t h e   b ach e l o r’s   d e g r ee   fr o m   T ri s ak t i   U n i v e rs i t y ,   J ak art a,   I n d o n e s i a,   i n   2 0 0 6 ,   t h e   m as t e r ’s   d e g r ee   fr o m   D i an   N u s w a n t o ro   U n i v e rs i t y ,   S em ara n g ,   I n d o n e s i a,   i n   2 0 0 9 ,   an d   t h e   P h . D .   d eg r ee   fr o m   t h e   I n s t i t u t   T ek n o l o g i   Se p u l u h   N o v em b e r  ( I T S),   S u rab a y a,   In d o n e s i a,   i n   2 0 1 6 .   H e   cu rr e n t l y   w o rk s   as   a  L ec t u r e r  a n d   a  R e s e ar c h e r   at   t h e   Fa cu l t y   o f   C o m p u t e r   S c i en ce,   D i a n   N u s w an t o r o   U n i v e rs i t y .   H i s   r e s e ar c h   i n t e r e s t s   i n cl u d e   i m ag e  s ec u r i t y ,   c o m p u t e r  v i s i o n ,   an d   3 D   i m ag e  r ec o n s t ru c t i o n .   H e   h as   au t h o r e d   o r  co au t h o r e d   mo r e   t h an   4 3   re fe r eed   j o u rn a l s   an d   c o n f e r e n ce   p ap e rs   i n d e x ed   b y   Sco p u s .   H e   c a n   b e  c o n t ac t e d   at   em ai l :   pu l u n g @ d s n . d i n u s . ac . i d .         A n a m a ri ja   J u rcev   Sa v i cev i c          i s   med i c a l   d o c t o r,   s p e c i a l i s t   o f   e p i d emi o l o g y ,   p ri m ari u s .   S h e   h as   b ee n   w o rk i n g   at   T e a c h i n g   P u b l i c   H e a l t h   In s t i t u t e   o f  Sp l i t   an d   D al m at i a   Co u n t y   as   a  h e ad   o f   S c i en t i fi c  U n i t   a n d   h e a d   o f  D e p art me n t   f o r  E p i d emi o l o g y   o f   R e s p i rat o r y   I n f ec t i o n s .   A s   a  fi el d   e p i d em i o l o g i s t ,   s h e  h as   b een   d ee p l y   i n v o l v e d   i n   d i ffe r en t   o u t b re ak   c o n t ro l   a c t i v i t i e s .   A t   u n i v e rs i t y   l ev e l ,   s h e   i s   e x p e ri en ce d   t e a ch e r ,   r e s e ar ch e r,   men t o r  an d   re v i ew e r ,   em p l o y ed   at   S c h o o l   o f   M ed i ci n e  U n i v e rs i t y   o f   Sp l i t   an d   D e p art me n t   o f  H e al t h   St u d i e s   U n i v e rs i t y   o f  Sp l i t   w h e r e   s h e   ru n s   D e p art me n t   fo r  Pre v en t i v e   M ed i ci n e.   T h e   m a i n   re s e ar ch   i n t e re s t s   are   d i s e as e   p r e v en t i o n   an d   c o n t ro l   as   w e l l   as   h e al t h   p ro mo t i o n ,   i n cl u d i n g   l i f e s t y l e   med i ci n e .   A u t h o r  o f  n u me ro u s   p ap e rs ,   ed i t o r  o f  u n i v e rs i t y   t e x t b o o k s   an d   au t h o rs   o f  s e v e ral   b o o k s   an d   p u b l i c at i o n s   fo r  h e al t h   ed u c at i o n .   Rece n t l y ,   s h e   h as   b ee n   i n t e r e s t e d   i n   ad v an t ag e s   o f  art i fi ci al   i n t el l i g en ce   i n   t h e   h e al t h   s e r v i ce .   Fu l l   mem b e r  o f  Cro at i a n   A c ad emy   o f  M e d i c al   S ci e n ce s .   S h e   c a n   b e  co n t a c t ed   at   em ai l :   an a m ari j a. j u r cev . s av i cev i c@ n z j z - s p l i t . h r .     Evaluation Warning : The document was created with Spire.PDF for Python.