I n t e r n at ion al   Jou r n a l   of   I n f o r m at ics   an d   Com m u n icat ion   T e c h n ol ogy  ( I J - I CT )   Vo l .   1 4 ,   N o .   3 De c e m b e r   20 2 5 ,   pp.   1034 ~ 1043   I S S N:  2252 - 8776 DO I 10 . 11591/i ji c t . v 1 4 i 3 . pp 10 34 - 1 043             1034       Jou r n al  h o m e page ht tp: // ij ict . iaes c or e . c om   In d o n e si an   au t o m at e d  sh or t - an sw e r  gr ad in g u si n t r an sf or m e r s - b ase d  se m a n t ic  si m il ar ity       S am u e l   S it u m e an g,   S ar ah   Ros d ian T am b u n an ,   L id ia   Gi n t i n g,     Wah yu   K r is d an gol yan t S im am o r a,   Win d a   S ar B u t ar B u t ar   I n f o r ma ti o n S y s t e m S tu d y  P r o gr a m, F a c ul t y   of   I n f o r ma ti c s  a nd E le c tr ic a E ngi n e e r in g, I ns ti tu T e kn o l o gi  D e l,   T oba I nd o ne s ia       Ar t ic l e   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e i ve Oc t   7,   2024   R e vi s e F e b   6,   2025   A c c e pt e J un   9,   2025       A u t o m at i s h o rt   a n s w e r   g ra d i n g   (A S A G s y s t em s   o ff e r   p ro m i s i n g   s o l u t i o n   fo i m p ro v i n g   t h e ffi ci e n cy   o r e a d i n g   l i t e ra cy   as s e s s m e n t s .   W h i l p ro m i s i n g ,   cu rr e n t   In d o n e s i a n   art i f i c i a l   i n t e l l i g e n ce  ( AI )   g rad i n g   s y s t em s   s t i l l   h av ro o fo r   i m p ro v eme n t ,   e s p ec i a l l y   w h en   d eal i n g   w i t h   d i ff e r e n t   d o m ai n s .   T h i s   s t u d y   e x p l o re s   t h e ff ec t i v en e s s   o l ar g l a n g u ag m o d e l s ,   s p e c i f i c al l y   b i d i r ec t i o n al   en c o d e r e p r e s en t at i o n s   fro t ran s fo rme rs   (B E RT v ari an t s ,   i n   c o n j u n c t i o n   w i t h   t rad i t i o n al   h a n d - en g i n ee r ed   f e at u r e s ,   t o   i m p r o v A S A G   a cc u ra cy .   W c o n d u c t ed   e x p e r i me n t s   u s i n g   v ari o u s   B E RT   mo d e l s ,   h a n d - e n g i n ee r e d   f e at u r e s ,   t e x t   p re - p ro ce s s i n g   t ec h n i q u e s ,   a n d   d i me n s i o n a l i t y   r ed u c t i o n .   O u f i n d i n g s   s h o w   t h at   B E RT   m o d e l s   co n s i s t en t l y   o u t p e rfo r m   t rad i t i o n al   me t h o d s   l i k e   t e r m   fr e q u en c y - i n v e rs e   d o cu me n t   fre q u e n cy   ( TF - ID F ) .   I n d o B E RT L i t e - B a s e - P2   a ch i e v ed   t h h i g h e s t   q u ad rat i c   w ei g h t ed   k ap p (Q W K s c o r e   a mo n g   t h BE RT   v ari a n t s .   I n t e g rat i n g   h an d - e n g i n ee r e d   f e at u r e s   w i t h   B E RT   r e s u l t e d   i n   a   s u b s t an t i al   en h a n ceme n t   o t h Q W K   s c o r e .   U t i l i z i n g   co m p reh e n s i v e   t e x t   p re - p ro ce s s i n g   i s   a   c ri t i c a l   fa c t o r   i n   a ch i ev i n g   o p t i m a l   p e rfo r m a n ce .   In   ad d i t i o n ,   d i men s i o n al i t y   r e d u c t i o n   s h o u l d   b e   c are f u l l y   u s e d   b ec au s i t   p o t en t i al l y   remo v e s   s em a n t i i n fo r m at i o n .   K e y w o r d s :   D i m e ns i o na l i t y   r e duc t i o n   Ha n d - e n g i ne e r e d   f e a t ur e s   I n do n e s i a n   S h o r t   a n s we r   gr a d i n g   T r a n s f o r m e r   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i cen s e.     C or r e s pon din A u th or :   S a m ue l   S i t u m e a n   I nf o r m a t i o n   S y s t e m   S t udy   P r o g r a m ,   F a c u l t y   o f   I nf o r m a t i c s   a n E l e c t r i c a l   E n g i ne e r i ng   I n s t i t ut  T e kn o l o g i   De l   J l .   S i s i n g a m a n ga r a j a ,   T o b a ,   Nor t h   S um a t r a ,   I n do n e s i a   E m a i l s a m u e l . s i t u m e a n g @ d e l . a c . i d       1.   I NT RODU C T I ON   L i t e r a c y   s k il l s ,   l i ke   wr i t i n g,   r e a d i n g,   a n pr o bl e m - s o l vi ng,   a r e   vi t a l   f o r   e v e r y o n e .   S h o r a n s we r   que s t i o ns   ( S A Qs )   a r e   a   s t a n da r wa y   t t e s t h e s e   s k i ll s ,   b ut   gr a di n t h e m   m a n ua ll y   c a n   b e   t i m e - c o n s u mi ng   a n s u bj e c t i v e .   A ut o m a t i c   s h o r t   a n s we r   gr a d i n ( A S A G )   s y s t e m s   us e   n a t ur a l   l a n gua ge   pr o c e s s i ng  ( NL P )   a n d   m a c hi ne   l e a r ni ng  to  a uto m a t e   t hi s   pr o c e s s .   H o we v e r ,   a   m a j o r   c h a ll e n ge   i n   A S A i s   a c c ur a t e l y   u n de r s t a n d i ng   wo r ds   a n ph r a s e s   t h a t   c a n   h a v e   m u l t i p l e   m e a ni ngs   de p e n d i ng  o n   t h e   c o n t e x t   [ 1] [ 3] .   F o r   i ns t a n c e ,   t h e   I n do n e s i a n   wo r tahu   c a n   r e f e r   to   e i t h e r   t h e   c o n c e pt   o f   u n de r s t a n d i ng  o r   a   f o o i t e m .   T hi s   n e c e s s i t a t e s   A S A s y s t e m s   c a pa bl e   o f   c a pt ur i n s e m a n t i c   s im il a r i t i e s   b e t we e n   v a r i e wo r di n gs   a n e x pr e s s i o ns .   E xi s t i n A S A a ppr o a c h e s   i nc l ude   c l a s s i c a l   m a c hi ne   l e a r ni ng  ( C M L )   a n de e l e a r ni ng  ( DL )   [ 3] L e xi c a l ,   s y n t a c t i c ,   a n s e m a n t i c   f e a t ur e s   we r e   e x tr a c t e f r o m   t h e   r a t e x a n us e a s   i n put   f o r   v a r i o us   C M L   m o de l s ,   i n c l ud i ng  l o g i s t i c   r e gr e s s i o n   ( L R ) ,   s uppor v e c to r   m a c hi ne s   ( S VM s ) ,   r a n do m   f o r e s t s   ( R F ) ,   e x t r e m e   gr a d i e n t   b o o s t i n ( XG B o o s t ) ,   a n Na ï v e   B a y e s   ( NB )   c l a s s if i e r s .   I n   c o n t r a s t,   DL   m o de l s   i nc l ude   m e t h o ds   b a s e o n   wo r e m b e dd i ng  m o de l s ,   m e t h o ds   b a s e o n   s e que n t i a l   m o de l s ,   a n m e t h o ds   ba s e o n   a tt e n t i o m e c h a ni s m s .   T h e   m o de l s   i n   t h e   m e t h o ds   b a s e d   o n   w o r e m b e dd i ng  m o de l s   ( e . g. ,   W o r d2Ve c ,   G l o Ve ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       I ndone s ian  automated  s hor t - ans w e r   gr ading  us ing   tr ans f or me r s - bas e s e mantic    ( Samue Sit ume ang )   1035   F a s t T e x t ,   E L M o,   a n An s 2Ve c )   ge ne r a t e   r e pr e s e n t a t i o ns   t h a t   c o n v e r t   s i m il a r   wo r ds   i n t o   n e a r by  v e c t o r s   w i t hi n   a n   e m be dde l a t e n t   s pa c e .   T h e s e   m e t ho ds   pr o duc e   s e n t e n c e   e m be dd i ngs   t h r o ugh   a gg r e ga t i o n   t e c h ni que s   s uc h   a s   s u m m a t i o n   o r   a v e r a g i ng  o f   t h e   i n d i v i dua l   wo r e m b e dd i ngs   [ 4] [ 7] .   C o m pa r e to  m a n ua ll y   e n g i ne e r e f e a t ur e s ,   wo r a n s e n t e n c e   e m b e dd i ngs   m o r e   e f f e c t i ve l y   c a pt ur e   t h e   s e m a n t i c   i n f o r m a t i o n   pr e s e n t   i n   t e x t ua l   da t a .   T o   e n ha n c e   f e a t ur e   qua l i t y   a n r o b us t n e s s   o f   wo r a n s e n t e n c e   r e pr e s e n t a t i o ns ,   r e s e a r c h e r s   h a v e   a pp li e s e que n t i a l   m o de l s   l i ke   r e c ur r e n t   n e ur a l   n e t wo r ks   ( R NN s )   a n l o n s h o rt - t e r m   m e m o r y   ( L S T M )   to  t h e   t a s o f   A S A G.   B y   c o n s i d e r i n s e n t e n c e s   o f   v a r y i ng  l e n gt h s   a n m o de li ng   l o n ge r - r a n ge   wo r r e l a t i o ns hi ps   w i t hi s e n t e nc e s ,   t h e s e   m e t h o ds   a r e   a bl e   to   b e tt e r   c a p t ur e   t h e   s e m a n t i c   pr o pe r t i e s   o f   t e x t.   T hi s   e n a bl e s   t h e   pr e di c t i o n   m o de l s   to  m a ke   m o r e   r o b us a n a c c ur a t e   i nf e r e n c e s   o n   t h e   pr o vi de a ns we r s   [ 8] [ 10] .   A tt e n t i o n   m e c h a ni s ms   o f f e r   t h e   a bi li t y   t m o de l   l o n g - r a n ge   wo r d   r e l a t i o n s hi p s   w i t hi n   a   s e n t e n c e   a n c a l c u l a t e   t h e   r e l a t i v e   i mpo r t a n c e   a n de pe n de n c i e s   b e t we e n   e a c h   wo r d .   Unl i k s e que n t i a l   m o de l s ,   a tt e n t i o n - b a s e a ppr o a c h e s   d n ot   e x p l i c i t ly   c o ns i de r   wo r d   s e que n t i a li t y .   T r a n s f o r m e r   a r c hi t e c t ur e s ,   i n t r o duc e by   Va s wa ni   e al.   [ 11] ,   c o n s i s t   o f   a n   e n c o de r - de c o de r   s t r uc t ur e   c a pa bl e   o f   c h a r a c t e r i z i ng  l o n g - r a n ge   de pe n de n c i e s   a n f e a t ur e s   i n   s e que n t i a l   da t a .   T r a n s f o r m e r s   e m p l o y   m u l t i p l e   pa r a l l e l   a t t e n t i o n - h e a c o m po n e n t s ,   e a c h   l e a r ni n d i f f e r e n t   de pe n de n c i e s .   C ur r e n t l y ,   t h e   m o s t   a dv a n c e d   m e t h o ds   f o r   A S A l e v e r a ge   bi d i r e c t i o n a l   e n c o de r   r e pr e s e n t a t i o n s   f r o m   t r a n s f o r m e r s   ( B E R T )   [ 1 2] [ 19] B E R T - ba s e m o de l s   h a ve   c o n s i s t e n t l y   de m o ns t r a t e s upe r i o r   pe r f o r m a n c e   i n   t hi s   do m a i n,   o u t pe r f o r m i ng   a l t e r n a t i v e   a ppr o a c h e s   o n   v a r i o us   A S AG   t a s ks   a n da t a s e t s .   T h e   s uc c e s s   o f   B E R T   c a n   b e   a tt r i b u t e d   to   i t s   a bil i t y   t o   e f f e c t i v e ly   c a pt ur e   c o n t e x t ua l   i nf o r m a t i o n   a n l o n g - r a n g e   de pe n de n c i e s   w i t hi t h e   i n put   t e x t,   l e a d i ng  t m o r e   a c c ur a t e   a n n ua n c e pr e d i c t i o n s .   W hil e   pr e vi o us   r e s e a r c h   o n   A S AG   h a s   pr i m a r il y   f o c us e o n   n o n - I n do ne s i a n   l a n gua ge s ,   t h e   s t udy   o f   gr a d i n us i ng  B E R T   i n   I n do n e s i a n   i s   c r uc i a l   due   to   t h e   c u l t ur a l   n ua n c e s ,   t h e   l a n gua g e s   u ni qu e   l in gu i s t i c   c o m p l e xi t i e s ,   a n l im i t e hi g h - qua li t y   da t a s e t s .   T h e s e   f a c t or s   hi g hli g h t   t h e   n e e f o r   I n do n e s i a n   l a n gua g e - s pe c i f i c   s t udy   i A S A G.   P r e vi o us   r e s e a r c h   i nd i c a t e s   t h a t   I n do n e s i a n   A S A m e t h o ds   h a v e   s t r ugg l e t a c hi e ve   c o n s i s t e n t   a n r o b us t   pe r f o r m a n c e   a c r o s s   d i v e r s e   do m a i ns   [ 16] ,   [ 17] .   T o   a ddr e s s   t h e s e   c ha l l e n ge s ,   we   i nv e s t i ga t e   t h e   us e   o f   l a r ge   l a n gua ge   m o de l s ,   p a r t i c u l a r l y   B E R T   v a r i a n t s ,   c o m bi ne w i t h   t r a di t i o n a l   h a n d - e n g i ne e r e f e a t ur e s   to   e n h a nc e   A S A s y s t e m s   a c c ur a c y .   T h e   c o n t r i b ut i o n s   o f   t hi s   s t ud y   a r e   a s   f o l l o ws :     As s e s s   t h e   pe r f o r m a n c e   o f   v a r i o us   B E R T   m o de l s   f o r   t e x t   r e pr e s e n t a t i o n   i n   t h e   A S A s y s t e m ,   f o c us i n o n   s e m a n t i c   s i mi l a r i t y   a n i de n t i f y i ng  ke y   f a c t or s   c o n t r i b ut i n t t h e i r   e f f e c t i v e n e s s .     E v a l ua t e   t h e   i m pa c t   o f   d i f f e r e n t   t e x pr e - p r o c e s s i ng  t e c hni qu e s   o n   t h e   e f f e c t i v e n e s s   o f   a   s e man t i c   s i mi l a r i t y - b a s e A S A s y s t e m   us i ng  t h e   o p t i m a l   B E R T   v a r i a n t .     E v a l ua t e   t h e   e f f e c t i ve n e s s   o f   c o m bi n i ng  B E R T   e m be dd i ngs   w i t h   h a n d - e n g i ne e r e f e a t ur e s   i n   a   s e m a n t i c   s i mi l a r i t y - b a s e A S A s y s t e m .     C o m pa r e   t h e   e f f e c t i v e n e s s   o f   de n s e   r e pr e s e n t a t i o n s   ( B E R T   e m b e dd i ngs )   v e r s us   s pa r s e   r e pr e s e n t a ti o ns   s uc h   a s   t e r m   f r e que nc y - i nve r s e   do c u m e n t   f r e qu e n c y   ( T F - I D F )   f o r   t e x t   r e pr e s e n t a t i o n   i a   s e man t i c   s i mi l a r i t y - b a s e A S A G.     E v a l ua t e   t h e   i m pa c t   o f   d i m e ns i o n a li t y   r e duc t i o n   tec hni que s   s uc h   a s   pr i n c i pa l   c o m po n e n t   a n a ly s i s   ( P C A )   o n   B E R T   e m b e dd i ngs   f o r   t h e   e f f e c t i v e n e s s   o f   a   s e m a n t i c   s im il a r i t y - b a s e A S A s y s t e m .       2.   RE S E AR CH  M E T HO D   T hi s   s e c t i o n   e x p l o r e s   t h e   pr o p o s e m e t h o do l o g y   a n da t a s e t   whi l e   de t a i l i ng  t h e   s pe c if i c   e x pe r i m e n t s   to  b e   c o n duc t e d.   A dd i t i o na l ly ,   i t   o u t l i n e s   t h e   e v a l u a t i o n   m e t r i c s   t h a t   wi l l   b e   e m p l o y e to   a s s e s s   t h e   out c o m e s .   T o ge t h e r ,   t h e s e   e l e m e n t s   pr o v i d e   a   c o m pr e h e n s i ve   f r a m e wo r f o r   t h e   r e s e a r c h   pr o c e s s .       3.   S E M AN T I S I M I L AR I T Y - B ASE ASAG  S YST E M   W e   pr o p o s e   a n   a ppr o a c h   t h a l e ve r a ge s   t h e   po we r   o f   B E R T   [ 14] ,   a   s t a t e - of - t h e - a r DL   m o de l ,   i c o nj u n c t i o n   w i t h   h a n d - e n g i ne e r e f e a t ur e s   [ 17]   to  e n ha n c e   t h e   a c c ur a c y   a n r o b us t n e s s   o f   t h e   gr a d i n pr o c e s s .   B E R T   e x c e l s   a t   c a pt ur i n t h e   s e m a n t i c   a n s y n t a c t i c   n ua n c e s   o f   t e x t   by   pr o c e s s i n wo r ds   bi d i r e c t i o n a ll y ,   e na bl i ng  i t   to  un de r s t a n t h e   c o n t e x o f   a   w o r d   b a s e o n   b ot h   p r e c e d i n a n s uc c e e d i n g   wo r ds .   T hi s   s y ne r g i s t i c   a ppr o a c h   h a r n e s s e s   t h e   b e s t   o f   b o t h   w o r l ds t h e   f l e xi b il i t y   a n po we r   o f   DL   a n t h e   pr e c i s i o n   o f   do m a i n - s pe c if i c   kn o w l e dge .   T h e   f l o w c h a r t   o f   t h e   pr o p o s e A S A s y s t e m   i s   s h o wn   i n   F i gur e   1 .   T h e   f o l l o w i ng  a r e   t h e   m a i s t e ps   i n   t h e   pr o p o s e m e t h o d:     3. 1.     T e x t   p r e - p r oc e s s in g   I n   t hi s   s t e p,   t h e   i n put   t e x i s   pr o c e s s e to   r e m o v e   n o i s e   a n i m pr o v e   t h e   a c c ur a c y   o f   t h e   a s s e s s m e n t .   T h e   t e x t   p r e - pr o c e s s i n pr o c e s s   c o n s i s t s   o f   s e v e r a s t e ps ,   n a m e ly :   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   3 De c e m be r   20 2 5 :   1034 - 1043   1036   a)   T o ke ni z a t i o n w e   us e   t h e   T r e e b a n to ke ni z e r   to  b r e a d o wn   e a c h   que s t i o n ,   ke y   a n s w e r ,   a n s tuden t   a ns we r   i n t s m a ll e r   un i t s   ( to ke n s ) .   b)   C a s e - f o l d i ng:  w e   t r a n s f o r m   a l l   c a p i t a l   l e tt e r s   to   l o we r c a s e .   c)   R e m o ve   s to w or ds we   r e m o v e   wo r ds   wi t h   n o   s i g nif i c a n t   m e a ni ng  ( s to p   w o r ds )   b a s e o n   t h e   NL T s to pw o r ds   l i s t s   [ 20] .   d)   R e m o ve   pun c t ua t i o n we   r e m o v e   a ll   pu n c t ua t i o n ,   i n c l ud i ng  c o m m a s ,   pe r i o ds ,   a n que s t i o n   m a r ks .   e)   L e mm a t i z a t i o n w e   us e   t h e   W o r dNe L e m m a t i z e r   to   c h a n ge   e a c h   wo r to  i t s   b a s i c   f o r m .   f)   S t e m mi ng:  w e   us e   t h e   P o r t e r   S t e m m e r   to   c h a n ge   e a c h   wo r to   i t s   b a s i c   f o r m .           F i gur e   1 .   F l o wc h a r t   o f   p r o p o s e A S A s y s t e m       3. 2.     T e x t   c on c at e n at ion   T pr o vi de   c o n t e x t ua l   i n f o r m a t i o n ,   we   c o m bi n e   t h e   pr e - pr o c e s s e que s t i o n   t e x t   w i t h   t h e   pr e - pr o c e s s e ke y   a n s we r s   a n s t ude n t   a ns we r s .   T hi s   c o m bi ne t e x t   i s   u s e a s   i nput   f o r   t h e   f e a t ur e   e x t r a c t i o pr o c e s s .     3. 3.     F e at u r e   e x t r ac t ion   3. 3. 1.   B E RT - b as e d   wor d   e m b e d d in g   T h e   c o m bi ne t e x t   i s   pr o c e s s e us i ng  a   B E R T - b a s e wo r e m b e dd i ng  m o de l .   T hi s   m o de l   c o nv e r t s   t h e   t e x i n t n u m e r i c a l   r e pr e s e n t a t i o n s ,   or   e m be dd i ngs ,   wh e r e   wo r ds   wi t h   s i mi l a r   m e a ni ngs   a r e   pl a c e c l o s e r   to ge t h e r   i n   a   hi g h - d i m e ns i o n a l   s pa c e .   T h e s e   e m be dd i n gs   c a pt ur e   s e m a n t i c   a n s y n t a c t i c   i nf o r m a t i o n   f r o m   t h e   t e x t,   whi c h   i s   c r uc i a l   f o r   do wn s t r e a m   t a s ks   l i ke   s im il a r i t y   c o m pa r i s o n .     3. 3. 2.   Han d - e n gin e e r e d   f e at u r e   e x t r ac t ion   I n   pa r a l l e l   w i t h   t h e   B E R T - b a s e wo r e m b e dd i n g,   t h e   c o m bi ne t e x t   a l s o   un de r go e s   a   pr o c e s s   o f   h a n d - e n g i ne e r e f e a t ur e   e x t r a c t i o n .   T h e s e   f e a t ur e s   a r e   pr e s e n t e i n   T a bl e   1 .       T a bl e   1 .   L i s t   o f   h a n d - e n g i ne e r e f e a t ur e s   N o .   F e a tu r e   S o u r c e   1   L e x i c a ove r la p   [ 4]   2   P r o mpt   ove r la p   [ 4]   3   G r a mm a r   e r r o r  r a ti o   [ 21]   4   A ve r a ge  s e nt e nc e   l e ngt h   [2 1]   5   A ve r a ge  w or ds  l e ngt h   [ 21]   6   A ns w e r  l e ngt r a ti o   [ 22]     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       I ndone s ian  automated  s hor t - ans w e r   gr ading  us ing   tr ans f or me r s - bas e s e mantic    ( Samue Sit ume ang )   1037   3. 4.     F e at u r e s   c on c at e n at ion   T h e   n u m e r i c a l   r e pr e s e n t a t i o ns   ge n e r a t e by   t h e   B E R T - b a s e wo r d   e m b e dd i ng  m o de l   a r e   c o m bi ne d   w i t h   t h e   h a n d - e n g i ne e r e f e a t ur e s .   T hi s   c o n c a t e n a t i o n   pr o c e s s   i nv o l ve s   m e r g i ng  t h e s e   t wo   t y pe s   o f   f e a t ur e s   i n t o   a   s i n g l e ,   l a r ge r   f e a t ur e   v e c t or .   B y   c o m bi n i ng   t h e s e   t wo  s o u r c e s   o f   i nf o r m a t i o n ,   we   a i m   t l e v e r a ge   t h e   s t r e n gt h s   o f   b o t h   a ppr o a c h e s .   B E R T - b a s e e m be d d i n gs   c a pt ur e   s e m a n t i c   a n s y n t a c t i c   i nf o r m a t i o n   f r o m   t h e   t e x t,   whi l e   h a n d - e n g i ne e r e f e a t ur e s   pr o vi de   m o r e   s pe c i f i c   i nf o r m a t i o n   t h a t   m a y   b e   r e l e v a n t   to  t h e   t a s a h a n d.   T hi s   c o m bi ne f e a t ur e   v e c t or   wi ll   b e   t h e   i n p ut  to   t h e   gr a di n s t e p.     3. 5.     Gr ad in g   C o s i n e   s im il a r i t y   m e a s ur e s   t h e   s e m a n t i c   s im il a r i t y   b e t we e n   t h e   ke y   a n s t ude n t   a n s w e r s .   A   hi g h e r   c o s i n e   s i mi l a r i t y   s c o r e   i n d i c a t e s   a   gr e a t e r   de gr e e   o f   s i mi l a r i t y .   A   f i na l   gr a de   c a n   b e   a s s i g n e by   c o m pa r i ng  t h e   s t ude n t s   a n s w e r   to  m u l t i p l e   ke y   a ns we r s .       4.   DA T ASE T   W e   ut i li z e   t h e   I n do n e s i a n   Qu e r y   Ans we r i n D a t a s e t   f o r   Onl i ne   E s s a y   T e s t   S y s t e m   [ 23] .   T hi s   da t a s e t   e n c o m pa s s e s   d i v e r s e   do m a i ns ,   i n c l ud i ng  l i f e s t y le,   t e c h n o l o g y ,   po l i t i c s ,   a n s po r t s .   E a c h   que s t i o n   s h e e t   w i t hi t h e   da t a s e t   c o n t a i ns   que s t i o n s ,   c o r r e s po n d i n ke y   a n s we r ,   a n a   s e que n t i a l   n u m be r i ng  f r o m   to  10.   F o r   e a c h   s t ude n t   r e s p o n s e   ( a ns we r ) ,   t h e   da t a s e i n c l ude s :     M a n ua l   s c o r e s t h r e e   m a n ua l   r a t i n g s   f r o m   h u m a n   e v a l ua t o r s .     A ut o m a t e s c o r e s s c or e s   ge n e r a t e us i n v a r i o us   s i mi l a r i t y   m e t r i c s   ( C o s i ne ,   E uc l i de a n ,   J a c c a r d)   w i t a n w i t h o u t   s t e m mi ng.     E r r or   a n a l y s i s de t a i l e e r r or   a n a l y s i s   f o r   e a c h   a utom a t e s c o r i n m e t h o d.     Ov e r a ll   a v e r a ge   s c o r e a   c a l c u l a t e a v e r a ge   s c o r e   c o n s i d e r i n b ot h   m a n ua l   a n a uto m a t e s c or e s .   T h e   s t a t i s t i c s   o f   t h e   da t a s e i s   s h o wn   i n   T a bl e   2 .       T a bl e   2 .   S t a t i s t i c   d a t a s e t   S ta ti s ti c   T o p ic   L i f e s t y l e   P o li ti c   S por ts   T e c hn o l o g y   T ot a q ue s ti o n   10   10   10   10   T ot a a ns w e r   568   535   560   515   T ot a ke y  a ns w e r   10   10   10   10   M in le ngt h que s ti o n   6.00   4.00   9.00   5.00   M a x le ngt h qu e s ti o n   11.00   21.00   18.00   14.00   A v g.  l e ngt h qu e s ti o n   8.30   11.50   14.0.   28.30   M in le ngt h a ns w e r   1.00   1.00   1.00   1.00   M a x le ngt h a ns w e r   385.00   556.00   297.00   457.00   A v g.  l e ngt h a ns w e r   25.34   29.44   26.41   21.82   M in le ngt h ke y  a ns w e r   24.00   12.00   14.00   12.00   M a x le ngt h k e y  a ns w e r   134.00   49.00   75.00   39.00   A v g.  l e ngt h k e y  a ns w e r   73.00   31.70   38.90   28.30       5.   E XP E R I M E NT   S CE NA RI O   T hi s   s t ud y   c o n duc t s   f i ve   e x pe r im e n t s :   a)   R e l a t i ve   e f f e c t i v e n e s s   o f   B E R T   v a r i a n t s   W e   e v a l ua t e   t h e   pe r f o r m a n c e   o f   v a r i o us   B E R T   v a r i a n t s ,   i n c l ud i ng  m u l t i li ngua l   B E R T   [ 24] I n do B E R T Ba s e - P1 ,   I n do B E R T Ba s e - P2 ,   I n do B E R T L a rg e - P1 ,   I n do B E R T L a rg e - P2 ,   I n do B E R T Lite - Ba s e - P1 I n do B E RT Lite - Ba s e - P2 ,   I n do B E R T Lite - L a rg e - P1 ,   a n I n d o B E R T Lite - L a rg e - P 2   [ 25] .   T h e   b e s t - pe r f o r m i ng  v a r i a n t   i s   s e l e c t e a s   t h e   f o un da t i o n   f o r   s ub s e que n t   e x pe r im e n t s .   b)   I m pa c t   o f   t e x t   pr e - pr o c e s s i n g   T h e   o p t i m a l   B E R T   m o de l ,   i de n t i f i e i n   E x pe r i m e nt   1 ,   un de r go e s   f ur t h e r   a na l y s i s   by   a pp lyi ng  v a r i o us   t e x pr e - pr o c e s s i n t e c hni que s   t o   e x a m i ne   t h e i r   i nf l ue n c e   o n   t h e   e f f e c t i v e ne s s   o f   S e m a n t i c   S i mi l a r i t y - ba s e d   A S A G.   c)   I m pa c t   o f   ha n d - e n g i ne e r e f e a t ur e s   W e   i nv e s t i ga t e   t h e   e f f e c t i v e n e s s   o f   c o m bi n i ng   B E R T   e m b e dd i ngs   w i t h   ha n d - e n g i ne e r e f e a t ur e s .     T hi s   e x pe r i m e n t   a i m s   t de t e r m i ne   w h e t h e r   t h e   i n t e gr a t i o n   o f   do m a i n - s pe c if i c   k n o w l e dg e   c a n   e nh a nc e   t h e   pe r f o r m a n c e   o f   t h e   A S A s y s t e m .   d)   E f f e c t i v e n e s s   c o m pa r i s o n   o f   T F - I DF   a n B E R T   A   c o m pa r a t i v e   a n a ly s i s   i s   c o n duc t e b e t we e n   T F - I DF   [ 26]   a n B E R T - b a s e r e pr e s e n t a t i o n s   to   e v a l ua t e   t h e i r   r e l a t i v e   s t r e n gt h s   a n we a k n e s s e s   i n   t h e   c o n t e x t   o f   t h e   A S A s y s t e m .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   3 De c e m be r   20 2 5 :   1034 - 1043   1038   e)   I m pa c t   o f   d i m e ns i o n a li t y   r e duc t i o n   W e   e x p l o r e   t h e   i m pa c t   o f   d im e n s i o n a li t y   r e duc t i o n   t e c hni que s ,   s uc h   a s   P C [ 27 ] ,   o n   t h e   pe r f o r m a nc e   o f   B E R T   e m be dd i n g s   w i t hi t h e   A S A s y s t e m .       6.   E VA L UA T I ON   A S A t y p i c a l ly   e m p l o y s   t w o   p r i m a r y   m e t r i c s   to  a s s e s s   s y s t e m   pe r f o r m a n c e qua dr a t i c   we i g h t e d   ka ppa   ( QW K )   a n m e a n   a bs o l ut e   e r r o r   ( M A E )   [ 2] .   T h e s e   m e t r i c s   s e r v e   d i s t i n c t   pur p o s e s   i n   e v a l u a t i n t h e   a l i g nm e n t   b e t we e n   a uto m a t e a n h u m a n   r a t i n g s .   QW K   i s   a   m e a s ur e   o f   a gr e e m e n t   b e t we e n   t w r a t e r s ,   whi c h ,   i n   t h i s   c o n t e x t ,   t y p i c a ll y   r e f e r s   to  t h e   a uto m a t e gr a di n s y s t e m   a n h u m a n   e va l u a t or s   [ 28] .   T h e   m e t r i c   a c c o un t s   f o r   t h e   de gr e e   o f   d i s a gr e e m e n t   by   a s s i g ni ng  a   qua dr a t i c   pe n a l t y   f o r   l a r ge r   d i f f e r e n c e s   i s c o r e s .   I r a n ge s   f r o m   - ( c o m p l e t e   d i s a gr e e m e n t )   to  1   ( pe r f e c t   a gr e e m e n t ) ,   wi t h   i n d i c a t i n g   r a n do m   a gr e e m e n t .   QW K   i s   e s pe c i a ll y   us e f u l   i A S A a s   i t   pr o vi de s   a   n u a n c e vi e o f   h o c l o s e ly   t he   s y s t e m   r e p l i c a t e s   h u m a n   j udg m e n t ,   c o n s i de r i ng  n o o nl y   e x a c t   m a t c h e s   b ut   a l s o   t h e   pr o xi mi t y   o f   s c o r e s .   Q W K   c a b e   c a l c u l a t e us i n ( 1) .     Q WK = 1 , , , , , ,   ( 1)     wh e r e :       i s   a   we i g h t   m a t r i x   w h e r e   e a c h   e l e m e n t   r e pr e s e n t s   t h e   pe n a l t y   f o r   e a c h   t y pe   o f   d i s a gr e e m e n t   a s   i n   ( 2) .   T h e   we i g h t s   wo ul i nc r e a s e   qua dr a t i c a ll y   w i t h   t h e   d i s t a nc e .       i s   a   c o nf us i o n   m a t r i x   t h a t   s h o ws   t h e   o b s e r v e a gr e e m e n t .       i s   a n   e x pe c t e m a t r i x   t h a t   r e pr e s e n t s   t h e   a gr e e m e nt  t h a t   w o ul o c c ur   by   c h a n c e .     , = ( ) 2 ( 1 ) 2   ( 2)     wh e r e :       i s   t h e   h u m a n - a s s i g n e s c o r e .       i s   t h e   s y s t e m - pr e d i c t e s c o r e .       i s   t h e   n u m be r   o f   s c o r e   c a t e g or i e s .   M A E   c a l c u l a t e s   t h e   a v e r a ge   a b s o l ut e   d i f f e r e n c e   b e t we e n   t h e   s c o r e s   a s s i g ne by   t h e   a uto m a t e d   s y s t e m   a n h u m a n   r a t e r s   [ 29] .   I t   i s   e x pr e s s e a s   i n   ( 3) .     = 1 | ̂ | = 1   ( 3)     wh e r e :       i s   t h e   h u m a n - a s s i g n e s c o r e .     ̂   i s   t h e   s y s t e m - pr e d i c t e s c o r e .       i s   t h e   tot a l   n u m be r   o f   a n s w e r s .   M A E   pr o vi de s   a   s tr a i g h t f o r wa r a s s e s s m e n t   o f   t h e   s y s t e m s   a c c ur a c y ,   e m p h a s i z i ng  t h e   m a g ni t ude   o f   d i s c r e pa n c i e s   w i t h o ut  pe n a l i z i ng  l a r ge r   d i f f e r e n c e s   m o r e   h e a vil y ,   a s   QW K   do e s .       7.   RE S UL T S   AN DI S CU S S I ON   T hi s   s e c t i o n   pr e s e n t s   t h e   f i nd i ngs   a n d i s c u s s i o n s   r e l a t e to  t h e   i m p l e m e n t e m e t h o ds .   I t   h i g hli g h t s   t h e   r e s u l t s   o b t a i n e f r o m   t h e   im p l e m e n t a t i o n   pr o c e s s   a n e x a mi ne s   t h e i r   s i g ni f i c a n c e .   T o ge t h e r ,   t h e s e   d i s c us s i o ns   pr o vi de   a   c o m pr e h e ns i ve   a n a ly s i s   o f   t h e   o u t c o m e s .       8.   RE L AT I VE   E F F E CT I V E NE S S   OF   B E RT   VA RI AN T S   T hi s   s u b s e c t i o n   pr e s e n t s   t h e   f i nd i ngs   o f   o ur   e x pe r i m e n t   a i m e a t   i de n t i f yi ng  t h e   o p t i m a l   B E R T   m o de l   f o r   o u r   t a s k.   W e   e v a l ua t e ni ne   d i f f e r e n t   B E R T   m o de l   c o nf i gur a t i o n s ,   a s s e s s i ng  t h e i r   pe r f o r m a n c e   us i n M A E   a n Q W K   m e t r i c s .   T a bl e   3   pr o vi d e s   a   de t a i l e c o m pa r i s o n   o f   t h e   pe r f o r m a nc e   a c hi e ve d   by   e a c m o de l .   B a s e d   on   T a b l e   3 ,   I n d oB E R T Lite - B a s e - P2   i s   th e   b e s m od e l   wi th   th e   h i gh e s Q W K   s c or e   of   0 . 0 9 4 2 ,   d e m on s tr a ti n g   b e tt e r   a c c u r a c y   i n   un de r s ta n di n g   a n d   a s s e s s i n g   a n s w e r s   th a n   o th e r   m od e l s .   T h e   e m b e d di ng   s i z e   a n Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       I ndone s ian  automated  s hor t - ans w e r   gr ading  us ing   tr ans f or me r s - bas e s e mantic    ( Samue Sit ume ang )   1039   n um b e r   of   l a y e r s   i n   B E R T   m od e l s   a f f e c A S A G   p e r f or m a n c e .   M od e l s   w i t h   a   l a r ge   e m b e dd i n s i z e ,   s u c h   a s   B E R T B a s e - M u l t i l i n g u a l   a n d   I n d oB E R T B a s e - P1   wi t h   a n   e m b e ddi n s i z e   o f   7 68 ,   c a n   c a p tu r e   c o m pl e x   tex t   r e p r e s e n ta t i o n s   b u h a v e   l ow   QW K   v a l ue s   ( 0 . 0 835   a n d   0 . 09 12 ) ,   i n di c a t i n g   n o n - op t i m a l i t y   i n   un de r s tan di n l a n gu a g e   c o n tex t.   I n   c o n tr a s t,   I n d oB E R T Li te - L a rg e ,   wi t h   a n   e m b e ddi n g   s i z e   o f   1 28 ,   i s   m or e   e f f i c i e n i n   c a p tu r i n p a tt e r n s   r e l e v a n to  A S A G ,   a l t h o u gh   t h e   QW K   i m pr o v e m e n r e m a i n s   l ow   ( 0 . 0 84 2) .   T h e   n um b e r   o f   l a y e r s     a l s m a tt e r s ;   m o d e l s   w i t h   2 4   l a y e r s ,   s u c h   a s   I n d oB E R T L i t e - L a r g e   a n d   I n d oB E R T L a r g e - P1 ,   c a n   c a p t u r e   m or e     c o n tex b u onl y   s o m e t i m e s   i m pr o v e   p e r f or m a n c e   i f   t h e   e m b e ddi n g   s i z e   i s   s m a l l .   M ode l s   wi t h   f e we r   l a y e r s ,   s uc h   a s   I n d o B E R T L i t e - B a s e   ( 12   l a y e r s ) ,   a r e   m or e   e f f i c i e n t   i n   s h or tex p r oc e s s i n g.   T h e   QW K   i m pr ov e m e n   o f   I n d oB E R T L i t e - B a s e - P2   ov e r   I n d oB E R T L i t e - B a s e - P1   ( 0 . 09 42   a n d   0 . 0 63 8 )   s u gg e s t s   t h a a ddi t i o n a l   tr a i ni n   h e l ps   c o n t e x un d e r s t a n di n g.   Al t h ough   m or e   l a y e r s   a n d   l a r g e   e m b e d d i n g   s i z e s   c a n   i n c r e a s e   t h e   m ode l s   c a pa c i t y ,   op t i m a l   c o m pu ta t i o n a l   p e r f or m a n c e   a n d   c o n tex un d e r s tan d i n r e m a i n   t h e   m a i n   c h a l len g e s   i i m pr o vi n g   A S A G   pe r f or m a n c e .   T a bl e   4   s h o ws   t h e   e f f e c t i v e n e s s   o f   t h e   I n do B E R T Lite - Ba s e - P2   m o de l   a c r o s s   v a r i o us   do m a i ns .   T a bl e   4   i n d i c a t e s   t h a tex top i c   c o m pl e xi t y   s i gni f i c a n t l y   i nf l ue n c e s   m o de l   pe r f or m a n c e .   M od e l s   g e n e r a l l y   e x c e l   a t   e v a l ua t i n g   m or e   s tr a i gh t f or w a r d   topi c s   l i ke   l i f e s t y l e   b u s tr ug g l e   w i t h   m or e   c o m p l e x   on e s   l i ke   p o l i t i c s .   W e   m us r e f i n e   tex p r oc e s s i n g   tec h ni que s   a n d   e n h a n c e   m o d e l   tr a i ni n to  op t i m i z e   pe r f or m a n c e   a c r os s   v a r y i n g   tex c o m p l e xi t i e s .   F u tu r e   r e s e a r c h   wi l l   de l v e   de e pe r   i n to  th e   f a c tor s   c o n tr i b u t i n g   to  th e s e   pe r f or m a n c e   di s pa r i t i e s   b e twe e n   topi c s ,   e n a bl i n us   to  d e v e l o p   m or e   r ob us a n d   v e r s a t i l e   A S A G   s y s t e m s .       T a bl e   3 .   P e r f o r m a nc e   c o m p a r i s o n   a c r o s s   v a r i o us   B E R T   m o de l s   M o de l   M A E   Q W K   B E R T B a s e - M u l t il i n g u a l   0.4117   0.0835   I ndoB E R T B a s e - P1   0.4121   0.0912   I ndoB E R T B a s e - P2   0.4121   0.0918   I ndoB E R T L a r g e - P1   0.4116   0.0717   I ndoB E R T L a r g e - P2   0.4116   0.0721   I ndoB E R T L i te - B a s e - P1   0.4114   0.0638   I ndoB E R T L i te - B a s e - P2   0.4115   0.0942   I ndoB E R T L i te - L a r g e - P1   0.4111   0.0793   I ndoB E R T L i te - L a r g e - P2   0.4112   0.0842       T a bl e   4 .   T h e   I n do B E R T L i t e - b a s e - P m o de l   e f f e c t i v e n e s s   a c r o s s   v a r i o us   do m a i ns   E v a lu a ti o n   T o p ic s   L i f e s t y l e   P o li ti c s   S por t   T e c hn o l o g y   M A E   0.2533   0.5300   0.4351   0.4278   Q W K   0.1327   0.0536   0.0977   0.0929       9.   I M P AC T   OF   T E XT   P RE - P ROC E S S I NG   T hi s   s e c t i o n   pr e s e n t s   t h e   r e s u l t s   o f   o ur   e x pe r i m e n t ,   c o m pa r i ng  t h e   pe r f o r m a n c e   o f   t h e   I n do B E R T Lite - Ba s e - P2   m o de l   w h e n   a pp li e t o   di f f e r e n t   t e x t   p r e - pr o c e s s i n c o m bi na t i o ns .   T h e   pe r f o r m a n c e   o f   e a c c o m bi na t i o n   i s   e v a l ua t e a n pr e s e n t e i n   Ta bl e   5 .   B a s e o n   T a bl e   5,   t h e   I n do B E R T Lite - Ba s e - P2   m o de l   wi t h o ut  a ny   t e x t   pr e - pr o c e s s i n e xhi bi t s   t h e   m o s t   o p t i m a e v a l ua t i o n   r e s u l t s .   I a c hi e v e s   t h e   l o we s t   M A E   v a l ue   o f   0. 3540,   s i g ni f i c a n t l y   o ut pe r f o r m i ng  m o de l s   w i t h   v a r i o us   pr e - pr o c e s s i n c o m bi na t i o n s   ( M A E   v a l ue s   r a n g i ng   f r o m   0. 4113  to  0 . 4116) .   T hi s   f i nd i ng  s ugge s t s   t h a a ggr e s s i v e   pr e - pr o c e s s i n t e c hni que s ,   na m e ly   s to p   wor r e m o v a l ,   s t e m mi ng,   a n l e mm a t i z a t i o n ,   c a n   i na d v e r t e n t l y   s t r i a wa y   c r uc i a l   c o n t e x t ua l   i n f o r m a t i o n .   W hi le   pr e - pr o c e s s i n c a n   im pr o v e   da t a   qua l i t y   by   r e du c i n n o i s e   a n wo r v a r i a bil i t y ,   i t   i s   e s s e n t i a l   t s t r i ke   a   b a l a n c e   to   pr e s e r v e   s e m a n t i c   m e a ni ng.   I n   t hi s   c a s e ,   t h e   m o de l   b e n e f i t s   f r o m   t h e   r a w,   u n pr o c e s s e da t a ,   a l l o w i ng  i t   to  c a p t ur e   n ua n c e li ngu i s t i c   c ue s .       T a bl e   5 .   C o m pa r i s o n   o f   pe r f o r m a n c e   f o r   t e x t   p r e - p r o c e s s i n c o m bi na t i o ns   C o mbi na ti o of   t e x p r e - pr oc e s s in g   M A E   Q W K   W it ho ut  pr e - p r oc e s s in g   0.3540   - 0.1208   T o k e ni z a ti o n,  r e m ove   s t o p w o r d s s te mm in g   0.4115   0.0819   T o k e ni z a ti o n,  c a s e   f o ld in g r e m ov e  pun c tu a ti o n, s t e mm in g   0.4115   0.0819   T o k e ni z a ti o n , r e m ove  s t o p w o r ds , r e m ov e  pun c tu a ti o n, l e mm a t iz a ti o n   0.4115   0.0824   T o k e ni z a ti o n , r e m ove  pun c tu a ti o n, l e mm a ti z a ti o n, s te mm in g   0.4113   0.0332   T o k e ni z a ti o n,  c a s e   f o ld in g,  r e m ov e  s t o p w o r ds , l e mm a ti z a ti o n   0.4116   0.0821   T o k e ni z a ti o n,  c a s e   f o ld in g,  r e m ov e  s t o p   w o r ds , r e m ove  pun c tu a ti o n, s te mm in g,  le mm a ti z a ti o n   0.4115   0.0942     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   3 De c e m be r   20 2 5 :   1034 - 1043   1040   T h e   t a bl e   s h o ws   t h a t   t h e   Q W K   s c o r e   f o r   t h e   s c e na r i o   i nv o l vi ng  t o ke ni z a t i o n ,   pu n c t ua t i o n   r e m o va l ,   l e mm a t i z a t i o n ,   a n s t e m mi ng  i s   r e l a t i v e ly   l o a t   0. 0332.   T hi s   l o we r   pe r f o r m a n c e   c a n   b e   a t tr i b ut e to   t h e   a bs e n c e   o f   e s s e n t i a l   pr e - pr o c e s s i ng  s t e ps   l i ke   c a s e   f o l d i ng  a n s to w or d   r e m o v a l .   W i t h   c a s e   f o l d i ng,   t h e   m o de l   c a n   pr o c e s s   t e x t   w i t h   c o ns i s t e n t   c a p i t a l i z a t i o n ,   po s i t i v e ly   i m p a c t i n i t s   a bil i t y   to   r e c o gn i z e   wo r v a r i a t i o n s   a n t h e i r   s e m a n t i c   m e a ni n g s .   A dd i t i o n a ll y ,   t h e   s to w o r d   r e m o v a l   r e m o v e s   nu m e r o us   uni n f o r m a t i v e   wo r ds   ( e . g . ,   dan y ang di )   t h a c a n   b o o s t h e   m o de l s   f o c us   o n   t h e   c o r e   s e m a n t i c   c o n t e n t .   T h e   c o m bi ne e f f e c t   o f   t h e s e   f a c t o r s   l i mi t s   t h e   m o de l s   e f f e c t i v e ne s s   i n   a c c ur a t e l y   e v a luat i n t h e   t e x t,   ul t i m a t e l y   l e a d i ng  t a   l o we r   QW K   s c o r e .       10.   IM P AC T   OF   HAND - E NGI NE E RE F E AT UR E S   T hi s   s e c t i o n   pr e s e n t s   t h e   r e s u l t s   o f   o ur   e xpe r i m e n t ,   c o m pa r i ng  t h e   pe r f o r m a n c e   o f   t h e     I n do B E R T Lite - Ba s e - P2   m o de l   w i t h   a n w i t h o ut   t h e   i nc o r p or a t i o n   o f   ha n d - e n g i ne e r e f e a t ur e s .   T h e   pe r f o r m a n c e   o f   b o t h   m o de l s   i s   e va l ua t e a n pr e s e n t e i n   T a bl e   6 .   T a bl e   c o m p a r e s   t h e   I n do B E R T Lite - Ba s e - P2   m o de l s   pe r f o r m a n c e   w i t h   a n w i t h o ut  h a n d - e n g i ne e r e f e a t ur e s .   W hil e   b o t h   m o de l s   e xhi bi t   s im il a r   M AE   v a l ue s   ( 0. 3534   wi t h   h a n d - e n g i ne e r e f e a t ur e s   a n 0. 4115  w i t h o ut  h a n d - e n g i ne e r e f e a t ur e s ) ,   a   s i g nif i c a n t   di f f e r e nc e   e m e r ge s   i n   t h e   Q W K   m e t r i c .   T h e   m o de l   i nc o r p o r a t i n ha n d - e n g i ne e r e f e a t ur e s   a c hi e ve s   a   s u bs t a n t i a l l hi g h e r   QW K   s c o r e   o f   0. 2993   t h a n   w i t h o u t   f e a t ur e s ,   whi c h   i s   0. 0942.   T h e   h a n d - e n g i ne e r e f e a t ur e s   e m p l o y e d   i n   t hi s   s t ud y   i n c l ude   pr o m pt   o v e r l a p,   l e xi c a l   o v e r l a p,   g r a m m a r   e r r o r   r a t i o ,   a v e r a ge   s e n t e n c e   l e n gt h ,   a v e r a g e   wo r d   l e n gt h ,   a n a ns we r   l e n gt h   r a t i o .   T h e s e   f e a t ur e s   s e r v e   a s   a dd i t i o na l   li ngu i s t i c   c ue s ,   pr o vi d i ng  t h e   B E R T   m o de l   w i t h   v a l ua bl e   i nf o r m a t i o n   to   e n h a n c e   i t s   de c i s i o n - m a k i ng  pr o c e s s .       T a bl e   6 .   P e r f o r m a nc e   i m pa c t   o f   h a n d - e n g i ne e r e f e a t ur e s   o n   I n do B E R T L i t e - b a s e - P2   M o de l   M A E   Q W K   I ndoB E R T L i te - B a s e - P2   w i th   ha nd  e ngi n e e r e f e a tu r e s   0.3534   0.2993   I ndoB E R T L i te - B a s e - P2   w i th o ut   ha nd - e ngi ne e r e f e a tu r e s   0.4115   0.0942       11.   E F F E CT I VE N E S S   COM P AR I S ON  OF   T F - I DF   AN B E RT   T hi s   s e c t i o n   p r e s e n t s   t h e   r e s ul t s   o f   our   e x pe r i m e n t,   wh i c h   c o m pa r e d   t h e   pe r f o r m a n c e   o f   o u r   p r o p o s e d   m o de l   to  a   tr a di t i o n a l   T F - I DF   m o de l .   T h e   pe r f or m a n c e   o f   b ot h   m o de l s   i s   e v a l ua t e d   a n p r e s e n t e i n   T a bl e   7 .       T a bl e   7 .   P e r f o r m a nc e   c o m p a r i s o n T F - I DF   v s .   I n d o B E R T Lite - b a s e - P2   M o de l   M A E   Q W K   I ndoB E R T L i te - B a s e - P2   0.4115   0.0942   TF - I D F   0.3564   0.0249       T a bl e   7   r e v e a l s   t h a t   whi l e   t h e   T F - I DF   m o de l   h a s   a   l o we r   M A E   v a l ue   ( 0. 3564)   c o m pa r e to  I n do B E R T Lite - Ba s e - P2   ( 0 . 4115) ,   i n d i c a t i n b e t t e r   gr a d i n a c c ur a c y ,   t h e   l a t t e r   s i g nif i c a n t l y   o ut pe r f o r m s   T F - I DF   i n   t e r m s   o f   Q W K   ( 0. 0942   v s .   0. 0249) .   De n s e   r e pr e s e n t a t i o ns ,   l i k e   t h o s e   e m p l o y e by   I n do B E R T L i t e - Ba s e - P2 l e v e r a ge   t r a n s f o r m e r   a r c hi t e c t ur e   to   c a p t ur e   i n t r i c a t e   wo r r e l a t i o ns hi ps   a n c o n t e x t ua l   n ua n c e s .   T hi s   m e c h a ni s m   e n a bl e s   t h e   m o de l   t o   b e tt e r   un de r s tan t h e   s e m a n t i c   m e a ni ng  o f   t e x t   c o m pa r e to  s pa r s e   r e pr e s e n t a t i o ns   l i ke   T F - I DF ,   whi c h   r e ly   s o l e ly   o n   wo r f r e que n c i e s .   W hil e   T F - I D F   e x c e l s   a t   m ini mi z i ng   gr a d i n e r r o r s ,   i t   s t r uggl e s   to  gr a s c o m p l e x   l in gu i s t i c   pa tt e r n s   a n s e m a n t i c   r e l a t i o ns hi ps .   I n   c o n t r a s t ,   de s p i t e   a   s li g h t l y   hi g he r   M A E ,   I n do B E R T Lite - Ba s e - P2   de m o ns t r a t e s   a   s upe r i o r   a bil i t y   t o   a l i g n   s y s t e m   gr a d i n g   s c o r e s   w i t h   a c t ua l   s c o r e s ,   a s   e vi de nc e by   t h e   hi g h e r   Q W K   s c o r e .   T h e   d i s c r e pa n c y   b e t we e n   M A E   a n Q W mi g h t   b e   a tt r i b ut e to  f a c t o r s   s uc h   a s   un e ve n   da t a   di s t r i b ut i o n   o r   t h e   pr e s e n c e   o f   o u t l i e r s .   De n s e   r e pr e s e n t a t i o ns   l i ke   B E R T   e m b e dd i ngs   pr o v e   m o r e   e f f e c t i v e   f o r   A S A t a s ks   b a s e o n   s e m a n t i c   s im il a r i t y   due   to  t h e i r   s upe r i o r   a bil i t y   t c a p t ur e   c o m p l e x   c o n t e x t ua l   r e l a t i o ns hi ps   a n m e a ni n g s .       12.   I M P AC T   OF   DI M E NSI ONAL I T RE DU C T I ON   T hi s   s e c t i o n   pr e s e n t s   t h e   r e s u l t s   o f   o ur   e x pe r i m e n t ,   c o m pa r i ng  t h e   pe r f o r m a n c e   o f   t h e   I n do B E R T Lite - Ba s e - P2   m o de l   w h e n   us i ng  P C A   a n w h e n   n o t   us i ng  P C A .   T h e   pe r f o r m a n c e   o f   b ot h   m o de l s   i s   e v a l u a t e a n pr e s e n t e i n   T a bl e   8 .   A ppl y i n P C A   to  th e   I n d o B E R T L i t e - B a s e - P2   m o d e l   r e d uc e d   M A E   f r o m   0 . 4 11 5   to  0 . 3 58 4 ,   i n d i c a t i n i m pr o v e d   g r a d i n g   a c c u r a c y .   H ow e v e r ,   thi s   c a m e   a th e   c o s o f   a   s i gni f i c a n de c r e a s e   i n   QW K   f r o m   0 . 0 94 to  0 . 0 11 8 .   T hi s   f i n d i n s u gg e s t s   t h a di m e n s i o n a l i t y   r e d uc t i o n   us i n P C A   whi l e   i m pr o v i n a c c u r a c y ,   m a y   c o m pr o m i s e   t h e   m o d e l s   a b i l i t y   to  m a i n t a i n   c on s i s t e n j udgm e n t s   r e l a t i v e   to  a c tu a l   l a b e l s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       I ndone s ian  automated  s hor t - ans w e r   gr ading  us ing   tr ans f or me r s - bas e s e mantic    ( Samue Sit ume ang )   1041   T a bl e   8.   I m pa c t   o f   P C A   o n   I n do B E R T L i t e - b a s e - P m o de l   pe r f o r m a n c e   M o de l   M A E   Q W K   I ndoB E R T L i te - B a s e - P2   0.4115   0.0942   I ndoB E R T L i te - B a s e - P2   w i th  P C A   0.3584   0.0118       13.   CONC L USI ON   T hi s   s t ud y   e x a mi ne s   t h e   i nf l ue n c e   o f   v a r i o us   c o m po n e n t s - n a m e ly   B E R T   m o de l   v a r i a n t s ,   t e x pr e - pr o c e s s i n s t r a t e gi e s ,   h a n d - e n g i ne e r e f e a t ur e s ,   s pa r s e   r e pr e s e n t a t i o n s ,   a n d i m e ns i o n a li t y   r e duc t i o n - o n   t h e   e f f e c t i v e n e s s   o f   a n   A S A s y s t e m   gr o un de i s e m a n t i c   s i mi l a r i t y .   W hil e   d i f f e r e n c e s   i n   B E R T   m o de l   s e l e c t i o n   do   l e a t o   s o m e   pe r f o r m a nc e   v a r i a t i o n,   t h e   r e s u l t s   i nd i c a t e   t h a t   m e t i c u l o us   t e x t   pr e - pr o c e s s i ng     a n t h e   i nc l u s i o n   o f   c a r e f u l ly   c r a f t e l i ngu i s t i c   f e a t ur e s   h a v e   a   m o r e   s ubs t a n t i a l   e f f e c t   o n   i mpr o vi n   gr a d i n a c c ur a c y .   T h e   im p l e m e n t a t i o n   o f   c o m p r e h e n s i ve   pr e - pr o c e s s i ng  s t a ge s ,   i n c l ud i ng  to ke ni z a t i o n ,   n o r m a li z a t i o n ,   a n s t o p   w o r r e m o va l ,   c o n s i s t e n t l y   e nh a n c e t h e   s y s t e m s   pe r f o r m a n c e .   M o r e o v e r ,   t h e   a dd i t i o n   o f   h a n d - e n g i ne e r e f e a t ur e s ,   s uc h   a s   l e xi c a l   d i ve r s i t y ,   s e m a n t i c   de pt h ,   a n gr a mm a t i c a c h a r a c t e r i s t i c s ,   f ur t h e r   i m pr o v e t h e   s y s t e m s   a bil i t y   t r e pl i c a t e   h u m a n - li ke   e va l u a t i o ns   by   e n r ichi ng  i t s   li ngu i s t i c   c o m pr e h e ns i o n .   Ho we v e r ,   a l t h o ugh   d i mens i o n a li t y   r e duc t i o n   t e c hni que s   s u c h   a s   P C A   r e d u c e   da t a   c o m p l e xi t y   a n a i n u m e r i c a l   pr e d i c t i o n ,   t h e y   o c c a s i o n a ll y   i n t r o duc e   i n c o ns i s t e n c i e s   i n   gr a d i n out c o m e s ,   s ugge s t i n a   n e e f o r   b a l a n c e   w h e n   a pp lyi ng  s uc h   m e t h o ds .   L o o ki n a h e a d,   t h e r e   a r e   s e v e r a l   pr o m i s i ng  d i r e c t i o n s   t e nh a n c e   A S A s y s t e m s .   On e   s u c d i r e c t i o n   i nv o l v e s   de ve l o p i n a da pt i v e   B E R T   m o de l s   t a i l o r e to  di v e r s e   to pi c s   a n l i ngu i s t i c   c o m p l e xi t i e s .   T hi s   a ppr o a c h   i nv o l v e s   e i t h e r   f i ne - t uni ng  e xi s t i ng   pr e - t r a i n e m o de l s   w i t h   do m a i n - s pe c if i c   da t a   o r   a pp l yi ng   t r a n s f e r   l e a r ni ng  s t r a t e gi e s   to   a da p t   t h e i r   ge n e r a l   lan gua g e   un de r s t a n d i ng  f o r   s pe c i a li z e t a s ks .   A dd i t i o n a ll y ,   f ut ur e   s y s t e m s   s h o u l m o v e   b e y o n s e m a n t i c   s im il a r i t y   a l o n e   by   i nc o r por a t i n s y n t a c t i c   a n pr a g m a t i c   f e a t ur e s ,   a l l o w i ng  f o r   a   m o r e   c o m pr e h e n s i ve   a n n ua nc e a s s e s s m e n t   o f   s t ude n t   r e s po n s e s .   An o t h e r   pr o s pe c t i v e   pa t h   i nv o l ve s   m u l t i - m o da l   a ppr o a c h e s   t h a t   i n t e gr a t e   s e m a n t i c ,   s y n t a c t i c ,   a n pr a c t i c a l   a n a ly s e s   w i t h   s o phi s t i c a t e r e pr e s e n t a t i o n   t e c h ni que s   to  c r e a t e   m o r e   r o b us t   a n b a l a n c e gr a d i n f r a m e wo r ks .   A d v a n c e m e n t s   i n   t h e s e   a r e a s   w i l l   h e l b u il A S A s y s t e m s   t h a t   a r e   n ot  o nl y   m o r e   a c c ur a t e   a n c o n s i s t e n t   b ut   a l s o   b e tt e r   a l i g ne w i t h   h u m a n   e v a l ua t i v e   s t a n da r ds ,   u l t i m a t e l y   e nh a n c i ng  t h e   qua l i t y   a n r e l i a bil i t y   o f   a uto m a t e a s s e s s m e n t   i n   e duc a t i o n a l   c o n t e x t s .       AC K NOWL E DGE M E NT S   T h e   a ut h o r s   w o ul l i ke   to  t h a n t h e   R e s e a r c h   a n C o m m u ni t y   S e r vi c e   U ni t   ( L P P M )     o f   I ns t i t ut   T e kn o l o g i   De l   f o r   t h e i r   s po n s o r s hi a n f i na nc i a l   s uppo r t .   F ur t h e r m o r e ,   s pe c i a l     a c kn o w l e dg m e n t   i s   g i v e n   t o   R o s ni   L u m ba n t o r ua n   a n S us i   E v a   M a r i a   P ur b a   f o r   t h e i r   va l u a bl e   f e e dba c k     o n   t hi s   wo r k.       F UN DI NG  I N F ORM AT I ON   T hi s   r e s e a r c h   wa s   f u n de by   t h e   R e s e a r c h   a n C o m m u ni t y   S e r vi c e   Uni t   o f   I ns t i t u t   T e kn o l o g i   De l .   T h e   f u n d i ng  a ge nc y   ha n o   r o l e   i t h e   s t ud y   de s i g n ,   da t a   c o l l e c t i o n   a n a n a ly s i s ,   de c i s i o n   t o   pu bli s h ,   o r   ma n u s c r i pt   pr e pa r a t i o n .       AUT HO CONT RI B UT I ONS   S T AT E M E N T     Nam e   of   Aut h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   S a m ue l   S i t u m e a n g                               S a r a h   R o s d i a n a   T a m b u n a n                               L i d i a   G i n t i ng                               W a hy K r i s da n go l y a n t i   S i m a m o r a                               W i nda   S a r i   B ut a r B ut a r                                 C     C o n c e pt ua li z a ti o n   M     M e th o d o l o g y   So     So f twa r e   Va     Va li da ti o n   Fo     Fo r ma a na l y s is   I     I nve s ti ga ti o n   R     R e s o u r c e s   D   :   D a ta  C ur a ti o n   O   :   W r it in -   O r ig in a D r a f t   E   :   W r it in -   R e v i e w  &   E di ti ng   Vi     Vi s ua li z a ti o n   Su     Su pe r v is io n   P     P r o j e c a dmi ni s tr a ti o n   Fu     Fu ndi ng a c qui s it i o n       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8776   I n t   J   I n f   &   C o m m u n   T e c hn o l Vo l .   1 4 ,   N o.   3 De c e m be r   20 2 5 :   1034 - 1043   1042   CONF L I CT   OF   I NT E RE S T   S T AT E M E NT   A ut h o r s   s t a t e   n c o nf li c t   o f   i n t e r e s t .       DA T AV AI L AB I L I T Y   T h e   da t a   ge n e r a t e a n a n a ly z e dur i ng  t hi s   s t ud y   a r e   a v a i l a bl e   f r o m   t h e   c o r r e s po n d i n a ut h o r   up o r e a s o n a bl e   r e que s t .       RE F E R E NC E S   [ 1]   L Y a e al . P r a c ti c a a nd  e th ic a c ha ll e ng e s   of   la r g e   la ngua ge   mo d e ls   in   e duc a ti o n:   a   s y s te ma ti c   s c o pi ng  r e vi e w ,”     B r it is h J our nal  o f  E duc at io nal  T e c hnol ogy , vo l.  55, n o . 1, pp. 9 0 112, J a n. 2024, do i:  10.1111/bj e t. 13370.   [ 2]   D R a me s a nd  S K S a na mpudi A a ut o ma te d   e s s a y   s c o r i ng  s y s te ms a   s y s t e ma ti c   l it e r a tu r e   r e v i e w ,”   A r ti f ic ia I nt e ll ig e nc e   R e v ie w , vol . 55, n o .   3, pp. 2495 2527, M a r . 2022, do i:  10.1007 /s 10462 - 021 - 10068 - 2.   [ 3]   S H a ll e r A A ld e a C S e if e r t,   a nd  N S tr is c iu gl io S ur ve y   on  a ut o ma te s hor a ns w e r   gr a di ng  w it de e le a r ni ng:   f r o w o r d   e mb e ddi ngs  t o   tr a ns f or m e r s ,”  vo l.  1, n o . 1, M a r . 2022, [ O nl in e ] . A v a il a bl e ht tp :/ /a r x i v . or g/ a bs /2 204.03503.   [ 4]   Y K uma r S A gga r w a l,   D M a ha ta R R S ha h,  P K uma r a gur u,  a nd  R Z im me r ma nn,  G e it   s c or e us in a ut o s a s   -   A a ut o ma t e s y s t e f o r   s c o r in s h o r a ns w e r s ,”   33r A A A I   C onf e r e nc e   on  A r ti f ic ia I nt e ll ig e nc e A A A I   2019,  31s I nnov at iv e   A ppl ic at io ns   of   A r ti f ic ia I nt e ll ig e nc e   C onf e r e n c e I A A I   2019   a nd  th e   9t A A A I   Sy m pos iu m   on  E duc at io nal   A dv anc e s   in   A r ti f ic ia I nt e ll ig e nc e , E A A I  2019 vol . 33, n o . 01, pp. 9662 9669, J ul . 2019, do i:  10.1609/aa a i. v 33i 01.3301966 2.   [ 5]   S H a s s a n,  A A F a hm y a nd   M E l - R a ml y A ut o ma ti c   s h o r t   a ns w e r   s c o r in ba s e o pa r a gr a ph  e mb e ddi n gs ,”     I nt e r nat io nal   J our nal   of   A dv anc e C om put e r   Sc ie nc e   a nd  A ppl ic at io ns vo l.   9,  n o 10,   pp.  397 402,  2018,  do i:   10.14569/I J A C S A .2018.091048.   [ 6]   W . H G o ma a  a nd A . A . F a hm y A ns 2v e c :   a s c or in g s y s te m   f or   s hor ans w e r s , v o l.  921.  S pr in g e r   I nt e r na ti o na P ubl is hi ng, 202 0.   [ 7]   P S hw e ta   a nd  K A dhi y a C o mpa r a ti ve   s tu d y   of   f e a tu r e   e ngi n e e r in f or   a ut o ma t e s h o r a ns w e r   gr a di ng,”   in     P r oc e e di ngs   -   2022  I E E E   W or ld   C onf e r e nc e   on  A ppl ie I nt e ll ig e nc e   and  C o m put in g,  A I C   2022 J un.   2022,  pp.  594 5 97,     do i:  10.1109/A I C 55036.2022.9848851.   [ 8]   C C a i,   A ut o ma ti c   e s s a y   s c o r in w it h   r e c u r r e nt   n e ur a n e tw o r k,”   in   A C M   I nt e r nat io nal   C onf e r e nc e   P r oc e e di ng  Se r ie s M a r .   2019, pp. 1 7, do i:  10.1145/3318265.3 318296.   [ 9]   L .  Z ha ng, Y.  H ua ng, X.  Y a ng, S . Y u, a nd  F . Z hua ng, “ A n a ut oma ti c  s h o r t - a ns w e r  gr a di ng  m o de f o r  s e mi - o pe n - e nd e d  que s ti ons ,”   I nt e r ac ti v e  L e ar ni ng E nv ir onm e nt s , v o l.  30, n o . 1, pp. 177 190,  J a n. 2022, do i:  10. 1080/10494820.201 9.1648300.   [ 10]   U K C ha kr a bo r t y   a nd  A M is hr a A ut o ma ti c   s hor a ns w e r   gr a di ng  us in a   L S T M   ba s e a ppr o a c h,”   in     P r oc e e di ngs   -   2023  I E E E   W or ld   C onf e r e nc e   on  A ppl ie I nt e ll ig e nc e   and  C om put in g,  A I C   2023 J ul 2023,  pp.  332 337,    do i:  10.1 109/ A I C 57670.2023.10263899.   [ 11]   A V a s w a ni   e al . A tt e nt io is   a ll   y ou  n e e d,”   A dv anc e s   in   N e ur al   I nf or m at io P r oc e s s in Sy s te m s vo l.   2017 - D e c e m,    pp. 5999 6009, 2017.   [ 12]   L C a mus   a nd  A F il ig he r a I nve s ti ga ti ng  tr a ns f o r m e r s   f o r   a ut o ma ti c   s ho r a ns w e r   gr a di ng,”   in   L e c tu r e   N ot e s   in   C om p ut e r   Sc ie nc e   ( in c lu di ng  s ubs e r ie s   L e c tu r e   N ot e s   in   A r ti f ic ia I nt e ll ig e nc e   and  L e c tu r e   N ot e s   in   B io in f or m at ic s ) vo l.   12164   L N A I 2020, pp.  43 48.   [ 13]   M T ha kka r F in e tu n in tr a ns f or m e r   m o d e ls   to   bui ld   A S A G   s y s t e m,”   A r x iv S e p.  2021,  [ O nl in e ] A v a il a bl e :   ht tp :/ /a r x i v . o r g/ a bs /2 109.12300.   [ 14]   X Z hu,  H W u,  a nd  L Z ha ng,  A ut o ma ti c   s hor t - a ns w e r   gr a di ng  v ia   B E R T - ba s e d   de e n e ur a l   ne twor ks ,”   IE E E   T r ans ac ti ons   on   L e ar ni ng T e c hnol ogi e s , v o l.  15, n o . 3, pp. 364 375, 2022, d o i:   10.1109/ T L T .2022.3175537.   [ 15]   D H A lh a me d,  A M A la jm i,   T A A lq a ht a ni Y H A la li M R A ln a s s a r a nd  D .   A A la bba d,  iG r a de a a ut o ma t e s ho r t   a ns w e r   gr a di ng  s y s te m,”   in   A C M   I nt e r nat io nal   C onf e r e nc e   P r oc e e di ng  Se r ie s D e c 2022,  pp.   110 116,  do i:   10.1145/3582768.35 82790.   [ 16]   H R S a li m,  C D e N D P r a ta ma put r a a nd  D S uha r to n o I ndo n e s ia a ut o ma ti c   s ho r a ns w e r   gr a di ng  s y s t e m,”   B ul le ti of   E le c tr ic al  E ngi ne e r in g and I nf o r m at ic s  ( B E E I ) vo l.  11, n o . 3,  pp. 1586 1603, J un. 2022, do i:  10.11591/ e e i. v 11i 3.3531.   [ 17]   S I G S it um e a ng,  R M G T S ih it e H S im a nj unt a k,  a nd  J A ma li a A   de e l e a r ni ng - ba s e d   r e gr e s s io a ppr o a c t o   in d o n e s ia n   s ho r a ns w e r   gr a di ng  s y s te m,”   in   A C M   I nt e r nat io nal   C onf e r e nc e   P r oc e e di ng  Se r ie s ,   O c t.   2023,  pp.  201 209,   do i:   10.1145/3626641.36 26929.   [ 18 ]   I D M a r di ni   G C G Q ui nt e r o   M C A V il o r ia   N W .   S P e r c y br oo ks   B H S R o b le s   N a nd  K V il la lb a   R ,   A   de e p - le a r n i ng - ba s e gr a di ng  s y s te ( A S A G )   f or   r e a di ng  c ompr e he ns i o a s s e s s me nt   b y   us in a ph o r is ms   a s   o pe n - a ns w e r - qu e s ti o ns ,”   E duc at io n   and I nf o r m at io n T e c hnol ogi e s , v ol . 29, n o . 4, pp. 4565 4590,  M a r . 2024, do i:  10.1007/s 10639 - 023 - 11890 - 7.   [ 19]   C P a r e al . T hi s I s C o mp e ti ti o a S e m E v a l - 2019  ta s 9:   B E R T   is   uns ta bl e   f o r   o ut - of - d o ma in   s a mpl e s ,”   N A A C L   H L T   20 19  -   I nt e r nat io nal   W or k s hop  on  Se m ant i c   E v al uat io n,  Se m E v al   201 9,  P r oc e e di ngs   o f   th e   13t W or k s hop v o l.   1,  no 1,  pp.  1254 1261,  2019, do i:  10.18653/ v 1/ s 19 - 2220.   [ 20]   S B ir d,  E K l e in a nd  E L o p e r N at ur al   L anguage   P r oc e s s in w it P y th on :   A nal y z in T e x w it th e   N at ur al   L anguage   T o ol k it .   nl tk . or g . O R e il l y  M e di a , I n c ., 2023.   [ 21]   H C hi mi ng y a ng,  A a ut o ma ti c   s y s t e m   f o r   e s s a y   que s ti o ns   s c o r in ba s e o L S T M   a nd  W o r d   E mb e ddi ng,”   in   P r oc e e di n gs   -   2020  5t I nt e r nat io nal   C on f e r e nc e   on   I nf o r m at io Sc ie nc e C om put e r   T e c hnol ogy   and  T r ans po r ta ti on,   I SC T T   2020 N o v 2 020,   pp. 355 364, do i:  10.1109/ I S C T T 51595.2020.00068.   [ 22]   A . F il ig h e r a T . S t e u e r ,  a nd C . R e ns in g, “ F ool in g a ut o ma ti c  s h o r t  a ns w e r  gr a di ng s y s t e ms ,”  i n   L e c tu r e  N ot e s  i n C om put e r  Sc i e nc e   ( in c lu di ng  s ubs e r ie s   L e c tu r e   N ot e s   in   A r ti f ic ia I nt e ll ig e nc e   and  L e c tu r e   N ot e s   in   B io in f or m at ic s ) vo l.   12163  L N A I 20 20,    pp. 177 190.   [ 23]   F R a hut o m o   e al . O pe pr o bl e ms   in   I nd o n e s ia a ut o ma ti c   e s s a y   s c o r in s y s t e m,”   I nt e r nat io nal   J our nal   of   E ngi ne e r in T e c hnol ogy , vo l.  7, n o . 4.44, p. 156, 2018,   d o i:  10.14419/i j e t. v 7 i4 .44.26974.   [ 24]   J D e vl in M W C ha ng,  K .   L e e a nd  K T out a nov a ,   B E R T :   pr e - tr a in in g   of   d e e bi di r e c ti o na tr a ns f or m e r s   f o r   la ng ua ge   unde r s ta ndi ng,”   in   N A A C L   H L T   2019  -   2019  C onf e r e nc e   o f   t he   N or th   A m e r i c an  C hapt e r   o f   th e   A s s o c ia ti on  f o r   C om put at i onal   L in gui s ti c s :  H um an L anguage  T e c hnol ogi e s   -   P r oc e e di ngs  o f  t he  C onf e r e n c e , 2019, v o l.  1, pp. 4171 4186.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t   J   I n f   &   C o m m u n   T e c hn o l     I S S N:   2252 - 8776       I ndone s ian  automated  s hor t - ans w e r   gr ading  us ing   tr ans f or me r s - bas e s e mantic    ( Samue Sit ume ang )   1043   [ 25]   B W il ie   e al . I ndo N L U b e n c hma r a nd  r e s o u r c e s   f o r   e v a lu a ti ng   I nd o n e s ia na tu r a la ngua ge   unde r s ta n di ng,”   ar X iv ,     S e p.  2020.   [ 26]   A . A iz a w a , “ A n i n f or ma ti o n - th e o r e ti c  p e r s p e c t i v e   of   TF - I D F   m e a s ur e s ,”   I nf or m at io P r oc e s s in g and M anage m e nt , vo l.  39,  n o. 1,  pp. 45 65, J a n. 2003, do i:  10.1016/S 0306 - 4573 ( 02) 00021 - 3.   [ 27]   G M a r e nt a ki s   a nd  J H öl z l,   C o mpr e s s io e f f i c i e n c y   a nd  s ig na di s to r ti o of   c o mm o P C A   ba s e s   f or   H R T F   m o d e ll in g,”   P r oc e e di ngs  of  t he  Sound and M us ic   C om put in g C on f e r e nc e s vo l.  2021 - J un e , pp. 60 67, 2021.   [ 28]   N A K ur dhi   a nd  A S a x e na E v a lu a ti ng  qua dr a ti c   w e ig ht e K a ppa   a s   th e   s ta nda r pe r f or ma nc e   me tr i c   f o r   a ut o ma t e e s s a y   s c or in g,”   I nt e r nat io nal  E duc at io nal  D at a M in in g Soc ie ty , no . J ul y , pp. 103 113, 2023.   [ 29]   A P r a bhude s a a nd  T N B D u o ng,  A ut o ma ti c   s h o r a ns w e r   gr a di ng  us in s ia me s e   B id ir e c ti o na L S T M   ba s e r e g r e s s io n,   in   T A L E   2019  -   2019  I E E E   I nt e r nat io nal   C onf e r e n c e   on  E ngi ne e r in g,  T e c hnol ogy   and  E duc at io n D e c 2019,  pp.  1 6,    do i:  10.1109/ T A L E 48000.2019.9226026.       B I OG RA P HI E S   OF   AU T HO RS       Sa m u e l   Si t um ea n g           recei v ed   h i s   b ach e l o r s   d e g r ee   i n   t h e   I n f o r m at i o n   T ech n o l o g y   St u d y   Pr o g ra m ,   Fa cu l t y   o Co m p u t e S c i en ce   an d   I n f o r m at i o n   T ech n o l o g y ,   U n i v e rs i t as   Su m at e ra  U t ara,   I n d o n e s i a,   i n   2 0 1 4 .   H e   rece i v e d   h i s   m as t e r s   d e g r ee   fro m   t h e   D e p art me n t   o Co m p u t e r   S c i en ce  an d   I n fo r m at i o n   E n g i n ee r i n g ,   Co l l e g o f   E n g i n ee r i n g ,   N at i o n a l   C h u n g   Ch en g   U n i v e r s i t y ,   T ai w a n ,   i n   2 0 1 7 .   H c u rr en t l y   l ect u re s   i n   t h I n f o r m at i o n   S y s t em   St u d y   Pro g ra m ,   Fa cu l t y   o In fo r m at i c s   an d   E l ec t ri c al   E n g i n ee ri n g ,   I n s t i t u t   T e k n o l o g i   D el .   H i s   m ai n   re s e ar ch   i n t e r e s t   i s   A I - d r i v en   s o l u t i o n s   f o ed u c at i o n   an d   cu l t u ra l   h e ri t ag e ,   w h i ch   i n t e rs ec t   ar e as   of   d at s c i en ce ,   n at u ra l   l a n g u ag e   p ro ce s s i n g ,   an d   co m p u t e v i s i o n .   H e   c an   b e   c o n t ac t ed   at   em a i l :   s am u e l . s i t u me an g @ d e l . a c. i d .       Sa ra h   R o s di a n a   Ta m b un a n           re cei v ed   h e b a c h el o r s   d e g r ee   i n   t h e   In fo r m at i o n   S y s t em   St u d y   Pro g ram,   Fa c u l t y   o In fo r m at i c s   an d   E l ec t ri c al   E n g i n ee ri n g ,   I n s t i t u t   T e k n o l o g i   D el ,   I n d o n e s i a,   i n   2 0 1 9 .   Sh r ece i v e d   h e r   m as t e r s   d e g ree  fro t h Co m p u t e S ci e n ce s   Mas t e r   Pro g ra m ,   Facu l t y   o f   Mat h em at i c s   a n d   N at u ral   S c i en ce s ,   U n i v e rs i t as   G ad j ah   Mad a,   I n d o n e s i a,   i n   2 0 2 3 .   Sh c u rr e n t l y   l ec t u r e s   i n   t h e   In fo r m at i o n   S y s t em  St u d y   Pro g ra m ,   Fa cu l t y   o f   I n f o r m at i c s   an d   E l ec t ri c a l   E n g i n ee ri n g ,   In s t i t u t   T e k n o l o g i   D el .   H e r   r e s e ar ch   f o c u s e s   o n   s o ft w ar e   e n g i n ee ri n g   an d   d at s ec u r i ty .   S h e   c an   b e   co n t a c t ed   at   em ai l :   s arah . t am b u n an @ d el . a c . i d .       Li di a   Gi n t i n g           h e r   b ac h el o r s   d e g r ee   i n   t h e   In fo r mat i o n   S y s t em   St u d y   Pro g ra m,   Fac u l t y   o In fo r m at i c s   an d   E l ec t ri c al   E n g i n ee ri n g ,   In s t i t u t   T e k n o l o g i   D el ,   I n d o n e s i a,   i n   2 0 2 4 .   H e r   r e s e ar c h   i n t e r e s t s   are   n at u ra l   l a n g u ag e   p ro ce s s i n g ,   d at mi n i n g ,   an d   ed u c at i o n   t ec h n o l o g y Sh e   c an   b e   co n t a c t ed   at   em ai l :   l i d i a g i n t i n g 2 4 3 @ g m a i l . co m .       Wa h y u   Kr i s da n g o l y a n ti   Si m a m o ra           h e b ach e l o r s   d eg r e i n   t h e   I n f o r m at i o n   S y s t em   St u d y   Pro g ram,   Fa c u l t y   o In fo r m at i c s   an d   E l ec t ri c al   E n g i n ee ri n g ,   I n s t i t u t   T e k n o l o g i   D el ,   In d o n e s i a,   i n   2 0 2 4 .   H e re s e ar c h   i n t e r e s t s   are   n at u r al   l an g u a g e   p ro c e s s i n g ,   d at m i n i n g ,   an d   e d u c a t i o n   t e c h n o l o g y .   Sh e   c an   b e   c o n t ac t e d   a t   e m ai l :   w ah y u k ri s d an g o l y an t i s i m am o ra@ g m ai l . c o m .       Wi n da   Sa ri   Bu ta rBu ta         h e b ach e l o r s   d e g r ee   i n   t h e   In fo r m at i o n   S y s t em   St u d y   Pro g ra m ,   Fa c u l t y   o In fo r m at i c s   a n d   E l ec t ri c a l   E n g i n ee ri n g ,   In s t i t u t   T e k n o l o g i   D el ,   In d o n e s i a ,   i n   2 0 2 4 .   H e r e s e ar ch   i n t e re s t s   are   n at u ral   l an g u a g e   p ro ce s s i n g ,   d at m i n i n g ,   an d   e d u c at i o n   t e ch n o l o g y .   S h e   c a n   b c o n t ac t e d   at   em ai l :   w i n d ad r i n i 2 6 @ g m ai l . co m .     Evaluation Warning : The document was created with Spire.PDF for Python.