I nte rna t io na l J o urna l o f   Adv a nces in Applie Science s   ( I J AAS)   Vo l.  14 ,   No .   2 J u n 2 0 2 5 ,   p p .   490 ~ 5 0 1   I SS N:  2252 - 8 8 1 4 DOI 1 0 . 1 1 5 9 1 /ijaas . v 14 . i 2 . pp 490 - 5 0 1           490       J o ur na l ho m ep a g e h ttp : //ij a a s . ia esco r e. co m   Usa bility ev a lua tion o To Aksa ra   a Ba linese  scrip l ea rning   mo bile app lica tio n       G ede  I nd ra wa n 1, 2 Sa riy a s a 2, 3 L uh   J o ni E ra wa t i   Dewi 2, 4 M a de  Sa nto   G it a k a r m a 1   I   M a de  Ag us   O k a   G un a wa n 5 P utu  Ade  P ra na t a 2   1 D e p a r t me n t   o f   El e c t r o n i c   S y st e ms E n g i n e e r i n g   T e c h n o l o g y En g i n e e r i n g   a n d   V o c a t i o n a l   F a c u l t y U n i v e r si t a s P e n d i d i k a n   G a n e sh a S i n g a r a j a ,   I n d o n e si a   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   P o st g r a d u a t e   P r o g r a m U n i v e r s i t a s Pe n d i d i k a n   G a n e s h a S i n g a r a j a ,   I n d o n e si a   3 D e p a r t me n t   o f   Ma t h e m a t i c s   Ed u c a t i o n F a c u l t y   o f   M a t h e m a t i c a n d   N a t u r a l   S c i e n c e s U n i v e r s i t a s Pe n d i d i k a n   G a n e s h a   S i n g a r a j a ,   I n d o n e si a   4 D e p a r t me n t   o f   S o f t w a r e   En g i n e e r i n g   Te c h n o l o g y ,   En g i n e e r i n g   a n d   V o c a t i o n a l   F a c u l t y ,   U n i v e r s i t a s Pe n d i d i k a n   G a n e s h a ,     S i n g a r a j a ,   I n d o n e si a   5 D e p a r t me n t   o f   I n f o r mat i o n   S y s t e m,   F a c u l t y   o f   S c i e n c e   a n d   Te c h n o l o g y U n i v e r si t a s   Ta b a n a n ,   Ta b a n a n ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 9 ,   2 0 2 4   R ev is ed   Ap r   2 4 ,   2 0 2 5   Acc ep ted   Ma y   1 0 ,   2 0 2 5       To Ak sa ra   a p p li c a ti o n   tran sl it e ra tes   Latin   te x i n t o   Ba li n e se   sc rip a n d   h a s   b e e n   u se d   in   h ig h   sc h o o tea c h in g   a n d   lea rn i n g   a c ti v i ti e in   Bu lele n g   Re g e n c y ,   Ba li ,   I n d o n e sia .   T h is  a p p li c a ti o n   wa s   e x p e c ted   t o   p r o v i d e   c o m fo r t   a n d   sa ti sfa c ti o n   fo r   stu d e n ts  w h il e   lea rn in g   th e   Ba li n e se   lan g u a g e   a n d   sc rip t To   m e a su re   th e   c o m fo rt  a n d   sa t isfa c ti o n   lev e l,   a   u sa b il it y   e v a l u a ti o n   wa s   c a rried   o u t   t h a fo c u se d   o n   th e   a p p li c a ti o n ' e n d   u se r.   Th is  re se a rc h   u se d   a   c o m b in a ti o n   o c o n c u rre n t h in k - a l o u d   (CTA)  a n d   u se e x p e rien c e   q u e stio n n a ire  (UEQ) t o   e v a lu a te  To Ak sa ra .   In   CTA,   d a ta co ll e c ti o n   in v o l v e d   n in e   re sp o n d e n ts  g i v e n   a   tas k   s c e n a rio   a n d   e x p re ss in g   t h e ir  p r o b lem o r   in p u t.   In   UEQ,   d a ta   c o ll e c ti o n   in v o lv e d   3 8 5   re sp o n d e n ts   wh o   c h o se   t h e   v a lu e   c lo se st  t o   th e ir   imp re ss io n   o 2 6   sta tem e n ts.  Ba se d   o n   t h e   a n a ly sis   re su lt s,  CTA  p ro d u c e d   se v e ra re c o m m e n d a ti o n fo imp r o v in g   th e   a p p li c a ti o n   re g a rd i n g   n a v ig a ti o n ,   fu n c ti o n a li t y ,   a n d   e rro rs.   Ba se d   o n   t h e   a n a ly sis,  th e   u se sa ti sfa c ti o n   re su lt s sh o we d   th a a ll   a sp e c ts we r e   in c lu d e d   i n   th e   e x c e ll e n c a teg o ry .   Th e   a sp e c ts  o a tt ra c ti v e n e ss ,   p e rsp icu it y ,   e fficie n c y ,   d e p e n d a b il it y ,   st imu latio n ,   a n d   n o v e l ty   e a c h   p r o d u c e d   a   v a lu e   o 2 . 1 4 4 ,   2 . 2 2 0 ,   2 . 3 8 5 ,   2 . 3 4 5 ,   2 . 1 3 9 ,   a n d   2 . 1 0 1 .   T h e   e x c e ll e n t   c a teg o ry   s h o ws   t h a t   To Ak sa ra   wa s   in c l u d e d   in   t h e   ra n g e   o f   th e   to p   1 0 %   o p ro d u c ts  c o m p a re d   t o   th e   UEQ b e n c h m a rk .     K ey w o r d s :   B alin ese  s cr ip t   C o n cu r r en t th i n k - alo u d   T r an s liter ate   Usab ilit y   e v alu atio n   User   ex p er ien ce   q u esti o n n air e   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Sar iy asa   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   Po s tg r ad u ate  Pr o g r am ,   Un iv er s itas   Pen d id ik an   Gan esh a   St .   Ud ay an 1 1 ,   Sin g ar aja,   B a li 8 1 1 1 6 ,   I n d o n esia   E m ail:  s ar iy asa@ m o b ileco m p u tin g . id       1.   I NT RO D UCT I O N   T h Go v er n m en h as  p r eser v e d   th B alin ese  lan g u ag an d   s cr ip b y   is s u in g   r e g io n al  r e g u l atio n s   th at  in clu d lear n in g   th B alin ese  lan g u ag an d   s cr ip in   th s ch o o cu r r icu l u m   [ 1 ] .   I n   ad d itio n ,   an o th er   a p p r o ac h   tak en   to   h elp   p r e s er v B alin ese  cu ltu r e,   esp ec ially   th B alin ese  lan g u ag an d   s cr ip t ,   is   th cu r r en tly   d ev elo p in g   tech n o l o g ical  ap p r o ac h .   Sev er al  tech n o lo g ical  in n o v atio n s   h av b ee n   p r o d u ce d   f r o m   r esear c h o n o f   th e   tech n o l o g ical  in n o v atio n s   p r o d u ce d   is   th B al in ese  s cr ip tr an s liter atio n   ap p licatio n   [ 2 ] .   T h is   ap p licatio n   was  d ev el o p ed   u s in g   two   tr a n s liter atio n   m o d els,  n am ely   t r an s liter atio n   o f   L atin   tex in to   B alin ese  s cr ip [ 3 ]   a n d   tr an s liter at io n   o f   B alin ese  s cr ip in to   L atin   te x [ 4 ] .   T o A k s ar ap p licatio n   ( T o Ak s ar a,   in   s h o r t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Usa b ilit ev a lu a tio n   o f To A ks a r a   a s   B a lin ese  s crip t le a r n in g   mo b ile  a p p lica tio n   ( Ged I n d r a w a n )   491   f o r   th e   s u b s eq u en t   r ef er e n ce s )   was  p r o d u ct  r esu lt o f   r esear ch   im p lem en tin g   tr an s liter atio n   m o d el  f o r   L atin   tex in to   B alin ese  s cr ip [ 5 ] ,   as  s h o wn   in   Fig u r 1 .   Fig u r e   1 ( a)   s h o ws  an   e m p ty   in p u t - o u tp u with   s im p le   u s er   g u id e   o n   th T o Ak s ar a p p licatio n ,   Fig u r 1 ( b )   s h o ws  L atin   in p u th at   g en e r ates  s im ilar ity - r an k in g - b ased   wo r d s   with   t h eir   I n d o n e s ia n   an d   E n g lis h   tr an s latio n s ,   an d   Fig u r e   1 ( c )   s h o ws  th e   B alin ese  s cr ip o u tp u r elate d   to   th L atin   in p u t,  an d   its   s im ilar ity - r an k in g - b ased   wo r d s   th at  wer g en er ated   u p o n   p r ess in g   th Go !   b u tto n .   T h tr an s liter atio n   s tate - of - th e - ar in clu d e d   th h an d lin g   a lg o r ith m   o f   th e   B alin ese  s cr ip as  Ab u g id a   [ 6 ]   th at  u s ed   m ath em atica m o d el  o f   f in ite - s tate  m ac h in [ 7 ] [ 1 0 ]   an d   u tili ze d   u n ico d f o n [ 1 1 ] ,   [ 1 2 ]   t o   r en d er   B alin ese  s cr ip t,  in clu d i n g   its   n o n - alp h a n u m er ic  g ly p h s   [ 1 3 ] ,   o n   th ap p licatio n   o u tp u t.  As  o n o f   th e   ap p licatio n s   d e v elo p ed   f o r   tech n o lo g y - b ased   cu ltu r al   p r eser v atio n ,   th is   ap p licatio n   s u p p o r ts   lear n in g   ac tiv ities   at  th h ig h   s ch o o l le v el  in   B u lelen g   R eg en cy ,   B ali,   I n d o n esia.             ( a)   ( b )   ( c)     Fig u r 1 .   T o Ak s ar a   ap p licatio n   with   ( a)   em p ty   in p u t - o u tp u t,   ( b )   L atin   i n p u t,  a n d   ( c)   B alin ese  s cr ip t o u tp u t       Usi n g   T o Ak s ar in   lear n in g   ac tiv ities   was  ex p ec ted   to   r e alize   ef f ec tiv an d   ef f icien u b iq u ito u s   lear n in g   ac tiv ities   f o r   th B alin ese  lan g u ag e   an d   s cr ip t .   T h is   g o al   was  ex p ec ted   to   b e   ac h i ev ed   wh en   s tu d en ts   f ee co m f o r tab le  an d   s atis f ied   u s in g   th ap p licatio n   in   th eir   lear n in g   ac tiv ities .   T o   m ea s u r th is ,   an   ev alu atio n   was  ca r r ied   o u t   in v o lv in g   s tu d en ts   wh o   u s th a p p licati o n ,   s o   t h at  it  was  k n o wn   h o co m f o r tab le  an s atis f ied   u s er s   wer in   u s in g   T o Ak s ar f o r   f u r th er   d ev elo p m en t.  Usab ilit y   ev alu atio n   is   o n s y s tem   ev alu atio n   m eth o d   th at  f o cu s es  o n   ev alu atin g   h o well  u s er s   ca n   lear n   an d   u s th s y s tem   an d   h o s atis f ied   u s er s   ar e   with   th p r o ce s s   in   th s y s tem   [ 1 4 ] .   T h e   u s ab ilit y   ev al u atio n   m eth o d s   ar e   ca teg o r ize d   in t o   in s p ec tio n ,   test in g ,   an d   in q u ir y   [ 1 5 ] T h e   in q u ir y   [ 1 6 ]   an d   test in g   m eth o d s   [ 1 7 ]   in v o lv e   u s er s   in   th e   ev alu atio n   p r o ce s s ,   s o   in   th is   r esear ch ,   b o t h   m eth o d s   wer u s ed   to   o b s er v u s er s   an d   th eir   r esp o n s es wh en   u s in g   T o Ak s ar a.   T h test in g   m eth o d   was  u s ed   to   o b s er v e   u s er s   wh en   u s in g   T o Ak s ar [ 1 5 ] ,   wh ile  t h in q u ir y   m eth o d   was  u s ed   to   m ea s u r u s er   s ati s f ac tio n   with   th ap p licatio n   [ 1 8 ] ,   [ 1 9 ] .   E v alu atio n   tech n i q u es  u s ed   in   u s ab ilit y   test in g   in clu d r em o te  test in g ,   co ac h in g ,   q u esti o n - ask in g   p r o to co l,  a n d   th i n k - alo u d   [ 2 0 ] .   T h in k - alo u d   h as  s ev er al  ad v an tag es,  in clu d in g   b ein g   ch ea p ,   s tr o n g ,   f lex ib le ,   r eliab le,   an d   ea s y   to   u s [ 2 1 ] ,   [ 2 2 ] .   R esear ch   co n d u cte d   u s in g   th in k - alo u d   h as  s u cc ee d ed   in   f in d in g   u s er   p r o b lem s ,   s u ch   as  o b s tacle s   ex p er ien ce d   wh en   ca r r y in g   o u a n   ac tio n   o r   task ,   in ter f ac p r o b lem s ,   a n d   s y s tem   f u n ctio n ality   th at  d o es  n o t   wo r k   [ 2 3 ] .   B a s ed   o n   th ev alu atio n   s tag e,   th i n k - alo u d   ca n   b e   d iv id e d   in to   co n cu r r en th in k - al o u d   ( C T A)   an d   r etr o s p ec tiv th in k - alo u d   ( R T A)   [ 2 3 ] ,   [ 2 4 ] .   T h C T tech n iq u is   ca r r ied   o u wh en   r esp o n d e n ts   ar in ter ac tin g   with   th s y s tem   [ 2 5 ] ,   [ 2 6 ] ,   wh ile  R T is   ca r r ied   o u wh en   r esp o n d en ts   h a v f in is h ed   in ter ac tin g   with   t h s y s tem   [ 2 7 ] .   T h e   C T tech n iq u is   b etter   th an   R T in   d etec tin g   u s ab ilit y   p r o b lem s   b ec a u s u s er s   will  d ir ec tly   ex p r ess   th eir   o p in io n s   u s in g   th e   s y s tem   [ 2 2 ] ,   [ 2 8 ] .   T h C T tech n iq u e   also   s av es  ev alu atio n   tim b ec a u s th ev alu atio n   p r o ce s s   d o es  n o t   r eq u i r v i d eo   r ep lay s   a n d   is   a n aly ze d   to g eth e r   with   r esp o n d en ts   [ 2 9 ] ,   [ 3 0 ] u s er   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   2 J u n 2 0 2 5 :   4 9 0 - 501   492   ex p er ien ce   q u esti o n n air ( UE Q)   is   o n ty p o f   q u esti o n n ai r f r o m   th i n q u ir y   m eth o d   t h at  ca n   b u s ed   to   m ea s u r u s er   s atis f ac tio n   [ 1 5 ] ,   [ 3 1 ] .   UE ca n   p r o v id an   o v er v iew  o f   th u s ab ilit y   asp ec o f   u s er   e x p er ien ce   [ 3 2 ] .   UE h as  s ix   asp ec ts   o f   u s er   ex p e r ien ce ,   with   2 6   s tate m en item s   to   m ea s u r e   u s er   s atis f ac tio n   [ 3 3 ] ,   [ 3 4 ] T h ap p licatio n   o f   UE u s u all y   tak es 3 - 5   m in u tes to   r ea d   an d   co m p lete  th e   q u esti o n n ai r [ 3 2 ] ,   [ 3 5 ] .   B ased   o n   t h e   l it e r a t u r e   r e v i ew ,   t h i s   r es e a r c h   c o n d u c t e d   a   u s e r - b a s e d   e v a l u at i o n   o f   T o Ak s a r a   a s   B a li n e s l a n g u a g e   a n d   s c r i p t   l ea r n i n g   a p p l i c a ti o n   a t   t h e   h i g h   s c h o o l   l e v e l   i n   B u l e l e n g   R e g e n c y ,   B a li ,   I n d o n e s ia .   T h e   e v a l u a t i o n   u s e d   C T A   an d   U E Q .   E v a l u a ti o n   u s i n g   C T A   p r o d u c e d   p r o b l e m s   a n d   r e c o m m e n d a t i o n s   a c c o r d i n g   t o   t h o s e   e x p r e s s e d   b y   u s e r s   w h e n   u s i n g   T o A k s a r a .   T h e   u s e r   s a t is f a ct i o n   v a l u e   o n   e a c h   a s p e c p r o d u c e d   u s i n g   U E Q   w a s   c o m p a r e d   w i t h   t h e   b e n c h m a r k   o n   t h e   U E Q   d a t a   a n a l y s is   t o o l   t o   o b t a i n   t h e   c a t e g o r i es  a c h i e v e d   f r o m   e a c h   a s p e c t   o f   th e   u s e r   e x p e r i e n c e   o f   T o A k s a r a .   T h e   f i n a l   r e s u l ts   o f   t h is   r e s ea r c h   w e r e   e x p e c t e d   t o   p r o d u c e   r e c o m m e n d a t i o n s   f o r   r e s e a r c h e r s   a n d   e d u c a ti o n   s t a k e h o l d e r s   i n   m a k i n g   p o l ic i e s   f o r   t h e   f u r t h e r   d e v e l o p m e n t   o f   T o A k s a r a   t o   s u p p o r t   t h e   p r e s e r v a t i o n   o f   t h e   B a li n e s e   l a n g u a g e   a n d   s c r i p t   th r o u g h   i n c r e a s i n g l y   e f f e c t i v e   a n d   e f f i ci e n t   t ec h n o l o g y - ba s e d   l e a r n i n g   a c ti v i t i es .   I n   th e   p a p e r ,   w e   d e s c r i b e d   t h e   r e s e a r c h   b a c k g r o u n d   a n d   p r o v i d e d   r e l a t e d   l it e r a t u r e   r e v ie ws   in   s e c t i o n   1 .   T h e   r e s e a r c h   m e t h o d   w as   p r es e n t e d   i n   s e c t i o n   2 ,   w h i c h   e x p l a i n e d   t h e   r e l a te d   f l o w c h a r t   a n d   t h e   s t a g es .   I n     s e c ti o n   3 ,   d e t a i l e d   r es u l ts   o f   t h e   d i s c u s s i o n   a n d   a n a l y s is   o f   t h e   e v a l u a t i o n   r e s u l ts   w e r e   p r o v id e d .   T h e   c o n c l u s i o n   i n   s e c ti o n   4   c o n c l u d e s   s e v e r a l   im p o r t a n t   p o i n t s   o f   t h is   r e s e a r ch .       2.   M E T H O D   As  s h o wn   in   Fig u r e   2 ,   th is   r esear ch   was  co n d u cted   in   f o u r   s tag es:  p r e p ar atio n ,   p lan n in g ,   d ata   co llectio n ,   an d   r esu lts   an d   an aly s is .   T h p r ep a r atio n   s tag was  ca r r ied   o u t   b y   id en tify i n g   ex is tin g   p r o b lem s ,   an d   th en   liter atu r r e v iew  was  co n d u cted   o n   th r esu lts   o f   th p r o b lem   id e n tific atio n .   At  th p lan n in g   s tag e,   r esp o n d en ts   wer s elec ted ,   an d   r esear ch   in s tr u m en ts   wer d esig n ed .   T h is   r esear ch   u s ed   in s tr u m en ts   r elate d   to   th task   s ce n ar io s   ca r r ied   o u t b y   r esp o n d en ts   an d   UEQ s   with   ad d itio n al  q u esti o n s .   Data   co l lecti o n   was  ca r r ied   o u u s in g   th e   r esu ltin g   i n s tr u m en ts ,   wh er e   th d ata  co llecti o n   r esu lts   wer e   th en   an aly ze d   to   p r o d u ce   th e   f in al  ev alu atio n   r esu lts   o f   T o Ak s ar a.       I de nt i f yi ng  t he   pr obl e m L i t e r a t ur e   r e vi e w S t a r t R e s ul t s   of   E va l ua t i on R e s pon de nt   S e l e c t i on R e s e a r c h   P r e p a r a t i o n T a s S c e na r i o   D e s i gn C T A   D a t a   P r oc e s s i ng Q ue s t i onn a i r e   D a t a   P r oc e s s i ng E nd R e s e a r c h   P l a n n i n g R e s u l t   a n d   A n a l y s i s U s e r   E xper i e nc e   Q ue s t i onn a i r e   D e s i gn C oncur r e nt   T hi nk A l oud D a t a   C o l l e c t i o n U s e r   E xper i e nc e   Q ue s t i onn a i r e A na l ys i s     Fig u r 2 .   R esear ch   m eth o d       2 . 1 .     Resea rc h pre pa ra t io n   I n   th p r ep ar atio n   s tag e,   d i r ec o b s er v atio n   an d   i d en tific atio n   o f   p r o b lem s   wer ca r r ied   o u with   th r esear ch   s u b jects  to   o b tain   an   in itial  p ictu r o f   u s er s   o f   T o Ak s ar a,   n am ely   h ig h   s ch o o s tu d en ts   in   B u lelen g   R eg en cy ,   B ali,   I n d o n esia.  F u r th er m o r e,   lite r atu r r e v i ew  was  co n d u cted   o n   u s er - b ased   ap p licatio n   ev alu atio n   ac co r d in g   to   th r esu lts   o f   p r o b lem   id en tific ati o n .   T h e   p r e p ar atio n   s tag r esu lted   in   f o r m u latin g   th p r o b lem   b ein g   r esear c h ed ,   wh ich   is   r elate d   to   e v alu atin g   T o A k s ar u s in g   C T an d   UE o n   h i g h   s ch o o l   s tu d en ts   in   B u lelen g   R eg en cy ,   B ali,   I n d o n esia.       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Usa b ilit ev a lu a tio n   o f To A ks a r a   a s   B a lin ese  s crip t le a r n in g   mo b ile  a p p lica tio n   ( Ged I n d r a w a n )   493   2 . 2 .     Resea rc h pla nn ing   B ased   o n   th b asic  ed u ca tio n   d ata  ( DAPODI K)   ap p licatio n   [ 3 6 ] ,   it  was  k n o wn   th at   th er ar e     1 0 , 2 7 8   ac tiv s tu d en ts   in   th 2 0 2 4 /2 0 2 5   a ca d em ic  y ea r ,   d iv id ed   in to   n in s u b - d is tr icts   in   B u lelen g   R eg en cy .   User   ev alu atio n s   u s in g   th in k - a lo u d   in   p r ev io u s   r esear ch   s h o wed   th at  th n u m b er   o f   r es p o n d en ts   r eq u i r ed   was  m an ag ea b le.   Sar asm ay a n et   a l.   [ 3 7 ]   u s ed   f iv s tu d en ts   as  r esp o n d en ts ,   an d   Pra tam et  a l.   [ 3 8 ]   u s ed     10   r esp o n d en ts .   R esp o n d en ts   in   th is   r esear ch   wer e   r an d o m l y   s elec ted   f r o m   h ig h   s ch o o ls   in   n in e   s u b - d is tr icts   in   B u lelen g   R eg en cy .   So ,   in   t h is   r esear ch ,   n in e   r esp o n d en t s   wh o   wo r k ed   o n   th task   s ce n ar i o   f o r   th C T ev alu atio n   wer s elec ted .   As  f o r   th u s er   ex p e r ien ce   ev alu atio n ,   th n u m b er   o f   r esp o n d e n ts   was  d eter m in ed   u s in g   th Slo v in   f o r m u la  [ 3 9 ]   with   co n f id en ce   co e f f icien o f   9 5 %.  So ,   b y   u s in g   th Slo v i n   f o r m u la  as in   ( 1 ) ,   th n u m b er   o f   s am p les f r o m   th p o p u latio n   th at  w o u ld   b r e s p o n d en ts   to   f ill o u t th UE was 3 8 5 .       = 1 + 2 = 10 , 278 1 + 10 , 278 ( 0 . 05 2 ) = 385 . 0159   ( 1 )     A t   t h is   s t a g e ,   t h i n s t r u m e n t   u s e d   f o r   d a t a   c o ll e c ti o n   w as   a ls o   d e s i g n e d .   R e s p o n d e n t s   i n t e r a c t e d   w it h   t h e   a p p l i c a ti o n   i n   C T A   a c c o r d i n g   t o   t h e   t a s k   s c e n a r i o   as   s h o w n   i n   T a b l e   1 ,   w h i c h   e x p l a i n s   t h e   t as k s   t h at  T o A k s a r a   u s e r s   m u s t   ca r r y   o u t .   T h e   q u e s t i o n n a i r e   u s e d   h as   s ix   a s p e c ts   o f   u s e r   e x p e r i e n c e   as  s h o w n   i n   F i g u r e   3   a n d   2 6   s t a te m e n t   it e m s   as   s h o w n   i n   T a b l 2   t h a t r e s p o n d e n ts   m u s t   f il l   i n   [ 4 0 ] .   T h e   s t a t e m e n t s   i n   e a c h   UE Q   it e m   c o n s i s t   o f   p a i r   o f   t e r m s   w ith   o p p o s i t e   m ea n i n g s ,   s u c h   as   s l o w - f as t   a n d   c o m p l i c at e d - e a s y .   T h e   a s p ec t s   a n d   s t a te m e n t   it e m s   w e r e   t h e n   a r r a n g e d   i n t o   a   q u e s t i o n n a i r e .   T h i s   r es e a r c h   q u es t i o n n a i r e   u s e d   t h e   I n d o n e s i a n   v e r s i o n   t o   m a k e   i t   e a s i e r   f o r   r e s p o n d e n t s   [ 3 3 ]   ( i t s   E n g l i s h   w as   p r o v i d e d   i n   t h i s   p a p e r   f o r   u n d e r s t a n d a b i li t y ) .   T h e   q u e s t i o n n a i r e   al s o   i n cl u d e d   a d d i t i o n a l   q u e s t i o n s   t o   h e l p   r e s p o n d e n t s   p r o v i d e   a s s e s s m e n t   r es u l t s   o n   t h e   U E Q .       T ab le  1 .   T ask   s ce n ar i o   Ta sk   c o d e   Ta sk   sc e n a r i o   T0 1   P l e a s e   t r a n s l i t e r a t e   t h e   w o r d   s e k a r   ( f l o w e r ) .   T0 2   N e x t ,   p l e a se   c o p y   t h e   t r a n sl i t e r a t i o n   r e su l t s.   T0 3   P l e a s e   c h o o s e   t h e   m o st   si m i l a r   w o r d   f r o m t h e   t r a n s l i t e r a t i o n   r e s u l t o f   t h e   w o r d   se k a r .   T0 4   P l e a s e   d e l e t e   t h e   r e s u l t o f   t h e   w o r d   t r a n s l i t e r a t i o n   t h a t   y o u   d i d .   T0 5   P l e a s e   t r a n s l i t e r a t e   2   B a l i n e se  w o r d s .   T0 6   P l e a s e   t r a n s l i t e r a t e   3   B a l i n e se  w o r d s .   T0 7   A d d   f e e d b a c k   f o r   f u t u r e   a p p l i c a t i o n   d e v e l o p m e n t .           Fig u r 3 .   Asp ec ts   an d   s tatem e n t item s   in   UE Q   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   2 J u n 2 0 2 5 :   4 9 0 - 501   494   T ab le  2 .   User   ex p er ien ce   q u esti o n n air with   ad d itio n al  s tatem en ts   Pe rn y a t a a n   t a m b a h a n   ( A d d i t i o n a l   st a t e me n t )   Bu t i p e r n y a t a a n     ( I t e m)   1   2   3   4   5   6     7   Bu t i p e r n y a t a a n   ( I t e m)   Pro d u k   i n i   t e rl i h a t   m e n y e n a n g k a n   ( Th i s   p r o d u c t   l o o k e n j o y a b l e )   m e n y u s a h k a n   ( a n n o y i n g )   o   o   o   o   o   o     o   m e n y e n a n g k a n   ( e n j o y a b l e )   1   Pro d u k   i n i   d a p a t   d i p a h a m i   ( Th i s   p r o d u c t   i u n d e r st a n d a b l e )   t a k   d a p a t   d i p a h a m i   ( n o t   u n d e r s t a n d a b l e )   o   o   o   o   o   o     o   d a p a t   d i p a h a m i   ( u n d e r s t a n d a b l e )   2   Pro d u k   i n i   d i r a n c a n g   s e c a r a   k r e a t i f   ( Th i s   p r o d u c t   i c r e a t i v e l y   d e si g n e d )   k re a t i f   ( c r e a t i v e )   o   o   o   o   o   o     o   m o n o t o n   ( d u l l )   3   Pro d u k   i n i   m u d a h   d i p e l a j a r i   ( Th i s   p r o d u c t   i e a s y   t o   l e a r n )   m u d a h   d i p e l a j a r i   ( e a sy   t o   l e a r n )   o   o   o   o   o   o     o   su l i t   d i p e l a j a r i   ( d i f f i c u l t   t o   l e a r n )   4   Pro d u k   i n i   b e rm a n f a a t   ( Th i s   p r o d u c t   i v a l u a b l e )   b e rm a n f a a t   ( v a l u a b l e )   o   o   o   o   o   o     o   k u r a n g   b e rm a n f a a t   ( i n f e r i o r )   5   Pro d u k   i n i   m e n g a s y i k k a n   ( Th i s   p r o d u c t   i e x c i t i n g )   m e m b o s a n k a n   ( b o r i n g )   o   o   o   o   o   o     o   m e n g a s y i k k a n   ( e x c i t i n g )   6   Pro d u k   i n i   m e n a ri k   ( Th i s   p r o d u c t   i i n t e r e s t i n g )   t i d a k   m e n a ri k   ( n o t   i n t e r e s t i n g )   o   o   o   o   o   o     o   m e n a ri k   ( i n t e r e s t i n g )   7   I n t e r a k si   d e n g a n   p r o d u k   i n i   d a p a t   d i p red i k s i   ( I n t e r a c t i o n s w i t h   t h i p r o d u c t   a r e   p r e d i c t a b l e )   t a k   d a p a t   d i p r e d i k s i   ( u n p r e d i c t a b l e )   o   o   o   o   o   o     o   d a p a t   d i p r e d i k s i   ( p r e d i c t a b l e )   8   D e n g a n   p r o d u k   i n i ,   s a y a   m e l a k u k a n   t u g a s s a y a   d e n g a n   c e p a t   ( W i t h   t h i s   p r o d u c t ,   I   d o   my   t a sk   f a st )   c e p a t   ( f a st )   o   o   o   o   o   o     o   l a m b a t   ( sl o w )   9   Pro d u k   i n i   b e r d a y a   c i p t a   ( Th i s   p r o d u c t   h a s   a n   i n v e n t i v e   d e s i g n )   b e r d a y a   c i p t a   ( i n v e n t i v e )   o   o   o   o   o   o     o   k o n v e n s i o n a l   ( c o n v e n t i o n a l )   10   I n t e r a k si   d e n g a n   p r o d u k   i n i   m e n d u k u n g   p e n y e l e s a i a n   t u g a s s a y a   ( I n t e r a c t i o n   w i t h   t h i p r o d u c t   i s   su p p o r t i v e   i n   c o m p l e t i n g   t a s k s)   m e n g h a l a n g i   ( o b s t r u c t i v e )   o   o   o   o   o   o     o   m e n d u k u n g   ( su p p o r t i v e )   11   Pro d u k   i n i   t e rl i h a t   b a g u s   ( Th i s   p r o d u c t   l o o k g o o d )   b a i k   ( g o o d )   o   o   o   o   o   o     o   b u r u k   ( b a d )   12   Pro d u k   i n i   r u m i t   ( Th i s   p r o d u c t   i c o m p l i c a t e d )   ru m i t   ( c o m p l i c a t e d )   o   o   o   o   o   o     o   sed e rh a n a   ( e a sy )   13   Pro d u k   i n i   t e rl i h a t   m e n g g e m b i ra k a n   ( Th i s   p r o d u c t   l o o k p l e a s i n g )   t i d a k   d i s u k a i   ( u n l i k a b l e )   o   o   o   o   o   o     o   m e n g g e m b i ra k a n   ( p l e a si n g )   14   Pro d u k   i n i   m e n g g u n a k a n   t e k n o l o g i   t e rd e p a n   ( Th i s   p r o d u c t   u ses   l e a d i n g   e d g e   t e c h n o l o g y )   l a z i m   ( u su a l )   o   o   o   o   o   o     o   t e r d e p a n   ( l e a d i n g   e d g e )   15   Pro d u k   i n i   t e rl i h a t   n y a m a n   ( Th i s   p r o d u c t   l o o k p l e a s a n t )   t i d a k   n y a m a n   ( u n p l e a s a n t )   o   o   o   o   o   o     o   n y a m a n   ( p l e a sa n t )   16   I n t e r a k si   d e n g a n   p r o d u k   i n i   a m a n   ( I n t e r a c t i o n   w i t h   t h i p r o d u c t   i s   se c u r e )   a m a n   ( sec u r e )   o   o   o   o   o   o     o   t i d a k   a m a n   ( n o t   se c u r e )   17   Pro d u k   i n i   m e m o t i v a si   ( Th i s   p r o d u c t   i s m o t i v a t i n g )   m e m o t i v a si   ( mo t i v a t i n g )   o   o   o   o   o   o     o   t i d a k   m e m o t i v a si   ( d e m o t i v a t i n g )   18   I n t e r a k si   d e n g a n   p r o d u k   i n i   m e m e n u h i   e k s p e k t a si   s a y a   ( I n t e r a c t i o n   w i t h   p r o d u c t   m e e t s   m y   e x p e c t a t i o n s )   m e m e n u h i   e k s p e k t a si   ( mee t   e x p e c t a t i o n s )   o   o   o   o   o   o     o   t i d a k   m e m e n u h i   e k s p e k t a s i   ( d o e n o t   m e e t   e x p e c t a t i o n s )   19   D e n g a n   p r o d u k   i n i ,   s a y a   m e l a k u k a n   t u g a s s a y a   d e n g a n   e f i s i e n   ( W i t h   t h i s   p r o d u c t ,   I   d o   my   t a sk   e f f i c i e n t l y )   t i d a k   e f i s i e n   ( i n e f f i c i e n t )   o   o   o   o   o   o     o   e f i s i e n   ( e f f i c i e n t )   20   Pro d u k   i n i   m e m b i n g u n g k a n   ( Th i s   p r o d u c t   i c o n f u s i n g )   j e l a s   ( c l e a r )   o   o   o   o   o   o     o   m e m b i n g u n g k a n   ( c o n f u s i n g )   21   D e n g a n   p r o d u k   i n i ,   s a y a   m e l a k u k a n   t u g a s s a y a   d e n g a n   p ra k t i s   ( W i t h   t h i s   p r o d u c t ,   I   d o   my   j o b   p r a c t i c a l l y )   t i d a k   p ra k t i s   ( i mp r a c t i c a l )   o   o   o   o   o   o     o   p ra k t i s   ( p r a c t i c a l )   22   D e n g a n   p r o d u k   i n i ,   s a y a   m e l a k u k a n   t u g a s s a y a   d e n g a n   t e r o rg a n i s a si   ( W i t h   t h i s   p r o d u c t ,   I   d o   m y   t a s k s   i n   a n   o r g a n i z e d )   t e r o rg a n i s a si   ( o r g a n i z e d )   o   o   o   o   o   o     o   b e r a n t a k a n   ( c l u t t e r e d )   23   Pro d u k   i n i   t e rl i h a t   a t r a k t i f   ( Th i s   p r o d u c t   l o o k a t t r a c t i v e )   a t r a k t i f   ( a t t r a c t i v e )   o   o   o   o   o   o     o   t i d a k   a t r a k t i f   ( u n a t t r a c t i v e )   24   Pro d u k   i n i   t e rl i h a t   r a m a h   p e n g g u n a   ( Th i s   p r o d u c t   i u ser fr i e n d l y )   ra m a h   p e n g g u n a   ( f r i e n d l y )   o   o   o   o   o   o     o   t i d a k   r a m a h   p e n g g u n a   ( u n f r i e n d l y )   25   Pro d u k   i n i   i n o v a t i f   ( Th i s   p r o d u c t   i i n n o v a t i v e )   k o n ser v a t i f   ( c o n serv a t i v e )   o   o   o   o   o   o     o   i n o v a t i f   ( i n n o v a t i v e )   26       2 . 3   Da t a   c o llect io n   T h e   i n i t i a l   d a t a   c o l l e c t i o n   s t a g e   w a s   c o n d u c t e d   o n   n i n e   r e s p o n d e n t s   w h o   w o r k e d   o n   t h e   t a s k   s c e n a r i o .   I n   C T A ,   t h e   d a t a   c o l l e c t i o n   p r o c e s s   w a s   c a r r i e d   o u t   o n   r e s p o n d e n t s   d u r i n g   t a s k   c o m p l e t i o n .   I n   d a t a   c o l l e c t i o n   u s i n g   t h i s   t e c h n i q u e ,   r e s p o n d e n t s   w e r e   g i v e n   d i r e c t i o n s   t o   t e l l   a s   c l e a r l y   a s   p o s s i b l e   w h a t   t h e y   t h o u g h t   w h e n   t h e y   c a r r i e d   o u t   t h e   s t a g e s   t o   c o m p l e t e   t h e   r e q u e s t e d   t a s k .   T h e   d a t a   c o l l e c t i o n   p r o c e s s   w a s   c a r r i e d   o u t   b y   r e c o r d i n g   a l l   p r o b l e m s   o r   s u g g e s t i o n s   e x p r e s s e d   b y   r e s p o n d e n t s   f o r   f u r t h e r   p r o c e s s i n g   o f   e a c h   r e s p o n d e n t ' s   r e c o r d i n g   r e s u l t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Usa b ilit ev a lu a tio n   o f To A ks a r a   a s   B a lin ese  s crip t le a r n in g   mo b ile  a p p lica tio n   ( Ged I n d r a w a n )   495   Data   co llectio n   o n   UE was  d o n b y   f illi n g   o u a   q u es tio n n air e.   T a b le  3   is   an   ex a m p le  o f   a   q u esti o n n air o n   3   s tat em en t item s .   r esp o n d en t c h o s s tat em en t item s   b y   s elec tin g   th c ir cle  clo s est  to   th eir   im p r ess io n .   T ab le   3   s h o ws  th at  r esp o n d en t   r ated   th p r o d u ct  as  m o r e   men ye n a n g k a n   ( en jo y ab le ) ,   d a p a d ip a h a mi ”  ( u n d er s tan d ab le) ,   a n d   krea tif ”  ( cr ea tiv e) .       2 . 4   Resul t s   a nd   a na ly s is   E v a l u a t i o n   w it h   C T A   p r o d u c e d   q u a l i t a ti v e   d a t a   i n   t h e   f o r m   o f   a p p l i c a t i o n   p r o b l e m s /s u g g e s t i o n s   e x p r e s s e d   b y   e a c h   r e s p o n d e n t .   R es p o n d e n t s '   p r o b l e m s / s u g g e s ti o n s   w e r e   s u m m a r i z e d   t o   o b t a in   c o n c l u s i o n s   f r o m   t h e   p r o b l e m s / s u g g es t i o n s   o f   a l l   r e s p o n d e n t s .   T h e   p r o c e s s i n g   o f   t h e   v a l u e s   o f   e a c h   a s p e c t   o f   u s e r   e x p e r i e n c e   w as  c a r r i e d   o u t   u s i n g   U E Q   d a t a   an a l y s is .   U E Q   a n a l y s is   w as   c a r r i e d   o u t   b y   c a l c u l a t i n g   t h e   a v er a g e   v a l u e   f o r   e a c h   a s p e c t .   T h e   UE Q   r e s u l ts   w e r e   t h e n   b e n c h m a r k e d   b y   c o m p a r i n g   t h e   v a l u e s   o f   e a c h   a s p e ct   wi t h   t h e   p r o d u c t   d a t s e t   a v a il a b l e   i n   t h e   U E Q   d a ta   a n a l y s is   t o o l .   B e n c h m a r k   te s t i n g   d e s c r i b e s   t h e   r e la t i v e   q u a l i t y   o f   a   p r o d u c t   c o m p a r e d   t o   o t h e r   p r o d u c t s .   T h e   v a l u e s   f o r   t h e   b e n c h m a r k   r a n g e   i n   e a c h   c a t e g o r y   a r e   s h o w n   i n   T a b l e   4   [ 3 4 ] .       T ab le  3 .   E x am p le  o f   q u esti o n n air co m p letio n   ( in   I n d o n esian   lan g u a g with   E n g lis h   tr an s latio n )   Pe rn y a t a a n   t a m b a h a n   ( A d d i t i o n a l   st a t e me n t )   Bu t i p e r n y a t a a n   ( I t e m)   1   2   3   4   5   6   7   Bu t i p e r n y a t a a n   ( I t e m)   P r o d u k   i n i   t e r l i h a t   m e n y e n a n g k a n   ( T h i s   p r o d u c t   l o o k s   e n j o y a b l e )   m e n y u s a h k an   ( an n o y i n g )   o   o   o   o   x   o   o   m e n y e n a n g k a n   ( en jo y ab le )   1   P r o d u k   i n i   d a p a t   d i p a h a m i   ( T h i s   p r o d u c t   i s   u n d e r s t a n d a b l e )   t ak   d a p a t   d i p a h a m i   ( no t   un d e r st a n d a b le )   o   o   o   o   o   x   o   d a p a t   d i p a h a mi   ( un d e r st a n d a b le )   2   Pr o d u k   i n i   d i r a n c a n g   s e c a r a   k r e a t i f   ( T h i s   p r o d u c t   i s   c r e a t i v e l y   d e s i g n e d )   k r ea t if   ( c r ea ti v e )   o   x   o   o   o   o   o   m o n o t o n   ( du ll )   3       T ab le  4 .   B en ch m a r k   r a n g es in   th UE d ata  an aly s is   to o l   A sp e c t   C a t e g o r y   Ex c e l l e n t   G o o d   A b o v e   a v e r a g e   B e l o w   a v e r a g e   B a d   A t t r a c t i v e n e ss   1 . 7 5   1 . 5 2   < 1 . 7 5   1 . 1 7   < 1 . 5 2   0 . 7   < 1 . 1 7   < 0 . 7   P e r sp i c u i t y   1 . 9   1 . 5 6   < 1 . 9   1 . 0 8   < 1 . 5 6   0 . 6 4   < 1 . 0 8   < 0 . 6 4   Ef f i c i e n c y   1 . 7 8   1 . 4 7   < 1 . 7 8   0 . 9 8   < 1 . 4 7   0 . 5 4   < 0 . 9 8   < 0 . 5 4   D e p e n d a b i l i t y   1 . 6 5   1 . 4 8   < 1 . 6 5   1 . 1 4   < 1 . 4 8   0 . 7 8   < 1 . 1 4   < 0 . 7 8   S t i m u l a t i o n   1 . 5 5   1 . 3 1   < 1 . 5 5   0 . 9 9   < 1 . 3 1   0 . 5   < 0 . 9 9   < 0 . 5   N o v e l t y   1 . 4   1 . 0 5   < 1 . 4   0 . 7 1   < 1 . 0 5   0 . 3   < 0 . 7 1   < 0 . 3       3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     E v a lua t i o n r esu lt s   E v a l u a t i o n   w i t h   C T A   p r o d u c e s   q u a l i t a t i v e   d a t a   i n   t h e   f o r m   o f   p r o b l e m s   a n d   s u g g e s t i o n s   f o r   a p p l i c a t i o n   d e v e l o p m e n t .   B a s e d   o n   t h e   t h i n k - a l o u d   p r o c e s s   c a r r i e d   o u t   b y   e a c h   r e s p o n d e n t ,   a   l i s t   o f   p r o b l e m s   a n d   s u g g e s t i o n s   f r o m   T o A k s a r a   w a s   p r o d u c e d ,   w h i c h   c a n   b e   s e e n   i n   T a b l e   5 .   T h e   l i s t   o f   p r o b l e m s   a n d   s u g g e s t i o n s   w a s   t h e n   a n a l y z e d   t o   d e t e r m i n e   t h e   a p p l i c a t i o n ' s   f e a t u r e s   o r   a s p e c t s   t h a t   n e e d e d   i m p r o v e m e n t .   S u g g e s t i o n s   f r o m   r e s p o n d e n t s   w e r e   a l s o   a n a l y z e d   s o   t h a t   t h e   i m p r o v e m e n t s   m a d e   w e r e   b a s e d   o n   t h e   n e e d s   e x p r e s s e d   b y   u s e r s .       T ab le  5 .   C o n c u r r en t t h in k - alo u d   r esu lts   R e s p o n d e n t   P r o b l e ms   S u g g e s t i o n s   R 0 1   Th e   b u t t o n   f o r   t r a n sl i t e r a t i o n   i n o t   c l e a r .   Th e   G o   l a b e l   c a n   b e   c u s t o mi z e d ,   o r   t h e   t r a n s l i t e r a t i o n   c a n   a p p e a r   a u t o ma t i c a l l y   w i t h o u t   p r e s si n g   a   b u t t o n .   R 0 2   Th e r e   a r e   t r a n s l i t e r a t i o n   e r r o r s,  s u c h   a s i n   t h e   w o r d   p u n i a ”  ( d o n a t i o n ) .   I t   i s n e c e ss a r y   t o   c h e c k   t h e   a p p l i c a t i o n   c o d e   f o r   i t t r a n s l i t e r a t i o n   a l g o r i t h m.   R 0 3   T h e   c l o s e s t   s i m i l a r   w o r d   n e e d s   f i x i n g ,   s u c h   a s   t r a n s l i t e r a t i o n   o f   s e k a r   ( f l o w e r ) ,   w h e r e   c l o s e s t   s i m i l a r   w o r d   s h o w n   a s   s e s a r i ”  ( s u p p l e m e n t a r y   m o n e y   o n   o f f e r i n g s )   Th e   a p p l i c a t i o n   c o d e   n e e d s   i m p r o v e m e n t .   R 0 4   Th e r e   a r e   n o   p r o b l e ms .   Th e   l a b e l   o n   t h e   t r a n s l i t e r a t i o n   b u t t o n   n e e d s   t o   b e   a d j u s t e d   t o   ma k e   i t s fu n c t i o n   c l e a r .   R 0 5   T h e r e   a r e   n o   p r o b l e m s .   A p p l i c a t i o n   i s   s u i t a b l e   a n d   e a s y   t o   u s e .   Th e r e   a r e   n o   su g g e st i o n s .   R 0 6   I t   i s d i f f i c u l t   t o   f i n d   t o o l t o   c o p y   t h e   t r a n sl i t e r a t i o n   r e s u l t s.   A   b u t t o n   o r   f u n c t i o n a l i t y   i n e e d e d   t o   mak e   i t   e a s i e r   f o r   u sers  t o   c o p y   t r a n sl i t e r a t i o n   r e su l t s.   R 0 7   Th e r e   a r e   n o   p r o b l e ms .   N e e d   a   f e a t u r e   f o r   a   c o m p l e t e   d i c t i o n a r y   o f   B a l i n e se  scri p t   a n d   l a n g u a g e   t o   p e r f e c t   t h e   a p p l i c a t i o n .   R 0 8   A c c e ss   t o   p r o v i d e   f e e d b a c k   i l e ss   c l e a r .   W e   n e e d   t o   c l a r i f y   b u t t o n s   t o   p r o v i d e   i n p u t   f r o m   a p p l i c a t i o n .   R 0 9   Th e r e   a r e   n o   p r o b l e ms .   A   sp e c i a l   b u t t o n   i n e e d e d   t o   c o p y   t r a n sl i t e r a t i o n   r e su l t s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   2 J u n 2 0 2 5 :   4 9 0 - 501   496   B ased   o n   th e   d ata  o b tain ed   f r o m   t h q u esti o n n air e,   th ey   wer th e n   en ter e d   in t o   th e   UE d ata  an aly s is   to o ls   to   p r o d u ce   v al u es  f o r   ea ch   asp ec o f   u s er   e x p er ien ce .   I n   g e n er al,   th e   d is tr ib u tio n   o f   an s wer s   f r o m   r esp o n d e n ts   is   s h o wn   in   T ab le  6 .   I n   th is   d is tr ib u t io n   o f   an s wer s ,   in f o r m atio n   was  co llected   f r o m   th e   s co r es  g iv en   b y   r esp o n d en ts ,   s u ch   as  s co r es  th at  lea d   to   n e g ativ ( 1 - 3 ) ,   n e u tr al  ( 4 ) ,   a n d   p o s itiv ( 5 - 7 ) .   T h is   an s wer   d is tr ib u tio n   ta b le  also   h elp s   to   g ain   d ee p er   u n d er s tan d in g   o f   T o Ak s ar as  p er ce i v ed   b y   u s er s   b ased   o n   th a n s wer s   g iv en   b y   r esp o n d en ts .   T h e   o v e r a l l   v al u e   o f   ea c h   s t a tem e n t   i te m   t h at   t h r e s p o n d e n ts   g a v e   w as   t h e n   t r a n s f o r m e d   i n to   p o s i t i v a n d   n e g a t i v e   v a l u es   r a n g i n g   f r o m   + 3   t o   - 3 .   A f te r   b e i n g   t r an s f o r m e d ,   t h e   d a t w e r c a l cu l a t e d   t o   f i n d   e a ch   a s p e c t' s   a v e r a g e   v a l u e .   T h e   r e s u l t s   o f   t h e   a v e r a g e   c a l c u l a t i o n   p e r   i t e m   a r e   s h o w n   i n   F i g u r e   4 .   N e x t ,   c a l c u l a t i o n s   w e r e   c a r r i e d   o u t   t o   o b t a i n   t h e   f i n a l   a v e r a g e   o f   e a c h   a s p e c t   o f   u s e r   e x p e r i e n c e .   T a b l e   7   s h o ws   t h e   a v e r a g e   v a l u o f   s i x   as p e c ts   o f   u s e r   e x p e r ie n c e   t h a s h o w   p o s i ti v e   v a l u e s ,   w h i c h   a r e   2 . 1 4 4   f o r   a tt r ac t i v e n e s s ,   2 . 2 2 0   f o r   p e r s p i c u i t y ,   2 . 3 8 5   f o r   e f f i c i e n cy ,   2 . 3 4 5   f o r   d e p e n d a b i l i t y ,   2 . 1 3 9   f o r   s t i m u l a ti o n ,   a n d   2 . 1 0 1   f o r   n o v e l t y .       T ab le  6 .   Dis tr ib u tio n   o f   q u esti o n n air a n s wer s   No   I t e m   1   2   3   4   5   6   7   A sp e c t s   1   a n n o y i n g / e n j o y a b l e   0   0   4   0   43   2 0 3   1 3 5   A t t r a c t i v e n e ss   2   n o t   u n d e r st a n d a b l e / u n d e r s t a n d a b l e   0   0   5   3   7   1 5 9   2 1 1   P e r sp i c u i t y   3   d u l l / c r e a t i v e   0   6   1   21   20   2 1 4   1 2 3   N o v e l t y   4   d i f f i c u l t   t o   l e a r n / e a s y   t o   l e a r n   4   6   9   0   3   1 5 5   2 0 8   P e r sp i c u i t y   5   i n f e r i o r / v a l u a b l e   0   0   3   5   12   1 1 6   2 4 9   S t i m u l a t i o n   6   b o r i n g / e x c i t i n g   0   0   1   25   48   2 8 4   27   S t i m u l a t i o n   7   n o t   i n t e r e s t i n g / i n t e r e s t i n g   0   0   0   13   20   2 6 4   88   S t i m u l a t i o n   8   u n p r e d i c t a b l e / p r e d i c t a b l e   0   8   7   10   38   1 6 9   1 5 3   D e p e n d a b i l i t y   9   sl o w / f a st   0   0   3   6   9   2 4 7   1 2 0   Ef f i c i e n c y   10   c o n v e n t i o n a l / i n v e n t i v e   0   3   0   13   45   2 1 8   1 0 6   N o v e l t y   11   o b s t r u c t i v e / s u p p o r t i v e   0   0   0   14   27   1 4 7   1 9 7   D e p e n d a b i l i t y   12   b a d / g o o d   0   0   0   4   7   1 9 9   1 7 5   A t t r a c t i v e n e ss   13   c o m p l i c a t e d / e a sy   0   0   0   4   50   2 7 7   54   P e r sp i c u i t y   14   u n l i k a b l e / p l e a s i n g   0   0   4   6   64   2 6 0   51   A t t r a c t i v e n e ss   15   u su a l / l e a d i n g   e d g e   0   0   4   27   22   1 8 8   1 4 4   N o v e l t y   16   u n p l e a s a n t / p l e a s a n t   0   0   4   1   26   2 2 7   1 2 7   A t t r a c t i v e n e ss   17   n o t   s e c u r e / s e c u r e   0   0   5   0   3   1 9 5   1 8 2   D e p e n d a b i l i t y   18   d e m o t i v a t i n g / mo t i v a t i n g   0   0   4   19   25   2 3 4   1 0 3   S t i m u l a t i o n   19   d o e n o t   m e e t   e x p e c t a t i o n s/ m e e t s e x p e c t a t i o n s   0   0   2   11   7   1 4 7   2 1 8   D e p e n d a b i l i t y   20   i n e f f i c i e n t / e f f i c i e n t   0   0   0   4   9   1 4 4   2 2 8   Ef f i c i e n c y   21   c o n f u s i n g / c l e a r   0   0   0   0   63   2 3 3   89   P e r sp i c u i t y   22   i mp r a c t i c a l / p r a c t i c a l   0   0   0   3   21   2 1 9   1 4 2   Ef f i c i e n c y   23   c l u t t e r e d / o r g a n i z e d   0   3   0   3   9   1 6 6   2 0 4   Ef f i c i e n c y   24   u n a t t r a c t i v e / a t t r a c t i v e   0   3   0   18   48   2 2 4   92   A t t r a c t i v e n e ss   25   u n f r i e n d l y / f r i e n d l y   0   0   0   3   77   1 7 6   1 2 9   A t t r a c t i v e n e ss   26   c o n ser v a t i v e / i n n o v a t i v e   0   0   5   27   42   1 5 8   1 5 3   N o v e l t y       T ab le  7 .   Me an   v alu o f   u s er   e x p er ien ce   asp ec ts   U EQ   sca l e s (m e a n   a n d   v a r i a n c e )   A t t r a c t i v e n e ss   2 . 1 4 4   0 . 3 1   P e r sp i c u i t y   2 . 2 2 0   0 . 2 7   Ef f i c i e n c y   2 . 3 8 5   0 . 2 4   D e p e n d a b i l i t y   2 . 3 4 5   0 . 3 2   S t i m u l a t i o n   2 . 1 3 9   0 . 3 2   N o v e l t y   2 . 1 0 1   0 . 4 9       3 . 2 .     Ana ly s is   re s ults   T ab le  5   s h o ws  s ev er al  p r o b lem s   an d   s u g g esti o n s   r eg ar d i n g   T o Ak s ar a .   T h e   co n clu s io n   d at b ased   o n   th an aly s is   co n d u cted   o n   th e   p r o b lem s   a n d   s u g g esti o n s   f o r   im p r o v in g   t h ap p licatio n ' s   u s ab ilit y   ca n   b e   s ee n   in   T ab le  8 .   T h an aly s is   r esu lt s   p r o d u ce   r ec o m m en d atio n s   f o r   im p r o v em en ts   in   n av ig atio n ,   f u n ctio n ality ,   an d   p er s p icu ity   in   T o Ak s ar a.   T h r esu lts   o f   th av er ag v alu o f   th u s er   ex p er ien ce   asp ec ts   s h o wn   in   T ab le  8   wer th en   p r o ce s s ed   u s in g   th UE d ata   an aly s is   to o l .   I n   th UE d at an aly s is   to o l ,   th av er ag v a lu o f   ea ch   asp ec h as  b ee n   co n n ec ted   to   th d at s et  in   th b en ch m ar k .   T h b en ch m ar k   was  d ataset  o f   1 8 , 4 8 3   p e o p le  f r o m   4 0 1   s tu d ies  o n   v ar io u s   p r o d u cts.  T h r esu lts   o f   th is   co m p a r is o n   d escr ib ed   th e   r elativ q u ality   o f   T o Ak s ar a   co m p ar ed   to   o th e r   p r o d u cts   [ 3 4 ] .   T h e   r esu lts   o f   th T o Ak s ar b en ch m a r k   test   ar s h o wn   in   T ab le  9 .     B ased   o n   T a b l 9   a n d   v is u ali z ed   i n   Fi g u r 5   t o   s h o w   T o A k s ar a’ s   p o s iti o n   al o n g   w it h   all   c a teg o r i es  in   th e   UE b e n c h m a r k ,   a ll  asp ec ts   o f   T o A k s ar w er i n cl u d e d   in   t h e x c ell e n c ate g o r y .   T h ex ce l le n ca t eg o r y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Usa b ilit ev a lu a tio n   o f To A ks a r a   a s   B a lin ese  s crip t le a r n in g   mo b ile  a p p lica tio n   ( Ged I n d r a w a n )   497   s h o ws  t h at  T o A k s a r a   was   i n c l u d e d   i n   t h e   r a n g o f   t h t o p   1 0 o f   p r o d u c ts   c o m p a r e d   to   t h e   UE b e n ch m a r k .   B ased   o n   t h e   i n te r p r eta ti o n   o f   th v a lu es  o b ta in e d ,   as  s h o w n   i n   Fi g u r 5 ,   it   ca n   b s ee n   t h at   t h e   n o v e lt y   an d   s tim u l ati o n   as p ec ts   h a d   t h s m al lest   v al u e ,   s o   im p r o v em e n ts   ca n   b f o c u s e d   o n   d ev el o p i n g   o r   im p r o v in g   ap p li ca ti o n s   i n   t h ese   t wo   as p e cts.   I n   ad d i ti o n   t o   im p r o v i n g   T o Ak s ar a,   f u r t h er   r ese ar c h   ca n   a n al y ze   t h e   im p r o v e m e n ts   m a d e .   B ase d   o n   p r e v i o u s   r ese ar ch ,   t h e   i m p r o v e m e n ts   m a d e   s h o we d   i n c r e as ed   u s e r   s atis f ac t io n   an d   d e cr ea s ed   e r r o r   r at es.   Fu r th e r   an al y s is   [ 4 1 ] ,   [ 4 2 ]   c a n   al s o   b d o n b y   a n a l y zi n g   t h e   r elat io n s h i p   b e twe en   v a r i ab les   i n   t h e   UE Q   u s ed   in   t h is   r es ea r c h .   R ela ti o n s h i p   an al y s is   c a n   b e   u s e d   as   a   r ef e r e n c f o r   v ar ia b l es   t h at   ar i n t er r ela te d   an d   h a v e   a   s i g n i f ic a n in f l u e n ce   o n   i n c r e asi n g   s atis f a cti o n   wit h   th a p p lic at io n .           Fig u r 4 .   Me an   v alu p er   item       T ab le  8 .   R esu lts   o f   co n c u r r en t   th in k - alo u d   an al y s is   No   R e s p o n d e n t s   F e a t u r e s / A sp e c t s   R e c o mm e n d a t i o n   1   R 0 1 ,   R 0 4 ,   R 0 6 ,   R 0 8 ,   R 0 9   N a v i g a t i o n   A d d e d   a p p l i c a t i o n   n a v i g a t i o n   o n :   1 .   Th e   t r a n s l i t e r a t i o n   b u t t o n   2 .   C o p y   t h e   t r a n s l i t e r a t i o n   r e s u l t   b u t t o n   3 .   I n p u t   b u t t o n   f o r   t h e   a p p l i c a t i o n   2   R 0 7   F u n c t i o n a l   A d d i t i o n   o f   B a l i n e se   scr i p t   a n d   l a n g u a g e   d i c t i o n a r y   f u n c t i o n a l i t y   t o   t h e   a p p l i c a t i o n   3   R 0 2 ,   R 0 3   Er r o r   C o r r e c t i o n o n :   1 .   Tr a n sl i t e r a t i o n   e r r o r   2 .   C l o se st   s i mi l a r   w o r d       T ab le  9 .   T o Ak s ar b en c h m ar k   A sp e c t   M e a n   C o m p a r i so n   t o   t h e   b e n c h mar k   I n t e r p r e t a t i o n   A t t r a c t i v e n e ss   2 . 1 4 4   Ex c e l l e n t   I n   t h e   r a n g e   o f   t h e   1 0 %   b e st   r e s u l t s   P e r sp i c u i t y   2 . 2 2 0   Ex c e l l e n t   I n   t h e   r a n g e   o f   t h e   1 0 %   b e st   r e s u l t s   Ef f i c i e n c y   2 . 3 8 5   Ex c e l l e n t   I n   t h e   r a n g e   o f   t h e   1 0 %   b e st   r e s u l t s   D e p e n d a b i l i t y   2 . 3 4 5   Ex c e l l e n t   I n   t h e   r a n g e   o f   t h e   1 0 %   b e st   r e s u l t s   S t i m u l a t i o n   2 . 1 3 9   Ex c e l l e n t   I n   t h e   r a n g e   o f   t h e   1 0 %   b e st   r e s u l t s   N o v e l t y   2 . 1 0 1   Ex c e l l e n t   I n   t h e   r a n g e   o f   t h e   1 0 %   b e st   r e s u l t s   -3 -2 -1 0 1 2 3 a n n o y in g /en jo y a b le n o u n d e rs t a n d a b le / u n d e rsta n d a b le d u ll /cre a ti v e d i fficu lt   to   le a rn /ea sy   to   lea rn in fe ri o r/v a lu a b l e b o rin g /ex c it in g n o i n tere stin g /i n tere stin g u n p r e d icta b le/p re d icta b le slo w/f a st c o n v e n t io n a l /i n v e n ti v e o b stru c ti v e /su p p o rti v e b a d /g o o d c o m p l ic a ted / e a sy u n li k a b le/p le a sin g u su a l/ lea d in g   e d g e u n p l e a s a n t/p le a s a n t n o se c u re /se c u re d e m o t iv a ti n g /mo ti v a ti n g d o e s n o m e e e x p e c tatio n s/m e e ts ex p e c t a t io n s in e ffi c ien t/ e fficie n t c o n fu sin g /cle a r imp ra c ti c a l/ p ra c ti c a l c lu t te re d /o rg a n ize d u n a tt ra c t iv e /attrac ti v e u n frien d ly /fri e n d ly c o n se rv a t iv e /i n n o v a ti v e M e a n I t em Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 1 4   I n t J Ad v   Ap p l Sci Vo l.   14 ,   No .   2 J u n 2 0 2 5 :   4 9 0 - 501   498       Fig u r 5 .   UE b e n ch m a r k       4.   CO NCLU SI O N   T h e   u s ab ilit y   ev alu atio n   r esu l ts   o f   T o Ak s ar a   s h o th at  u s e r s   wer s atis f ied   with   u s in g   th is   m o b ile  ap p licatio n   f o r   B alin ese  lan g u ag a n d   s cr ip lear n in g .   Ho wev er ,   c o n tin u o u s   im p r o v e m en ca n   s till   b d o n e ,   wh er CTA   p r o d u ce d   s ev e r al  r ec o m m en d atio n s   f o r   a p p licat io n   im p r o v em en t.  T h n in r e s p o n d en ts   in v o lv ed   in   th is   ev alu atio n   p r o v id e d   r ec o m m en d atio n s   o n   asp ec ts   r elate d   to   n av ig atio n ,   f u n ctio n alit y ,   an d   er r o r s   in   th ap p licatio n .   T h u s er   s atis f ac tio n   r esu lts   with   T o Ak s ar wer s u cc ess f u lly   an aly ze d   u s in g   th UEQ .   T h e   in s tr u m en u s ed   h as  b ee n   a d ju s ted   b y   ad d in g   ad d itio n al   q u esti o n s   to   ex p lain   ea ch   asp ec ask ed .   User   s atis f ac tio n   o n   ea ch   asp ec p r o d u ce d   v al u o f   2 . 1 4 4   f o r   attr ac tiv en ess ,   2 . 2 2 0   f o r   p er s p icu ity ,   2 . 3 8 5   f o r   ef f icien cy ,   2 . 3 4 5   f o r   d ep en d a b ilit y ,   2 . 1 3 9   f o r   s tim u latio n ,   a n d   2 . 1 0 1   f o r   n o v elty .   B ased   o n   th an aly s is ,   u s er   s atis f ac tio n   r esu lts   s h o wed   th at  all  asp ec ts   wer in clu d ed   in   th ex ce llen ca teg o r y .   T h e   ex ce llen ca teg o r y   in d icate s   th at  T o Ak s ar was   in clu d ed   in   t h r a n g o f   th to p   1 0 o f   p r o d u cts  c o m p ar ed   to   th UE Q   b en ch m ar k .   Fu r th e r   r ese ar ch   ca n   b co n d u cted   b y   an aly zi n g   th im p r o v em e n ts   m ad a n d   th r elatio n s h ip   b etwe en   ea ch   asp ec t o f   UE to   s ee   its   in f lu en ce   o n   u s er   s atis f ac tio n .         ACK NO WL E DG E M E NT S   T h m o b ile  ap p licatio n   d ev e lo p ed   i n   th is   r esear c h   an d   u s ed   f o r   u s ab ilit y   e v alu atio n   h as  b ee n   ap p r o v ed   b y   th e   I n d o n esian   Min is tr y   o f   L aw  a n d   Hu m a n   R ig h ts   f o r   t h co p y r i g h c er tific ate  with   No .   0 0 0 4 9 3 3 2 9 .       F UNDING   I NF O R M A T I O   T h is   wo r k   was  s u p p o r ted   b y   t h I n d o n esian   Min is tr y   o f   Hig h er   E d u ca tio n ,   Scien ce ,   an d   T ec h n o lo g y   th r o u g h   a   R esear ch   Gr a n in   th ar ea   o f   in f o r m ati o n   tec h n o lo g y   f o r   v ar io u s   f o r m s   o f   lo ca wis d o m   in   I n d o n esia.       AUTHO CO NT RI B UT I O NS ST A T E M E N T     T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ged I n d r awa n                               Sar iy asa                               L u h   J o n i E r awa ti De wi                               Ma d San to   Gitak ar m a                               I   Ma d Ag u s   Ok Gu n awa n                               Pu tu   Ad Pra n ata                                 - 1 . 0 0 - 0 . 5 0 0 . 0 0 0 . 5 0 1 . 0 0 1 . 5 0 2 . 0 0 2 . 5 0 A t t r a c t i v e n e s s P e r sp i c u i t y Ef f i c i e n c y D e p e n d a b i l i t y S t i mu l a t i o n N o v e l t y M ea n Asp ec t Ex c e l l e n t G o o d A b o v e   A v e r a g e B e l o w   A v e r a g e B a d Lo w e r   B o r d e r M e a n Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ad v   Ap p l Sci     I SS N:   2252 - 8 8 1 4       Usa b ilit ev a lu a tio n   o f To A ks a r a   a s   B a lin ese  s crip t le a r n in g   mo b ile  a p p lica tio n   ( Ged I n d r a w a n )   499   C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     Au th o r s   s tate  n o   co n f lict o f   in t er est.       I NF O RM E CO NS E N T     W h av o b tain ed   in f o r m ed   c o n s en t f r o m   all  in d iv id u als in c lu d ed   in   t h is   s tu d y .       E T H I CAL AP P RO V AL     T h r esear ch   r elate d   to   h u m an   u s h as  co m p lied   with   all  th r elev an n atio n al  r eg u latio n s   an d   in s titu tio n al  p o licies  in   ac co r d an ce   with   th te n ets  o f   t h He ls in k Dec lar atio n   an d   h as  b ee n   ap p r o v e d   b y   th e   au th o r 's   in s titu tio n al  r ev iew  b o ar d   o r   eq u i v alen t c o m m ittee.       DATA AV AI L AB I L I T   T h d ata  th at  s u p p o r th f i n d in g s   o f   th is   s tu d y   ar a v a ilab le  o n   r ea s o n ab le  r e q u est  f r o m   th co r r esp o n d in g   au th o r .   T h d a ta,   wh ich   co n tain   in f o r m atio n   th at  co u ld   co m p r o m is th e   p r iv ac y   o f   r esear ch   p ar ticip an ts ,   ar n o t p u b licly   a v ailab le  d u to   ce r tain   r estrictio n s .       RE F E R E NC E S   [ 1 ]   B a l i   G o v e r n m e n t ,   B a l i   G o v e r n o r   R e g u l a t i o n   n o .   8 0 / 2 0 1 8   o n   t h e   p r o t e c t i o n   a n d   u se   o f   B a l i n e s e   l a n g u a g e ,   s c r i p t ,   a n d   l i t e r a t u r e   a n d   t h e   i mp l e m e n t a t i o n   o f   B a l i n e se  l a n g u a g e   m o n t h   ( i n   I n d o n e si a n :   Pe r a t u r a n   G u b e rn u B a l i   n o m o 8 0   t a h u n   2 0 1 8   t e n t a n g   p e l i n d u n g a n   d a n   p e n g g u n a a n   b a h a s a ,   a k s a r a ,   d a n   sa s t r a   B a l i   ser t a   p e n y e l e n g g a r a a n   b u l a n   b a h a sa   B a l i ) ,”  J D I H   Pe m e ri n t a h   Pro v i n si   Ba l i ,   2 0 1 8 .   A c c e ss e d :   D e c .   1 2 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / j d i h . b a l i p r o v . g o . i d / p r o d u k - h u k u m/ p e r a t u r a n / a b s t r a k / 2 4 6 6 5   [ 2 ]   I .   M .   D .   R .   M u d i a r t a   e t   a l . ,   B a l i n e s e   c h a r a c t e r   r e c o g n i t i o n   o n   m o b i l e   a p p l i c a t i o n   b a se d   o n   T e s sera c t   o p e n   s o u r c e   O C R   e n g i n e ,   J o u rn a l   o f   Ph y si c s:   C o n f e re n c e   S e ri e s ,   v o l .   1 5 1 6 ,   n o .   1 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 5 1 6 / 1 / 0 1 2 0 1 7 .   [ 3 ]   G .   I n d r a w a n ,   C .   O .   B i r a w i d y a ,   L .   J .   E.   D e w i ,   K .   A g u st i n i ,   I .   G .   A .   G u n a d i ,   a n d   I .   K .   P a r a m a r t a ,   D e r i v a t i v e   w o r d   c o n v e r s i o n   met h o d   t o   B a l i n e se   scr i p t   o n   m o b i l e   c o m p u t i n g ,   I C I C   Ex p res L e t t e rs ,   v o l .   1 7 ,   n o .   7 ,   p p .   7 2 5 7 3 3 ,   2 0 2 3 ,   d o i :   1 0 . 2 4 5 0 7 / i c i c e l . 1 7 . 0 7 . 7 2 5 .   [ 4 ]   L.   J.  E.   D e w i   e t   a l . ,   To La t i n   M o b i l e a   f i n i t e   s t a t e   m a c h i n e - b a se d   m o b i l e   a p p l i c a t i o n   f o r   B a l i n e s e   scri p t   t o   L a t i n   l e t t e r   c o n v e r si o n   ( I n   I n d o n e s i a n :   T o L a t i n   Mo b i l e :   a p l i k a s i   m o b i l e   k o n v e rs i   a k sa ra   Ba l i   k e   h u ru f   L a t i n   b e r b a si f i n i t e   st a t e   m a c h i n e ) ,   0 0 0 4 9 3 3 2 9 ,   2 0 2 3   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / g o . u n d i k sh a . a c . i d / EC 0 0 2 0 2 3 6 1 3 5 1   [ 5 ]   G .   I n d r a w a n ,   L.   J .   E.   D e w i ,   I .   G .   A .   G u n a d i ,   K .   A g u st i n i ,   a n d   I .   K .   P a r a mart a ,   Th e   a n a l y s i o f   N o t o   S e r i f   B a l i n e se  f o n t   t o   su p p o r t   c o m p u t e r - a ss i st e d   t r a n sl i t e r a t i o n   t o   B a l i n e s e   scri p t ,   i n   I n f o rm a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y   f o C o m p e t i t i v e   S t r a t e g i e s   ( I C T C S   2 0 2 1 ) ,   S p r i n g e r ,   S i n g a p o r e ,   2 0 2 3 ,   p p .   5 7 1 5 8 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 9 8 1 - 19 - 0 0 9 5 - 2 _ 5 4 .   [ 6 ]   A .   E.   G n a n a d e s i k a n ,   T o w a r d s   a   t y p o l o g y   o f   p h o n e m i c   scri p t s ,   Wri t i n g   S y s t e m R e se a rc h ,   v o l .   9 ,   n o .   1 ,   p p .   1 4 3 5 ,   Ja n .   2 0 1 7 ,   d o i :   1 0 . 1 0 8 0 / 1 7 5 8 6 8 0 1 . 2 0 1 7 . 1 3 0 8 2 3 9 .   [ 7 ]   S .   H o l l o a n d   J.   R .   H o l l o s,   Fi n i t e   a u t o m a t a   a n d   re g u l a e x p ress i o n s:   p r o b l e m a n d   s o l u t i o n s .   N e w   Y o r k ,   U n i t e d   S t a t e s :   A b r a z o l   P u b l i s h i n g ,   2 0 1 3 .   [ 8 ]   J.  W a n g   a n d   W .   Te p f e n h a r t ,   F o rm a l   m e t h o d i n   c o m p u t e r   sc i e n c e .   N e w   Y o r k ,   U n i t e d   S t a t e s:   C h a p m a n   a n d   H a l l / C R C ,   2 0 1 9 ,   d o i 1 0 . 1 2 0 1 / 9 7 8 0 4 2 9 1 8 4 1 8 5 .   [ 9 ]   M .   L .   M .   S a j i n i ,   S .   S u j a ,   S .   M .   G .   R a j ,   S .   K o w sa l y a d e v i ,   a n d   C .   M a r i a ,   F i n i t e   s t a t e   ma c h i n e - b a se d   l o a d   s c h e d u l i n g   a l g o r i t h f o r   smar t   h o me   e n e r g y   ma n a g e m e n t ,   I ETE   J o u r n a l   o f   R e se a rc h ,   v o l .   6 9 ,   n o .   1 0 ,   p p .   7 4 6 0 7 4 7 5 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 0 8 0 / 0 3 7 7 2 0 6 3 . 2 0 2 1 . 2 0 1 0 6 0 7 .   [ 1 0 ]   M .   N a d e e m,  M .   L a l ,   J .   C e n ,   a n d   M .   S h a r sh e e r ,   A R 4 F S M :   m o b i l e   a u g m e n t e d   r e a l i t y   a p p l i c a t i o n   i n   e n g i n e e r i n g   e d u c a t i o n   f o r   f i n i t e - s t a t e   m a c h i n e   u n d e r st a n d i n g ,   Ed u c a t i o n   S c i e n c e s ,   v o l .   1 2 ,   n o .   8 ,   p p .   1 - 1 9 ,   A u g .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / e d u c s c i 1 2 0 8 0 5 5 5 .   [ 1 1 ]   U n i c o d e   C o n s o r t i u m ,   T h e   u n i c o d e ®  st a n d a r d :   v e r si o n   1 6 . 0     c o r e   sp e c i f i c a t i o n ,   U n i c o d e   C o n so r t i u m ,   2 0 2 4 .   A c c e ss e d :   D e c .   1 2 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . u n i c o d e . o r g / v e r si o n s/ U n i c o d e 1 6 . 0 . 0 / U n i c o d e S t a n d a r d - 1 6 . 0 . p d f   [ 1 2 ]   U n i c o d e ,   B a l i n e se - r a n g e :   1 B 0 0 1 B 7 F ,   U n i c o d e ,   I n c . ,   2 0 2 4 .   A c c e ss e d :   D e c .   1 2 ,   2 0 2 4 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / u n i c o d e . o r g / c h a r t s / P D F / U 1 B 0 0 . p d f   [ 1 3 ]   G .   I n d r a w a n ,   I .   W .   S u t a y a ,   K .   U .   A r i a w a n ,   M .   S .   G i t a k a r ma ,   I .   G .   N u r h a y a t a ,   a n d   I .   K .   P a r a m a r t a ,   A   met h o d   f o r   n o n - a l p h a n u mer i c   t e x t   p r o c e ss i n g   o n   t r a n sl i t e r a t i o n   t o   t h e   B a l i n e s e   scr i p t ,   I C I C   Ex p res L e t t e rs ,   v o l .   1 6 ,   n o .   7 ,   p p .   6 8 7 6 9 4 ,   2 0 2 2 ,   d o i :   1 0 . 2 4 5 0 7 / i c i c e l . 1 6 . 0 7 . 6 8 7 .   [ 1 4 ]   B .   M a q b o o l   a n d   S .   H e r o l d ,   P o t e n t i a l   e f f e c t i v e n e ss   a n d   e f f i c i e n c y   i ss u e s i n   u sa b i l i t y   e v a l u a t i o n   w i t h i n   d i g i t a l   h e a l t h :   a   s y s t e m a t i c   l i t e r a t u r e   r e v i e w ,”  J o u r n a l   o f   S y st e m a n d   S o f t w a re ,   v o l .   2 0 8 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . j ss . 2 0 2 3 . 1 1 1 8 8 1 .   [ 1 5 ]   S .   G u p t a ,   A   c o m p a r a t i v e   st u d y   o f   u s a b i l i t y   e v a l u a t i o n   m e t h o d s,   I n t e r n a t i o n a l   J o u r n a l   o f   C o m p u t e r Tre n d a n d   T e c h n o l o g y ,   v o l .   2 2 ,   n o .   3 ,   p p .   1 0 3 1 0 6 ,   A p r .   2 0 1 5 ,   d o i :   1 0 . 1 4 4 4 5 / 2 2 3 1 2 8 0 3 / I JC TT - V 2 2 P 1 2 1 .       Evaluation Warning : The document was created with Spire.PDF for Python.