I n te r n ati o n al   Jo u r n al   o f  El e c tr i c a l   an d   C o m p u te r   En gi n e e r i n g   (I JEC E )   V o l .   10 ,   N o .   3 ,  J u n e   20 20 ,   pp .   2659 ~ 2667   IS S N :   2088 - 8708 ,  D O I :   10. 1 1591 / i j e c e . v 10 i 3 . pp2659 - 2667             2659       Jou r n al   h o m e pa ge :  ht t p: / / i j e c e . i ae s c or e . c om / i nd e x . php / IJ E CE   U ser   e x p e r i e n c e   i m p r o v e m e n t   o f   j a p a n e se   l a n g u a g e   m o b i l e   l e a r n i n g   a p p l i c a t i o n   t h r o u g h   m e n t a l   m o d e l   a n d   A / B   t e st i n g       K o m an g  C an d r a  Br ata ,   A d am   H e n d r a   Br ata     M o bi l e ,   G a m e ,   a nd   M e d i a   R e s e a r c h  G r o up ,   D e pa r t m e nt   o f   C o m put e r   S c i e nc e ,   U n i v e r s i t a s   B r a w i j a y a ,   I ndo ne s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   S e p   22 ,   2 019   R e v i s e d  N o v   5 ,   2019   A c c e pt e d  N o v   26,   2019       A d v a nc e s   i n  s m a r t p ho ne   t e c hno l o gy   ha v e   l e d  t o   t he   s t r o ng   e m e r g e nc e   o f   m o bi l e   l e a r n i ng   ( m - l e a r ni ng )   o n  t h e   m a r ke t   t o   s u ppo r t   f o r e i g n  l a ng ua g e   l e a r n i ng   pur po s e s ,   e s p e c i a l l y   f o r   t he   J a p a ne s e   l a ng ua g e .   N o   m a t t e r   w ha t   k i nd   o f   m - l e a r ni ng   a ppl i c a t i o n ,   t he i r   g o a l   s ho ul d  he l p  l e a r ne r s   t o   l e a r n   t he   J a p a n e s e   l a ng ua g e   i n de pe nde nt l y .   H o w e v e r ,   po pul a r   J a p a ne s e   m - l e a r n i ng   a ppl i c a t i o ns   o nl y   a c c o m m o da t e   o n  e nha nc i ng   r e a d i ng ,   v o c a bul a r y   a nd   w r i t i ng   a b i l i t y   s o   t ha t   us e r   e xpe r i e nc e   i s s ue s   a r e   s t i l l   pr e v a l e n t   a nd  m a y   a f f e c t   t he   l e a r ni ng   o ut c o m e .   I n  t he   c o nt e xt   o f   us e r   e xp e r i e nc e ,   u s a b i l i t y   i s   o ne   o f   t he   e s s e n t i a l   f a c t o r s   i n  m o bi l e   a p pl i c a t i o n  de v e l o pm e n t   t o   de t e r m i ne   t he   l e v e l   o f   t he   a pp l i c a t i o n’ s   u s e r   e xp e r i e nc e .   I n  t hi s   pa p e r ,   w e   a d v oc a t e   f o r   a   us e r   e x pe r i e nc e   i m pr o v e m e nt   by   us i ng   t h e   m e nt a l   m o de l   a nd   A / B   t e s t i ng .   T he   m e n t a l   m o de l   i s   us e d  t o   r e f l e c t   t he   us e r ’ s   i nne r   t hi nki ng   m o de .   A   c o m pa r a t i v e   a ppr o a c h  w a s   us e d  t o   i nv e s t i g a t e   t he   pe r f o r m a nc e   of   20  hi g h - g r a de   s t ude nt s   w i t h  ho m og e n o us   ba c kg r o unds   a nd  c our s e w o r k.   U s e r   e x pe r i e nc e   l e v e l   w a s   m e a s ur e d  ba s e d  o n  t he   us a bi l i t y   a p pr o a c h  o n   pr a g m a t i c   qua l i t y   a nd  he do ni c   qua l i t y   l i ke   e f f e c t i v e ne s s   ( s uc c e s s   r a t e   o f   t a s k  c om pl e t i o n) ,   e f f i c i e nc y   ( t a s k  c o m pl e t i o n  t i m e )   a nd  s a t i s f a c t i o n.   T he   r e s ul t s   t he n  c o m pa r e d  w i t h  a n  e xi s t i ng   J a pa ne s e   m - l e a r ni ng   t o   g a t he r   t h e   i ns i g ht   o f   i m pr o v e m e nt   o f   o ur   p r o po s e d  m e t ho d.   E x pe r i m e nt a l   r e s u l t s   s ho w   t ha t   bo t h  m - l e a r n i ng   v e r s i o ns   pr o v e d  c a n  e nha nc e   l e a r ne r   p e r f o r m a nc e   i n  pr a g m a t i c   a t t r i bu t e s .   N e v e r t h e l e s s ,   t he   s t u dy   a l s o   r e v e a l s   t ha t   a n  m - l e a r ni ng   t ha t   e m pl o y s   t he   c o nv e r s a t i o na l   m e n t a l   m o de l   i n  t he   l e a r ni ng   p r o c e s s   i s   m o r e   v a l ue d  by   pa r t i c i pa n t s   i n  h e do ni c   qu a l i t i e s .   M e a n  t ha t   t he   pr o po s e d   m - l e a r n i ng   w hi c h  i s   de v e l o pe d  w i t h  t he   m e n t a l   m o de l   c o ns i de r a t i o n  a nd  de s i g ne d  us i ng   A / B   t e s t i ng   i s   a bl e   t o   pr o v i de   c o nv e r s a t i o na l   l e a r n i ng   e xpe r i e nc e   i n t u i t i v e l y .   Ke y w or d s :   M e n t a l   m o de l     M ob i l e   l e a rn i ng     A / B   t e s t i n g     U s e r   e xpe ri e n c e     U s a b i l i t y     C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e d  E ng i ne e r i ng   and   S c i e nc e .    A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   K o m a ng  C a n d ra   B r a t a ,     D e pa rt m e n t   o f   Co m put e r  S c i e n c e ,   U n i v e r s i t a s   B ra w i j a y a ,   J l .   V e t e r a n  8 ,   M a l a n g   6514 5,   E a s t   J a v a ,   I n do n e s i a .   E m a i l :   k. c a nd r a . b ra t a @ ub . a c . i d       1.   I N TR O D U C TI O N   T h e   h i g h   de m a nd  i n   J a pa n e s e   l e a rni n g  a n d  t h e   l i m i t e d  l e a rni n g  m e di a   f r o m   I n do n e s i a n   ha s   l e d  t o   t h e   s t r o n g  e m e r ge n c e   of   m - l e a rni n g  o n   t h e   m a r ke t .   M - l e a rni n g  s y s t e m s   a r e   b e i n g  us e d  t o   i m p r o v e   s t ude n t   c a pa b i l i t y   t o   l e a r n   t h e   J a p a n e s e   l a ngua ge   i n de pe n de n t l y ,   i n   a ddi t i o n   t o   f a c i l i t a t i n g  t h e   l e a rni n g  p r o c e s s   a t   a n y   t i m e   [ 1 - 3] .   R e s e a r c h e r s   a r e   n o w   p r o po s i n g  v a ri o us   a da p t i v e   m - l e a rni n gs   w hi c h  p r o v i de   di ff e r e n t   e xe r c i s e   t y p e s   o r   l e a rni n g   a pp r o a c h e s   t o   t h e   l e a rn e r   b a s e d  o n   t h e   c urr e n t   s k i l l   l e v e l   o f   a n   i n d i v i dua l   t o   a s s i s t   l e a rn e r s   w h i l e   s t udy i n g   J a p a n e s e   v oc a b ul a r y   [4].   R e c e n t   i n s i g ht   r e v e a l s   t h a t   us e r   e xpe r i e n c e   i s s ue s   a r e   s t i l l   p r e v a l e n t   i n   s o m e   o f   t h e   po pul a r   J a pa n e s e   m - l e a rni n gs   w h i c h   a r e   a v a i l a b l e   o n   t h e   m a r ke t   s uc h   a s   “ W ri t e   i t ”   [5]  a n d   “ O be n ky o ”   [6].   T h e   c o m m o n   i s s ue s   a r e   t h e   l a c k  o f   c o n ve r s a t i o na l   s t y l e ,   t h e y   o n l y   fo c us   o n   e nha n c i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   3 ,  J u n e   2 020   :     2 6 5 9   -   2 6 6 7   2660   r e a d i n g ,   v o c a b ul a r y   a nd  w r i t i n g  s k i l l s   s o   t hi s   c o n di t i o n   m a y   a f fe c t   t h e   l e a rni n g  o ut c o m e .   U s a b i l i t y   di m e n s i o n  i s   a   c ri t i c a l   t o pi c   f o r   m o b i l e   a ppl i c a t i o n   us e r   e xpe r i e n c e   s i n c e   i t   i s   n e c e s s a r y   t o   de v e l o p  a n  a ppl i c a t i o n   t h a t   i s   n o t   t o   b e   h a r d  t o   us e   a n d  t hi s   h a s   b e e n   i de n t i f i e d  a s   o n e   of  t h e   f a c t o r s   t ha t   c a n   de t e rm i n e   t h e   qu a l i t y   o f   a n   a pp’s   us e r   e xpe r i e n c e .   U s a b i l i t y   s p e c i f i c a l l y   i n di c a t e s   t h e   de g r e e   of   us e r   pe r f o r m a n c e   w h i l e s   us i n g     a n   a p pl i c a t i o n   t o   a t t a i n   a   s pe c i f i c   go a l   [7].   I n   t e rm s   o f  us e r   e xpe ri e n c e ,   us a b i l i t y   di m e n s i o n   c a n  b e   c a t e go r i z e d   i nt o   p r a g m a t i c   a n d   h e do n i c   pa ra m e t e r s .   T h e   p r o c e s s   of   un de r s t a ndi n g   h o w   t h e   s y s t e m   w o r ks   r e qui r e s   i n di v i du a l s   t o   c o n s t ruc t   a   m e n t a l   m o de l   of   t h e   s y s t e m   i n   t h e i r   m i n ds .   T h e   m e nt a l   m o de l   a c qui s i t i o n   i s   a t   t h e   h e a r t   o f   m e a n i ngf ul   l e a rn i ng.   M e a ni n gf ul   l e a rni n g   w i l l   b e   a c hi e v e d  w h e n  l e a rn e r s   c a n  e nga ge   i n  a c t i v e   c o gn i t i v e   pr o c e s s i n g.   M a y e r   gi v e s   a   m o de l   f o r   l e a rn i ng  i n  m ul t i m e di a   l e a rni n g   [8] .   T h e   m a i n  i s s ue s   i n  a dv a n c e d  m - l e a rni n g   o f   J a pa n e s e   a r e   h o w   t h e   w o r ds   a r e   p r o n o un c e d  a n d  h o w   t o   e v a l ua t e   t h e   c o rr e c t ne s s   o f   pr o n u n c i a t i o n.   R e c e n t   pi e c e s   of   l i t e r a t u r e   s h o w   t h a t   s pe a ki n g  i s   a   ke y   i n di c a t o r   o f   e f fe c t i ve   c o m m uni c a t i o n   s k i l l s   i n   f o r e i gn   l a ngua ge   l e a rni n g  [ 9 - 11] .   T h i s   put s   f o r w a r d  f o r   c o n s i de r a t i o n   t ha t   t h e r e   i s   s t i l l   a   c ha n c e   t o   l e ve r a g e   t h e   us e r   e xpe r i e n c e   l e ve l   t h a t   off e r e d  by   e xi s t i n g   m - l e a rni n g .     S pe a ki n g  a n d  l i s t e n i n g   m i g h t   b r i ng  a   g r e a t   i m p a c t   o n   t he   J a pa n e s e   l a n gu a ge   l e a rni n g  p r o c e s s .   T h e   go a l   o f   t hi s   pa pe r  i s   t o   p r e s e nt   a n  a p p r o a c h   f o r   e na b l i n g  i m p r o v e m e n t   i n   t h e   us e r   e xpe r i e n c e   of   m - l e a rni n g   by   i m pl e m e n t   t h e   s pe a ki n g   a nd  l i s t e n i ng  e l e m e nt   a s   p a r t   o f   t h e   m - l e a rni n g   m e n t a l   m o de l   a n d  ut i l i z e   A / B   t e s t i n g   m e t h o d  t o   o b t a i n  a   b e t t e r   us e r   e xpe r i e n c e .   A / B   t e s t i n g   i s   a   s t a nda r d   m e t h o d  f o r   e v a l ua t i ng   us e r   e n ga ge m e nt   o r  s a t i s f a c t i o n   f r o m   a   n e w   s e r v i c e ,   fe a t ur e ,   o r   p r o duc t ,   t h i s   i s   a l s o   c a l l e d  b uc ke t   t e s t i n g ,   s p l i t   t e s t i n g,   o r   s upe r v i s e d  e xpe r i m e nt .   T h e   o b j e c t i ve   of   t h i s   s t udy   i s   t o   ga t h e r   m e n t a l   m o de l   fo r m   us e r ’s   pe r s pe c t i v e   a n d  w o r k  w i t h   a / b   t e s t i n g  i n   o rde r   t o   pr e s e nt   t h e   n e w   c o n c e pt   of   m - l e a rni n g  t h a t   ha v e   be t t e r   us e r  e xpe r i e n c e   c o m pa r e d   w i t h  c o m m o n  e xi s t i n g   m - l e a rn i ng.       2.   R ES EA R C H   M ET H O D   In   t hi s   pa pe r ,   a   d i a r y   s t ud y   w a s   us e d  t o  e xpl o r e   a n d  r e f l e c t   on   t h e   l e a rn e r   l e a rni n g  s t r a t e gi e s   t o   l e a rn   f un da m e nt a l   J a p a n e s e   m a t e r i a l s .   A dv a n c e s   i n   m ul t i m e d i a   c o n t e nt s   c a n   e xt e n d  t h e   e xpe ri e n c e   o f   m - l e a rni n g  a pps .   H ow e v e r ,   i t   i s   n o t   a   t ri v i a l   t a s k  t o   s uc c e s s f ul l y   de pl oy   v a ri o us   m ul t i m e di a   c o n t e n t   i n   m o b i l e   l e a rni n g   e n v i r o n m e n t s .   T h i s   i s   b e c a us e   t h e   p r o v i s i o n   o f   di ff e r e n t   l e a rni n g  m a t e r i a l s   w i t h  o n l y   o n e   s m a rt p h o n e   s c r e e n  r e qui r e s   a n  e ff e c t i v e   a ppr o a c h.   T h e   s t e ps   f o r   c o n s t ruc t i n g  m e nt a l   m o de l   f o r   pr o po s e d  i n t u i t i v e   m - l e a rn i ng,   us e r   e xpe r i e n c e   de s i g n   s t ra t e g i e s   a n d   s y s t e m   de s i gn  a r e   d i s c us s e d  b e l ow .     2 . 1 .     R e c o r d i n g  m e n tal   m o d e l s   M e n t a l   m o de l s   a r e   i n d i v i dua l   i nn e r   r e p r e s e n t a t i o n s   o f  t h e   e x t e rna l   r e a l i t y   t h a t   us e d  by   i n di v i du a l s   t o   c o m m uni c a t e   w i t h   t h e   e n v i r o n m e nt   a r o u n d  t h e m .   T h e   c o nc e pt   of   t h e   m e n t a l   m o de l   w a s   f i r s t   p r o po s e d  b y   K e nn e t h   C r a i k,   t h e   S c o t t i s h   ps y c h o l o gi s t ,   i n   1943  [12 ] .   B ut   w h a t   r e a l l y   m a de   t hi s   c o n c e pt   p o pul a r   w a s   J o h n s o n - L a i r d ' s   w i t h   hi s   i nt e r p r e t a t i o n   t h a t   t h e   m e n t a l   m o de l   i s   a   s i m pl e r   w o r l d  i n  pe o pl e ' s   m i nds   w h e n  t h e y   unde r s t o o d  t h e   o bj e c t i v e   w o r l d  [13 ].   P e t e r   S e nge   b e l i e ve s   t ha t   m e nt a l   m o de l   i s   a   s e r i e s   o f   a s s um pt i o n s ,   i de a s ,   i m a ge s   o r   i m p r e s s i o n s   t ha t   i ng r a i n e d  i n   t h e   m i n d,   a f f e c t i n g   h o w   w e   un de r s t a n d  t h e   w o r l d ,   a n d   h o w   w e   t a ke   a c t i o n  o n   [ 14].   D o n a l d  N o r m a n   d i v i de d  t h e   m e nt a l   m o de l   i n t o   t hr e e   i nt e ra c t i o n  r e l a t e d  m o de l s :   de s i g n  m o de l ,   us e r   m o de l   a n d  s y s t e m   m o de l   [1 5].   T o   put   i t   s i m pl y ,   a   m e n t a l   m o de l   i s   a   u n i que   w a y   of   un de r s t a ndi ng  w h i c h  fo r m e d  i n  t h e   p r o c e s s   o f   i n t e ra c t i ng  w i t h   t h e   w o r l d ,   a nd  a t   t he   s a m e   t i m e   a pp l i e s   t hi s   w a y   of   un de r s t a n d i n g  t o  t h e   n e xt   t h i ngs .   It   i s   b ui l t   b y   pe o pl e   o n   t h e i r   di s t i n c t i v e   l i v e s ,   po i n t s   o f   v i e w   a nd  w o r l d  u nde r s t a n d i n gs   [16] .   W e   a r e   e xa m i ni n g  pe r s o na l   r e s po n s e s   o n   t h e i r  u n de r s t a n d i n g  o f   t h e   s ub j e c t   m a t t e r   o f   J a pa n e s e   l e a rni n g.   T h e r e   c a n  b e   a   di f f e r e n t   n u m b e r   o f   pa r t i c i p a nt s   a c t u a l l y   e n g a ge d  i n  t h e   f i e l d  s t u dy   a n d  t e s t i n g .   F a u l k n e r   s t i pul a t e s   t h a t   20  r e s po n de nt s   w i l l   r e v e a l   a s   m a n y   us a b i l i t y   pr o b l e m s   a s   m o r e   pe o pl e   w i l l   do  an d  i t   i s   s uff i c i e n t   t o   o ffe r   t h e   us a b i l i t y   e xpe r i m e n t a t i o n  a   r e a s o na b l e   v a l ue - to - c o s t   b a l a n c e   [17] .     B a s e d  o n   F a ul k n e r' s   i n s i g ht ,   20  r e s po n de n t s   w e r e   i n v o l v e d  i n   t hi s   s t udy .   T h e y   kn e w   m - l e a rn i ng  a ppl i c a t i o n s   a nd  t h e y   w e r e   pa s s i o n a t e   a b o ut   l e a rni n g   J a p a n e s e .   T h e y   a r e   a l s o   f a m i l i a r   w i t h   r e a di n g  b a s i c   hi r a g a na   c h a ra c t e r s   a n d  h a v e   b a s i c   kn ow l e dge   a b o ut   J a pa n e s e   l a n gu a ge .   T h e y   w e r e   c a t e go r i z e d  by   s t ude n t s   a n d  t e a c h e r s .   W h i l e   p r a c t i c i n g  J a pa n e s e   us i ng  t h e   e xi s t i ng  m - l e a rn i ng  a ppl i c a t i o n,   t h e i r   t a s k   a c h i e v e m e n t   w a s   m o n i t o r e d  a nd  o b s e r v e d.   B a s e d  o n   t h e   g a t h e r e d  i n f o r m a t i o n   f r o m   r e s po n de n t s ,   w e   c r e a t e   a   us e r   j o urn e y   m a p  t o   c o l l e c t   us e r   n e e ds   s w i f t l y .   T h e   U s e r   J o ur n e y   M a p  gi v e s   a   t r a d i t i o n a l   pe r s o n a   a   t hi r d  d i m e n s i o n   a t t ri b ut e   b y   s i m pl y   fo c us i n g  o n   a   di a g r a m   o f  a   us e r ' s   n e e ds   a n d  t h e   p r o duc t .   R e c e n t   s t udi e s   i n di c a t e   t h a t   t hi s   s t r a t e gy   i s     a n   e f f i c i e n t   w a y   t o   qui c kl y   c o l l e c t   us e r   s t o r i e s   t o   de v e l o p  a n  i n t ui t i v e   a ppl i c a t i o n   [18 - 19 ] .   W e   de v e l o p  a   us e r  s t o r y   de pe n di n g  o n   us e r   j o urn e y   pe r c e pt i o n s .   T h e   us e r   s t o r y   r e c o r ds   t h e   s y s t e m   r e qui r e m e nt s ,     t h e   e xpe c t a t i o n s   o f   t h e   s y s t e m   a n d  (o pt i o na l l y )  w h y   t h e y   a r e   ur ge nt l y   n e e de d.   U s e r   S t o r y   s h o ul d  o n l y   c a pt ur e   i m po rt a nt   r e qui r e m e nt s   of   t h e   s y s t e m .   T o   ge n e r a t e   a   s uc c e s s f ul   us e r   s t o r y ,   w e   a do pt i n g  IN V E S T   s t a nda r ds   (Inde pe n de n t ,   N e go t i a b l e ,   V a l u a b l e ,   E s t i m a b l e ,   S m a l l ,   a nd  T e s t a b l e )  i n   o r de r   t o   ge t   r e l i a b l e   qua l i t a t i v e   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       U s e r   e x pe r i e n c e   i m pr o v e m e nt   of   j apan e s e   l ang uage   m ob i l e   l e ar ni ng   app l i c at i on   …   ( Kom ang   Can dr a  B r at a )   2661   m e t r i c s .   T h e   s i m p l i f i e d  f o r m a t   t ha t   w a s   us e d  i n   t h i s   s t udy   i s :   “ A s   a   < t y pe   of   us er > ,   I  w a nt   < goa l > ,   s o   t h a t   < s om e   r e as on>   [20] .   S o m e   i de a s   a nd  o b s t a c l e s   f r o m   o r di na r y   i n d i v i dua l s   c a n   b e   s e e n   i n  T a b l e   1  w h e n   t h e y   a r e   us i n g  m - l e a rni n g  a ppl i c a t i o n s   f o r   J a pa n e s e   l a n gu a ge   e xe r c i s e .   B a s e d  o n   t h e s e   i n s i g h t s ,   t h e   c u rr e nt   i m p l e m e nt a t i o n   o f   m - l e a rn i n g   l a c ks   a n   i n t e g r a t i o n   o f   m ul t i m e di a   c o m po n e nt s   a nd  i nt e ra c t i v e   e n v i r o nm e nt   t o   i n de pe n de n t l y   i m p r o v e   s pe a ki n g   a nd  l i s t e n i ng  s k i l l s   a s   a   po rt i o n   o f   t h e   l e a rn e r' s   m e nt a l   m o de l .       T a b l e   1 .   U s e r   s t o r y   r e s ul t s   No   U s e r  S t o ry   1   A s   a n   m - l e a r n e r,   I   w a n t   a n   s i m p l e   s y s t e m   t o   s t u d y   J a p a n e s e   w o r d s   b e c a u s e   I   a m   a   b e g i n n e r.   2   A s   a   u s e r  o f   m - l e a rn i n g ,   I   w a n t   t o   a n s w e r  t h e   q u e s t i o n   o f   l e a r n i n g   m a t e ri a l s   w i t h   m y   v o i c e   t o   e n h a n c e   m y   a b i l i t y   t o   s p e a k   J a p a n e s e .   3   A s   a   u s e r  o f   m - l e a rn i n g ,   I   w a n t   t o   c o n d u c t   s e l f - e v a l u a t i o n   s o   t h a t   I  k n o w   a b o u t   t h e   c o rre c t n e s s   o f   m y   p ro n u n c i a t i o n .   4   A s   a n   m - l e a r n e r,   t o   e n h a n c e   m y   v o c a b u l a ry   k n o w l e d g e ,   I   w a n t   t o   k n o w   v a ri o u s   J a p a n e s e   v o c a b u l a ry   u s e d   i n   d a i l y   l i f e .   5   A s   a n   m - l e a r n e r,   I   w a n t   t o   l i s t e n   t o   a n   e x a m p l e   o f   t h e   ri g h t   w o r d   p r o n u n c i a t i o n   t o   b o o s t   m y   J a p a n e s e   l i s t e n i n g   a b i l i t y .   6   A s   a n   u s e r  o f   m - l e a r n i n g ,   I  w a n t   m u l t i m e d i a   l e s s o n   i t e m s   t h a t   c o n t a i n   i m a g e s   o f   i l l u s t ra t i o n   t h a t   a r e   s u i t a b l e   w i t h   t h e   c o u r s e   c o n t e n t   t o   m a k e   a   b e t t e r   u n d e r s t a n d i n g   a n d   b o o s t   m y   m o t i v a t i o n   fo r   t h e   l e a r n i n g   p r o c e s s .       2 . 2 .     C o n s tr u c ti n g  m - l e a r n i n g  m e n ta l   m o d e l s   M e n t a l   m o de l s   a r e   pe o pl e ’s   pe r c e pt i o n  o f   h o w   s o m e t h i n g   s h o ul d  w o r k,   b a s e d  o n   t h e i r  pa s t   e xpe r i e n c e s .   T h e   m e n t a l   m o de l   i s   a n   i m po rt a nt   c o n c e pt   w h i c h   i s   c a n   b e   t a ke n   i n t o   a c c o un t   by   l e a rni n g   e xpe r i e n c e   de s i gn e r s   d u r i n g  t h e   p r o c e s s   of   r e qui r e m e nt   a na l y s i s   a n d   de s i g n.   H a v i n g  a   de f i c i e n t   m e nt a l   m o de l   m a y   i n di c a t e   a   l a c k  o f   a w a r e n e s s   o f   t h e   us a b i l i t y   r i s ks   s urr o undi n g  t h e   l e a rni n g  a c t i v i t i e s   [21] .   F r o m   l i t e r a t u r e s   o n   e duc a t i o n,   i t   i s   c l e a r   t ha t   d i a l o gue   b a s e d  o n   t h e   t r i a di c   m o de l   (que s t i o n – a n s w e r – e v a l ua t i o n)  i s   s t i l l   w i de l y   us e d  a n d   b e c o m e   t h e   m e n t a l   m o de l   i n  e duc a t i o n a l   p r a c t i c e   [22 - 24] .     T h e   m e n t a l   m o de l   c a n  b e   s e e n   a s   a   w a y   t o   m i n e   a   us e r  n e e ds .   T h s e   us e r  s t o r y   r e s ul t   i n  r e c o r di n g   m e nt a l   m o de l   pha s e   s h o w s   t h a t   l a c k  o f  m ul t i m e di a   c o n t e nt s   a n d  i n t e r a c t i o n s   a r e   t h e   b i gge s t   dr a w b a c k  of   t h e   e xi s t i n g  m - l e a rni n g .   M a y e r ' s   s ugge s t e d  s o m e   m ul t i m e di a   p r i n c i p l e s   i n   i n t e r a c t i v e   m ob i l e   l e a rn i ng  i m p l e m e nt a t i o n ,   S pa t i a l   Co n t i gu i t y   P r i n c i p l e ,   G e n e r a t i v e   l e a rn i ng  pri n c i p l e ,   P e r s o n a l i z a t i o n   P r i n c i p l e ,   a n d   M o da l i t y   P r i n c i p l e .   T h e   G e n e ra t i o n a l   P ri n c i pl e   i n d i c a t e s   t ha t   s t ude n t s   l e a rn  m o r e   e f f e c t i v e   w i t h  w o r ds   a n d   i m a ge s   r a t h e r   t ha n   o nl y   w i t h   w o r ds .   T h i s   p r i n c i pl e   a l l o w s   s t u de nt s   t o   v i s ua l i z e   c o n c e pt s   a n d   c o nn e c t   t h e m   us i n g  t h e   a s s o c i a t e d  i l l us t r a t i o n s .   T h e   P ri n c i pl e   o f  S pa t i a l   Co n t i gui t y   r e c o m m e n ds   t h a t   m e s s a ge s   m us t   be   pr e s e n t e d  w h e n   t h e   pi c t u r e   i s   l o c a t e d   n e xt   t o   w o r ds .   M o da l i t y   P r i n c i p l e   o bv i o us l y   s h ow s   t h a t   w h e n   w o r ds   a n d  i m a ge s   a r e   s po ke n   i n s t e a d  o f   pr i nt e d,   i ndi v i dua l s   l e a rn   b e t t e r   f r o m   t h e   c o n t e n t s .   B e s i de s ,   t h e   P e r s o na l i z a t i o n   P r i n c i pl e   s ugge s t s   t ha t   w h e n  w o r ds   a n d  s e n t e n c e s   a r e   c o n v e r s a t i o na l l y   c o n v e y e d,   l i ke   s pe a ki n g   a nd  l i s t e n i ng,   i ndi v i du a l s   l e a rn   b e t t e r   f r o m   a   m ul t i m e di a   l e s s o n   c o m pa r e d  t o   a   f o r m a l   t e xt   s t y l e   [25 - 26] .     Ide a l l y   w h e n   p r o c e s s i n g,   t h e   di f f e r e n t   t y pe s   of   m ul t i m e di a   i n f o r m a t i o n   ( i . e . ,   w o r ds ,   pi c t u r e s ,   a n d   s o un d)  a r e   i nt e g r a t e d  t o   fo r m   a   s t r o nge r   r e p r e s e nt a t i o n  t ha n   a n y   o n e   by   i t s e l f .   F i gur e   1  de p i c t s   t h e   h i g h  l e v e l   of   n e w   i n f o r m a t i o n   p r o c e s s i n g  i n   hum a n   m e m o r y .   O n c e   a   m e nt a l   m o de l   i s   b ui l t ,   i t   i s   e xt r a c t e d  f r o m   m e m o r i e s   a n d  t ra n s m i t t e d   t o   a   n e w   s i t ua t i o n   s c e n a ri o   t hr o ug h   a na l o gi c a l   r e a s o ni n g .   A n a l o gi e s   a r e   m a pp i n gs   of   o n e   m e n t a l   i m a ge   t o   a n o t h e r.   If   a   p r o b l e m   a r i s e s ,   a   m e nt a l   m o de l   i n f l ue n c e s   w h a t   a   pe r s o n   f o c us e s   o n ,   w h a t   a c t i o n s   a n d   s t r a t e gi e s   a   pe r s o n   t a k e s   t o   s o l v e   t h e   p r o b l e m   [2 7].     2 . 3 .    U s e r   e x p e r i e n c e   d e s i gn   w i th   A / B  t e s ti n g   In  t h e   w o r l ds   o f   a ppl i c a t i o n’s   us e r  i nt e r f a c e   de s i gn,   t h e   us e r  w i l l   c a l l   a n  a p pl i c a t i o n   i s   i n t ui t i v e   w h e n   t h e   c o n c e pt ua l   m o de l   of   t h e   a ppl i c a t i o n   i s   a   v e r y   r e s e m b l a n c e   t o   t h e   us e r ’s   m e n t a l   m o de l   of   h ow   a   s y s t e m   s h o ul d  w o r ks   [28].   T h i s   r u l e   a l s o   w o r ks   i n   m - l e a rni n g,   l e a rne r s   w i l l   l e a rn   m o r e   e ff e c t i v e l y   w h e n   t h e i r   m e nt a l   m o de l   of   c o n v e r s a t i o n   m a t c h   w i t h   c o n c e pt ua l   m o de l   o f   a n   m - l e a rni n g .   O t h e r w i s e ,   a   m i s m a t c h   m a y   c a us e   f r us t r a t i o n   a n d  c o n f us i o n   t ha t   de t ra c t s   f r o m   t h e   e xpe ri e n c e   of   l e a rn i ng.   A / B   t e s t i ng  w a s   us e d  t o   de t e r m i n e   t h e   us e r   i nt e r f a c e   a n d  ge s t u r e   c o n t r o l   t ha t   a pp r o p r i a t e   f o r   us e r s   c o n c e rn i n g  p r o v i de   e x c e l l e n t   us e r   e xpe ri e n c e   i n   p r o po s e d  m - l e a rni n g.   A / B   t e s t i n g  i s   a   s t a n d a r d  a nd   c o m m o n l y   us e d  f r a m e w o r k  fo r   e v a l ua t i ng  n e w   c o n c e pt s   a n d  m a ki n g  de c i s i o n s   b a s e d  o n   r e s ul t   da t a .   I n   t h e   a ppl i c a t i o n   de v e l o pm e n t   do m a i n,   m a j o r   pl a t f o r m s   c o n duc t   t e s t s   o n   a   s e t   of   c us t o m e r s   a n d  e v a l ua t e   t h e   r e s ul t   t o   ob t a i n   a n   i nn o v a t i v e   f e a t ur e   [29 - 30] .   A / B   t e s t i n g   r e c o m m e n ds   di v i di n g   t h e   us e r   u ni v e r s e   i nt o   t w o   o r   m o r e   gr o ups   i n  w h i c h   e a c h   g r o up  w i l l   us e   di f f e r e n t   v e r s i o n s   o f   a n   a p pl i c a t i o n   a nd  c o m pa r e   t h e   e f fe c t   of   e a c h   v e r s i o n.   T h i s   a pp r o a c h   i n s pe c t s   t h e   o v e r a l l   e ffe c t i ve n e s s   of   a n   a ppl i c a t i o n   by   pr o v i di ng  e n o ug h   i n s i g ht   da t a   t o   e na b l e   b e t t e r   de s i g n   o pt i o n s   a n d  p r e v e n t   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   3 ,  J u n e   2 020   :     2 6 5 9   -   2 6 6 7   2662   c o m m o n   pi t f a l l s   i n   us e r   i nt e r f a c e   a n d  e xpe ri e n c e   de s i g n s .   T h e   s i m pl e   e xpe ri m e n t a l   s e t up  w a s   c o n duc t e d  t o  e v a l ua t e   a   f a c t o r   w i t h   t w o   v e r s i o n s   o f   t h e   a p pl i c a t i o n ,   w e   c a l l   i t   a   c o nt r o l   (v e r s i o n   A )  a n d  a   t r e a t m e nt   (v e r s i o n   B ).   F i gu r e   2  s h o w s   t h e   h i g h - l e v e l   s t r uc t u r e   o f   a n   A / B   e xpe r i m e n t .   I n   p ra c t i c e ,   a   s p l i t   num b e r   o f  us e r s   by   50%  i s   r e c o m m e n de d   t o   p r o v i de   t h e   e xpe ri m e n t   w i t h  t h e   m a xi m u m   s t a t i s t i c a l   po w e r   [31] .           F i gu r e   1 .   A n  i n f o r m a t i o n  p r o c e s s i n g  m o de l   o f   m ul t i m e di a   l e a rn i ng           F i gu r e   2 .  T h e   s t r uc t u r e   o f   a n  A / B   t e s t i n g   e xpe ri m e n t   p r o c e s s e s       T h e r e   a r e   t w o   a pp r o a c h   w h e n  c o n duc t i ng  A / B   t e s t i n g.   “ G o   b i g”   a pp r o a c h ,   t h e   m a i n   o b j e c t i v e   i s   ob t a i n i ng  l a rge   s i z e s   of   s a m pl e   f o r   a   s m a l l   n u m b e r   o f  e xpe ri m e n t s   t o   e n s u r e   t h a t   i t   c a n   c a pt u r e   e v e n   s m a l l   b e n e f i t s   o f   a   n e w   i de a   o r   a n   i n t e r v e n t i o n   o f   po l i c y .   In   c o n t ra s t ,   i n   e a rl y   ph a s e   pr o duc t   de v e l o pm e n t   “ G o   l e a n”   a pp r o a c h   c r e a t e   m a n y   r e l a t i v e l y   s m a l l   e xpe ri m e n t s   t o   e xpl o r e   a n y   i nn o v a t i o n   i n s i g ht   w i t h o ut   o ut s t a ndi n g   s uc c e s s .   T h e   i de a   i s   t o   e xpe r i m e nt   w i t h   m a n y   i de a s   qui c kl y   a n d  c h e a p l y ,   a b a n do n   o r   pi v o t   i de a s   t h at   do n ' t   w o r k  a n d  e xpa nd  i de a s   t ha t   w o r k  [32].   I n   t h i s   s t u d y ,   t h e   G o   l e a n   a pp r o a c h   i s   v e r y   r e l e v a n t   t o   t h e   e xpe ri m e n t a l   p r o c e s s .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       U s e r   e x pe r i e n c e   i m pr o v e m e nt   of   j apan e s e   l ang uage   m ob i l e   l e ar ni ng   app l i c at i on   …   ( Kom ang   Can dr a  B r at a )   2663   T h e   c o m m o n   m e nt a l   m o de l   f o r   l e a rni n g  p r o c e s s   c a n   b e   di vi de d  i nt o   2  p h a s e s ,   l e a rni ng  p ha s e   a n d   s c o r i n g  p ha s e .   B a s e d  o n   F i gur e   2,   t h e   w o r kf l ow s   of   t e s t i n g  a r e   i n c l ude d  s e t   t h e   go a l ,   de ve l o p  di ff e r e n t   pr o duc t   v a ri a t i o n,   t e s t   t h e   pr o duc t s   t h e n   e v a l ua t e   t h e   r e s ul t .   In   t hi s   t e s t i n g ,   t o   ge t   i n f o r m a t i o n   a b o ut   w h i c h   U I  f l ow s   t ha t   h a v e   b e t t e r   us e r   e xpe r i e n c e ,   t w o   di ff e r e n t   us e r   i n t e r f a c e s   w i t h   d i f f e r e n t   ge s t u r e s   i n   e a c h   m - l e a rni n g   v e r s i o n   w e r e   p r o v i de d  t o   10  pa rt i c i p a n t s .   T h e   s c o r i n g  p ha s e   i s   o n e   o f   t h e   c r uc i a l   r e qu i r e m e nt s   o f   m - l e a rn i n g .   In  t hi s   p ha s e ,   t h e   c o m b i n a t i o n  o f   m ul t i m e di a   p r i n c i p l e s   n e e ds   t o   b e   a ppl i e d  t o   m a ke   s u r e   t h e   us e r   c a n  e a s i l y   unde r s t a n d  t h e   que s t i o n   a nd  us e r   i nt e r f a c e   c o n t r o l   t o   a n s w e r.   T h e   c o n t r o l   v e r s i o n   i s   us i n g   s i m pl e   l i s t - v i e w   pa ge   na v i ga t i o n   t o   pr e s e nt s   a l l   t h e   qui z   c o n t e n t s   i n s i de   t h e   a pp  s e e   i n   F i gu r e   3   ( a ) .   T h e   us e r   a l s o   c a n   c h o o s e   t h e   l e v e l   of   que s t i o n   t h e n   t h e   a pp  p r o v i de   us e r   w i t h   e a c h   q ue s t i o n s   i n   c h o s e n   l e v e l .   W h i l e   i n   t h e   t r e a t m e nt   v e r s i o n   s h o w s   i n   F i gu r e   3   ( b )   s i n g l e   pa ge   de s i g n   w a s   us e d  t o   di s pl a y   e a c h   que s t i o n   w i t h   a   t i t l e   h e a de r   w hi c h   i s   i n f o r m   t h e   us e r   a b o ut   que s t i o n  l e v e l   a n d   c a t e go r y ,   t h e   s l i di ng  p a ge   n a v i ga t i o n  c a n   b e   us e d  t o   c ha n ge   t h e   n e xt   o r   p r e v i o us   c o ur s e   obj e c t .   Bo t h   v e r s i o n s   o f   t h e   a pp  w i l l   c h e c k  t h e   c o r r e c t n e s s   of   us e r   pr o n u n c i a t i o n  t h e n   s h o w   t h e   r e s ul t   i m m e di a t e l y .   N e xt ,   t h e   p a r t i c i pa nt s   w e r e   a s ke d  t o   do   s e ve r a l   c o m m o n   l e a rni n g  t a s k  s c e n a r i o s   w i t h   b o t h   v e r s i o n   o f  pr o po s e d  m - l e a rni n g  p r o t o t y p e .   F i gur e   3  s h o w s   t h e   A / B   t e s t i n g  o f  b o t h   ve r s i o n  of   t h e   p r o po s e d  l e a rni n g   i n  l e a rni n g  p h a s e .   T h e   c o n t r o l   v e r s i o n  i m pl e m e n t e d  t h e   l i s t - v i e w   us e r   i n t e r f a c e   w h i c h   ha v e   t w o   b ut t o n s   i n   e a c h   l i s t   i t e m   c o n t e nt   i n   o r de r   t o   c r e a t e   t h e   na t u ra l   c o n v e r s a t i o na l   s t y l e   i n   t h i s   m - l e a rni n g  s e e   F i gur e   4   ( a ) .   T h e   t r e a t m e n t   v e r s i o n   i s   s l i g ht l y   di ffe r e nt   i n   c o n t e n t   na v i ga t i o n,   i n s t e a d  o f  di s pl a y   a l l   t h e   c o n t e nt s   i n  l i s t   v i e w ,   i t   us e   o n e   p a ge   t o   d i s pl a y   e a c h   c o n t e n t   a n d   us e r   c a n  c h a nge   c o n t e nt   w i t h  s w i pe   l e f t   o r   r i g ht   s h o w s   i n   F i gu r e   4b .   N o t   a l l   f e a t u r e s   c a n   b e   A / B   t e s t e d  i n   t hi s   s t udy   due   t o   l i m i t a t i o n s   o n  m o b i l e   a pps   a n d  i n f r a s t r uc t u r e   c o n s t r a i n.   D e t a i l   i m p l e m e nt a t i o n   de s i g n   a nd  p r o t o t y pe   f r a m e w o r k  c a n   b e   s e e n   i n  [33] .           V e r s i o n   A   (a )                                     V e r s i o n  B   (b )     F i gu r e   3 .  A   s a m pl e   o f   us e r   i n t e r a c t i o n s   o f   l e a rni n g   p h a s e   t h a t   c o m pa r e d  i n  t h e   a / b   t e s t       T o   de t e r m i n e   t h e   o ut pu t   o f   A / B   t e s t ,   t h e   s a m e   20   pa rt i c i pa nt s   w a s   s pl i t   i n  t w o   gr o ups .   E a c h   g r o up   t r y   o n e   ve r s i o n   o f   t h e   pr o po s e d  a pp.   T h e   e v a l ua t i o n   pa ra m e t e r s   t ha t   us e d  i n  t hi s   t e s t i n g  w e r e   e ff i c i e n c y   a n d  e ffe c t i ve n e s s .   E f f e c t i v e n e s s   i s   c o un t e d  by   t h e   n u m b e r   o f   s uc c e s s   i n  a   t a s k ,   w hi l e   e f f i c i e n c y   i s   c o un t e d  by   t h e   c o m pl e t i o n   t i m e   i n  pa rt i c ul a r   t a s k .   T a b l e   2  s h o w s   t h e   A / B   t e s t   e xpe r i m e n t   r e s ul t s .   A l t h o ug h   b o t h   v e r s i o n  of   t h e   a pps   c o ul d  e a s i l y   un de r s t a nd  by   us e r s   w i t h   100 %  s uc c e s s   r a t e ,   c o n s i de ri n g  t h e   t o t a l   t i m e   f o r   pe r f o r m i ng  e a c h   p h a s e ,   pa rt i c i p a nt s   c o m pl e t e d  e a c h   p h a s e   f a s t e r   w i t h   c o n t r o l   v e r s i o n ,   f o r   L e a r ni n g  p ha s e .   S c o r i n g   p h a s e   r e v e a l s   t h e   s a m e   r e s ul t   t ha t   c o n t r o l   v e r s i o n   a l s o   h a v e   b e t t e r   t i m e .   T h e   r e s ul t   p r o v e s   t ha t   pr e s e nt i n g  a l l   c o ur s e   c o n t e n t s   i n   l i s t - v i e w   s t i l l   f a m i l i a r   w i t h   t h e   us e r   da i l y   us a ge .   T h us ,   t o   pr o v i de   be t t e r   us e r   e xpe r i e n c e ,   t h e   us e r   i nt e r f a c e   of  pr o po s e d  m - l e a rni n g  a d o pt   t h e   s i m pl e   l i s t - v i e w   l a y o ut   t o  pr e s e n t   t h e   c o ur s e   a n d  qui z   m a t e ri a l s   a s   i n  c o nt r o l   v e r s i o n  A .       T a b l e   2 .   A / B   t e s t i n g   r e s ul t s   P h a se   Co n t r o l   V e r s i o n   A   T re a t m e n t   V e r s i o n   B   T i m e   (m i n u t e s )   S u c c e s s   Ra t e   T i m e   (m i n u t e s )   S u c c e s s   Ra t e   L e a r n i n g   P h a s e   2 . 9 0   /   1 . 0   100%   6 . 4 5   /   1 . 3 7   100%   S c o ri n g   P h a s e   4 . 9 1   /   0 . 8 6   100%   7 . 2   /   0 . 7 7   100%     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   3 ,  J u n e   2 020   :     2 6 5 9   -   2 6 6 7   2664   2 . 4 .    U s e r   e x p e r i e n c e   c o m p ar i s o n   T h e   qu a l i t y   i n   us e   o f   i n t e r a c t i v e   pr o duc t s   h a s   b e c o m e   s uc h   a n   i m po r t a n t   c ri t e r i o n.   I n   t h e   c o n t e xt   of  us e r   e xpe ri e n c e ,   us a b i l i t y   e v a l ua t i o n   i s   a n   e s s e n t i a l   t a s k  i n   m o b i l e   a ppl i c a t i o n   de v e l o pm e n t .   P e r f o r m i n g   us a b i l i t y   i n s pe c t i o n s   du ri n g   t h e   a pp l i c a t i o n  de v e l o pm e n t   p r o c e s s   c a n   b r i ng  s e v e r a l   b e n e f i t s   s uc h   a s   i n c r e a s i n g   t h e   qua l i t y   i n   us e   a n d  o f   t h e   s of t w a r e   p r o duc t   b e fo r e   i t s   r e l e a s e   [34].   W e   c o m pa r e   t h e   us a b i l i t y   l e ve l   o f  o ur   pr o t o t y p e   w h i c h   w a s   de v e l o p e d  w i t h   m e nt a l   m o de l   a n d   A / B   t e s t i n g   w i t h   e xi s t i n g  m - l e a rni ng  a pps .   T h e   s a m e   20  pa rt i c i p a nt s   a s   i n   e l i c i t a t i o n   p ha s e   w e r e   i n v o l ve d  a nd  t h e y   w e r e   a s ke d  t o   do   s e v e r a l   t a s k  s c e na ri o s   a s   de s c r i b e d  i n   T a b l e   3  w i t h   b o t h   o f   t h e   a pps ,   e xi s t i n g  c o m m o n   J a pa n e s e   m - l e a rni n g  a n d  p r o po s e d  pr o t o t y pe .   W h i l e   t h e y   w e r e   pe r fo r m i ng  t h e   e v a l ua t i o n   t a s ks   w i t h   p r o p o s e d  m - l e a rn i ng,   t h e i r   pe r f o r m a n c e   o n   t h e   t a s ks   w a s   ob s e r v e d  a n d  a n y   pr o b l e m s   o c c ur r e d  w e r e   n o t e d  a nd  c ul t i v a t e d.       T a b l e   3 .   E v a l ua t i o n   t a s ks   T a s k   T a s k   D e s c ri p t i o n   1   S t a rt   t h e   a p p l i c a t i o n   a n d   e x p l o r e   w h a t   t h e y   c a n   d o   i n s i d e   t h e   a p p l i c a t i o n   w i t h i n   1 5   m i n u t e s   i n t e ra c t i o n !   2   O p e n   t h e   a n i m a l   n a m e   c o u rs e   s e c t i o n   a n d   t h e n   c h o o s e   o n e   a n i m a l   n a m e   f r o m   l e a r n i n g   m a t e ri a l ,   t h e n   l e a r n   a n d   e n g a g e   w i t h   t h e   c h o s e n   m a t e ri a l s   fo r  5   m i n u t e s !   3   S e e   t h e   c o rr e c t   p r o n u n c i a t i o n   a n d   r e v i e w   t h e   l e a r n i n g   r e s u l t   f r o m   a p p l i c a t i o n !   4   S t a rt   t h e   q u i z   t h e n   g e t   s c o r e   t o   e v a l u a t e   t h e   p r o f i c i e n c y   o f   l e a r n i n g   m a t e ri a l s .   C o m p l e t e   t h e   q u i z .       E xpe r i m e nt a l   c o n di t i o n s   i n   F i gu r e   4   ( a )   a n d  F i gu r e   4   ( b )   a re   s h o w i n g  t h e   s a m e   t a s k  c o m pl e t i o n  i n  t w o  di ff e r e n t   a pp l i c a t i o n   p r e s e n t a t i o n s .   D e g r e e   of  u s e r   e xpe ri e n c e   i s   de f i n e d  a s   t h e   v a l ue   of  e a c h   pra gm a t i c   a n d  h e do n i c   p a r a m e t e r .  I n   s o f t w a r e   do m a i n ,   A t t ra c t i v e n e s s   s c a l e   i s   a n   e ff e c t i v e   w a y   t o   r e c o r d  t h e   us e r ’s   ge n e ra l   i m p r e s s i o n.   A t t ra c t i v e n e s s   i s   a   v a l e n c e   di m e n s i o n   (ps y c h o l o g y   a n d  e m o t i o na l   r e a c t i o n   o n   a n  un s po i l e d  a c c e pt a n c e / r e j e c t i o n   r e s po n s e ).   A t t ra c t i v e n e s s   s c a l e   c o n s i s t s   o f   pra g m a t i c   a n d  h e do ni c   qu a l i t y .   P r a gm a t i c   qua l i t y   a s p e c t s   a r e   di v i de d  by   P e r s pi c ui t y ,   E ff i c i e n c y ,   a n d  D e pe n da b i l i t y   i n   w h i c h   de s c r i b e   i n t e r a c t i o n   qua l i t i e s   t h a t   r e l a t e   t o   t h e   t a s ks   o r   go a l s   t h a t   t h e   us e r   a i m s   t o   a c h i e v e   w h e n   us i n g  a n   a pp .   H e d o n i c   qua l i t y   a s pe c t s   s u c h   a s   S t i m u l a t i o n   a n d  N o v e l t y   a r e   n o t   r e l a t e d  t o   t a s ks   a n d  go a l s ,   b ut   i t   c a n   de s c r i b e   r e l a t e d  a s pe c t s   t o   j oy   a n d  s a t i s f a c t i o n  w h i l e   us i n g   a n  a pp   [35 ].   B o t h   v e r s i o n s   o f   m - l e a rn i ng  a r e   t e s t e d  t o   t h e   pa rt i c i p a n t   i n  s e que nt i a l   o r de r   (o n e   a f t e r  t h e   o t h e r )  a n d   e a c h  pa rt i c i p a n t   ha s   t o   f i l l   o ut   a   que s t i o nn a i r e   c o n c e r ni n g  us e r   e xpe ri e n c e .   I n  t ha t   c i r c u m s t a n c e ,   t h e   n u m b e r   o f   que s t i o n na i r e   i t e m s   m us t   b e   ke pt   t o   a   m i n i m u m   a s   po s s i b l e   t o   m a ke   s ur e   t h e   pa rt i c i p a n t   n o t   s t r e s s e d  a n d  ke e p  t h e   qua l i t y   of   a n s w e r s   [36] .   B a s e d  o n   t h a t   f a c t ,   t h e   s h o rt   v e r s i o n   o f   t h e   U s e r   E xpe r i e n c e   Q ue s t i o n na i r e   (U E Q - S )  w a s   us e d   fo r   ga t h e r i n g   pa r t i c i pa nt s '   i m p r e s s i o n s   a b o ut   e a c h   v e r s i o n   w h i c h   i s   t h i s   que s t i o nna i r e   c a n   f o c us   o n   t h e   o n l y   a s pe c t s   of  pra g m a t i c   a n d  h e do ni c .   E a c h   i t e m   o f   t h e   U E Q - S   c o n s i s t s   o f  a   pa i r   o f   t e r m s   w i t h   o ppo s i t e   m e a ni n gs   a s   s h o w n   i n   F i g u r e   5 .   T h e   f i r s t   f o ur   i t e m s   i n  U E Q - S   m e a s u r e   t h e   p ra gm a t i c   a s pe c t   a n d  t h e   l a s t   f o ur   i t e m s   r e pr e s e nt   t h e   h e do n i c   qua l i t y .   E a c h   i t e m   ha s   a   7 - po i nt   L i ke rt   s c a l e   r a t e .   T h e   a n s w e r s   of   t h e   pa rt i c i p a nt   a r e   t h e n   s c a l e d  f r o m   - 3  (f ul l y   a gr e e   w i t h   t h e   n e ga t i v e   t e r m )  t o   + 3  (f ul l y   a gr e e   w i t h   t h e   po s i t i v e   t e r m ).   A l l   i t e m s   i n   que s t i o n   f o r m   a r e   p r e s e n t e d  i n   t h e   s a m e   po l a ri t y .   T h e   l e f t   s i de   r e f l e c t s   t h e   n e g a t i v e   t e r m   a nd  t h e   r i g ht   s i de   t h e   po s i t i v e   t e rm .         (a )                                                                   (b )       F i gu r e   4 .  ( a )   S c r e e n s h o t s   o f   t h e   c o m m o n     m - l e a rni n g   a nd  (b )  t h e   p r o po s e d  m - l e a rni n g     F i gu r e   5 .  T h e   que s t i o nn a i r e   i t e m s   o f   U E Q - S     Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       U s e r   e x pe r i e n c e   i m pr o v e m e nt   of   j apan e s e   l ang uage   m ob i l e   l e ar ni ng   app l i c at i on   …   ( Kom ang   Can dr a  B r at a )   2665   3.   R ES U LTS   A N D   A N A L Y S I S   D i r e c t   c o m pa r i s o n   w a s   c o n duc t e d  t o   e xpl i c i t l y   c o m pa r e   t h e   t w o   e v a l ua t e d  a pp l i c a t i o n   e xpe ri e n c e s   i n   t e rm   o f  pr a g m a t i c   a n d  h e do n i c   i n d i c a t o r s .   T h e   U E Q - S   r e s ul t s   s um m a r y   of   t h e   m e a n s   a nd  s t a n d a r d  de v i a t i o n s   w i t h   t h e   m e a n s   c o m pa r i s o n  o f   t h e   pa r t i c i pa nt s ’  us e r   e xpe ri e n c e   f a c t o r s   b e t w e e n   t y pi c a l   e xi s t i n g  m - l e a rni n g   a n d  p r o po s e d  m - l e a rni n g  e n v i r o n m e nt s   a r e   p r e s e nt e d  i n  F i gur e   6   ( r a t e d  f r o m   − 3  ( l o w e s t )  t o   3  (hi g h e s t )) .   D a t a   v a r i a b i l i t y   h a s   b e c o m e   a   pr e v a l e n t   i s s ue   a s   U E Q - S   h a s   e xt e n de d  t o   a   s t r uc t u r e d  t e s t i n g .   T h e   s m a l l   v a l ue   of   s t a n d a r d  de v i a t i o n   (S D )  i n   e a c h   pa ra m e t e r   o f   t h e   U E Q - S   que s t i o n na i r e   g i v e s   i n f o r m a t i o n   t ha t   t h e   pa rt i c i p a n t s   ha v e   s i m i l a r  e xpe ri e n c e   w h i l e   us i n g  b o t h   o f   t h e   m - l e a rni n g  a pp l i c a t i o n.   A s   a l r e a d y   m e nt i o n e d ,   t h e   e v a l ua t i o n   r e s ul t   c a n   de t e rm i n e   w h e t h e r   a n   a pp  i s   s a t i s f a c t o r y   fo r   l e a rn i n g  t a s k  a nd  w h e t h e r   i t   ha s   b e t t e r   us e r   e xpe r i e n c e   s c a l e s .   A l t h o ug h   b o t h   of   t h e   a pps   c o ul d  h e l p  us e r s   t o   l e a rn   e ff e c t i v e l y   w i t h   s i m i l a r   de gr e e   of   pr a gm a t i c   qua l i t y   (pe r s pi c ui t y ,   e ff i c i e n c y ,   a nd  d e pe n da b i l i t y ).     T h e   p r a gm a t i c   l e v e l   ga p  i s   qu i t e   s m a l l   w h i c h   c o m m o n   m - l e a rni n g  p r e s e n t a t i o n   h a v e   be t t e r   va l ue   (M e a n= 2 . 23 ,   S D   =   0. 36)  t h a n   t h e   pr o po s e d   m - l e a rni n g  (M e a n= 2 . 15 ,   S D   =   0. 31 ).   E v e n   t h o ugh   c o m m o n   e xi s t i n g  m - l e a rni n g  ha s   a   s l i g ht l y   be t t e r   s c o r e   i n  pra g m a t i c   qua l i t y ,   i t   i s   n o t e w o r t h y   t ha t   t h e r e   w e r e   s i gni f i c a nt   de v i a t i o n s   b e t w e e n   t h e   t w o   i n t e r f a c e s   c o n c e r ni n g  t h e   h e do n i c   q ua l i t y .   T h e   p r o po s e d  m - l e a rn i ng  i s   m o r e   v a l ue d  b y   r e s po n de n t s   i n   h e do n i c   qu a l i t y   (M e a n= 1 . 45,   S D   =   0. 43)  r a t h e r   t ha n   e xi s t i n g  a pp  (M e a n=   - 0. 44 ,   S D   =   0 . 39) .   T h e   m o s t   i nt e r e s t i n g  r e s ul t   o f  o ur   e v a l ua t i o n   i s   t h e   d i f f e r e n c e s   i n   o v e r a l l   qu a l i t y   s c a l e   w h i c h   i s   r e s ul t e d  f r o m   t h e   i nt ui t i v e   pr e s e nt a t i o n   o f  pr o po s e d  m - l e a rni n g  w hi c h   i s   w o r ki n g  w i t h  t h e   m e nt a l   m o de l   a nd  a / b   t e s t i n g .   T h e   c o m b i na t i o n   o f  c o n v e r s a t i o na l   s t y l e   of   l e a rn i n g  w i t h   s pe a k i n g  a n d  l i s t e n i ng  i n   m ul t i m e di a   c o nt e nt   c a n   p r o v i de   b e t t e r   v a l ue   i n  ov e r a l l   U E Q - S   s c o r e .           F i gu r e   6 .  A   s a m pl e   o f   qe s t i o n   i t e m   i n  H i r a g a n a   qu i z       4.   C O N C LU S I O N   In   t hi s   pa pe r ,   w e   e xpl o r e   t h e   l e a rni n g  p r o c e s s   m e n t a l   m o de l   a n d  a l s o   e m pl oy   A / B   t e s t i ng  t o   pr o po s e   t h e   i m p r o v e m e n t   o f   us e r   e xpe r i e n c e   f o r   J a pa n e s e   l a ngua ge   m - l e a rn i ng.   U s e r s   w i t h   a   b e t t e r  m e n t a l   m o de l   pe r f o r m   b e t t e r   i n   A / B   t e s t i n g  s c e na r i o   t a s ks .   T h e   l e v e l   of   us e r   e xpe r i e n c e   o f   pr o po s e d  m - l e a rn i n g   t h e n   c o m pa r e d  w i t h   t y pi c a l   e xi s t i n g   m - l e a rni n g  w i t h   p r a g m a t i c   a n d  h e do ni c   pa ra m e t e r s .   I n   ge n e r a l ,   pa rt i c i p a nt s   s uc c e e de d  i n   us i n g  b o t h   v e r s i o n   o f   m - l e a rni n gs   a nd  c o ul d  c o m pl e t e   a l l   l e a rni n g  t a s k  s c e n a ri o s .   W e   c o n c l ude   t h a t ,   b o t h   v e r s i o n s   t i e d  w i t h   r e s pe c t   t o   pr a g m a t i c   qu a l i t i e s   N e v e r t h e l e s s ,   pa rt i c i p a n t s   hi g h l i g h t e d  t h e   h e do ni c   e l e m e n t   a n d   t h e   na t u ra l   i nt e ra c t i o n   o f   us e r   e xpe r i e n c e   i n   p r o po s e d  m - l e a rni n g   a r e   p r o m i s i n g  f o r   r e s po n de n t s .   T h e   c o m b i n a t i o n   o f   s pe a ki n g  c o m b i n e d  w i t h   l i s t e ni n g  e xe r c i s e   i n   m u l t i m e di a   i n f o r m a t i o n   c a n   p r o v i de   a   b e t t e r   pra gm a t i c   a n d  h e do n i c   e xpe r i e n c e .   T h e   f i n di n gs   p r o v e   t h a t   w o r ki ng  w i t h   t h e   m e n t a l   m o de l   a n d  A / B   t e s t i n g  c a n   i m p r o v e   t h e   us e r   e xpe r i e n c e ,   b ut   i t   s h o ul d  b e   i n t e r p r e t e d  w i t h   c a u t i o n   t o   j udge   t h a t   i t   a l s o   c o ul d  i n c r e a s e   t h e   l e a rni n g   o ut c o m e   due   t o   t h e   l e a rni n g  o ut c o m e   no t   e v a l ua t e d  y e t   duri n g   t hi s   s t u dy .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2088 - 8708   Int   J   E l e c   &   Co m p  E n g ,   V o l .   10 ,   N o .   3 ,  J u n e   2 020   :     2 6 5 9   -   2 6 6 7   2666   R EF ER EN C ES     [ 1]   W a ng ,   M i n j u a n,   e t   a l . ,   “ T h e   I m pa c t   o f   M o bi l e   L e a r n i ng   o n  S t ude n t s '   L e a r ni ng   B e ha v i o ur s   a nd  P e r f o r m a nc e :   R e po r t   f r o m   a   L a r g e   B l e nde d  C l a s s r o o m , ”   B r i t i s h   J our n al   o f   E duc a t i o na l   T e c h nol ogy ,   40( 4) ,   pp .   673 - 695 ,   200 9.   [ 2]   P e r e i r a ,   O r l a ndo   R E ,   a nd  J o e l   J P C   R o dr i g ue s ,   “ S ur v e y   a nd  A na l y s i s   o f   C ur r e nt   M o bi l e   L e a r ni ng   A ppl i c a t i o ns   a nd   T e c hno l o g i e s , ”   A C M   C om put i ng   S ur v e y s   ( C SU R ) ,   46 ( 2) ,   pp .   27 ,   2 0 13.   [ 3]   W u,   W e n - H s i ung ,   e t   al . ,   “ R e v i e w   o f   T r e nds   f r o m   M o bi l e   L e a r n i ng   S t udi e s :   A   M e t a - A na l y s i s , ”   C om pu t e r s   &   E duc a t i on ,   5 9( 2 ) ,   p p.   81 7 - 827 ,   2 012 .   [ 4]   N a g e l l a ,   U da y   B ha s ka r ,   a n d  P .   G o v i nda r a j u l u ,   “ A da pt i v e   A p pr o a c he s   t o   C o nt e xt   A w a r e   M o b i l e   L e a r ni ng   A ppl i c a t i o ns , ”   I nt e r n at i on al   J o ur n al   o f   C om put e r   Sc i e nc e   a nd  Se c u r i t y ,  2 ( 2 ) ,   pp .   15 - 27 ,   200 8.   [ 5]   J e r nung ,   “ W r i t e   I t !   J a pa n e s e , ”   i n  G o o g l e   pa y s t o r e ,   [ O nl i ne ] .   A v a i l a b l e :   ht t ps : / / p l a y . go og l e . c o m / s t o r e / a pps / d e t a i l s ? i d= c o m . j e r nu ng . w r i t e i t . j pn.   [ A c c e s s e d  2017 ,   S e p t   28] .   [ 6]   A t o m us k,   “ O be nky o , ”   i n  G o og l e   pa y s t o r e ,   [ O nl i ne ] .   A v a i l a b l e :   ht t ps : / / p l a y . go og l e . c o m / s t o r e / a pps / d e t a i l s ? i d= c o m . O be nky o & hl = e n.   [ A c c e s s e d   20 17,   S e pt   2 8] .   [ 7]   B a ha r udd i n ,   R o s ni t a ,   D a l b i r   S i ng h,   a nd  R o z i l a w a t i   R a z a l i ,   “ U s a b i l i t y   D i m e ns i o ns   f o r   M o bi l e   A ppl i c a t i o ns -   a   r e v i e w , ”   R e s .   J .   A ppl .   Sc i .   E ng.   T e c hn ol ,   5( 6) ,   pp.   2 225 - 2 23 1,   20 1 3.   [ 8]   M a y e r ,   R i c h a r d ,   a n d  R i c ha r d  E .   M a y e r ,   “ T he   C a m b r i dg e   ha n dbo o k  o f   m ul t i m e d i a   l e a r n i ng , ”   C a m br i dg e   U n i v e r s i t y   P r e s s ,   2 005 .   [ 9]   S a v i g no n,   S a nd r a   J . ,   “ C o m m uni c a t i v e   c o m pe t e nc e , ”   T he   T E S O L   E nc y c l o pe di a   o f   E n g l i s h  L a ng ua g e   T e a c hi ng ,   pp.   1 - 7,   2 018 .   [ 10]   C oo k,   V i v i a n ,   “ S e c o nd  L a ng ua g e   L e a r n i ng   a nd  l a ng ua g e   t e a c hi ng , ”   R o ut l e dg e ,   20 16.   [ 11]   C o he n,   A ndr e w   D . ,   “ S t r a t e g i e s   i n   L e a r n i ng   a nd  us i ng   a   S e c o nd  L a n g ua g e , ”   R o ut l e dg e ,   2 014 .   [ 12]   C r a i k,   K .   J .   W . ,   “ T he   N a t u r e   o f   E xpl a na t i o n , ”   C a m br i dg e   U ni v e r s i t y   P r e s s :   C a m br i dg e ,   194 3 .   [ 13]   J o hns o n - L a i r d,   P h i l i p  N i c ho l a s ,   “ M e n t a l   M o de l s :   T o w a r ds   a   C o g ni t i v e   S c i e nc e   o f   L a ng ua g e ,   I nf e r e nc e ,   a nd   C o ns c i o us ne s s , ”   6,   H a r v a r d   U n i v e r s i t y   P r e s s ,   198 3.   [ 14]   S e ng e ,   P e t e r   M . ,   “ T h e   A r t   a nd   P r a c t i c e   o f   t he   L e a r n i ng   O r g a n i z a t i o n , ”   pp .   464 ,   199 0.   [ 15]   N o r m a n,   D o na l d  A. ,   “ D e s i g n  P r i nc i pl e s   f o r   C og ni t i v e   A r t i f a c t s , ”   R e s e ar c h  i n  E n gi ne e r i ng  D e s i gn ,   4 ( 1) ,     pp.   43 - 50 .   199 2.   [ 16]   J o ne s ,   N a t a l i e ,   e t   al . ,   “ M e nt a l   M o de l s :   A n  I nt e r d i s c i p l i na r y   S y nt he s i s   o f   T he o r y   a nd  M e t ho ds , ”   2 011 .   [ 17]   F a ul kne r ,   L a ur a .   “ B e y o nd  t he   F i v e - U s e r   A s s um pt i o n :   B e ne f i t s   o f   I nc r e a s e d  S a m p l e   S i z e s   i n  U s a b i l i t y   T e s t i ng , ”   B e hav i o r   R e s e ar c h  M e t h ods ,   I n s t r um e nt s ,   &   C om put e r s ,   35 ( 3 ) ,   pp .   379 - 383 ,   2003 .   [ 18]   B r a t a ,   K o m a ng   C a ndr a ,   a nd  D e r o n  L i a ng ,   “ A n  E f f e c t i v e   A ppr o a c h  t o   D e v e l o p  L o c a t i o n - B a s e d  A ugm e nt e d  R e a l i t y   I n f o r m a t i o n   S uppo r t , ”   I n t e r na t i o na l   J our na l   o f   E l e c t r i c a l   and   C om put e r   E ng i ne e r i ng ,   9( 4 ) ,   p p.   30 60 - 3068 ,   200 9.   [ 19]   B r a t a ,   K o m a ng   C a ndr a ,   e t   a l . ,   “ D e s i g n  o f   P ubl i c   T r a n s po r t a t i o n  N a v i g a t i o n  S y s t e m   o n  A ndr o i d  W e a r   D e v i c e , ”   Sus t ai nab l e   I n f or m a t i on  E n gi ne e r i ng  an d  T e c hno l o gy   ( SI E T ) ,   2017   I n t e r nat i o nal   C on f e r e nc e   on,   I E E E ,   pp.   38 5 - 391.   2 017 .   [ 20]   B ug l i o ne ,   L ui g i ,   a n d  A l a i n  A br a n ,   “ I m pr ov i ng   t he   U s e r   S t o r y   A g i l e   T e c hni que   us i ng   t he   I nv e s t   C r i t e r i a , ”   2013   J o i nt   C on f e r e nc e   of   t he   23r d  I n t e r na t i ona l   W or k s hop  o n  Sof t w ar e   M e as ur e m e nt   and   t he   8t h  I n t e r nat i on al   C onf e r e nc e   on   So f t w ar e   P r oc e s s   a nd   P r od uc t   M e as u r e m e nt ,   I E E E ,  pp.   49 - 53 ,   201 3.   [ 21]   M a r t i g no ni ,   D i r k,   A no o p  M e no n,   a n d  N i c o l a j   S i g g e l ko w ,   “ C o ns e que nc e s   o f   M i s s p e c i f i e d   M e n t a l   M o de l s :  C o nt r a s t i ng   E f f e c t s   a nd   t h e   R o l e   o f   C o g ni t i v e   F i t , ”   St r at e g i c   M ana ge m e nt   J ou r na l ,   37 ( 13 ) ,   pp.   2 545 - 256 8,   20 16.   [ 22]   M a r g ut t i ,   P i e r a ,   a nd  P a ul   D r e w ,   “ P o s i t i v e   E v a l ua t i o n   o f   S t ude n t   A ns w e r s   i n  C l a s s r o o m   I ns t r uc t i o n, ”   L ang uage   and   E duc a t i on ,   2 8( 5 ) ,   p p.   43 6 - 458 ,   2 014 .   [ 23]   K a y a ,   S i be l ,   Z e y ne l   K a bl a n,   a nd  D i a na   R i c e ,   “ E x a m i n i ng   Q ue s t i o n  T y pe   a nd  t he   T i m i ng   o f   I R E   P a t t e r n   i n   E l e m e n t a r y   S c i e nc e   C l a s s r o o m s , ”   J ou r na l   of   H um a n  S c i e nc e s ,   11( 1 ) ,   pp .   621 - 64 1,   20 14.   [ 24]   K a y a ,   G ökha n ,   e t   a l . ,   “ D i s c o ur s e   P a t t e r ns   a nd  C o m m uni c a t i v e   A ppr o a c he s   f o r   T e a c hi ng   N a t ur e   o f   S c i e nc e , ”   E duc a t i on   &   Sc i e nc e / E g i t i m   v e   B i l i m ,   4 1( 1 85 ),   201 6.   [ 25]   M a y e r ,   R .   E . ,   “ M ul t i m e d i a   l e a r ni ng , ”   P s y c ho l og y   o f   L e ar n i ng   an d  M o t i v at i on ,  41 ,   pp .   8 5 - 139 ,   2002 .   [ 26]   M a y e r ,   R . E . ,  “ P r i nc i pl e s   o f   M u l t i m e di a   L e a r n i ng   B a s e d   o n  S o c i a l   C ue s :   P e r s o na l i z a t i o n ,   V o i c e ,   a nd   I m a g e   P r i nc i pl e s , ”   I n  M a y e r ,   R . E .   ( E d. ) ,   T h e   C a m b r i dg e   ha n dbo o k  o f   m ul t i m e di a   l e a r ni ng ,   N e w   Y o r k:   C a m br i dg e   U ni v e r s i t y   P r e s s ,   pp .   2 01 – 2 12 ,   2 005 .   [ 27]   H a l f o r d,   G r a e m e   S . ,   “ C h i l dr e n' s   U nde r s t a nd i ng :   t he   D e v e l o pm e nt   o f   M e n t a l   M o de l s , ”   P s y c h o l ogy   P r e s s ,   2014 .   [ 28]   G r e c a ,   I l e a n a   M a r i a ,   a nd  M a r c o   A nt o ni o   M o r e i r a ,   “ M e nt a l   M o de l s ,   C o nc e pt ua l   M o de l s ,   a nd  M o de l l i ng , ”   I nt e r n at i on al   J o ur n al   o f   S c i e nc e   E duc at i on ,   22 ( 1 ) ,   pp .   1 - 11,   20 00.   [ 29]   K o ha v i ,   R o nny ,   e t   a l . ,   “ O n l i n e   E xpe r i m e nt a t i o n  A t   M i c r o s o f t , ”   D a t a   M i n i ng   C a s e   S t ud i e s ,   11 ,   200 9: 39,   20 09 .   [ 30]   T a ng ,   D i a ne ,   e t   a l . ,   “ O v e r l a pp i ng   E xpe r i m e nt   I nf r a s t r uc t ur e :   M o r e ,   B e t t e r ,   F a s t e r   E xp e r i m e n t a t i o n , ”   P r oc e e di ng s   of   t he   16t h  A C M   S I G K D D   I nt e r n at i ona l   C on f e r e nc e   on   K now l e dge   D i s c ov e r y   and   D a t a   M i n i ng ,   A C M ,   2010 .   [ 31]   Ko ha v i ,   R o n,   a nd  R o g e r   L o ng b o t ha m ,   “ O n l i ne   Co nt r o l l e d  E x p e r i m e nt s   a nd  A / B   T e s t i ng , ”   E nc y c l o pe di a   o f   m a c hi ne   l e a r ni ng   a nd   d a t a   m i ni ng ,   p p.   92 2 - 929 ,   2 017 .   [ 32]   A z e v e do ,   E dua r do   M . ,   e t   al . ,   “ T he   A / B   T e s t i ng   P r o bl e m , ”   P r oc e e di ngs   of   t he   2018  A C M   C on f e r e nc e   on  E c onom i c s   and  C om pu t at i o n ,   A C M ,   201 8.   [ 33]   B r a t a   K C ,   B r a t a   A H . ,   “ A n  I de a   o f   I nt e r a c t i v e   J a p a ne s e   L a ng ua g e   M - L e a r ni ng   A ppl i c a t i o n  t o   S u ppo r t   L i s t e ni ng   a nd   S pe a k i ng   E xe r c i s e , ”   In   2018  I n t e r nat i on al   C on f e r e nc e   on  Su s t ai n abl e   I n f o r m at i o n  E ng i ne e r i ng   and   T e c hno l og y   ( SI E T ) ,   I E E E ,   pp.   1 86 - 191 ,   2 018 .   Evaluation Warning : The document was created with Spire.PDF for Python.
Int   J   E l e c   &   Co m p  E n g     IS S N :   2088 - 8708       U s e r   e x pe r i e n c e   i m pr o v e m e nt   of   j apan e s e   l ang uage   m ob i l e   l e ar ni ng   app l i c at i on   …   ( Kom ang   Can dr a  B r at a )   2667   [ 34]   B r a t a ,   K o m a ng   C a ndr a ,   D e r o n   L i a ng ,   a nd  S ho l e h  H a d i   P r a m o no ,   “ L o c a t i o n - B a s e d  A ug m e nt e d  R e a l i t y   I n f o r m a t i o n  f o r   B us   R o ut e   P l a nni ng   S y s t e m , ”   I nt e r n at i on al   J ou r na l   o f   E l e c t r i c a l   a nd  C om put e r   E ng i ne e r i ng  ( I J E C E ) ,   5( 1 ),   pp.   14 2 - 149 ,   2 015 .    [ 35]   S c hr e pp ,   M a r t i n,   T he o   H e l d,   a nd  B e t t i na   L a ug w i t z ,   “ T he   I nf l ue n c e   o f   H e d o ni c   Q ua l i t y   o n  t he   A t t r a c t i v e n e s s   o f   U s e r   I nt e r f a c e s   o f   B us i ne s s   M a na g e m e n t   S o f t w a r e , ”   I n t e r ac t i ng   w i t h  C om p ut e r s ,   18 ( 5) ,   pp .   1055 - 10 69 ,   2 006 .   [ 36]   S c hr e pp ,   M a r t i n,   A ndr e a s   H i nde r ks ,   a nd  J ö r g   T ho m a s c he w s k i ,   “ D e s i g n  a nd  E v a l u a t i o n  o f   a   S ho r t   V e r s i o n  o f   t he   U s e r   E xp e r i e nc e   Q ue s t i o nn a i r e   ( U E Q - S ) , ”   I n t e r na t i ona l   J o ur na l   of   I n t e r ac t i v e   M ul t i m e di a  and  A r t i f i c i al   I nt e l l i ge nc e   ( I J I M A I ),   4( 6 ) ,   pp .   103 - 108 ,   201 7.       B I O G R A P H I ES   O F   A U T H O R S       K o m an g  C an d r a  B r a t a   i s   a   l e c t u r e r   i n  t he   F a c ul t y   of   C om put e r   S c i e nc e ,   U n i v e r s i t a s   B r a w i j a y a ,  I nd o e ns i a .   H e   r e c e i v e d  t he   M S c   de g r e e   i n  t h e   D e p a r t m e n t   o f   C om put e r   S c i e nc e   a nd  I nf o r m a t i o n  E ng i ne e r i ng ,   N a t i o na l   C e n t r a l   U n i v e r s i t y ,   T a i w a n  i n  201 4  a s   a n  I nt e r na t i o na l   D ua l   D e g r e e   M a s t e r   s t ud e n t   b e t w e e n   t h e   U n i v e r s i t y   o f   B r a w i j a y a ,   I ndo ne s i a   a nd  N a t i o na l   C e n t r a l   U ni v e r s i t y ,   T a i w a n.   H e   c om pl e t e d  hi s   B a c he l o r ' s   de g r e e   i n  t he   D e p a r t m e n t   o f   I nf o r m a t i c s   E ng i ne e r i ng ,   U ni v e r s i t y   o f   B r a w i j a y a ,   I ndo ne s i a   i n   20 12 .   H i s   r e s e a r c h  i nt e r e s t   a r e a   i n  t he   a r e a s   o f   s o f t w a r e   e ng i ne e r i ng   a nd   i nf o r m a t i o n   t e c hno l o gy ,   di s t r i b ut e d   s y s t e m s ,   a nd   a ug m e nt e d   r e a l i t y .         A d am   H e n d r a  B r at a   i s   a n   I nt e r na t i o na l   D ua l   D e g r e e   M a s t e r   s t ude n t   b e t w e e n   t he   U ni v e r s i t y   of   B r a w i j a y a ,   I ndo ne s i a   a nd   N a t i o na l   C e nt r a l   U n i v e r s i t y ,   T a i w a n.   H e   c o m pl e t e d   hi s   B a c he l o r ' s   de g r e e   i n  t he   D e pa r t m e n t   o f   I nf o r m a t i c s   E ng i ne e r i ng ,   U n i v e r s i t y   o f   B r a w i j a y a ,   I ndo ne s i a .   H e   c ur r e n t l y   be c o m e s   a   f ul l - t i m e   l e c t u r e r   i n  U n i v e r s i t a s   B r a w i j a y a .   H i s   r e s e a r c h  i nt e r e s t   a r e a   i s   i n  t he   c o m put e r   s c i e nc e   a nd  i nf o r m a t i o n  t e c hno l o gy   a r e a s ,   e s pe c i a l l y   i n  s o f t w a r e   e n g i ne e r i ng ,   a ug m e nt e d  r e a l i t y   a nd   g a m e   de v e l o pm e n t .     Evaluation Warning : The document was created with Spire.PDF for Python.