I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in Ed uca t io n ( I J E RE )   Vo l.   9 ,   No .   3 Sep tem b er   2020 ,   p p .   665 ~ 674   I SS N:  2252 - 8822 DOI : 1 0 . 1 1 5 9 1 / i j e r e . v 9 i 3 . 2 0 5 0 3           665       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Va lida tion o a  di g ital too l f o r diag no sing   m a the m a ti ca pro ficiency       P utc ha re J un peng 1 M et t a   M a rw i a ng 2 Sa m rua n Chia j un t hu k 3 ,   P ra pa w a dee  Su wa nn a t ra i 4 K a no k po rn  C ha na y o t a 5 K is s a da pa n P o ng bo ribo o n 6 ,   K eo w   Ng a ng   T a ng 7 ,   M a rk   Wil s o n 8   1, 2, 3, 4 , 5, 6 De p a rtm e n o f   Ed u c a ti o n a M e a su re m e n a n d   Ev a lu a ti o n ,   K h o n   Ka e n   Un iv e rsity ,   T h a il a n d     7 In tern a ti o n a C o ll e g e ,   Kh o n   Ka e n   Un iv e rsity ,   T h a il a n d   8 G ra d u a te S c h o o o f   Ed u c a ti o n ,   U n iv e rsity   o f   Ca li f o rn ia,  Un it e d   S ta tes         Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Ja n   2 9 ,   2 0 2 0   R ev i s ed   Ma y   1 9 ,   2 0 2 0   A cc ep ted   J u l   1 5 ,   2 0 2 0       T h is  stu d y   w a a i m e d   to   v a li d a te   a   d ig it a t o o f o r   d iag n o si n g   m a th e m a ti c a l   p ro f icie n c y   in   th e   Nu m b e a n d   A l g e b ra   stra n d   o f   1 , 5 0 4   T h a se v e n th - g ra d e   stu d e n ts.   Re se a rc h e rs  e m p lo y e d   a   m u lt id im e n sio n a a p p ro a c h ,   a n   e x ten sio n   o f   th e   Ra sc h   m o d e t o   m e a su re   it q u a l it y .   A   d e sig n - b a se d   re se a r c h   m e th o d   w a a d o p te d   t o   c re a te  th e   d iag n o s ti c   to o l   w h ich   c o n sists   o f   f o u c o m p o n e n ts,   n a m e l y   r e g ister  s y ste m ,   in p u d a t a ,   p ro c e ss   sy ste m ,   a n d   d iag n o stic   f e e d b a c k   re p o rt.   T h e   d iag n o st ic  f ra m e w o rk   c o n sists   o f   1 8   tas k e n c o m p a ss in g   1 1     a n d   7   tas k in   th e   M a th e m a ti c a P ro c e d u re Dim e n sio n   a n d   S t ru c tu re   o   th e   Ob se rv e d   L e a rn in g   Ou tco m e   d im e n sio n ,   re sp e c ti v e ly .   Th e   re su lt s   re v e a led   th a th e re   is  in tern a l   stru c tu re   e v id e n c e   o f   v a li d it y   b a se d   o n     th e   c o m p a riso n   o f   m o d e f it   a n d   th e   W rig h m a p .   T h e   re su lt a ls o   in d ica ted   th a th e   re li a b il it y   e v id e n c e   a n d   it e m   f it   a re   c o m p li a n w it h   th e   q u a li ty   o   th e   d ig it a to o a s sh o w n   in   th e   a n a l y sis o sta n d a rd   e rro o f   m e a su re m e n t   a n d   in f it   a n d   o u tf it   o f   th e   it e m s.  In   c o n c lu si o n ,   th e   d e v e lo p e d   d ig it a to o c a n   d iag n o se   se v e n th - g ra d e   stu d e n t s’  m u lt ip le  m a th e m a ti c a p ro f icie n c ies   in   term o f   a c c u ra c y ,   c o n siste n c y ,   a n d   sta b il it y .   T h is  im p li e th a t   t h e   d ig it a t o o l   c a n   p ro v id e   f ru it f u in f o rm a ti o n ,   p a rti c u larly   to   th o se   in term e d iate   a n d   h ig h   m a th e m a ti c a p ro f icie n c y   lev e ls  b e c a u se   th e   e rro r   f o e stim a ti n g   p ro f icie n c y   in   e a c h   d im e n sio n   w a s a th e   lo we st v a lu e   f o th o se   stu d e n ts.   K ey w o r d s :   C o n s tr u ct  m o d eli n g   Dig ital to o l   Ma th e m atica l p r o f icie n c y   R asc h   an al y s is   T est  d ev elo p m e n t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   P u tch ar ee   J u n p en g ,     Dep ar t m en t o f   E d u ca tio n al  M ea s u r e m en t a n d   E v al u atio n ,     Facu lt y   o f   E d u ca t io n ,   Kh o n   Kae n   U n iv er s it y ,   1 2 3   Mitr ap h ap   R o ad ,   A .   Mu a n g ,   K h o n   Kae n   4 0 0 0 2 ,   T h ailan d .   E m ail: j p u tch a @ k k u . ac . t h       1.   I NT RO D UCT I O N   Ma th e m atica p r o f icie n c y   ( M P )   r ef er s   to   s tu d en t’ s   ab il it y   to   ex p lo r e,   co n j ec tu r e,   an d   r ea s o n   lo g icall y   i n   co g n iti v p r o ce s s es  an d   to   u n d er s ta n d   h o w   t o   s o lv m at h e m atica p r o b le m   th a to ap p ly   ap p r o p r iate  s tr ateg ies  to   s o lv th p r o b lem s   an d   r ef lect  o n   th p r o ce d u r u s ed   to   s o lv th p r o b lem s   [ 1 - 3 ] .   Sin ce   m at h e m atic s   is   i m p o r tan an d   p r ac tical  k n o w led g e   as  f u n d a m e n tal  d is cip lin e   an d   a   f o u n d atio n     f o r   m a n y   o th er   s cie n ti f ic  d is c i p lin es,  MP   w il b a m o n g   t h e   2 1 s t - ce n tu r y   s k i lls   to   s o l v t h p r o b le m s   in   o u r   r ea l - li f ef f icie n tl y   a n d   ap p r o p r iatel y   [ 4 - 7 ] ,   p ar ticu lar ly   i n   th Nu m b er   an d   A l g eb r s tr an d   [ 8 ] .   T h is   is   f u r t h er   s u p p o r ted   b y   [ 9 ]   w h o   s tated   th at  s t u d en t s   h a v to   b p r ep ar ed   w it h   s u f f ic ien MP   in   ter m s   o f   s k il ls     an d   co m p eten c ies  n ee d ed   f o r   w o r k   a n d   l i f i n   t h c u r r en e r o f   ac ce ler atin g   c h an g i n   s o ciet y ,   p ar ticu lar l y   d u to   tec h n o lo g ical  d ev e lo p m en [ 1 0 ] .   I n   o th er   w o r d s ,   MP   is   co n s id er ed   as  to o f o r   s tu d y i n g   s cien ce ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 Sep tem b er   2020 :   6 6 5   -   674   666   tech n o lo g y ,   a n d   o th er   to p ics   t h at  u n d er li n t h i n f r astru ct u r f o r   d ev elo p in g   h u m a n s   an d   ec o n o m ies   in   th e   er o f   d ig ital tr a n s f o r m atio n   [ 1 1 ] .   T h MP  A s s es s m en Fra m e w o r k   in   th i s   s tu d y   h as  t w o   d i m e n s io n s ,   n a m el y   Ma th e m at ical  P r o ce d u r es   ( MA P )   an d   Str u ct u r o f   t h O b s er v ed   L ea r n in g   Ou tco m ( S L O) .   T h p r o g r ess   m ap s   o f   [ 1 1 ] s   s t u d y   s h o w ed   t h at  th er ar f iv lev el s   o f   th MA P   d im e n s io n ,   n a m e l y   n o n - r e s p o n s e/ir r ele v an ce ,   u n r ec a lled   m e m o r y ,   b asic  m e m o r y   a n d   r ep r o d u ctio n ,   s i m p le  s k ills   an d   co n ce p t,  an d   s tr ate g ic  o r   ex te n d ed   t h in k i n g   [ 1 2 ,   1 3 ] .     On   th o th er   h a n d ,   th SL d i m e n s io n   w h ic h   w a s   ad o p t ed   f r o m   th SO L ta x o n o m y   is   m o d el  to   id en tify ,   d escr ib o r   ex p lain   th lev e o f   u n d er s ta n d i n g   to   d eter m in th q u alit y   le v el  o f   s t u d en t s   lear n in g   r esu l ts .   R esear ch er s   d iv id ed   S L [ 1 4 ]   in to   f o u r   lev e ls ,   n a m el y   p r e - s tr u ct u r al,   u n i - s tr u ct u r al,   m u lti - s tr u c t u r al  an d   r elatio n al,   an d   ex te n d ed   ab s tr ac t.       2.   RE S E ARCH   M E T H O D   T h r esear ch   em p lo y ed   co n s tr u ct  m o d eli n g   th at  e m b ed d in g   p ed ag o g y   a n d   cu r r icu l u m   w h ile   d esig n in g   t h d iag n o s tic  ta s k   [ 1 5 ] .   A   d esig n - b ased   r esear ch   m e th o d   w as  t h en   ad o p ted   f r o m   A d a m s   [ 1 6 ]   ap p r o ac h   w it h   f o u r   co n s ec u ti v s tep s   to   cr ea te   th d iag n o s tic  to o l.  B esid es,  th e   Mu ltid i m e n s io n a l     R an d o m   C o e f f icie n ts   Mu lti n o m ial  L o g it  Mo d el  ( MRC M L M)   [ 1 7 ]   w as  ap p lied   to   v alid a te  th q u alit y   o f   t h e     d iag n o s t ic  to o l.      2 . 1 .   P o pu la t io n a nd   s a m ple     T h p o p u latio n   o f   t h is   r esear ch   is   all  t h s e v en th - g r ad s t u d en t s   f r o m   T h ai  s ec o n d ar y   s ch o o ls   i n     th n o r th ea s ter n   r eg io n   o f   T h ailan d ,   s o - ca lled   I s an .   T h is   r eg io n   h as  th lar g est  a m o u n o f   s tu d en t s ,   lo ca ted   in   r u r al  ar ea ,   th s ch o o f ac ilit ies  ar n o w ell  eq u ip p ed ,   a n d   s tu d en t s   p r o f icie n cies  ar g en er all y   lo w er   th a n   th n at io n al  s ta n d ar d   p ar ticu lar l y   in   t h Nu m b er   an d   A lg e b r Stra n d   o f   s ev en th - g r ad s tu d en t s   [ 1 8 ] .   A   to tal   o f   1 , 5 0 4   s tu d en ts   w it h   d iv e r s ca p ab ilit ies  le v els  f r o m   1 1 9   s ch o o ls   w er s tr ati f ied   r an d o m l y   s el ec ted   f o llo w in g   th s c h o o s ize  in   I s an - b ig g es t,  b ig ,   m ed iu m ,   an d   s m all  s ize s   to   f u l f ill  t h s a m p le  s ize  r eq u ir ed   a t   p r o v in cial  an d   n at io n al  lev e ls ,   an d   th s ch o o r ea d in ess   [ 1 9 ] .   T h 1 , 5 0 4   s tu d en ts   w er in v o lv ed   in   t h th ir d   an d   f o u r t h   p h ase s   o f   t h s t u d y   ( s h o w n   b elo w ) .     2 . 2 .   Resea rc h pro ce du re     T h r esear ch   p r o ce d u r e   co n s is ted   o f   f o u r   p h ases   as  s h o w n   in   Fig u r 1 .   I n   th f ir s p h ase,   r esear ch er s   an al y ze d   th p r o b lem s   o f   p r ac tical  d iag n o s tic  to o ls   o n   h o w   to   d iag n o s MP ,   n a m el y   ( a)   w h at  s t u d en t s   k n o an d   ca n   d o ,   as  w e ll  as  ( b )   w h a s t u d en ts   n ee d   to   k n o w   a n d   c an   d o .   R esear c h er s   e m p lo y ed   q u alitati v i n - d ep t h   in ter v ie w s ,   f o cu s   g r o u p   i n ter v ie w s ,   an d   d o cu m e n an a l y s is   w it h   s o f t w ar e n g in ee r s ,   teac h er s ,   an d   ed u ca to r s   to   id en tify   t h d ef i n it io n   o f   MP   to   cr ea te  th co n s tr u ct  m ap   in   ea ch   d i m en s io n   to   f it  t h ac tu a co n te x o f   I s an s   m at h e m at ics cla s s r o o m .             Fig u r 1 .   T h f o u r   s tep s   o f   d ig ital to o l d ev elo p m e n t       I n   th e   s ec o n d   p h ase,   r esear c h er s   d ev e lo p ed   d ig ital  d ia g n o s tic  to o as  a   p r o to ty p e,   s o - ca lled   I n f o r m a ti o n   T ec h n o lo g y   A s s e s s m en t Rep o r t ( I T A R ) .   I T A R   is   co m p r is ed   o f   f o u r   co m p o n e n ts ,   n a m e l y   r e g is ter   s y s te m ,   i n p u d ata,   p r o ce s s   s y s te m ,   an d   d iag n o s tic  f ee d b ac k   r ep o r t.  T h r eg is ter   s y s te m   is   ac ce s s ib le  th r o u g h   th w eb s i te’ s   u n if o r m   r eso u r ce   lo ca to r   as  h ttp :/ /itas s es s . co m   t h at  allo w s   elec tr o n ic  d i r ec t   r eg is tr atio n   o f   s ec u r itie s   o f   t h u s er s   in cl u d i n g   s t u d en t s ,   teac h er s ,   p ar en ts ,   a n d   g u est s .   I n   t h i n p u d ata  co m p o n en t,  teac h er s   ca n   m a n ag tas k s   b y   t h e m s e lv es  o r   s tu d en t s   ca n   ac ce s s   t h task s   f o llo w i n g   th ass i g n m e n o f   teac h er s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       V a lid a tio n   o f a   d i g ita l to o l fo r   d ia g n o s in g   ma th ema tica p r o ficien cy   ( P u tch a r ee   Ju n p en g )   667   Firstl y ,   s tu d en ts   h a v t o   lo g in   w it h   th eir   o w n   u s er n a m an d   p ass w o r d .   Seco n d l y ,   th e y   ca n   s elec th T ask   ico n   f r o m   th ab o v m e n u   a n d   v ie w   th M y   P o r tal’   p an el  in d icate s   t h d iag n o s t ic  ass es s m en ts ,   b ig   s tr an d s ,   an d   lear n i n g   s ta n d ar d s   th at  h av b ee n   as s ig n ed   to   th s tu d en t s .   T h m i n i - m ap   in   t h co r n er   h ig h li g h ts     th cl u s ter s   th at  h a v b ee n   ex p an d ed   in   t h li s t.  I n   a d d itio n ,   th M y   P o r tal’   p a n el  d is p la y s   cr itica l   in f o r m atio n   ab o u ea ch   as s i g n ed   ass ess m en w h er Gr ad L e v el’   s h o w s   t h in te n d ed   g r ad lev el  o f   th task s   as sh o w n   i n   Fi g u r 2 .           Fig u r 2 .   Fu n c tio n s   o f   in p u t d ata  co m p o n e n t       T h n ex co m p o n e n i s   th e   p r o ce s s   s y s te m .   Af ter   s t u d en ts   h av f i n i s h ed   all  t h t ask s   in   a n   ass es s m en t,  t h e y   ca n   s cr o ll  b ac k   to   ch ec k   th r o u g h   t h it e m s ,   r ev ie w   w h at  th e y   w r o t an d   ch an g t h eir   an s w er s   i f   n ec es s ar y .   Fi n all y ,   s tu d en ts   ca n   s u b m it  t h eir   as s ess m e n i f   all  t h tas k s   ar f i n alize d .   Fig u r 3   s h o w s   t h s u b m i s s io n   o f   ass e s s m e n f o r   s co r in g   b y   tap p in g   th P au s e/S u b m it  b u tto n   to   p au s t h ass e s s m en t.   On ce   th as s ess m e n is   co m p leted ,   it  ca n   b e   s u b m itted   b y   clic k i n g   t h s u b m it  tas k   b u tto n .   I T A R   w il l   au to m at icall y   p r o ce s s   t h d ata   o n ce   th s t u d en t s   h a v s u b m it ted   th eir   ass es s m en t [ 2 0 ,   2 1 ] .             Fig u r 3 .   Su b m i s s io n   o f   d iag n o s tic  ass e s s m en t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 Sep tem b er   2020 :   6 6 5   -   674   668   T h f in al  co m p o n e n o f   I T AR   is   d iag n o s tic  r ep o r t.  T h is   co m p o n en ca n   s h o w   th i n d i v id u al  r ep o r an d   th e   clas s   d iag n o s i s   r ep o r t.  T h in d iv id u al  r ep o r is   d at a - d r iv e n   est i m a tio n   o f   t h s t u d en t’ s   c u r r en le v el   o f   MP   ac co r d in g   to   M A P   an d   SL d i m e n s io n s .   T h clas s   d iag n o s tic  r ep o r is   d ata - d r iv en   e s ti m atio n   o f     th w h o le  clas s   s tu d e n ts   c u r r en MP   p er f o r m an ce   ac co r d in g   to   t h m u l tip le  d i m e n s io n s .   T h d iag n o s tic   r ep o r p r o v id es  th p r ec is d etails  in   th r ea ti m [ 2 2 ]   r eg ar d in g   t h f o u r   k e y   asp ec ts ( i)   w h at  s tu d e n ts   lear n ;     ( ii)  w h at  s t u d en t s   n ee d   to   lear n ; ( iii)  h o w   to   lear n   it,  a n d   ( iv )   h o w   w e ll st u d en t s   u n d er s ta n d   it.    I n   th th ir d   p h ase,   r esear ch er s   i m p le m e n ted   an d   test ed   th p r o to ty p w it h   1 , 5 0 4   T h ai  s ev en th - g r ad s tu d e n ts .   I f   t h d i g ital  to o w a s   in a p p r o p r iate  f o r   teac h er s   an d   s tu d en ts ,   r esear c h er s   co n d u c ted   iter ativ c y cle s   o f   test i n g   a n d   r ef i n e m en o f   s o lu tio n s   to   f i n d   s u itab le  w a y s   to   i m p le m e n i n   t h ac t u al  class r o o m   co n tex t.     I n   th f i n al  p h ase,   r esear c h e r s   g e n er ated   th q u alit y   ev id en ce   o f   t h p r o to t y p b y   v a lid atin g   it  t h r o u g h     m ea s u r e m e n m o d el.   R ese ar ch er s   e m p lo y ed   MR C M L to   ex a m in t h in ter n al  s tr u ctu r ev id en ce   o f   v alid it y   b ased   o n   t h co m p ar is o n   o f   m o d el  f it  to   en s u r t h at  t h s tr u ctu r o f   th d ia g n o s tic  to o i n   t w o - d i m en s io n s   ( i.e .   M A P   an d   SLO)   f it s   b etter   t h an   o n d i m en s io n .   T h r eq u ir ed   s a m p le  s iz f o r   esti m atio n   o f   ite m   p ar a m eter s   i n   th m u l tid i m en s io n a m o d el  o f   th R a s ch - f a m i l y   m o d el s   is   4 0 0   to   5 0 0   t o   p r o v id ac cu r ate  p ar am eter   esti m ate s   [ 1 9 ,   2 3 ] .   I n   ad d itio n ,   W r ig h m ap   was  u s ed   to   s u p p o r th v alid at io n   to o b ec au s it   co m b i n ed   th co n s tr u c f o r   m ea s u r i n g   M A P   an d   SL id ea   w it h   th MR C M L m o d el,   p o w er f u m ea n s   to   in ter p r et  th s tu d e n ts   MP   in   ea ch   d i m e n s io n   [ 1 5 ] .     Mo r e o v er ,   th lo w   s tan d ar d   er r o r   o f   m ea s u r e m e n ( SEM   ( ) )   an d   th e   ac ce p tab le  v al u es  o f   in f it   an d   o u t f it  m ea n s   w o u ld   d eter m in w h et h er   t h d ig ital  to o h a s   ac cu r ac y ,   co n s is te n c y ,   a n d   s ta b ilit y   to   d iag n o s in   m u ltip le  p r o f icien cies.     2 . 3 .   M P   ins t ru m ent     A ll   MP   task s   ar cr ea ted   ac co r d in g   to   t h co r cu r r icu l u m .   T h task s   w er re - d esi g n ed   ac co r d in g   to   teac h er s   an d   co n ten ex p er ts   f ee d b ac k   as  w ell  as  an   i n iti al  em p ir ical  an a l y s is   o f   t h p ilo test in g ,   u s i n g     th W r ig h m ap ,   ite m   f it,  an d   s tep   f it  f o r   v alid atio n   p u r p o s an d   th s tr u ctu r al  m o d el  o f   m ea s u r e m en t,     th i n ter n a co n s i s te n c y   an d   s p lit - h alf   r eliab ilit y   co ef f icie n t s   f o r   r eliab ilit y   i n f o r m atio n .   B ased   o n   th p ilo t   test i n g   r es u lt s ,   r esear ch er s   d elete d   th o s tas k s   th at   o v er lap p ed   th co n te n k n o w led g b etw ee n   ite m s   a n d   als o   s o m ta s k s   th a w er f o u n d   in ap p r o p r iate  f o r   s ev en t h - g r a d s tu d en t s .   S u b s eq u e n tl y ,   a   m i x ed   f o r m at  w as   d ev elo p ed   in clu d in g   o p en - en d ed   q u esti o n s   a n d   s elec ted - r e s p o n s test   ite m s .   A   s p ec if ic  s co r i n g   g u id w a s   u s ed   to   ass e s s   s t u d en t s   M AP   an d   S L as   t h t w o   MP   d i m en s io n s .     T h s co r es  o f   t h is   s co r in g   g u i d r an g ed   f r o m   0   to   4   a n d   0   to   3   f o r   M A P   an d   S L O,   r e s p ec tiv el y ,   i n d icatin g   in ap p r o p r iate,   p ar tly   ap p r o p r i ate,   m o s ap p r o p r iate,   an d   b e y o n d   p r o f icien c y   le v els.  T h s co r in g   g u id w as   u s ed   f o r   th a s s e s s m en t to o l f o r   th en tire   class .       3.   RE SU L T A ND  D I SCU SS I O N   Af ter   r esear ch er s   i m p le m e n te d   th I T A R   in   t h m at h e m a tic s   class r o o m   f o r   y ea r   in   t h I s an   r eg io n ,   T h ailan d ,   r esear ch er s   ai m ed   to   v alid ate  th cr ea ted   d ig ital  to o f o r   d iag n o s in g   m at h e m at ical  p r o f icien c y   i n     th Nu m b er   an d   Alg eb r Stra n d   o f   T h ai  s ev en t h - g r ad s t u d en ts   i n   ter m s   o f   its   ac cu r ac y ,   co n s is ten c y ,   s tab ilit y   u s i n g   v alid atio n   b ased   o n   in t er n al  s tr u c tu r e,   r eliab ilit y ,   a n d   ite m   f i t.  T h r esu lts   o f   t h i s   s tu d y   ar p r esen ted     b y   f o llo w in g   t h th r ee   m e th o d s   o f   th v a lid atio n   an a l y s is ,   n a m el y   v alid it y   ev id e n c e,   r eliab ilit y   ev id en ce ,   an d   ite m   f it.     3 . 1 .   Va lid it y   ev idence   Af ter   r esear ch er s   tr ied   o u th e   cr ea ted   d ig ital  d iag n o s tic  to o l,  r esear ch er s   in ter v ie w ed   th o s s tu d en ts   r eg ar d in g   t h eir   u n d er s ta n d i n g   o f   th co n ten ts   a n d   th r ele v an c y   o f   th ta s k s   i n   t h d ig ital  d i ag n o s tic  to o l.     T h r esu lts   r e v ea led   th a s t u d en ts   u n d er s ta n d   w ell  ab o u t   th ite m s   as  e x p ec ted   b y   r es ea r ch er s .   B esid es,  r esear ch er s   also   u tili ze d   t h eir   f ee d b ac k   to   i m p r o v t h tas k s   a n d   s co r in g   b ef o r co n d u ctin g   in   th ac t u a l   class r o o m   co n te x t.     T h s ec o n d   v alid atio n   o n   th e   in ter n a s tr u ct u r o f   t h d i g ita to o in   ter m s   o f   its   ac cu r ac y   o f   t h MP   co n s tr u ct  w a s   co n d u c ted   b y   c o m p ar i n g   t h m o d el  f it,  f o r   t h u n id i m en s io n al  a n d   m u ltid i m e n s io n al  m o d els.   T h u n id i m e n s io n al  m o d el   m ea n s   co m p o s it io n   o f   a ll  th task s   in to   o n e   d im e n s io n   w h ile     th m u ltid i m e n s io n a m o d el  m ea n s   s ep ar atio n   o f   th tas k s   in to   1 1   task s   an d   7   task s   f o r   th r esp ec tiv M A P   an d   S L d i m e n s io n s   a s   s h o wn   in   Fi g u r 4   an d   Fi g u r 5 .   T h r esu lts   r e v ea led   th at  m u lti d i m en s io n al  m o d el  h ad   s t a tis tica f it  s ig n i f ica n tl y   b etter   t h an   u n id i m en s io n al   m o d el   th r o u g h   t h L i k eli h o o d   R atio   C h i - Sq u ar ed   G 2   ( 2 =5 8 9 . 1 4 2 ,   d f =2 )   [ 2 4 ]   as w ell  as  t h Ak ai k I n f o r m atio n   C r iter io n   ( A I C )   [ 2 5 ]   an d   B a y esia n   I n f o r m atio n   C r iter io n   ( B I C )   [ 2 6 ]   h ad   lo w e r   v alu i n   m u lt id i m e n s io n al  co n s tr u cts  f o r   d iag n o s in g   MP ,   as sh o w n   i n   T ab le  1 .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       V a lid a tio n   o f a   d i g ita l to o l fo r   d ia g n o s in g   ma th ema tica p r o ficien cy   ( P u tch a r ee   Ju n p en g )   669   T ab le  1 .   T h co m p ar atio n   o f   m o d el  f it   M o d e l   D e v i a n c e   N   o f   P a r a me t e r   A I C   B I C   U n i d i me n s i o n a l   4 6 0 9 5 . 3 9   37   4 6 1 6 9 . 3 9   4 6 2 1 2 . 9 5   M u l t i d i me n s i o n a l   4 5 5 0 6 . 2 5   39   4 5 5 8 4 . 2 5   4 5 6 3 0 . 1 6   L i k e l i h o o d   R a t i o   C h i - S q u a r e d   G 2   2 = 5 8 9 . 1 4 ,   d f = 2 ,   p   =   . 0 1   A I C   =   4 5 5 8 4 . 2 5   <   4 6 1 6 9 . 3 9   B I C   =   4 5 6 3 0 . 1 6   <   4 6 2 1 2 . 9 5           Fig u r 4 .   M A P   an d   S L d i m e n s io n s   o f   m u ltid i m en s io n al  m o d el  f o r   d iag n o s in g   MP       T h th ir d   v alid it y   ev id e n ce   w as  e x a m in ed   u s in g   t h W r ig h m ap .   T h v alid it y   ar g u m e n o f     th W r ig h m ap   is   g r ap h ic al  r ep r esen tatio n   t h at  li n k s   t h ite m   d if f ic u ltie s   an d   s t u d en ab ilit y   esti m ate s     o n   th e   co m m o n   s ca le   as  t h q u alit y   e v id en ce .   I n   o t h er   w o r d s ,   W r ig h t   m ap   is   co m p r i s ed   o f   d is tr ib u tio n   o f   ite m   d if f ic u ltie s ,   d is tr ib u tio n   o f   s tu d e n ab ilit y   e s ti m ates,  an d   h o w   w ell  th ite m   d i f f ic u lt y   d i s tr ib u tio n   is   m atc h in g   w it h   t h s tu d e n a b ilit y   esti m ate s .   T h er ef o r e,   th ite m s   s h o u ld   m a tch   w it h   th s tu d e n ab ilit y   esti m ates to   j u s ti f y   th at  t h tes t is  m a x i m all y   i n f o r m a tiv e.     R es u lts   o f   t h W r ig h m ap   in d icate d   th at  th d is tr ib u tio n   o f   ite m   d i f f ic u lt ies  is   w ell  m at ch in g   w it h   b o th   MA P   an d   S L d i m e n s i o n s .   B o th   d i m e n s io n s   o f   MP   s h o w   g o o d   v ar iab ilit y   ite m   d i f f icu l ties   o r   s t u d en t   ab ilit y   e s ti m ates.  Ho w e v er ,   m o s o f   t h s t u d en ab ilit y   es ti m ate s   w er cl u s ter ed   i n   t h e   r an g o f   h ar d   ite m   d if f ic u lt ies  b u d id   n o co v er   l o w   s t u d en ab ili t y   f o r   th M AP   d im en s io n .   T h is   r es u lt  i s   ex p ec ted   as  th task s   in   t h M A P   d i m en s io n   ar s u itab le  f o r   t h m ed ian   a n d   h ig h   MP   lev e ls   b u d id   n o ca p t u r th e   lo w est  MP   lev el.   T h is   i m p lies   th at  ea s ier   item s   s h o u ld   b ad d ed   in   th MA P   d im e n s io n   in   th d ig ita d iag n o s tic  to o in   th f u t u r e.   A lt h o u g h   th d is tr ib u tio n   o f   ite m   d i f f icu l ties   an d   s tu d en ab ilit y   es ti m at es  w er g e n er all y   ap p r o p r iate  w ith   t h co n s tr u ct   to   m ea s u r MP   f o r   th S L d i m en s io n ,   t h th r es h o ld s   w er s o m eti m es  lo w er   th an   t h e m p ir ical  d ata  w h en   co m p ar ed   to   o th er   ite m s .   Fo r   ex a m p le,   ite m   1 6   h as  th r es h o ld   f o r   s co r L ev el   2 ,   r ep r esen ted   b y   1 6 . 2 .   I m ea n s   t h at   MP   lev el  a w h ich   s t u d en h a s   5 0   p er ce n c h a n ce   o f   o b tain i n g   s co r e   o f   3 .   I n   th ex p ec ted   r esu lts ,   t h ite m   s co r th r es h o ld   s h o u l d   b e   lo w er   th a n   th ite m   s co r th r esh o ld   o f   1 5 . 3   an d   1 8 . 3   b e ca u s th c h an ce   o f   o b tain i n g   s co r o f   4   s h o u ld   b lo w er   t h an   s co r o f   3 .     T h r esu lt  s h o w ed   th at  t h S L d i m en s io n   r ev ea led   s o m p r o b lem s   i n   t h f i f t h   an d   f o u r t h   lev el s   o f   MA P   d i m e n s io n   a n d   S L d i m en s io n ,   r e s p ec tiv el y .   Ne v er th eles s ,   t h r es u lt  r ev ea led   t h at  t h d is tr ib u t io n   b et w ee n   ite m   s co r th r es h o ld s   an d   s tu d e n ab ilit y   d is tr ib u tio n   is   q u i te  s i m ilar   in   t h h ig h   l ev el  o f   t h W r ig h m ap .   I n   ad d itio n ,   th c h a n ce   o f   o b tain i n g   h i g h   s co r in   S L s ee m ed   to   b h ar d er   th an   f o r   th M A P .     T h is   i m p lie s   t h at  m o r MP   le v els   s h o u ld   b ad d ed   to   th d i g ital  d ia g n o s tic  to o i n   t h f u t u r e.   T h is   i s   i n   li n e   w it h   t h ar g u m en ts   m ad b y   [ 1 1 ,   2 7 ]   th at  th in ter n al  s t r u ctu r o f   a s s e s s m en to o ls   s h o u ld   d er iv f r o m     th co n s tr u ct  m ap s   a n d   th at  s k il ls   ar ad d r ess ed   in   an   o r d er ly   w a y   at  d i f f er e n s ta g es   in   th W r ig h m ap .   Gen er all y ,   t h s k ill s   r ep r esen t in g   t h lo w er   lev e ls   o n   t h c o n s tr u ct  m ap   ar o n es  g e n er a ll y   as s o ciate d   w i th   ite m s   tar g eted   at  lo w er   g r ad lev els,  a n d   s k ills   r ep r esen ti n g   h i g h er   le v els  o n   th co n s tr u ct  m ap   ar o n es   g en er all y   as s o ci ated   w it h   ite m s   tar g eted   at  h ig h er   g r ad lev e ls .   I n   th i s   lin o f   r ea s o n in g ,   v alid it y   ev id e n ce   to   s u p p o r th i n ter n al  s tr u ct u r in   t h is   s tu d y   is   p r o v id ed   as  th ite m   ca lib r atio n s   s u p p o r ted   th d i m e n s io n s   f o r   d iag n o s i n g   MP   an d   ite m s   d esi g n .   T h is   ar g u m en w a s   also   s u p p o r ted   th p r ev io u s   v alid it y   ev id en ce   f o r   th is   s tu d y   b ased   o n   d ig ital   to o l’ s   co n te n t.  As  i n d icate d   in   [ 28 ] ,   th er is   r elatio n s h ip   b et w ee n   a n   MP   ass e s s m e n to o l’ s   co n te n an d   t h e   co n s tr u ct   th a is   in ten d ed   to   m ea s u r e,   a n d   ite m s   ca n   b i n ter p r et ed   as  th as s es s m en t   to o i s   v al id   to   u s [ 15 ] ,   w h ic h   h as  b ee n   ex p lo r ed   th r o u g h   th W r ig h m ap   o n   th co m m o n   s ca le,   as  s h o w n   i n   Fig u r 5 .   T h ite m   lo ca tio n s   o n   t h r ig h co v er   th r esp o n d en lo ca tio n s   o n   t h lef i n   th W r ig h m ap ,   in d ica tin g   th at  t h d i g ital   to o co n s is ti n g   o f   t w o   d i m en s io n s ,   n a m el y   1 1   tas k s   f o r   MA P   ( item   1 - 1 1 )   an d   7   task s   f o r   SL ( ite m   1 2 - 1 8 ) ,   r ep r esen ted   th p r o f icie n c y   r an g o f   t h s t u d en t s .   Ho w ev er ,   th f u t u r s t u d y   s h o u ld   ad d   ea s ier   task s   i n     th e   M A P   d i m en s io n   a n d   m o r e   lev el  o f   t h co n s tr u ct  i n   th S L d i m en s io n   as  s tated   in   t h ab o v d is cu s s io n .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 Sep tem b er   2020 :   6 6 5   -   674   670       Fig u r 5 .   W r ig h m ap   o f   u n id i m en s io n a l a n d   m u lt id i m e n s io n al  m o d els  f o r   d iag n o s in g   MP       3 . 2 .   Relia bil it y   ev idence   R esear ch er s   s tar ted   to   a n al y ze   th r eliab ilit y   co e f f ic ien t   u s i n g   I te m   R e s p o n s T h eo r y   ( I R T )   b y   id en ti f y i n g   E x p ec ted - A - P o s te r io r an d   Sep ar atio n   ( E A P /PV)  v alu as  s h o w n   in   Fi g u r 6 .   T h E A P /P r eliab ilit ies  o f   M A P   a n d   SLO  d i m en s io n s   w er 0 . 8 4   an d   0 . 8 0   r esp ec tiv el y ,   w i th i n   t h ac c ep tab le  cr iter ia  an d   th in ter n al  co n s is ten c y   eq u al s   0 . 8 5   w as a l s o   ac ce p tab le  [ 1 6 ] .     B esid es,  r eliab ilit y   ev id en ce   o f   M A P   an d   S L O s   s ta n d ar d   er r o r   o f   m ea s u r e m e n t   ( SEM   θ )   s h o w ed   th at  SEM   ( θ M A P )   a n d   SEM   ( θ SL O )   ar r an g ed   f r o m   0 . 3 1   to   0 . 6 1   an d   0 . 4 2   to   0 . 6 5   r esp ec t iv el y .   T h is   i m p l ies     th at  t h SEM   v alu e s   f o r   b o th   d i m en s io n s   w er ac ce p tab le  w it h   s m al er r o r   f o r   esti m ati n g   MP ,   p ar ticu lar l y   f o r   in ter m ed iate  to   th h i g h   le v el  o f   MP .   T h is   is   b ec au s e   b o th   SEM   v a lu e s   h ad   th e   lo w est   er r o r   if   t h s t u d en t   ab ilit y   ( θ)   w er in   th r an g f r o m   0 . 0   to   0 . 5   lo g its .   Ho w ev e r ,   th er r o r s   s ee m ed   to   in cr ea s w h e n   esti m at in g   th lo w   lev e o f   MP .   T h r eliab ilit y   ev id e n ce   s u g g e s ted   th at  th d ig ital  d iag n o s tic  to o h as  h i g h   p r ec is io n ,   s tab ilit y ,   a n d   co n s is te n c y   to   d iag n o s MP   i n   ea ch   d i m e n s io n .   He n ce ,   th is   to o is   f o u n d   ap p r o p r iate  f o r     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       V a lid a tio n   o f a   d i g ita l to o l fo r   d ia g n o s in g   ma th ema tica p r o ficien cy   ( P u tch a r ee   Ju n p en g )   671   s tu d e n in   th i n ter m ed iate  t o   th h i g h   lev el  o f   MP   m o r th an   t h e   lo w   le v el.   T h is   is   b ec au s t h lo w est  MP   lev el  o f   s t u d en t s   s h o w ed   th h ig h e s er r o r   o f   SEM   v alu e.   F ig u r 6   s h o w s   t h r esu lt s   o f   th s tan d ar d   er r o r   o f   m ea s u r e m e n f o r   b o th   MA P   a n d   SLO  d i m e n s io n s .                 (a )   SEM ( MA P )   ( b )   SEM ( SL O )     Fig u r 6 .   Stan d ar d   er r o r   o f   m e asu r e m en t o f   M A P   an d   SLO  d i m e n s io n s         3 . 3 .   I t e m   f it   A ll  t h 1 8   item   d if f icu lties   i n   th MP   d ig ital  d iag n o s tic  to o co n s is ts   o f   I te m   1   to   1 1   o f   MA P   ite m s   an d   I te m   1 2   to   1 8   o f   SL ite m s   w er e x a m in ed   as  el u cid at ed   in   T ab le  2 .   Fo r   th MA P   d i m e n s io n ,   th ite m   d if f ic u lt ies  r an g ed   f r o m   1 . 1 6   lo g its   ( SE= 0 . 0 6 )   to   1 . 2 7   l o g its   ( SE= 0 . 0 7 ) .   Ho w e v er ,   f i v e   o u o f   th ite m s   ar e   p o ly to m o u s   s co r ed   an d   th d if f ic u lt y   s h o u ld   b f o cu s ed   o n   th ite m   s co r th r esh o ld .   I n   th i s   ca s e,   th r an g o f   ite m   d if f ic u lt y   i n   M A P   r an g e d   f r o m   - 1 . 1 6   to   1 . 8 0 ,   an d   th s t u d en m ea s u r es  r an g ed   f r o m   2 . 3 1   lo g its   to   +2 . 4 7   lo g its .   T h er ar s o m s tu d en t s   ( 1 6 . 5 0 %)  w h o s m ath e m atics  ab ilit ie s   ar m o r th an   +1 . 8 0   lo g its   ( 3 . 8 0 %)  an d   less   t h an   1 . 1 6   l o g its   ( 1 2 . 7 0 %)  an d   h e n ce   n o t   'm atc h ed '   ag a in s a n   ite m   lo c atio n   o n   th s ca le.     I n   Fig u r 6   ( b ) ,   th er a r n o   ite m s   m atc h i n g   s tu d e n ts   at  eith er   th lo w e s en d   ( - 1 . 1 7   to   2 . 3 1   lo g its )   o r     th h i g h est  e n d   ( +1 . 2 8   to   +2 . 4 7   lo g its )   o f   th s ca le,   i n d ica tin g   s o m i m p r o v e m en ts   ar n ee d ed   f o r   th test .   T h at  is ,   b o th   ea s y   an d   h ar d   ite m s   n e ed   to   b ad d e d   to   im p r o v th tar g eti n g   o f   t h ite m s   f o r   d iag n o s i n g   MP ,   p ar ticu lar l y   ea s y   ite m s .   T h er ar e   ap p r o x i m atel y   1 9 1   s tu d en t s   w h o   f o u n d   th ese  tes ite m s   ea s y   a n d   ap p r o x im a tel y   5 7   o f   th e m   w h o   f o u n d   th ite m s   w er h ar d .   T h ite m   d i f f ic u lt ies  w er ap p r o p r iate  f o r   th r est   o f   th s tu d e n ts ,   ap p r o x i m atel y   1 , 2 5 6   s tu d en ts .   T h ev id en ce   s u p p o r ts   th v alid it y   ar g u m e n b ased   o n   in ter n al  s tr u ct u r e,   as s h o w n   i n   Fi g u r 5 .   On   th o th er   h an d ,   f o r   th SL d i m e n s io n ,   th ite m   d if f i cu ltie s   w er r an g ed   f r o m   2 . 2 7   lo g it ( SE= 0 . 0 5 )   t o   1 . 9 0   lo g its   ( S E =0 . 0 5 ) ,   an d   th s t u d en ab ili t y   w as  r a n g ed   f r o m   2 . 5 2   lo g its   to   +2 . 4 8   lo g its .   R es u lts   r e v ea led   th at  t h er ar s o m s t u d en t s   ( 5 . 9 0 %)  w h o s MP   is   m o r th an   +1 . 9 0   lo g it s   ( 5 . 6 0 %)  an d   less   th an   - 2 . 2 7   lo g its   ( 0 . 3 0 %)  an d   h en ce   n o t   'm atc h ed '   a g ai n s an   ite m   d i s tr ib u tio n   o n   t h s c ale.   I n   Fig u r 6   ( b ) ,   th er ar n o   ite m s   m atc h i n g   s t u d en t s   at  eith er   t h lo w e s en d   ( - 2 . 2 7   t o   - 2 . 5 2   lo g its )   o r   th h ig h est  e n d   ( +1 . 9 1   to   +2 . 4 8   lo g its )   o f   th s ca le,   in d icatin g   s o m i m p r o v e m en ts   ar n ee d ed   f o r   th test .   Nev er th e less ,     th p er ce n tag o f   ite m   d if f ic u ltie s   w er q u ite  s m al l,  esp ec iall y   ea s y   ite m s .   T h ea s y   ite m   d i f f ic u lties   w er e   in ap p r o p r iate  f o r   m atc h i n g   to   o n l y   f i v s t u d en t s .   T h is   m ea n s   th at  th ite m   d if f ic u lt y   i s   ad eq u ate  f o r   th d ig ital   d iag n o s t ic  to o l.  Ho w e v er ,   w h en   r esear ch er s   co n s id er ed   th ite m   s co r t h r esh o ld   as  s h o w n   in   T ab le  2 ,   I tem   16  s ee m ed   to   b e   v er y   h ar d   ite m .   T h s tu d en h ad   5 0   p e r ce n ch an ce   o f   o b tain in g   s co r e   o f   3   lo w er   th a n   th e   o th er   ite m s   at  th s a m s co r e.   I n   ad d itio n ,   th i s   ite m   w a s   th h ar d est  ite m .   I s h o u ld   b re - o r ien ted   f o r   d iag n o s i n g   MP   in   th f u tu r e.   T ab le  2   s h o w s   t h r es u lt s   o f   th ite m   f it st at is tic  a n al y s i s .     T h r esu lts   o f   t h d ig ita to o in s p ec tio n   ar f o u n d   i n   ac co r d an ce   w i th   ac ce p tab le  cr iter i a.   T h test   s tat is t ics  co n s i s o f   Un w e ig h t ed   Fit   MN SQ  ( o u tf it)  b et w ee n   0 . 7 6 - 1 . 2 6   an d   W eig h Fit   MN SQ  ( in f it)  b et w ee n   0 . 8 2 - 1 . 1 0   w h ich   w er w it h i n   t h ac ce p tab le  r an g t h at  is   b et w ee n   0 . 7 5   an d   1 . 3 3   [ 28 - 30 ]   as  s h o w n   i n   T ab le  1 .   T h er ef o r e,   all  1 8   task s   ar f o u n d   in   co m p lia n ce   w it h   t h f it.             Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 Sep tem b er   2020 :   6 6 5   -   674   672   T ab le  2 .   R esu lts   o f   ite m   f it  s ta tis tic  a n al y s is     I t e m   D i f f i c u l t y   SE   O u t f i t   I n f i t   I t e m Sco r e   T h r e sh o l d   M N S Q   CI   M N S Q   CI   1   2   3   4   1   - 0 . 9 2   0 . 0 6   1 . 1 3   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 5   ( 0 . 9 5 ,   1 . 0 5 )           2   - 1 . 1 6   0 . 0 6   1 . 2 6   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 8   ( 0 . 9 4 ,   1 . 0 6 )           3   - 0 . 5 0   0 . 0 6   1 . 0 9   ( 0 . 9 3 ,   1 . 0 7 )   1 . 1 0   ( 0 . 9 5 ,   1 . 0 5 )           4   1 . 2 7   0 . 0 7   1 . 1 6   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 4   ( 0 . 9 4 ,   1 . 0 6 )           5   0 . 0 3   0 . 0 6   1 . 0 6   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 5   ( 0 . 9 6 ,   1 . 0 4 )           6   - 0 . 4 4   0 . 0 6   1 . 0 5   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 6   ( 0 . 9 6 ,   1 . 0 4 )           7   0 . 4 8   0 . 0 3   1 . 0 1   ( 0 . 9 3 ,   1 . 0 7 )   0 . 9 5   ( 0 . 9 3 ,   1 . 0 7 )   - 0 . 3 4   - 0 . 0 5   0 . 5 5   1 . 6 7   8   0 . 2 6   0 . 0 3   0 . 8 0   ( 0 . 9 3 ,   1 . 0 7 )   0 . 8 2   ( 0 . 9 3 ,   1 . 0 7 )   - 0 . 3 4   0 . 1 6   0 . 9 3     9   0 . 2 4   0 . 0 4   0 . 9 6   ( 0 . 9 3 ,   1 . 0 7 )   0 . 9 5   ( 0 . 9 4 ,   1 . 0 6 )   - 0 . 4 5   0 . 9 3       10   0 . 4 8   0 . 6 3   1 . 0 4   ( 0 . 9 3 ,   1 . 0 7 )   0 . 9 9   ( 0 . 9 3 ,   1 . 0 7 )   - 0 . 0 9   0 . 3 2   1 . 1 4     11   1 . 0 6   0 . 0 3   0 . 7 6   ( 0 . 9 3 ,   1 . 0 7 )   0 . 8 5   ( 0 . 9 2 ,   1 . 0 8 )   0 . 2 7   1 . 1 1   1 . 8 0     12   1 . 5 0   0 . 0 7   1 . 1 6   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 1   ( 0 . 9 3 ,   1 . 0 7 )           13   - 0 . 5 0   0 . 0 5   0 . 9 6   ( 0 . 9 3 ,   1 . 0 7 )   0 . 9 6   ( 0 . 9 3 ,   1 . 0 7 )   - 2 . 2 7   1 . 2 7       14   0 . 1 2   0 . 0 4   1 . 0 3   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 3   ( 0 . 9 4 ,   1 . 0 6 )   - 1 . 0 2   1 . 2 6       15   0 . 6 7   0 . 0 3   1 . 1 4   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 8   ( 0 . 9 3 ,   1 . 0 7 )   - 0 . 0 8   0 . 5 1   1 . 5 4     16   - 0 . 0 6   0 . 0 5   0 . 9 5   ( 0 . 9 3 ,   1 . 0 7 )   0 . 9 5   ( 0 . 9 3 ,   1 . 0 7 )   - 2 . 0 3   1 . 9 0       17   0 . 1 2   0 . 0 4   0 . 8 8   ( 0 . 9 3 ,   1 . 0 7 )   0 . 9 0   ( 0 . 9 4 ,   1 . 0 6 )   - 0 . 7 4   0 . 9 8       18   0 . 9 4   0 . 0 3   1 . 0 8   ( 0 . 9 3 ,   1 . 0 7 )   1 . 0 6   ( 0 . 9 3 ,   1 . 0 7 )   0 . 2 1   0 . 7 9   1 . 7 7         3 . 4 .   O v er a ll r esu lt s   o f   M P     T h o v er all  r esu lts   o f   t h 1 , 5 0 4   I s an s   s t u d en t s   MP   lev el  f o r   ea c h   d i m e n s io n   ar p r esen ted   i n     Fig u r 7 .   Stu d e n ts   MP   lev el  w a s   m ea s u r ed   in   f iv a n d   f o u r   lev els o f   M A P   an d   S L d i m e n s io n s   r esp ec ti v el y .     T h cr i t er i f or   di agnos i ng  M P   i each  di m ens i on  w er f ol l ow i ng  t he  cut - of f   sc or t cl as si f y   st udent s   M P   l ev el accor di n t o   [ 11 ] cl as si f i cat i on  i t hei r   i ni t i al   st udy .   R es u lt s   o f   th MA P   d im e n s io n   s h o w ed   th at  to tal  o f   2 4 . 1 4   p er ce n o f   s tu d en ts   w er at  t h lo w est  le v el  b ec au s th eir   lo g its   w er b elo w   - 0 . 2 4 .   T h is   is   f o llo w ed   b y   4 4 . 9 5   p er ce n o f   s tu d e n ts   w h o   w er f o u n d   at  m o d er atel y   h i g h   lev el  w h er e b y   t h eir   lo g it s   w er r an g ed   f r o m   - 0 . 2 3   to   + 0 . 4 9 .   T h er w er e   3 0 . 9 1   p er ce n o f   s tu d e n ts   w h o   w er h a v i n g   h ig h   M A P   as  th eir   lo g its   w er ab o v 0 . 5 0 .   On   t h o th er   h an d ,   t h r es u lts   o f   th S L d i m e n s io n   s h o w ed   th at  t h er w as 2 4 . 1 4   p er ce n t o f   s t u d en ts   ar at  th lo w est  le v el  as  t h e ir   lo g its   w er lo w er   th a n   - 0 . 6 3 .   T h m aj o r it y   o f   t h s tu d e n ts ,   th at  w as  6 2 . 5 7   p er ce n t,  w er r eg ar d ed   as  h a v in g   m o d er ate  le v el  b ec au s th eir   lo g it s   ar f r o m   - 0 . 6 2   t o   +1 . 1 8 .   Ho w e v er ,   o n l y   1 2 . 1 0   p er ce n o f   s tu d en t s   w er f o u n d   to   b at   th h ig h   lev el  o f   MP   as  th eir   lo g its   w er ab o v 1 . 1 9   in     th S L d i m en s io n .   R esear c h er s   w o u ld   li k to   ad d   m o r p r o f icien c y   le v el s   in   t h e   r an g b et w ee n   lo w   a n d   in ter m ed iate  f o r   th S L d i m en s io n .   T h is   i s   b ec au s 1 . 1 8   l o g it  s h o u ld   b at  h i g h   le v el  o f   p r o f icie n c y ,   th u s   th r an g o f   lo g i ts   at  t h m o d e r ate  lev el  s ee m ed   to   b in ap p r o p r iate  an d   n o t lo g ical  f o r   in te r p r etatio n .               ( a)   Stu d en ts   MP   lev el  i n   M AP   d im en s io n   ( b )   Stu d en ts   MP   lev el  i n   S L O   d im e n s io n     Fig u r 7 .   Ov er all  r esu l ts   o f   s tu d en ts   MP   in   th t w o   d i m en s i o n s       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       V a lid a tio n   o f a   d i g ita l to o l fo r   d ia g n o s in g   ma th ema tica p r o ficien cy   ( P u tch a r ee   Ju n p en g )   673   4.   CO NCLU SI O N   T h k e y   r esu lt  o f   t h is   s tu d y   i s   d ig ital  d iag n o s t ic  to o s o - ca lled   I T A R   to   as s ess   t h s e v en th - g r ad s tu d e n ts   MP   in   t h I s an   r e g io n   o f   T h ailan d .   T h is   I T A R   to o h as  b ee n   v a lid ated   u s i n g   th r ee   ar g u m e n ts ,   n a m e l y   v alid it y ,   r eliab ilit y ,   an d   ite m   f it.  O v er all  r es u lt s   r ev ea led   th at  I T AR   w as  f o u n d   to   b an   ass es s m en t   to o to   d iag n o s s tu d en ts   MP   in   b o th   MA P   an d   S L d i m e n s io n s   i n   ter m s   o f   its   ac cu r ac y ,   co n s i s ten c y ,   an d   s tab ilit y .   On   to p   o f   th at,   r e s u l ts   also   s h o w ed   t h at  MP   w a s   b etter   m ea s u r ed   u s i n g   m u lti d i m en s io n al  m o d el   r ath er   th a n   a   u n id i m e n s io n al  m o d el.   T h m a in   i m p licat io n   o f   th is   s tu d y   i s   t h at  I T A R   ca n   p r o v id e   r ich   i n f o r m atio n   o f   t h o s s t u d en ts   w h o   ar at  th in ter m ed iate  an d   h i g h   le v el  o f   MP .   T h is   is   r ef lec ted   in   th r esu lt s   o f   SEM     v alu f o r   esti m ati n g   laten ab ilit y   i n   M A P   an d   S L d i m en s io n s   w er at  th lo west  r an g o f   lo g i ts   ( b et w ee n   0 . 0   to   0 . 5 ) .   I n   th is   li n r ea s o n in g ,   r esear c h er s   w o u ld   l ik to   ad d   m o r ea s y   ite m s   i n   th M A P   d i m en s io n   as  w ell  a s   m o r p r o f icie n c y   lev els  o f   M A P ,   f r o m   f o u r   lev els  to   f iv le v els  in   t h lo w est  le v el  o f   th SLO  d im en s io n .   Mo r eo v er ,   r esear ch er s   f o u n d   t h at  th s co r in g   s y s te m   o f   s o m ta s k s   i n   I T A R   s ee m ed   to   o v er esti m a te  MP .   C o n s eq u en tl y ,   th s co r in g   g u id s h o u ld   b r ev is ed   i n   th i n p u t d ata  co m p o n en t a n d   p r o ce s s   s y s te m   co m p o n en t o f   I T AR .   T h m ain   co n tr ib u tio n   o f   t h is   s tu d y   is   th e   I T A R   h as   b ee n   s u cc ess f u l l y   p r o v id ed   f o r m ati v e   f ee d b ac k   f o r   b o th   teac h er s   an d   s tu d en ts   to   en h an ce   th eir   MP   s o   th e y   ca n   k n o w   w h at  s t u d en t s   lear n ,   w h at  s t u d en t s   n ee d   to   lear n ,   an d   h o w   w ell   th e y   u n d er s tan d   it.  As  r e s u l t,  I T A R   ca n   b u t ilized   to   g u id th lear n i n g   a n d   in s tr u ctio n   b ased   o n   m u l tip le  p r o f icien cies.  A lt h o u g h   I T A R   ca n   b ac ce s s ed   f r ee l y   as  w e b - b ased   r eso u r ce s   an d   co m p atib ilit y   w it h   m u lti p le  s eq u en ce s   an d   ap p r o ac h e s ,   th r es u lt s   r ev ea led   t h at  t h p r o ce s s   s y s te m   co m p o n e n t   s t ill  h as  p r o b le m s   esti m ati n g   s t u d en t s   MP   b ec a u s o f   th co m p le x it y   o f   th alg o r ith m   w h ich   is   a   p s y ch o m etr ic  m o d el.   Fu t u r r esear ch er s   s h o u ld   b co n ce r n ed   ab o u th n e g ati v a n d   p o s iti v co n s eq u en ce s   o f   u s in g   I T A R   i n   th ac t u a m at h e m a tics   cla s s r o o m s .   T h f o llo w i n g   co n s eq u en ce s   o f   u s in g   d ig ita l   d iag n o s t ic  to o s h o u ld   b tak e n   i n to   co n s id er atio n ,   f o r   ex a m p le,   ( i)   h o w   s t u d en ts   i m p r o v th MP   w h e n   u s i n g   I T A R ( ii)  h o w   m u c h   is   t h s tu d e n ts   g r o w t h   r ate  b et w ee n   b ef o r an d   af ter   u s in g   I T A R ( iii)  h o w   to   u s e   I T A R   s i m p l y   f o r   b o th   s tu d en t s   an d   teac h er s ,   an d   ( iv )   h o w   t o   in teg r ate  cu r r ic u lu m ,   i n s tr u c tio n ,   an d   d iag n o s tic   th r o u g h   I T AR   a n d   li n k   th e   s t u d en t s   p r o g r ess io n   lear n i n g   w h e n ev er   t h e y   u p g r ad in   th e   h i g h er   le v el   as  w el l   as in   co h o r t st u d y .       ACK NO WL E D G E M E NT S   T h r esear ch   an d   d ev elo p m e n ac ti v itie s   th at  d i s cu s s ed   in   th is   ar ticle  w er s u p p o r ted   b y   th g r an t   f r o m   T h aila n d   R e s ea r ch   Fu n d   ( T R F)  A d v a n ce d   R e s ea r ch   Sch o lar   a n d   Kh o n   Kae n   U n iv er s it y ,   T h ailan d   ( Gr an No R S A 6 0 8 0 0 7 4 ) .   T h r esear ch er s   w o u ld   li k to   th a n k   t h e   C e n ter   f o r   R e s ea r ch   i n   Ma t h e m atics   E d u ca tio n   ( C R ME ) ,   Kh o n   Ka en   U n iv er s it y   f o r   p r o v id in g   t h s u p p o r ts   to   m a k t h r esear c h   s u cc es s .   Sp ec ial  th an k s   to   Facu lt y   o f   E d u ca t io n ,   Kh o n   Kae n   U n i v er s it y ,   T h ailan d   f o r   p r o v id in g   f i n a n cial   s u p p o r to   p r esen o u r   r e s ea r ch   r esu lt s   at  t h 3 r d   W o r ld   C o n f er en ce   o n   E d u ca ti o n   2 0 1 9   ( W C E DU)   at  Ku alar   L u m p u r ,   Ma la y s ia.       RE F E R E NC E S     [1 ]   P .   Ju n p e n g ,   M .   I n p ra sit h a   a n d   M .   W il so n ,   M o d e li n g   o f   th e   o p e n - e n d e d   it e m f o a ss e ss in g   m u lt ip le  p ro f icie n c ies   in   m a th e m a ti c a p ro b lem   so lv in g ,   T h e   T u rk ish   O n li n e   J o u r n a l   o f   Ed u c a ti o n a l   T e c h n o l o g y ,   v o l.   2 ,   S p e c ial  Iss u e   f o r   INT E - I T IC A M - IDEC,   p p .   1 4 2 - 1 4 9 ,   2 0 1 8 .     [2 ]   J.  M e n sa h   a n d   D.   Da k e ,   T e st,  m e a su re m e n t,   a n d   e v a lu a ti o n u n d e rsta n d in g   a n d   u se   o f   th e   c o n c e p ts  in   e d u c a ti o n ,   In ter n a t io n a J o u rn a o Ev a lu a ti o n   a n d   Res e a rc h   i n   E d u c a ti o n   ( IJ ER E) ,   v o l.   9 ,   n o .   1 ,   p p .   1 0 9 - 1 1 9 ,   2 0 2 0 .   [3 ]   U.  Zain iy a h   a n d   M a rsig it ,   I m p ro v in g   m a th e m a ti c a li tera c y   o p ro b lem   so lv in g   a th e   5 th   g ra d e   o f   p ri m a r y   stu d e n ts ,”   J o u rn a o E d u c a ti o n   a n d   L e a rn i n g   ( Ed u L e a rn ) ,   v o l.   1 3 ,   n o .   1 ,   p p .   9 8 - 1 0 3 ,   2 0 1 7 .   [4 ]   Y - M .   Hu a n g ,   S - H.  H u a n g   a n d   T - T .   W u ,   E m b e d d in g   d iag n o st ic  m e c h a n is m in   a   d ig it a g a m e   f o lea rn in g   m a th e m a ti c s , ”  Ed u c a ti o n   T e c h n o l o g y   Res e a rc h   a n d   De v e lo p me n t ,   v o l.   6 2 ,   n o .   2 ,   p p .   1 8 7 - 2 0 7 ,   2 0 1 4 .   [5 ]   B.   M .   N.  B.   Ba k a r,   T h e   p ro c e ss   o f   th in k in g   a m o n g   ju n io h ig h   sc h o o stu d e n ts  in   so lv in g   H OT S   q u e stio n ,”   In ter n a t io n a J o u rn a o Ev a lu a ti o n   a n d   Res e a rc h   i n   E d u c a ti o n   ( IJ ER E) ,   v o l.   4 ,   n o .   3 ,   p p .   1 3 8 - 1 4 5 ,   2 0 1 5 .   [6 ]   M .   M a rw ian g ,   P .   Ju n p e n g ,   a n d   N.  Na k o rn ,   T h e   d e v e lo p m e n o a   m o d e f o m a th e m a ti c c las sro o m   a ss e ss m e n t Co ll a b o ra ti v e   a ss e ss m e n p y ra m i d ,   Pro c e d i a   S o c ia a n d   Beh a v i o r a S c ien c e s,   v o l .   1 4 3 ,   p p .   7 6 4 - 7 6 8 ,   2 0 1 4 .     [7 ]   P .   Ju n p e n g ,   T h e   d e v e lo p m e n o f   c las sro o m   a ss e s s m e n s y ste m   i n   m a th e m a ti c f o b a sic   e d u c a ti o n   o f   T h a il a n d ,   Pro c e d ia   S o c i a a n d   Beh a v io ra S c ien c e s ,   v o l.   6 9 ,   p p .   1 9 6 5 1 9 7 2 ,   2 0 1 2 .   [8 ]   D.  F o u ry z a ,   S .   M .   Am in ,   a n d   R.   Ek a w a ti ,   De sig n in g   les so n   p lan   o f   in teg e n u m b e o p e ra ti o n   b a se d   o n   f u n     a n d   e a sy   m a th   (F EM a p p r o a c h ,   In ter n a ti o n a J o u rn a l   o f   Eva l u a t io n   a n d   Res e a rc h   i n   Ed u c a ti o n   ( IJ ER E) ,   v o l.   8 ,   n o .   1 ,   p p .   1 0 3 - 1 0 9 ,   2 0 1 9 .   [9 ]   C.   Re d e c k e a n d   O.  Jo h a n n e ss e n ,   Ch a n g i n g   a ss e ss m e n   t o w a rd a   n e w   a ss e ss m e n p a ra d ig m   u sin g   ICT ,   Eu ro p e a n   J o u rn a o E d u c a ti o n ,   v o l.   4 8 ,   n o .   1 ,   p p .   7 9 - 9 6 ,   2 0 1 4 .   [1 0 ]   P .   P a tel  a n d   A .   T h a k k a r ,   T h e   u p su rg e   o f   d e e p   lea rn in g   f o c o m p u ter  v isio n   a p p li c a ti o n s ,   I n ter n a t i o n a J o u rn a o El e c trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   1 ,   p p .   5 3 8 - 5 4 8 ,   2 0 2 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 Sep tem b er   2020 :   6 6 5   -   674   674   [1 1 ]   P .   Ju n p e n g ,   e a l. ,   Co n stru c ti n g   p r o g re ss   m a p o f   d ig it a tec h n o lo g y   f o d iag n o si n g   m a th e m a ti c a p r o f icie n c y ,”   J o u rn a o E d u c a t io n   a n d   L e a rn i n g ,   v o l.   8 ,   no.   6 ,   p p .   9 0 - 1 0 2 ,   2 0 1 9 .     [1 2 ]   M .   M a rw ian g ,   J.  Kla h a r n ,   L .   S a re e ,   a n d   P .   J u n p e n g ,   A ss e ss in g   stu d e n ts’   m a th e m a ti c a p ro b le m   so lv in g   sk il th ro u g h   t h e   in n o v a ti v e   les so n   st u d y   a n d   o p e n   a p p ro a c h ,”   T u rk i sh   On li n e   J o u r n a l   o f   Ed u c a ti o n a T e c h n o l o g y   v o l.   1 6,   S p e c ial  Iss u e ,   p p .   3 8 5 - 3 9 5 ,   2 0 1 7 .   [1 3 ]   M .   M a rw ian g ,   e a l. ,   A ss e s s m e n o f   lea rn in g   p r o g re ss io n   o n   m a th e m a ti c a p ro b lem   so lv in g   o f   stu d e n ts  u sin g   o p e n   a p p ro a c h ,   J o u rn a o P h y sic s: Co n fer e n c e   S e rie s v o l .   1 3 4 0 ,   n o .   1 ,   p p   1 - 7 ,   2 0 1 9   [1 4 ]   J.  B.   Brig g s   a n d   K.  C o ll is,   Eva lu a ti n g   th e   q u a li ty   o le a rn i n g :   T h e   S OLO  ta x o n o my Ne w   Yo rk A c a d e m ic  P re ss ,   1 9 8 2 .   [1 5 ]   M .   R.   W il so n ,   Co n stru c ti n g   M e a su re s:  An   Item   Res p o n se   M o d e li n g   Ap p ro a c h ,   M a h w a h ,   NJ L a wre n c e   Erl b a u m   A s so c . ,   2 0 0 5 .   [1 6 ]   R.   J.  A d a m s,  Re li a b il it y   a a   m e a su re m e n d e sig n   e f f e c t ,   S tu d ies   In   Ed u c a ti o n a Ev a lu a ti o n ,   v o l.   3 1 ,   n o .   2 - 3 ,     p p .   1 6 2 - 1 7 2 ,   2 0 0 5 .   [1 7 ]   R.   J.  A d a m s,  M .   R.   W il so n   a n d   W .   Wan g ,   T h e   m u lt id im e n sio n a ra n d o m   c o e ff icie n m u lt in o m ial   lo g it   m o d e l ,   Ap p li e d   Psy c h o lo g ica M e a su re m e n t,   v o l.   2 1 ,   n o .   1 ,   p p .   1 - 2 3 ,   1 9 9 7 .   [1 8 ]   T h a il a n d   M i n istry   o f   Ed u c a ti o n ,   L e a rn i n g   S t a n d a r d a n d   In d ica to rs   L e a rn in g   o M a t h e ma ti c ( re v ise d   e d it io n   2 0 1 7 a c c o r d in g   to   t h e   Co re   Cu rr icu lu o Ba sic   E d u c a t io n ,   B. E.   2 5 5 1 .   Ba n g k o k P ri n t in g   Ho u se ,   A g ricu lt u ra l   Co o p e ra ti v e   o f   T h a il a n d ,   2 0 1 7 .   [1 9 ]   M .   Cu ste r,   S a m p le  siz e   a n d   it e m   p a ra m e ter  e sti m a ti o n   p re c isio n   w h e n   u ti li z in g   th e   o n e - p a ra m e t e ‘ra sc h ’  m o d e l ,   T h e   a n n u a l   me e ti n g   o th e   mid - we ste rn   Ed u c a ti o n a Res e a rc h   Asso c ia ti o n ,   Ev a n st o n ,   Ill i n o is,  2 1 - 2 4   Oc to b e r,   2 0 1 5 .   [2 0 ]   W .   F .   W .   Ya a c o b ,   S .   A .   M .   Na sir,   W .   F .   W .   Ya a c o b ,   a n d   N.  M .   S o b ri ,   S u p e rv ise d   d a ta  m in in g   a p p ro a c h   f o r   p re d ictin g   st u d e n p e rf o rm a n c e ,   In d o n e si a n   J o u rn a o E lec trica En g in e e rin g   a n d   Co m p u ter   S c ien c e   ( IJ EE CS ) v o l.   1 6 ,   n o .   3 ,   p p .   1 5 4 8 - 1 5 9 2 ,   2 0 1 9 .   [2 1 ]   M .   Ku m a a n d   A .   J.  S in g h ,   Ev a lu a ti o n   o f   d a ta  m in in g   tec h n i q u e f o p re d ictin g   stu d e n t’s  p e rf o r m a n c e ,   M o d e rn   Ed u c a ti o n   a n d   Co mp u ter   S c ien c e ,   v o l.   9 ,   n o .   8 ,   p p .   2 5 - 3 1 ,   2 0 1 7 .   [2 2 ]   K.  E.   M e rra o u i,   A .   F e rd j o u n i,   a n d   M .   Bo u n e k h la,  Re a tim e   o b se rv e r - b a se d   sta to f a u lt   d ia g n o sis  f o IM ,   In ter n a t io n a J o u rn a o E lec trica a n d   C o mp u ter   En g in e e rin g   ( IJ ECE ) ,   v o l.   1 0 ,   n o .   1 ,   p p .   2 1 0 - 2 2 2 ,   2 0 20 .   [2 3 ]   S .   Jia n g ,   C.   W a n g   a n d   D.  J.  W e iss,  S a m p le  siz e   re q u ire m e n ts  f o e stim a ti o n   o f   it e m   p a r a m e ters   in   th e   m u lt id im e n sio n a g ra d e d   re sp o n s e   m o d e l ,   Fro n ti e rs   in   Psy c h o l o g y ,   v o l.   7 ,   A rti c le   1 0 9 ,   2 0 1 6 .   [2 4 ]   M .   R.   W il so n   a n d   P .   De   Bo e c k ,   De sc rip ti v e   a n d   e x p lan a to ry   it e m   re sp o n se   m o d e ls ,   In   P .   De   Bo e c k   &   M .   W il so n   (Ed s.),   Ex p la n a t o ry   Item   M o d e ls:   Ge n e ra li ze d   L in e a r   a n d   N o n l in e a r .   Ne w   Yo rk S p rin g e r - V e rlag ,   2 0 0 4 .   [2 5 ]   L .   Ya o   a n d   R.   D.   S c h w a rz ,   A   m u lt id im e n sio n a p a rti a l   c re d it   m o d e w it h   a ss o c i a ted   it e m   a n d   t e st  sta ti stics A a p p li c a ti o n   t o   m ix e d - f o rm a tes t s,”   Ap p li e d   Psy c h o l o g ica M e a su re me n t ,   v o l.   3 0 ,   n o .   6 ,   p p .   4 6 9 - 4 9 2 ,   2 0 0 6 .   [2 6 ]   G .   S c h wa rz ,   Esti m a ti n g   th e   d ime n sio n   o f   a   m o d e l ,   T h e   An n a ls   o f   S ta ti stics ,   v o l.   6 ,   n o .   2 ,   p p .   4 6 1 - 4 6 4 ,   1 9 7 8 .   [2 7 ]   B.   Du c k o r,   K.  E .   Ca ste ll a n o ,   K.  T ĕ ll e z ,   D. W ih a rd in a n d   M .   R.   W il so n ,   Ex a m in in g   th e   i n tern a str u c tu re   e v id e n c e   f o th e   p e rf o rm a n c e   a ss e ss m e n fo Ca li f o rn ia   tea c h e rs:  A   v a li d a ti o n   stu d y   o f   th e   e lem e n tar y   li tera c y   tea c h in g   e v e n t   f o ti e 1   tea c h e li c e n su re ,   J o u r n a o T e a c h e r E d u c a ti o n ,   v o l.   6 5 ,   n o .   5 ,   p p .   4 0 2 - 4 2 0 ,   2 0 1 4 .     [2 8 ]   Am e rica n   Ed u c a ti o n a Re se a rc h   A ss o c iatio n ,   A m e ric a n   P sy c h o l o g ica A ss o c iatio n   a n d   Na ti o n a Co u n c il   o n   M e a su re m e n in   Ed u c a ti o n ,   S ta n d a r d f o E d u c a ti o n a a n d   Ps y c h o lo g ica l   T e stin g   (6 th   e d . ).   W a sh in g to n ,   DC :   Am e rica n   E d u c a ti o n a l   Re se a rc h   A s so c iatio n ,   2 0 1 4 .   [2 9 ]   R.   J.   A d a m a n d   S .   T .   Kh o o ,   Q u e st:  T h e   In ter a c ti v e   T e st  A n a lys is  S y ste m,   M e lb o u r n e ,   V ic:   A u stra li a n   C o u n c il   f o r   Ed u c a ti o n a Re se a rc h ,   1 9 9 6 .   [3 0 ]   Y - J.  I.   C h e n ,   M .   R.   W il so n ,   R.   C.   Ire y   a n d   M .   K.   Re q u a ,   A n   I n n o v a ti v e   m e a su re   o f   o rth o g ra p h ic  p ro c e ss in g :   De v e lo p m e n a n d   i n it ial  v a li d a ti o n ,   L a n g u a g e   T e sti n g v o l.   3 7 ,   n o .   3 ,   p p .   1 - 1 8 ,   2 0 2 0 .     Evaluation Warning : The document was created with Spire.PDF for Python.