I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 ,   p p .   955 ~ 962   I SS N:  2252 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v9 i 4 . 2 0 5 0 5          955       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Dev elo pment of  an a ss ess ment t o o for ma thema tical   read ing a na ly tical thinkin g  and ma thema tic a l writ ing       Nut t ida   K eso rn 1 P utc ha re J un peng 2 M et t a   M a rwia ng 3 ,   K is s a da pa n P o ng bo ribo o n 4   K eo Ng a ng   T a ng 5 ,   Sh rut i Ba t hia 6 ,   M a rk   Wils o n 7   1, 2, 3, 4 F a c u lt y   o f   Ed u c a ti o n ,   Kh o n   Ka e n   Un iv e rsity ,   T h a il a n d   5 In stit u te f o Re se a rc h   a n d   De v e lo p m e n i n   Tea c h i n g   P ro fe ss io n   fo ASE AN ,   Kh o n   Ka e n   U n iv e rsit y ,   Th a il a n d   6, 7 G ra d u a te S c h o o o f   Ed u c a ti o n ,   Un iv e rsity   o Ca li f o rn ia,  Un it e d   S tate       Art icle  I nfo     AB S T RAC T     A r ticle  his to r y:   R ec eiv ed   Ja n   30 ,   2 0 2 0   R ev is ed   Ju l   2 5 ,   2 0 2 0   Acc ep ted   Sep   2 1 ,   2 0 2 0       Th e   m a in   o b jec ti v e   o th is r e se a rc h   wa s to   d e v e lo p   a n d   v a li d a te t h e   q u a li t y   o a n   a ss e ss m e n to o l   fo r   e v a lu a t in g   th e   m a th e m a ti c a re a d in g ,   a n a ly ti c a l   th in k in g ,   a n d   m a th e m a ti c a wri ti n g   sk il ls  o fo u rt h - g ra d e   stu d e n ts.  We  ra n d o m l y   se lec ted   2 2 2   f o u rt h   g ra d e   stu d e n ts  a c ro ss   m u lt ip le  sc h o o ls  o f   v a ry in g   siz e to   tak e   t h e   a ss e ss m e n t.   M u lt id ime n sio n a Ra n d o m   C o e fficie n ts  M u lt i n o m ial  I tem   Re sp o n se   M o d e l   wa a p p li e d   to   v a li d a te  th e   q u a li ty   o t h e   d e v e lo p e d   a ss e ss m e n to o l.   A   d e sig n - b a se d   re se a rc h   m e th o d o lo g y   wa a d o p te d   to   d e v e l o p   t h e   a ss e ss m e n to o e n c o m p a ss in g   fo u p h a se a fo ll o ws :   1 a n a ly z e   h o st u d e n ts  so l v e   m a th e m a ti c a p ro b lem s;  2 )   d e v e lo p   th e   a ss e ss m e n to o l;   3 v a li d a ti o n   o t h e   to o l;   a n d   4 re flec ti o n .   T h e   re su lt s o t h is   re se a rc h   in d ica te  th a th e   a ss e s s m e n to o c o n sistin g   o 1 9   it e m a n d   two   d ime n sio n s   is  a   re li a b le  a n d   v a li d   m e tri c   to   m e a su re   m a th e m a ti c a re a d in g ,   m a th e m a ti c a writi n g   a n d   a n a ly ti c a a b il it y   o fo u rt h   g ra d e rs.  Th e   Li k e li h o o d - Ra ti o   tes sh o we d   t h a th e   m u l ti d ime n si o n a m o d e fi t b e tt e in   c o m p a riso n   t o   t h e   u n id ime n si o n a m o d e l.   It   c a n   b e   c o n c lu d e d   t h a t   e a c h   it e m   is  q u a li fie d   t o   a ss e ss   th e   stu d e n ts  a n d   re lev a n t o   th e   d e v e lo p e d   d i m e n sio n a l   e x a m in a ti o n   stru c tu re .   K ey w o r d s :   An aly tical  th in k in g   Ass es s m en t to o l   Ma th em atica l r ea d in g   Ma th em atica l w r itin g   Mu ltid im en s io n al  m o d el   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Pu tch ar ee   J u n p e n g ,     Facu lty   o f   E d u ca tio n ,   Kh o n   Kae n   Un i v er s ity ,   1 2 3   Mitr ap h ap   R o ad ,   A.   Mu a n g ,   Kh o n   Kae n   4 0 0 0 2 ,   T h ailan d .   E m ail: jp u tch a@ k k u . ac . th       1.   I NT RO D UCT I O N   Ma th em atics  is   an   im p o r tan s u b ject  b ec au s it  p r o v id es  p r a ctica k n o wled g an d   p lay s   s ig n if ican r o le  in   s tim u latin g   s tu d en t’ s   l ea r n in g   [ 1 ,   2 ] .   T h is   ca n   b e x p lain ed   b y   th e   f ac th at  m ath e m atics  is   n o o n ly   f u n d am e n tal  d is cip lin e   b u t   al s o   f o u n d atio n   f o r   m an y   o t h er   s cien tific   d is cip lin es  [ 3 ,   4 ] .   I f   m ath em atics   teac h er s   ar to   b ju d g ed   b y   th o u tco m es  o f   th s tu d en t s ,   th en ,   at  least  th co m p o n e n ts   m ak in g   u p   t h cu r r icu lu m   an d   th ass ess m en task s   s h o u ld   b e   m ad e   ex p lici t,  s o   th at  th e   class r o o m   ac tiv it i es  m ay   b alig n ed   an d   r ea s o n ed   j u d g em e n ts   m ay   b m ad r eg a r d in g   t h class r o o m   f o cu s ,   s o   th at  th class r o o m   ac tiv ities   m ay   b alig n ed   an d   r ea s o n e d   ju d g m e n ts   m ay   b m a d r eg a r d in g   t h class r o o m   f o c u s   o f   th e   teac h er s   m ath em atics  teac h er s   co n ce r n in g   t h eir   clas s r o o m   f o cu s   [ 5 ,   6 ] .   T h er e f o r e ,   s o m d e g r ee   o f   r e g u latio n   is   d ee m ed   n ec ess ar y   in   b o th   cu r r ic u lu m   d o c u m en p r escr ip tio n   an d   s y s tem atic  ass e s s m en in   th cu r r en g lo b al  ed u ca tio n al     clim ate  [ 7 ,   8 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 :   9 5 5   -   9 6 2   956   Acc o r d in g   to   [ 9 ,   1 0 ] ,   s tu d en t s   ar r eq u ir ed   to   an aly ze   th e   s i tu atio n   an d   u s co m p lex   k n o wled g e   in clu d in g   m ath em atica u n d e r s tan d in g   a n d   a n aly tical  th i n k in g   in   th e   p r o ce s s   o f   s o l v in g   m at h em atica p r o b lem s .   T h n atu r al  q u esti o n   d u r i n g   th ass ess m en p r o ce s s   is     h o to   also   ass ess   th p r o ce s s   o f   th in k in g   d em o n s tr ated   in   th e   s o lu tio n s   an d   n o o n ly   t h m ath e m atica co r r ec t n ess   an s wer s   [ 9 ,   1 1 ] .   An aly tical  th in k in g   ass is ts   s tu d en ts   in   s o lv in g   p r o b lem s   in   m ath em atics.  Stu d e n ts   n ee d   to   u n d e r s tan d   p a r ts   o f   th s itu atio n ,   th e   ab ilit y   to   s cr u tin ize  an d   b r ea k d o wn   f ac ts .   Ap ar f r o m   t h ab o v e,   we  als o   n ee d   to   k ee p   in   m in d   th at   th er ar e   d if f er en t   way s   o f   ar r iv in g   at   a   s o lu tio n .   T h Natio n al  T est  in   T h ailan d   class if ied   m ath em atica liter ac y   in to   f o u r   lev els    p r e - an aly tics ,   p ar tial - an aly tical,   s em i - a n aly t ical  an d   an aly tical  [ 1 1 ] .   M a t h em atica r ea d in g   is   im p o r ta n b ec au s s tu d en ts   h av to   r ea d   to   w o r k   th r o u g h   m ath em atica p r o b lem s ,   co m m u n icate   th eir   id ea s   co h er e n tly ,   o r g an ize   th eir   th o u g h ts ,   s tr u ctu r ar g u m e n ts ,   ex ten d   th eir   th in k in g   a n d   k n o wled g to   c o v er   o th e r   p er s p ec tiv es  an d   ex p er ien ce s ,   u n d er s tan d   th eir   o wn   p r o b lem - s o l v in g   an d   th in k in g   p r o ce s s   as  wel as   o f   o th er s   an d   f in ally   d ev elo p   f lex ib ilit y   in   r ep r ese n tin g   a n d   i n ter p r etin g   id ea s   [ 1 2 ] .   Ma th em atica wr itin g   i s   an o th er   ess en tial   ab ilit y   th at  s tu d en ts   n ee d ,   in   o r d er   to   wr ite  clea r   m ath em atic al  ex p lan atio n s .   I f   s tu d e n ts   wan to   co n tr ib u te  to   th g r ea ter   b o d y   o f   m ath em at ical  k n o wled g e,   t h ey   m u s b e   ab le  to   co m m u n icate   th eir   id e as  in   a   way   th at   is   co m p r eh e n s ib le  to   o th e r s   [ 1 3 ] .   Acc o r d in g   to   [ 1 4 ] ,   m ath em at ics  ab ilit y   en ab les  s tu d en ts   t o   co m p r e h en d   m at h em atics  co n ce p t,  to   ex p lain   th e   co r r elatio n   o f   co n ce p ts   an d   t o   ap p ly   c o n ce p o f   alg o r ith m   f le x ib ly ,   ac cu r at ely ,   ef f icien tly ,   an d   p r ec is ely   in   p r o b lem - s o lv in g .   C u r r en tly ,   th er is   n o an   ap p r o p r iate  ass ess m en to o to   ass ess   s tu d en ts   r ea d in g ,   an al y zin g ,   an d   wr itin g   s k ills   in   m ath em atics   ac co r d an ce   to   th r ec o r d   f r o m   th Of f ice  f o r   Natio n al   E d u ca tio n   Stan d ar d s   an d   Qu ality   Ass e s s m en t [ 1 5 ] .   I f   we  h av h ig h - q u ality   to o l,  we  ca n   u s th r esu lts   f r o m   th ass ess m en to   im p r o v t ea ch er   p e r f o r m an ce   a n d   also   en ab le  s tu d en ts   to   e n h an ce   th eir   m ath em atica l   r ea d in g ,   m ath em atica wr itin g   an d   an al y tical  s k ills .   I n   th is   lin o f   r ea s o n in g ,   cu r r e n r esear ch   is   aim ed   to   d ev elo p   an d   v alid ate  th e   q u al ity   o f   a n   ass ess m en to o f o r   ev alu atin g   th e   m ath em atica r e ad in g ,   a n aly tical   th in k in g ,   an d   m ath em atica l w r itin g   ( R T W )   o f   f o u r th - g r ad s t u d en ts .     T h m ath em atica r ea d in g   d i m en s io n   co n s is ts   o f   in ter p r etin g   th p r o b lem s   an d   ca p tu r in g   th p o in ts .   T h an aly tical   th in k in g ,   w h ich   is   co m m o n   to   b o th   th e   d i m en s io n s   in clu d e s   p r o b lem - s o lv in g   an d   r atio n al   th in k in g   in d icato r s .   Ma th em atica wr itin g   co v er s   r ep o r t   th is   f ir s an d   th en   r ep o r an aly tical  th in k in g   d im en s io n .   I n   t h f ir s p ilo s tu d y ,   we  f o u n d   t h at  m ath em ati ca th in k in g   is   m u lti  d im en s io n al  co n s tr u ct  th at  co m p r is es  o f   two   s u b   d im e n s io n s     m ath em atica r ea d in g   an d   m ath em atica wr itin g .   W ju s tify   th ab o v e   ar g u m en t   b y   p r o v id in g   ev id en ce   f o r   v alid ity ,   r eliab ilit y   a n d   item   f it.  As  th r esu lts ,   th is   r esear ch   was  f o cu s e d   o n   r ea d in g   an d   an aly tical  th in k in g   ( R AT ) ,   an d   wr itin g   an d   an aly tical  th in k in g   ( W AT )   d i m en s io n s .   W u s ed   th b etwe en - item   m u ltid im en s io n al  m o d el.   T h is   m ea n s   th at  ea ch   item   m ap p ed   o n ly   to   o n d im en s io n   as  s h o wn   in   Fig u r 1 .             Fig u r 1 .   B etwe en - item   m u lti d im en s io n al  m o d el  f o r   ass ess i n g   R T W       2.   RE S E ARCH   M E T H O D     R esear ch er s   ad o p ted   th m u ltid im en s io n al  m o d elin g   ap p r o ac h   [ 1 6 - 19 ]   an d   d esig n - b ased     r esear ch   [ 2 0 ,   2 1 ]   m eth o d   to   d ev elo p   th ass ess m en to o l.  W u s ed   th Mu ltid im en s io n al  R an d o m   C o ef f icien ts   Mu ltin o m ial  L o g it M o d el  ( MRC ML )   to   v alid ate  th q u ality   o f   th d ev elo p ed   ass ess m en t to o l.      2 . 1 .   M ultid im ens io na ra nd o m   co ef f icient s   m ultino m ia l lo g it   m o del  ( M RCML )   W u s I tem   R esp o n s T h eo r y   m eth o d s   to   an aly ze   th item s .   I R T   m eth o d s   h av ad v an tag es  o v er   class ical  test   th eo r y   ap p r o ac h es  [ 1 7 ,   1 8 ] .   W ith in   th f am ily   o f   I R T   m o d els  we  u s th Mu ltid im en s io n al  R an d o m   C o ef f icien ts   Mu ltin o m ial  L o g it  I tem   R esp o n s Mo d el  ( MRC ML )   [ 1 9 ]   b ec au s it  r etain s   th esti m ate  f o r   ea ch   item   wh ile  m o d el in g   d ep en d en cies b etwe en   th em .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c .     I SS N:  2252 - 8 8 2 2       Dev elo p men t o f a n   a s s ess men t   to o l fo r   ma th ema tica l rea d i n g ,   a n a lytica l th i n kin g   a n d   …  ( N u ttid a   K eso r n )   957   2 . 2 .   P o pu la t io n a nd   s a m ple   to tal  o f   2 2 2   f o u r th   g r ad p r im ar y   s ch o o s tu d en ts   o f   v ar y in g   ab ilit ies  s tu d y in g   in   s ch o o ls   o f   v ar y in g   s izes  ( s m all,   m ed iu m ,   an d   b ig )   in   th Nak h o n   R atch asima   Pro v in ce ,   T h ailan d   wer r an d o m ly   s elec ted .   T h is   is   th m in im u m   s am p le  s ize  r eq u ir ed   f o r   u s in g   m u ltid im en s io n al  item   r esp o n s m o d el  in   o r d er   to   g et  q u ality   in f o r m atio n .       2 . 3 .   Resea rc h pro ce du re     T h d esig n - b ased   r esear ch   p r o ce d u r co n s is ted   o f   f o u r   p h ases   as  f o llo ws:   1 )   an aly ze   h o s tu d en ts   s o lv m ath em atica p r o b lem s ;   2 )   d ev elo p   th ass ess m en to o l ;   3 )   v alid atio n   o f   th to o l ;   an d   4 )   r ef lectio n .   I n   th f ir s p h ase,   we  co llab o r ate  with   m ath em atics  teac h er s   to   d ev elo p   th co n ce p tu al  m o d el  o f   m ath em atica r ea d in g ,   m ath em atica wr itin g   an d   an aly tical  ab ilit y   in   lin with   th co r cu r r icu lu m   in   b asic  ed u ca tio n   2008  ( r ev is ed   ed itio n   2 0 1 7 ) .   W co llect  d ata  th r o u g h   in ter v iews  an d   u s in g   th in k - alo u d   tech n iq u es.  I n   th s ec o n d   p h ase,   we  d ev elo p   p r o to ty p g u id ed   b y   th test   b lu ep r in to   ass ess   s tu d en t’ s   R AT   an d   W AT .   to tal  o f   1 9   item s   wer d ev elo p ed   to   m ea s u r s tu d en t’ s   ab ilit y   in   th two   d im en s io n s .   I n   th th ir d   p h ase,   r esear ch er s   v alid ated   th q u ality   o f   th d ev elo p ed   ass ess m en to o b y   co n s id er in g   its   v alid ity   an d   r eliab ilit y .   T h er wer th r ee   v alid ity   ev id en ce   th at  r esear ch er s   to o k   in to   co n s id er atio n ,   n am ely   1 )   te s co n ten b y   ex p er ts   an d   th W r ig h Ma p 2 )   s tu d en ts   r esp o n s p r o ce s s es  as  th ch ar ac ter is tics   o f   s tu d en ts   th in k in g   r ef lecte d   in   th T h in k - alo u d s   Fo r m ;   an d   3 )   in ter n al  s tr u ctu r th r o u g h   th W r ig h Ma p   u s in g   AC E R   C o n q u est  2 . 0   [ 2 2 ,   2 3 ] .   Mo r eo v er ,   th r el iab ilit y   o f   ass ess m en to o th at  r esear ch er s   to o k   in to   co n s id er atio n   wer e :   1 )   r eliab ilit y   o f   th E x p ec ted - A - Po s ter io r an d   Sep ar atio n   ( E AP/P V)   wh ich   is   m ea s u r em en o f   th co n s is ten cy   o f   m u ltid im en s io n al  an aly s is 2 )   in ter n al  co n s is ten cy   u s in g   C r o n b ac h s   Alp h C o ef f icien t ;   an d   3 )   Stan d ar d   er r o r   o f   m ea s u r em en ( SEM )   in   lin with   th ed u ca tio n al  an d   p s y ch o lo g ical  ass ess m en s tan d ar d s   [ 2 4 ] .   Fin ally ,   we  r ef lect  o n   th ass ess m en an d   p r o p o s ch an g es  if   n ec ess ar y .       3.   RE SU L T AND   D I SCU SS I O N     3 . 1 .   Dev elo pm ent   o f   a s s ess m ent   t o o l   R esear ch er s   d ev elo p ed   an   ass ess m en to o co n s is tin g   o f   1 9   item s   to   ev alu ate  f o u r t h - g r a d e   s tu d en ts   Ma th em atica l c ap ab ilit ies in   t er m s   o f   th eir   R T W .   T h is   as s es s m en t to o l c o n s is ts   o f   s ev en   it em s   in   R AT   an d   1 2   item s   in   W AT .   T h item   f o r m at  is   th 4 - ch o ices  q u esti o n   an d   also   ess ay   q u esti o n s .   All  th item s   wer an aly ze d   u s in g   MRC ML .   T h e   ass es s m en to o co n s is ts   o f   t wo   d im en s io n s   an d   s ix   m ath e m atica in d icato r s   as  s h o wn   in   T ab le  1 .   W p r esen in   Fig u r 2   a n   ex am p le  item   f o r   f o u r t h   g r ad er s   in   th e   elev en th   in d icato r   ( M. 4 /1 1 ) .   T h is   item   m ap s   o n to   th R AT   d im e n s io n   with   f o cu s   o n   p r o b lem - s o lv in g ,   an al y tical  th in k in g   an d   th ab ilit y   to   wr ite  s tep   b y   s tep   p r o ce s s es.       T ab le  1 .   Ass ess m en to o o f   R T W   M a t h e ma t i c a l   I n d i c a t o r s   R A ( I t e m)   W A ( I t e m)   N o .   o f   I t e ms   M .   4 / 2   C o m p a r e   a n d   so r t   o u t   m o r e   t h a n   1 0 0 , 0 0 0   n u m b e r s fr o d i f f e r e n t   s i t u a t i o n s.   ( 1 )   ( 7 )   2   M .   4 / 7   Est i ma t e   t h e   r e su l t   o f   a d d i t i o n ,   su b t r a c t i o n ,   mu l t i p l i c a t i o n ,   a n d   d i v i si o n   f r o m rea s o n a b l e   si t u a t i o n s.   ( 2 )   ( 10 ) ,   ( 13 ) ,   ( 16 ) ,   ( 18 )   5   M .   4 / 8   F i n d   t h e   v a l u e   o f   a n   u n k n o w n   c h a r a c t e r   i n   a   sy m b o l i c   se n t e n c e .   S h o w   a d d i t i o n   a n d   s u b t r a c t i o n   b y   w r i t i n g   a   sy m b o l i c   s e n t e n c e   o f   a   n u m b e r   g r e a t e r   t h a n   1 0 0 , 0 0 0   a n d   0 .   ( 3 )   ( 14 ) ,   ( 17 )   3   M .   4 / 1 0   F i n d   t h e   r e s u l t   o f   a d d i t i o n ,   s u b t r a c t i o n ,   mu l t i p l i c a t i o n ,   a n d   d i v i si o n   b e t w e e n   t h e   n u m b e r a n d   0 .   ( 4 ) , ( 5 ) ,   ( 6 )   ( 9 ) ,   ( 12 )   5   M .   4 / 1 1   S h o w   h o w   t o   f i n d   t h e   a n sw e r   t o   a   2 - s t e p   p r o b l e o f   c o u n t g r e a t e r   t h a n   1 0 0 , 0 0 0   a n d   0   ( 8 )   ( 11 ),   ( 15 ) ( 19 )   4   I t e m To t a l   7   12   19       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 :   9 5 5   -   9 6 2   958       Fig u r 2 .   E x am p les o f   an   item   to   ass ess   R AT   d im en s io n   in   R T W       3 . 2 .   T he  v a lid it y   o f   a s s ess m ent   t o o l   to tal  o f   f o u r   e x p er ts   v alid ated   th e   co n ten t   o f   th ass ess m en to o l   [ 9 ] .   C o n ten t   v alid ity   i n d ex   ( C VI )   is   th d e g r ee   t o   wh ic h   a n   in s tr u m en h as   an   a p p r o p r iate   n u m b er   o f   item s   f o r   co n s tr u ct  b ein g   m ea s u r e d   in d icatin g   an   ex ce llen lev el  o f   co n ten v alid ity   [ 2 5 ] .   T h C VI   h as  2   in d ices -- th in d i v id u al  co n ten v alid ity   in d ex   ( I - C VI )   an d   th o v e r all  co n ten v alid ity   in d e x   ( S - C VI ) .   T h I - C VI   wh ich   is   th p r o p o r tio n   o f   co n ten t   ex p er ts   g iv in g   item   r elev an c r atin g   o f   3   o r   4   was  1 . 0 0 .   M o r eo v e r ,   th S - C VI   as  th co n ten v alid ity   o f   th e   o v er all  s ca le  was  eq u al  to   1 . 0 0   as  well.   T h is   im p lies   th at   th ass e s s m en to o is   f o u n d   to   b v alid   in   ter m s   o f   its   co n ten t [ 2 5 ] .     T h n ex s tep   o f   v alid atio n   w as  b ased   o n   s tu d en ts   r esp o n s p r o ce s s es  r ef lectin g   in   th t h in k - alo u d   f o r m s .   Stu d en ts   f r o m   th r ee   d i f f er en ab ilit y   le v els,  n am ely ,   g o o d ,   m o d er ate  an d   wea k   to o k   p ar in   th th in k - alo u d   to   ex p lain   th eir   lear n in g   b eh av io r .   R esear ch er s   an aly ze d   th q u alitativ d ata  b ased   o n   th eir   r esp o n s es.   T h is   v alid atio n   m et h o d   is   k n o wn   as  th “th in k - alo u d ”  p r o to co l.  T h r esear ch er s   s y n th esiz ed   th r esu lts   an d   u s ed   th em   to   im p r o v t h ite m s   to   en s u r th at   s tu d en ts   ca n   u n d er s tan d   co m p letely   th e   co n ten o f   ea ch   item   in   th ass ess m en t to o l.  T ab le   2   s h o ws an   ex am p le  th in k - alo u d   p r o ce d u r e.       T ab le  2 .   E x am p les o f   t h in k - al o u n d   p r o t o co l r esu lts   O p e n - e n d e d   Q u e st i o n   o f   I t e 2   O n e   d a y   s h i r t   f a c t o r y   p r o d u c e 3 0 0   sh i r t s f o r   M o n d a y - F r i d a y .   T h e   f a c t o r y   i s   c l o se d   e v e r y   S a t u r d a y   a n d   S u n d a y .   T h e   f a c t o r y   se l l s   sh i r t s   a t   1 2 0   b a h t   p e r   s h i r t .   W h a t   t h i i t h e   f a c t o r y   i n c o m e   o f   2 - w e e k   sh i r t ?   Le v e l   P e r so n   Ex a m p l e   c o n v e r sa t i o n   I n t e r p r e t a t i o n   o f   p r o t o c o l   P i c t u r e   o f   s t u d e n t   a n sw e r s   W e a k   1   Te a c h e r :   F r o t h e   p r o b l e t o   t h e   si t u a t i o n .   H o w   t o   f i n d   a n   a n sw e r ?   S t u d e n t s :   3 0 0 x 120    i s t h e   a n sw e r .   S t u d e n t s   w e r e   a b l e   t o   r e a d   t h e   p r o b l e m a n d   s o l v e   t h e   p r o b l e b u t   i n c o r r e c t l y .   B e c a u s e   t h e y   c a n n o t   i n t e r p r e t   a n d   c a n n o t   f i n d   sy m b o l   se n t e n c e s t o   f i n d   t h e   c o r r e c t   a n sw e r     2   Te a c h e r :   W h a t   i s t h e   q u e st i o n   g i v e n   a n d   w h a t   i s   t h e   q u e s t i o n ?   S t u d e n t s :       t h e   f a c t o r y   p r o d u c e s   300   s h i r t a   d a y   f o r   M o n d a y - F r i d a y  . T h e   f a c t o r y   sel l s   s h i r t s   a t   1 2 0   b a h t   p e r   s h i r t .   M e d i u m   1   Te a c h e r :   F r o t h e   p r o b l e t o   t h e   si t u a t i o n .   H o w   t o   f i n d   a n   a n sw e r ?   S t u d e n t s :   3 0 0 x 120 x14    i s t h e   a n sw e r .   I n   t h i s   g r o u p ,   i t   w a f o u n d   t h a t   s t u d e n t s wer e   a b l e   t o   r e a d   t h e   p r o b l e a n d   s o l v e   t h e   p r o b l e m   b u t   c a n n o t   i n t e r p r e t   a n d   c a n n o t   f i n d   sy m b o l   sen t e n c e s t o   f i n d   t h e   c o r r e c t   a n sw e r     2   Te a c h e r :   W h a t   i s t h e   q u e st i o n   g i v e n   a n d   w h a t   i s   t h e   q u e s t i o n ?   S t u d e n t s :       t h e   f a c t o r y   p r o d u c e s   300   s h i r t a   d a y   f o r   M o n d a y - F r i d a y .   T h e   f a c t o r y   sel l s   s h i r t s   a t   1 2 0   b a h t   p e r   s h i r t .   Y o u   l i k e   t o   k n o w   w h a t   t h e   i n c o me  o f   t h e   2 - w e e k   sh i r t   f a c t o r y   i s.   G o o d   1   Te a c h e r :   F r o t h e   p r o b l e t o   t h e   si t u a t i o n .   H o w   t o   f i n d   a n   a n sw e r ?   S t u d e n t s :   3 0 0 x 120    x 1 0    i t h e   a n sw e r .   I n   t h i s   g r o u p ,   st u d e n t s   c a n   r e a d   t h e   p r o b l e c o r r e c t l y   a n d   f i n d   t h e   sy m b o l i c   se n t e n c e   t o   f i n d   t h e   c o r r e c t   a n sw e r .     2   Te a c h e r :   W h a t   i s t h e   q u e st i o n   g i v e n   a n d   w h a t   i s   t h e   q u e s t i o n ?   S t u d e n t s :       t h e   f a c t o r y   p r o d u c e s   300   s h i r t a   d a y   f o r   M o n d a y - F r i d a y  . T h e   f a c t o r y   i c l o se d   e v e r y   S a t u r d a y   a n d   S u n d a y .   T h e   f a c t o r y   sel l s s h i r t a t   1 2 0   b a h t   p e r   sh i r t .   Y o u   l i k e   t o   k n o w   w h a t   t h e   i n c o m e   o f   t h e   2 -   w e e k   sh i r t   f a c t o r y   i s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c .     I SS N:  2252 - 8 8 2 2       Dev elo p men t o f a n   a s s ess men t   to o l fo r   ma th ema tica l rea d i n g ,   a n a lytica l th i n kin g   a n d   …  ( N u ttid a   K eso r n )   959   R esu lts   o f   v alid atio n   b ased   o n   th in ter n al  s tr u ctu r o f   ass ess m en to o r ev ea led   th at  th m u ltid im en s io n al  ap p r o ac h   h a s   p r o d u ce d   b etter   AI C   an d   B I C   v alu es  to   ev alu ate  R T W   wh en   co m p ar e d   to   th u n i d im en s io n al  a p p r o ac h ,   as  s h o w n   in   T ab le   3 .   T h co m p ar ativ e   an aly s is   o f   th e   two   m o d els,  u n id im en s io n al  ap p r o ac h   v er s u s   m u ltid im en s io n al  ap p r o ac h   s h o wed   th at  th d ev ian ce   s ta tis tic  wa s   5 9 8 4 . 9 3   an d   5 8 8 1 . 7 6 ,   th n u m b e r   o f   p ar am eter s   was  4 2   an d   4 4 ,   AI C   v alu es  wer 6 0 6 8 . 9 3   an d   5 9 6 9 . 7 6 ,   an d   B I C   v alu es  wer 6 0 8 3 . 4 7   a n d   5 9 8 5 . 0 0   r esp ec tiv ely .   I ca n   b c o n clu d e d   th at  th e   m u ltid im e n s io n al  ap p r o ac h   is   f o u n d   to   b th e   m o s r ele v an t   m o d el  [ 2 6 ] .   Ad d itio n ally ,   t h r esu lts   o f   th e   co v a r ian ce /co r r elatio n   m atr i x   o f   R AT   an d   W AT   s h o we d   th at   th er is   a   co r r elatio n   b etwe en   th two   d im e n s io n s   th at   ar e   R AT   an d   W AT   as  0 . 6 8 .   T h is   im p lies   th at  th co r r elatio n   b etwe en   th two   d im e n s io n s   is   m ed iu m .       T ab le  3 .   R esu lts   o f   v alid atio n   b ased   o n   in te r n al  s tr u ctu r e   A ssessme n t   t o o l   D e v i c e   st a t i s t i c s   N o   o f   p a r a me t e r   A I C   B I C   U n i d i m e n s i o n a l   a p p r o a c h   5 9 8 4 . 9 3   42   6 0 6 8 . 9 3   6 0 8 3 . 4 7   M u l t i d i m e n s i o n a l   a p p r o a c h   5 8 8 1 . 7 6   44   5 9 6 9 . 7 6   5 9 8 5 . 0 0   Li k e l i h o o d   R a t i o   C h i - S q u a r e d   G 2   2 = 1 0 3 . 1 7 ,   d f = 2 ,   p   =   . 0 1 ;   A I C   =   5 9 6 9 . 7 6   <   6 0 6 8 . 9 3 ;   B I C   =   5 9 8 5 . 0 0   <   6 0 8 3 . 4 7       T h W r ig h m ap   was  u s ed   to   p r o v id p ictu r o f   th ass ess m en to o b y   p lacin g   th d if f ic u lty   o f   th e   item s   o n   th s am e   m ea s u r em e n s ca le  as  th ca p a b ilit y   o f   t h s tu d en ts .   T h is   p r o v id es  th e   r esear ch er s   with   a   co m p ar is o n   o f   s tu d en ts   an d   item s ,   to   b etter   u n d er s tan d   t h ap p r o p r iaten ess   o f   th ass ess m en to o [ 2 7 ] .   R esear ch er s   o b s er v t h at  th e   m ea n   lo ca tio n   i n cr ea s an d   b an d in g   o f   th r esh o ld s   o f   th e   W r ig h Ma p   s u p p o r co n s tr u ct  v alid ity .   Ho wev er ,   we  n o tice  s o m o v er lap   b et wee n   lev el  2   an d   lev el  3   o f   item s   in   th e   W A T   d im en s io n .   W ex p ec ted   t o   o b s er v a   m o n o to n ic   in cr ea s in   m ea n   W L E   as  lev els  in cr ea s with in   ea ch     item   [ 2 8 ].   W n o tice  th at  th m ea n   W L E   is   in cr ea s in g   f o r   ea ch   item .   T h r esp o n d e n ts   ar d is tr ib u ted   n o r m ally   b etwe en   r an g e   o f   ar o u n d   - 5   l o g its   to   +4   lo g its W r ig h m a p   o f   th e   ass ess m en to o l   is   s h o wn   in   Fig u r 3 .           Fig u r 3 .   W r ig h m ap   o f   th a s s es s m en t to o l   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 :   9 5 5   -   9 6 2   960   3 . 3 .   Relia bil it y   o f   t he  a s s ess m ent   t o o l   R esear ch er s   an aly ze   th e   r eli ab ilit y   co ef f icien t   u s in g   R asch   an aly s is   b y   id en tif y in g   E x p ec ted - A - Po s ter io r an d   Sep er atio n   ( E AP/P V) .   R e s u lts   o f   E AP/ PV  wer h ig h est  wh en   we  u s ed   m u ltid im en s io n al   m o d el  f o r   a n aly s is .   T h E AP/P v alu es  o f   R AT   an d   W AT   wer 0 . 7 7   an d   0 . 8 4   r esp ec tiv el y .   T h is   im p lies   th at   th two   d im en s io n s   ar co n s id er ed   as  s u itab le  p r ec is io n   to   u s as  r esear ch   to o w h ich   is   co n s is ten with   th cr iter ia  s et  b y   [ 2 9 ]   wh o   s u g g e s ted   th at  th p r ec is io n   o f   t h m ea s u r in g   co e f f icien s h o u ld   b g r ea ter   th a n   0 . 7 0 .   T h ac cu r ac y   o f   th r eliab ili ty   co ef f icien is   co n s id er ed   a cc ep tab le  b ec au s th ass ess m en to o is   n o a   m ea s u r em en t th at  h as a   lar g i m p ac t o n   t h s am p le  [ 2 9 ] .     Nex t,  r esear ch er s   an aly ze d   in ter n al  co n s is ten cy   u s in g   T r u e   Sco r M o d el  as   C lass ical  T e s T h eo r y   ( C T T )   b y   id e n tify in g   th C r o n b ac h s   Alp h C o ef f icien ( α ) .   Similar   r esu lts   wer f o u n d   as  th r eliab ilit y   v alu es  as  0 . 8 7   f o r   ass ess m en to o o f   R T W .   T h is   is   o n ce   ag a in   co n s is ten with   th cr iter ia  s et  b y   [ 2 9 ]   t h at  th p r ec is io n   o f   th m ea s u r in g   co ef f icien s h o u ld   b g r ea ter   th a n   0 . 7 0 .   T h ac cu r ac y   o f   th r e liab ilit y   co ef f icien is   co n s id er ed   ac ce p tab le   b ec a u s th ass ess m en to o l   is   n o m ea s u r e m en t h at  h as   a   l ar g im p ac o n   t h e   s am p le  [ 2 9 ,   3 0 ] .   Fin ally ,   r esear ch er s   u tili ze d   th e   s tan d ar d   d ev iatio n   g r a p h   SEM   t o   in v esti g ate  th r eliab ilit y   o f   th ass es s m en to o b y   ex am in in g   th s tan d ar d   er r o r   o f   m ea s u r em en t.  W h en   th m u ltid im en s io n al  m o d el   was  s ep ar ated   in to   two   r elate d   s u b - d im en s io n s ,   n a m ely   R AT ,   an d   WAT ,   th e   laten p ar a m eter   o f   ea ch   s tu d en wo u ld   h a v d if f er e n s tan d ar d   er r o r   o f   m ea s u r em en ( SEM ) .   Fig u r e   4   illu s tr ate s   th e   SEM   f o r   th two   s ep ar ated   s u b - d im e n s io n s .             Fig u r 4 .   T h s tan d ar d   er r o r   o f   m ea s u r em en f o r   R AT   an d   W AT       T h r eliab ilit y   ev i d en ce   o f   R AT   an d   W AT s   s tan d ar d   er r o r   o f   m ea s u r em en ( SEM   θ )   s h o wed   th at   SEM   ( θ RAT )   an d   SEM   ( θ WAT )   ar r an g ed   f r o m   0 . 3 7   to   0 . 8 0   an d   0 . 3 0   to   0 . 7 0 ,   r esp ec tiv ely .   T h is   im p lies   th at   th SEM   v alu es  f o r   b o th   d im en s io n s   wer at  ac ce p tab l lev el   an d   s m all  er r o r   f o r   esti m atin g   R T W ,   p ar ticu lar ly   f o r   in ter m ed iate  t o   th h ig h   lev el  o f   R T W .   T h is   is   b ec au s b o th   SEM   v al u es  h ad   th lo west  er r o r   if   th s tu d en t a b ilit y   ( θ)   wer r an g ed   f r o m   - 0 . 5 0   to   +0 . 5 0   lo g its .   Ho wev er ,   th er r o r s   s ee m ed   to   in cr ea s wh en   esti m atin g   th h ig h   lev el  o f   R AT   an d   th lo lev el  o f   W AT .     R esu lts   o f   th o v er all  SEM   v alu es  f r o m   th e   m u ltid im en s io n al  m o d el  r e v ea led   th at  s tu d en ts   h a v th s am m ea n   s co r e   f o r   b o t h   R AT   an d   W AT   d im en s io n s .   T h laten t   d im en s io n   v alu es  o n   b o t h   s id es  o f   t h e   r elatio n s h i p   g r ap h   b etwe en   SEM   v alu es   wer e   f lat  as  o b tain ed   f r o m   th m u l tid im en s io n al  m o d el.   T h er ef o r e,   th is   is   th ev id en ce   o f   th e   ass es s m en to o l’ s   r eliab ilit y   th at  co n s is ten t to   th s u b - d im en s io n al  esti m ate  o f   ea ch   s id e.       3 . 4 .   Q ua lity   o f   t he  a s s ess m ent   t o o l   T h q u ality   o f   t h ass ess m en to o was  ex am in e d   u s in g   th e   item   f it  b ased   o n   th e   MRC M L   th r o u g h   C o n q u est  2 . 0   [ 1 6 ] .   T h ess en tial  r esu lt  o f   th is   r esear ch   is   an   ass e s s m en to o d ev elo p ed   to   ev alu ate  th m ath em atica r ea d in g ,   an al y tical  th in k in g ,   an d   m ath e m atica wr itin g   o f   f o u r th - g r a d s tu d en ts .   T h is   ass es s m en to o is   f o u n d   t o   h a v h ig h   p r ec is io n ,   s tab ilit y   an d   co n s is ten cy   to   ass ess   R T W   in   ea ch   d im en s io n .     As  r esu lt,  th d ev elo p ed   ass ess m en to o ca n   o v er co m e   th 2 1   s ce n tu r y   class r o o m   wh er e b y   m at h em atics   teac h er s   h av t o   ac h iev e   s o m e   co n g r u en ce   b etwe en   test s   u s ed   f o r   m o n ito r in g   o r   s u m m ativ p u r p o s es,  f o r   th e   ac tiv class r o o m   an d   class r o o m - b ased   ass ess m en [ 6 ] .   I n   th is   lin o f   r ea s o n in g ,   r esea r ch er s   p r o p o s th at   m ath em atics  teac h er s   ca n   u s e   t h is   as s es s m en to o to   d ev elo p   an d   im p r o v s tu d en ts   ca p ab ilit ies  in   ter m s   o f   th eir   R T W   in   th eir   teac h in g   an d   lear n in g   p r o ce s s .   B e s id es,  r esear ch er s   wo u ld   lik to   s u g g est  th at   m ath em atics  teac h er s   ar r eq u ir ed   to   d o   th eir   ali g n m en f o r   th ese  m o d es  o f   ass es s m en an d   also   cr itically   en g ag ed   in   th eir   p r o f ess io n al  d ev elo p m e n to   lear n   h o t o   d ev elo p   q u ality   ass ess m en to o [ 1 ,   2 ] .   Giv e n   th e   im p o r tan ce   o f   alig n m en ass e s s m en p r ac tices  with   class r o o m   p r ac tices,  m ath em atics  te ac h er s   m u s h av e   0 0 . 2 0 . 4 0 . 6 0 . 8 1 -4 -2 0 2 4 R A T S EM ( R A T ) 0 0 . 1 0 . 2 0 . 3 0 .4 0 . 5 0 .6 0 . 7 0 . 8 -6 -4 -2 0 2 4 W A T S EM ( W A T ) Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c .     I SS N:  2252 - 8 8 2 2       Dev elo p men t o f a n   a s s ess men t   to o l fo r   ma th ema tica l rea d i n g ,   a n a lytica l th i n kin g   a n d   …  ( N u ttid a   K eso r n )   961   r ef er en ce   th at  i s   ex p licit,  an d   in   s o m r esp ec co m m o n   t o   th eir   s ettin g s   as  in d icate d   in   th r esu lts   o f   th is   r esear ch   [ 5 ] .   T ab le  4   s h o ws th r esu lt  o f   item   f it st atis tic  an aly s is   f o r   m u ltid im en s io n al  m o d el .       T ab le  4 .   R esu lts   o f   item   f it st atis tic  an aly s is   f o r   m u ltid im en s io n al  m o d el   I t e m   Est i m a t e   Er r o r   U n w e i g h t   F i t   ( O U TFI T)   W e i g h t   F i t   ( I N F I T)   M N S Q   CI   T   M N S Q   CI   T   1   - 2 . 8 6   0 . 2 5   0 . 7 3   ( 0 . 8 1 ,   1 . 1 9 )   - 3 . 1 0   1 . 0 0   ( 0 . 6 7 ,   1 . 3 3 )   0 . 1 0   2   - 1 . 7 7   0 . 1 4   0 . 9 6   ( 0 . 8 1 ,   1 . 1 9 )   - 0 . 4 0   0 . 9 3   ( 0 . 8 3 ,   1 . 1 7 )   0 . 8 0   3   - 1 . 6 0   0 . 1 0   1 . 2 2   ( 0 . 8 1 ,   1 . 1 9 )   2 . 2 0   1 . 1 0   ( 0 . 8 2 ,   1 . 1 8 )   1 . 1 0   4   - 0 . 0 0   0 . 1 6   0 . 9 4   ( 0 . 8 1 ,   1 . 1 9 )   - 0 . 6 0   0 . 9 3   ( 0 . 8 7 ,   1 . 1 3 )   - 1 . 0 0   5   0 . 2 1   0 . 1 6   0 . 9 6   ( 0 . 8 1 ,   1 . 1 9 )   - 0 . 4 0   0 . 9 5   ( 0 . 8 7 ,   1 . 1 3 )   - 0 . 8 0   6   0 . 1 2   0 . 1 6   1 . 1 8   ( 0 . 8 1 ,   1 . 1 9 )   1 . 8 0   1 . 0 7   ( 0 . 8 7 ,   1 . 1 3 )   1 . 1 0   7   - 2 . 8 2   0 . 1 7   1 . 4 9   ( 0 . 8 1 ,   1 . 1 9 )   4 . 5 0   1 . 3 1   ( 0 . 7 5 ,   1 . 2 5 )   2 . 3 0   8   - 0 . 8 9   0 . 1 2   1 . 0 6   ( 0 . 8 1 ,   1 . 1 9 )   0 . 6 0   1 . 0 6   ( 0 . 8 2 ,   1 . 1 8 )   0 . 7 0   9   - 2 . 0 8   0 . 1 5   1 . 2 5   ( 0 . 8 1 ,   1 . 1 9 )   2 . 5 0   1 . 1 2   ( 0 . 8 5 ,   1 . 1 5 )   1 . 5 0   10   - 0 . 5 0   0 . 1 7   0 . 8 1   ( 0 . 8 1 ,   1 . 1 9 )   - 2 . 1 0   0 . 8 5   ( 0 . 7 7 ,   1 . 2 3 )   - 1 . 3 0   11   0 . 3 5   0 . 1 3   0 . 9 6   ( 0 . 8 1 ,   1 . 1 9 )   - 0 . 4 0   0 . 8 8   ( 0 . 8 0 ,   1 . 2 0 )   - 1 . 2 0   12   - 1 . 0 6   0 . 1 6   1 . 2 2   ( 0 . 8 1 ,   1 . 1 9 )   2 . 2 0   1 . 1 8   ( 0 . 8 2 ,   1 . 1 8 )   1 . 8 0   13   - 1 . 5 3   0 . 1 4   0 . 7 3   ( 0 . 8 1 ,   1 . 1 9 )   - 3 . 1 0   0 . 8 0   ( 0 . 8 2 ,   1 . 1 8 )   - 2 . 4 0   14   - 1 . 1 8   0 . 1 0   0 . 9 4   ( 0 . 8 1 ,   1 . 1 9 )   - 0 . 7 0   0 . 9 7   ( 0 . 8 3 ,   1 . 1 7 )   - 0 . 4 0   15   - 0 . 1 0   0 . 1 2   0 . 9 5   ( 0 . 8 1 ,   1 . 1 9 )   - 0 . 5 0   1 . 0 1   ( 0 . 7 8 ,   1 . 2 2 )   0 . 1 0   16   - 1 . 4 8   0 . 1 4   0 . 9 0   ( 0 . 8 1 ,   1 . 1 9 )   - 1 . 1 0   0 . 9 2   ( 0 . 8 4 ,   1 . 1 6 )   - 1 . 0 0   17   - 1 . 0 0   0 . 1 0   1 . 4 8   ( 0 . 8 1 ,   1 . 1 9 )   4 . 5 0   1 . 3 1   ( 0 . 8 3 ,   1 . 1 7 )   3 . 2 0   18   - 0 . 0 9   0 . 1 8   0 . 8 9   ( 0 . 8 1 ,   1 . 1 9 )   - 1 . 2 0   0 . 9 5   ( 0 . 7 5 ,   1 . 2 5 )   - 0 . 3 0   19   0 . 6 4   0 . 1 6   1 . 0 1   ( 0 . 8 1 ,   1 . 1 9 )   0 . 2 0   1 . 0 5   ( 0 . 7 3 ,   1 . 2 7 )   0 . 4 0       4.   CO NCLU SI O N     T h r esu lts   in d icate   th im p o r tan ce   o f   m ath em atics  teac h er s   to   r elate   th eir   th o u g h to   its   d iag n o s tic  r elev an ce   in   th class r o o m   w h ile  th ey   ar co n s tr u ctin g   an   a s s es s m en t.  T h er ef o r e,   m ath em atics  teac h er s   h av to   co n s id er   a n   ap p r o p r iate  b al an ce   an d   co v e r ag e   o f   th c u r r icu lu m   an d   attem p ts   to   co v er   d if f er e n ty p es  o f   co g n itiv e n g ag e m en w h ile  d ea lin g   with   th c o n ten t   v ali d ity   o f   th e   ass ess m en to o l.  F u r th er   m ath em atica in s ig h is   r eq u ir ed   t o   p o p u late   s u ch   m u ltid im en s io n al  m o d el  with   ap p r o p r iate  item s .   Mo r e o v er ,   th v alid ity   ev id en ce   s u g g ested   t h at  th e   as s ess m en to o is   f o u n d   ap p r o p r iate  f o r   a   s tu d en t   in   t h in te r m ed iate  to   th l o w   lev el  m o r th a n   h ig h   lev el  in   R AT   an d   in   th in ter m e d iate  to   th h ig h   lev el  m o r th an   l o lev el  in   W AT .   T h is   is   b ec au s th lo west R T W   le v el  o f   s tu d e n ts   s h o wed   th h ig h es t e r r o r   o f   SEM   v alu e.     Ho wev er ,   th e r ar e   s till   s o m lim itatio n s   in   th is   r esear ch   b ec au s r esear ch er s   u s ed   o n ly   th r ee   v alid ity   q u ality   m eth o d s   to   m ea s u r th ass ess m en to o l.   T h er ef o r e,   f u tu r r esear ch er s   ca n   co n s id er   o th e r   cr iter ia  to   d ete r m in t h co e f f i cien b etwe en   co n d itio n al   ac c u r ac y   a n d   p r ed ictiv e   v alid ity   b y   lo o k in g   in to   th r elatio n s h ip   b etwe en   th c o n s tr u cted   test   an d   s tu d en ts   s tan d ar d ized   ex am in atio n .   Mu l tid im en s io n al  I tem   R esp o n s T h eo r y   th at  u tili ze d   in   t h is   r esear ch   n ee d s   to   s p an   th e   r an g o f   item   d if f ic u lties   f o r   ac c u r ate   esti m atio n   o f   th item   p ar am eter s .   T h er ef o r e,   f u tu r r esear c h er s   h av to   u s n o n - r a n d o m   s am p le  s o   th at  th esti m ated   p ar am eter   c o u ld   later   co v e r   th e   wh o le  r an g e   o f   d iv er s ca p ab ilit ies  lev els  f r o m   th lo west  lev el   ( lo g it    = 3 )   to   th h ig h est lev e l ( lo g it ≥   +3 ) .   MRC ML   i s   g en er al  an d   f lex ib le  m o d el  th at  h as  b ee n   u s ed   b y   r esear ch e r s   to   d esig n   m atr ices  to   s p ec if y   th r elatio n s h ip   b etwe en   r esp o n s es  to   th item s   an d   s tr u ctu r al  p ar am eter s   f o r   th g iv en   m ea s u r em e n s itu atio n   th at  a llo ws  f o r   th e   s p ec if icatio n   o f   lar g n u m b er   o f   m u ltid im en s io n al  item   r esp o n s m o d els.  C o n s eq u en tly ,   r esear c h er s   wo u ld   lik to   s u g g est  to   th Min i s tr y   o f   E d u ca tio n ,   T h ailan d   to   co n d u ct   th r elate d   tr ain in g   f o r   m ath em atics  teac h er s   s o   th at  th e y   k n o h o to   u tili ze   th MRC ML   m o d el  wh en e v er   t h ey   in v o lv in   ass ess in g   th eir   s tu d en ts   m ath em atica lear n in g   p r o b lem s .   Ultim ately ,   th ass ess m en to o will   ass is th em   to   ass es s   th eir   s tu d en ts   m u ltid im en s io n al  m ath em atica p r o f icien cies  an d   im p r o v th ei r   o v er al l   m at h em atica l p r o f icien cies a s   to tal.       ACK NO WL E DG E M E NT   R esear ch er s   wo u ld   lik to   t ak th is   o p p o r tu n ity   to   th a n k   th T h ailan d   R esear ch   Fu n d   ( T R F)   Ad v an ce d   R esear ch   Sch o lar ,   an d   Kh o n   Kae n   Un i v er s ity ,   T h ailan d   ( Gr a n No R SA6 0 8 0 0 7 4 ) ,   Facu lty   o f   E d u ca tio n ,   Kh o n   Kae n   Un i v er s ity   to   m ak t h is   r esear ch   s u cc ess .   Sp ec ial  th an k s   to   Gr ad u ate  Sch o o o f   Kh o n   Kae n   Un i v er s ity ,   T h ail an d   f o r   p r o v id in g   f in a n cial  s u p p o r to   atten d   at   th 3 r d   W o r ld   C o n f e r en ce   o n   E d u ca tio n   2 0 1 9   ( W C E DU  2 0 1 9 )   at  Ku alar   L u m p u r ,   Ma lay s ia.         Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   4 Dec em b e r   2 0 2 0 :   9 5 5   -   9 6 2   962   RE F E R E NC E   [1 ]   P .   Ju n p e n g ,   e a l. Co n stru c ti n g   p r o g re ss   m a p o d ig i tal  tec h n o lo g y   f o d iag n o si n g   m a th e m a ti c a p r o ficie n c y ,   J o u rn a o E d u c a t io n   a n d   L e a rn i n g ,   v o l.   8 ,   no.   6 ,   p p .   9 0 - 1 0 2 ,   2 0 1 9 .   [2 ]   J.  Ad ler,  Lea rn in g   a b o u M a t h e m a ti c Tea c h in g   a n d   Lea rn in g   fro m   S t u d y i n g   Rit u a ls  a n d   Rit u a li z a ti o n ?   Co m m e n tary ,   Ed u c a ti o n a S tu d i e s in   M a th e ma ti c s ,   v o l.   1 0 1 ,   n o .   2 ,   p p .   2 9 1 - 2 9 9 ,   2 0 1 9 .   [3 ]   H.  Latti m e r,   Tran sla ti n g   Th e o ry   in t o   P ra c ti c e M a k i n g   M e a n i n g   o Le a rn e Ce n tere d   E d u c a ti o n   F ra m e wo rk fo r   Clas sro o m - b a se d   P ra c ti ti o n e rs,”  I n ter n a ti o n a J o u rn a o E d u c a ti o n a De v e lo p me n t ,   v o l .   4 5 ,   p p .   6 5 - 7 6 ,   N o v .   2 0 1 5 .   [4 ]   Y - M .   Hu a n g ,   S - H.   Hu a n g   a n d   T - T.   W u ,   Emb e d d in g   Dia g n o stic in   a   Dig it a G a m e   fo Lea rn i n g   M a th e m a ti c s,”   Ed u c a ti o n   T e c h n o l o g y   Res e a rc h   a n d   De v e lo p me n t ,   v o l.   6 2 ,   n o .   2 ,   p p .   1 8 7 - 2 0 7 ,   2 0 1 4 .   [5 ]   Z,   Ak s u ,   P re - se rv ice   m a th e m a ti c tea c h e rs’  p e d a g o g ica c o n ten t   k n o wle d g e   re g a r d in g   st u d e n m istak e o n   t h e   su b jec o f   c ircle ,   In ter n a ti o n a l   J o u rn a o Ev a lu a ti o n   a n d   Res e a rc h   in   Ed u c a ti o n ,   v o l.   8 ,   n o .   3 ,   p p .   4 4 0 - 4 4 5 ,   2 0 1 9 .   [6 ]   C.   L o n g ,   T.   Du n n e   a n d   H.  d e   K o c k ,   M a th e m a ti c s,  Cu rric u lu m   a n d   As se ss m e n t:   Th e   R o le  o f   Tax o n o m ies   in   th e   Qu e st f o C o h e re n c e ,   Pyth a g o ra s ,   v o l .   3 5 ,   n o .   2 ,   p p .   1 - 1 4 ,   2 0 1 4 .   [7 ]   G. M .   Rich a rd so n ,   L. L .   By r n e   a n d   L. L.   Li a n g ,   M a k in g   Lea r n in g   Visib le:   De v e lo p in g   P re se rv ice   Tea c h e rs’  P e d a g o g ica Co n ten K n o wle d g e   a n d   Tea c h in g   Eff ica c y   B e li e fs  in   En v ir o n m e n tal  E d u c a ti o n ,   A p p li e d   En v iro n me n ta Ed u c a ti o n   &   C o m mu n ica t io n ,   v o l.   1 7 ,   n o .   1 ,   p p .   4 1 - 5 6 ,   2 0 1 8 .   [8 ]   W.   Ku ip e r,   N.   Nie v e e n   a n d   J.  B e rk v e n s,   Cu rricu l u m   Re g u lati o n   a n d   F re e d o m   i n   th e   Ne th e rlan d   P u z z li n g   P a ra d o x ,   in   W.   Ku i p e a n d   J.   Be rk v e n (E d s.),   Ba la n c in g   Cu rr icu lu Fre e d o a n d   Re g u l a ti o n   a c ro ss   E u ro p e .   CIDREE   Y e a rb o o k   2 0 1 3 ,   p p .   1 3 9 - 1 6 2 ,   2 0 1 3 .   [9 ]   K.  Bu lk o v á   a n d   S .   Če re tk o v á ,   Ru b rics   a As se ss m e n To o o M a th e m a ti c a Op e n - e n d e d   P ro b lem s,”   in   16 th   Co n fer e n c e   o n   Ap p li e d   M a th e ma t ics   AP L IM A T   2 0 1 7   Pr o c e e d in g s ,   p p .   2 3 5 - 2 4 4 ,   2 0 1 7 .   [1 0 ]   R. Y.  G a z a li ,   Th e   De v e lo p m e n o Lea rn in g   M a teria ls  fo M a t h e m a ti c fo Ju n io Hi g h   S c h o o S t u d e n ts  b a se d   o n   Au su b e l’s  T h e o ry   o f   Lea rn in g ,   Pyth a g o ra s:  M a th e ma ti c s E d u c a t io n   J o u rn a l ,   v o l.   1 1 ,   n o .   2 ,   p p .   1 8 2 - 1 9 2 ,   2 0 1 6 .   [1 1 ]   A.  Qo lfath ir iy u s,  I.   S u jad a n d   D .   In d riati,   Ch a ra c teristic  P ro f il e   o An a ly ti c a Th i n k in g   in   M a th e m a ti c P ro b lem   S o lv in g ,   J o u rn a l   o f   Ph y sic s :   Co n fer e n c e   S e rie s ,   v o l .   1 1 5 7 ,   n o .   3 ,   p p .   1 - 6 ,   2 0 1 9 .   [1 2 ]   D.  M e tsisto ,   Re a d in g   i n   th e   M a th e m a ti c Clas sro o m ,   in   J.  M .   Ke n n e y ,   e a l.   (E d s),  L it e ra c y   S tra teg ies   fo r   Imp ro v in g   M a t h e ma ti c s   In stru c ti o n Ch a p ter   2   (T h e   Asso c ia ti o n   fo r   S u p e rv isio n   a n d   Cu rr icu l u De v e lo p me n t   AS CD) ,   2 0 0 5 .   [1 3 ]   Ke v in   P .   Lee ,   G u id e   to   Wr it i n g   M a th e m a ti c s,”   p p .   1 - 1 7 ,   2 0 1 0 .   [O n li n e ].   Av a il a b le :   h tt p s:/ /we b . c s.u c d a v is.ed u /~ a m e n ta/w1 0 /writ i n g m a n . p d f   [1 4 ]   M u tma in a h ,   R u k a y a h   a n d   M .   I n d riay u ,   Eff e c ti v e n e ss   o E x p e rien ti a Lea rn in g - b a se d   Tea c h i n g   M a teria i n   M a th e m a ti c s,”   In ter n a ti o n a J o u r n a o Ev a lu a ti o n   a n d   Res e a rc h   i n   Ed u c a ti o n ,   v o l.   8 ,   n o .   1 ,   p p .   5 7 - 6 3 ,   2 0 1 9 .   [1 5 ]   Offic e   o Ac a d e m ic  Aff a irs  a n d   Ed u c a ti o n   S tan d a rd s,  G u id e li n e s   fo th e   De v e lo p m e n a n d   E v a lu a t io n   o Re a d in g ,   Th in k in g ,   a n d   Wr it i n g   a c c o r d in g   to   t h e   Co re   Cu rr icu l u m   o Ba sic   Ed u c a ti o n ,   2 0 1 1 .   [1 6 ]   R.   J.  Ad a m s,  M .   Wi ls o n   a n d   W.   Wan g ,   T h e   M u lt id ime n si o n a R a n d o m   Co e fficie n ts  M u l ti n o m ial  Lo g it   M o d e l,   Ap p li e d   Psy c h o lo g ica M e a su re m e n t ,   v o l.   2 1 no.   1 ,   p .   1 - 23 ,   1 9 9 7 .   [1 7 ]   D.  C.   Brig g a n d   M .   Wi lso n ,   An   In tr o d u c ti o n   t o   m u lt i d ime n sio n a m e a su re m e n u sin g   Ra sc h   m o d e ls,”  J o u rn a l   o f   Ap p li e d   M e a su re me n t ,   v o l .   4 ,   n o .   1 ,   p p .   8 7 - 1 0 0 ,   2 0 0 3 .   [1 8 ]   D.  J.  Co o k e ,   e a l. ,   Ev a lu a ti n g   t h e   S c re e n in g   Ve rsio n   o t h e   Ha re   P sy c h o p a th y   C h e c k li st Re v ise d   (P CL: S V):  An   it e m   re sp o n se   th e o ry   a n a ly sis,”   P sy c h o lo g ica Asse ss me n t v o l .   1 1 ,   n o .   1 ,   p p .   3 1 3 ,   1 9 9 9 .   [1 9 ]   S .   E.   Emb re tso n   a n d   S .   P .   Re is e ,   Item   re s p o n se   th e o ry   fo p sy c h o lo g ists .   Law re n c e   Erl b a u m   As so c iate s,  In c . ,   M a h wa h ,   2 0 0 0 .   [2 0 ]   T.   Am iel  a n d   T.   C.   Re e v e s,  De sig n - b a se d   Re se a rc h   a n d   Ed u c a ti o n a Tec h n o l o g y Re th in k in g   Tec h n o l o g y   a n d   t h e   Re se a rc h   Ag e n d a ,   Ed u c a ti o n a T e c h n o l o g y   &   S o c iety ,   v o l .   1 1 ,   n o .   4 ,   p p .   2 9 - 4 0 ,   2 0 0 8 .   [2 1 ]   T.   S tem b e rg e a n d   M .   Ce n c ic,  De sig n   Ba se d   Re se a rc h Th e   Way   o f   De v e lo p i n g   a n d   Im p le m e n ti n g ,   W o rl d   J o u rn a o n   E d u c a ti o n a T e c h n o l o g y Cu rr e n Iss u e s ,   v o l .   8 ,   n o .   3 ,   p p .   1 8 0 - 1 8 9 ,   2 0 1 6 .   [2 2 ]   M .   C u ste r,   S a m p le   siz e   a n d   it e m   p a ra m e ter  e stim a ti o n   p re c isio n   w h e n   u ti l izin g   t h e   o n e - p a ra m e ter  Ra sc h ’  m o d e l,   P a p e p re se n ted   a t   Th a n n u a me e ti n g   o t h e   mid - we ste rn   E d u c a ti o n a Res e a rc h   Asso c ia ti o n ,   Eva n sto n 2 0 1 5 .   [On li n e ].   A v a il a b le:  h tt p s:// fil e s.e ric.ed . g o v /f u ll tex t/ ED5 6 2 5 6 0 . p d f   [2 3 ]   M .   L.   W u ,   R.   J.  Ad a m s,  M .   R .   W il so n   a n d   S .   A.  Ha l d a n e ,   ACE C o n Qu e st  Ver sio n   2 Ge n e ra l ize d   I tem   re sp o n se mo d e li n g   so ft wa re .   Ca m b e rwe ll Au stra li a n   Co u n c il   fo Ed u c a ti o n a Re se a rc h ,   2 0 0 7 .   [2 4 ]   Am e rica n   Ed u c a ti o n a Re se a rc h   As so c iatio n ,   S t a n d a r d fo Ed u c a ti o n a a n d   Psy c h o l o g ic a T e stin g   (6 th   e d . ).   Was h in g to n   DC ,   2 0 1 4 .   [2 5 ]   M .   R.   Ly n n ,   De term in a ti o n   a n d   q u a n t ifi c a ti o n   o c o n te n v a li d it y ,   Nu rs in g   Res e a rc h ,   v o 3 5 ,   n o .   6 ,   p p .   3 8 2 - 3 8 5 ,   1 9 8 6 .   [2 6 ]   R.   P .   M c Do n a l d ,   Ba sis  o M u lt i d ime n sio n a Item   Re sp o n se   Th e o r y ,   A p p li e d   Psy c h o lo g ica M e a s u re me n t   v o l.   2 4 ,   no.   2 ,   p p .   9 9 - 1 1 4 ,   2 0 0 0 .   [2 7 ]   M .   E.   L u n z ,   Us in g   Th e   Ve ry   Us e fu Wr ig h M a p ,   M e a su re   Res e a rc h   Asso c ia tes   T e st   In si g h t 2 0 1 0 .   [O n li n e ].   Av a il a b le:   h tt p s:// ww w.ras c h . o rg / m ra /mra - 01 - 1 0 . h tm   [2 8 ]   B.   Du c k o r,   K .   Dra n e y ,   a n d   M a r k   Wi lso n ,   As se ss in g   a ss e ss m e n li tera c y An   i tem   re sp o n se   m o d e li n g   a p p ro a c h   fo r   tea c h e e d u c a to rs, ”  Pen sa mie n t o   Ed u c a ti v o .   Rev ista   d e   In v e stig a c n   Ed u c a c io n a L a ti n o a me ric a n a ,   v o l   5 4 ,   n o .   2 ,   p p .   1 - 2 5 ,   2 0 1 7 .   [2 9 ]   J.  C.   Nu n n a ll y ,   Psy c h o me tric th e o ry   (2 nd   e d . ).   Ne w Yo rk ,   M c G ra w - Hill ,   1 9 7 8 .   [3 0 ]   F .   B.   Ba k e a n d   S - Kim ,   T h e   B a sic o f   Item   Res p o n se   T h e o ry   Us in g   R.   S witze rlan d S p ri n g e In ter n a ti o n a l,   2 0 1 7 [On li n e ].   A v a il a b le:   h tt p s:// d o i. o r g /1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 5 4 2 0 5 - 8   Evaluation Warning : The document was created with Spire.PDF for Python.