I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   9 ,   No .   4 ,  Dec em b e r   2 0 2 0 ,   p p .   963 ~ 970   I SS N:  2 2 5 2 - 8 8 2 2 ,  DOI : 1 0 . 1 1 5 9 1 / ijer e . v9 i 4 . 2 0 5 4 2          963       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   Dev elo ping  an a ss ess ment  framewo rk of mul tidimens io na l  scientifi c comp e te ncies       Sa s im a   I nta s o i 1 ,  P utc ha re e   J un peng 2 ,  K eo w  Ng a ng   T a ng 3 ,   J a t up hu m   K et cha t t ura t 4 ,  Y ida n Z ha ng 5 ,   M a rk   Wils o n 6   1, 2, 4 F a c u l ty   o f  E d u c a ti o n ,   K h o n   K a e n   Un iv e rsit y ,   T h a il a n d   3 In stit u te f o r  Re se a rc h   a n d   De v e lo p m e n t  i n   Tea c h i n g   P ro fe ss io n   fo r  ASE AN ,   Kh o n   Ka e n   U n iv e rsit y ,   Th a il a n d   5, 6 G ra d u a te S c h o o l  o f   Ed u c a ti o n ,   Un iv e rsity   o f  Ca li f o rn ia,  Un it e d   S tate s        Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   18 ,   2 0 2 0   R ev is ed   Sep   2 5 ,   2 0 2 0   Acc ep ted   Oct   30 ,   2 0 2 0       Th e   stu d y   a ime d   to   d e v e lo p   a n d   v a li d a te  a n   a ss e ss m e n t  fra m e wo rk   o f   m u lt id ime n si o n a l   sc ien ti fic  c o m p e ten c ies   fo r   se v e n t h - g ra d e   stu d e n ts  in   t h e   n o rt h e a ste rn   re g io n   o f  T h a il a n d .   A  to tal  o f  2 8 9   sa m p les   with   t h re e   d iffere n t   sc ien ti fic  c o m p e ten c y   lev e ls  we r e   ra n d o m ly   se lec ted   t o   p a rti c i p a te  a s  tes t - tak e rs.  Th e   d e sig n - b a se d   re se a rc h   e n c o m p a ss in g   f o u r  p h a se s   o f  t h e   c o n stru c t   m o d e ll in g   a p p ro a c h ,   n a m e ly   c o n stru c t  m a p s,  i tem   d e sig n ,   o u tc o m e   sp a c e ,   a n d   Wr i g h t  m a p .   M u lt id ime n si o n a l  Ra n d o m   Co e fficie n t   M u lt i n o m ial  Lo g i t  m o d e l  wa s  e m p lo y e d   to   e x a m in e   th e   q u a li ty   o f   th e   c re a ted   a ss e ss m e n t  fra m e wo rk   o f  m u lt i d ime n sio n a l   s c ien ti fic  c o m p e ten c ies .   T h e   re su l ts  sh o we d   th a t  sc ien ti f ic  c o m p e te n c e   is  c o m p rise d   o f   th re e   d ime n sio n s,   n a m e ly   e x p lai n   p h e n o m e n a   sc ien ti fica ll y ,   e v a lu a t e   a n d   d e sig n   sc ien ti fic i n q u iry ,   a n d   in terp re t   d a ta  a n d   e v i d e n c e   sc ien ti fica ll y .   Eac h   d ime n si o n   c a n   b e   fu rt h e r  c a teg o rize d   in to   fo u r  lev e ls.   Th e   a ss e ss m e n t  fra m e wo rk   c o n sists   o f  1 6   it e m s.  T h e   re su lt s  re v e a led   th a t   th e re   is   v a li d it y   e v i d e n c e   re g a rd i n g   in tern a l  str u c tu r e   b a se d   o n   th e   c o m p a riso n   o f   th e   m o d e l  fi t  a n d   Wr ig h t  m a p .   M o re o v e r,   r e su lt s  a lso   in d ica ted   th a t   th e   re li a b il it y   e v id e n c e   a n d   it e m   fit   a re   c o m p li a n c e   with   th e   q u a li t y   o f  t h e   a ss e ss m e n t  fra m e wo rk   a s  re v e a led   in   th e   a n a l y sis  o f  sta n d a rd   e rro r  o f   m e a su re m e n t  a n d   i n fit   a n d   o u tfi t   o f   t h e   it e m s.  I t  c a n   b e   c o n c lu d e d   th a t  th e   a ss e ss m e n t  fra m e wo rk   is   c u rre n tl y   p re v a len t  t o   a ss e ss   th e   sc ien ti fic  c o m p e ten c ies   o f  se v e n t h - g ra d e   st u d e n ts.   K ey w o r d s :   Ass es s m en t f r am ewo r k   C o n s tr u ct  m o d elin g   I tem   d esig n   Mu ltid im en s io n al  m o d el   Scien tific   co m p eten cies   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Pu tch ar ee   J u n p e n g ,     Facu lty   o f   E d u ca tio n ,   Kh o n   Kae n   Un i v er s ity ,   1 2 3   Mitr ap h ap   R o ad ,   A.   Mu a n g ,   Kh o n   Kae n   4 0 0 0 2 ,   T h ailan d .   E m ail:  jp u tch a@ k k u . ac . th       1.   I NT RO D UCT I O N   Scien ce   lear n in g   is   a  d is co v er y   p r o ce s s   to   f i n d   o u t  a b o u t  th e  n atu r e  s y s tem atica lly   a n d   it  is   an   ac tiv ity   to   lear n   th e  u n iv er s al   f o r m s   an d   ev en ts   [ 1 ] .   Scien ce   lear n in g   aim s   to   d ev elo p   s k ills   an d   cr ea tiv ity   b ased   o n   s cien tific   k n o wled g e  r elev an t  to   ev er y d ay   life   a n d   d ec is io n - m ak in g   f o r   p r o b l em - s o lv in g   [ 2 ,   3 ] .   T h er ef o r e,   s cien tific   co m p ete n cy   r e q u ir es  n o t  ju s t  k n o wled g e  o f   th e  s cien ce   co n ce p ts   b u t  also   k n o wled g e  o f   co m m o n   p r o ce d u r es  an d   p r a ctice s   ass o ciate d   with   s cien t if ic  in q u ir y ,   an d   h o w  th ese   en ab le  s cien ce   to     ad v an ce   [ 4 ,   5 ] .   Ma n y   o f   th e   c h allen g es  o f   th e   2 1 s t - ce n tu r y   s cien ce   ed u ca tio n   will  r eq u ir e   teac h er s   to   p r o v id e   in n o v ativ e   s o lu tio n s   th at  h av e  a  b asis   in   s cien tific   th in k i n g   an d   s cien tific   d is co v er y   in   th eir   tea ch in g   an d   ass es s m en ts   [ 5 ] .   A   s cien tific   co m p eten cy   ass ess m en t  f r am ewo r k   is   s ig n if ica n tly   r elev a n t  to   th e   ch allen g es  b ec au s e  it c an   p r o v id e  c r iter ia  to   ju d g e  t h e  p r o g r ess   o f   s tu d e n ts ’   lear n in g   [ 6 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   4 ,  Dec em b e r   2 0 2 0 :   9 6 3   -   9 7 0   964   T h e  Pro g r am   f o r   I n ter n atio n al  Stu d en t  Ass e s s m en t  ( PIS A)   s cien ce   f r am ewo r k   d ef in e d   s cien tific   co m p eten cies  as  ab ilit ies  to   e n g ag e  with   s cien ce - r elate d   is s u es,  an d   with   th e   id ea s   o f   s cien ce ,   as  a   r ef lectiv e   in d iv id u al.   A  s cien tific ally   liter ate  s tu d en t  is   wi llin g   to   e n g ag e  in   r ea s o n e d   d is co u r s e   ab o u t  s cien ce   an d   tech n o lo g y ,   wh ich   r eq u ir es  th e  co m p eten cies  in   th r ee   d im e n s io n s ,   n am ely ,   ex p lain   p h en o m en a  s cien tific ally   ( E S),   in ter p r et  d ata  an d   ev id e n ce   s cien tific ally   ( I E ) ,   an d   ev alu ate  an d   d esig n   s cien tific   in q u ir y   ( E D)   [ 7 ] .   E S   d im en s io n   m ea n s   s tu d en ts   ca n   r ec o g n ize,   o f f er ,   an d   e v alu ate   ex p lan atio n s   f o r   a  r an g e  o f   n a tu r al  tech n o lo g ical   p h en o m en a.   E D  d im en s io n   is   d ef in e d   as  s tu d en ts   ca n   d es cr ib e  an d   ap p r aise  s cien tific   in v esti g atio n s ,   an d   p r o p o s e  way s   o f   ad d r ess in g   q u esti o n s   s cien tific ally .   I E   d i m en s io n   r ef er s   t o   s tu d e n ts   wh o   ca n   an al y ze   an d   ev alu ate  claim s   an d   ar g u m en t s   in   a  v ar iety   o f   r ep r esen tatio n s   an d   d r aw  ap p r o p r iate  s cien tific   co n clu s io n s   [ 7 ] .     An   ass ess m en t  f r am ewo r k   o f   s cien tific   co m p eten cy   is   im p o r tan t  to   s cien ce   teac h er s   b ec au s e  th ey   ca n   u s e  th e  r esu lt s   to   f i n d   a   co n g r u en t  lin e   b etwe en   th e   lear n in g   ac tiv ities   th at  s tu d en ts   ca r r y   o u t  i n   th e   class r o o m   an d   h o w  th ey   a r e  b ein g   ev al u ated .   A  co m m o n   m is tak e  is   th e  g ap   m ay   e x is t  b etwe en   wh at  th e   teac h er s   ex p ec t  s tu d en ts   to   lear n   an d   th e  ass es s m en t  f r am ewo r k   to   e n s u r e  th e  s tu d en ts   ac q u ir e  th e   co m p eten cies  d ef i n ed   [ 8 ] .   T h is   s tu d y   aim ed   to   d e v elo p   a   s o u n d   ass ess m en t  f r am ewo r k   to   ex am i n e  s ev en - g r ad e  s tu d e n ts ’   s cien tific   co m p eten cies  in   th r ee   d im en s io n s   ad o p te d   f r o m   th e  PISA  s cien ce   f r am ewo r k ,   n am ely   E S,  E D,   a n d   I E .   T h e  s tu d y   is   tim ely   an d   im p o r t an t  to   d is co v er   b ec au s e  th e  r esu lts   will  p r o v id e  ev id en ce   o f   th e  q u ality   ass ess m en t  f r am ewo r k   i n   ter m s   o f   its   v alid ity   a n d   r eliab ilit y   in   th e  ac tu al   s cien ce   class r o o m   co n tex t.       2.   RE S E ARCH   M E T H O D     R esear ch er s   esp o u s ed   th e  co n s tr u ct  m o d elin g   ap p r o ac h   [ 9 - 1 1 ]   an d   d esig n - b ased   r esear ch     m eth o d   [ 12 - 1 4 ]   to   d e v elo p   th e  ass es s m en t  f r am ewo r k   s o - c alled   Mu ltid im en s io n al  Scien tific   C o m p eten cies  Fra m ewo r k .   He n ce ,   Mu ltid i m en s io n al  R an d o m   C o ef f icie n ts   Mu ltin o m ial  L o g it  Mo d e l  ( MRC ML M)   was   u s ed   to   v alid ate  th e  q u ality   o f   th e  Mu ltid im en s io n al  Scien tifi c  C o m p eten cies Fr am ewo r k .         2 . 1 .   Sa m ples   o f   t he  re s ea rc h   Owin g   to   r esear ch er s   u tili ze d   an   MRC ML M  to   an aly ze   th e  q u ality   o f   Mu ltid im en s io n al  Scien tific   C o m p eten cies  Fra m ewo r k   s u f f icien t  s am p les  s h o u ld   b e  t ak en   in to   co n s id er atio n   [ 1 5 ,   1 6 ] .   T h e  r eq u ir ed   s am p le  s ize  f o r   est im atio n   o f   item   p ar am eter s   in   th e  R a s ch - f am ily   m o d els  is   1 0 0   to   p r o v id e  ac cu r ate   p ar am eter   esti m ates  [ 1 7 - 20 ] .   A  to tal  o f   2 8 9   s ev en th - g r ad e  s tu d en ts   with   th r ee   d if f er e n t  s cien tific   co m p eten c y   lev els  f r o m   s ch o o ls   in   th e  n o r th ea s ter n   r eg io n   o f   T h ailan d   wer e  s elec ted   u s in g   s tr atif ied   r an d o m   s am p lin g   tech n iq u es  as  test - tak er s .   T h e  th r ee   d if f er e n t  s cien tific   co m p eten c y   lev els  wer e  id en tifie d   u s in g   Pu r e   Su b s tan ce   C o n ce p t T est.      2 . 2 .   M ultid im ens io na l  ra nd o m   co ef f icient s   m ultino m ia l lo g it   m o del  ( M RCML M )   MRC ML M   is   a  m u ltid im en s i o n al  R asch - ty p e  item   r esp o n s e  m o d el  wh ich   is   an   em p h asis   o n   th e   in ter ac tio n   tech n iq u e  b etwe en   test - tak er s   an d   test   [ 15 ] .   T h e   MRC ML M  is   d ev elo p ed   in   a   f o r m   th at  p e r m its   g en er aliza tio n   t o   th e   m u ltid i m en s io n al  ca s e  o f   a  wid e   cla s s   o f   R asch   m o d els.  T h e  e x a m in atio n   r esu lt  o f   an   an s wer   is   to   es tim ate  th e  s tu d e n t’ s   ab ilit y   p ar am eter s   in   m u ltip le  d im en s io n s   [ 2 1 ] .   B y   d ev e lo p in g   an   item   ca n   m ea s u r e  m o r e  th an   o n e  c h a r a cter is tic  to   s h o w  th e  v ar io u s   ab ilit ies  o f   s tu d en ts .   An o th er   k ey   asp ec t  o f   th e   MRC ML M  i s   th e  m ea s u r em e n t  m o d el   f o r   ex m in i n g   th e   th e  q u ality   in s tr u m en t  in   ter m s   o f   its   v alid ity   a n d   r eliab ilit y .       2 . 3 .   Resea rc h pro ce du re   T h e  r esear ch   p r o ce d u r e  c o n s is ted   o f   f o u r   p h ases .   R esear ch er s   s tar ted   to   in v esti g ate  s ev e n th - g r a d e   s tu d en ts ’   s cien tific   co m p eten c ies  af ter   h av in g   s ev er al  co m p r eh en s iv e  d is cu s s io n s   with   s cien ce   teac h er s   ab o u t  th e  co r e   cu r r ic u lu m   i n   th e   b asic  ed u ca tio n   2 0 0 8   ( r ev is ed   ed itio n   i n   2 0 1 7 )   in   th e  f i r s t  p h ase.   T h e  m ain   em p h asis   o f   t h e  d is cu s s io n s   was  r elate d   to   th e   co n ce p tu al  u n d er s tan d in g ,   is s u es,  a n d   d is cr ep an cies  o f   s cien tific   co m p eten cies  c o m p ar ed   to   th e   s tan d ar d s   o f   th e   T h ai  n atio n al  co r e  c u r r icu lu m .   Data   was  co llected   u s in g   th e   in ter v iew   m eth o d   a n d   r ely i n g   o n   T h in k - alo u d   tech n iq u es.  T h e  in ter v iew  r esu lts   f r o m   t h e  f ir s t  p h ase   r ev ea led   th e   am o u n t  o f   s cie n tific   co m p ete n cy   ac h iev em e n t  at  th e  e n d   o f   ea ch   u n it  i n   g en e r al,   teac h e r s ’   ess en tial  f ee d b ac k   o n   s tu d en t s ’   s cien tific   co m p eten cy   lev e ls   th at  co n tr ib u t in g   to   s cien c e  lear n in g ,   an d   th e   p r o b lem s   o f   cr ea tin g   ass ess m e n t  to o l.  R esear ch er s   f o u n d   th a t  o n e  o f   th e  m o s t  ef f ec tiv e  to o l s   u s ed   b y   teac h er s   in   ass ess in g   th e  q u a n tity   an d   q u ality   o f   s tu d e n ts ’   s cien tific   co m p eten cies is a  test .   B ased   o n   th e   r esu lts   f r o m   t h e  f ir s t  p h ase,   r esear ch er s   co n tin u ed   to   co llab o r ate  with   s cien c e  teac h er s   to   cr ea te  th e  co n s tr u ct  m ap   co n s is tin g   o f   f o u r   co n s tr u ct  lev e ls   ( L o w,   B as ic,   I n ter m ed iate,   an d   Hig h )   f o r   ea ch   d im en s io n   o f   s cien tific   co m p eten cies  ( E S,  I E ,   an d   E D)   to   f it  th e  ac tu al   s cien ce   cla s s r o o m   co n tex t  in   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c .     I SS N:  2252 - 8 8 2 2       Dev elo p in g   a n   a s s ess men t fra mewo r k  o f m u ltid imen s io n a l scien tifi c  co mp eten cies  ( S a s ima   I n ta s o i )   965   s ec o n d   p h ase.   R esear ch er s   d e v elo p ed   th e  c o n s tr u ct   m ap s   o f   th e   th r ee   s cien tific   co m p eten cy   d im en s io n s   b y   ad o p tin g   PISA  f o r   Dev elo p m e n t Scie n ce   Fra m ewo r k   2 0 1 7   [ 7 ] .     B ased   o n   th e   r esu lts   o f   s ec o n d   p h ase,   r esear ch er s   co n tin u ed   to   d esig n   th e  task s   an d   item s   t o   d ev el o p   an   ass ess m en t  f r am ewo r k .   T h is   ass e s s m en t  f r am ewo r k   is   a   p r o to ty p e  co n s is tin g   o f   1 6   it em s ,   n am ely   s ev en   item s   o f   E S  d im en s io n ,   f o u r   item s   o f   E D  d im en s io n ,   an d   f iv e  item s   o f   th e  I E   d im en s io n .   T h e  ass ess m en t   f r am ewo r k   was  d e v elo p ed   r e f er r in g   to   T h ailan d ’ s   b asic  e d u ca tio n   co r e   cu r r icu lu m   2 0 0 8   ( r e v is ed   2 0 1 7 )   o f   p h y s ical  s cien ce   s tan d ar d   a n d   em p lo y ed   p o ly to m o u s   s co r i n g .   B esid es,  ea ch   item   ca n   b e  m ea s u r ed   o n ly   o n e - d im en s io n   co n ce p t  was  tak en   in to   ac co u n t.  Fig u r e  1   is   an   ex am p le  o f   a  task   in   th e  ass ess m en t  f r am ewo r k .   T h e  m ea n in g   o f   ea ch   le v el  in   ea ch   d im e n s io n   was  in ter p r eted   ac co r d in g   t o   th e  lea r n in g   o u tco m e  g r ad in g   o r   so - ca lled   o u tco m e   s p ac e.   T h is   o u tco m e  s p ac e   was  s et  s o   th at  it  wo u ld   b e  c o n s is ten t  with   th e  co n s tr u ct  m ap   o f   lear n in g   o u tco m es a n d   s tu d en t ’ s   r esp o n s es in   th e  ac tu al  co n t ex t .             Fig u r e  1 .   Sam p le  test   item   f o ll o win g   I E   c o n s tr u ct       I n   th e  th ir d   p h ase,   r esear ch e r s   tr ied   o u t  th e  p r o to ty p e  a n d   f o llo wed   b y   m ak in g   th e   n ec ess ar y   im p r o v em e n t  an d   m o d if icatio n   if   an y .   T h is   p h ase  was   aim ed   to   v alid ate  th e  d ev elo p ed   ass ess m en t  f r am ewo r k .   Firstl y ,   r esear ch er s   u s ed   th e  p r o to ty p e  to   ass ess   s tu d en ts ’   r esp o n s es  an d   ad ju s t  th o s e  item s   o r   task s   to   b e  m o r e  c o n s is ten t  n o t  o n ly   to   t h e  ass ess m en t  f r am ewo r k   b u t  also   i n   lin e  with   s tu d en ts ’   lear n in g   co n tex t.  Seco n d ly ,   r esear ch er s   tr ied   o u t  ag ain   th e  p r o to t y p e  t o   in v esti g ate  its   ac cu r ac y ,   r eliab ilit y ,   an d   q u ality   u s in g   th e   m u ltid im e n s io n al  te s t  r esp o n s e  th e o r y   [ 2 1 ] .   Fin ally ,   r esear c h er s   ex am i n ed   th e  q u ality   o f   s tr u ctu r al   s tr aig h tn ess   o f   th e   p r o to ty p e   u s in g   a  m u ltid im en s io n al  an a ly s is   m eth o d ,   r eliab ilit y   test   o f   alp h a   co ef f icien t,  an d   r eliab ilit y   o f   th e  E x p ec ted - A - P o s ter io r i a n d   Sep ar ati o n   ( E AP/ PV) .     T h is   is   f o llo wed   b y   an aly zin g   th e  in ter n al  s tr u ctu r e  o f   th e  a s s es s m en t  f r am ewo r k   u s in g   t h e  W r ig h t   m ap .   T h e  W r ig h t  m ap   ca n   p r o v id e  a  p ictu r e  o f   th e  ite m s   in   th e  ass e s s m en t  f r am ewo r k   b y   p laci n g   th e   d if f icu lty   o f   t h e  item s   o r   task s   o n   th e  s am e  m ea s u r em e n t  s ca le  as  th e  ab ilit y   o f   th e  test   tak er s .   T h is   h elp s   th e  r esear ch er s   with   a   co m p ar is o n   o f   s tu d e n ts   an d   item s ,   to   b e tter   u n d er s tan d   h o w   ap p r o p r iately   th e   ass ess m en t   to o l  m ea s u r ed   th e  s tu d e n ts ’   s cien tific   co m p eten cies.  Af ter   r e s ea r ch er s   ex am in ed   th e  q u alit y   o f   th e  p r o to t y p e,   th e  r esear ch er s   i d en tifie d   t r an s itio n   p o in t  o f   s cien tific   c o m p eten cy   le v els.  R esear ch er s   m ad e  th e   n ec ess ar y   im p r o v em e n t  at  an y   lev el  ac co r d in g   to   in ter p r etatio n   s et  b y   [ 2 2 ,  2 3 ] .   B esid es,  r esear ch er s   u tili ze d   AC E R   C o n q u est  2 . 0   to   an aly ze   th e  q u ality   o f   th e  ass ess m en t  f r am ewo r k   [ 2 4 ]   th r o u g h   b etwe en - item   m u ltid im en s io n al  m o d el.   T h e  f in al  p h ase  was  to   r ep o r t   th e  d ev elo p m e n t  o f   th e  ass ess m en t  f r am ewo r k   o f   m u ltid im en s io n al   s cien tific   co m p eten cies,  n am ely ,   ex p lain   p h e n o m e n a  s cien tific ally ,   ev alu ate  an d   d esig n   s c ien tific   in q u ir y ,   an d   in ter p r et  d ata  a n d   e v id en ce   s cien tific ally .   T h is   ass ess m en t  f r am ewo r k   i n clu d es  th e  t r an s itio n   p o i n t  f o r   ea ch   s cien tific   co m p eten cy   lev el  o f   ea ch   d im en s io n   as we ll.     Lea rning   Standa r d  S   2 .1 :   Un d er st an d in g   th e  p rop erties  o f  m atte r,   co m p o s itio n   o f  m atter   t h e  relation sh ip   b etween  th e  p rop erties  o f  m att er  an d   stru ctu re ,   an d   th e  i n ter - p article   b o n d i n g   force.     Un d er st an d in g   ab o u t  p rincip les   an d  natu re   o f  th e st ate of  m atte r  ch an g es, so lu tio n  f o rmatio n  and   th e occu rr en ce of  ch em ical   reac tio n s .                          In dica tor  S .   1 /4 :  Co m p ariso n   o f  b o ilin g   an d   m eltin g   p o in ts  o f  p u r e  su b stan ces  an d   m ix tu res  b y   m easu ri n g   tem p eratur e,  writin g  grap h s, interp reti n g  data fr o m  grap h s   o r  in form atio n .   Dimens io n:  I n terp ret  d ata  an d  evid en ce scientific ally  ( I E)   Lev el:   Inter m ed iat e L ev el .   Item:  L isa  co n d u cted   a  b o ilin g   water  ex p eri m en t  to   co m p are  th e  b o ili n g   p o i n ts  o f  water  at  d iff erent   atm o sp h eric  p ress u re  lev els.  The exp erimen tal r esu lts a r e   as follo ws :       At m osp h e r ic pre ssu r e   ( k Pa )   B oil in g  p oin ts ( o C )  3 . 5   2 6 . 4   13 . 8   5 2 . 5   27 . 6   6 7 . 2   48 . 3   8 0 . 4   69 . 0   8 9 . 6   82 . 7   9 4 . 4   101 . 3   1 0 0 . 0   137 . 9   1 0 9 . 0   193 . 1   1 1 9 . 0   275 . 8   1 3 1 . 0   303 . 4   1 3 4 . 0   358 . 5   1 4 0 . 0                               Q ues tion:   Fro m  the in fo r m atio n  in th e table ,  h o w can stu d en ts su m m a rize  th e  res u lts o f  th e exp erimen t?   ………… ……… ………… ……… ………… ……… ………… ……… ………… ……… ………… ……… ………… ………… ……… ………… ……… ………… ……… ………… … … … … … … … … … … … … … … … … … … ... . … …   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   4 ,  Dec em b e r   2 0 2 0 :   9 6 3   -   9 7 0   966   3.   RE SU L T S  A ND  D I SCU SS I O N    T h e  r esu lts   o f   th is   s tu d y   a r e  p r esen ted   b y   f o llo win g   th e   s tu d y   aim   s p ec if ie d   ab o v e.   T h e  p r elim in ar y   r esu lt  was  th e  d ev elo p m en t  o f   th e  ass ess m en t  f r am ewo r k   to   m ea s u r e  s ev en th - g r a d e  s tu d en ts ’   s cien tific   co m p eten cies  in   t h r ee   d im en s io n s .   T h is   is   f o llo wed   b y   d ev elo p in g   th e  c o n s tr u ct  m a p s   f o r   ea ch   s cien tific   co m p eten cy   d im e n s io n .   Nex t ,   th e   v alid ity   an d   r eliab ilit y   o f   th e   d ev el o p ed   ass ess m e n t  f r a m ewo r k   wer e   ex am in ed .   Fin ally ,   r esear ch er s   r ep o r te d   th e  q u ality   o f   t h e  ass ess m en t f r am ewo r k   b y   ex a m in in g   th e  item   f it.     3 . 1 .   Dev elo pin g   a s s ess m ent   f ra m ewo rk     Ass ess m en t  f r am ewo r k   co n s is ts   o f   th r ee   co n s tr u ct  m ap s   o f   s cien tific   co m p eten cies  lev el,   as  s h o wn   in   T ab le  1   to   T ab le  3 .   E ac h   d im en s io n   co n s is ts   o f   a  n am e  an d   d escr ip tio n   f o r   r esp o n d en t  in   ea ch   lev el.   T h e  3   d im en s io n s   co n s is t o f   4   lev els wh ich   ar e  lo w  lev el,   b asic le v el,   in ter m ed iate  lev el,   an d   h ig h   lev el .       T ab le  1 .   C o n s tr u ct  m a p   an d   r e s p o n d en ts ’   d escr ip tio n   o f   E S   Le v e l     ES  Le v e l   D e scri p t i o n   o f   r e s p o n d e n t s   4     H i g h   •   C a n   d r a w   o r   d e scr i b e   t h e   r e l a t i o n s h i p   b e t w e e n   s c i e n t i f i c   i d e a s   a n d   c o n c e p t s   f r o m  su b s t a n c e   a n d   p r o p e r t i e s  o f   su b s t a n c e s t o   ma k e   p r e d i c t i o n s.   •   C a n   c o n st r u c t   e x p l a n a t i o n s  o f   n o v e l   a n d   u n f a m i l i a r   p h e n o me n a ,   e v e n t s ,   a n d   p r o c e ss e s  t h a t   m a y   i n v o l v e   s e v e r a l   st e p s .   •   C a n   d e m o n st r a t e   t h e   u se   o f   k n o w l e d g e   b e y o n d   t h e   st a n d a r d   o f   sc i e n c e   c u r r i c u l a   a n d   u se   p r o c e d u r a l   a n d   e p i st e mi c   k n o w l e d g e   a p p r o p r i a t e l y .   3   I n t e r med i a t e   •   C a n   r e c a l l   o r   u se  t h e   g i v e n   sc i e n t i f i c   i d e a s a n d   c o n c e p t s fr o m   su b s t a n c e   a n d   p r o p e r t i e s  o f   su b s t a n c e s  t o   c o n s t r u c t   e x p l a n a t i o n s.   •   C a n   e x p l a i n   r e l a t i v e   c o mp l e x   p h e n o m e n a   o r   l e ss fam i l i a r   e v e n t s  a n d   p r o c e s ses.   2   B a si c   •   C a n   r e c a l l ,   a p p l y   si m p l e   s c i e n t i f i c   f a c t s,  a n d   d r a w   u p o n   c o mp l e x   s c i e n t i f i c   i d e a s  mo d e r a t e l y .   •   C a n   c o n st r u c t   si mp l e   e x p l a n a t i o n s   w i t h   r e l e v a n t   c u e s  a n d   su p p o r t   a p p r o p r i a t e l y .   1   Lo w   •   C a n   r e c o g n i z e   s c i e n t i f i c   t e r ms.   •   C a n   u se  s i n g l e   sci e n t i f i c   f a c t s t h a t   c l o se  t o   t h e i r   p e r s o n a l   e x p e r i e n c e   a n d   t h e   g i v e n   si m p l e   sci e n t i f i c   c o n c e p t   t o   i d e n t i f y   a n   a p p r o p r i a t e   sc i e n t i f i c   e x p l a n a t i o n .   •   C a n   e x p l a i n   a   f a m i l i a r   e v e n t   o r   p r o c e s s t h a t   i s   c o n s i st e n t   w i t h   t h e   g i v e n   i n f o r mat i o n .       T ab le  2 .   C o n s tr u ct  m a p   an d   r e s p o n d en ts ’   d escr ip tio n   o f   E D   Le v e l     ED   Le v e l   D e scri p t i o n   o f   r e s p o n d e n t s   4     H i g h   •   C a n   e v a l u a t e   o r   d e s i g n   c o m p l e x   e x p e r i me n t s ,   f i e l d   s t u d i e s  o r   si mu l a t i o n   d e s i g n s  o r   d a t a   i n t e r p r e t a t i o n s.   •   C a n   i d e n t i f y   l i mi t a t i o n s  o f   t h e   i n t e r p r e t a t i o n   d a t a   s e t s .   3   I n t e r med i a t e   •   C a n   c o n d u c t   e x p e r i me n t s   o r   e x p e r i me n t a l   d e s i g n   a n d   d r a w   t h e   e x p e r i m e n t a l   p r o c e d u r e s.   •   C a n   i n t e r p r e t   d a t a   d r a w n   f r o m m o r e   c o mp l e x   o r   l e ss f a mi l i a r   c o n t e x t s.   •   C a n   d r a w   a p p r o p r i a t e   c o n c l u s i o n s  t h a t   g o   b e y o n d   t h e   d a t a .   •   C a n   u se  d a t a   f r o m  l e ss   f a m i l i a r   c o n t e x t s   t o   i d e n t i f y   t r e n d s  a n d   ma k e   p r e d i c t i o n s .   2   B a si c   •   C a n   d r a w   o n   p r o c e d u r a l   a n d   b a s i c   c o n t e n t   k n o w l e d g e   f o r   si m p l e   e x p e r i me n t a l   d e s i g n .   •   C a n   c o l l e c t   a n d   i n t e r p r e t   d a t a   t o   a n sw e r   q u e s t i o n s t h a t   r e q u i r e   o n l y   si m p l e   o r   d a i l y   c o n t e n t   k n o w l e d g e .   •   C a n   d i s t i n g u i sh   b e t w e e n   a   n o n - sci e n t i f i c   a n d   s c i e n t i f i c   q u e st i o n .   1   Lo w   •   C a n   f o l l o w   s i m p l e   i n st r u c t i o n s t o   a n s w e r   a   q u e st i o n .   •   C a n   c o n d u c t   a   sc i e n t i f i c   p r o c e d u r e .       T ab le  3 .   C o n s tr u ct  m a p   an d   r e s p o n d en ts ’   d escr ip tio n   o f   I E   Le v e l     I E  Le v e l   D e scri p t i o n   o f   r e s p o n d e n t s   4     H i g h   •   C a n   e v a l u a t e   t h e   s u p p o r t i n g   d a t a   f o r   h y p o t h e si s.   •   C a n   c o n st r u c t   a n d   j u s t i f y   a   c o n c l u si o n   u s i n g   s c i e n c e   c o n c e p t s.   •   C a n   d i s c r i mi n a t e   b e t w e e n   r e l e v a n t   a n d   i r r e l e v a n t   i n f o r mat i o n .   •   C a n   d e r i v e   o u t si d e   k n o w l e d g e   t o   c o n s t r u c t   a n   e x p l a n a t i o n .   3   I n t e r med i a t e   •   C a n   i n t e r p r e t   a n d   ma n i p u l a t e   a   mo d e r a t e l y   c o m p l e x   d a t a   se t .   •   C a n   e x p r e ss  i n   se v e r a l   f o r ma t s.   •   C a n   j u s t i f y   a p p r o p r i a t e   c o n c l u si o n s.   •   C a n   i d e n t i f y   s o u r c e s  a n d   e f f e c t s  o f   u n c e r t a i n t y   i n   sc i e n t i f i c   d a t a .   2   B a si c   •   C a n   i d e n t i f y ,   i n t e r p r e t ,   a n d   t r a n sf o r m  d a t a .   •   C a n   i d e n t i f y   e v i d e n c e   t o   s u p p o r t   a   sc i e n t i f i c   c l a i m.   1   Lo w   •   C a n   i d e n t i f y   si mp l e   p a t t e r n s   i n   d a t a   t o   su p p o r t   a   c l a i m   o r   c o n c l u si o n .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c .     I SS N:  2252 - 8 8 2 2       Dev elo p in g   a n   a s s ess men t fra mewo r k  o f m u ltid imen s io n a l scien tifi c  co mp eten cies  ( S a s ima   I n ta s o i )   967   3 . 2 .   Resul t s   o f   v a lid it y   ev idence    T h r ee   m eth o d s   wer e  em p lo y e d   to   v alid ate  th e  ass ess m en t  f r am ewo r k .   Firstl y ,   r esear ch er s   ev alu ated   th e  v alid ity   ev id en ce   b ased   o n   th e  test   co n ten t  to   co m e  f r o m   ex p er t  ju d g m e n ts   o f   th e  r elatio n s h ip   b etwe en   p ar ts   o f   th e  test   item s   an d   th e  co n s tr u ct  m ap s   o f   s ci en tific   co m p eten cies  [2 3 ] .   T h e  f iv e  ex p er tis ts   r ated   th e  d o m ain   r ep r esen t  as  f o llo win g :  th er e  ar e  item   c o n ten t  v alid it y   in d ex :   I - C VI   in   b etwe en   0 . 5 0   –   1 . 0 0   an d   s ca le   co n ten t  v alid ity   in d ex :  S - C VI   =  0 . 9 0 .   R esear ch er s   tr ie d   o u t  th e   ass ess m en t  f r am ewo r k   f o llo wed   b y   in ter v iewin g   th o s e  s tu d en ts   ab o u t  th eir   u n d er s tan d in g   o f   th e  co n ten ts   an d   th e  r elev an c y   o f   th e  test s   in   th e   ass es s m en t f r am ewo r k .     Seco n d ly ,   we  ex am i n ed   th e  v a lid ity   ev id en ce   b ased   o n   r esp o n s e  p r o ce s s es  b y   p r o to co l  in te r p r etatio n   f r o m   th e  t h in k - al o u d   p r o ce s s   was  f o u n d   th at   th er e   wer e  s tu d en ts   wh o   u n d er s t o o d   a n d   d id   n o t  u n d e r s tan d   ex ac tly   as  co n s tr u ct  m ap .   T h er ef o r e,   th e  r esear ch e r   h as  im p r o v e d   th e  q u esti o n s   an d   c o n s tr u ct  m ap   to   b e  clea r er .   B esid es,  r esear ch er s   also   u tili ze d   th eir   f ee d b ac k   to   i m p r o v e  t h e  test s   an d   s co r in g   b ef o r e  co n d u ctin g   i n   th e  ac tu al  class r o o m   co n te x t.   Fin ally ,   v alid atio n   was  co n d u cted   o n   th e   in ter n al   s tr u ctu r e   o f   th e   ass ess m en t  f r am ewo r k   in   ter m s   o f   its   ac cu r ac y   o f   th e  ass es s m en t  f r am ewo r k ’ s   co n s tr u c t  b y   co m p ar in g   th e  two - m o d el  f it,  n am ely   u n id im en s io n al  an d   m u ltid im en s io n al  m o d els.  T h e  u n i d im en s io n al  m o d el  m ea n s   th e  co m p o s itio n   o f   all  th e  test s   in to   o n e  d im en s io n   wh ile  th e  m u ltid im en s io n al  m o d el   m ea n s   s ep ar atio n   o f   th e  item s   in to   th e  r esp ec tiv e  th r ee   d im e n s io n s .   T h e   r esu lts   r ev ea led   th at   m u ltid im en s io n a l  m o d el  was  s tatis tical  f it  s ig n if ica n tly   b etter   th a n   u n id im en s io n al   m o d el  th r o u g h   th e   L ik elih o o d   R atio   C h i - S q u ar ed   G 2   ( 2 =   3 7 . 2 6 ,   d f =5 )   [2 5 ]   as  well  as  th e   Ak aik e  I n f o r m atio n   C r iter io n   ( AI C )   [ 2 6 ]   an d   B ay esian   I n f o r m atio n   C r iter io n   ( B I C )   [ 2 7 ]   h ad   lo wer   v alu e   in   m u ltid im en s io n al  co n s tr u cts  f o r   ass ess in g   s cien tific   co m p et en cies,  as  elu cid ated   in   T ab le  4 .   T h er ef o r e,   it  ca n   b e  co n clu d ed   t h at  th e  ass ess m en t  f r am ewo r k   is   s u itab le  f o r   m u ltid im e n s io n al  m ea s u r e m en ts   b ec au s e  th e   lo wer   th e  AI C   an d   B I C   in d ex   v alu es r ef lectin g   th at  t h e  m o d el  is   co m p lian ce   with   th e  test   r esu lts   [ 2 8 ].       T ab le  4 .   T h e  co m p ar is o n   o f   m o d el  f it   M o d e l   D e v i a n c e   N   o f   P a r a me t e r   A I C   B I C   U n i d i m e n s i o n a l   7 1 5 6 . 2 2   25   7 2 0 6 . 2 2   7 2 1 7 . 7 5   M u l t i d i m e n s i o n a l   7 1 1 8 . 9 6   30   7 1 7 8 . 9 6   7 1 9 2 . 7 9   Li k e l i h o o d   R a t i o   C h i - S q u a r e d   G 2   =  2 =   3 7 . 2 6 ,   d f = 5 ,   p   =   . 0 1   A I C   =   7 1 7 8 . 9 6 < 7 2 0 6 . 2 2 ;   B I C   =   7 1 9 2 . 7 9 < 7 2 1 7 . 7 5       Mo r eo v er ,   we  e x am in ed   in te r n al  s tr u ctu r e   f o llo wed   b y   a n aly zin g   t h e  s tr u ctu r al   v alid i ty   o f   th e  co n s tr u ct  m ap   a n d   th e   cr iter i o n   zo n e   o f   t h e  W r ig h t  m ap   to   d eter m in e  th e   tr an s itio n   p o in ts ,   as  s h o wn   in     Fig u r e  2 .   T h e  t r an s itio n   p o in t   was  co m p u ted   f r o m   th e   m ea n   o f   item   th r esh o ld s   in   ea c h   l ev el  an d   d im en s io n ,   as  s h o wn   in   T ab le  5 .   E ac h   d i m en s io n   h as  f o u r   c o m p eten c y   lev els  with   a  s co r in g   s ca le  f r o m   1   to   4   p o i n ts ,   r an g ed   f r o m   lo w,   b asic,  in ter m ed iate,   an d   h ig h   lev els.  T h e  s co r es  o f   tr an s itio n   p o in ts   f o r   E S  d im en s io n   f r o m   L ev el  1   to   2 ,   L ev el  2   to   3 ,   an d   L ev el  3   to   4   ar e  eq u al  to   - 0 . 1 2 ,   0 . 8 8 ,   an d   2 . 0 9   lo g it,  r esp ec tiv ely .   T h e  s co r es o f   tr an s itio n   p o i n ts   f o r   E D   d im e n s io n   f r o m   L ev el   1   to   2 ,   L ev e l  2   t o   3 ,   a n d   L ev el   3   to   4   a r e  e q u al  to   - 0 . 4 1 ,   - 0 . 1 1 ,   an d   1 . 5 5   L o g it,  r esp ec tiv ely .   T h e  s co r es  o f   tr an s itio n   p o in ts   f o r   I E   d im en s io n   f r o m   L e v el  1   to   2 ,   L ev el  2   to   3 ,   an d   L ev el  3   to   4   ar e  eq u al  to   0 . 2 8 ,   0 . 4 4 ,   an d   0 . 5 5   lo g it,  r esp ec tiv ely .       ES   ED   IE           Fig u r e  2 .   T h e  tr an s itio n   p o in t i n   ea ch   d im e n s io n   f r o m   th e  W r ig h t m ap                                         2 . 0 9   - 0 . 1 2   1 . 5 5   - 0 . 1 1   - 0 . 4 1     0 . 5 5   0 . 8 8   0 . 4 4   0 . 2 8                                         2 . 0 9   - 0 . 1 2   1 . 5 5   - 0 . 1 1   - 0 . 4 1     0 . 5 5   0 . 8 8   0 . 4 4   0 . 2 8                                         2 . 0 9   - 0 . 1 2   1 . 5 5   - 0 . 1 1   - 0 . 4 1     0 . 5 5   0 . 8 8   0 . 4 4   0 . 2 8   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   4 ,  Dec em b e r   2 0 2 0 :   9 6 3   -   9 7 0   968   T h e  W r ig h t  m ap   is   a  g r ap h i ca l  r ep r esen tatio n   th at  lin k s   th e  item   d if f icu lties   an d   s tu d en t  ab ilit y   esti m ates  o n   th e  co m m o n   s ca le  as  th e  q u ality   ev id e n ce .   I n   o th er   wo r d s ,   t h e  W r ig h t  m a p   is   co m p r is ed   o f   a   d is tr ib u tio n   o f   item   d if f icu lties ,   d is tr ib u tio n   o f   s tu d en t  a b ilit y   esti m ates,  an d   h o w  well  th e  item   d if f icu lty   d is tr ib u tio n   is   m atch in g   with   t h e  s tu d en t  ab ilit y   esti m ates.  T h er ef o r e ,   th e  item s   s h o u ld   m at ch   with   th e  s tu d en t   ab ilit y   esti m ates  to   ju s tify   th e   test   is   m ax im ally   in f o r m at iv e.   T h e   W r ig h t  m a p   r esu lts   s h o wed   th at  ea ch   d im en s io n   o f   t h e  ass ess m en t   f r am ewo r k   c an   b e  u s ed   as  d ir ec t  ev id en ce   o f   th e  test   co n ten t  b ec au s e  th e   d if f icu lty   o f   ea c h   item   ( item   th r esh o ld )   is   to   th e  r ig h t  b u t  n o t  y et  co v er in g   th e   c o m p e ten cy   r a n g e  o f   th e   s tu d en ts   o n   th e  lef t  s id e  o f   th e   W r ig h t  m ap .   R esu lts   f r o m   th e  W r ig h t  m ap   s h o ws  th at  item s   3 ,   5 ,   6 ,   7 ,   1 0 ,   1 1 ,   1 3 ,   1 4 ,   a n d   1 5   ar e  m o d er ately   d if f icu lt.  On   th e  o th er   h a n d ,   i tem s   2 ,   4 ,   8 ,   9 ,   an d   1 2   ar e  ea s y   an d   item s   1   an d   1 6   ar e  d if f ic u lt.  Nev er th eless ,   th e  laten t  d is tr ib u tio n   an d   th r esh o ld   r esu lts   s h o w  th at  item   8   ju s t  h as  th r ee   in s tead   o f   f o u r   c o m p eten c y   le v els.  I t  ca n   b e   co n cl u d ed   th at  th e  ass ess m en t  f r am ewo r k   is   c o m p lian ce   with   th e   d ef in itio n   o f   s cien tific   co m p et en cies in   ter m s   o f   t h r ee   d im en s io n s .   C o r r elatio n   d im e n s io n ,   m o r eo v er ,   t h e   co r r elatio n   c o ef f icien t  b etwe en   E S  a n d   E D,   b etwe e n   E D  an d   I E ,   an d   b etwe en   E S  an d   I E   a r e  eq u al  t o   0 . 7 4 ,   0 . 7 6 ,   an d   0 . 9 2   r esp ec tiv ely .   T h is   im p lies   th at  m o s t  s tu d en ts ’   s cien tific   co m p eten cies  ar e  in   th e  s a m e  d ir ec tio n ,   an d   th er e  i s   h ig h   co r r etatio n   b etwe en   E S  an d   I E .   T h is   m ay   b e  d u e  to   s tu d ets’  c o m p eten c y   f o r   d escr ib in g ,   ex p r ess in g   o r   ju s tify in g   th e   r elatio n s h ip   b etwe en   s cien tific   id ea s   an d   c o n ce p ts   f r o m   s u b s tan ce   an d   p r o p er ties   o f   s u b s tan ce s   to   m ak e   p r e d ic tio n s   n e ed   to   d is cr im in ate,   in ter p r et  a n d   e v alu ate  a   d ata   s et  f o r   s u p p o r tin g   h y p o th esis   o r   th eir   r ea s o n s   [ 29 ].   T h is   r esu lt  s u g g ests   th at  E S   an d   I E   d im en s io n s   ca n   b e  co l lap s ed   to   o n e  n ew  d im en s io n   as  “e x p lain   an d   in ter p r et  d ata  s cien tific ally ”  th u s   r em ain in g   th e   f o u r   co m p eten c y   lev els.     3 . 3 .   Relia bil it y   ev idence   R esear ch er s   u s ed   th r ee   m eth o d s   to   ass es s   th e  r eliab ili ty   o f   th e  ass ess m en t  f r am ewo r k .   T h e  f ir s t   m eth o d   was  an aly zin g   th e  r eliab ilit y   co ef f icien t  u s in g   MRC ML   m o d el  b y   id en tify in g   E x p ec ted - A - Po s ter io r i   an d   Sep ar atio n   ( E AP/P V)   v alu e .   T h e  E AP/P V  v alu es  o f   E S,  E D,   an d   I E   d im en s io n s   wer e  0 . 7 8 ,   0 . 5 8 ,   an d   0 . 7 6   r esp ec tiv ely .   T h is   im p lie s   th at  o n ly   two   d im en s io n s   ( E S  an d   I E )   a r e  c o n s id er ed   as  s u itab le  p r ec is io n   to   u s e  as  an   ass ess m en t  f r am e wo r k   wh ich   is   co n s is ten t  with   th e  cr iter ia  s et  b y   [ 3 0 ]   w h o   s u g g ested   th at  th e   p r ec is io n   o f   th e  m ea s u r i n g   co ef f icien t  s h o u ld   b e  g r ea ter   th a n   0 . 7 0 .   Ho wev e r ,   E D  d im en s io n   is   f o u n d   b elo w   th e  ac ce p tan ce   cr iter ia.   T h e  s e p ar atio n   r eliab ilit y   e q u als 0 . 9 8 .     Seco n d l y ,   we  ex am i n ed   t h e  r eliab ilit y   o f   t h e  ass ess m en t  f r am ewo r k   u s in g   th e  s tan d a r d   d ev iatio n   g r ap h   SEM   b y   id en tify in g   th e   s tan d ar d   er r o r   o f   m ea s u r em e n t  ( SEM ) .   W h en   th e  m u ltid im en s io n al  m o d el  was  s ep ar ated   in to   th r ee   r elate d   s u b - d im en s io n s ,   n am ely   SEM   ( θ ES ) ,   SEM   ( θ ED ) ,   a n d   SEM   ( θ IE )   d im en s io n s ,   th e   laten t p ar am eter   o f   ea ch   s tu d e n t w o u ld   h a v e  a  d if f er en t SE M.     Fin ally ,   r esear ch er s   u tili ze d   th e  s tan d ar d   d ev iatio n   g r a p h   SEM   to   ass e s s   th e  r eliab ili ty   o f   th e   ass es s m en t  f r am ewo r k   b y   ex a m in in g   th e  SEM .   W h en   th e  m u ltid im en s io n al  m o d el  was  s ep ar ated   in to   th r ee   r elate d   s u b - d im e n s io n s ,   n am e ly   E S  ( θ ES ) ,   E D  ( θ ED ) ,   an d   I E   ( θ IE ) ,   th e  laten t  p ar am eter   o f   e ac h   s tu d en t  wo u ld   h av e  a  d if f e r en t  SEM .   R esu lts   s h o wed   th at  th e  m ea n   s co r e  i n   E S  ( θ ES )   is   h ig h er   th an   I E   ( θ IE )   an d   E D  (θ ED )   in   th at  o r d er .   T h e r ef o r e ,   it  was  f o u n d   th at  E S  ( θ ES )   an d   I E   ( θ IE )   ar e  h a v in g   th e  s am e  ch a r ac ter is tics   as  th o s e   o b tain ed   f r o m   th e  3 D  m o d el.   T h e  ab o v e  an al y s is   is   th e  th ir d   r eliab ilit y   ev id e n ce .   Fig u r e  3   illu s tr ate  th e  SEM   f o r   th e   th r ee   s ep ar ated   s u b - d i m en s io n s .   T h ese  r esu lts   s u g g e s t  th at  ass ess m en t  f r am ewo r k   is   f o u n d   ap p r o p r iate  f o r   a   s tu d en t  in   th e  i n ter m ed ia te  lev el  o f   s cien ce tific   co m p et en cies  m o r e  th a n   th e   lo w  a n d   h ig h   lev el.   T h is   is   b ec au s e  th e  lo west M P lev el  o f   s tu d en ts   s h o wed   th e  h ig h est  er r o r   o f   SEM   v alu e.                   ( a)   SEM   f o r   E S ( θ ES )   ( b )   SEM   f o r   I E   ( θ IE )   ( c)   SEM   f o r   E D  ( θ ED )     Fig u r e  3 .   Stan d a r d   er r o r   o f   m e asu r em e n t o f   E S,  I E ,   a n d   E D  d im en s io n s     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c .     I SS N:  2252 - 8 8 2 2       Dev elo p in g   a n   a s s ess men t fra mewo r k  o f m u ltid imen s io n a l scien tifi c  co mp eten cies  ( S a s ima   I n ta s o i )   969   3 . 4 .   Q ua lity   o f   it e m   f i t   B ased   o n   th e  r esu lts   o f   t h e  f ir s t  p h ase,   s tatis tical  an aly s i s   o f   th e  ap p r o p r iaten ess   o f   ea ch   it em   o f   th e   MRC ML   u s es  th e  Mu ltid im e n s io n al  Fo r m   o f   Par tial  C r ed it  Mo d el  b y   C o n q u est  2 . 0   [ 1 2 ] .   T h e  cr iter ia  to   d eter m in e  th e  s u itab ilit y   o f   th e  o u tf it  MN SQ  an d   in f it   MN S Q  v alu es  s h o u ld   b e  b etwe en   0 . 7 5   to   1 . 3 3   [ 1 1 ] .   I f   b o th   o f   th ese  v al u es  ar e  in   t h i s   r an g e,   th e n   th e   ass ess m en t  f r am ewo r k   will  b e   ap p r o p r iate  to   th e  d ata.   R esu lt s   r ev ea led   th at   th e  item   d if f ic u lties   wer e  ap p r o p r iate  b ec a u s e  th e  ass ess m en t  f r am ewo r k   h as  its   d if f icu lty   r an g ed   f r o m   - 1 . 2 4   to   1 . 2 2   a n d   th e  s tatis tics   co n s is ten cy   o f   in f it   MN SQ  r an g ed   f r o m   0 . 8 1   to   1 . 2 3   was  at  th e   ac ce p tab le  r an g e  [ 1 1 ] .   T a b le  5   s h o ws th e  d etails o f   th e  item   f it r esu lt.       T ab le  5 .   R esu lts   o f   item   f it st atis tic  an aly s is     D i me n si o n   I t e m   b   I N F I T   Th r e s h o l d   1   Th r e s h o l d   2   Th r e s h o l d   3   M N S Q   CI   T   Ex p l a i n   p h e n o m e n a   sci e n t i f i c a l l y   ( ES)   1   0 . 9 8 0   1 . 1 5   0 . 8 5 ;   1 . 1 5   1 . 8   - 0 . 5 7   0 . 5 5   2 . 9 5   3   0 . 3 7 1   1 . 2 3   0 . 8 6 ;   1 . 1 4   2 . 9   - 0 . 4 7   1 . 2 1     9   - 0 . 3 2 1   1 . 0 0   0 . 8 9 ;   1 . 1 1   - 0 . 0   - 0 . 3 2       11   0 . 2 3 3   0 . 8 1   0 . 8 9 ;   1 . 1 1   - 3 . 7   0 . 2 3       12   - 0 . 1 9 5   0 . 8 7   0 . 8 9 ;   1 . 1 1   - 2 . 4   - 0 . 2 0       13   0 . 5 9 9   0 . 8 6   0 . 8 8 ,   1 . 1 2   - 2 . 4   0 . 6 0       16   1 . 2 1 7   1 . 1 0   0 . 8 6 ;   1 . 1 4   1 . 4       1 . 2 2   Tr a n s i t i o n   P o i n t   - 0 . 1 2   0 . 8 8   2 . 0 9   Ev a l u a t e   a n d   d e s i g n   sci e n t i f i c   e n q u i r y   ( ED )   2   - 1 . 2 4 3   1 . 0 0   0 . 8 6 ;   1 . 1 4   0 . 0     - 1 . 2 4     4   - 0 . 4 7 1   1 . 0 0   0 . 9 2 ;   1 . 0 8   0 . 0   - 0 . 4 7       6   0 . 6 5 4   0 . 9 9   0 . 8 5 ;   1 . 1 5   - 0 . 1   - 0 . 3 4   0 . 7 7   1 . 5 5   10   0 . 1 4 2   1 . 0 5   0 . 9 3 ;   1 . 0 7   1 . 5     0 . 1 4     Tr a n s i t i o n   P o i n t   - 0 . 4 1   - 0 . 1 1   1 . 5 5   I n t e r p r e t   d a t a   a n d   e v i d e n c e   sci e n t i f i c a l l y   ( I E)   5   0 . 3 4 1   1 . 0 3   0 . 8 7 ;   1 . 1 3   0 . 4   - 0 . 0 6   0 . 7 4     7   0 . 3 3 2   1 . 0 5   0 . 9 1 ;   1 . 0 9   1 . 0       0 . 3 3   8   - 0 . 0 1 7   1 . 1 0   0 . 8 5 ;   1 . 1 5   1 . 3   0 . 7 0   0 . 1 4   0 . 7 6   14   0 . 1 3 4   0 . 9 8   0 . 9 1 ;   1 . 0 9   - 0 . 5   0 . 1 3       15   0 . 3 3 2   0 . 8 7   0 . 9 1 ;   1 . 0 9   - 3 . 0   0 . 3 3       Tr a n s i t i o n   P o i n t   0 . 2 8   0 . 4 4   0 . 5 5       4.   CO NCLU SI O N     T h e  m ain   o b jectiv e  o f   th e   M u ltid im en s io n al  Scien tific   C o m p eten cies  Fra m ewo r k   to   ev alu ate  th e  s ev en th - g r a d e  s tu d en ts ’   s cien t if ic  co m p eten cies  in   th e  n o r th ea s ter n   r eg io n   o f   T h ailan d .   R esu lts   s h o wed   th at   s cien tific   co m p eten cy   is   b ett er   m ea s u r ed   u s in g   a  m u ltid i m en s io n al  m o d el  r at h er   th an   a   u n id im en s io n al   m o d el.   B esid es,  th e  r esu lts   o f   th e  s tu d y   im p ly   th at  E S  a n d   I E   d im en s io n s   ca n   b e  co m b in e  to   o n e  n e w   d im en s io n   as  “e x p lain   a n d   in ter p r et   d ata  s cien tific ally ”  th u s   r em ai n in g   t h e  f o u r   co m p eten cy   lev els.  Mo r eo v er ,   r esu lt  f o u n d   t h at  th e  E D  d im en s io n   h as  a  lo w  p r ec is io n   b ec au s e  th e  n u m b er   o f   item s   was   in ad eq u ate  f o r   esti m atin g   s tu d en ts ’   s cien tific   co m p eten cies .   C o n s eq u en tly ,   th is   d im e n s io n   s h o u ld   b e  ad d e d   m o r e  item s   to   co v er   b o th   ea s y   an d   h ar d   le v els.  I n   ad d itio n ,   co n s id er in g   th e  d eter m in atio n   o f   th e   tr an s itio n   p o in t  o f   t h e  I E   d im e n s io n ,   it   was  f o u n d   th at  th e  tr a n s itio n   p o in t  v al u es  ( 0 . 2 8 ,   0 . 4 4 ,   a n d   0 . 5 5 )   wer e   v er y   ad jace n t  to   all  o f   th e  v alu es .   As  a  r esu lt,  th is   f r am ewo r k   s h o u ld   n o t  class if y   in   ea ch   l ev el  clea r ly .   I n   th e   f u tu r e,   th e  r esear ch er s   s h o u ld   r ev is e  th e  s co r i n g   g u id e,   esp e cially   lev el  2 ,   an d   lev el   3 .   T h e  im p licatio n   is   t h at   th e  ass ess m en t  to o l  ca n   p r o v i d e  r ich   in f o r m atio n   o f   th o s e  s tu d en ts   wh o   ar e   at  th e  in ter m ed iate  lev el.   T h is   is   r ef lecte d   in   th e  r esu lts   o f   SE M    v alu e  f o r   esti m atin g   late n t  ab ilit y   in   E S,  I E ,   a n d   E D  d im en s io n s   was  at  th e  lo west r an g e  o f   l o g its .       ACK NO WL E DG M E N T S    R esear ch er s   wo u ld   lik e  to   t ak e  th is   o p p o r tu n ity   to   th a n k  th e  T h ailan d   R esear ch   Fu n d   ( T R F)   Ad v an ce d   R esear ch   Sch o la r ,   Kh o n   Kae n   U n iv er s ity ,   T h ailan d   ( Gr an t  No :  R SA6 0 8 0 0 7 4 ) ,   Facu lty   o f   E d u ca tio n ,   Kh o n   Kae n   Un i v er s ity   to   m ak e  t h is   r esear ch   a  s u cc ess .   Sp ec ial  th an k s   to   Gr ad u ate  Sch o o l  o f   Kh o n   Kae n   Un i v er s ity ,   T h ai l an d   f o r   p r o v id in g   f in a n cial  s u p p o r t  to   atten d   at   th e  3 r d   W o r ld   C o n f e r en ce   o n   E d u ca tio n   2 0 1 9   ( W C E DU  2 0 1 9 )   at  Ku alar   L u m p u r ,   Ma lay s ia .       RE F E R E NC E S    [1 ]   M .   M a iso n ,   e t  a l . ,   “ Co m p a ris o n   o f  S t u d e n t  Att it u d e s  to wa rd s   Na tu ra l  S c ien c e s,”   In ter n a ti o n a l  J o u rn a l  o f  Eva lu a ti o n   a n d   Res e a rc h   i n   E d u c a ti o n ,   v o l .   9 ,   n o .   1 ,   p p .   5 0 - 6 1 ,   2 0 2 0 .   [2 ]   J.  Ju frid a ,   e t  a l . ,   “ S c ie n ti fic  Li tera c y   a n d   S c ien c e   Lea rn in g   Ac h i e v e m e n t  a t  Ju n i o r  Hi g h   S c h o o l , ”   In ter n a t io n a l   J o u rn a l  o f  Eva l u a ti o n   a n d   Res e a rc h   in   Ed u c a ti o n ,   v o l.   8 ,   n o .   4 ,   p p .   6 3 0 - 6 3 6 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   4 ,  Dec em b e r   2 0 2 0 :   9 6 3   -   9 7 0   970   [3 ]   Z.   Tau ri n a ,   “ S tu d e n t’s  M o ti v a ti o n   a n d   Lea rn i n g   O u tco m e s:  S ig n if ica n t  F a c to rs  i n   I n tern a l  S t u d y   Q u a li ty   As su ra n c e   S y ste m , ”   In ter n a ti o n a l   J o u r n a l   fo r Cro ss - Disc ip k in a ry   S u b jec ts i n   Ed u c a ti o n ,   v o l .   5 ,   n o .   4 ,   p p .   2 6 2 5 - 2 6 3 0 ,   2 0 1 5 .   [4 ]   C.   Yu e n y o n g   a n d   P .   Na rjaik a e w ,   “ S c ien c e   Li tera c y   a n d   T h a il a n d   S c ien c e   Ed u c a ti o n , ”   In ter n a ti o n a l  J o u rn a l  o f   E n v iro n me n ta l  &   S c ien c e   Ed u c a ti o n ,   v o l.   4 ,   n o .   3 ,   p p .   3 3 5 - 3 4 9 ,   2 0 0 9 .   [5 ]   J.  F .   Os b o r n e ,   “ Arg u in g   to   Lea rn   i n   S c ie n c e :  Th e   Ro le  o f  C o ll a b o ra ti v e ,   Crit ica l   Disc o u rse , ”   S c ien c e ,   v o l.   3 2 8 ,     n o .   5 9 7 7 ,   p p .   4 6 3 - 4 6 6 ,   2 0 1 0 .   [6 ]   R.   M il lar,   “ Twe n ty - first   Ce n t u ry   S c ien c e :  In si g h ts  fr o m   th e   De si g n   a n d   Im p lem e n tatio n   o f   a   S c i e n ti fic  Li tera c y   Ap p ro a c h   in   S c h o o l  S c ien c e , ”   In t e rn a ti o n a l   J o u r n a l   o f   S c ien c e   Ed u c a ti o n ,   v o l.   2 8 ,   n o .   1 3 ,   p p .   1 4 9 9 - 1 5 2 1 ,   2 0 0 6 .   [7 ]   OECD,  “ P IS A  f o r   De v e lo p m e n t  S c ien c e   F ra m e wo rk , ”   PIS A   fo r   De v e lo p me n t   Asse ss me n t  a n d   A n a lytic a l   Fra me wo rk :  Rea d i n g ,   M a t h e ma ti c s a n d   S c ien c e ,   2 0 1 7 .   [8 ]   L.   G iam m a tt e o ,   “ Co m p e ten c y - b a se d   As se ss m e n t  in   t h e   S c ien c e   Lab , ”   Ob se rv a t o ry   o f   Ed u c a ti o n a l  In n o v a ti o n ,  2 0 1 8 .   [On li n e ].   Av a il a b le:   h t tp s:// o b se rv a to r y . tec . m x /e d u - b it s - 2 /c o m p e ten c y - b a se d - a ss e ss m e n t - in - th e - sc ien c e - lab   [9 ]   M .   T.   Ka n e   a n d   R.   J.  Tan n e n b a u m ,   “ Th e   R o le  o f  Co n stru c t  M a p s  in   S tan d a rd   S e tt in g ,”   M e a su re me n t :   In ter d isc ip li n a ry   Res e a rc h   a n d   P e rs p e c ti v e s ,   v o l.   1 1 ,   n o .   4 ,   p p .   1 7 7 - 1 8 0 ,   2 0 1 3 .   [1 0 ]   A.  E.   Wy se ,   “ Co n str u c t  M a p   a s  a   F o u n d a ti o n   f o r  S tan d a rd   S e tt i n g , ”   M e a su re me n t:  In ter d isc ip l in a ry   Res e a rc h   a n d   Per sp e c ti v e s ,   v o l.   1 1 ,   n o .   4 ,   p p .   1 3 9 - 1 7 0 ,   2 0 1 3 .   [1 1 ]   M .   Wi lso n ,   C o n stru c ti n g   M e a su re s:  An   Item   Res p o n se   M o d e li n g   A p p ro a c h .   M a h w a h ,   NJ :   Law re n c e   Erl b a u m   As so c . ,   2 0 0 5 .   [1 2 ]   T.   C.   Re e v e s,  “ De sig n   Re se a rc h   fro m   a   Tec h n o l o g y   P e rsp e c ti v e , ”   I n   J.  V.  D.  A k k e r,   K.   G ra v e m e ij e r,   S .   M c Ke n n e y   a n d   N.  Nie v e e n   (Ed s.) ,   E d u c a t io n a l  De sig n   Res e a rc h ,   p p .   5 2 - 6 6 ,   N e w Yo rk :  R o u tl e d g e ,   2 0 0 6 .   [1 3 ]   T.   Am iel  a n d   T.   C.   Re e v e s,  “ De sig n - b a se d   Re se a rc h   a n d   Ed u c a ti o n a l  Tec h n o l o g y :  Re th in k in g   Tec h n o l o g y   a n d   t h e   Re se a rc h   Ag e n d a , ”   Ed u c a ti o n a l  T e c h n o l o g y   &   S o c iety ,   v o l .   1 1 ,   n o .   4 ,   p p .   2 9 - 4 0 ,   2 0 0 8 .   [1 4 ]   T.   S tem b e rg e r  a n d   M .   Ce n c ic,  “ De sig n   Ba se d   Re se a rc h :  Th e   Way   o f  De v e lo p i n g   a n d   Im p le m e n ti n g , ”   W o rl d   J o u rn a l  o n   E d u c a ti o n a l  T e c h n o l o g y :  Cu rr e n t  Iss u e s ,   v o l .   8 ,   n o .   3 ,   p p .   1 8 0 - 1 8 9 ,   2 0 1 6 .     [1 5 ]   R.   J.  Ad a m s,  M .   W il so n ,   a n d   W .   Wan g ,   “ Th e   M u l ti d ime n si o n a l  Ra n d o m   C o e fficie n ts  M u lt i n o m ia l  Lo g it   M o d e l, ”   Ap p li e d   Psy c h o lo g ica l  M e a su re m e n t ,   v o l.   2 1 ,   n o .   1 ,   p .   1 - 23 ,   1 9 9 7 .   [1 6 ]   P .   Ju n p e n g ,   M .   I n p ra sit h a   a n d   M .   Wi lso n ,   “ M o d e li n g   o f   th e   O p e n - e n d e d   Item s  fo r   As se ss in g   M u lt i p le  P ro ficie n c ies   in   M a th e m a ti c a l  P ro b lem   S o lv in g , ”   T h e   T u rk ish   On li n e   J o u rn a l  o f  E d u c a ti o n a l  T e c h n o lo g y ,   v o l .   2 ,   S p e c ial  Iss u e   fo r  INTE - ITI CAM - IDEC ,   p p .   1 4 2 - 1 4 9 ,   2 0 1 8 .     [1 7 ]   M .   C u ste r,   “ S a m p le   siz e   a n d   it e m   p a ra m e ter  e stim a ti o n   p re c isio n   w h e n   u ti l izin g   t h e   o n e - p a ra m e ter  ‘ Ra sc h ’  m o d e l, ”   P a p e r  p re se n ted   a t  T h e   a n n u a l  me e ti n g   o f  t h e   mid - we ste rn   E d u c a ti o n a l  Res e a rc h   Asso c ia t io n ,   E v a n st o n ,   2 0 1 5 .   [1 8 ]   S .   Jia n g ,   C.   Wan g   a n d   D.   J.  Weiss ,   “ S a m p le  S ize   Re q u irem e n ts  fo r   Esti m a ti o n   o f   Item   P a ra m e ters   in   t h e   M u lt i d ime n sio n a l  G ra d e d   Re sp o n se   M o d e l, ”   Fr o n t ier s  in   Psy c h o lo g y ,   v o l .   7 ,   p .   1 0 9 ,   2 0 1 6 .   [O n li n e ].   Av a il a b le :   h tt p s:/ /d o i. o rg / 1 0 . 3 3 8 9 /fp sy g . 2 0 1 6 . 0 0 1 0 9   [1 9 ]   D.  Ad o m ,   J.   A.  M e n sa h   a n d   D .   A.  Da k e ,   “ Tes t,   M e a su re m e n t  a n d   E v a lu a ti o n :   Un d e rsta n d i n g   a n d   Us e   o f  t h e   Co n c e p ts  i n   E d u c a ti o n , ”   In ter n a ti o n a l  J o u rn a l  o f  Ev a lu a ti o n   a n d   R e se a rc h   in   E d u c a ti o n ,   v o l.   9 ,   n o .   1 ,   p p .   1 0 9 - 1 1 9 ,   2 0 2 0 .   [2 0 ]   J.  Ad u - M e n sa h ,   “ Th e   Atti tu d e   o f  Ba sic   S c h o o l  Tea c h e rs  to wa rd   G ra d in g   P ra c ti c e s:  De v e lo p in g   a   S tan d a rd ize d   In stru m e n t, ”   I n ter n a ti o n a l   J o u r n a l  o f  S o c i a l  S c ien c e s &   Ed u c a ti o n a l  S t u d ies ,   v o l .   5 ,   n o .   1 ,   p p .   5 2 - 6 2 ,   2 0 1 8 .   [2 1 ]   P .   Ju n p e n g ,   “ M u l ti d im e n si o n a l   It e m   Re sp o n se   T h e o ry , ”   Ap p li c a ti o n   o f   M u lt i d ime n sio n a l   Item   Res p o n se   T h e o ry   to   Res e a rc h ,   p .   7 5 ,   2 0 1 8 .   [2 2 ]   J.  M .   Li n a c re ,   “ Op ti m izin g   Ra ti n g   S c a le  Ca teg o ry   Eff e c ti v e n e ss , ”   J o u rn a l  o f  A p p li e d   M e a s u re me n t ,   v o l .   3 ,   n o .   1 ,   p p .   8 5 - 1 0 0 ,   2 0 0 2 .   [2 3 ]   Am e rica n   Ed u c a ti o n a l   Re se a rc h   As so c iatio n   (AERA),  Am e rica n   P sy c h o l o g ica l  As so c iatio n   (APA),   a n d   Na ti o n a l   Co u n c il   o n   M e a su re m e n t  in   E d u c a ti o n   (NCME ),   S t a n d a r d s  f o r  Ed u c a ti o n   a n d   Psy c h o l o g ic a l  T e stin g   (6 th   e d . ) .   Was h in g to n ,   DC:  E d u c a ti o n a l  Re se a rc h   As so c iati on ,   2 0 1 4 .   [2 4 ]   M .   L.   W u ,   R.   J.  Ad a m s,  M .   R .   W il so n   a n d   S .   A.  Ha l d a n e ,   ACE R  C o n Qu e st  Ver sio n   2 :  Ge n e ra l ize d   I tem   re sp o n se s  mo d e li n g   so ft wa re .  Ca m b e rwe ll :  Au stra li a n   C o u n c il   fo r  Ed u c a ti o n a l  Re se a rc h ,   2 0 0 7   [2 5 ]   M .   R.   W il so n   a n d   P .   De   B o e c k ,   “ De sc rip ti v e   a n d   Ex p lan a t o ry   It e m   Re sp o n se   M o d e ls,”  In   P .   De   Bo e c k   &   M .   Wi lso n   (Ed s.) ,   Exp l a n a t o ry   Item   M o d e ls:  A  Ge n e ra li ze d   L in e a r a n d   No n li n e a r .   Ne w Yo r k :  S p rin g e r - Ve rlag ,   2 0 0 4 .   [2 6 ]   L.   Ya o   a n d   R.   D.  S c h wa rz ,   “ A  M u lt id ime n sio n a l   P a rti a l   Cre d it   M o d e l  wit h   As so c iate d   Item   a n d   Tes t  S tatis ti c s:   An   Ap p li c a ti o n   t o   M ix e d - f o rm a t  Tes ts,”  Ap p l ied   Psy c h o lo g ica l  M e a su re me n t ,   v o l .   3 0 ,   n o .   6 ,   p p .   4 6 9 - 4 9 2 ,   2 0 0 6 .   [2 7 ]   G .   S c h wa rz ,   “ Esti m a ti n g   th e   Dim e n sio n   o f  a   M o d e l , ”   T h e   A n n a ls  o f  S t a ti stics ,   v o l.   6 ,   n o .   2 ,   p p .   4 6 1 - 4 6 4 ,   1 9 7 8 .   [2 8 ]   T.   H.  L in   a n d   C .   M .   Da y to n ,   “ M o d e l  S e lec ti o n   I n fo rm a ti o n   Cr it e r ia  fo r  No n - Ne ste d   Late n t   Clas s  M o d e ls,”  J o u rn a l  o f  E d u c a t io n a l   a n d   Be h a v i o ra l  S t a ti stics ,   v o l.   2 2 ,   n o .   3 ,   p p .   2 4 9 - 2 6 4 ,   1 9 9 7 .     [2 9 ]   K.  L.   M c Ne il l  a n d   J .   S .   Kra jcik .   “ S c ien ti fic  E x p lan a ti o n s:   Ch a ra c t e rizin g   a n d   Ev a l u a ti n g   t h e   Eff e c t s  o f  Tea c h e rs’  In stru c ti o n a l  P ra c ti c e s  o n   S t u d e n t  Lea rn in g , ”   J o u rn a l  o f   Res e a rc h   in   S c ien c e   T e a c h in g ,   v o l  4 5 ,   n o .   1 ,   p p .   5 5 - 7 8 ,   2 0 0 8 .   [3 0 ]   J.  C.   Nu n n a ll y ,   Psy c h o me tric th e o ry   (2 nd   e d . ).   Ne w Yo rk ,   M c G ra w - Hill ,   1 9 7 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.