I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in Ed uca t io n ( I J E RE )   Vo l.   9 ,   No .   3 ,  Sep tem b er   2020 ,   p p .   564 ~ 571   I SS N:  2252 - 8822 ,  DOI : 1 0 . 1 1 5 9 1 / i j e r e . v 9 i 3 . 2 0 5 4 4           564       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   Desig ning  and v e rifying  a too l f o r  dia g no sing  scientif ic  m isco nce ptions  in  genetics  topic       Sa s it ho rn  K a nta ha n 1 ,   P utc ha re e  J un peng 2 ,   So m po ng   P u ntura t 3 ,   K eo w   Ng a ng   T a ng 4 ,    P er m a n  G o chy y ev 5 ,   M a rk   Wils o n 6   1, 2, 3 F a c u l ty   o f   Ed u c a ti o n ,   K h o n   K a e n   Un iv e rsity ,   T h a il a n d   4 In tern a ti o n a l  C o ll e g e ,   Kh o n   Ka e n   Un iv e rsity ,   T h a il a n d   5, 6 G ra d u a te S c h o o l  o f   Ed u c a ti o n ,   Un iv e rsit y   o f   Ca li f o rn ia,  Un it e d   S tate s        Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   1 8 ,   2 0 2 0   R ev i s ed   Ma y   2 1 ,   2 0 2 0   A cc ep ted   J u l   1 3 ,   2 0 2 0       T h e   m a in   p u r p o se   o f   th is  stu d y   wa s  to   d e sig n   a n d   v e rify   th e   q u a li ty     o f   a n   a ss e ss m e n t  a ime d   a t  d iag n o sin g   sc ien ti f ic  m isc o n c e p ti o n s  a m o n g   stu d e n ts  e n r o ll e d   in   1 0 t h - g ra d e   b i o lo g y   su b jec ts.  A   sa m p le  c o n siste d   o f   N= 2 0 0   stu d e n ts   f ro m   sc h o o ls  u n d e r   th e   a d m in istratio n   o f   th e   Of f i c e   o f   S e c o n d a ry   Ed u c a ti o n a l  S e rv ice   3 1 ,   Na k h o n   Ra tc h a sim a   p ro v in c e .   W e   e m p lo y e d     th e   d e sig n - b a se d   a p p r o a c h ,   w h ich   c o n sists   o f   f o u r  p h a se s,  n a m e l y ,   c o n str u c t   m a p ,   it e m   d e si g n ,   o u tco m e   sp a c e ,   a n d   W rig h t  m a p .   M u lt i d im e n sio n a l  Ra n d o m   Co e ff icie n t  M u lt i n o m ial  L o g it   M o d e l   ( M RCM L M )   w a s  u se d   t o   e v a lu a te  th e   q u a li ty   o f   th e   a ss e ss m e n t  to o l.   T h e   a ss e ss m e n t  to o l  c o n sists   o f   tw o   d i m e n sio n s,   n a m e l y ,   k n o w led g e   a n d   re a so n i n g .   T h e   a ss e ss m e n t  to o l  is  c o m p rise d   o f   4 0   it e m s,  w it h   2 0   it e m s  tap p in g   e a c h   o f   th e   d im e n sio n s.  F in d in g s  f o r m   it e m   a n a ly sis  a n d   m o d e li n g   re v e a led   su f f i c ie n t  e v id e n c e   o n   th e   in ter n a l   stru c t u re   a n d   v a li d it y   o f   th e   in str u m e n t.   It  c a n   b e   c o n c lu d e d   t h a t  th e   u n i d i m e n sio n a l   m o d e l  is  m o re   a p p ro p riate   t h a n   t h e   m u lt id im e n sio n a l  m o d e l  f o r  d iag n o sin g   sc ien ti f ic  m i sc o n c e p ti o n s  i n   th e   g e n e ti c s  to p ic  f o r  d ich o t o m o u sly   s c o re d   w it h   f o u r  o p ti o n s  i n   e a c h   it e m .   T h e   p o ly to m o u s  sc o re d   ty p e   sh o u l d   b e   f u rth e r   in v e stig a ted   to   d e term in e   th e   b e st   f it   m o d e l  in   th e   it e m s  re l a ti n g   to   e v id e n c e - b a se d   re a so n in g   f o r  su p p o rti n g   stu d e n ts’  a n sw e rs.   K ey w o r d s :   Ass es s m en t to o l   C o n s tr u ct  m o d eli n g   Gen etic  to p ic   R asc h   m o d el   Scien ti f ic  m i s co n ce p tio n s   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   P u tch ar ee   J u n p en g ,     Dep ar t m en t o f   E d u ca tio n al  M ea s u r e m en t a n d   E v al u atio n ,     Facu lt y   o f   E d u ca t io n ,   Kh o n   Kae n   U n iv er s it y ,   1 2 3   Mitr ap h ap   R o ad ,   A .   Mu a n g ,   K h o n   Kae n   4 0 0 0 2 ,   T h ailan d .   E m ail: j p u tch a @ k k u . ac . t h       1.   I NT RO D UCT I O N   T h e  cu r r en t  ed u ca tio n   s y s te m   r eq u ir es  a  h i g h   d eg r ee   o f   f le x i b ilit y   a n d   ad ap tatio n   to   f ac e  e co n o m ic ,   tech n o lo g ical,   s o cial,   an d   p er s o n al  ch allen g e s .   R esp o n d in g   to   ch allen g e s   o f   th e  2 1 s t  ce n tu r y   w it h   its   co m p le x   en v ir o n m e n tal,   s o cial,   an d   ec o n o m ic  f o r ce s   r eq u ir es  s tu d e n ts   to   b e  cr ea ti v e,   in n o v at iv e,   an d   ad ap tiv e  w it h     th e  m o ti v atio n ,   co n f id e n ce ,   an d   s k ills   to   u s e  th e ir   cr itical  an d   cr ea tiv e  th i n k in g   d ec is i v el y   [ 1 ] .   I n   th is   n e w   a g e,   teac h i n g   a n d   lear n i n g   s c ien ce   s u b j ec ts ,   in   p ar ticu lar ,   r eq u ir e  an   ef f ec ti v e  as s e s s m e n t  to o l.  T h is   ca n   b e  ac h iev ed   b y   an   i n ter ac ti v e  an d   cr ea tiv e   ed u ca tio n al  ass es s m en t  t h at  is   f o cu s ed   o n   in d iv id u al  n ee d s   an d   ab ilit ies  [ 2 ] .     Fo r   d ec ad es,   s cien ce   ed u ca tio n   r ef o r m er s   h a v e  p r o m o ted   th e  id ea   th at,   to   b ec o m e  in n o v ati v e  p r o b lem - s o l v er s ,   st u d e n ts   s h o u ld   b e  en g a g ed   in   th e  d is co v er y   o f   s cie n ce   an d   tau g h t  ev id en ce - b ased   r ea s o n i n g   a n d   h ig h er - o r d er   co g n iti v e  s k il ls   [ 3 ,   4 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al   &   R e s   E d u c .     I SS N:  2252 - 8822       Desig n in g   a n d   ve r ifyin g   a   to o l   fo r   d ia g n o s in g   s cien tifi c  mis c o n ce p tio n s   in   g en etics …   ( S a s ith o r n   K a n ta h a n )   565   Misco n ce p tio n s   s h ap e  m aj o r   t h eo r etica l  p er s p ec tiv es  i n f o r m in g   s cien ce   teac h i n g   a n d   ass es s m e n t  [ 5 ] .   I n   th e  co n tex t  o f   So cr atic   i n s t r u ctio n ,   s t u d en t  m is co n ce p tio n s   ar e  id en tifie d   an d   ad d r ess e d   th r o u g h   a  p r o ce s s   o f   q u esti o n in g   an d   lis ten i n g .   Ma n y   a s s es s m en t s   h a v e  b ee n   e m p lo y ed   to   u n d er s ta n d   w h at  s tu d e n ts   ar e  th i n k in g   in   r esp o n s e  to   in s tr u ctio n .   T h er e  is   a  m o r e  r esear ch - in ten s i v e  ap p r o ac h   to   b u ild in g   an   as s ess m e n t  in s tr u m e n t   th at  in v o lv e s   in ter v ie w i n g   s t u d en ts   to   g en er ate  ite m s   th at  w il l  m a k e  u p   a  d iag n o s tic  ass ess m en t  to o l  [ 6 ,   7 ] .   Su c h   an   ass e s s m e n t  to o l  ca n   b e  p ar ticu lar ly   h elp f u l  i n   id en ti f y in g   d if f ic u lt  id ea s   th at  s er v e  as  a  b ar r ier   to   ef f ec tiv e  i n s tr u ctio n   [ 8 ] .     Gen etic s   is   a  f u n d a m e n tal  u n i f y in g   th e m e,   a  b r an ch   o f   b io lo g y   co n ce r n ed   w it h   th e  s t u d y   o f   g en es ,   g en et ic  v ar iat io n ,   a n d   h er ed it y   in   o r g a n is m s ,   an d   a  k e y   co m p o n en t  o f   s cie n ti f ic  li ter ac y   [ 9 - 1 3 ] .   Fro m   f o r en s i c   DN A   an al y s is   to   d etec tin g   a n d   u n d er s ta n d in g   th e  ca u s e s   o f   ca n ce r ,   ad v an ce s   in   g e n etics  u n d er lie  k e y   ar ea s   in   21 st - ce n t u r y   tech n o lo g y ,   s cie n ce ,   an d   in d u s tr y .   P r o b lem - s o lv in g   is   r ec o g n ized   as  a  v alu ab le  ed u ca tio n al   ex p er ien ce   i n   s cie n ce .   Gen e ti cs  p r o v id es  a  co n tex t  f o r   p r o b le m - s o lv i n g   i n   h i g h   s c h o o l  b io lo g y   an d   o f f er s     an   o p p o r tu n it y   f o r   s t u d y i n g   s tu d e n ts ’   p r o b le m - s o l v in g   s k ills   a n d   t h eir   m is co n ce p tio n s   in   u n d er s tan d i n g     s cien ce   [ 7 ,   1 0 - 1 7 ] .   Ho w e v e r ,   p ast  r esear ch   s h o w ed   th a t  T h ai  s tu d e n ts   ar e  g e n er all y   n o t  s u cc ee d i n g     in   d ev elo p in g   a  d ee p   u n d er s t an d in g   o f   g en e tics   t h at  i s   n e ce s s ar y   to   li n k   th e  co n ce p ts   an d   g e n etics  f ac t s     f o r   p r o b lem - s o lv i n g   th at  r ela tin g   to   ev id en ce - b ased   r ea s o n in g   f o r   s u p p o r tin g   t h eir   an s w er s   co r r ec tl y   a n d   th o r o u g h l y   [ 1 8 ] .   T h er ef o r e,   th e  m ai n   p u r p o s e  o f   t h i s   s tu d y   w a s   to   d ev e lo p   a  s o u n d   as s es s m en t  to o l  to   a s s es s   10 th - g r ad e  s t u d en t s ’   m is co n ce p tio n s   i n   g en e tics   to p ics.  T h es e  m i s co n ce p tio n s   ar e  h y p o th e s ized   to   s p an   ac r o s s   t w o   q u ali tati v el y   d i s tin c t d i m e n s io n s ,   n a m el y   t h e  d ep th   o f   k n o w led g e  ( KN)   a n d   th e  r ea s o n i n g   ( R E ) .         2.   RE S E ARCH   M E T H O D   T o   d ev elo p   th e  d iag n o s tic  ass es s m en t  to o l  ( Mu ltid i m e n s io n al  Sc ien tific   Misco n ce p ti o n s   T est),     w e  ad o p ted   th e  co n s tr u ct  m o d elin g   [ 1 9 ]   an d   d esig n - b ased   r esear ch   [ 2 0 ]   m eth o d s .   Mo r eo v er ,   Mu ltid i m e n s io n al   R an d o m   C o ef f icie n ts   M u lti n o m ial  L o g it  Mo d el   ( MRC M L M )   w a s   u s ed   to   v alid ate  th e  q u alit y   o f   th e  d ev elo p ed   ass es s m en t to o l  [ 2 1 ] .      2 . 1 .   Sa m ple o f   t he  re s ea rc h   T o   em p lo y   a n   MR C M L M   to   an al y ze   r esp o n s e  d ata,   th e  s u f f icie n c y   o f   t h e  s a m p le  s ize   s h o u ld   b e  co n s id er ed   f ir s t   [ 2 1 ] .   T o   o b tai n   ac c u r ate  p ar a m eter   est i m a tes   in   t h e  R asc h - f a m i l y   o f   m o d el s ,   s o m e  s u g g est  t h at   th e  m i n i m u m   s a m p le  s ize  s h o u ld   b e  ar o u n d   1 0 0   r esp o n d en t s   [ 2 2 ] .   A   to tal   o f   N= 2 0 0   1 0 th   g r ad e  s t u d en t s   w it h   th r ee   d if f er en t  le v els,  n a m el y   lo w ,   m ed iu m ,   a n d   h i g h   l ev els  o f   lear n in g   a b ilit y   f r o m   s c h o o ls   u n d er     th e  ad m in is tr atio n   o f   th e  Of f i ce   o f   Seco n d ar y   E d u ca tio n al  Ser v ice  A r ea   3 1 ,   Nak h o n   R at ch asi m a  p r o v in ce ,   T h ailan d ,   w er e  s elec t ed   as  te s t - ta k er s .   T ea ch in g   s t u d en t s   w i th   t h r ee   d if f er e n t  le v els  o f   lea r n in g   ab ilit y   co u ld     b e  d if f icu l t  th u s   a  d iag n o s tic  ass es s m en t  to o l  th at  co u ld   en g ag e  s t u d en t s   o f   all  lev els  is   d ee m ed   n ec e s s ar y .     T h is   is   also   n ee d ed   t o   f u lf i ll  th e  s u g g ested   m i n i m u m   s a m p l e  s ize  r eq u ir ed   f o r   u s in g   m u lt id i m en s io n a l  ite m   r esp o n s e  th eo r y   [ 2 2 ] .     2 . 2 .   M e t ho d o f   a na l y s is   MRC M L M   is   a   m u ltid i m e n s i o n al  R a s ch - t y p e  ite m   r esp o n s e  m o d el  t h at  f o cu s e s   o n   th e  i n ter ac tio n   b et w ee n   ab ilit ies  o f   test - ta k er s   an d   ite m s ’   d i f f icu lties   [ 2 1 ] .   T h e  MR C M L M  is   a  g e n er aliza t io n   o f   a  w id e  class   o f   R asc h   m o d el s   an d   en co m p a s s es  m o d els s u ch   a s   E m b r etso n ’ s   m o d el  f o r   lear n in g   an d   c h a n g e  [ 1 5 ] .       2 . 3 .   Resea rc h pro ce du re   Desig n ,   d ata  co llectio n ,   a n d   an al y s i s   w er e  tack led   i n   f o u r   p h ase s .   I n   t h e  f ir s t  p h ase,   r esea r ch er s   h el d   s ev er al  co m p r e h en s i v e  d is c u s s io n s   w i th   b io lo g y   teac h er s   ab o u t  t h e  co r e  cu r r ic u l u m   in   t h e  b asic  ed u ca tio n   2 0 0 8   ( r ev is ed   ed itio n   i n   2 0 1 7 ) .   A   m aj o r   f o cu s   o f   t h e  d is c u s s io n s   was  r eg ar d in g   t h e  co n ce p t u al  u n d er s tan d in g ,   is s u e s ,   an d   d is cr ep an cies  o f   k n o w led g e   an d   r ea s o n i n g   p r o b lem - s o lv in g   i n   g e n etic s   to p ics.  Data   w a s   co llected   u s i n g   in ter v ie w s   a n d   t h i n k - alo u d   te ch n iq u es.  Usi n g   f in d i n g s   f r o m   t h e  f ir s t  p h a s e,   i n   t h e  s ec o n d   p h ase,   r esear ch er s   co n tin u ed   to   co llab o r ate  w it h   b io lo g y   teac h er s   to   cr ea te  co n s tr u ct  m ap s — w h ic h   f it  th e  ac t u al  b io lo g y   clas s r o o m   co n tex t — f o r   ea ch   d i m e n s io n   o f   s cie n ti f ic  m is co n ce p tio n s .   W e  d ev elo p ed   th e  co n s tr u c t  m ap   f o r   t h e  KN   d i m en s io n   b y   ad o p tin g   No r m an   W eb b ’ s   Dep th   o f   Kn o w le d g e  [ 2 3 ,   2 4 ] .   T h e  R E   d im en s io n   w a s   b ased   o n     B r ay ’ s   [ 2 5 ]   ass ess m e n t o f   r ea s o n in g .     I n   th e  th ir d   p h ase,   u s i n g   th e  test   b lu ep r i n t  as  a  g u id e,   r esear ch er s   s ig n ed   ite m s   an d   task s .   Mu ltid i m e n s io n a l  Scie n ti f ic   Misco n ce p tio n s   T o o l,  w h i ch   i s   ai m ed   at  m ea s u r in g   s tu d en t s ’   s cie n ti f ic   m is co n ce p tio n s ,   co n s is t s   o f   a  to tal  o f   4 0   d ich o t o m o u s   ite m s   i n   f o u r   o p tio n s .   T a b le   1   s h o w s   an   ex a m p le  o f     th e  s a m p le  test   ite m s .   T h e  ite m s   w er e  cr ea ted   f o llo w in g   t h e   lear n in g   o u tco m e  in   g en et ics  to p ic  an d   m ea s u r ed   th e  KN  an d   R E   d i m en s io n s   as   w ell.   T h e  o p tio n s   in   R E   w er e   g en er ated   b y   ta k in g   in to   ac co u n t  all  p o s s ib ilit ies   o f   o p en - e n d ed   r esp o n s es.  Fi n a ll y ,   w e  s y n th e s ized   an d   ca teg o r ized   th e  r esp o n s es  i n to   f o u r   o p tio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 ,  Sep tem b er   2020 :   56 4   -   571   566   I n   th e  f o u r t h   p h ase,   r esear ch er s   v alid ated   th e  q u alit y   o f   th e   p r o to ty p e  b y   as s ess in g   its   v a lid it y   an d   r eliab ilit y .   T h e  v alid it y   ev id e n ce   w a s   b ased   o n   th r ee   f ac to r s ,   n a m e l y   ( i)   test   co n te n t  b y   ex p er ts   an d   W r ig h t   m ap ;  ( ii)  s tu d en ts ’   r esp o n s e  p r o ce s s es  as  r ef lecte d   in   t h e  th i n k - alo u d ’ s   f o r m ,   an d   ( iii)  in te r n al  s tr u ct u r e  w h e n   u s i n g   th e  b et w ee n - ite m   m u lt id i m en s io n a l  R asc h   m o d el .   I n   lin e  w it h   th e  ed u ca tio n al  an d   p s y ch o lo g ical   ass es s m en t  s ta n d ar d s ,   th e  r eli ab ilit y   o f   th e  p r o to t y p e  w as   i n f o r m ed   b y   t h e  ( i)   E x p ec ted - A - P o s ter io r i  ( E A P )   r eliab ilit y ,   w h ic h   is   a  m ea s u r e m en t  th e  co n s is te n c y ;  ( ii)  C r o n b ac h ’ s   A lp h a  C o ef f icie n t,  an d   ( iii)  Stan d ar d   e r r o r   o f   m ea s u r e m en t ( SEM )   [ 2 6 ] .   L ast l y ,   t h e  ite m   f i t stati s tic s   wer e  u s ed   to   ass es s   ite m s ’   ap p r o p r iaten ess .       T ab le  1 .   Sam p le  test   L e a r n i n g   O u t c o me   KN   RE   Q u e st i o n   C h o i c e   Q u e st i o n   C h o i c e     S k i l l   / C o n c e p t     S k i l l   a n d   Re p rese n t i n g   3 .   S e a r c h   f o r   i n f o r mat i o n ,   a n a l y z e ,   e x p l a i n ,   a n d   su mm a r i z e   a b o u t   i n h e r i t a n c e .   T h a t   i s a n   e x t e n si o n   o f   M e n d e l i a n   g e n e t i c s   5 A .   W h y   i s c o l o r   b l i n d n e ss mo r e   p r o n o u n c e d   i n   mal e s t h a n   f e mal e s ?   1 .   B e c a u se   c o l o r   b l i n d n e ss  i s  c o n t r o l l e d   b y   a n   i n f e r i o r   g e n e   o n   t h e   X   c h r o mo so me   t h a t   i s o n   t h e   se x   c h r o m o so me   2 .   B e c a u se   c o l o r   b l i n d n e ss  h a s   a   c o n t r o l l e d   g e n e   o n   t h e   Y   c h r o mo so me ,   c a u si n g   mal e s t o   b e c o me   c o l o r   b l i n d   ( r e me mb e r /   r e c a l l   l e v e l )   3 .   B e c a u se   c o l o r   b l i n d n e ss  i s  a   c h a r a c t e r i st i c   t h a t   d e p e n d s o n   t h e   i n f l u e n c e   o f   se x   w h i c h   d e p e n d s o n   t h e   t e st   s t o r e   (re c o g n i z a b l e / r e c a l l e d   l e v e l )   4 .   B e c a u se   f e mal e s h a v e   g e n e s  t h a t   a r e   r e si st a n t   t o   a c t i n g   T h e   r e l e a se   o f   c o l o r b l i n d   g e n e s  o n   t h e   X   c h r o mo so me   mak e s  w o m e n   l e ss l i k e l y   t o   h a v e   c o l o r   b l i n d n e ss t h a n   me n   ( r e c o g n i z a b l e / r e c a l l e d   l e v e l s ) .   5 B .   R e a so n   f o r   a n sw e r i n g   1 .   M a l e s h a v e   a   Y   c h r o mo so me   t h a t   c a u se s c o l o r   b l i n d n e ss ( d e scri b e d   l e v e l s a r e   i n c o n si s t e n t )   2 .   T e st o st e r o n e   i s a sso c i a t e d   w i t h   c o l o r   b l i n d n e ss (u n e x p l a i n e d   l e v e l s )   3 .   M a l e s,  w h e n   r e c e i v i n g   o n l y   o n e   i n f e r i o r   g e n e ,   c a n   s h o w   c o l o r   b l i n d n e ss.   4 .   F e mal e s h a v e   X   c h r o mo so me   se x   c h r o mo so me ,   t h e r e f o r e   h a v e   mo r e   c h a n c e   o f   c o l o r   b l i n d n e ss t h a n   mal e s (Ex p l a n a t i o n   l e v e l   i s n o t   c o n si s t e n t )       3.   RE SU L T S  A ND  D I SCU SS I O N    3 . 1 .   Co ns t ruct   m a p o f   s t ud ent s ’   s cient if ic  m is co ncept io n s   W e  u s ed   th e  co n s tr u ct  m ap   in   o u r   attem p t  to   m ea s u r e  s tu d en ts ’   s cien tif ic  m is co n ce p tio n s   in   th e  KN   an d   R E   d im en s io n s ,   as  d em o n s tr ated   in   T ab le  2 .   T h e  KN  d im en s io n   w as  ca teg o r ized   in to   f iv e  lev els,  r an g ed   f r o m   ‘ No t  r ec alled ’   as  th e  lo w est  lev el  to   ‘ E x ten d ed   th in k in g ’   as  th e  h ig h est  lev el.   T h e  ‘ No t  r ec all’   m ea n s   s tu d en ts   s h o w   n o   u n d er s tan d in g   o f   th e  co n ce p t  w h ile  an d   th e  ‘ E x ten d in g   th in k in g ’   r ef er s   to   s tu d en ts   w h o   ca n   u n d er s tan d   th e  co n ce p t  co m p letely ,   ca n   lin k   th e  co n ce p ts   w ith   g en etics  f ac ts ,   s y n th esize  th e  co n ce p ts ,   an d   s o lv e   co m p lex   p r o b lem s   to   f in d   th e  co r r ec t  an s w er .   On   th e  o th er   h an d ,   th e  R E   w as  ca teg o r ized   in to   f o u r   lev els ,   r an g ed   f r o m   ‘ No n - r esp o n s e’   as  th e  lo w est  lev el  to   ‘ C o m p lete  lin k   th e  Scien ce   id ea ’   as  th e  h ig h est  lev el.     T h e  ‘ No n - r esp o n s e’   m ea n s   s tu d en ts   d o   n o t  u n d er s tan d   th e  co n ce p t  at  all  w h ile  ‘ C o m p lete  lin k   th e  Scien ce   id ea ’   r ef er s   to   s tu d en ts   u n d er s tan d   th e  co n ce p t  co m p letely ,   ca n   s p ec if y   co r r ec t  an s w er ,   u s e  tech n iq u es  an d   m eth o d s   o f   an aly s is ,   ex p lain   th e  r elate d   r ea s o n s   co r r ec tly   an d   th o r o u g h ly ,   an d   ca n   lin k   an s w er s   to   o th er   ev en ts .   T h is   ap p r o ac h   w as  s u p p lem en ted   b y   co m p u tin g   th e  cu t - s co r es  b etw ee n   lev els  o n   th e  W r ig h t  m ap s     an d   o u r   h y p o th esized   b an d s /lev els  f o r   ea ch   d im en s io n ,   w h ich   in   tu r n   in f o r m   o n   th e  in ter n al  s tr u ctu r e  o f     th e  ass ess m en t   to o l.  T h e  cu t - s co r es  w er e  co m p u ted   ac co r d in g   to   th e  m ea n   o f   d if f icu lty   in d ices  in   ea ch   d im en s io n   to   f it  th e  lev el  o f   co n s tr u ct  m ap   an d   test   s p ec if icatio n   [ 2 7 ,   2 8 ] .   Fo r   ex am p le,   lev el  1   o f   th e  KN   d im en s io n   co n s is ted   o f   item s   6 ,   8 ,   an d   1 0   w h ich   h as  th e  d if f icu lty   v alu es  eq u al  - 0 . 9 3 ,   - 0 . 4 6 ,   an d   0 . 2 3 ,   as  s h o w n   in   Fig u r e  1 .   T h e  f ir s t  cu t - s co r e  is   eq u al  ( - 0 . 9 3 - 0 . 4 6 +0 . 2 3 ) /3   =  - 0 . 3 9 .   W e  f o u n d   th at  th e  W r ig h t  m ap   w ith   f iv e   lev els  in   th e  KN  d im en s io n   is   ap p r o p r iate  to   d escr ib e  an d   in ter p r et  v ar iatio n   am o n g   th e  test - tak er s .   Fo r   th e  lev els  o n   th e  co n s tr u ct  m ap   ( s h o w n   in   T ab le  2   an d   Fig u r e  1 ) ,   th e  cu t - s co r es  b etw ee n   lev els ,   n am ely   b etw ee n   lev els  1   an d   2 ,   2   an d   3 ,   3   an d   4 ,   an d   4   an d   5   ar e  lo ca ted   at  - 0 . 3 9 ,   0 . 4 6 ,   0 . 7 7   an d   1 . 6 3   lo g its ,   re s p ec tiv ely ,   as  s h o w n   in   Fig u r e  1 .   F o r   th e  R E   d im en s io n ,   w h ich   is   h y p o th esized   to   h av e  f o u r   lev els  in   its   co n s tr u ct  m ap ,   h as  its   cu t - s co r es  b etw ee n   lev els  1   an d   2 ,   2   an d   3 ,   an d   3   an d   4   ar e  lo ca ted   at  - 0 . 1 4 ,   0 . 5 9 ,     an d   0 . 9 4   lo g its ,   r esp ec tiv ely .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al   &   R e s   E d u c .     I SS N:  2252 - 8822       Desig n in g   a n d   ve r ifyin g   a   to o l   fo r   d ia g n o s in g   s cien tifi c  mis c o n ce p tio n s   in   g en etics …   ( S a s ith o r n   K a n ta h a n )   567   T ab le  2 .  C o n s tr u ct  m ap s   o f   t h e  KN  an d   R E   d i m e n s io n s   D i me n si o n   L e v e l   L e a r n i n g   P r o g r e ss  L e v e l   D i a g n o st i c   D e scri p t i o n s   KN   L e v e l   5   H i g h   L o w   Ex t e n d e d   T h i n k i n g     A b l e   t o   l i n k   t h e   c o n c e p t s   a n d   g e n e t i c s   f a c t s     S y n t h e si z e   c o n c e p t s     S o l v e   c o mp l e x   p r o b l e ms t o   f i n d   t h e   c o r r e c t   a n sw e r .   L e v e l   4   S t r a t e g i c   T h i n k i n g     A b l e   t o   e x p l a i n   g e n e t i c s fa c t s   i n   t h e   c o n c e p t u a l   f o r m a n d   c o n c e p t s fo r   p r o b l e m - so l v i n g .   L e v e l   3   S k i l l / C o n c e p t     U se   a   si m p l e   u n d e r st a n d i n g   o f   b a s i c   g e n e t i c s  t o   a n sw e r .     U n d e r st a n d i n g   o f   d a t a   i n t e r p r e t a t i o n .     A b l e   t o   a p p l y   b a si c   k n o w l e d g e   i n   a n s w e r i n g .   L e v e l   2   R e c a l l     R e me mb e r   t h e   d e f i n i t i o n   o f   t h e   f o r mu l a   a n d   t r u e   t e x t   r u l e s.     S t i l l   l a c k   t h e   u n d e r st a n d i n g   t o   a p p l y   f o r   a   h i g h e r   l e v e l .   L e v e l   1   N o t   r e c a l l     N o   k n o w l e d g e     S p e c i f i e d   a n sw e r s a r e   n o t   r e l a t e d   t o   q u e st i o n s   RE   L e v e l   4   H i g h   L o w   C o mp l e t e   L i n k     S c i e n t i f i c   I d e a     S p e c i f i e d   c o r r e c t   a n sw e r .     U se   t e c h n i q u e s a n d   me t h o d s o f   a n a l y s i s c o r r e c t l y .     Ex p l a i n   t h e   r e l a t e d   r e a so n s  c o r r e c t l y   a n d   t h o r o u g h l y .     C a n   l i n k   a n sw e r s t o   o t h e r   e v e n t s.   L e v e l   3   R e l a t i n g   a n d   L i n k i n g     S p e c i f i e d   c o r r e c t   a n sw e r .     C o n si s t e n t   w i t h   t h e   c o n t e n t .     D e mo n st r a t i n g   t h e   u se   o f   t e c h n i q u e s a n d   me t h o d s o f   a n a l y si s.     R e a so n i n g   r e l a t e d   t o   t h e   a n sw e r .   L e v e l   2   S k i l l   a n d   R e p r e se n t i n g     S p e c i f i e d   c o r r e c t   a n sw e r .     C o n si s t e n t   w i t h   t h e   c o n t e n t .     S h o w i n g   u n d e r st a n d i n g .     A b l e   t o   g i v e   so me   r e a so n s t h a t   a r e   c o n si s t e n t   w i t h   t h e   a n sw e r   o r   si mi l a r .     S o me   r e a so n s t h a t   a r e   i n c o r r e c t .   L e v e l   1   N o n - r e sp o n se     N o   k n o w l e d g e .     N o   sp e c i f i e d   a n sw e r   o r   u n r e l a t e d   g e n e t i c s  a n sw e r .     H a v e   a   mi s u n d e r st a n d i n g   a b o u t   g e n e t i c s.       3 . 2 .   I t e m   f it   B ased   o n   f i n d in g s   f r o m   t h e  f ir s t   p h ase,   r e s ea r ch er s   c r ea ted   a  Mu ltid i m en s io n al   Scien ti f ic   Misco n ce p tio n s   T est  co n s is tin g   o f   4 0   ite m s .   T h e  q u alit y   o f   t h e  ass e s s m e n t  to o l  w a s   ex a m i n ed   u s i n g   t h e  ite m   f it  b ased   o n   in d i v id u a l  f it  s t atis tics .   T h e  ex a m i n atio n   o f   th e  ite m   f i t  w as  d o n e  u s i n g   C o n q u e s t  2 . 0   [ 2 0 ] .     T h e  cr iter ia  to   d eter m i n e  t h e  s u itab il it y   o f   t h e  ite m   w a s   b ased   o n   th e  s u g g est io n   t h at  i n f it  v al u es  s h o u ld   b e  b et w ee n   0 . 7 5   to   1 . 3 3   [ 2 9 ] .   T h e  in f it st ati s tic s   r an g ed   f r o m   0 . 9 2   to   1 . 1 0 ,   in d icatin g   an   ac ce p tab le   r an g e  [ 3 0 ] .       3 . 3 .   Va lid it y   ev idence   W e  e m p lo y ed   th r ee   m et h o d s   to   g at h er   ev id e n ce   o n   t h e  v alid it y   o f   th e   ass e s s m e n t  to o l .   First,  w e  ev alu a ted   th e  test   co n ten t  to   ch ec k   f o r   an y   p o ten tial  d is cr ep an cies.  T h e  W r ig h t  m ap   is   an o th er   p iece     o f   ev id e n ce   o n   th e  in s tr u m e n t’ s   v alid it y ,   a s   it  i s   a  g r ap h ic al  r ep r esen tatio n   th at   li n k s   t h e  ite m   d i f f ic u lties     an d   s tu d e n t  ab ilit y   esti m ate s   o n   th e  co m m o n   s ca le.   Sp e cif icall y ,   s i n ce   W r ig h t  m ap   s h o w s   d i s tr ib u tio n s     o f   ite m   d i f f icu lties   a n d   s t u d en t  ab ilit y   esti m ate s ,   o n e  ca n   ev alu a te  h o w   w ell  t h e  ite m   d if f icu lt y   d i s tr ib u tio n   m atc h es   s t u d en t  ab ilit y   es ti m ates.  I d ea ll y ,   ite m s   s h o u ld   m atch   s t u d en t  ab ilit y   est i m ate s .   B o th   W r ig h t  m ap s   s h o w ed   th at  ea c h   d i m e n s io n   o f   th e  a s s es s m en t  to o l  ca n   b e  u s ed   as  d ir ec t  ev id en c e  o f   t h e  t est  co n te n t.  T h is   is   b ec au s e  th e  d i f f ic u lt y   o f   ea c h   ite m   ( ite m   th r es h o ld )   is   to   th e   r ig h t  b u t  n o t  y et  co v er i n g   t h e   co m p ete n c y   r an g e   o f   th e  s t u d en t s   o n   th e  le f t  s id e   o f   th e  W r ig h t  m ap .   I t  ca n   b e  co n clu d ed   th at  t h e  ass es s m en t   to o l  is   j u s tifie d   f o r   u s e  to   m ea s u r e  m is co n ce p tio n s   i n   g en et ics  co u r s e s   as  d e m o n s tr ated   in   F ig u r e  1 .  As  i n d icate d   in   F ig u r e  1 ,    th e  lin k s   b et w ee n   ite m   d if f ic u l ties   an d   s tu d e n t a b ilit y   esti m at es o n   th e  co m m o n   s ca le  s h o wed   th at  ite m   1 ,  2 ,   3 ,   5 ,   7 ,   1 0 ,   1 1 ,   1 3 ,   1 7 ,   1 8 ,   2 1 ,   2 4 ,   2 8 ,   3 0 ,   3 1 ,   3 2 ,   3 3 ,   3 5 ,   3 6 ,   an d   3 7   a r e  at  m ed i u m   d if f ic u lt y   le v el.   Ho w e v er ,   ite m s   6 ,   8 ,   1 6 ,   2 2 ,   2 5 ,   2 6 ,   an d   2 9   ar e   co n s id er ed   ea s y .   Fin al l y ,   r es u lts   s h o w ed   t h at  ite m s   4 ,   9 ,   1 2 ,   1 4 ,   1 5 ,   1 9 ,   2 3 ,   2 7 ,   3 4 ,   3 8 ,   an d   4 0   ar e  d if f icu lt.    T h e  s ec o n d   s tr an d   o f   v alid it y   ev id en ce   w as  id en ti f ied   af ter   r esear ch er s   tr ied   o u t  th e  cr ea ted   a s s es s m en t   to o l.  R esear ch er s   in ter v ie w ed   s o m e  s t u d en t s   to   ass ess   t h eir   u n d er s tan d i n g   o f   t h e  co n te n ts   a n d   th e  r elev a n c y   o f   th e  ite m s   i n   t h e  as s es s m en t   to o l.  T h e  r esu lt s   r ev ea led   th at   s t u d en ts   u n d er s tan d   m o d er atel y   w ell   ab o u t  t h e  i te m s .   B esid es,  r esear ch er s   also   u tili z ed   s tu d en t s ’   f ee d b ac k   to   i m p r o v e  th e  ite m s   a n d   th eir   s co r in g   b ef o r e  u s in g   i n   t h e   ac tu al  clas s r o o m   co n te x t.    T h e  th ir d   s tr an d   o f   v alid it y   is   b ased   o n   ( i)   th e  in ter n a l  s tr u ct u r e  o f   th e  as s es s m en t  to o l  an d     ( ii)  co m p ar is o n   o f   t h e  t w o   m o d el s ,   n a m el y   u n id i m e n s io n al  an d   m u ltid i m e n s io n al  in   ter m s   o f   th e ir   f it .     T h e  u n id i m e n s io n al  m o d el  i m p lies   t h at  all  ite m s   ar e  m ea s u r i n g   a  s i n g le  d i m en s io n .   T h e  m u ltid i m en s io n a l  m o d el  i m p lie s   t h at  t h e  ite m s   m ea s u r e  m u ltip le  d i m en s io n s   w h ic h   i n   o u r   ca s e,   co r r esp o n d   to   KN  an d     R E   d i m en s io n s .   T h e  m o d el  co m p ar is o n   r ev ea led   th at   th e  u n id i m en s io n al  m o d el   f its   as  g o o d   as    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 ,  Sep tem b er   2020 :   56 4   -   571   568   th e  m u lt id i m e n s io n al  m o d el  ( 2 =3 . 8 5 ,   d f =2 )   [ 3 1 ] .   T h is   f in d i n g   is   f u r th er   s u p p o r ted   b y   b o th   Ak ai k e  I n f o r m atio n   C r iter io n   ( A I C )   [ 3 0 ]   an d   B ay esian   I n f o r m a tio n   C r iter io n   ( B I C )   [ 3 2 ] ,   w h ich   f a v o r s   th e  u n id i m e n s io n al  m o d e l   as  s u m m ar ized   in   T a b le  3 .   T h er ef o r e,   it  ca n   b e   co n clu d ed   t h at  d ata  o b tain ed   th r o u g h   t h is   ass ess m e n t  to o l  is   s u itab le  f o r   th e  an a l y s is   u s i n g   th e  u n id i m en s io n a l  m o d el.   Fu r t h er m o r e,   th e  r es u lts   o f   t h e   co v ar ian ce /co r r elatio n   m atr i x   o f   KN  an d   R E   d i m e n s io n s   s h o w ed   th at   th er e  is   a  co r r elatio n   b et w ee n   th e  t w o   d i m e n s io n s   as  0 . 5 5 .   T h is   i m p lies   t h at  th e  co r r elatio n   b et w ee n   th e  t wo   d i m en s io n s   is   as s o ciate d   m o d er atel y   w it h   o n e  s id e  h ad   a  h ig h er   s co r e.       Kn o w led g e  Di m e n s io n   R ea s o n i n g   Di m en s io n         Fig u r e  1 .   H y p o th esized   b an d s   o f   w r i g h t  m ap s   f o r   KN  an d   R E   d im e n s io n s       T ab le  3 .  T h e  co m p ar is o n   o f   m o d el  f it   M o d e l   D e v i a n c e   N   o f   P a r a me t e r   A I C   B I C   U n i d i me n s i o n a l   9 7 3 5 . 6 2   41   9 8 1 7 . 6 2   9 8 2 9 . 9 6   M u l t i d i me n s i o n a l   9 7 3 9 . 4 7   43   9 8 2 5 . 4 7   9 8 3 8 . 4 2   L i k e l i h o o d   R a t i o   C h i - S q u a r e d   G 2   2 = 3 . 8 5 ,   d f = 2 ,   p   =   . 0 1   A I C   =   9 8 2 5 . 4 7 > 9 8 1 7 . 6 2   B I C   =   9 8 3 8 . 4 2 > 9 8 2 9 . 9 6       3 . 4 .   Relia bil it y   ev idence   W e  ex a m in ed   t h e  SEM   g r ap h   to   ev alu ate  th e  r elia b ilit y   o f   th e  as s es s m e n t  t o o l.  W h en     th e  m u lt id i m e n s io n al  m o d el  w a s   s ep ar ated   in to   t w o   r elate d   s u b - d i m en s io n s ,   n a m el y   K N  ( θ KN )   an d   R E   ( θ RE ) ,   th e  late n t  p ar a m eter   o f   ea ch   s tu d en t   w o u ld   h a v e  a  d i f f er e n t   s ta n d ar d   er r o r   o f   m ea s u r e m e n t  ( SEM ) .   T ab le  4   illu s tr ates t h e  s ta n d ar d   er r o r   o f   m ea s u r e m e n t ( SEM )   f o r   th e  t w o   s u b - d i m e n s io n s .     T h e  SEM   f o r   KN  an d   R E   d i m e n s io n s   r an g ed   f r o m   0 . 2 8   to   0 . 3 2   an d   0 . 3 0   to   0 . 3 4 ,   r es p ec tiv el y .     T h is   i m p lies   t h at  th e  SEM   v al u es  f o r   b o th   d i m en s io n s   w er e  ac ce p tab le  an d   th er e  is   a  s m al l   er r o r   f o r   esti m a tin g   s cien t if ic   m is co n ce p tio n s   i n   g en e tics ,   p ar tic u lar l y   f o r   in ter m ed iate  to   th e   h i g h   l ev els  o f   s cie n ti f ic   m is co n ce p tio n s .   T h i s   is   b ec a u s e  b o th   SEM   v al u es  ar e  at  t h e  lo w est   er r o r   f o r   th e  s t u d e n t  ab ilit y   ( θ)   r an g e     o f   0 . 0 0   to   + 0 . 5 0   lo g its .   Ho w ev er ,   th e  er r o r s   s ee m ed   to   in cr ea s e  w h e n   esti m ati n g   th e  l o w er   lev els  o f   KN     an d   R E   d i m en s io n s .   Fi g u r e  2   an d   Fi g u r e  3   s h o w   t h e  SEM   g r ap h   f o r   th e  r esp ec ti v e  d i m en s io n s .   T h is   i m p lie s   th at  t h e  SEM   v al u es  f o r   b o th   d i m en s io n s   w er e  ac ce p ta b le  w i th   a  s m al l  er r o r   f o r   e s ti m ati n g   s cie n ti f ic   m is co n ce p tio n s ,   p ar tic u lar l y   f o r   in ter m ed iate  to   a  h ig h   le v el .   T h is   is   b ec au s e  b o t h   SEM   v a lu es  h ad   th e  lo w e s t   er r o r   if   th e  s tu d e n t  ab ilit y ,   r an g ed   f r o m   0 . 0   to   0 . 7   lo g its .   Ho w e v er ,   th e  er r o r s   s ee m ed   to   in cr ea s e  w h e n   esti m ati n g   t h e  lo w   lev el.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al   &   R e s   E d u c .     I SS N:  2252 - 8822       Desig n in g   a n d   ve r ifyin g   a   to o l   fo r   d ia g n o s in g   s cien tifi c  mis c o n ce p tio n s   in   g en etics …   ( S a s ith o r n   K a n ta h a n )   569   T ab le  4 .  T h e  s ta n d ar d   er r o r   o f   m ea s u r e m e n t  ( SEM )     KN   S EM ( θ KN )   RE   S EM ( θ RE )   M e a n   sco r e   0 . 0 0   0 . 3 0   0 . 0 0   0 . 3 3   S t a n d a r d   d e v i a t i o n   0 . 2 8   0 . 0 1   0 . 3 5   0 . 0 1   M i n i m u m     - 0 . 6 7   0 . 2 8   - 0 . 7 5   0 . 3 0   M a x i m u m   0 . 6 7   0 . 3 2   0 . 7 8   0 . 3 4               Fig u r e  2 .   Stan d ar d   d ev iatio n   g r ap h   f r o m   m u ltid i m en s io n al  m ea s u r e m e n ts   o f   KN  d i m e n s io n   Fig u r e  3 .   Stan d ar d   d ev iatio n   g r ap h   f r o m   m u ltid i m en s io n al  m ea s u r e m e n ts   o f   R E   d i m e n s io n       R esear ch er s   ex a m i n ed   t h e  r eli ab ilit y   co ef f icie n t  in d icate d   b y   ex p ec ted - a - p o s ter io r i  ( E A P )   r eliab ilit y .   T h e  E A P   r eliab ilit y   o f   KN  a n d   R E   d i m e n s io n s   w a s   es ti m at ed   at  0 . 4 5   an d   0 . 5 1   r esp ec tiv el y ,   w h ich   ar e  f o u n d     at  th e  ac ce p ta n ce   cr iter ia  a n d   th e   E A P   r eliab ilit y   o f   t h e   u n id i m e n s io n al  m o d el  eq u a ls   0 . 5 5   w a s   also     th e  ac ce p tab le  cr iter ia  [ 3 3 ] .   Ho w e v er ,   th e  r eliab ilit y   ev id e n c e  s u g g es ted   th at  th e  m u l tid i m en s io n al  m o d el  h as   s lig h t   lo w er   r eliab ilit y   t h a n   th e  u n id i m en s io n a l  m o d el  to   d iag n o s e  s tu d e n ts ’  lear n i n g   ab ilit y   in   g en et ics to p ics.       4.   CO NCLU SI O N   T h e  k e y   r esu l t  o f   th is   s t u d y   is   a  Scien ti f ic  Mi s co n ce p ti o n s   T est   ai m ed   at  m ea s u r i n g   s cie n ti f ic   m is co n ce p tio n s   in   g e n etics   a m o n g   te n t h - g r ad e  s t u d en t s .   T h is   ass es s m en t  to o l  is   f o u n d   to   h a v e  ac ce p tab le  lev els   o f   v alid it y   an d   r eliab ilit y .   I t  is   th e  b io lo g y   teac h er s ’   r esp o n s i b ilit y   to   h elp   th e ir   s tu d e n ts   to   b u ild   m o r e  ac cu r ate   co m p r e h en s io n   i n   g e n etics  to p ics.  T h er ef o r e,   an   ap p r o p r iate  ass es s m e n t  to o l  to   m ea s u r e  s cie n ti f i c   m is co n ce p tio n s   m a y   h e lp   th e  b io lo g y   teac h er s   to   ad d r ess   th e  r elate d   m is co n ce p tio n s   i n   te r m s   o f   K N  an d   R E   d i m en s io n s ,   r esu lt in g   in   teac h er s   b ein g   ab le  to   teac h   th e  g e n etics  s u b j ec t  w ell.   Do i n g   s o   ca n   m a k e  th e  ac t  o f   teac h i n g   a n d   t h e  n at u r e  a n d   p r o ce s s   o f   s cien t if ic  d is co v er y   m o r e  e f f ec ti v e  an d   m o r e  f u n .   T h e  r esu lts   r ep o r ted   in   th is   s t u d y   ar e  i n   li n e  w ith   p ast  s tu d ie s .   As  a  r esu lt,  th e  a s s es s m en t  to o l  ca n   o v er co m e  th e  ch al len g es  t h at     21 st - ce n t u r y   cla s s r o o m s   f ac e,   i n   w h ich   b io lo g y   teac h er s   h a v e   to   ac h ie v e  s o m e  co n g r u e n ce   b et w ee n   test s   u s ed   f o r   m o n ito r i n g   o r   s u m m at iv e  p u r p o s es,  an d   class r o o m - b ase d   ass ess m e n t s.   T h e  m ai n   p r ac tical  i m p licatio n   o f   th is   s t u d y   is   t h e  to o l  th at  ca n   p r o v id e  r ich   in f o r m a tio n   ab o u t  s t u d en t s   w h o   ar e  at  th e  in ter m ed iate  an d   h i g h   le v els  o f   ab ilit y .   T h is   is   r ef lecte d   in   t h e  r esu lt s   o f   SEM   f o r   esti m atin g   laten t  ab ilit y   i n   KN  an d   R E   d i m en s io n s .   B esid es,  r esear ch er s   w o u ld   lik e  to   s u g g e s t  to   b io lo g y   teac h er s ,   in   p ar ticu lar ,   to   m a k e  a  co m b i n a tio n   o f   s u b j ec tiv e  an d   m u ltip l e - ch o ice  te s ts   u s i n g   u n id i m e n s io n al  m ea s u r e m e n t  s o   th at  t h e y   ca n   o b tain   m o r e  i n f o r m atio n   r elate d   to   th eir   s tu d en ts ’   s cie n ti f ic  m is co n ce p tio n s .   T h is   is   b ec a u s e   r esu lt s   s h o w ed   t h at  s cie n ti f ic  m is co n ce p tio n s   ar e  n o t j u s ti f ie d   to   b e  m ea s u r ed   as  m u ltip le  d i m e n s io n s .     T h e  f in d i n g   s h o w ed   th a t  t h e   u n id i m e n s io n al  ap p r o ac h   ca n   f it  b etter   t h a n   t h e  m u ltid i m en s io n a l  ap p r o ac h   b ased   o n   v alid it y ,   r e liab ilit y ,   a n d   ite m   f it   ev id e n ce   r ef lecti n g   t h e  d is cr ep an c y   b et w ee n   e x p ec ted   an d   o b tain ed   f i n d in g s .   T h is   m a y   b e  d u e  to   o u r   ass u m p tio n   o n   t h e  ef f ec t  o f   t h e  ite m   t y p e  o f   t h i s   s t u d y   b ec au s e  all   ite m s   ar e  f o u r - o p tio n   m u ltip le   ch o ices  an d   th e y   ar e  d ich o to m o u s l y   s co r ed   ( 0 /1   d ata) .   T h er ef o r e,   th e  KN  an d   R E   ite m s   ar e  n o t  m atc h ed   ap p r o p r iately   to   th e  s co r es  ty p e,   p ar ticu lar l y   f o r   th e  R E   d i m e n s io n .   I n   th is   li n e  o f   r ea s o n in g ,   t h e  a s s e s s m en t to o l   ca n   b e  m o d if ied   b y   p r o v id in g   th e  o p p o r tu n i t y   f o r   s tu d e n ts   t o   g iv e   t h eir   r ea s o n s   f r ee l y   f o r   s u p p o r tin g   t h eir   an s w er   r ath er   th an   t h e y   j u s t  s e l ec t  f r o m   th e  f o u r   o p tio n s   p r o v id ed   in   th i s   s tu d y .   T h er ef o r e,   p o ly to m o u s   s co r ed   m a y   b e  m o r e  s u itab le  to   m e as u r e  s t u d en t s ’   lear n in g   s c ien ti f ic  co n ce p ts   f o r     th e  R E   d i m e n s io n   i n   g e n etic s   to p ic.   Fu tu r e  r esear c h er s   ar e  e n co u r ag ed   to   co n s id er   th e  l i m i tatio n   o f   o u r   s t u d y   s o   th at  to   b etter   f it t h eir   t y p e  o f   ite m s   i n   th e  R E   d i m e n s io n .    On   to p   o f   th at,   teac h er s   ar e  e n c o u r ag ed   to   d o   t h eir   ali g n m en t  f o r   th e s e  m o d es   o f   a s s e s s m en t  a n d   en g a g e d   i n   t h eir   p r o f ess io n a l  d ev elo p m e n t  to   lear n   h o w  to   d ev elo p   a  q u alit y   as s es s m e n t  to o l .   Gi v e n     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   3 ,  Sep tem b er   2020 :   56 4   -   571   570   th e  i m p o r tan ce   o f   ali g n m e n t  o f   ass es s m e n t  p r ac tices  w it h   class r o o m   p r ac tices,  b io lo g y   teac h e r s   m u s t  h av e     a  r ef er en ce   t h at  is   ex p licit  a n d   in   s o m e  r esp ec t s   r elev a n t   to   th eir   s ett in g s   a s   i n d icate d   in   t h e  f in d i n g s   o f     th is   s t u d y .       ACK NO WL E D G M E NT S    R esear ch er s   w o u ld   lik e  to   tak e   th is   o p p o r tu n it y   to   t h an k   th e  T h aila n d   R esear ch   F u n d   ( T R F)  A d v an ce d   R esear ch   Sc h o lar ,   T h ailan d ,   an d   Kh o n   Kae n   Un i v er s it y ,   T h ailan d   ( Gr an t  No :  R S A 6 0 8 0 0 7 4 )   to   m a k e  th i s   r esear ch   a  s u cc es s .   Sp ec ial  t h an k s   to   Gr ad u ate  Sc h o o l  o f   Kh o n   Kae n   Un i v er s it y ,   T h a ilan d   f o r   p r o v id in g   f i n an cia l su p p o r t to   atten d   th e  W C E DU  2 0 1 9   at  Ku ala  L u m p u r ,   Ma la y s ia.       RE F E R E NC E S   [1 ]   S .   S ri p o n g w i w a t,   T .   Bu n term ,   N.   S risa w a t ,   a n d   K.  N.  T a n g ,   “ T h e   c o n stru c ti o n   a n d   n e u r o c o g n it iv e - b a se d   tea c h in g   m o d e l  f o r  p ro m o ti n g   sc ien c e   lea r n in g   o u tco m e s  a n d   c re a ti v e   th in k in g , ”   Asia   P a c if ic  Fo ru m  o n   S c ien c e   L e a rn in g   a n d   T e a c h in g ,   v o l.   1 7 ,   n o .   2 ,  p p .   1 - 3 2 ,   2 0 1 6 .   [2 ]   M .   R.   M a rk o v ic,  Cre a t ive   e d u c a ti o n   a n d   n e w  lea r n in g   a s  me a n s  o f  e n c o u r a g i n g   c re a ti v it y ,   o rig in a l  t h i n k in g   a n d   e n tre p re n e u rs h ip ,   2 0 1 2 .   [ O n li n e ].   A v a il a b le:  h tt p :/ /w ww . w o rld a c a d e m y . o rg   [3 ]   C.   E.   Ne lso n ,   “ T e a c h in g   e v o lu ti o n   (a n d   a ll   o f   b io l o g y )  m o re   e ff e c ti v e l y :  stra teg ies   f o r  e n g a g e m e n t,   c rit ica l  re a so n in g ,   a n d   c o n f ro n ti n g   m isc o n c e p t io n s,”   In teg ra ti v e   a n d   C o mp a r a ti v e   Bi o lo g y   A d v a n c e   Acc e ss ,  v o l.   8 ,   n o .   2 ,   p p .   2 1 3 - 2 2 5 ,   2 0 0 8 .     [4 ]   K.  K.  P e rk in s a n d   C.   E.   W iem a n ,   “ In n o v a ti v e   tea c h in g   to   p r o m o te i n n o v a ti v e   th i n k in g , ”   i n   R.   L .   De Ha a n   a n d   K.  M .   V .   Na ra y a n   (Ed s.),   Ed u c a ti o n   f o r  In n o v a ti o n :  Im p li c a t io n s  f o r  In d ia ,   Ch in a   a n d   Ame ric a ,  (R o tt e rd a m ,   T h e   Ne th e rlan d :  S e n se ),   p p .   1 8 1 - 2 1 0 ,   2 0 0 8 .   [5 ]   K .   S .   T a b e r,   “ Co n stru c ti v ism   a s  e d u c a ti o n a l  th e o ry :  c o n ti n g e n c y   in   lea rn in g ,   a n d   o p ti m a ll y   g u id e d   in stru c ti o n , ”   In   J.  Ha ss a s k h a h   (Ed . ),   Ed u c a ti o n a l  T h e o ry ,   Ne w   Yo rk :  No v a ,   p p .   3 9 - 6 1 ,   2 0 1 1 .   [ On li n e ] .   A v a il a b le:  h tt p s:/ /ca m to o ls.ca m . a c . u k / w ik i/ e c li p se /Co n str u c ti v ism . h t m l   [6 ]   K.  S .   T a b e r,   Ch e mic a l   misc o n c e p ti o n s – p re v e n ti o n ,   d i a g n o sis  a n d   c u re .  L o n d o n :   Ro y a l  S o c iety   o f   Ch e m istr y ,   2 0 0 2 .   [7 ]   K.  L .   M c Ne il l,   S .   C o rrig a n ,   J .   Ba r b e r,   M .   G o ss   a n d   A .   M .   K n ig h t,   “ De sig n in g   stu d e n t  a ss e ss m e n ts  f o r  u n d e rsta n d in g ,   c o n stru c ti n g   a n d   c rit i q u i n g   a rg u m e n ts  in   s c ien c e , ”   T h e   A n n u a l  M e e ti n g   o f  th e   N a ti o n a l  Asso c i a ti o n   f o r  Res e a rc h   i n   S c ien c e   T e a c h i n g   ( NAR S T ) ,   I n d ia n a p o l is,  IN,  2 0 1 2 .   [8 ]   K.  G a rv in - Do x a s  a n d   M .   W .   Kly m k o w sk y ,   “ Un d e rsta n d i n g   ra n d o m n e s s  a n d   it s  im p a c t  o n   stu d e n t   l e a rn in g :  les so n s   l e a rn e d   f ro m   b u il d in g   b io lo g y   c o n c e p t  in v e n t o ry   (BCI), ”   CBE   L if e   S c i  E d u c . ,   v o l.   7 ,   n o .   2 ,   p p .   2 2 7 - 2 3 3 ,   2 0 0 8 .   [9 ]   J.  L e w is  a n d   C.   W o o d - R o b i n so n ,   “ G e n e s,  c h ro m o so m e s,  c e ll   d iv isio n   a n d   in h e rit a n c e   –   d o   st u d e n ts  se e   a n y   re latio n s h i p ? ”   In ter n a ti o n a l  J o u rn a l  o f  S c i e n c e   Ed u c a ti o n ,   v o l.   2 2 ,   n o .   2 ,   p p .   1 7 7 - 1 9 5 ,   2 0 0 0 .   [1 0 ]   L .   K.  Be rlan d   a n d   K.  L .   M c Ne il l,   “ A   l e a rn in g   p ro g re ss io n   f o r  sc ien ti f ic  a rg u m e n tatio n :  u n d e rsta n d i n g   stu d e n t  w o rk   a n d   d e sig n i n g   su p p o r ti v e   in stru c ti o n a l  c o n tex ts , ”   S c ien c e   Ed u c a ti o n ,   v o l.   9 4 ,   n o .   5 ,   p p .   7 6 5 - 7 9 3 ,   2 0 1 0 .   [1 1 ]   M .   Bra a ten   a n d   M .   W in d sc h it l,   “ W o rk in g   to w a rd s  a   S tro n g e r  Co n c e p tu a li z a ti o n   o f   S c ien ti f ic  Ex p lan a ti o n   f o r  S c ien c e   Ed u c a ti o n , ”   S c ien c e   Ed u c a ti o n ,   v o l.   9 5 ,   no .  4 ,   p p .   6 3 9 - 6 6 9 ,   2 0 1 1 .   [1 2 ]   V .   S a m p so n   a n d   D.   B.   C lark ,   “ As se ss m e n t  o f   th e   w a y s  stu d e n ts  g e n e ra te  a rg u m e n ts  in   sc ien c e   e d u c a ti o n :   c u rre n t   p e rsp e c ti v e s a n d   re c o m m e n d a ti o n s f o r  f u tu re   d irec ti o n s , ”   S c ien c e   E d u c a t io n ,   v o l.   9 2 ,   n o .   3 ,   p p   4 4 7 - 4 7 2 ,   2 0 0 8 .   [1 3 ]   P .   D.   P e a rso n ,   e t   a l. ,   “ A ss e ss m e n t  a t  t h e   I n ters e c ti o n   o f   sc ien c e   a n d   li tera c y , ”   T h e o ry   I n to   Pra c ti c e ,   v o l.   5 4 ,   n o .   3 ,     p p   2 2 8 - 2 3 7 ,   2 0 1 5 .   [1 4 ]   S .   J.  S lac k   a n d   J.   S tew a rt,   “ Hig h   sc h o o ls  p ro b lem - so lv in g   p e rf o rm a n c e   o n   re a li stic  g e n e ti c s  p r o b lem , ”   J o u rn a l     o f  Res e a rc h   i n   S c ie n c e   T e a c h i n g ,   v o l.   2 7 ,   n o .   1 ,   p p .   5 5 - 6 7 ,   1 9 9 0 .   [1 5 ]   S .   E .   Em b re tso n ,   “ A   m u lt id im e n sio n a l   late n t   trait   m o d e l  f o r   m e a su rin g   lea rn in g   a n d   c h a n g e , ”   Psy c h o me trika ,    v o l.   5 6 ,   n o .   3 ,   p p .   4 9 5 - 5 1 5 ,   1 9 9 1 .   [1 6 ]   G .   N.  Ce rv e tt i,   e t  a l. ,   “ T h e   Im p a c t  o f   a n   i n teg ra ted   a p p r o a c h   to   sc ien c e   a n d   l it e ra c y   in   e lem e n tar y   sc h o o l  c las sro o m s,”   J o u rn a l  o f  Res e a rc h   i n   S c ie n c e   T e a c h in g ,   v o l.   4 9 ,   n o .   5 ,   pp .   6 3 1 - 6 5 8 ,   2 0 1 2 .   [1 7 ]   A .   M .   Kn ig h t,   e t  a l. ,   “ A ss e ss in g   m id d le  sc h o o l  st u d e n ts’  a b il i ti e s  to   c rit i q u e   sc ien ti f ic  a rg u m e n ts , ”   T h e   An n u a l   M e e ti n g   o f  th e   Na ti o n a l   Asso c ia ti o n   o f  Res e a rc h   i n   S c ien c e   T e a c h i n g   ( NAR S T ) ,   P i tt sb u rg h ,   P A ,   2 0 1 4 .   [1 8 ]   T .   In h a tru a d ,   “ Co m p a riso n   o f   th e   in c o rre c t  c o n c e p tu a l  d iag n o sis  in   th e   su b jec t  –   th e   sc ien c e   o f   u p p e r  se c o n d a ry   sc h o o l  st u d e n ts  b e tw e e n   th re e   a n d   f o u r  lev e ls  o f   d iag n o stic  te sts,”   U n p u b li sh   M a ste r  De g re e   Th e sis,  Ba n g k o k :  Ch u lalo n g k o rn   U n iv e rs ity ,   2 0 1 7 .     [1 9 ]   M .   W il so n ,   C o n stru c ti n g   me a s u r e s: a n   it e m re sp o n se   mo d e li n g   a p p ro a c h .  M a h w a h ,   NJ :  L a w re n c e   Erl b a u m   As so c . ,  2 0 0 5 .   [2 0 ]   T .   C.   Re e v e s,  “ De si g n   re se a rc h   f r o m   a   tec h n o lo g y   p e rsp e c ti v e , ”   i n   J.  v a n   d e n   A k k k e r,   K.  G ra v e m e ij e r,   S .   M c Ke n n e y   a n d   N.  Nie v e e n   (Ed s.) ,   E d u c a t io n a l  De sig n   Res e a rc h ,  L o n d o n ,   UK :  Ro u tl e d g e   S h a rp les ,   p p .   5 2 - 66,   2 0 0 6 .   [2 1 ]   R.   J.  A d a m s,  M .   W il so n   a n d   W .   W a n g ,   “ T h e   m u lt id im e n sio n a l  ra n d o m   c o e ff icie n ts  m u lt in o m ial   lo g it   m o d e l , ”   Ap p li e d   Psy c h o lo g ica l  M e a su re m e n t ,   v o l.   2 3 ,   no.   1 ,   p p .   1 - 2 3 ,   1 9 9 7 .   [2 2 ]   M .   Cu ste r,   “ S a m p le  S ize   a n d   It e m   P a ra m e ter  Esti m a ti o n   P re c is io n   w h e n   Util izin g   th e   O n e - p a r a m e ter  ‘Ra s c h ’  M o d e l, ”   T h e   a n n u a l  me e ti n g   o f  th e   mid - we ste rn   Ed u c a ti o n a l  Res e a rc h   Asso c ia ti o n ,   Ev a n st o n ,   Ill i n o is,   Oc to b e r,   2 0 1 5 .   [2 3 ]   N.  W e b b ,   “ Crit e ria  f o r  a li g n m e n t  o f   e x p e c tatio n s  a n d   a ss e ss m e n ts  o n   m a th e m a ti c s  a n d   sc ien c e   e d u c a ti o n , ”   i n   Re se a rc h   M o n o g ra p h   Nu m b e r  6 .   W a sh in g to n ,   DC:  CCS S O ,   1 9 9 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al   &   R e s   E d u c .     I SS N:  2252 - 8822       Desig n in g   a n d   ve r ifyin g   a   to o l   fo r   d ia g n o s in g   s cien tifi c  mis c o n ce p tio n s   in   g en etics …   ( S a s ith o r n   K a n ta h a n )   571   [2 4 ]   N.  W e b b ,   “ A li g n m e n t  o f   sc ien c e   a n d   m a th e m a ti c s  sta n d a rd s  a n d   a s se ss m e n ts  in   f o u r  sta tes , ”   in   Re se a rc h   M o n o g ra p h   No .   1 8 .   W a sh in g to n ,   DC:   CCS S O ,   A u g u st 1 9 9 9 .   [2 5 ]   B.   Bre y ,   “ Blo o m ’s  t a x o n o m y   a n d   d e p th   o f   k n o w led g e   (d o k ), ”   2 0 1 8 .   [ On li n e ] .   A v a il a b le:  h tt p s:/ /b a rb a ra b ra y . n e t/ 2 0 1 8 / 1 1 /0 2 /b l o o m s - tax o n o m y - a n d - d e p th - o f   - k n o w led g e - dok   [2 6 ]   P .   Ju n p e n g ,   “ M u lt i d im e n sio n a l  It e m   re sp o n se   t h e o ry , ”   Ap p li c a ti o n   o f   M u lt i d ime n sio n a l  Item   Res p o n se   T h e o ry   to   Res e a rc h .     Kh o n   Ka e n :  K h o n   Ka e n   Un iv e rsity   P rin ti n g ,   2 0 1 8 .   [2 7 ]   P .   Ju n p e n g ,   e t  a l. ,   “ Co n stru c ti n g   p r o g re ss   m a p s  o f   d ig it a l  tec h n o lo g y   f o r  d iag n o si n g   m a th e m a ti c a l  p r o f icie n c y ,”   J o u rn a l  o f  E d u c a t io n   a n d   L e a rn i n g ,   v o l.   8 ,   n o .   6 ,   p p .   9 0 - 1 0 2 ,   2 0 1 9 .     [2 8 ]   P .   Ju n p e n g ,   M .   In p ra sith a ,   a n d   M .   W il so n ,   “ M o d e li n g   o f   th e   Op e n - e n d e d   Item s f o r  A ss e ss in g   M u lt ip le  P r o f icie n c ies   in   M a th e m a ti c a l  P ro b lem   S o lv in g , ”   T h e   T u rk ish   On li n e   J o u r n a l  o f  Ed u c a ti o n a l  T e c h n o lo g y ,   v o l.   2 ,   S p e c ial  Iss u e   f o r  INT E - I T IC A M - IDEC,   p p .   1 4 2 - 1 4 9 ,   2 0 1 8 .     [2 9 ]   R.   A d a m s a n d   S .   T .   Kh o o ,   “ Q u e st:  th e   in tera c ti v e   tes t  a n a ly sis s y ste m , ”   Qu e st ( Co m p u ter P r o g ra m ),   1 9 9 6 .   [ On li n e ].   Av a il a b le:  h tt p :/ /w o rk s.b e p r e ss . c o m /ra y _ a d a m s/3 6 /   [3 0 ]   L .   Ya o   a n d   R.   D.  S c h w a r z ,   “ A  M u lt i d im e n sio n a l  p a rti a l  c re d it   m o d e l  w it h   a ss o c iate d   it e m   a n d   tes t  sta ti stics :    a n   a p p li c a ti o n   to   m ix e d - f o r m a t  t e sts,”   Ap p li e d   Psy c h o lo g ica l  M e a s u re me n t ,   v o l.   3 0 ,   n o .   6 ,   p p .   4 6 9 - 4 9 2 ,   2 0 0 6 .   [3 1 ]   M .   R.   W il so n   a n d   P .   De   Bo e c k ,   “ De sc rip ti v e   a n d   e x p lan a to ry   it e m   re sp o n se   m o d e ls , ”   In   P .   De   Bo e c k   &   M .   W il so n   (Ed s.),   Ex p la n a t o ry   Item   M o d e ls:   A  Ge n e ra li ze d   L in e a r   a n d   N o n l in e a r .   Ne w   Yo rk :  S p rin g e r - V e rlag ,   2 0 0 4 .   [3 2 ]   G .   S c h wa rz ,   “ Esti m a ti n g   th e   d ime n sio n   o f   a   m o d e l , ”   T h e   An n a l s   o f   S ta ti stics ,   v o l.   6 ,   n o .   2 ,   p p .   4 6 1 - 4 6 4 ,   1 9 7 8 .   [3 3 ]   R.   J.  A d a m s,  “ Re li a b il it y   a s  a   m e a su re m e n t  d e sig n   e f f e c t , ”   S tu d ies   In   Ed u c a ti o n a l  Ev a lu a ti o n ,   v o l.   3 1 ,   n o .   2 - 3 ,     p p .   1 6 2 - 1 7 2 ,   2 0 0 5 .   Evaluation Warning : The document was created with Spire.PDF for Python.