I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l. 5 ,   No . 4 ,  Dec em b er 201 6 ,   p p .   33 1~ 34 0   I SS N:  2252 - 8822     331       J o ur na l  ho m ep a g e :  h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE R E   Preli m ina ry  A na ly sis   o f  Ass ess m en t  Ins tru m ent  Desi g n   t o  Rev ea l Science   G eneric S kill  an d  C he m is try Lit eracy       Wo ro   Su m a r ni,  Su da r m in,  Wiy a nto ,   Su pa rt o n o   S c ien c e   Ed u c a ti o n   P r o g ra m ,   P o st g ra d u a te P r o g ra m ,  S e m a r a n g   S tate   Un iv e rsit y ,   In d o n e sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Oct  1 0 ,   2 0 1 6   R ev i s ed   No v   2 0 ,   2 0 1 6   A cc ep ted   No v   2 9 ,   2 0 1 6       T h e   p u rp o se   o f   th is  re se a rc h   is  t o   d e sig n   a ss e s s m e n t  in stru m e n t  t o   e v a lu a te   sc ien c e   g e n e ric  s k il l  (S G S )  a c h iev e m e n t  a n d   c h e m istr y   li tera c y   in   e th n o sc ien c e - in teg ra ted   c h e m istry   l e a rn in g .   T h e   ste p s o f   to o l  d e sig n in g   r e f e rs   to   P lo m p   m o d e ls  in c lu d i n g   1)   I n v e st ig a ti o n   P h a se   ( P re li m e n a r y   In v e stig a ti o n );  2 )   De sig n in g   P h a se   ( De sig n );   3 )  Co n stru c ti o n / Re a li z a ti o n   P h a se   ( Re a li z a ti o n /Co n str u c ti o n ) ;  4 )  T e st,  Ev a lu a ti o n   a n d   Re v isio n   P h a se .   ( T e st,  Ev a lu a ti o n   a n d   Re v isio n ) .   To   tes t  t h e   v a li d it y   o f   a ss e ss m e n t  in stru m e n t,   it   w a s  u se d   c o n te n t  v a li d it y   b y   th re e   e x p e rts  a s  v a li d a t o rs,  w h il e   to   tes t  t h e   p ra c ti c a l,   it   w a s  u se d   q u e stio n n a ire  w h ich   w e re   g iv e n   to   2 2   c o ll e g e   stu d e n ts  o f   f o o d   in g re d ien ts  c h e m istr y   th a t  is  in teg ra ted   o f   e th n o - sc ien c e   a n d   tw o   su p p o rti n g   lec tu re rs.  T h e   re su lt   o f   c o n te n t  v a li d it y   sh o w e d   th a t  a ss e ss m e n t  to o l   w h ich   w a s  d e v e lo p e d   w a s  v a li d   sta ted   b y   e x p e rt s  w it h   th e  re li a b il it y   c o e ff i c ien t  w a s  0 . 7 2 .   E v e r y   lec tu re rs  a n d   2 1   st u d e n ts  g a v e   p o siti v e   re sp o n se ,   so   it   c a n   b e   c o n c l u d e d   th a t  d e v e lo p e d   a ss e ss m e n t  in str u m e n t  wa s   p ra c ti c e   to   u se .   K ey w o r d s :   A s s es s m en t  i n s tr u m e n t   C h e m i s tr y   l i ter ac y     E th n o - s cie n ce   i n te g r ated   L ea r n i n g   Scien ce   g en er ic  s k il ls   ( SGS)   Co p y rig h t  ©   2 0 1 6   In stit u te o f  A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .    Al l  rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   W o r o   Su m ar n i,    Scien ce   E d u ca t io n   P r o g r a m ,   P o s tg r ad u ate  P r o g r a m ,   Se m ar a n g   S tate  Un iv er s it y ,   Se m ar an g ,   C e n tr al  J av a,   I n d o n es ia.   E m ail:  w o r o . k i m ia. u n n es @ g m ail. co m       1.   I NT RO D UCT I O N   C h e m i s tr y   ed u ca to r s ,   s c ien ti s t ,   an d   p o licy   m ak er s   a g r ee   th a t  s tu d e n t  ch e m i s tr y   liter ac y   d ev elo p m e n t  as   s tu d e n ts ‟   s k i ll  i n   u s i n g   ch e m i s tr y   co n ce p t  to   b e  ap p lied   in   d ail y   l if e,   to   e x p lai n   s cie n ti f ic   p h en o m en a   an d   al s o   to   v is u alize   th a t  p h en o m en a  b ased   o n   s cien ti f ic  f ac ts   [ 1 ] - [ 5 ]   ar e   im p o r tan t  p u r p o s e  o f   ch e m i s tr y /s cie n ce   lear n in g   [ 6 ] .   On   th e  o th er   h a n d ,   in   r ec en t  r esear ch   it  w as  s h o w ed   th at  m o r e  t h an   150  lif e  s cie n ce s   f ac u lt y   f r o m   m an y   i n s tit u e  s ta ted   th at  g e n er ic  s k ill s   lik e  p r o b le m   id en t if ica tio n s   s k ills ,   s p o k en   an d   w r itte n   co m m u n icatio n   s k ill s ,   also   s k ills   to   i n ter p r ete  d ata  as  th r ee   i m p o r tan t  s k i lls   t h at  h ad   to   b e  d ev elo p ed   b ef o r e  s tu d e n ts ‟ s   g r ad u atio n   l u lu   [ 7 ] .  T h e  im p o r tan ce   o f   SGS  i n   s cien ce   lear n in g   is   also   ad m itte d   b y   p r ev io u s     r esear ch er   [ 8 ] - [ 1 1 ] .   Ho w e v er ,   lik e  i n   c h e m is tr y   li ter ac y   s k i l ls ,   th is   g e n er ic  s k ill  e v al u atio n   n ee d s   as s ess m e n t  in s tr u m en t   co n s tr u ctio n   as  i n ter g r ac y   p ar ts   o f   a n   as s es s m en t  p r o ce s s   in   lear n i n g   to   g et  i n f o r m atio n   o f   s tu d e n ts ‟   lear n in g   r es u lt  ( o b s er v atio n ,   le v els,  te s ti n g   u s i n g   p en cil  an d   p ap er )   an d   to   m ak e  as s ess m e n t  o f   lear n in g   p r o ce s s   [ 1 2 ] , [ 1 3 ] .     T h e  im p o r tan ce   o f   ass e s s m e n t   in s tr u m e n t  d esi g n   t h at  ca n   as s ess   SG S  an d   ch e m is tr y   liter a c y   is   b ased   o n   th e  f ac t  t h at  th e  ac h iev e m e n t  o f   ch e m i s tr y   le ar n i n g   th at  a ctu all y   n ee d s   as s ess m e n t  i n s tr u m e n t  w h ic h   is   n o t   o n l y   in cl u d i n g   co m p r eh e n s io n   a n d   m e m o r izatio n ,   b u t  al s o   to   ass e s s   w h et h er   o r   n o t  t h e  s tu d e n ts   ar e  ab le  to   ap p lied   th e  co n ce p t  th e y   lear n t  w h e n   th e y   ar e  f ac i n g   a  p r o b lem .   T h e  ex a m p le  o f   m an y   s cie n ce /ch e m i s tr y   liter ac y   ass e s s m e n ts   h ad   b ee n   d ev elo p ed   in   s cie n ce   lear n in g   w h ic h   w er e  d o n e  b y   P I SA   ( P r o g r a m m e  f o r   I n ter n atio n al  St u d en t  Ass e s s m en t)   an d   T I MSS  ( T r en d   in   Ma th e m atics  a n d   s cie n ce   s t u d ies) .   T I MSS   ass es s ed   w h at  h ad   b ee n   ta u g h t   to   t h e  s t u d en t   w h il e  P I S A   a s s e s s m en t  w a s   m o r e  s tr e s s ed   o n   h o w   s t u d en ts   u s e   o r   ap p l y   Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :2 2 5 2 - 8822   I J E R E     Vo l.  5 ,   No .   4 ,   Dec em b er   2 0 1 6   :   33 1  –   34 0   332   s cien ce /c h e m is tr y   co n ce p ts   t h e y   lear n t   in   d ail y   li f e  ap p li ca tio n   [ 2 ] .   P I SA   as s es s m en t   n o t  o n l y   m ea s u r ed   s tu d e n ts ‟   k n o w led g e,   b u t a ls o   m ea s u r ed   s cien ce   p r o ce s s   s k i l l s   an d   s t u d en t s ‟   att itu d e  to w ar d s   s cie n ce   [ 3 ] .    T h e  r esu lt  o f   p r ev io u s   i n tr o d u ctio n   s tu d y   to w ar d s   as s ess m en t  to o l  o n   f o o d   in g r ed ien t s   ch e m is tr y   lear n in g   t h at  w a s   av a ilab le  in   th r ee   L P T K  in   C en tr al  J av a,   it   w a s   o b tain ed   f o llo w i n g   r es u lt .   First,  m o s t  o f   t h e   q u esti o n s   co n s tr u c ted   b y   lect u r er s   o n l y   s u p p r ess ed   o n   s tu d e n ts ‟   co n ce p tu al  k n o w led g e  a s p ec ts ,   th i s   s tate m e n t   is   ap p r o p r iate  to   th e  o n e  s tate d   by   [ 1 4 ] - [ 1 7 ] .   Seco n d ,   ass ess m en t  to   ev al u ate  s cie n ce /c h e m is tr y   liter ac y   s k ill s   lik e  w as  d ef i n ed   b y   NR C   Sta n d ar d   [ 1 8 ]   th at  in clu d es   co n c ep tu al  co m p r eh e n s io n ,   al s o   p er ce p tio n   o f   s cien ce   an d   s o ciet y   [ 1 9 ] is   n o t  av a ilab le.   T h ir d ,   it  w as  f o u n d   t h at  s o m e  q u esti o n s   n o t  o n l y   s u p p r ess ed   o n   k n o w led g e   asp ec ts   b u t  also   as s es s ed   th i n k in g   s k il l  asp ec t.  Ho w e v er ,   t h er e  w a s   n o n e  o f   t h e m   th at  r ev ea l  g e n er ic  s k ill     an d   s tu d e n ts ‟   ch e m i s tr y   liter ac y   s k ill  o f   s cie n ce   p r o ce s s   asp ec t.  Fo u r th ,   th er e  is   n o   co n s tr u c tio n   o f   ass e s s m e n t   in s tr u m en t   th a t  ca n   b e  u s ed   t o   ass ess   SGS   an d   c h e m is tr y   l iter ac y ,   ev e n   t h o u g h   as s ess m en t  i n s tr u m en t   th a t   b ased   o n   s cie n ce   g en er ic  s k ill  h av e   b ee n   d ev e lo p ed   b y   s o m e  r esear ch er s   [ 9 ] , [ 1 0 ] , [ 2 0 ] ,   th u s   ass e s s m en t   to o l o f   ch e m is tr y   l iter ac y   [ 6 ] , [ 2 1 ] .   T h is   d is co v er y   o n   in i tial  s t u d y   is   ap p r o p r iate  to   th e  o n e  s tated   b y   [ 2 2 ]   th at  s o m e   o f   lear n in g   in   co lleg e   d r iv e   th e  p u r p o s e  o f   th e   lear n in g   o n   o n l y   co g n iti v e  s k il l,  w h il e  o th er   a s p ec t   li k e   p s y ch o m o to r ,   af f ec ti v e,   i n cl u d in g   g e n er ic  s k il l  s o m eti m es   ar e  f o r g o tte n .   T h ese  co n d it io n s   ac t u all y   a f f ec t   t h e  lack   o f   lear n in g   r es u lt a n d   t h e  lo w   q u ali f ica tio n   o f   s tu d e n ts ‟   l if e  to   liv e  i n   s o ciet y .   A cc o r d in g   [ 2 3 ]   in   h is   s t u d y   s t ated   f o llo w in g   s tate m e n t:  1 )   c h e m is tr y   s cie n ce   ap p licatio n   i n   d ail y   li f e   is   lac k   o f   teac h er s ‟   atte n tio n   in   cla s s ,   s o   it   n ee d s   to   g i v e  a   s o lu tio n   w h ich   is   to   d e v elo p   ch e m is tr y   s cie n ce   liter ac y   as s ess m e n t  w it h   c o n tex t u al  ap p r o ac h ,   2 )   ch em is tr y   s cie n c e  liter ac y   as s ess m en t  to o l  h av e   ch ar ac ter is tic  th at   ca n   d i s cr i m in ate  s tu d e n t  w i th   h i g h   a n d   lo w   ca teg o r y   w ell.   T h e  i n ter v ie w   r e s u l t  w it h   t h o s e   th r ee   L P T K  f o o d   in g r ed ien t s   ch e m is tr y   lectu r er s ,   o n e  o f   t h e  r ea s o n s   w h y   as s es s m e n t  i n s tr u m e n t  t h at  w a s   u s ed   h ad   n e v er   r ev ea led   SGS   an d   c h e m is tr y   liter ac y ,   lect u r er s   to g et h er   s ta ted   th at   it  w a s   b ec au s e  t h er e  h a s   n o t  b ee n   as s es s m e n t  i n s tr u m en t  f o r   th o s e  t w o   t h i n g s .   T h u s ,   t h e  t h in g   t h at  s h o u ld   b e  s o lv ed   s o o n   i s   t h e   av ailab ilit y   o f   as s ess m e n t  to o l  th at  ca n   b e  r eliab le  to   m ea s u r e  co n ce p t  co m p r e h en s io n   a ls o   ca n   b e  u s ed   to   m ea s u r e  SGS a n d   ch e m is tr y   li ter ac y .   Gen er all y ,   th e  r e s u l t  o f   d e v el o p m e n t  o f   v ar io u s   i n s tr u m en t   to   ass es s   s cie n ce /c h e m is tr y   l iter ac y   ar e  f o cu s   o n   o n e  o f   t h e  f o llo w i n g   th i n g s :   1.   Me asu r i n g   co m p r eh e n s io n   o f   th e   s cie n ce /c h e m is tr y   r es u lt   in   t h e  s c h o o l.  K n o w led g e/c o n ten t   asp ec t s   u s u all y   ar e  co n s id er ed   i m p o r t an t  to   s cie n ce /c h e m is tr y   liter ac y ,   th u s ,   t h e s e  ar e  th e  m o s t  asp ec t  th at  ar e   m ea s u r ed   b y   teac h er   an d   s cie n ce /ch e m is tr y   ed u ca to r s .   2.   Me asu r i n g   s k ill  f o r   ap p l y i n g   s cien ti f ic  p r in cip le s   in   n o n - ac ad em ic  co n te x ts ,   o n e  o f   t h e m   is   c u lt u r al   asp ec t.  T h e  m ain   c h ar ac ter is t i c  o f   th a t  to o l  is   b y   d es ig n i n g   a u th e n tic   ass ig n m en t  ( lik e  o b s e r v in g ,   r ea d in g   in f o r m atio n / d o in g   o b s er v at io n   ab o u t e th n o - s cie n ce ) .   3.   Me asu r i n g   li ter ac y   s k ill   i n   s ci en ti f ic  co n te x t  th a t  is   d o in g   e v alu atio n   i n d iv id u al  s k ill s   in   r e ad in g ,   w r iti n g ,   tellin g   r ea s o n ,   an d   as k i n g   f u r t h er   in f o r m at io n   [ 2 4 ] .  So m e  ex a m p les  o f   th is   ap p r o ac h   m ea s u r e  s k ills   u s in g   s cien t if ic  r esear c h   r ep o r t  [ 2 5 ] .   4.   Me asu r i n g   co m p r eh e n s io n   ab o u t  n at u r e  o f   s cien ce   ( NO S),   an d   co m p r eh e n s io n   o f   s t u d en ts ‟   k n o w led g e   an d   attit u d e  to w ar d s   th e   to p ic  r elate d   to   S cie n ce   Te ch n o lo g y   So ciet y   ( ST S) .   Fo r   ex a m p le  Vie w s   o f   Scien ce   T ec h n o lo g y   an d   S o ciet y  ( VOST S)   in s tr u m e n t   w h ich   w er e  d ev elo p ed   an d   v alid ated   b y   A i k e n h ea d   an d   R y a n   o n   1 992.   Fo r   f u r th er   a n al y s is ,   t h e   f o u r t h   f o cu s   o f   s c ien ce /c h e m i s tr y   l iter ac y   a s s es s m en t  ab o v e   ar e  ap p r o p r iate   to   m a n y   asp ec ts   o f   SGS,  l ik e  co n ten t  asp ec t  th at   is   ap p r o p r iate  to   s y m b o lic   lan g u ag e ,   p r in cip le  o b ed ien t   lo g ical  f r a m e w o r k ,   th e  r elatio n   b et w ee n   ca u s e  an d   e f f ec t  an d   lo g ical  in f er e n ce ,   au t h e n tic  ass i g n m e n ts   b ased   o n   o b s er v atio n   a n d   m o d elin g   asp ec ts .   Fro m   th e  s cie n ce / ch e m is tr y   liter ac y   a s s e s s m e n t,  f o r   ex a m p le  t h e   ev alu a tio n   o f   c h e m is tr y   l iter ac y   co m p r e h en s io n   o n   k n o w le d g e/co n ce p tu al   asp ec t,  ca n   b e  co n s i s t  o f   s o m e   g en er ic   co m p ete n ce s .   Su c h   a s   o n   d i f f er e n t  c h e m is tr y   liter ac y   asp ec t s   ca n   b e   u s ed   to   ass e s s   t h e  s a m e   g e n er ic  co m p ete n ce .   Nat u r e  o f   Scie n c e  ( NOS)   b ased   o n   s cien ce   co n tex t.  Fro m   t h i s   s tate m e n t,  it  is   p o s s ib le  to   ar r an g e   ass es s m en t  to o l  th a t  ca n   b e  u s ed   to   ass ess   c h e m is tr y   liter a c y   s k ills   ab o u t  co n ten t,  p r o ce s s ,   co n te x t  an d   also   SGS  m ea s u r in g .   E x p er ts   s tate  t h at  cu r r ic u l u m   is   n ee d ed   to   r aise  in d ig en o u s   s cien ce   in   s c ien c e  lear n in g ,   d if f er e n t   f r o m   n o w ad a y s   th a t  co m m o n l y   d o n e  i n   m a n y   s ch o o l  lear n in g   w h ich   o v er r id e  o r ig in al   s cien ce   t h at  e x is ted     an d   s p r ea d   in   s o ciet y   li f e.     E f f o r ts   to   i n te g r ate  i n d ig e n o u s   s cien ce /e th n o - s cie n ce   i n t o   s cien ce   lear n i n g   cu r r icu l u m   i n   t h e  s ch o o l  a ctu all y   h a s   b ee n   s u g g ested   an d   t ea ch er   n ee d   to   th in k   t w ice  o n   h o w   t h e  s t u d en ts ‟   lear n in g   r es u lt   ca n   b e  u s e f u l  a n d   m ea n i n g f u l  [ 2 6 ] .   I n   et h n o - s cien ce   b a s ed   lear n i n g ,   co n ce p ts ,   p r in cip les,  a n d   m ater ials   i n   s cie n ce   ar e  lear n t  b y   th e  s t u d en t s   b y   co n tr ad ictin g   t h e  co n tex tu al  p r o b le m s   ( p h en o m e n a)   w h ic h   ar e  r ea l  li f e  p r o b le m s   o r   at  le ast  f r o m   th e   v is u alize d   p r o b le m s   as   r ea l  p r o b le m s .   Acc o r d in g   to   [ 2 7 ] ,   s ch o o l   lear n in g   t h at  is   ap p r o p r iate  to   2 1 st   ce n tu r y   is   et h n o - s cie n ce   ap p r o ac h ed   s cien ce   lear n in g   o r   m u ltic u lt u r al   s cien ce   ap p r o ac h .   Sa m e   is s u e   an d   s u g g e s tio n   w a s   also   s tat ed   b y   [ 2 8 ]   w h en   ex p lo r i n g   th e  co n tr ib u tio n s   o f   cu lt u r al  co m p ete n ce   in   lear n i n g   co n te x t i n   u n i v er s i t y .   E x p lic it l y ,   [ 2 8 ]   ask ed   f o r   t h e  s cie n ce   lear n in g   s y s te m   i n   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E R E    I SS N:  2252 - 8822       P r elimin a r y  A n a lysi s   o f A s s e s s men t I n s tr u men t D esig n   to   R ev ea l S cien ce   Gen eric S kill . . . .   ( W o r o   S u ma r n i)   333   s ch o o l  to   b e  ch an g ed   b y   p a y i n g   atte n tio n   to   cu ltu r e  ( i n d ig e n o u s   s cie n ce )   th a t  is   s p r ea d in g   in   s o ciet y   an d   g iv e   r ec o m m e n d atio n   o f   s cie n ce   c u r r icu l u m   p r o d u ctio n   t h at  ac c o m m o d ates   i n d ig e n o u s   s cie n ce   in to   f o r m al  s c h o o l  lear n in g .   [ 2 8 ]   esp ec ially   p u s h   th e  s cie n ce   teac h er s   to   p u t  e x a m p le  o f   s o ciet y   s cien ce   i n   t h ei r   lear n in g   an d   also   to   teac h   th e  s tu d e n ts   to   b e  a w a r e  th at  k n o w led g e  is   a  p ar t o f   ev er y   c u lt u r e  in   t h e  w o r ld .   T h e  co m b in i n g   in d i g en o u s   s c ien ce   ( s o cio - c u lt u r e  s cien ce )   an d   s cien ce   lear n in g   i n   s ch o o l  ac tu all y   ca n   i n cr ea s e  s t u d en t s ‟   lear n i n g   ac h ie v e m e n t   an d   to   m a k e  s t u d en t s ‟   lear n i n g   p r o ce s s   b e  ef f ec ti v e  [ 2 9 ] .  Mic h el l   ( 2 0 0 8 )   in [ 3 0 ]   f o u n d   th at  s ci en ce   lear n i n g   c u r r icu l u m   th a t  is   d ev elo p ed   in   lo ca l  cu ltu r e  in cr ea s e  s tr o n g   n atio n al is m .   St u d en ts ‟   u n d er s tan d i n g   t h at  b ased   o n   cu l t u r e  i n   t h eir   s o ciet y   ta k es   p ar t  in   i n ter p r etin g     an d   ab s o r b in g   n e w   k n o w le d g e  ( s cien ce   co n ce p ts )   [ 3 1 ] .  T h e   s t u d en t s ‟   c u lt u r al  b ac k g r o u n d   h a v e  b i g g er   ef f ec t   in   ed u ca tio n   p r o ce s s   i f   t h at   is   p u t  i n   lear n i n g   p r o ce s s   i n   th e  class   [ 2 9 ] .   Stu d en ts   c u lt u r al   b ac k g r o u n d   h a v e   s tr o n g   e f f ec t  o n   t h e  w a y   s o m e o n e  ( s tu d e n ts )   lear n s ,   b ec au s e   s tu d e n ts   h av e  s p en t  t h eir   ti m es  in   t h e  m id d le  o f   th e  en v ir o n m e n t  t h at  is   m ad e/in f l u en ce   b y   s o ciet y   c u lt u r e  th an   f o r m al  ed u ca tio n   t h eo r ies   [ 3 1 ] , [ 3 2 ] - [3 6 ] .  A cc o r d in g   [ 3 7 ] ,  cu lt u r al  b ac k g r o u n d   t h at  i s   b r o u g h t   b y   t ea ch er s   a n d   s t u d en t s   i n   t h e  class   ( esp ec ial l y   i n   s cien ce   lear n in g )   tak e  a  b ig   p ar t  o f   m a k in g   o r   co n d itio n in g   lear n in g   at m o s p h er e  th at  m ea n i n g f u l  a n d   co n tex t u al.     Fro m   t h e  e x is tin g   p r o b lem s   an d   ex p er ts ‟   o p in io n   ab o v e,   it  is   n ee d   a s s e s s m e n t  to o l  to   k n o w   t h e   ac h iev e m e n t  lev e l  o f   lear n i n g   p u r p o s es  an d   s ee   th e  ef f ec ti v en es s   o f   lear n in g   p r o ce s s   in   t h e  co n tex t  o f   lo ca l  w i s d o m   [ 3 8 ] [ 3 9 ] to   ass ess   t h e  ac h iev e m e n t  o f   s cie n ce   g e n er i c  s k i ll  a n d   ch e m i s tr y   l iter ac y   b esid e  th e  co n ce p t   u n d er s ta n d in g   ac h ie v e m en t.  R esear ch   f o r m u las  i n   th i s   r es ea r ch   ar e   h o w   ar e  th e   as s ess m en t  to o l  d esi g n   to   ev alu a te  co n ce p t u al   co m p r eh en s io n   ac h ie v e m e n t   an d   also   s cien ce   g e n er ic  s k ills   a n d   ch e m is tr y   liter ac y   o n   eth n o - s cie n ce   b ased   c h e m is tr y   lear n i n g ?   I s   th e  d ev elo p ed   ass es s m en t  to o l  v alid ,   r eliab le  an d   p r ac tice  in   i t s   u s a g e   ?   T h e  ex p ec ted   p u r p o s e  o f   t h is   r esear ch   ar e:  to   g et  ass e s s m en t  i n s tr u m e n t  to   ev alu a te  co n ce p t u al   co m p r e h en s io n   ac h iev e m e n t  an d   also   s cien ce   g en er ic  s k ill s   an d   ch e m is tr y   liter ac y   o n   e th n o - s cie n ce   b ased   ch e m is tr y   lear n i n g   w h ic h   is   v a lid ,   r eliab le  a  an d   p r ac tice  in   its   u s a g e.       2.   RE S E ARCH   M E T H O D   T h is   r esear ch   is   a  d ev elo p in g   r esear ch   th at  b ased   o n   t h e  Ma f u m i k o ‟ s   m o d el  w h ic h   s t u d y i n g   o n   h o w  to   d esig n ,   r ea lize,   r ev is e  an d   i m p le m en t  as s es s m e n t  i n s tr u m en t  in   eth n o - s cie n ce   b ased   ch e m is tr y   lear n i n g .   T h e  i m p le m en ta tio n   o f   th e   r e s ea r ch   w a s   d es ig n ed   to   f o llo w   d e v elo p in g   r e s ea r ch   p atter n   li k e   ex p lai n ed   o n   Fig u r e   1 .           Fig u r e  1 .   A s s es s m e n t I n s tr u m en t D ev e lo p m en t a d ap ted   f r o m   Ma f u m i k o ‟ s   m o d el.   [ 4 0 ]       2 . 1 .   Resea rc h Sub j ec t   T h e  s u b j ec t  f o r   p r ac tical  tes t  o f   a s s e s s m e n t  i n s tr u m e n t  i n   t h i s   r esear c h   w a s   c h e m is tr y   co lle g e   s tu d e n ts   o f   f o o d   an d   in g r ed ien ts   as  w ell  as a s s e s s m en t in s tr u m en t u s er s   an d   t h eir   lectu r er s .     2 . 2 .   Resea rc h In s t ru m e nt   T h e  in s tr u m e n t  o f   t h is   r ese ar ch   w as  p ap er   s h ee t  o f   ex p er ts ‟   v alid atio n   th at  w as  u s ed   to   g et   in f o r m atio n   ab o u t  co n te n t  v alid it y   o f   ar r an g ed   a s s es s m en t  i n s tr u m en t.  O n   p ap er   s h ee t  o f   a s s e s s m e n t  in s tr u m en t ‟ s   v alid atio n ,   th e  v alid ato r s   w r ite  y es/ n o   to   ev er y   q u est io n .   Ot h er   in s tr u m en t  w a s   q u est io n n air e   co n tain s   o f   r esp o n s e   o f   s t u d en ts   an d   lect u r er s   to w ar d s   a s s e s s m en t  i n s tr u m e n t.  T h i s   q u e s t io n n air e  w as  m ad e   Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :2 2 5 2 - 8822   I J E R E     Vo l.  5 ,   No .   4 ,   Dec em b er   2 0 1 6   :   33 1  –   34 0   334   to   k n o w   th e   p r ac tical  o f   ex i s t in g   as s es s m e n t  in s tr u m e n t.  Fr o m   t h is   q u est io n n air e  lect u r er s   an d   s t u d en t s   ar e   ex p ec ted   to   g iv e  t h eir s   s u g g e s t io n s   f o r   th o s e  ass e s s m e n t i n s tr u m e n t s .       2 . 3 .   Da t a   Ana ly s is   T h e  g a th er ed   d ata  o b tain ed   b y   u s i n g   in s tr u m e n ts   ab o v e  t h en   b ei n g   an a l y ze d   q u an titati v el y     an d   q u alitati v el y   to   ex p lain   i ts   v alid it y ,   r eliab ilit y ,   [ 4 1 ]   an d   p r ac tical  f r o m   ass e s s m e n t   in s tr u m e n t  t h at  is   d ev elo p ed .     2 . 3 . 1 .   I ns t ru m ent ’ s   Va lid it y   Ana ly s is   Valid it y   an al y s is   w as   b ased   [ 4 2 ]   o n   th e  g i v i n g   m et h o d   o f   o v er all  co n ten t   d ec is io n   ac co r d in g   to   J u d g m e n t   o f   e x p er t.  T o   k n o w   w h e th er   th at   tes t  i s   v alid   o r   n o t,  it   w as   i m p le m e n ted   b y   test   ite m s   s t u d y   to   ass u r e  th at  th o s e  test   ite m s   h av e  r ep r esen ted   th e  w h o le  co n ten t  o r   m ater ial  t h at  s h o u ld   b e  co m p r eh en d ed   p r o p o r tio n all y .   I f   th e  m ea s u r i n g   to o l  is   v alid ,   it  ca n   b e  u s ed   o n   th e   n ex t  s tep .   B u t  if   it  is   n o t,  th er e  s h o u ld   b e  r ev is io n   ac co r d in g   to   v alid ato r s ‟   s u g g esti o n   o r   b y   lo o k in g   b ac k   to   lo w   asp ec ts   th e n   b ein g   r ev al id ated   an d   r ea n al y ze d .   I t  w ill b e  d o n e  u n t il th e  d ata  ar e  ca teg o r ized   v ali d .     2 . 3 . 2 .   Relia bil it y   a na ly s is   o f   ins t ru m e nt   Af ter   as s es s m en t   in s tr u m e n t s   ar e  s tated   v alid   b y   e x p er ts ,   th e n   l i m ited   tr y   o u t  te s t  w ill  b e  i m p le m en ted   o n   r esear c h   s u b ject.   I n s tr u m e n t r eliab ilit y   w as  an al y ze d   b y   C r o n b ac h - alp h a.     2 . 3 . 3 .   P ra ct ica l A na ly s is   o f   I ns t ru m e nt   T h e  p r ac tical  o f   as s es s m e n t  i n s tr u m e n t   is   ai m ed   to   ea s i n e s s   u s i n g   o f   t h o s e  i n s tr u m en t  [ 2 0 ] .   T h e   p r ac tical  is   ass ess ed   b y   r esp o n s e  to w ar d s   d ev elo p ed   in s tr u m en t.  I n   th i s   r esear ch ,   it  w er e  g i v en   q u e s tio n n air e s   to   t w o   lect u r er s   a n d   2 2   co lleg e  s t u d en t s   o f   in s tr u m e n t  u s er s .   T h e  o b tain ed   d ata  th e n   w er e  a n al y ze d   b y   ca lcu lati n g   h o w   m u ch   r esp o n d er   th at  g a v e  p o s iti v e   r esp o n s es  s u itab le   to   s tated   asp ec ts   t h en   ca lc u lati n g   t h e   p er ce n tag e.   T h e  d ec is io n   o f   ca teg o r izatio n   f o r   p o s itiv e  r esp o n s e  is   o b tain ed   b y   m at ch in g   t h e  r es u lt  o f   p er ce n t ag e  to   t h e  cr iter ia  t h at  l ec tu r es  a n d   co lleg e   s t u d en t s   h av e  p o s iti v e  r esp o n s es  to w ar d s   in s tr u m e n t  w h ic h   is   w h e n   t h e y   g i v e  p o s itiv e  r es p o n s e  m i n i m u m   7 5 % o f   all  q u esti o n ed   asp ec ts .       3.   RE SU L T S  A ND  AN AL Y SI S   T h e  d ev elo p in g   o f   th is   as s es s m en t  i n s tr u m e n t  w a s   i m p lan te d   b y   s y s te m atic  p r o ce s s   t h o u g h   4   p h ase   o f   P lo m p ‟ s   m o d el  w h ic h   ar e:   ( 1 )   E ar ly   in v es tig at io n   p h as e,   ( 2 )   d esig n   p h ase,   ( 3 )   r ea li za tio n /co n s tr u ctio n   p h ase,   an d   ( 4 )   test ,   ev alu a tio n ,   r ev is io n   p h ase.     3 . 1 .   E a rly   I nv estig a t io n P ha s e   T h is   p h ase  is   ai m ed   to   g ath er   an d   an al y ze   i n f o r m atio n   ab o u t  ev alu at io n   p r o b lem   i n   f o o d   in g r ed ie n ts   ch e m is tr y   lear n i n g ,   to   id en ti f y   an d   s tu d y   th eo r ies  t h at  b as ed   o n   m ea s u r in g   i n s tr u m en t  t o   ev alu ate  lear n i n g   r esu lt,  th eo r y   ab o u t  s ci en ce   g en er ic  s k i lls ,   t h eo r y   ab o u t  ch e m is tr y   liter ac y ,   t h eo r y   ab o u t   lear n in g   th at  b ased   o n   eth n o - s cie n ce   an d   it s   ap p licatio n .   I n   th i s   s tep ,   it  is   also   i m p le m e n ted   th e  i n f o r m atio n   g ath er i n g   t h r o u g h   in ter v ie w   to   lectu r er s   o f   th r ee   L P T K  in   C en tr al  J av a  t h e n   co n ti n u e  b y   s y llab u s   an al y s is ,   le s s o n   p la n ,   an d   also   f o r m ati v e  a s s es s m en t  p ap er ,   m id ter m   test ,   an d   f i n al  te s t .   T h e  s tu d y   r esu lt  o f   cu r r ic u lu m   in   C h e m is tr y   E d u ca tio n   o f   L P T K  g iv e  in f o r m atio n   ab o u t  r a n g e  a n d   m ater ial  p r o f u n d it y   o n   co u r s e s   th at  ca n   b e  d esig n ed   to   b e  lectu r in g   th at  b ased   o n   eth n o - s cien ce .   Fro m   s o m e  o f   t h e   co u r s es  th at  ar e  ai m ed   to   g i v e  p r o v is io n   to   p r e - ch e m is tr y   teac h er   s o   t h at  s o m ed ay   th e y   w i ll  b e  ab le  to   teac h   c h e m i s tr y   i n   s e n io r   h i g h   s c h o o l  th at   in te g r ated   o n   eth n o - s cie n ce ,   t h u s   it   is   c h o s en   F o o d   I n g r ed ie n ts   C h e m is tr y   C o u r s e s   as   m ed ia  to   c o n s tr u ct   as s ess m e n t   in s tr u m en t  to   e v alu ate  c h e m i s tr y   liter ac y   ac h ie v e m en t  an d   s cien ce   g e n er ic  s k ills .   O n   th e  cu r r icu lu m   o f   ch e m is tr y   lear n i n g   in   t h r ee   L P T K,   Fo o d   I n g r ed ien ts   C h e m is tr y   C o u r s es  is   o n   th e  f o u r t h   o r   f i f th   s e m e s ter .   O n   th e  f ir s t  tab le,   it  is   s h o w ed   th a t  r an g e  m ater ial  th a t  is   ta u g h t  o n   Fo o d   I n g r ed ien ts   C h e m i s tr y   C o u r s es  i n   th o s e   th r ee   L P T K  C h e m is tr y   L ea r n in g .   Fro m   T ab le  1 ,   it  ca n   b e  co n clu d ed   t h at  t h e   g i v e n   m ater ial   o n   Fo o d   I n g r ed ien t s   C h e m is tr y   C o u r s es  f r o m   t h r ee   L P T K  h av e  s i m ilar   to p ic.   T h u s ,   th e  co n s t r u cted   ass es s m en t   in s tr u m en t c a n   b e  u s ed   i n   th o s e  th r ee   L P T K.                 Evaluation Warning : The document was created with Spire.PDF for Python.
I J E R E    I SS N:  2252 - 8822       P r elimin a r y  A n a lysi s   o f A s s e s s men t I n s tr u men t D esig n   to   R ev ea l S cien ce   Gen eric S kill . . . .   ( W o r o   S u ma r n i)   335   T ab le  1 .   T h e  R an g e  o f   Fo o d   I n g r ed ie n ts   C h e m i s tr y   C o u r s e s   Ma ter ial  o f   T h r ee   L P T K  C h em is tr y   E d u ca tio n   P r o g r am   No   F o o d   I n g r e d i e n t   C h e mi st r y   M a t e r i a l   L P TK   A   L P TK   B   L P TK   C   1   F o o d   I n g r e d i e n t s  C o mp o n e n t   ( W a t e r ,   C a r b o h y d r a t e ,   P r o t e i n ,   L i p i d ,   V i t a mi n ,   M i n e r a l   a n d   i t s A n a l y si s Pr o c e d u r e .   C h e mi s t r y   c o n c e p t   o f   F o o d   I n g r e d i e n t s.   W a t e r   i n   F o o d   I n g r e d i e n t s   a .   W a t e r   r e l a t i o n   i n   F o o d   I n g r e d i e n t s   b .   Ef f e c t   o f   w a t e r   d e g r e e   t o w a r d s fo o d   i n g r e d i e n t s         q u a l i t y .   c .   W a t e r   d e c r e a si n g   p r o c e ss i n   f o o d   i n g r e d i e n t s.   2   A d d i c t   e sse n se   i n   f o o d   i n g r e d i e n t s.   T h e   c h a r a c t e r i st i c s   o f   B i o l o g y ,   mi c r o b i o l o g y ,   p h y si c   a n d   f o o d   i n g r e d i e n t s c h e mi s t r y   ( w a t e r ,   c a r b o h y d r a t e ,   l i p i d ,   p r o t e i n ,   v i t a m i n ,   mi n e r a l )   C a r b o h y d r a t e   i n   f o o d   i n g r e d i e n t s   a .   S o u r c e   a n d   t y p e   o f   c a r b o h y d r a t e   i n   f o o d          i n g r e d i e n t s   b .   R e l a t i o n   o f   f o o d   i n g r e d i e n t s   t e x t u r e   t o w a r d   f o o d          r e so u r c e .   c .   P h y si c   a n d   C h e mi st r y   p r o c e ss i n   f o o d          in g r e d i e n t s.     3   D a n g e r o u s a n d   p o i so n o u s  c o mp o u n d   o n   f o o d   i n g r e d i e n t s a n d   i t s  so l v i n g .   T h e   c h a r a c t e r i st i c s   o f   b i o l o g y ,   mi c r o b i o l o g y ,   p h y si c   a n d   c h e mi st r y   t h e   e f f e c t   o f   f o o d   p r o d u c t i o n   i n d u st r y .   P r o t e i n   i n   f o o d   i n g r e d i e n t s   a .   S o u r c e   a n d   t y p e s o f   p r o t e i n   i n   f o o d   i n g r e d i e n t s.   b .   P r o t e i n   c l a ss i f i c a t i o n   i n   f o o d   i n g r e d i e n t s.   c .   P r o t e i n   q u a l i t y   i n   f o o d   i n g r e d i e n t s .   d .   D e n a t u r a t i o n   a n d   d e c a y i n g   o f   p r o t e i n .   4   D e t r i me n t   o f   f o o d   i n g r e d i e n t s ( p h y si c ,   c h e mi s t r y ,   b i o l o g y   a n d   mi c r o   b i o l o g y ) .   T h e   e f f e c t   o f   st o r a g e ,   p a c k a g e ,   f o o d   a d d i t i o n a l   i n g r e d i e n t s ,   t o w a r d   f o o d   i n d u st r i a l   p r o d u c t   r e l a t e d   t o   t h e   c h a r a c t e r i st i c   o f   b i o l o g y ,   mi c r o b i o l o g y ,   p h y si c   a n d   c h e mi s t r y .   L i p i d   i n   f o o d   i n g r e d i e n t s   a .   S o u r c e   a n d   t y p e s o f   l i p i d   i n   f o o d   i n g r e d i e n t s.   b .   L i p i d   c l a ssi f i c a t i o n   i n   f o o d   i n g r e d i e n t s .   c .   P h y si c   a n d   c h e mi st r y   p r o c e ss o f   l i p i d   i n   f o o d          i n g r e d i e n t s.   5   P r e serv i n g   t e c h n o l o g y     A n a l y si s o f   F o o d   A d d i t i o n a l   I n g r e d i e n t s (F A I )   q u a l i t a t i v e l y   a n d   q u a n t i t a t i v e l y .   V i t a m i n   i n   f o o d   i n g r e d i e n t s   a .   S o u r c e   a n d   t y p e s o f   v i t a mi n   i n   f o o d   i n g r e d i e n t s.   b .   T r e a t me n t   t o w a r d s v i t a m i n   so u r c e s   c .   P h y si c   a n d   c h e mi st r y   p r o c e ss o f   v i t a mi n   i n   f o o d          i n g r e d i e n t s.   6   M a n u f a c t u r e   t e c h n o l o g y   P o i so n   i n   f o o d   i n g r e d i e n t s,   a n d   t h e   so l v i n g   t e c h n o l o g y   r e l a t e d   t o   n u t r i e n t   v a l u e .   M i n e r a l   i n   f o o d   i n g r e d i e n t s   a .   S o u r c e   a n d   t y p e s o f   mi n e r a l   i n   f o o d   i n g r e d i e n t s.   b .   M i n e r a l   c l a ssi f i c a t i o n   i n   f o o d   i n g r e d i e n t s.   c .   P h y si c   a n d   c h e mi st r y   p r o c e ss o f   M i n e r a l   i n   f o o d          i n g r e d i e n t s.   7   P a c k a g i n g   t e c h n o l o g y   W a st e   o f   f o o d   i n g r e d i e n t s     A d d i c t i v e   e sse n c e   i n   f o o d   i n g r e d i e n t s .   a .   T y p e s o f   a d d i c t i v e   e sse n c e   i n   f o o d   i n g r e d i e n t s   b .   A d d i c t i v e   f o o d   e sse n c e   c l a ssi f i c a t i o n     c .   T h e   e f f e c t   o f   a d d i c t i v e   e sse n c e   u sa g e   t o w a r d          f o o d   i n g r e d i e n t s   t e x t u r e   8   F o o d   safe t y   F o o d   i n g r e d i e n t s m a n u f a c t u r e   P o i so n o u s e sse n c e   i n   f o o d   i n g r e d i e n t s .   a .   T y p e s a n d   so u r c e s o f   p o i so n o u s   e sse n c e   b .   P r o c e ss o f   p o i so n o u s   e sse n c e   l o c a t i o n   i n   f o o d          i n g r e d i e n t s.       3 . 2 .   Desig nin g   P ha s e   Fro m   th e  r es u lt  o f   ea r l y   i n v e s tig atio n ,   p lan n in g   s tep   w a s   i m p le m en ted .   T h e  d ev elo p in g   p lo ts   o f   th i s   p h ase  ar e  ( 1 )   r ec o n s tr u ctio n   o f   Fo o d   I n g r ed ien ts   C h e m i s tr y   C o u r s es  s y llab u s ,   ( 2 )   d ec id in g   m ater ial  t h at  w ill   b e  d ev elo p ed ,   ( 3 )   d ec id in g   SGS  i n d icato r s   an d   c h e m is t r y   liter ac y ,   ( 4 )   d ec id in g   co m p e ten ce   o f   ev er y   in d icato r s ,   ( 5 )   d ec id in g   t h e  a m o u n t o f   t h e  q u e s tio n s   t h at  ar e  s u itab le  to   SG S i n d icato r s   an d   ch e m is tr y   liter ac y ,   ( 6 )   d ec id in g   test   cl u es,  ( 7 )   co n s tr u ct in g   s ti m u l u s   w h ich   ar e  r ea d in g   o f   c h e m is tr y   s ci en ce   e t h n o - s cie n ce   in te g r ated ,   m ai n   q u esti o n   a n d   an s w er   k e y s .   I n   t h i s   r esear c h ,   as s es s m e n t  in s tr u m e n t  w a s   d esig n ed   as   ess a y   w it h   s e m i - o p en ed   an s w er   co n tain s   o f   s ti m u l u s /r ea d in g   r elate d   to   ch e m i s tr y   m ate r ial  in te g r ated   o f     eth n o - s cie n ce ,   co n ti n u ed   b y   m ain   q u esti o n   to   ev alu ate  ch e m i s tr y   liter ac y   a n d   s t u d en t s ‟   s cie n ce   g en er ic   s k ill s .   T h is   ess a y   d ec i s io n   is   b ased   o n   t h e  o p in io n   [ 4 3 ]   th at  m u lti p le  ch o ice  ite m s   h av e   lo w   v a lid it y   b ec a u s e  h i g h   p r o b a b ilit y   o f   r i g h t  a n s w er   an d   f o r   k n o w led g e  ab o u t   r ea ctio n   f o r   ex a m p le,   h ar d   to   test   u s i n g   m u l tip le  c h o ice   ite m s .   E v en   t h o u g h   es s a y   q u e s tio n s   ar e  w asti n g   ti m e  a n d   h a v in g   p o ten tial  o f   lo w   o b j ec tiv it y   o f   ass e s s o r s ,   b u t   it  h a s   h i g h   co n te n t  v alid it y [ 4 4 ] . T h e  lo w   p o ten tial   o f   o b j ec ti v it y   ca n   b e  i n cr ea s ed   b y   d ev e lo p in g   th e   g u id e  o f   co d in g   d etail  to   o p en   q u es ti o n s   [4 5 ] - [4 7 ]   ca n   u s e  e m p ir ical  d ata [ 4 8 ] .   T h e  ad v an ta g eo u s   o f   u s i n g   es s a y   q u esti o n s   ar e  1 )   t h er e  w il l  b e  s t u d en ts ‟   an s w er   t h at  b ase d   o n   t h eir   u n d er s ta n d in g   a n d   ex p er ien ce ,   n o t  b y   m e m o r izi n g   f ac t s   o r   th eo r ies  [4 4 ] , [ 4 5 ] ,   2 )   E s s a y   q u est io n s ,   ca n   m ea s u r e  ev er y   co g n it iv e  l ev els  t h at  m i g h t  b e   a  p ar t  o f   co m p ete n ce   th a t  c an   b e  ass es s ed ,   lik e  s k i lls   o f   ex p r es s in g   o p in io n ,   lo g ical   th i n k i n g ,   an al y tic     an d   s y s te m atic   [ 4 9 ] ,   3 )   ca n   b e  u s ed   to   an al y ze   s t u d en t ‟ s   u n d er s ta n d in g   d ev e lo p m en t,   s p o n tan eo u s   id ea     an d   s k il l  o f   ass o ciati n g   b ec au s e  es s a y   q u e s tio n s   r elativ e l y   d o n ‟ t  li m it  t h e  r esp o n d er s ‟   an s w er   o n   m a n y   p o s s ib le  an s w er s ,   4 )   e v er y   m ain   q u esti o n s   d o   no t  l i m it  t h e  r esp o n d er s ‟   an s w er   o f   v ar i o u s   g i v en   p o s s ib le  an s w er s .   T h o s e  clu e  q u esti o n s   ar e  s h o w ed   o n   T ab le  2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :2 2 5 2 - 8822   I J E R E     Vo l.  5 ,   No .   4 ,   Dec em b er   2 0 1 6   :   33 1  –   34 0   336   3 . 3 .   Co ns t ruct io n/Rea liza t io n P h a s e   T h is   p h ase  is   th e  s tep   o f   d e s ig n   r esu lt  r ea lizatio n .   A s   ea r l y   co n s tr u cti n g   p r o g r a m   o f   ass es s m en t   in s tr u m en t,  ca r b o h y d r ate  m at er ial  is   d ec id ed .   T h er e  ar e   asp ec ts   th at  ar e  ass es s ed   in clu d i n g   6   SGS  in d icato r s   w h ic h   ar e  Ob s er v atio n ,   S y m b o lic   L an g u ag e,   Mo d elin g ,   L o g ic  I n f er e n tial,   C a u s e   a n d   E f f ec t   R ela tio n ,   P r in cip le  Ob ed ien t  o f   L o g i ca l  Fra m e w o r k .   W h ile  C h e m is tr y   L iter ac y   a s s es s m en t   in clu d i n g   co n ten t     an d   s cien ce   p r o ce s s   w i th   cl u e s   ar e   s tated   o n   T ab le  1 .   Scien ce   g en er ic  s k il ls   t h at  ca n   b e  d ev elo p ed   d ep en d in g   o n   th e  m ater ial  ch ar ac ter is tics   an d   ac tiv itie s   u n d er tak e n   [ 1 0 ] ,   as  w ell  as  ab o u t  t h e  ch e m ic al  liter ac y .   On   t h i s   p h ase  it is   p r o d u ce d   p r o to ty p e  as th e  r e s u lt o f   as s es s m en t i n s tr u m e n t c o n s tr u c tio n .       T ab le  2 .   C lu es o f   s cie n ce   g en e r ic  s k ill a n d   ch e m is tr y   liter ac y   ass es s m e n t  f o r   ca r b o h y d r ate  m ater ial   Q u e st i o n   N u mb e r   S c i e n c e   P r o c e ss   S c i e n c e   C o n c e p t s   S c i e n c e   C o n t e x t s   S c i e n c e   G e n e r i c   S k i l l s   1   2   3   4   5       O b se r v a t i o n   L o g i c a l   F r a me   C a u se   a n d   Ef f e c t   R e l a t i o n   S y mb o l i c   L a n g u a g e   M o d e l i n g   L o g i c   I n f e r e n t i a l   A             C a r b o h y d r a t e   L o c a l   √       √   √                                 B . 1           √   P h o t o sy n t e si s     L o c a l     √                     P o l y m e r i z a t i o n         √                             √     2   √           A m y l   L o c a l           √           √       C y a n i d e   A c i d   L o c a l             √             √   Ev a p o r a t i o n   L o c a l             √   3   √         √   O smo si s Pr e ssu r e   L o c a l             √   4           √   F e r me n t a t i o n   L o c a l       √         5           √   En z y m   L o c a l       √           6             M i c r o   O r g a n i sm   L o c a l           √     7     √       √   F i b e r / se l u l o se   L o c a l       √         8   9         √     C a r b o h y d r a t e   T e st   L o c a l       √                 √       √                   √               √     No te:  I n d icato r s   asp ec ts   o f   s ci en ce   P r o ce s s :   1.   R ec o g n izi n g   s c ien t if icall y   i n v esti g ab le  q u e s tio n s   2.   I n d en ti f y in g   ev id en ce   n ee d ed   in   a  s cie n ti f ic  i n v e s ti g atio n   3.   Dr a w i n g   o r   ev alu ati n g   co n cl u t io n s   4.   C o m m u n ica tin g   v alid   co n clu ti o n s   5.   De m o n s tr ati n g   a n d   u n d er s tan d in g   o f   s cie n ti f ic  co n ce p ts       T h e  r esu lts   o f   co n s tr u ctio n   ar e  r e - r esear ch ed   w h et h er   o r   n o t  th e  s u f f icie n t  o f   s u p p o r tin g   t h eo r ies  o f   ass es s m en t   in s tr u m e n t  i s   f u l f i l led   an d   w ell - ap p lied   o n   ev er y   asp ec ts   t h at  ar e  as s es s ed   s o   it  w il l  b e  r ea d y   to   b e  test ed   th e  v alid it y   b y   ex p er ts   f o r m   t h eo r etica l r atio n al  a n g le  an d   th e  co n s is te n c y   o f   t h e  co n s tr u ctio n .     3 . 4 .   E v a lua t io n a nd   Rev is io n P h a s e   On   th is   s ta g e,   it  w er e  i m p le m en ted   2   m ain   ac ti v it ies,  w h ich   a r e  ( 1 )   v alid it y   ac ti v it y   a n d   ( 2 )   tr y   o u t   f ield   o f   p r o to ty p e  in s tr u m e n t  w h ic h   is   s tated   as  v al id   b y   e x p er ts   to   test   r eliab ilit y   an d   p r ac tical  test   o f   th e   q u esti o n s . T h is   is   co n s is ten t   w it h   t h e  s tate m e n t  W ein er   an d   B r o w n   ( in   [ 5 0 ]   th at: a   g o o d   ass ess m e n t   in s tr u m en t s   s h o u ld   h a v e  v alid it y   a n d   r eliab ilit y .   On e  o f   t h e  m et h o d s   to   test   i te m   v al id it y   i s   b y   u s i n g   ex p er ts ‟   ass es s m en t   [ 45] .   I n   th i s   r esea r ch ,   in s tr u m e n t  s t u d y   d escr ip tiv el y   w a s   d o n e  b y   e v alu at io n   e x p er ts ,   m ater ial   ex p er ts ,   an d   la n g u a g e  ex p er ts .   I n s tr u m en t  s t u d y   d escr ip t iv el y   w as  d o n e  b y   o b s er v i n g   m a ter ial  asp ec t,  co n s tr u ct io n   an d   la n g u a g e.   T h e  r esu lt o f   v alid it y   f o r   th r ee   e x p er ts   is   s tat ed   in   T ab le  3 .   On   T ab le  3 ,   it  is   s h o w ed   t h at  d ev elo p ed   ass es s m en t  i n s tr u m en ts   ar e  s tated   v er y   s u itab le  b y   v alid ato r s ,   th u s   af ter   b ein g   r ev is ed   s u g g es ted   b y   v alid ato r s ,   s o   th e  ass es s m en t  in s tr u m en ts   ca n   b e  tr y   o u t   test ed .   B ef o r e  tr y   o u t   test ,   c h e m is tr y   lear n in g   th at   is   i n t eg r ated   eth n o - s cie n ce   i s   g i v e n   o n   ca r b o h y d r ate  m ater ial  a s   o n e  o f   th e   co m p o n en t s   o f   f o o d   in g r ed ien ts .   I n   lear n i n g   p r o ce s s ,   r esear ch e r s   g i v e  e x p lan atio n   ab o u t  th e   p r o ce s s   o f   q u e s tio n   p r o d u ctio n   th at   i n cl u d es  a s p ec ts   t h at  w ill  b e  a s s e s s ed   an d   s co r ed .   Giv e n   q u esti o n s   n ee d   f i n is h i n g   s tep s ,   ar g u m e n tatio n s   an d   an al y s is   s o   it  w il l  b e  p o s s ib le  f o r   r es ea r ch er s   to   s ee   th e  p r o ce s s   d id   b y   s tu d e n ts   i n   f in d in g   t h e  a n s w er .   T h e  in f o r m ati o n   ab o u t  test   i m p le m e n tatio n   i s   co m m u n icate d   to   s tu d e n ts   s o   th e y   ca n   p r ep ar e  th e m s el v e s   f o r   th e  tes t.  T h e  Qu esti o n s   th at  ar e  p r ep ar ed   ca teg o r ized   as m o d er ate,   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E R E    I SS N:  2252 - 8822       P r elimin a r y  A n a lysi s   o f A s s e s s men t I n s tr u men t D esig n   to   R ev ea l S cien ce   Gen eric S kill . . . .   ( W o r o   S u ma r n i)   337   b ec au s e  ac co r d in g   to   [ 5 1 ] .  T h e  q u e s tio n s   t h at   ar e  to o   ea s y   n o t  s ti m u la te  s t u d en ts   to   en h an ce   t h e  ab ilit y   t o   s o lv e  it,  o t h er w is e  a  q u esti o n   th at  i s   to o   h ar d   w ill  ca u s e  t h e  s tu d e n t  to   b e  d esp er ate  an d   d o   n o t  h a v e  t h e  s p ir it   to   tr y   a g ai n   b ec au s e  o u t  o f   r ea ch   " . T w o   k i n d   o f   test   ar e  also   b ein g   test ed   i n   t h e  lea r n in g   to   s i m u late   p r o ce s s in g   ti m e.   T h e  s co r e  f o r   ea ch   q u esti o n s   is   d if f er en t,  b u t  th e  a m o u n t  o f   to tal  ite m s   ar e  1 0 0 .   First  tr y   o u t   t est  w as  i m p le m e n ted   w it h   th e  co lleg e  s tu d e n ts   o f   f o o d   in g r ed ien ts   ch e m i s tr y   co u r s e s   o n   o n e  o f   th e  L P T K.   An al y ze   q u est io n s   r eliab ilit y   u s in g   α - C r o n b ac h   .   I n s tr u m e n t i s   s tated   as r eliab le  w it h   r 11 =0 , 7 2 .       T ab le  3 .   T h e  ex p er ts ‟   ass e s s m en t  r esu lt o f   as s es s m e n t   i n s tr u m en t   V a l i d a t o r   A ss e sse d   A sp e c t s   M a t e r i a l   C o n st r u c t i o n   L a n g u a g e   A v e r a g e   M a t e r i a l   Ex p e r t   1 0 0 %   9 5 %   9 5 %   97 . 5%   Ev a l u a t i o n   Ex p e r t   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   L a n g u a g e   Ex p e r t   9 5 %   9 5 %   9 5 %   9 5 %   A v e r a g e   9 8 . 3%   9 6 . 7%   9 6 . 7%   9 7 . 5%   C r i t e r i a   V e r y   S u i t a b l e   V e r y   S u i t a b l e   V e r y   S u i t a b l e   V e r y   S u i t a b l e       Ass es s m en t  in s tr u m e n t  th e n   w a s   b ein g   test ed   th e  p r ac tica l  b y   g i v in g   q u e s tio n n air e  to   k n o w   t h e   p er ce p tio n   o r   r esp o n s e  o f   lect u r er s   an d   s tu d e n ts   to w ar d s   i n s tr u m e n t s .   T h e  cr iter ia  to   test   i n s tr u m e n t  p r ac tical   r ef er s   to   t h e  cr iter ia  s ta ted   b y   [ 5 2 ] .   Statem e n t s   g iv e n   co n s i s t  o f   5   s tate m en t s   f o r   s t u d en t s   an d   1 0   s tate m e n ts   f o r   lectu r er s .   U s ed   ca teg o r y   ar e  ( 4 )   v er y   a g r ee ,   ( 3 )   ag r ee ,   ( 2 )   q u ite  ag r ee ,   ( 1 )   d o n ‟ t  a g r ee .   T h e  p r ac tical  cr iter ia  ar e   f u lf illed   i f   m in i m u m   1 6   o f   2 2   s t u d en t s   g i v e  p o s it iv e  r esp o n s e  ( v er y   a g r ee   an d   a g r ee )   o n   t h e  g iv e n   s tate m en t s .   B ased   o n   th e   tr y   o u t  te s t,  m o r e  th a n   1 6   s tu d e n ts   f o r   all  o f   t h e  s tate m en t s   g i v e  p o s is tiv e   r esp o n s e .  So ,   th e  p r ac tical  cr iter ia  o f   as s ess m e n t  i n s tr u m e n t  ar e  f u l f i l led .   T h e  r esu lt  a s s es s m en t  o f   p r ac tica l  v alu e  ca n   b e  s ee n   o n   T ab le  4 .   T h e  p r ac tical  v al u e   is   also   g i v en   f o r   t w o   lect u r er s   o f   f o o d   in g r ed ien ts   co u r s e s .   Ass es s m en t  i n s tr u m e n t s   ar e  s t ated   v alid   i f   all   o f   lec tu r er s   g i v e  a g r ee   o r   v er y   ag r ee   a s s es s m en t.  T h e  r esu lt  o f   p r ac tical  v a lu e  o f   ass e s s m e n t  in s tr u m en t s   ar e  o b s er v ed   f r o m   th e  p er ce p tio n   o f   lectu r er s   th at  ca n   b e  s ee n   o n   T ab le  5 .   T h e  p er ce p tio n   o f   b o th   lect u r er s   to w ar d s   i n s tr u m en t  a s s es s m en t   w as   ev er y   lec tu r er s   g i v e  p o s iti v e   r esp o n s e  f o r   ev er y   q u e s tio n s   g iv e n .   I t   w as  s h o w ed   th at   t h e   ass e s s m e n t  w a s   ca te g o r ized   to   b e  p r ac tical  to   b e  u s ed ,   r ev ie w ed   b y   lect u r er s ‟   p er ce p tio n   to w ar d s   th o s e  a s s e s s m en ts .       T ab le  4 .   T h e  r esu lt o f   p r ac ticalit y   o f   a s s e s s m en t in s tr u m e n t  b y   s tu d e n ts   N u mb e r   S t a t e me n t   T o t a l   P o si t i v e   R e sp o n se   N e g a t i v e   R e sp o n se   1   W o r d s/ se n t e n c e   i n   a s se ssm e n t   i n s t r u me n t   e a si l y   c o mp r e h e n d e d .   22   0   2   T h e   p r o v i d e d   t i me   i s   e n o u g h   t o   f i n i sh   e v e r y   q u e st i o n .   17   5   3   A ss e ssm e n t   i n st r u me n t s   a r e   e a sy   f o r   u sag e .   22   0   4   A ss e ssm e n t   i s e q u i p p e d   w i t h   c l e a r   d i r e c t i o n .   22   0   5   A ss e ssm e n t s g i v e   f r e e d o m fo r   st u d e n t s t o   d o   t h e   e a si e r   p a r t   f i r s t .   22   0     A v e r a g e   sco r e   o f   st u d e n t s‟ s   p o si t i v e   r e sp o n se   21       T ab le  5 .   T h e  r esu lt o f   p r ac ticalit y   o f   a s s e s s m en t in s tr u m e n t  b y   lect u r es   N u mb e r   S t a t e me n t   T o t a l   P o si t i v e   R e sp o n se   N e g a t i v e   R e sp o n se   1   W o r d s i n   a sse ssm e n t   i n s t r u me n t s  a r e   e a si l y   c o mp r e h e n d e d .   2   0   2   Q u e st i o n s   a r e   su i t a b l e   w i t h   s t u d e n t s‟   sk i l l .   2   0   3   A ss e ssm e n t   i n st r u me n t s   ma k e   me   e a si e r   i n   g i v i n g   sco r e   f o r   st u d e n t s.   2   0   4   T h e   p r o v i d e d   t i me   i s   e n o u g h   t o   f i n i sh   e v e r y   q u e st i o n s .                                       2   0   5   I   b e c o me   o b j e c t i v e   i n   a sse ssi n g   w i t h   s c o r i n g   g u i d a n c e ,   2   0   6   A ss e ssm e n t   g i v e s   v a r i o u s s c o r e   f o r   e v e r y   sco r e r .   2   0   7   Ea sy   t o   d o   i n t e r p r e t a t i o n   t o w a r d s t e st   r e su l t .   2   0   8   A ss e ssm e n t   i s e q u i p p e d   w i t h   c l e a r   d i r e c t i o n .   2   0   9   A ss e ssm e n t   i s e q u i p p e d   w i t h   k e y   a n sw e r s a n d   sco r i n g   g u i d a n c e .   2   0   10   A ss e ssm e n t s g i v e   f r e e d o m fo r   st u d e n t s t o   d o   t h e   e a si e r   p a r t   f i r s t .   2   0     A v e r a g e   sco r e   o f   st u d e n t s‟ s   p o si t i v e   r e sp o n se   2       B ased   o n   co n ten t  v alid it y   tr y   o u t  test   a n d   r eliab ilit y   o f   q u esti o n s ,   it  w as  o b tai n ed   th at  d ev elo p ed   in d icato r s   i n   f o r m   o f   te s t  ite m   h av e  f u l f illed   t h e  r eq u ir e m en ts   a s   g o o d   test   in s tr u m e n ts   alth o u g h   t h er e  w er e  s o m e  o f   t h e  q u est io n s   t h at  n e ed   to   b e  f ix ed .   T h u s ,   test   i te m s   o f   th e  te s t  th a t  g e n er all y   u s e d   h av e  f u l f illed   t h e   r eq u ir e m en ts   a s   g o o d   in d icato r s   to   b e  d ev elo p ed   m o r e  in   f o r m   o f   test   ite m s   to   te s t  SGS  s k ill s   an d   c h e m is tr y   liter ac y .   So m eth in g   i n   s u b j ec tiv e  te s t  h as   b ee n   co m p r eh e n d ed   b y   s tu d e n ts .   P r ac titi o n er s   h av e   b ee n   ab le  to   r ea d   an d   co m p r eh e n d   s co r in g   r u b r ic  th e y   m ad e.   T h e  ex is te n ce   o f   lo ca l  w is d o m   co n te x t  in   th e   p ass a g e,   m ad e   Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :2 2 5 2 - 8822   I J E R E     Vo l.  5 ,   No .   4 ,   Dec em b er   2 0 1 6   :   33 1  –   34 0   338   s tu d e n ts   ar e  p o s s ib le  to   an s wer   th e  q u e s tio n s   d iv er g e n tl y .   T h e  lin k   b et w ee n   co n te n t,  p r o ce s s   a n d   co n te x t  o f   th e  r elev a n t  s cie n c e  w il l  f o r m   a  co g n iti v e  s c h e m a,   s o   t h at  lear n er s   ac q u ir e  k n o w led g e  in tact  [ 5 3 ]   in   a  m ea n in g f u l  co n te x t   [ 54] .  L i k e w i s e   p r ev io u s   r esear c h er s   [ 55] , [ 5 6 ]   s h o w ed   th a t  t h e  q u e s tio n   " w h y "   is   n o t  j u s t   to   r em e m b er   s o m et h i n g .   Fro m   t h e  d ata  d escr ip tio n   a n d   an al y s i s   b ased   o n   t h e  q u esti o n n air e  r es u lt,  lect u r er s ‟   in ter v ie w s ,   s tu d e n t‟ s   co m m e n t,  s h o w ed   t h at  as s es s m e n t  d r af t  th a t  ar e  d ev elo p ed   h av e  f u l f illed   th e  cr i ter ia  o f   ass e s s m e n t   p r ac ticalit y   w h ich   ar e  ea s y   to   co n s tr u ct,   ea s y   to   d o   b ec au s e  it  d o es  n o t  n ee d   p ar ticu lar   in s tr u m en t  a n d   th e   s tu d e n ts   ar e  f r ee   to   d o   th e  q u esti o n s   f r o m   th e  ea s iest   p ar t  f ir s t,  ea s y   to   c h ec k   b ec a u s e  it  h as  b ee n   eq u ip p ed   w it h   an s w er   k e y s   an d   s co r in g   g u id an ce ,   an d   also   h a v e  b ee n   eq u ip p ed   w ith   clea r   d ir ec tio n . T h is   is   co n s i s te n t   w it h   t h o s e  ex p r es s ed   b y   [ 5 7 ]   an d [ 5 4 ] ,   th at  th e  s tu d e n t  ev al u atio n   t h at  ta k es  i n to   ac co u n t  th e  co n te x t   an d   t h e   s p ec if ic  e n v ir o n m en t,  m a y   s er v e  as a   m o d el  t h at  co u ld   ea s il y   b e  u s ed   in   all  d is cip li n es   o f   s cien ce ,   tec h n o lo g y ,   en g i n ee r i n g   a n d   m at h e m atics.   E v en   s o ,   b ased   o n   th e  an al y s is   o f   s t u d en ts ‟   an s w er ,   it  w a s   f o u n d   th at  t h er e   w er e  s till   q u est io n s   t h at  w er e   h ar d   to   d o .   Stu d e n ts   ex p lai n ed   s o m e  r ea s o n s   w h y   t h e y   c o u ld   n o t  f i n is h   th e   q u esti o n s   w ell,   w h ic h   ar e:  1 )   Stu d en ts   h av e  n o t  b ee n   u s e d   to   f in is h   a n al y tical  q u e s tio n s   t h at  m ad e  th e m   co n s tr u ct  t h eir   o w n   an s w er   t h e y   n ee d   in   th e  q u e s tio n s ,   2 )   Stu d en t s   d id   n o t  b r av e  an d   co n f id e n t  en o u g h   in   ex p lain i n g   id ea /o p in io n   b y   t h eir   o w n   w a y ,   3 )   S tu d e n ts   h av e  n o t  b ee n   u s ed   to   e x p lai n   w r itte n   r ea s o n   i n   f i n is h i n g   p r o b lem   also   to   w r ite  th e   p r o ce s s   t h e y   d id   in   s o lv in g   q u esti o n s .   So m e  p r o b le m s   o cc u r   i n   d at a   an al y s is ,   r elate d   to   SGS  in d i ca to r s   an d   ch e m i s tr y   liter ac y .   W h en   d r af t  p lan n i n g   o f   ea r ly   q u esti o n s ,   s o m e   q u esti o n   ite m s   w er e  co n s id er ed   to   b e   ab le  to   ass ess   SG S  in d icato r s   an d   also   ch e m is tr y   lite r ac y   i n d icato r s ,   f o r   ex a m p le  t h e  q u e s tio n s   o n   th e  attac h m en t  o f   s cie n ce   p r o ce s s   asp ec t  i n d icato r s   th at  d e m o n s tr ated   s cien ce   co n ce p ts   co m p r eh en s io n   w it h   SGS  in d icato r s   r elatio n   o f   ca u s e  an d   ef f ec t.  B u t  ac tu a ll y ,   wh en   d ata   an al y s i s   it   o cc u r r ed   b ias  in   d ec id in g   wh ich   in d icato r s   t h at  co u ld   b e  ass es s   f r o m   a  s t u d en t,  wh eth er   t h e  s k i ll  to   d em o n s tr ate  h is   s cien ce   co n ce p ts   co m p r eh en s io n ,   o r   th e  g e n er ic  s k ill s   o f   h is   ca u s e  an d   e f f ec t r elatio n .     T h u s ,   in   d r af t  p lan n i n g   o f   tr y   o u t  te s t  2   w i ll  b e  co m p letel y   s ep ar ate  b etw ee n   q u es tio n s   to   r ev ea l  SGS   in d icato r s   an d   q u es tio n s   to   r ev ea l  ch e m is tr y   liter ac y .   T h e  p lan n ed   q u e s tio n s   d r af ts   f o r   s ec o n d   tr y o u t  te s t  w er e   d esig n ed   as   th e   s a m e  a s   f ir s t  tr y o u t  test   w h ich   i n   w r itt en   f o r m   th at   d e m a n d ed   s t u d en ts   to   m e m o r ize,   co m p r e h en d ,   an d   o r g a n ize  t h e ir   id ea   o r   s o m et h i n g   t h e y   lear n t  b y   s h o w i n g   o r   ex p r es s i n g   t h o s e  id ea s   i n   f o r m   o f   w r itte n   e s s a y   b y   u s i n g   th e ir   o w n   w o r d s .   I f   t h at  s o ,   o n   t h e  d ev elo p ed   d r af t s   o f   s ec o n d   tr y o u t  test ,   t h er e   w o u ld   b e  t w o   q u esti o n   p ac k ag e,   o n e  f o r   r ev ea lin g   SGS  an d   t h e  o th er   o n e  f o r   r ev ea li n g   c h e m is tr y   liter ac y   t h at   co n tain s   o f   s ti m u lu s /p ass a g es,   m ai n   q u es tio n s   a n d   an s w er s .   I n   th is   d ev elo p in g   p r o ce s s   to   g ain   f i n al  p r o to ty p e   w h ic h   is   v alid ,   p r ac tical,   an d   ef f ec tiv e  a s s e s s m e n t  in s tr u m e n t,  th er e  m i g h t  b e  c y cle  ( r ep ea ted   ac tiv it y ) ,   w h ic h   ar e:  r ep ea ted   r ev alid ate  a n d   r ev is io n   to w ar d s   1 s t   p r o to t y p e  an d   t h e  p r o to t y p e  t h at   h a v e  f u l f illed   v alid it y   w h ic h   h a v e  b ee n   test ed   f o r   m an y   ti m es  i n   th e  f ield   u n til   it  f u l f ill s   th e  cr iter ia  o f   p r ac tical/ im p le m e n tatio n     an d   ef f ec tiv e n es s .   A n al y s is   co n d u cted   a  co m b i n atio n   o f   q u a litativ e  a n d   q u an tita tiv e   [ 5 8 ] [ 5 9 ] ,   th en   ass e m b le s   in ter p r eted   to   co n clu s io n s .       4.   CO NCLU SI O N   B ased   o n   th e  r esear ch   r esu lt  a n d   d ata  an al y s is ,   it  ca n   b e  co n clu d ed   th a t  ass e s s m e n t  in s tr u m e n t  w a s   p r o d u ce d   r elate d   to   lo ca l  w is d o m   to   m ea s u r e  s k ill  le v el  o f   ch e m is tr y   an d   SG S  s tu d en t s   o f   teac h er   ca n d id ate. Ass e s s m e n t  i n s tr u m en t  t h at  w a s   d esi g n ed   to   f u l f il l   s t u d en ts ‟   e x p er ien ce   o f   lo ca l   cu lt u r e  h a v e  b ee n   s tated   v al id   b y   e x p er t  f r o m   m ater ial,   co n s tr u ctio n   a n d   la n g u ag e   s id e.   T h is   r es u lt   s h o w ed   th at  th e  d e v elo p ed   ass es s m en t  in s tr u m e n t  b y   r e s ea r ch er s   to   m ea s u r e  s k ill  o f   ch e m is tr y   liter ac y   an d   s tu d e n ts ‟   SGS  h a v e  h ig h   in ter n a l  r eliab ilit y . I n d icato r s   o f   u s ed   SGS  s k il l  an d   c h e m is tr y   liter ac y   h a v e  f u l f il l  th e  r e q u ir e m e n ts   a s   g o o d   in d icato r s   to   b e  d ev elo p ed   m o r e  i n   f o r m   o f   ite m   test s   t o   ass ess   SGS  s k ill  a n d   ch e m is tr y   l iter ac y   o f   th e   s tu d e n ts .   I t  w a s   n ee d ed   a  s ep ar atio n   b et w ee n   q u est io n s   to   r ev ea l  SGS  a n d   ch e m is tr y   l it er ac y   to   m a k e  s u r e  th at  it  ca n   r ev ea l  ea ch   i n d i ca to r s   w ell  ( t h er e  w ill  b e  n o   am b i g u o u s   i n   an a l y s is   r es u lt) .   Her e  b y   th i s   co n s tr u ct io n   o f   v alid ,   r eliab l e,   an d   p r ac tical  as s es s m e n t  i n s tr u m e n t   d r af t,  s o m et h i n g   t h at  n ee d   to   b e  p aid   atten tio n   to   i n   d ev elo p in g   t h i s   as s es s m e n t   i n s tr u m en t  ar e  i t  w a s   s till   n ee d ed   d is cu s s io n     an d   s o cializa tio n   ac tiv it y   w it h   ex p er tis e  i n   l ea r n i n g   ev al u ati o n   an d   also   t h e  u s er s   to   m ak e   a  g o o d   q u alit y   o f   lo ca l  cu ltu r al  b ased   ass e s s m e n t  in s tr u m e n t  an d   b e  ab le  to   ass ess   SGS  a n d   ch e m is tr y   l iter ac y .   Mo r eo v er ,   b ef o r e  ap p ly i n g   th i s   as s ess m e n t  i n s tr u m e n t,  it  s h o u ld   b e  b eg u n   b y   et h n o - s cien ce   b ased   l ea r n in g   a n d   m a k e   s tu d e n ts   to   h a v e  s cie n ce   g en er ic  s k il l a n d   ch e m i s tr y   liter ac y .       ACK NO WL E D G E M E NT S   Gr ea t  ap p r ec iate   to   P r o f .   Dr .   An i   R u s ilo w ati,   M.   P d   f o r   th e  b o o k ;   Dr .   E n d an g   S u s i lan i n g s i h ,   MS   w h o   w as   w ill in g   to   g u id e  t h is   test   in s tr u m e n t  d e v elo p m en t,  v a lid ato r s ,   s t u d en t s   a n d   lectu r er s   o f   f o o d   in g r ed ie n ts   co u r s es a n d   all  p eo p le  w h o   h a v e  co n tr ib u ted   in   t h is   r esear c h .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E R E    I SS N:  2252 - 8822       P r elimin a r y  A n a lysi s   o f A s s e s s men t I n s tr u men t D esig n   to   R ev ea l S cien ce   Gen eric S kill . . . .   ( W o r o   S u ma r n i)   339   RE F E R E NC E S   [1 ]   P .   F e n sh a m ,   “ Co m p e ten c ies   fro m   w it h in   a n d   w it h o u t:   n e w   c h a ll e n g e s  a n d   p o ss ib il it ies   f o r  sc ien ti f ic  li tera c y ,” P ro mo ti n g   sc ien t if ic  li te ra c y :  sc ien c e   e d u c a ti o n   re se a rc h   in   tra n sa c ti o n , S w e d e n ,   L in n a e u s,  p p .   1 1 3 – 1 1 9 ,  2 0 0 7 .   [2 ]   Y.  S h w a rtz,  e t  a l . ,  “ Ch e m ica l  li tera c y :  w h a t  it   m e a n s  to   s c ien ti sts  a n d   sc h o o l   tea c h e rs? , ” J o u rn a l  o f  C h e mic a l   Ed u c a ti o n ,   v o l .   83 ,  p p .   1 5 5 7 - 1 5 6 1 ,   2 0 0 6 .   [3 ]   OECD,  “ P IS A   2 0 0 9   A ss e ss m e n t  F ra m e w o rk   –   Ke y   C o m p e ten c ies   In   Re a d in g ,   M a th e m a ti c s  A n d   S c ien c e , ” Or g a n iza ti o n   f o r E c o n o mic   Co o p e ra ti o n   a n d   De v e lo p me n t  ( OECD) ,   P a ris,   2 0 0 9 .   [4 ]   J.  Os b o r n e ,   “ S c ien c e   e d u c a ti o n   f o r  th e   tw e n ty - f irst  c e n tu ry , ” E u ra sia   J o u r n a l   o f   M a th e m a ti c s,   S c ien c e   &   T e   c h n o l o g y   E d u c a ti o n , v o l /i ss u e :  3 ( 3 ) ,  p p .   1 7 3 – 1 8 4 ,   2 0 0 7 .   [5 ]   R.   W .   By b e e ,   e t  a l. ,   “ P I S A   2 0 0 6 :   A n   A ss e ss m e n t  o f   S c ien ti f ic  L it e ra c y , ” J o u rn a l   o f   Res e a rc h   i n   S c i e n c e   T e a c h in g ,   v o l/ issu e :  4 6 (8 ) ,  p p .   8 6 5 – 8 8 3 ,   2 0 0 9 .   [6 ]   C.   G o r m a ll y ,   e t  a l. ,  “ De v e lo p in g   a   Tes t  o f   S c i e n t if ic  L it e ra c y   S k il ls  (TOS L S ):  M e a su rin g   Un d e rg ra d u a tes   Ev a lu a ti o n   o f   S c ien ti f ic  In f o rm a t io n   a n d   A rg u m e n ts, ” CBE   L if e   S c i  Ed u c , v o l /i ss u e :  1 1 (4 ) ,p p .   3 6 4 – 3 7 7 ,   2 0 1 2 . d o i :   1 0 . 1 1 8 7 /c b e . 1 2 - 03 - 0 0 2 6 .   [7 ]   D.  Co il ,   e t  a l. ,  “ T e a c h in g   th e   p ro c e ss   o f   sc ien c e :  f a c u lt y   p e rc e p ti o n s  a n d   a n   e ff e c ti v e   m e th o d o lo g y , ” CBE   L if e   S c i   Ed u c , v o l .   9 ,  p p .   5 2 4 - 5 3 5 ,   2 0 1 0 .   [8 ]   A .   F a d ll a n ,   “   De v e lo p m e n t  o f  s c ien c e   g e n e ric  sk il ls  p h y sic s   tea c h e r  c a n d id a tes   th ro u g h   lea rn in g   m o d e l    g ro u p   in v e stig a ti o n   o n   p ra c ti c e   c o u rse , ” J u rn a l  Ph e n o me n o n ,   v o l /i ss u e :   1 ( 1 ) ,   p p .   3 1 - 4 4 ,   2 0 1 1 .   [9 ]   Ha k sa n i ,  “ D e v e lo p m e n t  o f  sc ien c e   g e n e ric   sk il ls - b a se d   a ss e s s m e n t   to o l  in   a d v a n c e   c h e m istr y   e x p e ri m e n tal , ” J u rn a l   Ch e mic a , v o l/ issu e :   14 ( 1 ), p p .   2 7 - 3 7 ,   2 0 1 3 .   [1 0 ]   I.   P u jan i ,   “ T h e   d e v e lo p m e n t  o f   s c ien c e   g e n e ric   sk il ls - b a se d   lea rn i n g   m o d e ls  o f   th e   e a rth   a n d   sp a c e   to   im p ro v e   th e   lab o ra to ry   sk il ls  o f   p h y sic s te a c h e r  c a n d id a tes , ” J u rn a l  Pen d i d ika n   I n d o n e sia , v ol /i ss u e :  3 ( 2 ) ,  p p .   4 7 1 - 4 8 4 ,   2 0 1 4 .   [1 1 ]   S u d a rm in ,  “ En h a n c in g   o f   th in k i n g   a b il it y   th ro u g h   lea rn in g   i n teg ra ted   o f   sc ien c e   g e n e ric  sk il ls  , ”   A   p a p e r  p re se n ted   in   Na ti o n a l   S e min a r  Res e a rc h ,   E d u c a t io n   a n d   Ap p li c a t io n s M a th e ma ti c s a n d   S c ien c e s ,   Yo g y a k a rta,   2 0 0 9 .   [1 2 ]   M .   S .   G ro n lu n d   a n d   J.  L in n ,   “ M e a su re m e n t  a n d   A s se s m e n t  i n   T e a c h in g , ”   Ne w  Je rs e y ,   P re n ti c e - Ha ll ,   P e a rso n   Ed u c a ti o n   Up p e r  S a d d le Ri v e r, 1 9 9 5 .   [1 3 ]   C.   R.   Re y n o ld ,   e t  a l. ,  “ M e a su re m e n t  a n d   A ss e s m e n t  in   Ed u c a ti o n , ”   2 n d   E d.   Up p e r  S a d d le  Riv e r,   NJ ,   P e a rso n ,   2 0 0 9 .     [1 4 ]   K.  G .  Do x a s  a n d   M .   Kl y m k o w s k y ,   “ Un d e rsta n d in g   ra n d o m n e ss   a n d   it s  im p a c t  o n   stu d e n t  lea rn in g :   les so n s  lea rn e d   f ro m   b u il d i n g   th e   Bi o l o g y   Co n c e p t  In v e n t o ry   (BCI), ” CBE   L if e   S c i  Ed u c . , v o l.   7 ,   p p .   2 2 7 – 2 3 3 ,   2 0 0 8 .     [1 5 ]   M .   S m it h ,   e t  a l. ,  “ T h e   G e n e ti c s C o n c e p t  A ss e ss m e n t:   a   n e w   c o n c e p t  in v e n to ry   f o r  g a u g in g   stu d e n t  u n d e rsta n d i n g   o f   g e n e ti c s , ” CBE   L if e   S c i  E d u c . , v o l.   7 ,   p p .   4 2 2 – 4 3 0 ,   2 0 0 8 .     [1 6 ]   J.  L .   S h i h ,   et   a l. ,  “ A n   in q u iry - b a s e d   m o b il e   lea rn in g   a p p ro a c h   t o   e n h a n c in g   s o c ial  sc ien c e   lea rn in g   e ffe c ti v e n e ss , ” Ed u c a ti o n a l   T e c h n o lo g y   &   S o c iet y ,   v o l/ issu e :  1 3 (4 ) , p p .   5 0 - 6 2 ,   2 0 1 0 .     [1 7 ]   C. Y.  T su i  a n d   D.  T re a g u st,  “ E v a lu a ti n g   se c o n d a r y   stu d e n ts‟  sc ien ti f ic  re a so n in g   in   g e n e ti c s  u sin g   a   t w o - ti e r  d iag n o stic i n stru m e n t , ” In t  J   S c i   E d u c . , v o l .   3 2 ,   p p .   1 0 7 3 – 1 0 9 8 ,   2 0 1 0 .     [1 8 ]   NRC,  “ Na ti o n a l  S c ien c e   E d u c a ti o n   S tan d a rd , ”   W a sh in g to n   DC ,   Na ti o n a l  A c a d e m y   P re ss ,   1 9 9 6 .     [1 9 ]   M .   Ba u e r,   e t  a l. ,  “ W h a t  c a n   we   l e a rn   f ro m   2 5   y e a rs  o f   P US  su rv e y   re se a rc h ? , ” Pu b li c   Un d e rs t  S c i. , v o l.   1 6 ,   p p .   7 9 – 9 5 ,   2 0 0 7 .     [2 0 ]   S .   S .   J u sn iar   a n d   M .   A n w a r,   “ De v e lo p m e n t  o f   S c ien c e   G e n e ric  S k il ls - Ba se d   A s se ss m e n t  T o o l  In   P h y sic a l   Ch e m istr y   2  Ex p e ri m e n tal , ” J . Pen . Pen d . K im ,  v o l/ issu e :   1 ( 1 ),   p p .   3 5 - 4 2 ,   2 0 1 4 .     [2 1 ]   D.  W it te  a n d   K.  Be e rs,  “ T e stin g   o f   c h e m ica l  li tera c y , ” Ch e mic a l  Ed u c a t io n   In ter n a sio n a l ,   v o l /i ss u e :   4 ( 1 ) ,   p p .   1 - 1 5 ,   2 0 0 3 .     [2 2 ]   I.   S u w a rn a ,   “ De v e lo p in g   G e n e ri c   S k il ls  in   th e   Co u rse   o f   Earth   a n d   S p a c e   S c ien c e s , ”   De p a rt m e n t  o f   S c ien c e   Ed u c a ti o n     F IT K UIN S y a rif   Hid a y a tu ll a h ,   Ja k a rta,  2 0 1 3 .   [2 3 ]   R.   S u d iatm ik a ,   “   De v e lo p m e n t  o f   sc ien ti f i c   li tera c y   to o l  in   th e   c o n tex t  o f   th e   c u lt u re   o f   Ba li ,”   Dise rta ti o n , Un iv e rsitas   P e n d id ik a n   In d o n e sia ,   Ba n d u n g ,   2 0 1 0 .   [2 4 ]   S .   S im o n ,   e t  a l. ,  “ L e a rn in g   to   tea c h   a rg u m e n tatio n :   re se a rc h   a n d   d e v e lo p m e n t  i n   t h e   sc ien c e   c las sro o m , ” In ter n a ti o n a l  J o u rn a l  o f  S c ien c e   E d u c a ti o n ,  v o l .   2 8 ,   p p .   2 3 5 - 2 6 0 ,   2 0 0 6 .     [2 5 ]   S .   P .   No rr is  a n d   L .   M .   P h il li p s,   “ Ho w   li tera c y   in   it s  f u n d a m e n t a l  se n se   is   c e n tral  t o   sc ien t if ic  li tera c y , ” S c ien c e   Ed u c a ti o n , v o l.   8 7 ,   p p .   2 2 4 - 2 4 0 ,   2 0 0 3 .     [2 6 ]   J.  Re g m i   a n d   M .   F lem in g ,   “ In d i g e n o u s  k n o w led g e   a n d   sc ien c e   i n   a   g lo b a li z e d   a g e , ” Cu lt   S tu d   o f  S c i  Ed u c . , v o l.   7 ,   p p .   4 7 9 - 484 ,   2 0 1 2 .   DO I  1 0 . 1 0 0 7 / s1 1 4 2 2 - 0 1 2 - 9 3 8 9 - z .   [2 7 ]   A .   G u n sto n e ,   “ De v e lo p in g   S u sta in a b le  Ed u c a ti o n   in   Re g io n a l  A u stra li a , ”   M e lb o u rn e ,   M o n a sh   Un iv e rsity   P u b l ish i n g ,   2 0 1 4 .     [2 8 ]   C.   Nie to   a n d   M .   Z.   B o o t h ,   “ C u lt u ra l  c o m p e ten c e :  Its  in f lu e n c e   o n   th e   tea c h in g   a n d   lea rn in g   o f   in tern a ti o n a l   stu d e n ts, ” J o u rn a l  o f  S tu d ies   in   I n t e rn a ti o n a l   Ed u c a ti o n ,  v o l/ iss u e :  1 4 (4 ),   p p .   4 0 6 - 4 2 5 ,   2 0 1 0 .     [2 9 ]   O.  Je g e d e   a n d   P .   A .   Ok e b u k o la,  “ In f lu e n c e   o f   S o c io - Cu lt u ra l  F a c to r  o n   S e c o n d a ry   S tu d e n ts ‟   A tt it u d e   to w a rd   S c ien c e ” ,  Res e a rc h   in   S c ien c e   Ed u c a ti o n   v o l   1 9   ,   p p .   1 5 5 - 1 6 4 ,  1 9 8 9 .   [3 0 ]   R.   B.   S a rw a n to   a n d   D.  F it rian a ,   “ Id e n ti f ica ti o n   o f   In d ig e n o u s  S c ien c e   „ P ra n a ta  M a n g sa ‟  S y ste m   th ro u g h   Et h o - sc ien c e   S tu d y , ”   A   p a p e r  p re se n ted   in   Na ti o n a l  S e m in a r  o f   Bio lo g y   Ed u c a ti o n ,   F KI P   UN S ,   S u ra k a rta,  2 0 1 0 .     [3 1 ]   D.  Ba k e r  a n d   P .   C .   T a y lo r,   “ T h e   Eff e c t  o f   Cu lt u re   o n   t h e   L e a rn in g   o f   S c ien c e   in   No n   - W e ste rn   Co u n tri e s:  T h e   Re su lt   o f   a n   In teg ra t e d   Re se a rc h   Re v ie w , ” In ter n a ti o n a l  J o u rn a l  o f  S c ien c e   Ed u c a t io n ,  v o l/ issu e :  1 7 ( 6 ),   p p .   6 9 5 - 7 0 4 ,   1 9 9 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
              I SS N :2 2 5 2 - 8822   I J E R E     Vo l.  5 ,   No .   4 ,   Dec em b er   2 0 1 6   :   33 1  –   34 0   340   [3 2 ]   G .   A ik e n h e a d   a n d   O .   Je g e d e ,   “ Cro ss - Cu lt u ra l  S c ien c e   Ed u c a ti o n :  A   Co g n it iv e   Ex p la n a ti o n   o f   a   Cu lt u ra l   P h e n o m e n o n , ” J o u rn a l  o f  Res e a rc h   in   S c ien c e   T e a c h in g ,   v o l .   3 6 ,   p p .   2 6 9 - 2 8 7 ,   1 9 9 9 .     [3 3 ]   W .   Co b e rn   a n d   G .   A ik e n h e a d ,   “ Cu lt u ra l  A sp e c ts  o f   l e a rn in g   S c ien c e , ”   W o rk in g   p a p e r ,   1 9 9 6 .   [ On l in e ].   A v a il a b le:   h tt p : // ww w . wm ich . e d u /slcs p /1 2 1 . h tm /  a k s e s 2 0   De se m b e r  2 0 1 5 .   [3 4 ]   W .   W .   Co b e rn ,   “ T ra d it i o n a l  C u lt u re   a n d   S c ien c e   E d u c a ti o n   i n   Af rica :  M e re l y   L a n g u a g e   Ga m e s? ,”   A   P a p e r   P re se n ted   a t  th e   M e e ti n g   f o r  Trad it io n a l  Cu lt u re ,   S c ien c e   a n d   T e c h n o lo g y ,   a n d   De v e lo p m e n t:   T o wa rd ,   Ne w   L it e r a c y   f o r  S c ien c e   a n d   T e c h n o l o g y ,   T o k y o ,   Ja p a n ,   1 9 9 6 .     [3 5 ]   O.  S h u m b a ,   “ Re latio n sh i p   b e t w e e n   se c o n d a ry   sc ien c e   tea c h e rs  o rien tati o n   o f   trad it i o n a l   c u l tu re   o n   b e li e f s   c o n c e rn in g   sc ien c e   i n stru c ti o n a l   o f   id e o l o g y , ” J o u rn a l   Of  Res e a rc h   i n   S c ien c e   T e a c h i n g ,   v o l / issu e :   26 ( 3 ) ,   p p .   3 3 3 - 3 3 5 ,   1 9 9 9 .     [3 6 ]   B.   W a ld rip   a n d   P .   T a y lo r,   “ P e rm e a b il i t y   o f   stu d e n ts  w o rld v ie w s  t o   th e ir  sc h o o l  v iew s   in   n o n - w e ste rn   d e v e lo p in g   c o u n try , ” J o u n a l  o f  Res e a rc h   i n   S c ien c e   T h e a c h i n g , v o l .   36 ,   p p .   2 8 9 - 3 0 3 ,   1 9 9 9 .     [3 7 ]   M .   Og u n n iy i,   e t  a l. ,  “ Na tu re   o f   w o rld v ie w   p re su p p o sit io n s  a m o n g   sc ien c e   tea c h e rs  in   Bo tsw a n a ,   In d o n e sia ,   jap a n ,   Nig e ria,  a n d   th e   P h il i p p in e s, ” J o u rn a l  o f  Res e a rc h   i n   S c ien c e   T e a c h in g ,   v o l / issu e :   32 ( 8 ) ,   p p .   8 1 7 - 8 3 1 ,   1 9 9 5 .     [3 8 ]   P .   E.   Ne w to n ,   “ Clarify in g   th e   p u r p o se s  o f   e d u c a ti o n a l  a ss e ss m e n t , ” Asse ss me n t  in   Ed u c a ti o n ,  v o l/ is su e :  1 4 (2 ),   p p .   149 – 1 7 0 ,   2 0 0 7 .     [3 9 ]   S .   M a v in ,   e t  a l. ,“ T h e   e v a lu a ti o n   o f   lea rn in g   a n d   d e v e lo p m e n t  in   t h e   w o rk p l a c e :  A   re v ie w   o f   th e   li tera tu re , ”   2 0 1 4 .   [ On li n e ] .   A v a il a b le:  h tt p :/ /www . n o rth u m b ria.ac . u k /static/5 0 0 7 / h rp d f /h e f c e /h e fc e _ li trev ie w . p d f . .   [ A c c e ss e d   1 3   A u g u st 2 0 1 4 ] .   [4 0 ]   T .   P l o m p   a n d   N.  Nie v e e n ,   “ A n   In tro d u c ti o n   t o   E d u c a ti o n a l  De sig n   Re se a rc h , ”   S h a n g h a i,   Ch i n a ,   2 0 0 7 .     [4 1 ]   A .   Ru silo w a ti ,   “ De v e lo p m e n t  o f   A s se s m e n t  In stru m e n t   , ”   S e m a ra n g ,   Un n e s  P re ss ,   2 0 1 4 .     [4 2 ]   R.   G re g o r y ,   “ P s y c o lo g ica l  T e stin g :  Histo ry ,   P rin c i p les   a n d   A p li c a ti o n s, ”   B o sto n ,   A ll y n   a n d   Ba c o n ,   2 0 0 0 .     [4 3 ]   H.  C.   Hill ,   e t  a l. ,  “ Un p a c k in g   p e d a g o g ica l  c o n ten t  k n o w led g e :  Co n c e p t u a li z in g   a n d   m e a su rin g   tea c h e rs„  to p ic - sp e c if ic  k n o w led g e   o f   stu d e n ts , ” J o u rn a l  f o r  Res e a rc h   in   M a th e m a ti c s  Ed u c a ti o n ,  v o l/ issu e :  3 9 ( 4 ) ,   p p .   3 7 2 – 4 0 0 ,   2 0 0 8 .     [4 4 ]   S .   S c h m e lzin g ,   e t  a l. ,  “ De v e lo p m e n t,   e v a lu a ti o n ,   a n d   v a li d a ti o n   o f   a   p a p e r - a n d - p e n c il   tes t  f o r  m e a su rin g   tw o   c o m p o n e n ts  o f   b io lo g y   tea c h e rs„  p e d a g o g ica l  c o n ten t  k n o w led g e   c o n c e r n in g   th e   ―c a rd io v a sc u lar  s y ste m , ” In ter n a ti o n a l  J o u rn a l  o f  S c ien c e   a n d   M a t h e ma ti c s   Ed u c a ti o n ,   v o l.   1 1 ,   p p .   1 3 6 9 – 1 3 9 0 ,   2 0 1 3 .   d o i. o rg /1 0 . 1 0 0 7 /s1 0 7 6 3 - 0 1 2 - 9 3 8 4 - 6 .   [4 5 ]   S .   Kra u ss ,   e t  a l. ,  “ S e c o n d a ry   m a th e m a ti c s  tea c h e rs„  p e d a g o g i c a l  c o n ten t  k n o w led g e   a n d   c o n ten t  k n o w led g e :  V a li d a ti o n   o f   th e   COA CT IV   c o n stru c ts, ” In ter n a ti o n a l  J o u rn a l  o f  M a th e ma ti c s  Ed u c a ti o n ,  v o l/ is su e :  4 0 ( 5 ),   p p .   873 - 8 9 2 ,   2 0 0 8 .     [4 6 ]   M .   Jü tt n e r  a n d   B.   J.  Ne u h a u s,   “ De v e lo p m e n t  o f   it e m s  f o r  a   p e d a g o g ica l  c o n ten t  k n o w led g e - tes t  b a se d   o n   e m p ir ica l  a n a ly sis  o f   p u p il s„  e rro rs , ” In ter n a ti o n a l  J o u rn a l  o f  S c ien c e   Ed u c a ti o n ,  v o l/ issu e :  3 4 (7 ) ,   p p .   1 1 2 5 – 1 1 4 3 ,   2 0 1 2 .  h tt p : // d x . d o i. o rg /1 0 . 1 0 8 0 / 0 9 5 0 0 6 9 3 . 2 0 1 1 . 6 0 6 5 1 1 .   [4 7 ]   M .   Jü t tn e r  a n d   B .   Ne u h a u s,  “ Va li d a ti o n   o f   a   P a p e r - a n d - P e n c il   T e st  In stru m e n t  M e a su rin g   Bio l o g y   T e a c h e rs„  P e d a g o g ica l  Co n ten t   Kn o w led g e   b y   Us in g   T h in k - A lo u d   I n t e rv ie w s, ” J o u rn a l   o f  E d u c a ti o n   a n d   T ra i n in g   S tu d ies ,v ol /i ss u e :   1 ( 2 ),   p p .   1 1 3 - 1 2 5 ,  20 13 .   h tt p : // d x . d o i. o rg /1 0 . 1 0 8 0 /0 9 5 0 0 6 9 3 . 2 0 1 1 . 6 0 6 5 1 1 .   [4 8 ]   A .   L .   Ga rd n e r  a n d   J.  G .  N e w so m e ,   “ A   ru b ric  to   m e a su re   tea c h e rs‟  k n o w led g e   o f  in q u iry - b a se d   in stru c ti o n   u si n g   th re e   d a ta  so u rc e s ,” Pa p e r  p re se n t e d   a t  th e   N a ti o n a l  Asso c ia ti o n   f o r   Res e a rc h   in   S c ien c e   T e a c h i n g   A n n u a l  M e e ti n g ,  Orla n d o ,   F L . ,   2 0 1 1 .    [4 9 ]   D.  M c A ll ister   a n d   R.   M .   G u id ice ,   “ T h is  is  o n ly   a   tes t:   A   m a c h in e - g ra d e d   im p ro v e m e n t  to   th e   m u lt ip le - c h o ice   a n d   tru e - f a lse   e x a m in a ti o n , ” T e a c h i n g   in   Hig h e r E d u c a ti o n ,  v o l/ issu e :   1 7 (2 ),   p p .   1 9 3 - 2 0 7 ,   2 0 1 2 .     [5 0 ]   S .   Ku sa e ri,   “ M e a su re m e n t  a n d   A s se s m e n t  in   Ed u c a ti o n   , ”   Yo g y a k a rta ,   G ra h a   Il m u ,   2 0 1 2 .     [5 1 ]   S .   A rik u n to ,   “ A n   In tr o d u c ti o n   o f   Ed u c a ti o n a l  Ev a lu a ti o n   , ”   Ja k a rta ,   Bu m i  Ak sa r a ,   2 0 1 0 .     [5 2 ]   N.  Nie v e e n ,   “ P ro t o ty p in g   to   Re a c h   P ro d u c t  Qu a li ty , ” i n   J.  v a m   d e n   A k k e r, R  Bra n c h , K  G u sta f so n ,   N  Nie v e e n   a n d   T j. P l o m p   (Ed s) ,“ De sig n   A p p ro a c h e s an d   T o o ls  in   E d u c a ti o n   a n d   T ra in in g ,”   Do d re c h t ,   Klu w e r  A c a d e m ic P u b li sh e r ,   p p .   1 2 5 - 136 ,  1 9 9 9 .     [5 3 ]   J.  I.   M i n tze s,  e t  a l . ,  “ T e a c h in g   S c ien c e   F o r  Un d e rsta n d i n g , ”   Ca li f o rn ia ,   El se v ier A c a d e m i c   P re ss ,   2 0 0 5 .     [5 4 ]   T .   V a c h li o ti s,  e t   a l. ,  “ M e a n i n g f u l  Un d e rsta n d in g   a n d   S y ste m s   T h in k in g   i n   Org a n ic  Ch e m istry :  V a li d a ti n g   M e a su re m e n t  a n d   Ex p l o ri n g   Re lat io n s h ip s, ” Res   S c i   Ed u c ,   v o l.   4 4 ,   p p .   2 3 9 - 2 6 6 ,   2 0 1 4 .     [5 5 ]   K.  S a lt a   a n d   C.   T z o u g ra k i,   “ Atti tu d e s  T o wa rd   Ch e m istr y   Am o n g   1 1 th   G ra d e   S tu d e n ts  in   Hi g h   S c h o o ls  i n   G re e c e , ” S c ien c e   Ed u c a ti o n , v o l/ is su e :  8 8 ( 4 ),   p p .   5 3 5 - 5 4 7 ,   2 0 0 4 .   D OI 1 0 . 1 0 0 2 /sc e . 1 0 1 3 4 .   [5 6 ]   O.  L .   L iu ,   e t  a l. ,  “ A ss e ss in g   k n o w led g e   in teg ra ti o n   in   sc ien c e :  Co n stru c t ,   m e a su re s,  a n d   e v id e n c e , ” Ed u c a ti o n a l  Asse ss me n t ,   v o l /i ss u e :   13 ( 1 ) ,  p p .   3 3 – 5 5 ,   2 0 0 8 .     [5 7 ]   A .   Kh o u k h i,   “ A   S tru c tu re d   A p p ro a c h   t o   H o n o u rs  U n d e rg ra d u a te  Re se a rc h   Co u rse ,   Ev a lu a ti o n   Ru b ri c s  a n d   A s se ss m e n t, ” S c i  Ed u c   T e c h n o l ,   v o l.   2 2 ,   p p .   6 3 0 - 6 5 0 ,   2 0 1 3 .   DO I  1 0 . 1 0 0 7 /s 1 0 9 5 6 - 0 1 2 - 9 4 1 9 - 3 .   [5 8 ]   J.  W .   Cre ss w e ll ,   “ Ed u c a ti o n a l   Re se a rc h :  P lan n in g ,   C o n d u c ti n g ,   A n d   Ev a lu a ti n g   Qu a n t it a ti v e   A n d   Qu a li tativ e   Re se a rc h ,   4 th   e d . , ”   S a n   F ra n c isc o ,   P e a rso n   E d u c a ti o n ,   In c . ,   2 0 1 2 .     [5 9 ]   R.   S o o b a rd   a n d   M .   Ra n n ik m ä e ,   “ A ss e s sin g   stu d e n t‟s  lev e l  o f   sc ien ti f ic  li tera c y   u si n g   in terd isc ip l in a ry   sc e n a rio s, ” S c ien c e   Ed u c a ti o n   I n ter n a ti o n a l ,   v o l /i ss u e :   22 ( 2 ) ,   p p .   1 3 3 - 1 4 4 ,   2 0 1 1 .         Evaluation Warning : The document was created with Spire.PDF for Python.