I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in Ed uca t io n ( I J E RE )   Vo l.   9 ,   No .   3 Sep tem b er   2020 ,   p p .   769 ~ 777   I SS N:  2 2 5 2 - 8822 DOI : 1 0 . 1 1 5 9 1 / i j er e . v9 i 3 . 2 0 5 9 4          769       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   M o dificatio n leve l and tes o sci ent ific  a rg u m en tatio n s k ill:  D ev elo p m e nt  a nd  va lidity       Ri k i P er da na 1 Riw a y a ni 2 J u m a di J u m a di 3 ,   Da da n Ro s a na 4   1 F a c u lt y   o f   T e a c h e T ra in in g   a n d   Ed u c a ti o n ,   U n iv e rsitas   A l m a   A ta ,   In d o n e sia   2, 3, 4 P h y sic s E d u c a ti o n   De p a rtem e n t ,   Un iv e rsitas   Ne g e ri  Yo g y a k a rt a ,   In d o n e sia       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Ma r   1 7 ,   2 0 2 0   R ev i s ed   Ju l   1 3 ,   2 0 2 0   A cc ep ted   A u g   5 ,   2 0 2 0       T h is  stu d y   f o c u se o n   d e v e lo p in g   th e   n e w   le v e o f   s c ien ti f ic  a r g u m e n tatio n   sk il ls  a n d   n e w   it e m th a a re   f e a sib le  a n d   v a li d   f o r   u se d T h e re   a re   1 9 5   sc ien c e   stu d e n ts  a Isla m ic  S t a te  S c h o o 1   (M A 1 Yo g y a k a rta  a s   p a rti c ip a n i n   th is  stu d y .   Ra n d o m   sa m p li n g   tec h n iq u e   w a u se d   f ro m   th e   th re e   sc h o o ls  o f   Isla m is  S tate   S c h o o (M A N)  in   Y o g y a k a rt a ,   In d o n e sia T h e re   a re   se v e n   e x p e rts  (3   P ro f e ss o r,   2   tea c h e rs,  a n d   2   g ra d u a te  stu d e n ts)   re v ie w e d   1 4   i tem s   f o th e   f irst  p h a se   o f   th is   stu d y .   F o t h e   se c o n d   p h a se ,   9 8   stu d e n ts  a n sw e re d   1 4   q u e stio n s   w h ich   e a c h   q u e stio n c o n tain   f iv e   p o in t   (c lai m ,   d a ta,  b a c k in g ,   w a rra n a n d   re b u tt a l).   F o r   th e   t h ir d   p h a se ,   a f ter   c h o o se d   th e   b e st  f iv e   5   q u e stio n s,  W e   a sk e d   th e   o th e rs  ( 9 7   st u d e n ts)   to   a n sw e th o se   q u e stio n s.  T h e   m o d if ic a ti o n   o f   th e   lev e o sc ien ti f ic   a rg u m e n tatio n   sk il ls  in d ica tes   th e   a b il it y   o f   stu d e n ts   is  sti ll   l o w .   A lev e 1   ( c lai m s)  th e re   w e re   o n ly   3 8 . 9 %   s tu d e n ts,  lev e 2   (d a ta)  w e re   2 1 . 6 %   stu d e n ts,   lev e 3   (w a rra n ts)  1 6 . 6 %   st u d e n ts,  lev e 4   (b a c k in g 1 6 . 2 %   w h il e   lev e 5   (re b u tt a l)  is  t h e   m o st  d iff icu lt ,   f o stu d e n ts’  u se rs  o n ly   b y   4 . 2 % .   Ba se d   o n   t h e   f in d in g s,  th e   tes c a n   m e a su re   a n d   sh o w   w it h   a   se p a ra te  le v e o f   stu d e n ts'   sc ien ti f ic arg u m e n tatio n   sk il l   in   t h is sc h o o l .   K ey w o r d s :   Dev elo p m e n t te s t   Scien ti f ic  ar g u m e n tatio n   Valid it y   te s t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R ik i P er d an a,     Facu lt y   o f   T ea ch er   T r ain in g   a n d   E d u ca tio n   Un i v er s ita s   A l m A ta ,   J l.  B r aw ij a y a   No . 9 9 ,   J a d an ,   T a m an tirto ,   B an tu l,  Yo g y a k ar ta ,   I n d o n esia .   E m ail:  r i k ip er d an a@ al m aa ta. a c. id       1.   I NT RO D UC T I O N     Scien ti f ic   ar g u m e n tat io n   s k i ll  h as  b ee n   d ev elo p ed   in   th e   f iel d   o f   s cie n ce   ed u ca t io n .   T h is   is   f o r m   o f   ac q u ir in g   k n o w led g ab o u th r o le   o f   co m m u n icatio n   in   s cien ce   an d   s cien ti f ic  k n o w led g [ 1 ] A cc o r d in g   to   Scar m ad alia  [ 2 ] ,   s aid   th at  t h e   d ev elo p m en o f   ex p er ti s s u p p o r ted   b y   s t u d en ts   i n   d ialo g u an d   co n t in u o u s   d is co u r s to   i n cr ea s s u p p o r in   t h co m m u n it y .   I n   t h is   d i s cu s s io n ,   s t u d en t s   m u s e n g a g i n   d is c u s s io n s   to   s u p p o r t th eir   clai m s   an d   i n   co n v er s atio n   to   d eb ate  lik s cie n tis ts .   A r g u m e n tatio n   s k ill  i s   es s en ti al  f o r   s t u d en t s   b ec au s e   it  ca n   b u ild   ex p la n atio n s   as  b as is .   C o n ce p tu a k n o w led g o f   s t u d en t s   i s   b et ter   d ev elo p ed   in   t h co n tex t   o f   ar g u m e n t - b ased   lear n i n g   [ 3 ] .   T h r esu lt s   o f     th s t u d y   [ 4 ]   s h o w ed   t h at  s t u d en ts   w h o   r ec eiv ed   th teac h i n g   o f   ar g u m en tatio n   o u tp er f o r m ed   th eir   p ee r s   w h o   r ec eiv ed   tr ad itio n al  p ar ticip atio n   w ith   p u n i s h m e n s k ill s .   S cien ti f ic  ar g u m en ts   ar f u n d a m en tal  in   lear n i n g .   A cc o r d in g   to   [ 5 ]   s cien ce   co n v er s atio n   co n s i s ts   o f   f o u r   in ter r elate d   asp ec ts 1 )   s tu d en ts   ca n   d is cu s s   s cie n ti f ic   ex p lan atio n s   to   s o lv p r o b le m s   ab o u w o r ld   o f   s cie n ce 2 )   s t u d en t s   ca n   p r o d u ce   a n d   d is cu s s   s c ien t if ic   r ea s o n   an d   ar g u m e n ts 3 )   Stu d en t s   c an   k n o w   an d   d escr ib th n a tu r o f   s cie n ce   an d   h o w   to   d ev elo p   k n o w led g e;    4 )   s tu d en ts   w h o   ar ab le  to   u n d er s tan d   th co n ce p ts   a n d   ca n   ar g u i n   s cie n ti f ic  p r ac tice.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   3 Sep tem b er   2 0 2 0 :   7 6 9   -   777   770   Scien ti f ic  ar g u m e n ts   ar ex cit i n g   i n   ed u ca tio n .   A cc o r d in g   to   Mir za   a n d   P er r et - C ler m o n t   [ 6 ]   th ca s f o r   ex p lo r ativ e,   cr itical  an d   q u esti o n i n g   i s   ab o u s cien t if ic  ex p lo r atio n   ch alle n g es.  He  ad d ed ,   th ev id en ce   o f   th i n v ited   s t u d en t s   to   u s an d   d is p u te  t h r u les  o f   p u n is h m en u s ed   in   s cie n ti f ic  w o r k :   s t u d en t s   lo o k     f o r   r ea s o n s ,   d is cu s s   t h d ata,   e x a m in alter n a tiv h y p o th e s es ,   an d   o th er s   d is cu s s   s p ec if ic  th o u g h ts .   I n   s cie n ce ,   th r elatio n s h ip   b et w ee n   e v i d en ce   an d   clai m s   w er ex tr a cted   b y   th ar g u m e n tatio n   as   f o r m   o f   lo g ica l   d is co u r s [ 7 ]   Hsu C h iu L in a n d   W an g   [ 7 ]   s aid   ar g u m en t s   r ele v an t   i n   t h co n tex o f   ed u ca tio n   b ec au s th i s   h elp s   lear n er s   ex tr ac th r elatio n s h i p   b etw ee n   ch a n g i n g ,   ch an g i n g   R ev ie w s   t h eir   co n ce p tio n s ,   an d   allo w i n g   clai m s .   A cc o r d in g   to   [ 7 ] ,   n o o n ly   s cien ce   ed u ca to r   b eliev th s k i l as  s cie n ti f ic  p r ac tice  th at  m u s lear n   b y   s tu d e n ts ,   b u ar g u m e n tatio n   a ls o   b u ild in g   th e x p lan at io n   f r o m   t h s t u d en t s .   T h er ar t w o   p la y i n g   k e y s   to   in v o l v i n g   s tu d e n ts   i n   s cie n ti f i ar g u m en ta tio n   [ 8 ] .   First,  ar g u m e n tat io n   is   t h p r i m ar y   p r ac tice  o f   s cien ce ,   a n d   as  s u c h   m u s b ec o m t h f o c u s   an d   ce n tr o f   s cie n ce   ed u ca t io n .   Seco n d ,   d is cu s s   t h n o r m s   o f   th is   s k ill,  ca n   lead   s tu d en t s   to   u n d er s tan d   t h th eo r y   o f   ep is te m o lo g y   f o u n d atio n s   o f   s cie n ti f ic  p r ac tice.   T h ab ilit y   to   co m m u n icate   ca n n o b s ep ar ated   f r o m   th q u alit y   o f   th e   ar g u m en t s   p r esen ted .     T h u s ,   th s tr e n g th   o f   s cie n t if ic  ar g u m en tatio n   b ec o m e s   v er y   i m p o r ta n in   lear n i n g   p h y s ics.  Ho w ev er ,   W ar d an i   et.   al   [ 9 ]   f o u n d   t h at  s tu d e n ts '   s cie n ti f ic  ar g u m e n ts   ar s till   ab le  to   Ma k clai m s   b u h av e   n o b ee n   ab le  to   d eter m i n w ar r an ts .   Stu d e n ts   also   ca n n o p r o v id co n ce p ts   th at  s u p p o r claim s   co r r ec tl y   [ 1 0 ] Ho w e v er ,   in   I n d o n esia,  th er e   ar e   n o m an y   r esear c h es  o n   s tu d en t s '   s cien tific   ar g u m e n t atio n   s k i lls .   So m e   ex is t in g   r esear ch   a ls o   h as  n o s h o w n   t h lev el  o f   t h is   s k ill.  W h ile  it  is   i m p er ati v to   u n d er s tan d   s tu d e n lev el s   s o   th at  it  is   k n o w n   t h at  ef f o r ts   ca n   b m ad to   im p r o v th i s   ab ilit y .   T h er ef o r e,   th is   r esear ch   ai m s   to   d ev elo p   a   n e w   le v el  an d   test   o f   s cie n ti f ic  ar g u m e n tatio n   s k i ll.  T h r esear ch   q u esti o n   i n   th i s   s tu d y   ar ( 1 )   w h at  th e   cr it er ia  f o r   t h le v el  o f   s cie n ti f ic  ar g u m e n tatio n   ab ilit ie s   o f   s tu d e n ts   ar e?   ( 2 )   Ho w   ab o u t   t h f ea s ib ili t y   o f   t h e   q u esti o n s   d ev elo p ed   to   m ea s u r s tu d en ts '   s cien t if ic  ar g u m e n tatio n   s k ill s ?   ( 3 )   W h at  is   t h lev el  o f   tech n ica l   ar g u m e n tatio n   ab ilit ies o f   s tu d en ts   i n   I n d o n e s ia?   T h co m p o n en t s   in   th ar g u m en tatio n   s k ill  ac co r d in g   to   [ 1 1 ]   co n s is o f   f iv asp ec ts   a cc o r d in g l y ,     1 )   C lai m clai m ed   ac co r d in g   t o   th w is h   s u b m itted 2 )   b asis r ea s o n   is   th ap p r o v al  n ee d e d   to   s u p p o r an d   b e   g iv e n   u p o n   r eq u est;   3 )   w ar r an ts T h is   s h o w s   th lo g ical   r elatio n s h ip   b et w ee n   t h cl ai m   an d   ca u s a n d   d ec lar atio n   o f   p r o b lem s   t h at  ar o f ten   i m p lied   in   th ar g u m en t.  4 )   Qu ali f icatio n s Q u al if ier s   ar u s ed   to   co m m u n icate   b e y o n d   w h er th clai m s   ar r ec eiv ed 5 )   r eb u ttal:  T h ese  s ta te m e n t s   g o v er n   th p o ten tia to   b ap p r o v ed   w it h   s tate m e n w h er th clai m   m a y   n o t a p p l y .   T h co m p o n e n ts   o f   s cien tifi ar g u m e n tatio n   r o o m m a tes   C o n s is o f   f i v asp ec ts 1 )   clai m ,     s tate m e n o r   o p in io n   ab o u t   p r o b lem - s o lv i n g 2 )   th d ata,   ev id en ce   o r   f ac ts ,   d ata,   ev i d en ce   o r   f ac ts   th at   s u p p o r th tr u t h   o f   th clai m 3 )   w ar r an t s ,   clai m s   to   r ec eiv clai m s   b y   lin k i n g   th e   d ata ,   ev id en ce   o r   f ac ts   m ad e;  4 )   s u p p o r t,  j u s tif icatio n   f o r   w ar r an t s ; a n d   5 )   r eb u ttal,  r eb u ttal to   w ar r an ts .   T h s cien tific   ar g u m e n tatio n   co m p o n e n ac co r d in g   to   [ 1 2 ]   co n s is ts   o f   f i v ele m en t s ,   1 )   f ac ts ,   f ac ts   r elate d   to   p ar ticu l ar   co n tex t 2 )   w ar r an ts ,   T h is   i s   p ar o f   t h ar g u m e n t h at  co n n ec t s   f ac ts   w it h   clai m s   t h at   m ee t h r eq u ir e m e n ts ,   3 )   B ac k in g ,   i i s   k i n d   o f   j u s ti f ica tio n   f o r   w ar r an ts .   I ex p lai n s   an d   g i v g u ar an tee   q u esti o n   a s   r ea s o n   to   ac ce p clai m s   t h at  m ee t h r eq u ir e m e n ts 4 )   r eb u ttal,  r e b u ttal  ex p lai n s   th e   cir cu m s ta n ce s   t h at  w ill  b co n s id er e d   as  an   ex ce p tio n   to   w ar r an ts 5 )   clai m s   t h at  f u l f il  t h co n d itio n s ,   clai m s   th at  q u ali f y ,   co n cl u s io n s   t h at  c an   b d r a w n ,   a n d   th w ar r an t y   is   v alid ,   an d   t h r eb u ttal d o es  n o t a p p ly .         2.   RE S E ARCH   M E T H O D   T h f ir s s ta g i n   d ev elo p in g   s cien t if ic  ar g u m e n tatio n   s k i lls   test   is   to   d ef i n t h is   s k ill  a n d   ch o o s e   w h at  asp ec ts   w il b n ee d ed .   B ased   o n   th r esu lts   o f   t h lit er atu r r ev ie w   a n al y s i s ,   th p r o p o s ed   p o in ts   ar b ased   o n   th elem e n ts   o f   s cie n ti f ic  ar g u m e n tatio n   s k i lls   d eliv er ed   b y   Osb o r n e,   E r d u r an an d   Si m o n   [ 1 3 ]   as  s h o w n   in   T ab le  1 .       T ab le  1 .   L ev el  o f   s cie n ti f ic  ar g u m e n tatio n   s k ill   L e v e l   D e scri p t i o n   1   A r g u me n t a t i o n   c o n s i st s o f   a r g u me n t t h a t   a r e   a   s i mp l e   c l a i m v s c o u n t e r c l a i m o r   a   c l a i m v c l a i m   2   A r g u me n t a t i o n   h a c a se s c o m p r i si n g   c l a i ms w i t h   e i t h e r   t h e   d a t a ,   w a r r a n t s o r   b a c k i n g b u t   d o e s n o t   c o n t a i n   a n y   r e b u t t a l s   3   A r g u me n t a t i o n   h a d i s c u s si o n   w i t h   a   se r i e s o f   c l a i ms o r   c o u n t e r c l a i ms   w i t h   e i t h e r   t h e   d a t a ,   w a r r a n t s o r   b a c k i n g w i t h   t h e   o c c a si o n a l   w e a k   r e b u t t a l .   4   A r g u me n t a t i o n   sh o w s a r g u me n t s w i t h   a   c l a i i d e n t i f i a b l e   w i t h   a   r e b u t t a l .   S u c h   a n   a r g u me n t   m a y   h a v e   S e v e r a l   c l a i ms  a n d   c o u n t e r c l a i ms   a s   w e l l ,   b u t   t h i s i n o t   N e c e ssary   5   A r g u me n t a t i o n   d i s p l a y s a n   e x t e n d e d   a r g u me n t   w i t h   mo r e   t h a n   o n e   r e b u t t a l     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       Mo d ifica tio n   leve l a n d   test   o f s cien tifi a r g u men ta tio n   s kill:   D ev elo p men t a n d   va lid ity  ( R iki  P erd a n a )   771   2 . 1 .   M o del o f   re s ea rc h   T h er ar 1 9 5   s tu d en ts   o f   cl ass   XI   s cie n ce   at  I s la m ic  St ate  Sch o o 1   ( MA 1 )   Yo g y ak ar ta  a s   p ar t icip an in   t h is   s tu d y   ( T ab le  2   s h o w s   th c h ar ac ter is tic  o f   Stu d en t s ) .   R a n d o m   s a m p lin g   tech n iq u w as  u s ed   f r o m   t h th r ee   s c h o o ls   o f   I s l a m is   State  Sc h o o ( MA N)   i n   Yo g y a k ar ta  ( M A 1 ,   MA N   2   an d   MA 3 ) .     W ch o o s ed   class   XI   b ec au s th to p ic  o f   Gr av itatio n a Ne w to n s L a w   is   i n   th i s   class   o n   I n d o n es ia   C u r r ic u lu m .   Fo r   th f ir s p h a s e,   th er ar s ev en   ex p er ts   ( 3   P r o f ess o r ,   2   teac h er s ,   an d   2   g r ad u ate  s t u d en t s )   r ev ie w ed   1 4   ite m s .   Fo r   t h s e co n d   p h ase,   a f ter   r ev i s ed   t h ite m s ,   w as k ed   t h 9 8   s t u d en ts   to   an s w er ed   1 4   q u esti o n s   w h ic h   ea c h   q u es tio n s   co n tai n   f iv e   p o in ( clai m ,   d ata,   b ac k in g ,   w ar r an a n d   r e b u ttal) .   W an al y s ed   th eir   a n s w er   to   g et  d ata  o f   r eli ab ilit y ,   v alid it y ,   an d   d i f f icu lt y   ite m s .   Fo r   th e   th ir d   p h ase,   a f t er   ch o o s ed   th b est   f i v 5   q u esti o n s ,   W as k ed   th o th er s   ( 9 7   s tu d en t s )   to   a n s w er   t h o s q u e s tio n s .   W u s ed   t h is   r es u lt  to   in v e s ti g ate  t h lev el  o f   s t u d en t s cie n ti f ic  ar g u m e n tat io n   s k i ll.       T ab le  2 .   C h ar ater is tic  o f   s t u d e n ts   A sp e c t   D e scri p t i o n s   A g e s   1 6     1 7   y e a r s   L e v e l   o f   C o g n i t i v e   D e v e l o p me n t   F o r mal   o p e r a t i o n a l   s t a g e   W h e n   t h e   t e a c h e r   p r o v i d e l e a r n i n g ,   a n d   c o n t e x t u a l l y   c o n n e c t t h e   p r o b l e so me   st u d e n t s   c a n   a n sw e r   t h e   q u e st i o n   w e l l .   S t u d e n t s   a r e   a b l e   t o   t h i n k   a b o u t   a n   o b j e c t   o r   t h i n g   e v e n   t h o u g h   i t   i s   n o t   i n   f r o n t   o f   t h e m.   D u r i n g   t h e   l e a r n i n g   a n d   d i sc u ss i o n   p r o c e ss,  st u d e n t a r e   a l so   a b l e   t o   e x a mi n e   t h e   p r o b l e a n d   d r a w   c o n c l u s i o n s .   S o   t h a t   a t   t h i s   st a g e   st u d e n t s   c a n   l e a r n   c o h e r e n t l y   a n d   sy st e mat i c a l l y   u n t i l   t h e y   a r e   a b l e   t o   g e n e r a l i z e   a   c o n c e p t .   A c a d e mi c   s k i l l s   S t u d e n t a r e   a b l e   t o   w o r k   t o g e t h e r   i n   so l v i n g   p r o b l e ms.  D u r i n g   t h e   l e a r n i n g   p r o c e ss  t h e y   a c t i v e l y   e x c h a n g e   i d e a s a n d   a r e   w i l l i n g   t o   p r e s e n t   t h e i r   a r g u me n t i n   f r o n t   o f   t h e   c l a ss  ( t h e   a b i l i t y   t o   w o r k   t o g e t h e r   a n d   c o mm u n i c a t e )   w e l l .   H o w e v e r ,   b a se d   o n   i n t e r v i e w w i t h   t e a c h e r s,  t h e   a c a d e mi c   s k i l l o f   ma n y   st u d e n t s   a r e   b e l o w   a v e r a g e .       2 . 2 .   I t e m   re lia bil it y   I te m   r eliab ilit y   an d   v a lid it y   d ata  w er o b tain ed   f r o m   th r e s u lt s   o f   t h s t u d en ts   w h en   ad m i n is tr ated   th s ec o n d   p h ase .   A n a l y s is   o f   R eliab ilit y   te s i n   t h i s   s t u d y   u s in g   t h Q u es s o f t w ar e.   T h r eliab ilit y   te s i s   d eter m in ed   b y   lo o k i n g   at  t h e   esti m ated   v a lu o f   t h ite m   r eliab ilit y   ( ite m   r eliab ili t y )   a n d   c ase  esti m atio n   r eliab ilit y   ( tes r eliab il it y ) .   T h r eliab ilit y   ca te g o r y   a cc o r d in g   to   Su m i n to n o   an d   W id h i ar s o   [ 1 4 ]   is   s h o w n     in   T ab le  3       T ab le  3 .   R eliab ilit y   s ca le   S c o r e   C a t e g o r y   >   0 . 9 4   Ex c e l l e n t   0 . 9 1   t o   0 . 9 4   V e r y   G o o d   0 . 7 9   t o   0 . 9 0   G o o d   0 . 6 7   t o   0 . 8 0   En o u g h     <   0 . 6 7   W e a k       2 . 3 .   I t e m   v a lid it y   2 . 3 . 1 .   Co nte nt  v a lid it y   C o n te n v alid atio n   is   p s y c h o m e tr ic  p r o ce d u r th at  te s ts   t h ab ilit y   o f   test   to   m ea s u r v ar iab les   p r ec is el y   [ 1 5 ] .   T h is   r eq u ir es  a   s u b j ec o f   " ex p er t "   class if icat io n   ite m s   i n to   o n o f   t h r ee   cr iter ia:  " im p o r tan t,"   " u s ef u l,  n o i m p o r tan t , "   o r   "u n n ec es s ar y " .   I tem s   th a w er co n s id er ed   " im p o r tan t"   b y   th to tal  r ev ie w er   m e m b er s   w er t h e n   allo w ed   in   th f i n al  te s t   w it h   ite m s   t h at  f ailed   to   r ea ch   th is   le v el  w as e x clu d ed   [ 1 6 ] .   T h is   test   u s ed   to   d eter m i n t h v alu e   o f   th in s tr u m e n ts   o f   s c ien t if ic   ar g u m en ta tio n   s k i ll  th a h a s   b ee n   d ev elo p ed .   T h is   test   was  co n d u cted   b ased   o n   th e   r esu lt s   o f   t h a s s e s s m e n b y   th v alid ato r   b y   ca lcu lati n g   th co n te n v alid it y   co ef f icie n d ev e lo p ed   b y   L a w s h [ 1 7 ] .   E x p er cr iter ia  co n s is ti n g   o f   f i v r u le s   w er c h a n g ed   to   t h r ee   cr iter ia   o f   es s e n tial,  u s e f u b u n o t   es s en tia an d   n o u s e f u ite m s .   T h co n te n t   v alid it y   co ef f icie n t i s   ca lcu la ted   b y   t h e   co ef f icie n t o f :      = (  2  2 )   ( 1 )     C VR   C o n te n t v al id it y   r atio   ( C o n t en t v al id it y )   ne   Nu m b er   o f   v alid ato r s   w h o   c h o o s ite m s   ca n   b u s ed   N   T h to tal  n u m b er   v al id ato r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   3 Sep tem b er   2 0 2 0 :   7 6 9   -   777   772   T h in s tr u m e n v alid it y   f o r   th s ev en - v alid ato r   ca teg o r y   was  0 . 9 9 .   I f   th C V R   v al u is   m o r t h an   0 . 9 9 ,   th item   i s   ac ce p ted   as  v alid .   Data   w as  o b tain ed   f r o m   f ir s p h ase  w h er th er a r s ev en   e x p er ts   ( 3   P r o f ess o r ,   2   teac h er s ,   an d   2   g r ad u ate  s t u d en ts )   r ev ie w ed   1 4   ite m s .     2 . 3 . 2 .   E m p irica l v a lid it y   T h is   test   ai m s   to   d eter m i n th v alu e   o f   t h e m p ir ical  v alid it y   o f   th e   m a tter   o f   t h ab ilit y   o f   s cien t if ic.   Data   w as  o b tai n ed   f r o m   th r es u lt s   o f   th s ec o n d   p h ase .   T h e m p ir ical  v alid i t y   test   i n   th i s   s t u d y   u s e s   th Q u est  s o f t w ar e.   T h ite m   ite m s   ar s tated   to   b co m p a tib le  an d   f it  w i th   t h R a s ch   m o d el  o f   I NFI T   MN SQ  i f   th v al u is   a an   i n ter v al  o f   0 . 7 7   -   1 . 3 0 .   T h item   ite m s   ar s a id   to   b v alid   if   t h I NFI T   v alu i s   w it h i n   t h r an g o f   ±   2 . 0   [ 1 4 ] .     2 . 4 .   I t e m   diff iculty   T h d if f icu lt y   lev e o f   q u esti o n s   is   also   an al y s ed   in   th i s   s t u d y .   T o   d eter m i n th lev el  o f   d if f ic u lt y   ca n   b s ee n   f r o m   t h th r es h o ld   v alu o r   d if f ic u lt y .   C r iter ia  ab o u t th d i f f ic u lt y   le v el  ca n   b s ee n   i n   T ab le  4 .       T ab le  4 R an g o f   d if f ic u lt y   S c o r e   C a t e g o r y   b     2   V e r y   D i f f i c u l t   1   < b     2   D i f f i c u l t   - 1   < b     1   M o d e r a t e   - 1   < b     - 2   Ea sy   b   < - 2   V e r y   Ea s y       3.   RE SU L T S   AND  D I SCU SS I O N   I n   th is   s ec tio n ,   w ex p lai n   th e   r esu lts   o f   t h r eliab ilit y   s ca le,   v alid it y   s ca le  o f   th ite m s ,   t h lev el  o f   d if f ic u lt y ,   an d   th le v el  o f   ab ilit y   o f   s c ien t if ic  ar g u m e n tati o n .   A t h in it ial  s ta g e,   w s u b m it  1 4   ab o u th e   s cien t if ic  ar g u m e n ts   t h at  h av b ee n   v alid ated   b y   ex p er ts .       3 . 1 .   F irst  ph a s ( co nte nt  v a lid it y   by   ex pert s )   Fo r   th f ir s p h a s e,   th er ar e   s ev e n   e x p er ts   ( 3   P r o f ess o r ,   2   p r o f ess io n al  p h y s ics  teac h e r s ,   an d   2   g r ad u ate  s t u d en t s )   r ev ie w ed   1 4   ite m s .   T h e y   r ev ie w ed   t h it e m   b ased   o n   th asp ec as  s h o w n   as  o n   T ab le  5 .   Af ter   w r ev is ed   s e v er al  ite m s   m a n y   ti m e s ,   th r ev ie w er s   f i n all y   s tated   th at  all  ite m s   ar ess e n tial.  T h an ,   w e   ca lcu late  t h C V R   v al u f r o m   th ( 1 ) .   T h r esu lt  f o r   all  ite m s   is   1 . 0 0 .   A cc o r d in g   to   L a w s h [ 1 7 ] ,   f o r   7   v al id ato r s ,   th m i n i m u m   o f   C VR   v al u is   0 . 9 9 .   So ,   th r es u lts   o f   t h v alid atio n   as s es s m en in d icate   th a all  ite m s   ar v alid   an d   ess e n tia l a t   lev el  [ 3 ] .   T h e y   ca n   b u s ed   to   m ea s u r th ab ilit y   o f   s c ien t if ic  ar g u m e n tatio n .                                                 Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       Mo d ifica tio n   leve l a n d   test   o f s cien tifi a r g u men ta tio n   s kill:   D ev elo p men t a n d   va lid ity  ( R iki  P erd a n a )   773   T ab le  5 .   A s p ec f o r   co n ten v a lid it y   A sp e c t   I t e ms   1   2   3   4   5   6   7   8   9   10   11   12   13   14   T h e   i t e ms i n   a c c o r d a n c e   w i t h   t h e   i n d i c a t o r s o f   t h e   a b i l i t y   o f   sci e n t i f i c   a r g u me n t a t i o n                               T h e   c o n t e n t s   o f   i t e ms a r e   i n   a c c o r d a n c e   w i t h   t h e   me a su r e me n t   o b j e c t i v e s                               T h e   t o p i c   i s   i n   a c c o r d a n c e   w i t h   t h e   c o mp e t e n c i e s a n d   l e a r n i n g   mat e r i a l   b e i n g   s t u d i e d                               L i mi t a t i o n   o f   e x p e c t e d   q u e st i o n s   a n d   a n sw e r s i s a p p r o p r i a t e                               T h e   i n st r u me n t   f o r   e v a l u a t i n g   t h e   a b i l i t y   o f   sci e n t i f i c   a r g u me n t a t i o n   h a a n   a n sw e r   k e y                               T h e   i n st r u me n t   f o r   e v a l u a t i n g   t h e   a b i l i t y   o f   sci e n t i f i c   a r g u me n t i s e q u i p p e d   w i t h   a   sco r i n g   r u b r i c                               W o r k   i n st r u c t i o n s   f o r   t h e   q u e st i o n s   a r e   c l e a r l y   f o r mu l a t e d                               T h e   p u r p o se   o f   t h e   p r o b l e m i s   f o r mu l a t e d   b r i e f l y   a n d   c l e a r l y                               T h e   i t e ms d o   n o t   d e p e n d   o n   t h e   p r e v i o u s p r o b l e m                               U se   q u e st i o n   w o r d s o r   c o mm a n d s   t h a t   d e man d   d e scri p t i v e   a n sw e r s                               B e   c o n s i st e n t   i n   u s i n g   t h e   t e r ms  sy mb o l s a n d   u n i t s                               T a b l e s,  map s ,   i m a g e s,  g r a p h s o r   t h e   l i k e   a r e   p r e se n t e d   c l e a r l y   a n d   l e g i b l y                               I t e m u se   g o o d   a n d   c o r r e c t   l a n g u a g e                               T h e   se n t e n c e   f o r mu l a t i o n   u se c o mm u n i c a t i v e   l a n g u a g e   a n d   i s e a sy   t o   u n d e r st a n d                               D o   n o t   u se   w o r d s/ e x p r e ssi o n s t h a t   c a u se   d o u b l e   i n t e r p r e t a t i o n                               T o t a l   c h e c k l i s t   ( )                               S c o r e   o f   Ex p e r t s Ju d g me n t                               C r i t e r i a   o f   Ex p e r t j u d g me n t   [ 3 ] :   Esse n t i a l ,   i f   e a c h   i t e m g e t s mo r e   t h a n   1 0   c h e c k l i s t   i t e ms ( )   [ 2 ] :   U se f u l l ,   b u t   n o t   e sse n t i a l   i f   e a c h   i t e m h a s   6     9   c h e c k l i s t s (√)   [ 1 ] :   N o t   u se f u l l ,   i f   e a c h   i t e m g e t a   c h e c k l i st   ( )     4       3 . 2 .   Seco nd   ph a s ( e m p irica l v a ldi t iy   f ro m   s t ud e nts t est’   re s u lt )   3 . 2 . 1 .   I t e m   re lia bil it y   Fo r   th s ec o n d   p h ase,   a f ter   r ev is ed   t h ite m s ,   w as k ed   t h 9 8   s tu d e n t s   to   a n s w er ed   1 4   q u esti o n s   w h ic h   ea ch   q u est io n s   co n tai n   f i v p o in ( clai m ,   d ata,   b ac k i n g ,   w ar r an a n d   r eb u ttal) .   B ase d   o n   th e s r esu lts ,   th r eliab ilit y   o f   t h e   test ,   r elia b ilit y   o f   t h ite m s   es ti m ates   a n d   ca s esti m ate,   r e s p ec ti v el y ,   ar 0 . 7 9   an d   0 . 7 0 .   A cc o r d in g   to   [ 1 4 ]   t h ese   r es u lts   i n d icate   t h at  t h q u alit y   o f   th e   ite m s   ab o u t h ab ilit y   o f   th e   s cie n ti f ic   ar g u m e n ts   h av t h r eliab ilit y   an d   co n s i s ten c y   o f   t h an s w er s   w er p r ett y   g o o d   s tu d en ts .     3 . 2 . 2 .   I t e m   v a lid it y   Scien ti f ic  ar g u m e n tatio n   ab ilit y   te s i n s tr u m e n i s   test   d escr ip tio n   co n s i s ts   o f   1 4   q u esti o n s .   Valid atio n   test   ab o u t h ab ili t y   o f   s cie n ti f ic  ar g u m en is   b ased   o n   th r ee   asp ec ts th co n ten ts ,   co n s t r u ctio n   an d   lan g u ag e.   R es u lt s   o f   t h ass es s m en b y   t h v alid ato r   ca lcu lated   u s i n g   th e   eq u atio n   c o n ten v alid it y   r atio   ( C VR ) .   R es u lt s   o f   th ass es s m en in s tr u m en v alid atio n   ca p ab ilit ies  s cien ti f ic  ar g u m en s h o w   th at  all  C V R   s co r is   1 . 0 0   b y   e x p er t r ev ie w .   A cc o r d in g   to   L a w s h e   [ 1 7 ]   f o r   v alid ato r   w h ic h   a m o u n t ed   to   7   p eo p le,   th m i n i m u m   v al u o f     th C VR   i s   0 . 9 9 .   T h r esu lts   o f   th v alid atio n   as s ess m e n s h o w ed   th at  al ite m s   ar v alid   an d   ess e n tial  a n d   ca n   b u s ed   to   d eter m i n th l ev el  o f   s t u d en t s   s cien ti f ic  ar g u m e n tat io n   s k ill s .   T h test   o f   v alid it y   i te m s   w as   u s e d   b y   e m p ir ical  s c ien t if ic   a r g u m e n ca p ab ilit ies  u s in g   t h e   Qu es t.  T h v alid it y   o f   t h te s r esu lt s ,   as  s h o w n     in   T ab le  6 .   I te m   f it  w i th   R asc h   m o d els  i f   I NFI T   MN SQ  is   i n   t h i n ter v al  f r o m   0 . 7 7   to   1 . 3 0 .   I tem   i s   c o n s id er ed   v alid   if   th v al u I NFI T   t   lies   in   th r an g li m it s   o f   ±   2 . 0   [ 1 4 ] .   T h r esu lts   o f   th e m p ir ica v alid it y   o f   th tes t   ite m s   s cien ti f ic  ar g u m e n ts   i n d icate   th at  q u est io n   n u m b er   5   is   n o co m p atib le  w i th   R asc h   m o d el s   in v alid   an d   s o   ca n n o t b u s ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   3 Sep tem b er   2 0 2 0 :   7 6 9   -   777   774   T ab le  6 R esu lt o f   v alid it y   test   I t e m   I n f i t   M N S Q   C r i t e r i a   I n f i t   t   C r i t e r i a   1   1 . 2 3   F i t   1 . 1   v a l i d   2   1 . 2 7   F i t   1 . 9   v a l i d   3   0 . 8 6   F i t   - 1 . 0   v a l i d   4   0 . 8 4   F i t   - 1 . 2   v a l i d   5   0 . 7 1   N o t   F i t   - 2 . 3   N o t   v a l i d   6   0 . 8 6   F i t   - 1 . 0   v a l i d   7   0 . 8 1   F i t   - 0 . 9   v a l i d   8   1 . 1 3   F i t   0 . 7   v a l i d   9   1 . 0 3   F i t   0 . 3   v a l i d   10   1 . 0 7   F i t   0 . 3   v a l i d   11   1 . 0 1   F i t   0 . 3   v a l i d   12   1 . 0 1   F i t   0 . 3   v a l i d   13   1 . 0 1   F i t   0 . 2   v a l i d   14   1 . 0 6   F i t   0 . 3   v a l i d       3 . 2 . 3 .   I t e m   d if f iculty   T h d if f ic u lt y   i te m   is   v er y   i m p o r tan i n d icato r   f o r   teac h er s   an d   r esear c h er s   i n   th f i eld   o f   tes t   d ev elo p m en t.  T h ite m   d if f ic u lt y   s h o w s   t h co m p ar is o n   o f   th co r r ec an s w er   to   th to tal  ite m s .   T h is   s t u d y   u s e s   th QUE ST   ap p licatio n   t o   ca lcu late  t h v a lu o f   ite m   d if f icu lt y T h r es u lt s   o f   t h ite m   d if f ic u lt y   ca n   b s ee n   i n   T ab le  7 .       T ab le  7 .   R esu lt o f   ite m   d i f f ic u lt y   I t e m   D i f f i c u l t y   D e scri p t i o n   1   - 1 . 4 7   Ea sy   2   - 0 . 9 3   mo d e r a t e   3   - 1 . 0 2   Ea sy   4   - 0 . 9 7   mo d e r a t e   5   - 0 . 8 1   mo d e r a t e   6   - 0 . 6 1   mo d e r a t e   7   - 0 . 6 0   mo d e r a t e   8   - 0 . 3 6   mo d e r a t e   9   0 . 9 0   mo d e r a t e   10   - 0 . 5 1   mo d e r a t e   11   0 . 8 9   mo d e r a t e   12   2 . 9 5   V e r y   d i f f i c u l t   13   2 : 3 0   V e r y   d i f f i c u l t   14   0 : 2 3   mo d e r a t e       3 . 3 .   T hird  ph a s ( i m p le m ent a t io n t est)   Fo r   th t h ir d   p h a s e,   af ter   ch o o s ed   th b est   f iv e   5   q u est io n s   co n s i s ti n g   f i v p o i n to   a n s er ed   ( clai m ,   d ata,   b ac k in g ,   w ar r an t,  r eb u tt al) ,   th i n s tr u m e n w a s   tes te d   o n   9 7   s tu d en t s   to   m ea s u r s tu d e n ts '   s k ills   o f   s cien t if ic  ar g u m en tatio n .   T h e y   ar s tu d en ts   m aj o r in g   in   s cien ce   w i th   an   a g r an g e   o f   1 6     17   y ea r s .     T h r esu lts   o f   th s tu d e n ts '   a n s w er s   ar t h en   a n al y s ed   to   o b tain   t h r esu lts   o f   th s cien tific   ar g u m e n tatio n   s k ill   lev el  o f   s t u d en t s .   T h ite m   co n s i s ted   o f   4 0 ab o u th ea s y   ty p ( ite m   1 s a n d   4 th ) ,   4 0 %   ab o u th m ed iu m   t y p ( ite m   8 th   a n d   1 1 th )   an d   2 0 ab o u v er y   d i f f ic u lt  t y p ( ite m   1 3 ) .   T h s elec tio n   o f   ite m s   i s   also   ad j u s ted   to   th in d icato r   p r o b lem .   B ased   o n   th f i v q u e s tio n s   g iv en ,   th a v er ag s co r es  o b tain ed   b y   s t u d en ts   ar e   o n l y   f o r   1 9 . 8 3 / 1 0 0 .     T h is   d e m o n s tr ates  th e   ab ilit y   t o   an s w er   t h s cie n ti f ic  te s ar g u m e n t   is   s til v er y   lo w .   T h h i g h e s s co r es  ar i n   ite m   1   w i th   s co r o f   4 4 . 3   /   1 0 0 ,   w h i le  th lo w est  i s   in   th e   ite m   ab o u 4   w it h   s co r o f   7 . 4 2   1 0 0 .   J u d g in g   f r o m   t h lev el  o f   s cie n ti f ic  ar g u m e n tatio n   s k ills   o f   s tu d e n ts   b ased   o n   m o d if ied   asp ec t,  w h ic h   is   th h i g h e s t   p er ce n tag is   o n l y   at  le v el  1   ( 3 9 . 8 %)  w h er s tu d e n ts   ca n   m ak clai m ,   h o w e v er ,   th n u m b er   is   s ti ll  v er y   s m al ev e n   less   t h a n   h al f   th e   to tal  n u m b er   o f   all  s tu d e n ts .   I n   th is   s tu d y ,   th m o s ch al len g in g   asp ec f o r   s tu d e n ts   is   t h ab ilit y   to   p r ese n r eb u ttal  asp ec t.  I is   s ee n   t h at  o n l y   s m al p r o p o r tio n   ( 4 . 6 %)  s tu d en t s   w er ab le  to   g iv r eb u ttal,  w h ile  a l m o s t a ll  s tu d e n ts   ( 9 5 . 4 %)  h av n o t b ee n   ab le  to   lev el  5 .   C lai m s   ar an s w er s   to   r esear ch   q u est io n s .   T h ev id en ce   t h e n   ap p r o v es  th i s   clai m .   T h n a tu r o f   th e   ev id en ce   u s ed   in   t h ar g u m en is   th e n   as s u r ed   b y   w h at  is   u s ed   as  r ea s o n .   C o m p o n e n ar g u m e n co n s is t s   o f   o b s er v atio n s ,   m ea s u r e m e n ts ,   an al y s ed   o r   ev en   f in d i n g s   f r o m   o th er   s t u d ies  t h at  h av b ee n   co llected ,   th en   co m p leted .   T h p r o o f ,   in   o t h er   w o r d s ,   co n s is ts   o f   th d ata  an d   ex p lan at io n s   ab o u t   it.  T h ar g u m en co n s id er atio n   co m p o n e n t,  in   c o n tr ast,  d eb ates  o n   d ec is io n s   u s ed   to   ex p lain   th r elev a n ce   o f   th ev id en ce   u s ed   in   th ar g u m e n an d   J u s ti f ie s .   P r o o f   o f   ev id en ce   th at  is   o f t en   s u b m itted   f o r   ap p r o v al  o f   th ev id en ce   i n   th Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       Mo d ifica tio n   leve l a n d   test   o f s cien tifi a r g u men ta tio n   s kill:   D ev elo p men t a n d   va lid ity  ( R iki  P erd a n a )   775   co n ce p t,  th eo r y ,   o r   ess e n tial  th in k in g   s u p p o r ts   th a th o u g h o r   Me th o d ical  d u r in g   t h i n v est ig atio n .   clai m   i s   an   an s w er   to   s tate m e n w i th   ev id en ce   t h at  i n cl u d es  m ea s u r e m en ts   o r   o b s er v atio n s   a n d   is   r elev an to   s u p p o r p ar ticu lar   clai m ,   b ased   o n   th r esu lts   o f   r ea s o n i n g   [ 1 8 ]   C o m m o n   d if f ic u lt ies  f ac ed   b y   s t u d en t s   ar n o b ein g   ab le  to   ex p lain   s cien tific   ex p lan a tio n s .   I i s   f aili n g   to   p r esen s u f f icie n t   an d   ap p r o p r iate  ev id en ce   f o r   th eir   clai m s ,   f ail i n g   to   lin k   e v id en ce   w i t h   ap p r o p r iate  s cien ti f ic  p r in ci p les,  an d   n o clea r l y   in ter p r etin g   t h eir   i n f er e n ce s   a n d   ar ticu latin g   t h eir   r elatio n s h ip   b et w ee n   e v id en c an d   clai m s   [ 7 ] .   Sk ill s   i n   th asp ec o f   clai m   ca n   b i n   t h f o r m   o f   d eb atin g   s ev er al  d i f f er e n clai m s   [ 1 9 ] .   Stu d e n ts   w h o   ar n o ab le  to   g iv g o o d   r ea s o n s   f o r   t h clai m s   th e y   p r ese n t/te n d   to   b ca u s ed   b y   n o t p a y in g   att en tio n   to   co g n iti v an d   s c ien ti f ic  asp ec ts   [ 2 0 ] .   W ar r an co m b i n es  s cie n ti f ic  p r in cip les  an d   id ea s ,   f u n ctio n i n g   as  th r elatio n s h ip   b et w ee n   clai m s   an d   ev id en ce   [ 1 8 ] .   T h ex p lan ati o n   is   g i v e n   s h o w s   t h r elatio n s h ip   b et w ee n   d ata  an d   clai m s   w i th   t h co r r ec t   s cien t if ic  co n ce p an d   ca n   lea d   to   m i s co n ce p tio n s   i f   n o g iv en   clea r   w ar r a n [ 2 1 ] .   Stu d en ts   m a y   b d if f icu l t   to   p r o v id a   p r o p er   w ar r an b ec au s th e y   h a v n o p r esen ted   s ev er al  in d icato r s   o f   w o r d s   s u ch   a s   " s o "   o r   " b ec au s e" .   T h ese  w o r d s   ar u s ef u to   id en ti f y   w h at  i s   b ein g   i n f er r ed   f r o m   t h clai m   f iled   o r   w h y   co n cl u s io n   h as  b ee n   d r a w n ,   s o   w ar r an tie s   o f ten   s er v as   ex p la n ato r y   [ 2 2 ] .   T h lev el   o f   s tu d e n ts   in   t h w ar r a n asp ec is   s till   w ea k   b ec au s t h e y   h a v d if f ic u lt y   co n n ec ti n g   th s tate m en ts   w it h   t h d ata.   No ev en   n u m b er   o f   t h o s e   w h o   d o   n o w r ite  o n o f   th cl ai m s   o r   d ata.   T h o u g h ,   th w ar r an is   lo g ical  s e n ten ce   t h at  co n n ec t s   d ata  w it h   clai m s   in   s c ien t if ic  ar g u m e n ta tio n   p atter n   [ 2 3 ,   2 4 ] .   B ac k in g   p r o v id es  th f ac th at   is   s u p p o r tin g   w ar r an t.  I is   an   u n d er l y in g   ass u m p tio n   th at   is   u s u all y   co n s id er ed   to   b m u t u all y   a g r ee d   u p o n   an d   p r o v id es  j u s ti f icatio n   f o r   s p ec if ic  w ar r an [ 2 5 ] .   Ma n y   clai m s ,   w ar r an t ies  o r   d ata  ar n o s u p p o r ted   b y   r eliab le  in f o r m atio n .   I s ee m s   t h at  s tu d e n ts   ten d   t o   g iv co n v i n ci n g   o p in io n s   th at  clai m   is   s u f f ic ien t.  T h ey   r el y   h ea v il y   o n   th ei r   th in k in g   b y   i g n o r i n g   r elev a n in f o r m at io n   [ 2 6 ] Stu d e n ar g u m e n ts   at  t h b ac k in g   le v el  ar s till   lo w   b ec a u s e   th s u p p o r tin g   ev id en ce   i s   u n clea r ,   in co r r ec t,  o r   n o co n n ec ted   w it h   th clai m .   Go o d   b ac k in g   co n tai n s   r ea s o n s   w i th   at  leas o n ev id en ce   t h at  s u p p o r ts   an d   h as   co n n ec tio n   to   t h clai m   [ 2 7 ] .   T h r e b u ttal  is   s tate m e n th at  claim   is   w r o n g   b ased   o n   ev id en ce   an d   r ea s o n i n g   w h ic h   d i s ag r ee   w it h   clai m   b u d o   n o m a k n e w   clai m   [ 2 8 ] .   A s   s tate m e n ag ai n s t h clai m   [ 2 9 ] ,   r eb u ttal  b ec o m es     th m o s t c h alle n g i n g   asp ec t o f   s cien t if ic   ar g u m e n tat io n   s k ill.   T h r eb u ttal a s p ec t is  m ar k ed   b y   th p r ese n ce   o f   r ep ly   th a ca n   b id en ti f ie d   [ 2 7 ] .   Ho w ev er ,   i n   t h i s   s t u d y ,   al m o s all  s tu d e n ts   w er n o ab le  to   p r esen t     co u n ter clai m   ( r eb u tta l)   clea r l y   o r   ev en   n o at  all  p r esen t   r eb u ttal.  T h ey   co u ld n u s h ig h er   p atte r n s   o f   ar g u m e n tatio n ,   i n cl u d in g   r eb u ttal  [ 3 0 ]   T h er ar th r ee   ty p es  o f   r eb u tt al  in   s cie n ti f ic  ar g u m en tat io n ,   in clu d i n g   o p in io n   o r   r eb u ttal  co n s is tin g   o f   p er s o n al  attac k s ,   r eb u ttal  co n s is ti n g   o f   o w n   v ie w s ,   an d   r eb u ttal  co n s is tin g   o f   s cie n t if ic  ev id e n ce   [ 3 1 ] B ased   o n   th ty p o f   r eb u ttal,  al m o s all  s t u d en t s   h av d if f ic u lt y   i n   p r esen ti n g   th r ef u tatio n ,   p r im ar il y ,   b ase o n   th d en ial  o f   s cien tific   ev id en ce .   Sev er al  t h in g s   ca u s th lo w   le v el  o f   s tu d e n ts   r e b u ttal.  Si m ilar   [ 3 2 ]   s tate m en t s   co n v e y ed   o n l y   r e p ea th a r g u m e n ts   s tated   ea r lier ,   r eb u ttal  d eliv er ed   w ith o u r ea s o n ,   p r esen t     n e w   ar g u m e n t t h at  d o es n o d ir ec tl y   d en y   t h co u n ter - ar g u m en t said   p r ev io u s l y .   T h er a r tw o   p la y i n g   k e y s   to   in v o l v i n g   s t u d en t s   i n   s cien tific   ar g u m e n tatio n   [ 8 ] .   First,  ar g u m e n tatio n   i s   th p r i m ar y   p r ac tice  o f   s cien ce ,   an d   as  s u ch   m u s b ec o m t h co r o f   s cien ce   ed u ca tio n .   Seco n d ,   d is cu s s   t h n o r m s   o f   s cie n ti f ic  ar g u m e n tatio n   l ea d   s tu d en t s   to   u n d er s ta n d   t h ep is te m o lo g ical   f o u n d atio n s   o f   s cie n ti f ic  p r ac t ice.   B esid es,  A cc o r d in g   to   [ 3 3 ]   r eq u ir ed   in d iv id u als  w h o   a p p r o v an d   cr iticize  w h et h er   an d   s u p p o r t a cc ess   to   clai m s .       4.   CO NCLU SI O N   Seq u en t iall y   th le v el  o f   s ci en ti f ic  ar g u m en t a tio n   ab ilit y   o f   s tu d e n ts   i s   lev e 1   ( claim )   m a k es   s tate m en t s ,   lev el  2   ( d ata)   p r es en ts   d ata/ f ac ts ,   le v el  3   ( w ar r an t)   co n n ec t s   d ata  an d   clai m s   t h r o u g h   e v id en ce   o r   th eo r y ,   le v el  4   ( b ac k i n g )   s u p p o r ts   clai m s   w it h   m at h e m a t ical  ca lcu la tio n   o r   p ictu r e,   a n d   lev e 5   ( R eb u ttal)   p r o v id es  r eb u ttal  to   th s tat e m en t.  B ased   o n   t h f i n d in g s ,   it  ca n   b co n cl u d ed   th at   th e   i te m s   d ec lar ed   v alid   test   to   m ea s u r t h le v el  o f   s cien ti f ic  ar g u m e n tatio n   ab ili t y   lear n er s .   Se v er al  ite m s   w er d ev elo p ed   in   g o o d   co n d itio n   b y   I NFI T   MN SQ,  d if f icu l t y ,   a n d   o v er all,   in   r eliab il it y .     Mo d if icatio n   o f   t h le v el  o f   s c ien ti f ic  ar g u m e n tatio n   ab ilit y   o f   s t u d en t s   i n   s eq u e n ce   s tar t in g   f r o m   t h e   h ig h e s lev e ( lev el  5 )   is   cl ai m ,   d ata/f ac t,  w ar r a n t,  b ac k i n g ,   a n d   r eb u ttal.  A ls o ,   t h s t u d y   co n cl u d ed   t h at   s tu d e n ts '   ab ilit y   to   s cie n ti f ic  ar g u m e n ts   at  t h is   s c h o o l   ar s till   at  lo w   le v el s w h er m o s s t u d en ts   ar o n l y   ab le   to   b at  th lo w es t le v el  1 .   Mo s t st u d en t s   h a v n o t b ee n   ab le  to   p r esen t a n   ar g u m en th at  ca n   b ca teg o r ized   as   s cien ti f ic  ar g u m e n t.  T h s tu d en ch ar ac ter ize s   it  an s w er s ,   n o n o f   w h ic h   co r r esp o n d   to   th ca p ab ilit y   o f   s cien t if ic  ar g u m e n tatio n .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   3 Sep tem b er   2 0 2 0 :   7 6 9   -   777   776   RE F E R E NC E S   [1 ]   L .   Ku h n   a n d   B.   J.  Re ise r,   S tu d e n ts  Co n stru c ti n g   a n d   De f e n d in g   Ev id e n c e - Ba se d   S c ien ti f ic  Ex p lan a ti o n s,”   An n u .   M e e t.   Na tl .   Asso c .   Res .   S c i.   T e a c h in g ,   Da ll a s,   T X ,   v o l .   1 ,   n o .   1 ,   p p .   1 - 3 5 ,   2 0 0 5.   [2 ]   M .   S c a rm a d a li a ,   Co ll e c ti v e   c o g n it iv e   re sp o n si b il it y   f o th e   a d v a n c e m e n o f   k n o w led g e ,   L ib .   Ed u c .   a   Kn o wl.   S o c . v o l.   1 ,   n o .   9 7 ,   p p .   6 7 - 9 8 ,   2 0 0 2 .   [3 ]   A .   Zo h a a n d   F .   Ne m e t,   F o ste rin g   stu d e n ts’  k n o w led g e   a n d   a r g u m e n tatio n   sk il ls  th r o u g h   d i lem m a in   h u m a n   g e n e ti c s,”   J .   Res .   S c i.   T e a c h . v o l .   3 9 ,   n o .   1 ,   p p .   3 5 - 6 2 ,   2 0 0 2 .   [4 ]   Ö.  A c a r,   S c ien ti f ic  re a so n in g ,   c o n c e p tu a l   k n o w led g e ,   &   a c h ie v e m e n d if fe re n c e b e t w e e n   p ro sp e c ti v e   sc ien c e   tea c h e rs  h a v in g   a   c o n siste n t   m is c o n c e p ti o n   a n d   th o se   h a v in g   a   s c ien ti f ic  c o n c e p ti o n   i n   a n   a rg u m e n tatio n - b a se d   g u id e d   i n q u iry   c o u rse ,   L e a rn .   I n d ivid .   Diff e r. v o l .   3 0 ,   n o .   3 0 p p .   148 - 1 5 4 2 0 1 4 .   [5 ]   V .   S a m p so n   a n d   S .   S c h leig h ,   S c ien ti fi c   a rg u me n ta ti o n   in   b i o lo g y 3 0   c la ss ro o m a c ti v it ies ,   NST A   P re ss ,   2 0 1 3 .   [6 ]   N.  M .   M irza   a n d   A .   N.  P e rre t - Clerm o n t,   Arg u me n ta ti o n   a n d   e d u c a t io n T h e o re ti c a l   fo u n d a t io n a n d   p ra c ti c e s S p rin g e r,   2 0 0 9 .   [7 ]   C.   C.   Hs u ,   C.   H.  C h iu ,   C.   H.  L in ,   a n d   T .   I.   W a n g ,   En h a n c in g   sk il in   c o n stru c ti n g   sc ien ti f ic  e x p la n a ti o n u sin g   a   stru c tu re d   a rg u m e n tatio n   sc a f f o ld   in   sc ien ti f ic i n q u iry ,   Co mp u t .   E d u c . v o l.   9 1 ,   n o .   1 5 ,   p p .   46 - 59 2 0 1 5 .   [8 ]   S .   Erd u ra n   a n d   M .   Jim e n e z - A l e ix a n d re ,   Arg u me n ta ti o n   in   S c ien c e   Ed u c a ti o n Per sp e c ti v e fro Cla ss ro o m - Ba se d   Res e a rc h ,   S p ri n g e r,   2 0 0 7 .   [9 ]   W a rd a n i,   A .   De w i,   L .   Yu li a ti ,   a n d   A .   T a u f iq ,   T h e   a b il it y   o f   sc ien ti f ic  a rg u m e n tatio n   a n d   p h y sic p ro b lem   so lv in g   f o h ig h   sc h o o st u d e n ts  o n   f o rc e   a n d   m o ti o n   m a teria l   (in   Ba h a sa ) ,   in   Pr o s.  S e mn a Pen d i d ika n   IP Pa sc a s a rja n a   UM . v o l.   1 ,   n o .   1 ,   p p .   1 3 - 2 8 ,   2 0 1 6 .   [1 0 ]   T .   N.  A i n ,   H.  A .   C.   W ib o w o ,   A .   Ro h m a n ,   a n d   U.  A .   De ta,  T h e   s c ien ti f ic  a r g u m e n tatio n   p r o f il e   o p h y sic te a c h e c a n d id a te i n   S u ra b a y a ,   in   J o u rn a o P h y sic s: Co n fer e n c e   S e rie s v o l.   9 9 7 ,   n o .   1 ,   p p .   0 1 2 0 2 5 ,   2 0 1 8 .   [1 1 ]   R.   Hirsc h h e im ,   D.  M .   M u ru n g i,   a n d   S .   P e ñ a ,   W it ty   i n v e n ti o n   o d u b i o u s f a d ?   Us in g   a rg u m e n m a p p in g   to   e x a m in e   th e   c o n t o u rs   o f   m a n a g e m e n f a sh io n ,   I n f.   Or g a n . v o l .   2 2 ,   n o .   1 ,   p p .   60 - 84 ,   2 0 1 2 .   [1 2 ]   A .   Hu n ter,  El e m e n ts  o f   a r g u m e n tatio n ,   i n   L e c tu re   No tes   in   Co m p u ter  S c ien c e   (in c lu d in g   su b se rie Lec tu re   No tes   in   A rti f icia In telli g e n c e   a n d   L e c t u re   No tes   in   Bio i n f o rm a ti c s) ,   2 0 0 7 .   [1 3 ]   J.  Os b o rn e ,   S .   Erd u ra n ,   a n d   S .   S im o n ,   En h a n c i n g   th e   q u a li ty   o f   a r g u m e n tatio n   in   sc h o o sc ien c e ,   J .   Res .   S c i.   T e a c h . v o l.   41 ,   n o .   10 ,   p p .   9 9 4 - 1 0 2 0 ,   2 0 0 4 .   [1 4 ]   B.   S u m in to n o   a n d   W .   W id h iars o ,   Ra sc h   mo d e li n g   a p p li c a ti o n   in   e d u c a t io n a l   a ss e ss me n ts   (i n   Ba h a sa ) ,   T ri m   Ko m u n ik a ta,  2 0 1 5 .   [1 5 ]   P .   G .   F .   C h e n g   e t   a l. ,   P sy c h o lo g ist  i n   a   P o c k e t:   L e x ico n   De v e lo p m e n a n d   C o n te n V a li d a ti o n   o f   a   M o b il e - Ba se d   A p p   f o De p re ss io n   S c re e n in g ,   J M IR  mH e a lt h   u He a lt h vo l.   4 ,   n o .   3 ,   p p .   e 8 8 ,   2 0 1 6 .   [1 6 ]   C.   Ay re   a n d   A .   J.   S c a ll y ,   Crit ica v a lu e f o L a ws h e ’s  c o n ten t   v a li d it y   ra ti o Re v isit i n g   th e   o rig i n a m e th o d s   o f   c a lcu latio n ,   M e a s.  Ev a l.   C o u n s.  De v . v o l.   47 ,   n o .   1 ,   p p .   79 - 86 ,   2 0 1 4 .   [1 7 ]   C.   H.  L a ws h e ,   A   q u a n ti tativ e   a p p ro a c h   t o   c o n ten t   v a li d it y ,   Per s.  Psy c h o l. v o l .   2 8 ,   n o .   4 ,   p p .   5 6 3 - 5 7 5 ,   1 9 7 5 .   [1 8 ]   M .   G o n z á lez - Ho w a rd ,   K.  L .   M c Ne il l,   L .   M .   M a rc o - B u jo sa ,   a n d   C.   P .   P r o c to r,   Do e it   a n sw e th e   q u e sti o n   o r   is  i F re n c h   f ries ? ’:  a n   e x p lo ra ti o n   o f   lan g u a g e   su p p o rts  f o sc ien ti f ic  a rg u m e n tatio n ,   I n t.   J .   S c i.   Ed u c . v o l.   3 9 ,     n o .   5 ,   p p .   5 2 8 - 5 4 7 ,   2 0 1 7 .   [1 9 ]   R.   Ka tsh - S in g e r,   K.  L .   M c n e il l,   a n d   S .   L o p e r,   S c ien ti f ic  A rg u m e n tatio n   f o A ll ?   Co m p a rin g   T e a c h e Be li e f A b o u A rg u m e n tatio n   i n   Hig h ,   M id ,   a n d   L o w   S o c io e c o n o m ic  S tatu s   S c h o o ls,”  S c i.   Ed u c . v o l.   1 0 0 ,   n o .   3 ,     p p .   4 1 0 - 436 ,   2 0 1 6 .   [2 0 ]   J.  G ro o m s,  V .   S a m p so n ,   a n d   P .   E n d e rle,  Ho w   c o n c e p t   f a m il iarit y   a n d   e x p e rien c e   w it h   sc ien ti f ic  a rg u m e n tatio n   a re   re late d   to   th e   w a y   g ro u p p a rti c ip a te  in   a n   e p iso d e   o f   a rg u m e n tatio n ,   J .   Res .   S c i.   T e a c h . v o l.   5 5 ,   n o .   9 ,     p p .   1 2 6 4 - 1 2 8 6 ,   2 0 1 8 .   [2 1 ]   L .   L .   He n g ,   J.  S u rif ,   a n d   C.   H.  S e n g ,   M a lay sia n   S tu d e n ts’   S c ie n ti f ic  A rg u m e n tatio n :   Do   g ro u p s   p e rf o rm   b e tt e th a n   i n d iv i d u a ls? ”  In t.   J .   S c i.   Ed u c . v o l.   37 ,   n o .   3 p p .   5 0 5 - 5 2 8 ,   2 0 1 5 .   [2 2 ]   A .   M o o n ,   C.   S tan f o r d ,   R.   Co le,  a n d   M .   T o w n s,  T h e   n a tu re   o f   stu d e n ts’  c h e m ica r e a so n in g   e m p lo y e d   in   sc ien ti f ic  a rg u m e n tatio n   i n   p h y sic a c h e m is try ,   Ch e m.  Ed u c .   Res .   Pra c t . v o l .   1 7 ,   n o .   2 ,   p p .   3 5 3 - 3 6 4 ,   2 0 1 6 .   [2 3 ]   F .   A .   F a ize ,   W .   Hu sa in ,   a n d   F .   N isa r,   A   c rit ica re v ie w   o f   sc ien ti fic  a rg u m e n tatio n   i n   sc ie n c e   e d u c a ti o n ,   E u ra si a   J .   M a th .   S c i.   T e c h n o l.   E d u c . v o l.   14 ,   n o .   1 ,   p p .   4 7 5 - 4 8 3 ,   2 0 1 8 .   [2 4 ]   C.   Y.  T sa i,   I m p ro v in g   S tu d e n t s’  P I S A   S c ien ti f ic  Co m p e ten c ie T h ro u g h   On li n e   A rg u m e n tatio n ,   In t.   J .   S c i.   Ed u c . v o l.   37 ,   n o .   2 ,   p p .   3 2 1 - 3 3 9 ,   2 0 1 5 .   [2 5 ]   J.  P im v ich a i,   K.  Bu a ra p h a n ,   a n d   C.   Yu e n y o n g ,   De v e lo p m e n o f   G r a d e   1 0   S tu d e n ts’  S c ien ti f ic  A r g u m e n tatio n   th ro u g h   t h e   S c ien c e - T e c h n o lo g y - S o c iety   Lea rn in g   Un it   o n   W o rk   a n d   E n e rg y ,   J .   T e c h n o l.   S c i.   E d u c . v o l.   9 ,   n o .   3 p p .   4 2 8 ,   2 0 1 9 .   [2 6 ]   M .   S .   Ha y a e a l . ,   Co m p a riso n   o f   a rg u m e n tatio n   sk il l   in   sc ien c e   a n d   n o n - sc ien c e   u n d e rg ra d u a te  stu d e n ts,”  i n   J o u rn a o P h y sic s: Co n fer e n c e   S e rie s v o l.   1 1 5 7 ,   n o .   2 ,   p p .   1 - 6,   2 0 1 9 .   [2 7 ]   Q.  T .   L iu ,   B.   W .   L iu ,   a n d   Y.   R.   L in ,   T h e   in f lu e n c e   o f   p ri o r   k n o w led g e   a n d   c o ll a b o ra ti v e   o n li n e   lea rn i n g   e n v iro n m e n t   o n   st u d e n ts’  a rg u m e n tatio n   in   d e sc rip ti v e   a n d   th e o re ti c a sc ien ti f ic  c o n c e p t,   In t.   J .   S c i.   Ed u c . v o l.   4 1 ,   n o .   2 ,   p p .   1 6 5 - 1 8 7 ,   2 0 1 9 .   [2 8 ]   B.   B.   F re y ,   J.  D.  El li s,  J.  A .   Bu lg re e n ,   J.  C.   Ha re ,   a n d   M .   A u lt ,   De v e lo p m e n o f   a   T e st  o f   S c ien ti f ic  A r g u m e n tatio n ,   El e c tro n .   J .   S c i.   Ed u c . ,   v o l.   1 9 ,   n o .   4 ,   p p .   1 - 1 8 ,   2 0 1 5 .   [2 9 ]   H.  Y.  Ho   e a l. ,   A b o v e - a n d   b e lo w - a v e ra g e   stu d e n ts  th i n k   d if fe re n tl y T h e ir  sc ien ti f ic  a rg u m e n t a ti o n   p a tt e r n s,   T h in k .   S k i.   Cre a t. ,   v o l.   1 0 0 6 0 7 ,   n o .   3 1 ,   p p .   1 - 2 1 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       Mo d ifica tio n   leve l a n d   test   o f s cien tifi a r g u men ta tio n   s kill:   D ev elo p men t a n d   va lid ity  ( R iki  P erd a n a )   777   [3 0 ]   O.  S e n g u l,   Do c u m e n F e a tu re i n   P h y sic T u to rials  to   P ro m o te  Co ll e g e   S tu d e n ts’  Us e   o f   A rg u m e n tatio n ,   E u r.  J .   Ph y s.  Ed u c . ,   v o l .   1 0 ,   n o .   2 ,   p p .   5 3 6 5 ,   2 0 1 9 .   [3 1 ]   Y.  R.   L in   a n d   J.  F .   Hu n g ,   T h e   a n a ly sis   a n d   re c o n c il iatio n   o f   stu d e n ts’  re b u tt a ls  in   a rg u m e n tatio n   a c ti v it ies ,   In t.   J .   S c i.   E d u c . ,   v o l.   3 8 ,   n o .   1 ,   p p .   1 3 0 - 1 5 5 ,   2 0 1 6 .   [3 2 ]   Y.  T .   Ch ien   a n d   C.   Y.  Ch a n g ,   S u p p o rti n g   so c io - sc ien ti f ic arg u m e n tatio n   in   t h e   c las sro o m   th ro u g h   a u to m a ti c   g ro u p   f o r m a ti o n   b a se d   o n   stu d e n ts’  Re a l - ti m e   re sp o n se s,”   in   S c ien c e   Ed u c a t io n   in   Ea st  Asi a Ped a g o g i c a In n o v a ti o n s   a n d   Res e a rc h - in fo rm e d   Pr a c ti c e s S p ri n g e r,   2 0 1 5 .   [3 3 ]   M .   S .   Kh i n e ,   Per sp e c ti v e s o n   sc ie n ti fi c   a rg u me n ta ti o n :   T h e o ry ,   p ra c ti c e   a n d   re se a rc h S p ri n g e r,   2 0 1 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.