I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   10 No .   2 J u n e   2 0 2 1 ,   p p .   545 ~ 5 5 2   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 1 0 i 2 . 2 0 7 9 6          545       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Dev elo pment of  h ig her order  thinki ng  skill as ses sm en instrumen ts in  l ea rning  Indo nesia histo ry       J o ha n Set ia wa n,  Aj a t   Su dra j a t ,   A m a n,  Dy a h K u m a la s a r i   Do c to ra P r o g ra m ,   P o stg ra d u a te  P ro g ra m ,   Y o g y a k a rta S tate   Un i v e rsity ,   I n d o n e sia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct   12 ,   2 0 20   R ev is ed   Mar   26 ,   2 0 21   Acc ep ted   Ap r   17 ,   2 0 21       T h is  st u d y   a ime d   t o :   1 )   P r o d u c e   h i g h e o rd e r   t h in k in g   sk il l   (HO TS )   a ss e ss m e n in stru m e n ts   in   lea rn i n g   In d o n e sia n   h ist o ry 2 K n o th e   v a li d i ty   o f   HO TS   a ss e ss m e n in str u m e n ts  i n   lea rn in g   I n d o n e sia n   h isto r y 3 )   F i n d   o u t   th e   c h a ra c teristics   o HO TS   q u e sti o n in   lea rn i n g   I n d o n e sia n   h ist o ry .   Th is  stu d y   e m p lo y e d   th e   re se a rc h   a n d   d e v e l o p m e n m e th o d   o f   t h e   Bo r g   a n d   G a ll   m o d e l.   Th e   HO TS   tes it e m   wa c o n d u c ted   o n   3 6   st u d e n ts  in   c las XI  o f   2   Ng a g li k   S tate   S e n io Hig h   S c h o o l .   Da ta  a n a ly sis  in c l u d e tes ts  o v a li d i ty ,   re li a b il it y ,   lev e o d iffi c u lt y ,   d isti n g u ish i n g   fe a tu re a n d   d e c e p ti o n   in d e x .   Th e   stu d y   fo u n d :   1 )   T h e   HO TS   a ss e ss m e n in str u m e n o m u lt i p le - c h o ice   q u e stio n c o n siste d   o f   2 5   it e m s;  2 T h e   re s u lt o t h e   HO TS   q u e stio n   v a li d a t io n   b y   tw o   In d o n e sia n   h isto r y   lea rn in g   a ss e ss m e n e x p e rts  o n   th e   m a teria l,   c o n stru c ti o n   a n d   lan g u a g e   a sp e c ts we re   v a li d   a n d   a p p r o p riate .   Th e   re su lt s   o th e   v a li d a ti o n   b y   th re e   I n d o n e sia n   h ist o ry   t e a c h e rs  a lso   sta ted   t h a t h e   a ss e ss m e n t   in stru m e n ts  we re   v a li d   a n d   a p p ro p riate 3 T h e   c h a ra c teristics   o HO TS   q u e stio n h a d   fu lf il led   th e   v a li d it y   c rit e ria  o f   2 3   q u e sti o n s,   re li a b i li ty   with   a   c o e fficie n o 0 . 9 7   (v e ry   stro n g ),   t h e   a v e ra g e   d iffi c u lt y   lev e is   0 . 3 3   (m o d e ra te) ,   t h e   a v e ra g e   d iffere n t iatio n   tes is  0 . 4 2   (g o o d ),   a n d   t h e   a v e ra g e   d e c e p ti o n   in d e x   is   0 . 5 6   (g o o d ) .   K ey w o r d s :   Ass es s m en t in s tr u m en ts   Hig h er   o r d er   th in k in g   s k ill   I n d o n esian   h is to r y   lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   J o h an   Setiawan     Do cto r al  Pro g r a m ,   Po s tg r ad u a te  Pro g r am   Yo g y ak ar ta  State  Un iv e r s ity   Yo g y ak ar ta,   I n d o n esia   E m ail:  jo h an s etiawa n . 2 0 1 9 @ s tu d en t.u n y . ac . id ;   j o h an s etiawa n 7 6 7 @ g m ai l.c o m       1.   I NT RO D UCT I O N   L ea r n in g   i n   th 2 1 s ce n tu r y   n o em p h asizes  th ab ilit y   to   th in k   cr itically   an d   s o lv p r o b lem s   [ 1 ] - [ 3 ] .   T h is   b ec o m es  ess en tial  th at  m u s b m aster ed   b y   s tu d e n ts ,   o f   co u r s e,   r eq u ir es  th co n ce p o f   ass ess m en th at  is   ab le  to   d escr ib t h e   d esire d   le ar n in g   o b jectiv es.  T h ass ess m en s tan d ar d   in   th 2 0 1 3   cu r r icu lu m   is   d o n e   b y   ad ap tin g   i n ter n atio n al   s tan d a r d ized   ass ess m en m o d els,  o n o f   th in ter n atio n al  s tan d ar d ized   ass e s s m en m o d els  is   h ig h er   o r d e r   th in k in g   s k ills   ( HOT S )   [ 4 ] ,   [ 5 ] .   HOT f u n ctio n s   to   ass ess   wh eth er   s tu d en ts   alr ea d y   h a v e   h ig h - lev el  th i n k in g   s k ills   s u ch   as: C 4   ( an aly zin g ) ,   C 5   ( ev alu atin g ) ,   an d   C 6   ( m ak i n g )   [ 6 ] - [ 9 ] .   HOT S is   q u ality   th in k in g   ab i lity   th at  is   c o n ce p tu ally   b ased   o n   B lo o m ' s   T ax o n o m y   lev el   o f   th in k in g   [ 1 0 ] ,   h ar g u es  th at  s tu d en ts   n o o n ly   n ee d   r em em b e r in g   s k ills ,   b u m u s h av h ig h er   th in k in g   ab ilit ies  to   o v er co m e   in cr ea s in g ly   co m p l ex   p r o b lem s   an d   h av c r itical  an d   r atio n al   th in k in g   ab ilit ies  [ 1 1 ] ,   [ 1 2 ] .   L ea r n in g   d o n e   in   s ch o o ls   s h o u ld   n o t   o n ly   r em em b er   th c o n ce p t s   an d   k n o wled g e,   b u t   an aly ze ,   e v alu ate  an d   cr ea te   th e   p r o b lem s   f ac e d   [ 1 3 ] ,   [ 1 4 ] .   Stu d en ts   m u s o f ten   b f ac ed   wit h   ex er cises   wo r k in g   o n   HOT q u esti o n s   th at  ar in ter esti n g   to   s o lv e,   s o   th at  t h e   p o ten tial o f   s tu d en ts   in cr ea s es.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 4 5   -   5 52   546   I n   th cu r r en 2 0 1 3   c u r r icu l u m ,   wh ile  th s y llab u s   s er v es  as  g u id in   lear n in g   ac tiv ities   in   s ch o o ls ,   th m ater ial  p r e p ar ed   r eq u ir es   s tu d en ts   to   h av e   h ig h - lev el  t h in k in g   s k ills   [ 1 5 ] ,   a n d   o f   c o u r s th ass ess m en t   mu s ad ju s to   th a b ilit y   to   th in k   at  h i g h   lev el,   esp ec ially   in   h is t o r y   lear n in g   i n   h ig h   s ch o o l   [ 1 6 ] ,   [ 1 7 ] .   T h e   m ea n in g   o f   ass ess m en in   th r ea lm   o f   ed u ca tio n   is   to   f in d   o u th ac h iev em e n o f   o b jectiv es  an d   t h p r o ce s s   o f   lear n in g   ac tiv ities   [ 1 8 ] ,   [ 1 9 ] ,   th er e f o r ass ess m en m u s m ee ac ad em ic  r eq u ir em en ts   as  an   ap p r o p r ia te   ass es s m en t c ar r ied   o u t i n   h ig h   s ch o o l.   Ass es s m en ts   u s ed   b y   I n d o n esian   h is to r y   teac h er s   o f ten   d o   n o h elp   s tu d e n ts   o p tim ally   i n   d e alin g   with   co n tex tu al  p r o b lem s   [ 2 0 ] - [ 2 2 ] .   T h er ar s ti ll  m an y   teac h e r s   wh o   m ak test   q u esti o n s   n o b ased   o n   th test   g r id ,   b u ten d   t o   o n l y   u s q u est io n s   o n   b o o k s   th at  a r p r o v id e d   [ 2 3 ] .   T h e   ten d en c y   o f   teac h e r s   to   m ak q u esti o n s   th at  ar n o g u id e d   b y   th test   g r id   is   wh at  m ak es  s tu d e n ts   n o tr ain ed   in   h ig h - lev el  th in k in g   [ 2 4 ] .   Hig h - lev el   th in k in g   s k ills   o f   s tu d en ts   in   I n d o n e s ia  a r v er y   lo w,   esp ec i ally   in   h is to r y   lea r n in g .   T h is   c an   b e   s ee n   f r o m   th e   ab ilit y   o f   s tu d en ts   to   c o n d u ct  in v esti g atio n s ,   u n d er s tan d   th e o r y ,   an aly s is ,   an d   s o lv p r o b le m   [ 2 5 ] ,   [ 2 6 ] .   T h u s o f   HOT ass e s s m e n in s tr u m en ts   in   lear n in g   I n d o n esian   h is to r y ,   b ec a u s in   th 2 0 1 3   cu r r icu lu m   o n ly   h as  an   allo ca tio n   o f   two   h o u r s   p e r   wee k ,   t h tar g et   to   b e   ac h iev ed   r e q u i r es  an   e f f ec tiv e   an d   ef f icien s tr ateg y   to   m ee th lear n in g   o b jectiv es.  T h ese  tar g ets  m u s m ee th ap p r o p r iat lear n in g   b ase  an d   g o o d   in s tr u m en ts   as  an   ass ess m en o f   t h eir   ac h ie v em en ts .   L e ar n in g   ass ess m en in   th 2 0 1 3   cu r r icu lu m   in clu d es:  1 )   Kn o wled g with   wr itten   test s ,   o b s er v atio n s   a n d   ass ig n m e n ts ;   2 )   Sk ills   with   p er f o r m an ce ,   p r o jec ts ,   p r o d u cts,   p o r tf o lio s ;   an d   3 )   Attitu d es  b y   o b s er v atio n ,   s elf - ass es s m en t,  an d   jo u r n als  [ 2 7 ] .   Var i o u s   asp ec ts   o f   th e   ass es s m en t,  I n d o n esian   h is to r y   teac h er s   m u s t b cr ea tiv e   in   g ettin g   ar o u n d   t h allo ca tio n   o f   h o u r s   d is tr ib u tio n   s o   th at  co m p eten ce   is   ac h i e v e d   [ 2 8 ] .   B ased   o n   th r esu lts   o f   in ter v iews  with   I n d o n esian   h is to r y   teac h er s   at  2   Ng a g lik   State  S en io r   Hig h   Sch o o l,  th at  th in s tr u m e n ts   u s ed   s till   m ea s u r asp ec ts   o f   m em o r izatio n   an d   u n d e r s tan d in g .   L ea r n in g   I n d o n esian   h is to r y   r eq u ir es  ass ess m en in s tr u m en ts   th at  ca n   tr ain   h ig h - le v el  s k ills ,   s u ch   as  m ater ial  in   b asic   co m p eten ce   3. 6   an aly ze   th e   r o le  o f   n atio n al  a n d   r eg io n al  f ig u r es  in   f ig h tin g   f o r   I n d o n esian   i n d ep en d en ce .   T h is   m ater ial  h as  b r o ad   d is cu s s io n   an d   r eq u ir es  lo o f   s tu d e n t   ac tiv ities   in   th class r o o m   in clu d in g   h ig h - lev el  th in k in g   ac tiv ities ,   th is   is   th b asis   f o r   r esear ch er s   to   d e v elo p   HOT S a s s e s s m en t in s tr u m en ts   [ 2 9 ] .   Pre v io u s   r esear ch   o n   h ig h er   o r d er   th in k in g   s k ills   h as  b ee n   ca r r ied   o u t   b y   s ev e r al  r esear ch er s   wh o   h av e   f o cu s ed   o n   lear n in g   m ath em a tics   [ 3 0 ] ,   lear n in g   p h y s ics  [ 3 1 ]   an d   lear n i n g   h is to r y   with   d e s cr ip tiv q u esti o n s   [ 1 7 ] .   B ased   o n   p r e v io u s   r esear ch   s tu d ies  o n   th HOT S,  r ese ar ch er s   f o u n d   n ew  asp ec o f   th is   r esear ch   is   th d ev elo p m e n t o f   HOT S a s s ess m en ts   with   m u ltip le  ch o ice  test   q u esti o n s ,   esp ec ial ly   in   ass es s in g   th lear n in g   o f   I n d o n esian   h is to r y .   B as ed   o n   t h b ac k g r o u n d   th at  h as  b ee n   d escr ib ed ,   th r esear ch er   is   in ter ested   in   co n d u ctin g   r esear ch   u n d er   th titl d ev elo p m en o f   h ig h er   o r d er   th in k i n g   s k ill  ( HOT S)  as s es s m en in s tr u m en ts   in   lear n in g   In d o n esian   h is to r y   in   h ig h   s ch o o ls .       2.   RE S E ARCH   M E T H O D   2 . 1 .   T y pe  o f   re s ea rc h   T h is   ty p e   o f   r esear ch   is   R esear ch   a n d   De v elo p m e n ( R & D)   u s in g   th B o r d   a n d   Gall  d ev elo p m en t   m o d el  [ 3 2 ] ,   w h ich   h as  b ee n   m o d if ied   in to   f iv s tag es  o f   r esear ch   in   ac c o r d an ce   with   th o b j ec tiv es  an d   in ter ests   in   th is   s tu d y .   T h s tag es  c o n s is o f 1 )   Nee d s   an aly s is   an d   p r elim in ar y   in f o r m atio n   g at h er i n g ;   2 )   Plan n in g   an d   p r ep ar atio n   o f   ass ess m en in s tr u m en ts 3 )   I n itial  p r o d u ct  test in g   b y   ex p er ts ;   4 )   E v alu atio n ;   a n d   5 )   I m p lem en tatio n .     2 . 2 .     Resea rc h desi g n   T o   ex am in e   th ap p r o p r iaten e s s   o f   HO T ass e s s m en in s tr u m en ts   in   lear n in g   I n d o n esian   h is to r y   o n   th m ater ial  o f   r esis tan ce   o f   th I n d o n esian   p e o p le  t o   E u r o p e an   co lo n izatio n   u n til th 2 0 th   ce n tu r y ,   it wa s   f ir s v alid ated   b y   i n s tr u m en t   ex p er t s   an d   e v alu atio n   ex p er ts   [ 3 3 ] ,   [ 3 4 ] ,   th en   r ev is ed   in   s tag o n e.   T h r e v is ed   p r o d u ct   was  th en   v alid ated   b y   th r ee   I n d o n esian   h is to r y   teac h er s ,   th en   s ec o n d   s tag r ev is io n   w as  ca r r ied   o u t.  T h e   s ec o n d   s tag r e v is ed   p r o d u ct   was  test ed   o n   o n e   class   at  2   Ng ag lik   State  Sen io r   Hig h   Sc h o o l .   T h is   s ch o o is   lo ca ted   in   Slem an   Dis tr ict,   Sp ec ial  R eg io n   o f   Yo g y ak ar ta,   I n d o n esia.     2 . 3 .     Resea rc h su bje ct s   R esear ch   s u b jects  o n   h ig h er   o r d er   th in k in g   s k ills   ass es s m en in s tr u m en p r o d u cts  in   th lear n in g   I n d o n esian   h is to r y   o n   th e   m at er ial  o f   r esis tan ce   o f   t h I n d o n esian   p eo p le  a g ain s E u r o p ea n   co lo n izatio n   u n til  th 2 0 th   ce n tu r y   wer co n d u c ted   o n   p o p u latio n   o f   class   XI   I PS   3   at  2   Ng ag lik   State  Sen i o r   Hig h   Sch o o as   m an y   as 3 6   s tu d en ts .   T h r esear ch   was c o n d u cted   o n   Dec em b er   1 2   u n til J an u ar y   3 1 ,   2 0 1 9 .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Dev elo p men t o f h ig h er o r d er th in kin g   s kill a s s ess men t in s t r u men ts   in   lea r n in g   …  ( Jo h a n   S etia w a n )   547   2 . 4 .     Da t a   co llect io n t ec h niq ues   a nd   ins t r um ent s     Data   co llectio n   tech n i q u es  u s ed   q u esti o n n air es  an d   test s   [ 3 5 ] ,   q u esti o n n air es  wer e   u s ed   t o   m ea s u r e   r esp o n s es  o f   v ar iab les  to   ex p er ts   in   th f o r m   o f   h ig h - lev el  t h in k in g   s k ills   ( HOT S)  in   lear n in g   I n d o n esian   h is to r y   o n   m ater ial  o f   I n d o n esian   r esis tan ce   to   co l o n ialis m   in   E u r o p u n til  th 2 0 th   ce n tu r y .   Data   co l lectio n   in s tr u m en ts   co n s is o f 1 )   T est  in s tr u m en ts ,   test s   in   th f o r m   o f   m u ltip le  ch o ice  ( d ich o to m y   0   an d   1 )   with   f iv an s wer   ch o ices  [ 3 6 ] ,   [ 3 7 ] ,   wh ic h   r e f er s   to   in d icato r s   o f   h ig h - lev el  th i n k in g   a b ilit y   to tallin g   2 5   q u est io n s ;   2 )   Valid atio n   s h ee ts ,   ca r r ied   o u b y   two   ex p er ts   n am ely in s tr u m en ex p er ts   f o r   th v alid atio n   o f   te s in s tr u m en ts   an d   ev alu atio n   e x p er ts   f o r   v alid atio n   o f   HOT ass ess m en ts   [ 3 8 ] - [ 4 0 ] .   Fu r th e r m o r e ,   v alid atio n   was  ca r r ied   o u b y   th r ee   I n d o n esian   h is to r y   teac h er s   to   d eter m in th p r ac ticality   an d   r esp o n s o f   teac h er s   a s   in s tr u cto r s   in   th e   s ch o o l e n v ir o n m e n t.     2 . 5 .     Da t a   a na ly s is   t ec hn iqu es     Data   an aly s is   was  p er f o r m ed   to   o b tain   v alid   an d   r eliab le   HOT ass es s m en in s tr u m en ts   [ 4 1 ] .   Data   an aly s is   is   d o n in   two   way s ,   n am ely :     2 . 5 . 1 .   Q ua lita t iv da t a   a na ly s is   o f   t he  re s ults o f   v a lid a t io n sh ee t s   Qu alitativ an aly s is   o f   HOT S test  q u esti o n s   was  o b tain ed   f r o m   th r esu lts   o f   lo g ical  v alid atio n   s h ee ts   b ased   o n   th r ee   asp ec ts   n am ely m ater ial,   co n s tr u ct io n   a n d   la n g u ag asp ec ts   [ 4 2 ] - [ 4 5 ] .   Valid   test   item s   ar u s ed   b ased   o n   th e   v alid at o r   ass ess m en o f   two   ex p e r lectu r er s   an d   th r ee   I n d o n esian   h is to r y   t ea ch er s .   T h e   v al u es  g iv en   to   e ac h   item   o f   v alid atio n   ar e:  v alu o n "in v alid ",   v alu two   "less   v alid ",   v alu th r ee   "q u ite  v alid ",   v alu e   f o u r   " v alid an d   v alu e   f iv " v er y   v alid ".   An aly s is   o f   HOT test   item s   was  ca lcu lated   u s in g   th Aik en s   V   ca lcu latio n   f o r m u la .     2 . 5 . 2 .   Q ua ntit a t i v da t a   a na l y s is   o f   H O T S t est  qu estio ns   Data   o b tain ed   f r o m   s tu d en ts '   r esp o n s es  wer an al y ze d   u s in g   th Mic r o s o f E x ce l   p r o g r am .   T h an aly s is   was c ar r ied   o u t to   d et er m in th ch a r ac ter is tics   o f   HOT S item s   wh ich   in clu d ed :   A.   Valid ity   test   T h v alid ity   test   o f   t h tes u s in g   th b is er ial  p o i n co r r e latio n   f o r m u la  w ith   th p r o v is io n s   o f   th e   ca lcu latio n   r esu lts   co m p ar ed   with   r table   at  5 s ig n if ican ce   lev el.   I f   r count   is   g r ea ter   o r   eq u al  to   r table  th en   th e   item   is   v alid ,   b u t if   r count   is   s m aller   th an   r table   th en   th item   is   in v alid   [ 4 6 ] .   B.   R eliab ilit y   test   T h r eliab ilit y   test   u s es  th KR - 2 0   f o r m u la,   b ec a u s th s co r q u esti o n s   ar e   d ich o t o m o u s   ( 0   an d   1 ) .   T o   d eter m in th r eliab ilit y   cr iter i if   th in ter v al  v alu o f   th c o ef f icien t ≥ 0 . 7   [ 4 7 ] ,   [ 4 8 ] .   C.   T est  d if f icu lty   lev el   Dif f icu lty   lev el  an aly s is   o f   te s q u esti o n s   is   n ee d e d   to   e x a m in th item s   in   ter m s   o f   d if f icu lty ,   s o   th a t   item s   ca n   b e   o b tain e d   th at  f a ll  in to   th e   ca teg o r y   o f   ea s y ,   m ed iu m   a n d   d if f icu lt.   T h e   f o r m u la  u s ed   to   ca lcu late  th d if f icu lty   o f   ite m s   is : P= N P /N  [ 4 9 ]   b y   u s in g   th e   cr iter ia:  0 . 0 0 - 0 . 3 0   "to o   d i f f ic u lt",  0 . 3 1 - 0 . 7 0   "m o d er ate" ,   a n d   0 . 7 1 -   1 . 0 0   "to o   ea s y ".   D.   Dis tin g u is h in g   p o wer   Dis tin g u is h in g   p o wer   is   th ab ilit y   o f   th e   test   to   d is tin g u is h   b etwe en   s tu d en ts   wh o   h av e   h ig h   ab ilit ies  an d   s tu d en ts   with   lo ab ilit y .   Dif f er en item   p o wer   in d ex   u s in g   th f o r m u la  DP=BA/ JA - B B / J B   [ 5 0 ] .   I f   th e   d is tin g u is h in g   in d ex   is   k n o w n ,   th en   th n u m b er   is   in te r p r ete d   o n   th e   cr iter ia:  0 . 0 0 - 0 . 2 0   "b ad ",   0 . 2 1 - 0 . 4 0   "su f f icien t",   0 . 4 1 - 0 . 7 0   " g o o d an d   0 . 7 1 - 1 . 0 0   "v er y   g o o d ".   E.   D ec ep tio n   in d e x   I n   th ca s o f   m u ltip le - c h o ice   f o r m s   th e r ar alter n a tiv an s wer s   wh ich   ar d ec eitf u l,  d e ce itfu h er is   th an s wer   to   th q u esti o n   th a ca n   d ec eiv th e   r ea l   an s wer .   Usi n g   th e   f o r m u la  I P=P  x   1 0 0 /( N - B ) /( n - 1 )   [ 5 1 ]   with   th e   cr iter ia:  7 6 % - 1 2 4 "v er y   g o o d ",   5 1 % - 7 5 o r   1 2 6 % - 1 5 0 "g o o d ",   2 6 % - 5 0 o r   1 5 1 % - 1 7 5 % "n o g o o d ",   0 % - 2 5 % o r   1 7 6 % - 2 0 0 %   "b ad ",   an d   > 2 0 0 % "m is lead in g ".       3.   RE SU L T   3 . 1 .     Da t a   o f   pro du ct   t est  re s ult   3 . 1 . 1 .   E x pert   v a lid a t io n   Valid atio n   is   d o n b y   p r o v id i n g   a   tex i n   th e   f o r m   o f   v ali d atio n   s h ee t   to   th e   in s tr u m e n ex p er ts   an d   ev alu atio n   ex p e r ts ,   th en   a n aly ze d   u s in g   th Aik en ' s   f o r m u la  to   ca lcu late  th co n ten v alid ity   co ef f icien t.  T h e   r esu lts   o f   th v alid atio n   a n aly s is   o f   th in s tr u m en ex p er t s   an d   ev alu atio n   e x p er ts   ar s h o wn   in   T ab le  1 .     T ab le  2   s h o ws  th at   th ca lc u l atio n   o f   Aik en ' s   co e f f icien t   b a s ed   o n   th e   v alid atio n   o f   th in s tr u m en t   ex p e r co n s is tin g   o f   1 0   q u esti o n n air e   item s   an d   ev al u atio n   ex p e r ts   co n s is tin g   o f   2 0   q u e s tio n n air e   item s ,   all  d ec lar ed   to   b elig ib le  to   u s e.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 4 5   -   5 52   548   T ab le  1 .   R esu lts   o f   in s tr u m en t   ex p er t v alid atio n   an al y s is     R e s u l t o f   i n st r u me n t   e x p e r t   a n a l y s i s   Q u e st i o n   n u m b e r   A i k e n s V  c o e f f i c i e n t   C r i t e r i a   Q u e st i o n   n u m b e r   A i k e n s V  c o e f f i c i e n t   C r i t e r i a   1   1. 00   El i g i b l e   t o   u s e   6   0. 50   El i g i b l e   t o   u s e   2   0. 75   El i g i b l e   t o   u s e   7   0. 75   El i g i b l e   t o   u s e   3   0. 75   El i g i b l e   t o   u s e   8   1. 00   El i g i b l e   t o   u s e   4   1. 00   El i g i b l e   t o   u s e   9   1. 00   El i g i b l e   t o   u s e   5   0. 75   El i g i b l e   t o   u s e   10   1. 00   El i g i b l e   t o   u s e       T ab le  2 .   R esu lt o f   v alid atio n   o f   ex p er t e v alu atio n s   R e s u l t   o f   e x p e r t   e v a l u a t i o n   a n a l y si s   Q u e st i o n   n u m b e r   A i k e n s V  c o e f f i c i e n t   C r i t e r i a   Q u e st i o n   n u m b e r   A i k e n s V  c o e f f i c i e n t   C r i t e r i a   1   1 . 00   El i g i b l e   t o   u s e   11   0 . 75   El i g i b l e   t o   u s e   2   1 . 00   El i g i b l e   t o   u s e   12   1 . 00   El i g i b l e   t o   u s e   3   1 . 00   El i g i b l e   t o   u s e   13   1 . 00   El i g i b l e   t o   u s e   4   0 . 75   El i g i b l e   t o   u s e   14   1 . 00   El i g i b l e   t o   u s e   5   0 . 75   El i g i b l e   t o   u s e   15   1 . 00   El i g i b l e   t o   u s e   6   1 . 00   El i g i b l e   t o   u s e   16   1 . 00   El i g i b l e   t o   u s e   7   0 . 75   El i g i b l e   t o   u s e   17   1 . 00   El i g i b l e   t o   u s e   8   1 . 00   El i g i b l e   t o   u s e   18   0 . 75   El i g i b l e   t o   u s e   9   1 . 00   El i g i b l e   t o   u s e   19   1 . 00   El i g i b l e   t o   u s e   10   1 . 00   El i g i b l e   t o   u s e   20   1 . 00   El i g i b l e   t o   u s e       3 . 1 . 2 .   Va lid a t io n by   I nd o nes i a n his t o ry   t ea cher   Valid atio n   was  ca r r ied   o u t o   s ee   th co n ten ts   an d   ef f ec tiv en ess   o f   th in itial  p r o d u c to   th r ee   I n d o n esian   h is to r y   teac h er s ,   th en   an aly ze d   th HOT test   it em s   ac co r d in g   to   th v alid ato r ' s   as s ess m en u s in g   Ai k en ' s   f o r m u la   to   ca lcu lat th c o n ten t   v alid it y   c o ef f ici en t.  T h e   v alid atio n   an al y s is   d ata  ar as  s h o wn   in   T ab le  3 .       T ab le  3 .   R esu lts   o f   v alid atio n   an aly s is   o f   I n d o n esian   h is to r y   teac h er   Q u e st i o n   R a t e r   1   R a t e r   1   R a t e r   1   A i k e n s V  C o e f f i c i e n t   C r i t e r i a     1   5   5   4   0 . 91   El i g i b l e   t o   u s e   2   5   5   5   1 . 00   El i g i b l e   t o   u s e   3   4   5   4   0 . 83   El i g i b l e   t o   u s e   4   4   4   4   0 . 75   El i g i b l e   t o   u s e   5   5   4   4   0 . 83   El i g i b l e   t o   u s e   6   4   4   5   0 . 83   El i g i b l e   t o   u s e   7   5   3   5   0 . 83   El i g i b l e   t o   u s e   8   5   3   5   0 . 91   El i g i b l e   t o   u s e   9   5   4   5   0 . 66   El i g i b l e   t o   u s e   10   4   3   4   0 . 75   El i g i b l e   t o   u s e   11   3   4   4   1 . 00   El i g i b l e   t o   u s e   12   5   4   5   0 . 91   El i g i b l e   t o   u s e   13   5   4   4   0 . 83   El i g i b l e   t o   u s e   14   5   3   4   0 . 66   El i g i b l e   t o   u s e   15   4   4   4   0 . 83   El i g i b l e   t o   u s e   16   4   3   4   0 . 83   El i g i b l e   t o   u s e   17   5   3   5   1 . 00   El i g i b l e   t o   u s e   18   4   4   5   0 . 83   El i g i b l e   t o   u s e   19   5   4   4   0 . 83   El i g i b l e   t o   u s e   20   4   4   5   0 . 83   El i g i b l e   t o   u s e       B ased   o n   T ab le   3 ,   th e   r esu lts   a r o b tain e d   th at  all   m u ltip le - ch o ice  item s   co n s is tin g   o f   3 0   H OT item s   ar in   th v alid   ca teg o r y   with   th lo west  in d ex   0 . 6 6   a n d   t h h ig h est  1 . 0 0 .   T h e   in ter p r etatio n   is   d o n b y   u s in g   cr iter ia  less   th an   0 . 6   t h en   th e   v alid ity   is   s aid   to   b l o w,   b et wee n   0 . 6 - 0 . 8   in   th e   m o d e r ate  ca teg o r y   a n d   if   m o r e   th an   0 . 8   is   s aid   to   b h i g h .     3 . 2 .     L im it ed  t ria l r esu lt   da t a     lim ited   tr ial  was  co n d u cted   at  2   Ng ag lik   State  Sen io r   Hig h   Sch o o l,  Yo g y a k ar ta  b y   in v o lv in g   s tu d en ts   o f   class   XI   I PS   3   to tallin g   3 6   s tu d e n ts .   T h q u ality   o f   HOT test   q u esti o n s   b ased   o n   th ch ar ac ter is tics   o f   th q u esti o n s   in clu d e:  v alid ity ,   r eliab ilit y ,   lev el  o f   d i f f ic u lty ,   d i s tin g u i s h in g   f ea t u r es  an d   d ec ep tio n   in d ex .   T h r esu lts   o f   th in te r p r etatio n   o f   th e   item   an aly s is   ar e:   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Dev elo p men t o f h ig h er o r d er th in kin g   s kill a s s ess men t in s t r u men ts   in   lea r n in g   …  ( Jo h a n   S etia w a n )   549   3 . 2 . 1 .   I t em   v a lid it y   Valid atio n   o f   th test   co n s is ts   o f   3 0   m u ltip le  ch o ice  item s   wh ich   ar ca lcu lated   u s in g   th Mic r o s o f E x ce p r o g r am ,   th en   i n ter p r ete d   with   r table   at  s ig n if ican ce   lev el  o f   5 an d   N= 3 6 .   T h en   o b t ain ed   r table   o f   0 . 3 3 9   an d   th er a r 2 3   v alid   q u esti o n s .   T h r es u lts   o f   th v alid atio n   o f   th e   q u esti o n s   ar as  s h o w n   in   T ab le  4 .       T ab le  4 .   Valid ity   test   r esu lts   Q u e st i o n   V a l i d i t y   i n d e x   Q u e st i o n   i t e m   To t a l   P e r c e n t a g e   1   > 0. 3 3 9   ( V a l i d )   1 ,   2 ,   3 ,   4 ,   5 ,   6 ,   7 ,   8 ,   1 0 ,   1 1 ,   1 2 ,   1 3 ,   1 5 ,   1 6 ,   1 7 ,   1 8 ,   1 9 ,   2 0 ,   2 1 ,   2 2 ,   2 3 ,   2 4 ,   2 5   23   9 2 %   2   0. 3 3 9   ( I n v a l i d )   9 ,   1 4   2   8%       B ased   o n   T ab le  4 ,   it  ca n   b co n clu d ed   th at  th HOT q u esti o n   in   th s tu d y   o f   I n d o n esian   h is to r y   o n   th m ater ial  o f   I n d o n esian   p e o p le  r esis tan ce   ag ain s E u r o p ea n   co lo n izatio n   u n til  th 2 0 t h   ce n tu r y   h as  g o o d   q u ality   in   ter m s   o f   its   v alid ity   b ec au s th n u m b e r   o f   v alid   it em s   is   m o r th a n   5 0 %.  T h is   m ea n s   th at  th HOT S   q u esti o n   ca n   m ea s u r wh at  s h o u ld   b e   m ea s u r ed .     3 . 2 . 2 .   I t em   r elia bil it y     T esti n g   th r eliab ilit y   o f   HO T q u esti o n s   u s in g   th KR - 2 0   f o r m u la  with   th e   h el p   o f   th Mic r o s o f E x ce p r o g r am ,   th ca lcu latio n   r esu lts   s h o th r eliab ilit y   o f   th q u esti o n s   o f   0 . 9 7   s o   th at  th item s   h av v e r y   s tr o n g   lev el  o f   r eliab ilit y   in   th ca teg o r y .   T h item   r eliab ilit y   r esu lts   ar as  s h o wn   in   T a b le  5 .       T ab le  5 .   R eliab ilit y   test   r esu lts   R e l i a b i l i t y   s c o r e   C r i t e r i a   0. 97   V e r y   s t r o n g       3 . 2 . 3 .   I t em   d if f iculty   T h d if f icu lty   o f   HOT item s   is   ca lcu lated   u s in g   th f o r m u l P =N P / with   th h elp   o f   t h e   Mic r o s o f E x ce p r o g r am ,   th ca lcu latio n   r esu lts   s h o s ev en   q u esti o n s   ar class if ied   as  to o   d if f icu lt,  1 6   q u esti o n s   ar e   class if ied   as  m o d er ate  an d   two   q u esti o n s   ar class if ied   as   to o   ea s y .   T h r esu lts   o f   th d if f icu lty   o f   th item s   a r e   as  s h o wn   in   T ab le  6 .       T ab le  6 .   R esu lts   o f   item   d if f ic u lty   Q u e st i o n   D i f f i c u l t y   i n d e x   I t e m   To t a l   P e r c e n t a g e   1   0 . 0 0 - 0. 30   4 , 5 , 1 0 , 1 2 , 1 5 , 1 7 , 1 8 , 2 1 , 2 3   9   3 6 %   2   0 . 3 1 - 0. 70   1 , 2 , 3 , 6 , 7 , 8 , 9 , 1 1 , 1 3 , 1 4 , 1 6 , 1 9 , 2 0 , 2 2   14   5 6 %   3   0 . 7 0 - 1 00   2 4 , 2 5   2   8%       3 . 2 . 4 .   I t e dis t ing uis hin g   po wer   T h d is tin g u is h in g   p o wer   te s ab o u t   HOT is   ca lcu lated   u s in g   Mic r o s o f t   E x ce l   p r o g r am .   T h ca lcu latio n   r esu lts   ar as  s h o wn   in   T ab le  7 .       T ab le  7 .   Dis tin g u is h in g   p o wer   r esu lts   Q u e st i o n   D i st i n g u i s h i n g   p o w e r   I t e n u mb e r   To t a l   P e r c e n t a g e   1   0 . 0 0 - 0. 20   -   -   0%   2   0 . 2 1 - 0. 40   1 , 4 , 7 , 8 , 1 5 , 2 2   6   2 4 %   3   0 . 4 1 - 0. 70   2 , 3 , 5 , 6 , 9 , 1 0 , 1 2 , 1 6 , 1 9 , 2 1 , 2 4   11   4 4 %   4   0 . 7 1 - 1. 00   1 1 , 1 3 , 1 4 , 1 7 , 1 8 , 2 0 , 2 3 , 2 5   8   3 2 %       3 . 2 . 5 .   I nd ex   o f   dece ptio n it em     Dec ep tio n   in d ex   a n aly s is   ab o u HOT is   ca lcu lated   em p lo y in g   th Mic r o s o f E x ce p r o g r am .   T h e   r esu lts   o f   th d ec ep tio n   in d e x   as sh o wn   in   T ab le  8 .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 4 5   -   5 52   550   T ab le  8 .   R esu lts   o f   th d ec e p tio n   in d e x   Q u e st i o n   A n sw e r   O p t i o n   N u mb e r   o f   o p t i o n s   se l e c t e d     P e r c e n t a g e   C r i t e r i a   1   A ,   B ,   C * ,   D ,   E   A = 3 ,   B = 2 ,   C = 1 8 ,   D = 4 ,   E= 3   A = 6 2 . 5 %,   B = 7 6 % ,   C = 6 0 %,   D = 8 3 %,   E = 6 2 . 5%   G o o d   6   A ,   B ,   C ,   D ,   E*   A = 2 ,   B = 4 ,   C = 3 ,   D = 4 ,   E= 1 7   A = 5 7 %,   B = 7 0 % ,   C = 5 7 %,   8 2 % ,   D = 7 0 %,   E= 5 7 %   G o o d   14   A * ,   B ,   C ,   D ,   E   A = 1 5 ,   B = 4 ,   C = 3 ,   D = 5 ,   E= 3   A = 5 2 %,   B = 6 6 % ,   C = 5 0 %,   D = 8 3 %,   E = 5 0 %   G o o d       4.   DIS CU SS I O N   T h is   r esear ch   r esu lted   in   th d ev elo p m e n o f   HOT ass e s s m en in s t r u m en ts   th at  ca n   b u s ed   in   lear n in g   I n d o n esian   h is to r y   i n   h ig h   s ch o o ls .   T h HOT ass es s m en in s tr u m en in   th s tu d y   o f   I n d o n esian   h is to r y   f o cu s es o n   o n o f   th m ater ials ,   n am ely   th m ater ial  o f   I n d o n esian   p eo p le  r esis tan ce   ag ain s t E u r o p ea n   co lo n izatio n   u n til  th 2 0 th   ce n tu r y .   HOT q u esti o n s   in   th is   s tu d y   co n s is ted   o f   2 5   m u ltip l ch o ice  q u esti o n s   with   f iv an s wer   ch o ices  th at   in clu d ed   lev els  o f   C 4   ( an al y zin g ) ,   C 5   ( ev alu atin g ) ,   a n d   C 6   ( m ak in g ) .   T h e   HOT co n ce p t u s ed   i n   th is   s tu d y   r e f e r s   to   th r ev is ed   h ig h - l ev el  t h in k in g   c o n ce p o f   B lo o m ' s   T ax o n o m y .   T h v alid atio n   o f   HOT ass e s s m en in s tr u m en ts   u s in g   lo g ical  v alid atio n   th at  in clu d es  asp ec ts   o f   m ater ial,   c o n s tr u ctio n   an d   lan g u ag an aly ze d   in   ac co r d a n ce   with   th v alid ato r ' s   ass e s s m e n u s in g   th Aik en ' s   f o r m u l a   to   ca lcu late  c o n ten t   v alid ity   co e f f icien t.  T h r esu l ts   o f   two   I n d o n esian   h is to r y   le ar n in g   ass ess m en ex p er ts   s h o HOT ass e s s m e n in s tr u m en ts   ar v a lid   an d   a p p r o p r iate  to   u s e.   T h r esu lts   o f   th v alid atio n   b y   th r ee   I n d o n esian   h is to r y   teac h er s   also   s tated   th at   th HOT a s s es s m en in s tr u m en was  v alid   an d   p r o p e r   to   u s e.   T h ch ar ac ter is tics   o f   m u ltip le - ch o ice  item s   ca lcu lated   u s in g   th h elp   o f   th Mic r o s o f E x ce p r o g r a m   s h o th at  o f   t h 2 5   item s ,   t h er ar two   in v alid   q u esti o n s .   T h ese  r esu lts   in d icate   th at   th e   q u ality   o f   v alid ity   is   g o o d ,   b ec au s th n u m b er   o f   v alid   item s   is   m o r th an   5 0 %.  T h is   m ea n s   th at  th HOT S q u esti o n s   ca n   m ea s u r wh at  s h o u ld   b m ea s u r e d .   T h e   av er ag lev el  o f   item   r eliab ilit y   is   0 . 9 7 ,   s o   i ca n   b co n clu d e d   th at  th item   h as  v er y   s tr o n g   lev el  o f   r eliab ilit y .   T h e   lev el   o f   d if f icu lty   o f   t h item s   was  an   av e r ag e   o f   0 . 3 3   in   th e   m ed i u m   ca teg o r y .   T h e   av er a g o f   d is ti n g u is h in g   p o wer   test   is   0 . 4 2   i n   th g o o d   ca teg o r y ,   an d   th e   a v er ag o f   d ec ep tio n   in d ex   is   0 . 5 6   in   th e   g o o d   ca teg o r y .   T h is   ass ess m en in s tr u m en ca n   b e   u s ed   to   m ea s u r e   h ig h - lev el  th in k in g   s k ills   in   h ig h   s ch o o s tu d en ts   in   lear n in g   I n d o n esian   h is to r y .   E s p ec ially   in   th m ate r ial  o f   I n d o n esian   p eo p le  r esis tan ce   ag ain s th E u r o p ea n   o cc u p a tio n   u n til  th 2 0 t h   ce n t u r y .   T ests   co n tain in g   h i gh - le v el  th in k in g   q u esti o n s   ( HOT S)  en co u r a g s tu d en ts   to   th in k   a b o u t su b ject  m atter   [ 5 2 ] .       5.   CO NCLU SI O N   T h co n cl u s io n s   o b tain 1 )   HOT ass e s s m en in s tr u m en ts   in   lear n in g   I n d o n esian   h is t o r y   o n   th e   m ater ial  o f   I n d o n esian   p eo p le  r esis tan ce   ag ain s E u r o p ea n   co lo n izatio n   u n til  th e   2 0 th   ce n tu r y ,   co n s is tin g   o f   2 5   m u ltip le  ch o ice   q u est io n s   wit h   f iv e   an s wer   ch o ices ;   2 )   Val id atio n   o f   HOT q u esti o n s   a r e   s h o wn   f r o m   th r esu lts   o f   th a n aly s is   v alid at o r   c o n d u cted   b y   two   as s ess m en ex p er ts   an d   th r ee   I n d o n esian   h is to r y   te ac h e r s .   T h r esu lts   o f   th ex p er ass ess m en an aly s is   s h o th HOT ass es s m en in s tr u m en is   f ea s i b le  to   u s e,   an d   also   th r esu lts   o f   th v alid atio n   an aly s is   o f   th r ee   I n d o n esian   h is to r y   teac h er s   also   s h o th a t th HOT S a s s es s m en in s tr u m en is   f ea s ib le  to   u s e ;   3 )   T h c h ar ac ter is tics   o f   m u lti p le  ch o ice  item s   s h o th at  o f   th 2 5   item s ,   th er e   ar two   q u esti o n s   th at  ar n o v alid ,   th av er ag o f   r eliab ilit y   lev el  is   0 . 9 7   ( v er y   s tr o n g   ca t eg o r y ) ,   th av er ag e   o f   d if f icu lty   lev el  is   0 . 3 3   ( m ed iu m   ca teg o r y ) ,   th av er ag o f   d is tin g u is h in g   p o wer   test   is   0 . 4 2   ( g o o d   ca teg o r y ) ,   an d   th a v er ag o f   d ec e p tio n   q u esti o n   in d ex   is   0 . 5 6   ( g o o d   ca t eg o r y ) .     T h is   HOT ass es s m en in s tr u m en p r o d u ct  o f   m u ltip le - c h o ice  q u esti o n s   h as  m et   th e   elig ib ilit y   s tan d ar d s   o f   item s   in   ter m s   o f   v ali d ity ,   r eliab ilit y ,   d if f icu lty   l ev el,   d is tin g u is h in g   f ea tu r es  a n d   d ec ep tio n   in d e x .   T h im p licatio n   is   th at  th ese  HOT q u esti o n s   ca n   b u s ed   b y   s tu d en ts   as  tr ain in g   m ater i al  to   p r ac tice  h ig h - lev el  th in k in g   s k il ls   an d   as  an   alter n ativ ass ess m en in s tr u m en t o   ass is teac h er s   in   p r e p ar in g   HOT S - b ased   q u esti o n s   th at  will  b im p lem en ted   to   s tu d en ts .   T h lim itatio n s   o f   th is   r esear ch   ar e:  Pro d u ct   d ev elo p m e n tr ials   h av n o b ee n   ca r r ie d   o u at  th f ield   tr ial  s tag e,   t h is   r esear ch   is   s til at  th lim ited   tr ial  s tag e   in v o lv in g   o n class   at  SMAN  2   Ng ag lik .   R ec o m m en d atio n s   f o r   f u r th e r   r esear ch   s h o u ld   b ca r r ied   o u f ield   tr ials   in v o lv in g   wid er   r an g o f   r esp o n d e n ts .   T h d e v elo p m en o f   HOT ass ess m en in s tr u m en ts   in   th e   f o r m   o f   m u ltip le  ch o ices  is   s till   l im ited   to   o n o f   th h is to r ical  KD  ( B a s ic  C o m p eten cies)   o f   class   XI .   I i s   n ec es s ar y   th at  f u r th er   r esear ch   ca n   d ev elo p   HOT S a s s ess m en t in s tr u m en ts   o n   o t h er   b asic c o m p eten cies.       RE F E R E NC E S   [1 ]   A .   Ch a l k iad a k i ,   s y ste m a ti c   li tera tu re   re v iew   o 2 1 st   c e n tu ry   sk il ls  a n d   c o m p e te n c ies   i n   p rim a ry   e d u c a ti o n ,”   In ter n a t io n a J o u rn a o I n stru c ti o n ,   v o l.   1 1 ,   n o .   3 ,   p p .   1 - 1 6 ,   2 0 1 8 .   [2 ]   W .   Co n k l i n Hi g h e r   o r d e r   th i n k i n g   s k i l ls   t o   d eve l o p   2 1   ce n tu ry   l e a r n e r s .   C a l i fo r n ia:  S h e ll   Ed u ca t i o n ,   2 0 1 2 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Dev elo p men t o f h ig h er o r d er th in kin g   s kill a s s ess men t in s t r u men ts   in   lea r n in g   …  ( Jo h a n   S etia w a n )   551   [3 ]   M .   C .   Q u ien g ,   P .   P .   Li m ,   a n d   M .   R.   D .   Lu c a s,   2 1 st   c e n t u ry - b a se d   so ft  s k il ls:   S p o tl i g h o n   n o n - c o g n it iv e   s k il ls   in   a   c o g n i ti v e - lad e n   d e n ti stry   p r o g ra m ,   Eu ro p e a n   J o u r n a l   o C o n tem p o ra ry   Ed u c a ti o n ,   v o l .   1 1 ,   n o .   1 ,   p p .   72 - 8 1 ,   2 0 1 5 .     [4 ]   C. C .   Ch in e d u   a n d   Y .   K a m i n ,   S tr a t e g ies   f o r   i m p ro v in g   h i g h e r   o rd e r   th i n k in g   s k i l l   in   te ac h i n g   a nd   le ar n in g   of   d e si g a nd   t e c h n o l o gy   e du ca t i o n ,   J o u rn a l   o T ec h n ica l   Ed u c at i o n   a n d   T r a in i ng ,   v o l.   7 ,   n o .   2 ,   p p .   3 5 - 4 3 ,   2 0 1 5 .   [5 ]   S   Wan g   a n d   Wan g ,   Tea c h i n g   a n d   lea rn i n g   h ig h e r - o rd e r   th i n k in g ,   I n ter n a t io n a l   J o u r n a l   o Arts  &   S c ien c e s,    v o l.   7 ,   n o .   2 ,   p p .   1 7 9 - 1 8 9 ,   2 0 1 4 .   [6 ]   A.  Z.   Ab id i n ,   E.   Isti y o n o ,   N.  F a d il a h ,   a n d   W.   S .   B.   Dw a n d a r u ,   Co m p u teriz e d   a d a p ti v e   tes fo m e a su rin g   th e   p h y sic c rit ica th i n k in g   sk il ls  i n   h i g h   sc h o o st u d e n ts,”   I n ter n a ti o n a J o u rn a o Eva l u a ti o n   a n d   Res e a rc h   in   E d u c a ti o n   (IJ ER E) ,   v o l.   8 ,   n o .   3 ,   p p .   3 7 6 - 383 ,   20 19   [7 ]   M.D .   Ku s u m a ,   U .   R o sid i n ,   Ab d u r a h m a n ,   a n d   A .   S u y a tn a ,   T h e   De v e lo p m e n o Hi g h e Or d e T h in k in g   S k il l   (HO TS )   in stru m e n t   As se ss m e n in   P h y sic S tu d y ,   J o u rn a o Res e a rc h   a n d   M e th o d   in   Ed u c a ti o n ,   v o l.   7 ,   n o .   1 ,   p p .   2 6 - 3 2 ,   2 0 1 7 .   [8 ]   B .   P .   M a i n a li Hi g h e r   o rd e r   th i n k in g   i n   e d u ca t i o n ,   M ul t id i s c ip l in a ry   J o u rn a l,   v o l.   2   n o ,   1 ,   p p .   5 - 1 0 ,   2 0 1 2 .   [9 ]   K .   Ward a n y ,   S a ji d a n ,   a n d   R .   M u r n i,   P e n g e m b a n g a n   p e n il a ian   u n t u k   m e n g u k u h ig h e o r d e t h in k in g   sisw a ,   J u rn a l   In k u ir,  v o l .   6 ,   n o .   2 ,   p p .   1 - 16 ,   2 0 1 7 .     [1 0 ]   L.   W.   A n d e rso n   a n d   D .   R.   Krta h wo h l,   T a x o n o my   fo L e a rn i n g ,   T e a c h in g ,   a n d   Asse ss in g :   Rev is io n   o B lo o m’s   T a x o n o my .   Ne w Yo rk L o n g m a n   P u b l ish i n g ,   2 0 0 1 .     [1 1 ]   G .   V .   M a d h u ri,   V.  S .   S .   N .   Ka n ta m re d d i,   a n d   L .   N.  S .   P ra k a sh   G o t e ti ,   P ro m o ti n g   h ig h e o rd e th in k in g   sk il ls u si n g   in q u iry - b a se d   lea rn i n g ,   E u ro p e a n   J o u r n a l   o f   En g in e e rin g   E d u c a ti o n ,   v o l.   3 7 ,   n o .   2 ,   p p .   1 1 7 - 1 2 3 ,   2 0 1 2 .     [1 2 ]   J.  W M a h o n e y   a n d   B .   Ha rris - Re e v e s,  Th e   e ffe c ts  o c o ll a b o ra ti v e   tes ti n g   o n   h i g h e o r d e t h in k in g Do   th e   b rig h tg e t   b rig h ter?   Active   L e a rn i n g   i n   Hi g h e r E d u c a ti o n ,   v o l.   2 0 ,   n o .   1 ,   p p .   25 - 3 7 ,   2 0 1 9 .   [1 3 ]   Y .   M.  He o n g ,   e a l. ,   Th e   Lev e l   M a rz a n o   Hig h e Ord e T h in k in g   S k i ll Am o n g   Tec h n ica Ed u c a ti o n   S t u d e n ts,   In ter n a t io n a J o u rn a o S o c i a S c ien c e   a n d   Hu ma n it y ,   v o l.   1 ,   n o .   2 ,   p p .   1 2 1 - 1 2 5 ,   2 0 1 1 .     [1 4 ]   B Li m b a c h   a n d   W .   Wau g h ,   De v e lo p in g   h ig h e le v e t h i n k i n g ,   J o u rn a l   o f   I n stru c ti o n a l   Pe d a g o g i e s,  v o l .   3 ,   n o .   1 ,   p p .   1 - 9 ,   2 0 1 0 .     [1 5 ]   C .   F isc h e r,   L .   Bo l,   a n d   S P ri b e sh ,   An   i n v e sti g a ti o n   o h ig h e r - o r d e th i n k i n g   sk il ls  in   sm a ll e lea rn in g   c o m m u n it y   so c ial  stu d ies   c las sro o m s,”   Ame ri c a n   S e c o n d a ry   Ed u c a ti o n ,   v o l.   3 9 ,   n o .   2 ,   p p .   5 - 26 ,   2 0 1 1 .     [1 6 ]   A.  B No rd i n   a n d   N .   Alias ,   Lea rn in g   o u tco m e a n d   stu d e n p e rc e p ti o n in   u si n g   o b len d e d   lea rn in g   i n   h ist o ry ,   Pro c e d ia   -   S o c ia a n d   Beh a v io r a l   S c ien c e s ,   v o l.   1 0 3 ,   p p .   5 7 7 5 8 5 ,   2 0 1 3 .     [1 7 ]   R. A .   Ku r n iaw a n   a n d   D Les tari ,   Th e   De v e lo p m e n t   As se ss m e n In stru m e n ts  o Hi g h e Or d e Th i n k in g   S k il ls  o n   Ek o n o m c   S u b jec t , ”  Di n a mik a   Pen d i d ika n ,   v o l .   1 4 ,   n o .   1 ,   1 0 2 - 1 1 5 ,   2 0 1 9 .   [1 8 ]   A.  Y .   G u n d u z ,   E .   Ale m d a g ,   S .   Ya sa r ,   a n d   M .   Er d e m ,   De sig n   o a   p ro b lem - b a se d   o n li n e   lea rn i n g   e n v ir o n m e n t   a n d   e v a lu a ti o n   o it s   e ffe c ti v e n e ss ,”   T h e   T u rk ish   On li n e   J o u rn a l   o f   E d u c a t io n a l   T e c h n o lo g y ,   v o l.   1 5 ,   n o .   3 ,   p p .   49 - 5 7 ,   2 0 1 6 .   [1 9 ]   A.  C .   S a p u tri ,   S .   S a ji d a n ,   Y .   R in a n to ,   A .   Afa n d i,   a n d   N.   M .   P ra se ty a n ti ,   Im p ro v i n g   st u d e n ts’  c rit ica l   th i n k i n g   sk il ls   in   c e ll - m e tab o li sm   lea rn i n g   u si n g   stim u latin g   h ig h e o r d e t h i n k i n g   s k il ls  m o d e l,   I n ter n a ti o n a J o u rn a o f   In stru c ti o n ,   v o l .   1 2 ,   n o .   1 ,   p p .   3 2 7 - 3 4 2 ,   2 0 1 8 .     [2 0 ]   P .   Affle rb a c h ,   B.   Y .   Ch o ,   a n d   J.  Y .   Kim ,   Co n c e p tu a li z in g   a n d   a ss e ss in g   h i g h e r - o rd e t h i n k i n g   in   r e a d in g ,   T h e o ry   in to   Pra c ti c e ,   v o l.   5 4 ,   n o .   3 ,   p p .   2 0 3 - 2 1 2 ,   2 0 1 5 .   [2 1 ]   W .   J .   B o o n e ,   R .   J .   S tav e r,   a n d   S .   M .   Y a le ,   Ra s c h   An a l y sis   in   t h e   Hu m an   S c ien ce s .   L o n d o n :   S p ri n g e r,   2 0 1 4 .   [2 2 ]   S .   M .   Ha ley ,   W.   J .   C o ste r,   H.  M .   Du m a s,  M .   A .   F ra g a la - P in k h a m ,   J .   Kra m e r ,   P .   Ni,   e a l. ,   Ac c u ra c y   a n d   p re c isio n   o th e   P e d iatric  E v a lu a ti o n   o Dis a b il it y   In v e n t o ry   c o m p u ter - a d a p ti v e   tes ts  (P EDI - CAT),   De v e lo p m e n ta l   M e d ici n e   a n d   Ch i ld   Ne u r o lo g y ,   v o l .   5 3 ,   n o .   1 2 ,   p p .   1 1 0 0 - 1 1 0 6 ,   2 0 1 1 .     [2 3 ]   M .   Yu n iar,   C.   Ra k h m a t,   a n d   A.  S a e p u lro h m a n ,   T h e   An a l y se o f   HO TS   (Hig h   Or d e T h in k in g   S k i l ls)  in   Ob jec ti v e   Tes in   S o c ial  S tu d ies   Clas 5   th   S Ne g e ri  7   Ciam is ,   (i n   Ba h a sa ),   J u rn a l   Ilmi a h   M a h a sisw a   P e n d id ika n   Gu ru   S e k o la h   Da sa r ,   v o l.   2 ,   n o .   2 ,   p p . 1 8 7 - 1 9 5 ,   2 0 1 5 .   [2 4 ]   P i’i ,   De v e lo p in g   Hi g h e r - Lev e Th in k in g   Lea rn i n g   a n d   As se ss m e n i n   Histo r y   S u b jec ts ,   (i n   Ba h a s a ),   S e ja ra h   d a n   Bu d a y a ,   v o l.   1 0 ,   n o .   2 ,   p p . 1 9 7 - 2 0 8 ,   2 0 1 6 ,   d o i:   1 0 . 1 7 9 7 7 /u m 0 2 0 v 1 0 i2 2 0 1 6 p 1 9 7 .     [2 5 ]   S .   Av a rg il ,   O .   He rsc o v it z ,   a n d   Y.   J .   Do ri ,   Tea c h in g   th i n k i n g   s k il l in   c o n te x t - b a se d   lea rn i n g Tea c h e rs’  c h a ll e n g e a n d   a ss e ss m e n k n o wle d g e ,”   J   S c i   Ed u c   T e c h n o l ,   v o l .   2 1 ,   p p .   2 0 7 2 2 5 ,   2 0 1 2 ,   d o i:   1 0 . 1 0 0 7 /s1 0 9 5 6 - 0 1 1 - 9 3 0 2 - 7   [2 6 ]   D .   Dra k e ,   D .   F re d e rick ,   a n d   L .   R .   Ne lso n ,   E n g a g e me n i n   tea c h in g   h isto ry   t h e o ry   a n d   se c o n d a r y   tea c h e rs .   Ne Je rse y P e a rso n ,   2 0 0 5 .     [2 7 ]   N .   S e n e r,   C .   Tu rk ,   a n d   E .   Tas ,   I m p ro v i n g   sc ien c e   a tt it u d e   a n d   c re a ti v e   th in k i n g   th r o u g h   sc ien c e   e d u c a ti o n   p ro jec t:   d e sig n ,   im p lem e n tatio n   a n d   a ss e ss m e n t,   J o u rn a l   o E d u c a ti o n   a n d   T ra i n i n g   S tu d ies ,   v o l.   3 ,   n o .   4 ,   p p .   5 7 - 6 7 ,   2 0 1 5 .     [2 8 ]   G . T .   Da m   a n d   M .   Vo lma n ,   Cr it ica th in k in g   a a   c it ize n sh ip   c o m p e ten c e tea c h in g   stra teg ies ,   L e a rn in g   a n d   in stru c ti o n ,   v o l.   1 4 ,   n o .   4 ,   p p .   3 5 9 - 3 7 9 ,   2 0 0 4 .     [2 9 ]   D .   An d rian ,   B .   Ka rto wa g iran ,   a n d   S .   Ha d i,   Th e   in str u m e n t   d e v e lo p m e n to   e v a l u a te  lo c a c u rricu l u m   in   In d o n e s ia,”  In ter n a t io n a J o u rn a o I n stru c ti o n ,   v o l.   1 1 ,   n o .   4 ,   p p .   9 2 2 - 9 3 4 ,   2 0 1 8 .   [3 0 ]   F.A .   Ka rim  a n d   M .   P u teh ,   Th e   d e v e lo p m e n t   o f   h i g h e o rd e r   th i n k in g   sk i ll   a ss e ss m e n in stru m e n t   fo r   wo rd   p ro b le m ,   In ter n a t io n a J o u rn a o Ac a d e mi c   Res e a rc h   in   B u sin e ss   a n d   S o c i a S c ien c e s ,   v o l.   9 ,   n o .   6 ,   p p .   1 0 9 7 - 1 0 8 3 ,   2 0 1 9 .   [3 1 ]   S .   Ra m a d h a n ,   D .   M a r d a p i,   Z.   K .   P ra se ty o ,   a n d   H.   B .   Ut o m o ,   Th e   d e v e lo p m e n t   o f   a n   in str u m e n t   t o   m e a su re   t h e   h ig h e o r d e t h in k in g   s k il in   p h y s ics ,   Eu ro p e a n   J o u r n a l   o f   Ed u c a t io n a Res e a rc h ,   v o l.   8 ,   n o .   3 ,   p p .   743 - 7 5 1 ,   2 0 1 9 .     [3 2 ]   W .   R .   B o r g ,   a n d   J .   P .   G a l l ,   E d u c at i o n   r e s e ar c h .   N e Y o rk A l l y a nd   B a c o n ,   2 0 0 3 .   [3 3 ]   I Ki n a y   a n d   B .   Ba g c e c i,   T h e   i n v e stig a ti o n   o th e   e ffe c ts  o f   a u th e n t ic  a ss e ss m e n a p p ro a c h   o n   p r o sp e c ti v e   tea c h e rs’  p ro b lem - so lv i n g   s k il ls,”  I n ter n a ti o n a E d u c a t io n   S tu d ies ,   v o l.   9 ,   n o .   8 ,   p p .   5 1 - 5 9 ,   2 0 1 6 .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 4 5   -   5 52   552   [3 4 ]   D.  J .   Weiss ,   Be tt e d a ta  fro m   b e tt e m e a su re m e n ts  u sin g   c o m p u te rize d   a d a p ti v e   tes ti n g ,   J o u rn a o M e t h o d a n d   M e a su re me n i n   t h e   S o c ia S c ien c e s,  v o l.   2 ,   n o .   1 ,   p p .   1 - 2 7 ,   2 0 1 1 .   [3 5 ]   Am a n ,   F in a Ex a m in a ti o n   Te st  In stru m e n ts  f o Hist o ry   S u b jec i n   Yo g y a k a rta,   In d o n e sia Qu a li ty   A n a ly sis ,”   Un ive rs a J o u rn a o E d u c a ti o n a l   Res e a rc h ,   v o l.   7 ,   n o .   1 2 ,   p p .   2 8 5 7 - 2 8 6 6 ,   2 0 1 9 .   [3 6 ]   Z .   Arifin ,   L e a r n in g   Eva lu a ti o n ,   ( i n   Ba h a sa ).   Ba n d u n g P Re m a ja Ro sd a k a ry a ,   2 0 1 6 .   [3 7 ]   C .   Bo o p a th ir a a n d   K .   Ch e ll a m a n i,   An a ly sis o tes it e m s o n   d iffi c u lt y   lev e a n d   d isc rimin a ti o n   i n d e x   in   t h e   tes fo r   re se a rc h   in   e d u c a ti o n ,   In ter n a t io n a J o u r n a o S o c ia S c ien c e   In ter d isc ip li n a ry   Res e a rc h ,   v o l.   2 ,   n o .   2 ,     p p . 1 8 3 - 1 9 3 ,   2 0 1 3 .     [3 8 ]   G.   T.   L .   B ro w n,   S .   E .   I r vi n g ,   a n d   P .   J .   K e e g a n An   I n tro d u c t i on   to   e du ca t i on a l   As s e ss me n t ,   M ea su r e me n t   &   Ev a lu a t i o n .   Au c k lan d Du n m o r P ubl i sh i n g ,   2 0 1 4 .   [3 9 ]   M .   P o m m e rich ,   De v e lo p i n g   c o m p u teriz e d   v e rsio n s   o p a p e r - a n d   p e n c il   tes ts:  M o d e   e ffe c ts  fo p a ss a g e - b a se d   tes ts,”  T h e   J o u r n a l   o f   T e c h n o lo g y ,   L e a rn in g   a n d   Asse ss me n t,   v o l.   2 ,   n o .   6 ,   p p .   3 - 4 4 ,   2 0 0 4 .   [4 0 ]   J .   Sz i l a g y i,   D.   H .   Clem e n ts ,   a n d   J .   S a r a ma , “ Yo u n g   C h i l dr e n ' s   Un d e r s tan d i n g o f   L e n g th   M e a su r e m e n t :   Ev a lu a ti n g   a   L ea rn i n g   T ra je c to r y ,   J o u r n a l   fo R e s e ar c h   i n   M a t h e m at i c s E d u c a t i o n ,   v o l.   4 4 ,   n o .   3 ,   p p .   5 8 1 - 6 2 0 ,   2 0 1 3 .   [4 1 ]   K .   Co a ley ,   A n   In tr o d u c ti o n   to   Psy c h o lo g ica l   Asse ss me n a n d   Psy c h o me trics .   Lo n d o n :   S AG P u b l ica ti o n s   In c ,   2 0 1 0 .     [4 2 ]   A.  M .   L .   Ca v a ll o ,   W.   H .   P o tt e r ,   a n d   M .   Ro z m a n ,   G e n d e d iffe re n c e in   lea rn in g   c o n stru c ts,  s h ift in   lea rn in g   c o n stru c ts,  a n d   t h e ir  re latio n s h ip   to   c o u rse   a c h iev e m e n i n   a   stru c t u re d   in q u iry ,   y e a rlo n g   c o ll e g e   p h y sic c o u rse   fo r   li fe   sc ien c e   m a jo rs,”  S c h o o S c ien c e   a n d   M a th e ma ti c s ,   v o l.   1 0 4 ,   n o .   6 ,   p p .   2 8 8 - 3 0 0 ,   2 0 0 4 .   [4 3 ]   D.  F P o li t   a n d   C.   T .   Be c k ,   Th e   c o n ten t   v a li d i t y   in d e x :   a re   y o u   su re   y o u   k n o w h a t' b e in g   re p o rte d ?   Crit i q u e   a n d   re c o m m e n d a ti o n s,”   Res e a rc h   i n   Nu rs in g   He a lt h v o l.   2 9 ,   n o .   5 ,   p p .   4 8 9 - 4 9 ,   2 0 0 6 .   [4 4 ]   J .   S e ti a wa n ,   Am a n ,   a n d   W u lan d a ri ,   Un d e rsta n d in g   I n d o n e sia n   h isto r y ,   i n tere st  i n   lea rn in g   h isto ry   a n d   n a ti o n a in sig h with   n a ti o n a li sm   a tt it u d e ,   In ter n a ti o n a J o u r n a o Eva l u a ti o n   a n d   Res e a rc h   in   Ed u c a ti o n   ( IJ ER E) v o l.   9 ,   no.   1 ,   p p .   1 - 1 0 ,   2 0 2 0 .   [4 5 ]   C.   A .   Wy n d ,   B .   S c h m i d t,   a n d   M .   A .   S c h a e fe r,   Two   q u a n t it a ti v e   a p p ro a c h e f o e stim a ti n g   c o n ten v a li d it y ,   W e ste rn   J o u rn a o Nu rs i n g   Res e a rc h ,   v o l.   2 5 ,   n o .   5 ,   p p .   5 0 8 5 1 8 ,   2 0 0 3 .   [4 6 ]   S.  Az wa r,   Va li d it y   a n d   Reli a b il it y ,   (in   Ba h a sa ).   Yo g y a k a rta,  In d o n e sia P u sta k a   P e laja r,   2 0 0 7 .   [4 7 ]   D.  M a rd a p i ,   T e c h n iq u e fo r   d ra ft in g   tes a n d   n o n - tes in str u me n ts ,   (i n   Ba h a sa ).   Y og y a k a rta,  I n d o n e sia M it ra   Ce n d e k ia,  2 0 0 8 .     [4 8 ]   H.  Re tn a wa ti ,   Va li d it y ,   re li a b il it y   a n d   i tem   c h a ra c ter isti c s ,   (in   Ba h a sa ).   Yo g y a k a rta,  In d o n e sia P a ra m a   P u b li sh i n g ,   2 0 1 6 .   [4 9 ]   A.  S u d ij o n o ,   In tro d u c ti o n   t o   Eva l u a ti o n ,   (in   Ba h a sa ).   Ja k a rta:  Ra jaw a li   P e rs,  2 0 1 2 .   [5 0 ]   D.  M a rd a p i,   M e a s u re me n o e d u c a ti o n a l   a ss e ss me n ts  a n d   e v a l u a t io n s ,   (i n   Ba h a sa ).   Yo g y a k a rta,   In d o n e sia :   Nu h a   M e d ik a ,   2 0 1 2 .   [5 1 ]   M.  Arif,   Ap p li c a ti o n   o An a tes   Ap p li c a ti o n   F o rm   m u lt i p le  c h o ic e   q u e stio n s ,”   (in   Ba h a sa ),   J u rn a l   Ilmia h   E d u ti c   v o l.   1 ,   n o . 1 ,   p p .   1 - 9 ,   2 0 1 4 .   [5 2 ]   J.  E.   Ba rn e tt   a n d   A.  L .   F ra n c is,  U sin g   h ig h e o rd e t h in k in g   q u e stio n to   fo ste c rit ica th in k in g c las sro o m   stu d y ,   Ed u c a ti o n a l   Psy c h o l o g y ,   v o l.   3 2 ,   n o .   2 ,   p p   2 0 1 - 2 1 1 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.