I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   15 ,   No .   4 A u g u s t   20 26 ,   p p .   3 3 4 6 ~ 336 1   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 15 i 4 . 3 8 8 8 4           3346       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Es tablis hing  quali ty indica tors   for  hig her - o rder  t hin king  skills dev elo pment and   v a lida tion usin g  f a ctor an a ly sis       Nia   K a nia 1 ,   F lo re nce  K y a ruzi 2   1 M a t h e ma t i c s E d u c a t i o n   S t u d y   P r o g r a m,  F a c u l t y   o f   T e a c h e r   Tr a i n i n g   a n d   E d u c a t i o n ,   U n i v e r si t a s   M a j a l e n g k a ,   M a j a l e n g k a ,   I n d o n e si a   2 D e p a r t me n t   o f   E d u c a t i o n a l   P sy c h o l o g y   a n d   C u r r i c u l u m   S t u d i e s ,   D a r   e s S a l a a m   U n i v e r si t y   C o l l e g e   o f   Ed u c a t i o n ,   D a r   e s Sa l a a m ,   Ta n z a n i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   30 2 0 2 6   R ev is ed   J u n   25 2 0 2 6   Acc ep ted   J u l   7 2 0 2 6       As se ss in g   h ig h e r - o rd e t h in k i n g   sk il ls  (HO TS i n   m a th e m a ti c e d u c a ti o n   re m a in c h a ll e n g in g   b e c a u se   a v a il a b le  in stru m e n ts  o ften   m e a su re   c rit ica th in k in g   (C T) ,   c re a ti v e   t h in k i n g   ( CrT) ,   a n d   p r o b lem - so lv i n g   ( P S s e p a ra tely ,   li m it in g   a   c o h e re n e v a l u a ti o n   o th e ir  i n terre late d   n a tu re .   Th is  stu d y   d e v e lo p e d   a n d   e m p iri c a ll y   v a li d a ted   a n   in teg ra ted   se o q u a li ty   in d ica to rs   fo HO TS   a ss e ss m e n u sin g   a   m ix e d - m e th o d d e sig n .   In   th e   q u a li tati v e   p h a se ,   fo c u g ro u p   d isc u ss io n (F G Ds with   fiv e   e x p e rts  in   m a th e m a ti c e d u c a ti o n   a n d   e d u c a ti o n a e v a l u a ti o n   g e n e ra ted   t h e o r y - d ri v e n   in d ica to rs   g ro u n d e d   i n   i n stru c ti o n a l   p ra c ti c e .   In   t h e   q u a n t it a ti v e   p h a se ,   7 0   p a rti c ip a n ts  (u n i v e rsity   lec tu re rs,  se c o n d a ry   s c h o o l   tea c h e rs,  a n d   u n d e rg ra d u a t e   stu d e n ts)  we re   se lec ted   th ro u g h   stra ti fie d   p u r p o si v e   sa m p li n g   to   e v a l u a te  th e   in d ica to rs.   An   e x p l o ra to r y   fa c t o a n a ly sis   (EF A)  wa p e rf o r m e d   u sin g   p rin c i p a a x is   fa c to rin g   wit h   v a rima x   ro tati o n ,   a n d   fa c to ra b il it y   wa c o n firme d   u si n g   Ka ise r - M e y e r - Olk in   (KMO)  a n d   Ba rtl e tt ’s   tes o sp h e ricity .   Th e   re su lt s h o we d   s a ti sfa c to ry   c o n str u c v a li d it y   (KMO= 0 . 7 5 ;   Ba rtl e tt ’s  p < 0 . 0 0 1 )   a n d   a c c e p tab le  fa c to r   lo a d in g (≥0 . 5 0 ),   su p p o rti n g   a   sta b le  m u lt i d ime n sio n a HO T S   stru c t u re   a li g n e d   wit h   t h e o re ti c a e x p e c tatio n s.  T h e   v a li d a ted   in d ica to rs  p ro v id e   a   p ra c ti c a m e a su re m e n t   fra m e wo rk   to   su p p o rt  c o g n it iv e l y   d e m a n d i n g   m a th e m a ti c in stru c ti o n   a n d   se rv e   a a   fo u n d a ti o n   f o su b se q u e n c o n firma to r y   fa c to r   a n a l y sis  (CF A)  i n   larg e r,   m o re   d i v e rse   sa m p les .   K ey w o r d s :   C r ea tiv th in k in g   C r itical  th in k in g   E x p lo r ato r y   f ac t o r   an aly s is   Hig h er - o r d er   th i n k in g   s k ills   Pro b lem - s o lv in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nia  Kan ia   Ma th em atics E d u ca tio n   Stu d y   Pro g r am ,   Facu lt y   o f   T ea ch er   T r ain in g   a n d   E d u ca tio n   Un iv er s itas   Ma jalen g k a   K. H.   Ab d u l H alim   Stre et  No .   1 0 3 ,   Ma jalen g k a,   I n d o n esia   E m ail:  n iak an ia@ u n m a. ac . id       1.   I NT RO D UCT I O N   I n   th co n tex t   o f   2 1 s t - ce n tu r y   ed u ca tio n ,   th cu ltiv atio n   o f   h ig h e r - o r d er   th i n k in g   s k ill s   ( HOT S)    [ 1 ] [ 4 ] co m p r is in g   cr itical,   cr ea tiv e,   an d   p r o b lem - s o lv i n g   ( PS )   ab ilit ies  [ 5 ] ,   h as  em er g ed   as  ce n tr al   o b jectiv f o r   f o s ter in g   lear n e r s   in tellectu al  au to n o m y ,   a d a p tab ilit y ,   an d   life lo n g   lear n in g   ca p ac ity   [ 6 ] [ 8 ] T h ese  co g n itiv c o m p eten cies   en ab le  in d i v id u als  n o m e r el y   to   r etr iev e   f ac tu al  k n o wled g b u to   en g a g in   ab s tr ac r ea s o n in g ,   s y n th esize  in f o r m atio n   f r o m   d i v er s s o u r ce s ,   an d   d e v elo p   in n o v ativ s o lu tio n s   to   n ew  a n d   co m p lex   p r o b lem s .   W ith in   m ath em atics  ed u ca tio n ,   HOT ar p ar ticu lar ly   in d is p en s ab le  [ 9 ] [ 1 1 ] ,   as   m ath em atica p r o f icien cy   tr a n s ce n d s   alg o r ith m ic  ex ec u tio n   to war d   co n ce p tu al  u n d er s t an d in g   [ 1 2 ] ,   [ 1 3 ] an aly tical  r ea s o n in g   [ 1 4 ] ,   [ 1 5 ] ,   an d   th e   cr ea tiv ap p licatio n   o f   p r in cip les to   r ea l - wo r ld   c o n t ex ts   [ 1 6 ] [ 1 8 ] .   Desp ite  th wid esp r ea d   ac k n o wled g m en o f   th eir   im p o r ta n ce ,   co n tem p o r ar y   ass ess m en s y s tem s   r em ain   lim ited   in   th eir   ca p ac i ty   to   ca p tu r e   th m u ltid im e n s io n al  an d   i n ter ac tiv n atu r o f   HOT [ 1 9 ] ,   [ 2 0 ] Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E s ta b lis h in g   q u a lity in d ica to r s   fo r   h ig h er - o r d er th in kin g   s ki lls :   d ev elo p men t a n d   va lid a tio n   …    ( N ia   K a n ia )   3347   T r ad itio n al  ex am i n atio n s   ten d   to   p r io r itize  p r o ce d u r al  ac cu r ac y   an d   f ac tu al  r ec all  o v e r   in f er en tial  r ea s o n in g   o r   m etac o g n itiv en g a g em en t.   C o n s eq u en tly ,   th ey   p r o v id e   o n ly   a   p ar tial  r e p r esen tatio n   o f   s tu d en ts '   co g n itiv ca p ab ilit ies  [ 2 1 ] ,   [ 2 2 ] ,   o b s cu r in g   th eir   ab ilit y   to   tr an s f er   k n o wled g [ 2 3 ] [ 2 6 ]   an d   r ea s o n   f lex ib ly   ac r o s s   p r o b lem   c o n tex ts   [ 2 7 ] [ 2 9 ] .   T h is   d iag n o s tic  in s u f f icien cy   lim its   ed u ca to r s '   ca p ac ity   to   d esig n   in s tr u ctio n al  s tr ateg ies th at  n u r tu r h i g h er - o r d er   r ea s o n in g ,   r ef lectiv ju d g m en t,  an d   cr ea tiv PS .   Ov er   th p ast  two   d ec ad es,  s ev er al  th eo r etica f r am ewo r k s   h av b ee n   p r o p o s ed   to   co n c ep tu alize   HOT S.  E n n is s   f r am ewo r k ,   c r itical  th in k in g   ( C T )   r ef er s   to   r ea s o n ed   a n d   r e f lectiv th in k in g   u s ed   to   d ec id e   wh at  to   b eliev o r   w h at  to   d o   [ 3 0 ] .   E n n is   o p er atio n alize s   CT   in to   co r e   co m p o n e n ts in ter p r etatio n ,   an aly s is ,   ev alu atio n ,   in f er e n ce ,   a n d   s elf - r eg u latio n .   His   f r am ewo r k   em p h asizes  ep is tem ic  ju s tific atio n ,   ar g u m e n t   ev alu atio n ,   an d   r ef lectiv ju d g m en t,  an d   h as  b ee n   wid ely   ad o p ted   in   ed u ca tio n al  ass es s m en r esear ch .   E n n is ' s   m o d el  h as   in f o r m ed   n u m e r o u s   s tan d ar d ized   i n s tr u m en ts   th at  ass ess   s tu d en ts '   ab ilit ies  to   an aly ze   ar g u m en ts ,   id en tify   ass u m p tio n s ,   a n d   d r a ev id en ce - b ased   co n clu s io n s .   I n   c o n tr ast ,   T o r r an ce s   c r ea t iv t h i n k in g   ( C r T )   f r a m e wo r k   c o n ce p t u aliz es  c r ea ti v i ty   t h r o u g h   f o u r   c o r e   d i m e n s i o n s :   f l u en c y ,   f le x i b i lit y ,   o r i g i n ali ty ,   a n d   el ab o r at io n   [ 3 1 ] .   T o r r a n c o p e r a ti o n ali ze d   t h ese   d i m e n s i o n s   th r o u g h   t h e   T o r r a n c e   t ests   o f   cr ea ti v e   t h i n k in g   ( T T C T ) ,   w h i ch   r e m a in   am o n g   t h e   m o s t   wi d el y   u s e d   cr ea t iv it y   ass ess m e n ts   g lo b all y .   His   w o r k   em p h as izes   d i v e r g e n t   t h i n k i n g   p r o ce s s es,   id ea   g e n e r ati o n ,   a n d   i m a g i n a ti v e   tr a n s f o r m at io n .   W h il T o r r a n ce s   f r am ew o r k   h as  b ee n   i n f l u e n ti al ,   c r i tics   a r g u t h at  i f o c u s es   p r i m a r i ly   o n   id e ati o n a p r o d u ct i o n   r at h e r   t h an   d o m a in - s p e cif ic   PS ,   p a r t ic u lar ly   i n   m at h e m at ica co n t e x ts .   Similar ly ,   Kr u lik   an d   R u d n ic k   [ 3 2 ]   PS   m o d el  co n ce p tu aliz es  PS   as  s tr u ctu r ed   co g n iti v p r o ce s s   co m p r is in g   f o u r   s tag es:  r ea d in g   an d   ex p lo r in g ,   p lan n in g ,   im p lem en tin g   s tr ateg ies,  an d   r ef lectin g .   T h is   f r am ewo r k   e m p h asizes  m etac o g n itiv r eg u latio n ,   th u s o f   h eu r is tic  s tr ateg ies,  an d   r ef l ec tiv ev alu atio n .   Kr u lik ' s   m o d el  h as  b ee n   wid e ly   ap p lied   in   m ath em atics  ed u ca tio n   to   d esig n   in s tr u ctio n a in ter v en tio n s   an d   ass es s m en t r u b r ics f o r   PS   p r o f icien cy .   B u ild in g   o n   a n d   ex te n d in g   th ese  class ical  f r am ewo r k s ,   r esear ch   b y   [ 3 3 ] ,   [ 3 4 ]   p r o p o s ed   an   in teg r ativ HOT f r am ewo r k   s p ec if ically   tailo r ed   to   m ath em atics  ed u ca tio n .   Un lik E n n is ,   T o r r an ce ,   a n d   Kr u lik   [ 3 5 ] [ 3 6 ] ,   wh o   d e v elo p ed   d o m ain - g en er al  m o d els ,   th is   s tu d y   co n ce p tu alize s   HOT a s   an   in ter co n n ec ted   tr iad ic  co n s tr u ct  co m p r is in g   CT C r T ,   a n d   PS ,   wh ich   o p er ate  s y n e r g is tically   with in   m ath em atica co n tex ts .   T h eir   f r am ewo r k   in teg r ates  ev alu ati v r ea s o n in g ,   g e n er ativ id ea tio n ,   an d   s tr ateg ic  PS   p r o ce s s es   in to   u n if ied   co g n itiv s y s tem   [ 3 7 ] [ 3 9 ] .   T h is   s tu d y 's  em p ir ical  s tu d ies   d em o n s tr ate  th at  th ese  d im en s io n s   ar n o in d e p en d en b u d y n am ically   i n ter ac t   d u r in g   m ath em atica r ea s o n in g   task s ,   th er eb y   o f f er in g   m o r ec o lo g ically   v alid   r ep r esen tatio n   o f   s tu d en ts '   co g n itiv p r o ce s s es in   m ath e m atics lea r n in g .   Ho wev er ,   d esp ite  th e   co n ce p t u al  r ich n ess   o f   th is   s tu d y ' s   f r am ewo r k ,   e x is tin g   s tu d ies  r em ain   lim ited   in   th n u m b e r   o f   p s y c h o m et r ically   v alid ated   m ea s u r em en in s tr u m en ts   th at  o p er atio n al ize  th is   in teg r ated   m o d el.   Mo s cu r r en to o ls   s till   ass es s   CT ,   cr ea tiv ity ,   an d   PS   s ep ar ately ,   in   is o latio n   [ 4 0 ] .   T h is   f r ag m en tatio n   r is k s   o v er s im p lify in g   HOT S a n d   n eg lectin g   th eir   in te r ac tiv n atu r e.   T o   ad d r ess   th is   th eo r etica an d   m eth o d o lo g ical  g ap ,   th p r e s en s tu d y   d ev elo p s   co m p r e h en s iv s et  o f   q u ality   in d icato r s   f o r   ass es s in g   HOT S,  g r o u n d e d   in   co g n itiv th eo r y   an d   em p ir ically   v alid ated .   Dr awin g   ex p licitly   o n   CT   tax o n o m y ,   C r T   d im en s io n s ,   an d   PS   s tag es  [ 4 1 ] ,   [ 4 2 ]   wh ile  in teg r atin g   th em   with in   th is   s tu d y   u n if ied   f r am ewo r k   th is   s tu d y   co n ce p tu alize s   HOT as  an   in ter r elate d   tr iad   o f   co g n itiv p r o ce s s es:  CT   as  th ev alu ativ e   co r e,   C r T   as  th g e n er ativ m ec h an is m ,   a n d   PS  as  th in te g r ativ a p p li ca tio n   o f   b o t h .   T h e   p r o p o s ed   in d icato r s   ar d esig n ed   to   ca p tu r th ese  d im en s i o n s   th r o u g h   o b s er v ab le,   m ea s u r ab le  b eh a v io r s   in   m ath em atics lea r n in g   en v ir o n m en ts .   T h is   s tu d y   aim s   to   d ev elo p   an d   v alid ate  s et  o f   q u al ity   in d icato r s   f o r   ass ess in g   HOT S   in   m ath em atics  ed u ca tio n .   Sp ec if ically ,   th s tu d y   s ee k s   to i )   id en tify   th eo r etica lly   g r o u n d e d   HOT in d icato r s   d er iv ed   f r o m   estab lis h ed   co g n itiv an d   ed u ca tio n al  f r a m e wo r k s ,   an d   ii )   em p ir ically   ev alu ate  th co n s tr u ct   v alid ity   an d   r eliab ilit y   o f   th e s in d icato r s   u s in g   r ig o r o u s   p s y ch o m etr ic   m eth o d s .   Acc o r d in g ly ,   th e   s tu d y   is   g u id ed   b y   th e   f o llo win g   r esear ch   q u esti o n s :     W h ich   in d icato r s   v alid ly   r ep r e s en HOT S   in   m ath em atics lea r n in g   c o n tex ts ?     T o   wh at  ex ten d o   th ese  in d icato r s   d em o n s tr ate  s atis f ac to r y   c o n s tr u ct  v alid ity   a n d   r eliab ilit y ?   B y   p o s itio n in g   HOT m ea s u r em en at  th e   in ter s ec tio n   o f   co g n itiv t h eo r y ,   p s y c h o m et r ic  v alid atio n ,   an d   p ed ag o g ical  f ea s ib ilit y ,   th is   s tu d y   a d o p ts   m i x ed - m et h o d s   d esig n   in teg r atin g   q u alitativ s y n th esis   ( ex p er t   FGDs )   an d   q u an titativ v ali d atio n   ( co n f ir m ato r y   f ac t o r   an aly s is ) .   T h f in d in g s   ar e x p e cted   to   co n tr ib u te  a   th eo r etica lly   co h er e n an d   e m p ir ically   r o b u s m ea s u r em e n f r am ewo r k ,   p r o v id in g   f o u n d atio n   f o r   m o r e   eq u itab le,   r ef lectiv e,   an d   i n tellectu ally   d em an d in g   m at h em at ics lea r n in g   p r ac tices.       2.   M E T H O D   2 . 1 .   Study   d esig n   T h is   s tu d y   ad o p ted   s eq u en tial  ex p lo r ato r y   m ix ed - m eth o d s   d esig n ,   in teg r atin g   q u alitativ ex p lo r atio n   th r o u g h   FGDs   an d   q u a n titativ v alid atio n   u s in g   s tr u ctu r al  eq u atio n   m o d elin g   ( SEM )   with   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   4 Au g u s t   20 26 :   3 3 4 6 - 3 3 6 1   3348   L I SR E L   [ 4 3 ] ,   [ 4 4 ] .   T h q u ali tativ p h ase  aim ed   t o   g e n er at th eo r etica lly   g r o u n d ed   in d ic ato r s   f o r   m ea s u r in g   HOT S,  wh ile  th q u an titativ p h ase  em p ir ically   test ed   th eir   v alid ity   an d   r eliab ilit y .   T h is   d esig n   was c h o s en   to   en s u r b o th   co n ce p tu al  d e p th   th r o u g h   ex p er elicitatio n   an d   em p ir ical  r ig o r   th r o u g h   s tatis tical  v er if icatio n ,   alig n in g   with   th p s y ch o m et r ic  s tan d ar d s   o f   in s tr u m en t d e v e lo p m en t in   e d u ca tio n al  p s y ch o lo g y .     2 . 2 .   P a rt icipa nts a nd   s a m pli ng   Par ticip an ts   f o r   t h FGDs   wer p u r p o s iv ely   s elec ted   b ased   o n   th eir   r ec o g n ized   e x p er tis an d   s ch o lar ly   en g ag em e n with   HOT S   in   m ath em atics  ed u ca tio n .   T h ex p er ts   wer p u r p o s iv ely   s elec ted   b ased   o n   th f o llo win g   c r iter ia:  i )   d e m o n s tr ated   ac ad em ic  o r   p r o f ess io n al  ex p er tis in   m ath em atics  ed u ca tio n   an d   ed u ca tio n al  e v alu atio n ;   ii )   h a d   m o r th a n   2 0   y ea r s   o f   teac h in g   e x p er ie n ce   o f   ass o ciat p r o f ess o r   o r   f u ll  p r o f ess o r an d   iii )   h a d   p r io r   e x p er ien ce   in   in s tr u m en t r ev iew,   r esear ch ,   o r   p r o f ess io n al  p r ac tice  r elev an to   t h to p ic  o f   th e   s tu d y .   to tal   o f   f iv e   ex p er ts   w h o   m et  th ese  cr iter ia  wer in v ited   t o   ev al u ate  th in s tr u m en t.     T h ex p er p an el  co n s is ted   o f   f iv ac a d em ics:   two   f u ll   p r o f ess o r s   in   m ath e m atics  ed u ca tio n ,   o n f u ll  p r o f ess o r   in   ed u ca tio n al  ev alu atio n ,   an d   two   ass o ciate   p r o f e s s o r s   in   m ath em atics  ed u ca tio n .   All  p ar ticip an ts   h ad   an   estab lis h ed   r ec o r d   o f   r esear ch   an d   p r o f ess io n al  co n t r ib u tio n s   in   cu r r ic u lu m   d e v elo p m en t,  ass ess m en d esig n ,   an d   t h ev alu atio n   o f   h ig h er - o r d e r   co g n itiv e   p r o ce s s es.  T h is   p u r p o s ef u l   h eter o g en eity   was  in ten d e d   to   en h an ce   c o n ten t v alid ity   b y   ca p tu r in g   m u ltid im en s io n al  p er s p ec tiv es o n   th c o n s tr u cts o f   C T ,   C r T ,   an d   PS .   I n   ad d itio n ,   q u an titativ d ata  wer co llected   f r o m   7 0   r esp o n d en ts   ( lectu r er s ,   teac h er s ,   an d   s tu d en ts ) .   T h ese  p ar ticip an ts   wer s elec ted   u s in g   s tr atif ied   p u r p o s iv s am p lin g   to   en s u r e   r e p r esen tatio n   ac r o s s   ed u ca tio n al  r o les  r elev a n to   HOT im p lem en tatio n   an d   a s s es s m en t.  Par ticip an ts   with in   ea ch   g r o u p   wer e   r ec r u ited   b ased   o n   th eir   ex p er ien ce   with   m ath e m atics  in s tr u ctio n   o r   ass ess m en t.  T h is   s am p lin g   s tr ateg y   en ab led   m ea n in g f u t r ian g u la tio n   b etwe en   ex p e r q u alitativ in s ig h ts   an d   b r o a d er   p r ac t itio n er   an d   lear n er   p er s p ec tiv es.   Giv en   th at   th q u an titativ p h ase  in v o l v ed   7 0   r esp o n d en ts ,   s am p le  s ize  c o n s id er atio n s   wer tak en   in to   ac co u n in   th a p p licatio n   o f   s tr u ctu r al  eq u atio n   m o d e llin g   ( SEM ) .   I n   SEM ,   s am p le  s ize  m ay   af f ec th s tab ilit y   o f   p ar am eter   esti m ates,  s tan d ar d   er r o r s ,   m o d el   f it,  an d   s tatis tical  p o wer .   T h er e f o r e,   th e   SEM   r esu lts   s h o u ld   b i n ter p r eted   with   ca u tio n ,   an d   th g e n er aliza b ilit y   o f   th f in d in g s   m ay   b lim ited .     2 . 3 .   Da t a   co llect io n pro ce du re s   a nd   et hica l c o ns idera t io ns   Data   co llectio n   was  co n d u cted   in   two   s eq u en tial  p h ases   in   ac co r d an ce   with   th m ix e d - m eth o d s   r esear ch   d esig n .   I n   th q u alit ativ p h ase,   FGDs   wer o r g an ized   ac r o s s   th r ee   iter ativ s ess io n s ,   ea ch   last in g   ap p r o x im ately   9 0   m in u tes.  T h FGDs   f o llo wed   s em i - s tr u ctu r ed   p r o to co ls   d esig n e d   to   el icit  in - d ep th   e x p er t   p er s p ec tiv es  o n   t h d im e n s io n s   an d   s u b - d im en s io n s   o f   HOT S .   Gu id in g   q u esti o n s   en co u r a g ed   p a r ticip an ts   to   ar ticu late  o b s er v ab le  in d ica to r s ,   ass ess m en cr iter ia,   a n d   in s tr u ctio n al  c o n tex ts   r elev an to   HOT m ea s u r em en t.  All  s ess io n s   wer au d io - r ec o r d ed   with   p a r ticip an ts '   p er m is s io n ,   tr an s cr ib ed   v e r b atim ,   an d   an o n y m ized   to   e n s u r d ata  c o n f id en tiality .   I n   th q u an titativ p h ase,   s u r v ey   d ata  wer co llected   f r o m   7 0   p ar ticip an ts ,   in clu d in g   u n iv er s ity   lectu r er s ,   s ec o n d ar y   s ch o o t ea ch er s ,   an d   u n d e r g r a d u ate  s tu d en ts .   T h s u r v ey   aim e d   t o   co r r o b o r ate  an d   tr ian g u late  q u alitativ f in d in g s   b y   ex am in in g   t h em p ir i ca s tr u ctu r o f   t h p r o p o s ed   in d icato r s .   T h e   in teg r atio n   o f   q u alitativ ex p er in s ig h ts   an d   q u an titativ s tak eh o ld er   f ee d b ac k   en h an c ed   m eth o d o lo g ical   r ig o r   a n d   s tr en g t h en ed   t h tr u s two r th in ess   o f   th r esu ltin g   m ea s u r em en t f r am ew o r k .   R eg ar d in g   eth ical  c o n s id er ati o n s ,   th is   s tu d y   r ec eiv ed   f o r m al  eth ical  ap p r o v al  f r o m   t h I n s titu tio n al  R ev iew  B o ar d   ( I R B )   o f   th a f f iliated   u n iv er s ity .   Prio r   to   p ar ticip atio n ,   all  r esp o n d e n ts   wer p r o v id e d   with   d etailed   in f o r m atio n   ab o u th s tu d y   o b jectiv es  an d   p r o ce d u r es,  an d   s u b s eq u en tly   g av wr itten   in f o r m ed   co n s en t.  R esp o n d en ts   p ar ticip ated   v o lu n tar ily   a n d   wer a d v is ed   th at  with d r awa was  p er m itted   at  an y   p o in t   with o u an y   p e n alty .   All  p er s o n al  id en tifie r s   wer r e m o v e d   d u r i n g   d ata  p r o ce s s in g ,   a n d   co n f id en tiality   was   s tr ictly   m ain tain ed   th r o u g h o u t   d ata  co llectio n ,   a n aly s is ,   an d   r ep o r tin g .     2 . 4 .   Va lid it y   a nd   t rus t wo rt hin es s   T h f ac ilit ato r   ad o p ted   a n   in t er ac tiv f ac ilit atio n   ap p r o ac h ,   em p lo y in g   p r o b in g   q u esti o n s ,   r ef lectiv s u m m ar ies,  an d   co n s en s u s - b u ild in g   tech n iq u es.  T o   en s u r tr u s two r th in ess ,   th s tu d y   ad h er ed   to   th f o u r   class ical  cr iter ia  o u tlin ed   b y   L in co ln   et  a l.   [ 4 5 ] c r ed ib i lity   ( th r o u g h   m em b er   ch ec k i n g ) ,   tr a n s f er ab ilit y   ( th r o u g h   d etailed   c o n tex tu a d escr ip tio n s ) ,   d ep en d ab ili ty   ( th r o u g h   s y s tem atic  d o cu m en tatio n ) ,   an d   co n f ir m a b ilit y   ( th r o u g h   au d it t r ails   an d   r ef lex iv ity   n o tes).     2 . 5 .   Da t a   a na ly s is   T h is   s tu d y   ad o p ted   m ix e d - m eth o d s   an aly tic  d esig n ,   co m b in in g   q u alitativ an d   q u an titativ an aly s es  to   en h an ce   r ig o r   a n d   tr ian g u late  f i n d in g s .   Qu alitativ d ata  f r o m   th e   FGDs   wer an aly ze d   f ir s t,  f o llo wed   b y   q u a n titativ an aly s is   o f   th s u r v ey   d ata  to   v alid a te  an d   co m p lem en t th e m er g e n t f r am ewo r k .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E s ta b lis h in g   q u a lity in d ica to r s   fo r   h ig h er - o r d er th in kin g   s ki lls :   d ev elo p men t a n d   va lid a tio n   …    ( N ia   K a n ia )   3349   2 . 6 .   Q ua lita t iv da t a   a na ly s is   Qu alitativ d ata  wer an aly ze d   in   AT L AS.ti   ( v er s io n   2 3 )   u s in g   g r o u n d e d   th eo r y   p r o ce d u r es,  in clu d in g   o p e n ,   a x ial,   a n d   s e lectiv co d in g .   D u r in g   th e   o p en   c o d in g   s tag e,   i n itial  co d es  wer in d u ctiv ely   g en er ated   f r o m   p a r ticip an ts '   v er b atim   s tatem en ts .   T h ese  co d es  wer th en   clu s ter ed   d u r in g   ax ial  co d in g   b ased   o n   co n ce p tu al   s im ilar ities   an d   g u id e d   b y   estab lis h ed   t h eo r et ical  f r am ewo r k s   o f   HOT S,  p a r ticu lar ly   B lo o m ' s   r ev is ed   tax o n o m y   an d   c o n te m p o r ar y   m o d els  o f   CT C r T ,   an d   PS .   T h is   th e o r y - i n f o r m e d   clu s ter in g   en s u r e d   co n ce p tu al  alig n m en t b etwe en   em p ir ical  d ata  an d   ex is tin g   s c h o lar s h ip .   I n   th e   s elec tiv co d in g   p h a s e,   co r ca teg o r ies  wer i d e n tifie d   an d   in teg r ated   in t o   a   co h er e n th eo r etica m o d el  r ep r esen tin g   th d im en s io n s   o f   CT C r T ,   an d   PS .   T h an aly tic  p r o ce s s   em p h asized   th eo r etica s atu r atio n ,   wh er e b y   n o   n ew  ca teg o r ies  em er g ed   f r o m   s u b s eq u e n co d in g ,   an d   c o n ce p t u al   co h er en ce   a cr o s s   ca teg o r ies.   T o   en h a n ce   an aly tical  r eliab il ity ,   s ec o n d   i n d ep e n d en c o d er   with   ex p er tis in   q u alitativ r esear ch   m eth o d s   was in v o lv ed   in   th co d in g   p r o ce s s .   I n ter - co d er   ag r ee m en was a s s es s ed   th r o u g h   iter ativ co m p ar is o n   an d   d is cu s s io n   o f   co d in g   d is cr ep an cie s   u n til  co n s en s u s   was  ac h iev ed .   T h is   p r o ce d u r e   s tr en g th en ed   t h tr u s two r th in e s s   an d   d ep en d a b ilit y   o f   t h q u alitativ f in d in g s .     2 . 7 .   Q ua ntit a t iv da t a   a na ly s is   Qu an titativ s u r v ey   d ata   wer an aly ze d   u s in g   d escr ip tiv e   s tatis tic s   an d   p s y c h o m etr ic   v alid atio n   p r o ce d u r es,  in clu d in g   co n f i r m ato r y   f ac to r   a n aly s is   ( C FA ) .   C FA  to   ass e s s   th co n s tr u ct  v alid ity   an d   r eliab ilit y   o f   th e   id en tifie d   HOT in d icato r s .   I n ter n al   co n s is ten cy   was  ex am in ed   th r o u g h   C r o n b ac h s   alp h a   an d   co m p o s ite  r eliab ilit y   ( C R )   c o ef f icien ts .   T h in teg r atio n   o f   q u alitativ an d   q u an titativ an aly s es  en ab led   r o b u s t v alid atio n   o f   t h p r o p o s ed   in d icato r   f r am ewo r k .   T o   v er if y   th c o n s tr u ct  v alid it y   an d   r eliab ilit y   o f   th d ev elo p ed   in d icato r s ,   co n f ir m ato r y   p h ase  was   co n d u cte d   u s in g   L I SR E L   1 0 . 4 .   T h an aly s is   p r o ce ed ed   i n   two   s tag es:   a.   C o n s tr u ct  v alid ity   test in g   C FA  wa s   u s ed   to   ev alu ate  th f ac to r   s tr u ctu r o f   t h th r ee   HOT co n s tr u cts,  as  in d icat ed   b y   th e   f o llo win g   m o d el - f it in d ices  [ 4 6 ]   wer u s ed   t o   ev alu ate  a d eq u ac y :     C h i - s q u ar d iv id e d   b y   d eg r ee s   o f   f r ee d o m   ( χ ²/d f ) 3 . 0 0     C o m p ar ativ f it in d e x   ( C FI) 0 . 9 0     Go o d n ess   o f   f it in d ex   ( GFI ) 0 . 9 0     R o o m ea n   s q u ar e r r o r   o f   a p p r o x im atio n   ( R MSE A) 0 . 0 8     Stan d ar d ized   r o o t m ea n   s q u ar r esid u a l ( SR MR)≤ 0 . 0 8     Facto r   lo ad in g s   0 . 5 0   wer co n s id er ed   ev id e n ce   o f   co n v er g e n t r ep r esen tatio n .   b.   R eliab ilit y   an d   co n v er g en t v al id ity   C R   an d   av er ag v a r ian ce   ex t r ac ted   ( AVE )   wer c o m p u te d   f r o m   L I SR E L   o u tp u t.   C o n s tr u cts  wer d ee m ed   r eliab le  w h en   C R 0 . 7 0   a n d   AVE 0 . 5 0 ,   in d ic atin g   in ter n al  c o n s is ten cy   a n d   ad e q u ate  item   c o n v e r g e n c e .   D i s c r i m i n a n t   v a li d i t y   w as   e v a l u a t e d   b y   c o m p a r i n g   th s q u ar e   r o o t   o f   ea ch   c o n s tr u ct’ s   AVE   with   th in ter - co n s tr u ct  co r r elatio n s ,   in d icatin g   th at  ea ch   HOT d im en s io n   ac co u n ted   f o r   d is tin ct  co n ce p tu al  v ar ian ce .     2 . 8 .   I nte g ra t io n o f   qu a lita t iv e   a n d qua ntit a t iv f ind ing s   T h f in al  s tag s y n th esized   th q u alitativ in s ig h ts   with   q u an titativ ev id en ce   to   r ef in a n d   v alid ate  th HOT m ea s u r em en in d ic ato r s .   T h is   m eth o d o lo g ical  tr i an g u latio n   e n s u r ed   t h at  th d e v elo p ed   f r am ewo r k   was  b o th   th eo r etica lly   co h er en an d   em p ir ically   v er if i ab le,   b r id g in g   co n ce p tu al  u n d er s tan d in g   with   m ea s u r ab le  co n s tr u cts.       3.   RE SU L T S AN D I SCU SS I O N   T h is   s ec tio n   r ep o r ts   f in d in g s   f r o m   b o th   q u alitativ an d   q u a n titativ an aly s es  co n d u cted   t o   d ev el o p   an d   v alid ate  t h in d icato r s   o f   HOT S ,   en co m p ass in g   CT C r T ,   an d   PS .   T h q u alitativ p h ase  g e n er ated   th eo r etica lly   g r o u n d ed   in d icato r s   f r o m   ex p er i n s ig h ts .   I n   c o n tr ast,  th q u a n titativ p h ase  s tatis tically   v er if ied   th co n s tr u ct  v alid ity   an d   r eli ab ilit y   o f   th e   p r o p o s ed   m ea s u r em en m o d el  u s in g   ex p lo r a to r y   f ac t o r   an al y s is   ( E FA)   an d   C FA.     3 . 1 .   Q ua lita t iv ph a s e:   s y nthesis   o f   F G r esu lt s   T h q u alitativ an aly s is   u s in g   AT L AS.ti   2 3   p r o d u ce d   a   co h er en co n ce p tu al   f r am ew o r k   f o r   HOT S.   T h r o u g h   iter ativ e   o p en ,   ax ial,   an d   s elec tiv co d in g ,   t h em es  wer clu s ter ed   in to   d im en s io n s   an d   b eh a v io r al   in d icato r s   co n s is ten with   m ajo r   th eo r etica p e r s p ec tiv es,  p ar ticu lar ly   B lo o m s   r ev is ed   tax o n o m y   [ 4 7 ] p r o b lem - b ased   lear n in g   th eo r y ,   an d   c r ea tiv ity   s tu d ies  [ 4 8 ] .   T h d er iv e d   co n s tr u cts  wer o p er atio n alize d   i n to   em p ir ically   m ea s u r ab le  in d ic ato r s   th at  alig n   with   estab lis h ed   m o d els  o f   co g n itiv d e v elo p m en t,  e n s u r in g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   4 Au g u s t   20 26 :   3 3 4 6 - 3 3 6 1   3350   th eo r etica f id elity   an d   co n te x tu al  r elev an ce .   T h e   s y n th esis   y ield ed   th r ee   p r im ar y   d o m ain s CT C r T ,   an d   PS ea ch   co m p o s ed   o f   f iv s tr u ctu r ed   in d icato r s .   T ab le  1   p r esen ts   th o p er atio n al  f r am ewo r k   f o r   th CT   d o m ain   b y   m ap p in g   its   k ey   asp ec ts   an d   d im en s io n s   to   th co r r es p o n d in g   in d icato r s .   T h is   m a p p in g   is   im p o r tan t   b ec au s it  clar if ies  h o th e   th eo r etica c o n s tr u ct  o f   CT   is   tr an s lated   in to   o b s er v a b l elem en ts ,   th er e b y   s tr en g th en in g   th tr an s p ar e n cy   an d   v alid ity   o f   th e   in d icato r   s et  u s ed   in   th is   s tu d y .       T ab le  1 .   Asp ec t,  d im e n s io n ,   a n d   in d icato r   o f   CT   C o d e   A sp e c t   D i me n si o n   I n d i c a t o r   C T1   G o a l - o r i e n t e d   En g a g i n g   i n   r a t i o n a l   r e a s o n i n g   a n d   l o g i c a l   a n a l y si s   t o   a d d r e ss  p r o b l e ms   A b i l i t y   t o   a p p l y   l o g i c a l   p r i n c i p l e w h e n   c o n si d e r i n g   p o t e n t i a l   s o l u t i o n s   C T2   Ev i d e n t i a l   b a s i s   F o r mu l a t i n g   j u st i f i e d   b e l i e f s u p p o r t e d   b y   c r e d i b l e   e v i d e n c e   a n d   a r g u me n t   v a l i d i t y   A b i l i t y   t o   c o n si d e r   v a r i o u r e l e v a n t   i n f o r ma t i o n   so u r c e b e f o r e   ma k i n g   d e c i si o n s   C T3   A t t e n t i o n   t o   d e t a i l   D e mo n st r a t i n g   p r e c i si o n   a n d   a c c u r a c y   i n   u n d e r s t a n d i n g   a n d   i n t e r p r e t i n g   a r g u m e n t s   A b i l i t y   t o   d e c o n s t r u c t   a r g u me n t o r   i n f o r mat i o n   sy st e ma t i c a l l y   a n d   i n   d e t a i l   C T4   Ju st i f i c a t i o n   a n d   e x p l a n a t i o n   Emp l o y i n g   a p p r o p r i a t e   c r i t e r i a   o r   s t a n d a r d t o   j u s t i f y   r e a so n i n g   a n d   e x p l a i n   c o n c l u si o n s   A b i l i t y   t o   a p p l y   t h e   m o st   r e l e v a n t   st a n d a r d s   w h e n   a d d r e ss i n g   a   g i v e n   p r o b l e m   C T5   Ev i d e n c e - b a se d   e v a l u a t i o n   D e mo n st r a t i n g   c r i t i c a l   r e f l e c t i o n   o n   a c q u i r e d   k n o w l e d g e   a n d   b e l i e f s fr o d i v e r s e   e x p e r i e n c e s   A b i l i t y   t o   c r i t i c a l l y   e v a l u a t e   i n f o r m a t i o n   s o u r c e s   b a s e d   o n   r e l e v a n c e ,   r e l i a b i l i t y ,   a n d   c o n si s t e n c y       Su r v ey   d ata  c o llected   f r o m   7 0   r esp o n d en ts   ( co m p r is in g   u n iv er s ity   lectu r er s ,   teac h er s ,   an d   s tu d en ts )   s u p p o r ted   th FGD  f in d in g s .   co m p ar ativ e   an aly s is   r ev ea led   th at  th is   d e v elo p ed   in d ic ato r   was  r ated   6 %   m o r ef f ec tiv th an   th o s d ev elo p ed   b y   E n n is ,   s u g g esti n g   g r ea ter   co n tex tu al  ap p licab ilit y   an d   alig n m en with   r ea l - wo r ld   c o g n itiv d em an d s   in   ed u ca tio n al   ass ess m en t.   T h is   r esu lt  s u g g ests   th at,   w h ile  E n n is ' s   m o d el  r em ain s   th eo r etica lly   r o b u s t,   th is   p r o p o s ed   f r am ewo r k   o f f er s   m o r p r ag m atic  an d   a d ap tab le  ap p r o ac h ,   p ar ticu lar ly   f o r   ass ess in g   r ea s o n in g   p r o ce s s es in   au th en tic  le ar n in g   c o n tex ts .   T o   f u r th er   ex am in e   th e   r elati v p er f o r m a n ce   o f   t h CT   d o m ain ,   we  c o m p a r ed   e f f ec tiv e n ess   ac r o s s   its   co n s titu en d im en s io n s .   Fig u r 1   illu s tr ates  th is   co m p ar i s o n   b y   p r esen tin g   th ef f ec tiv en ess   s co r f o r   ea c h   d im en s io n   o f   CT .   T h is   v is u aliza tio n   is   im p o r ta n b ec a u s it  h ig h lig h ts   th m o s ef f ec tiv d im en s io n s ,   p r o v id i n g   e m p ir ical  g u id an c f o r   r ef i n in g   in d icato r s   a n d   p r io r itizin g   in s tr u ctio n al   im p r o v em en ts   o r   ass es s m en ts   in   th d o m ain   o f   CT .   T h is   r esu lt  s u g g ests   th at,   wh ile  E n n is ' s   m o d el  r em ain s   th eo r etica lly   r o b u s t,   th p r o p o s ed   f r am ewo r k   o f f er s   m o r p r ag m atic  an d   ad ap tab le  ap p r o ac h ,   p ar ticu la r ly   f o r   ass ess in g   r ea s o n in g   p r o ce s s es   in   au th en tic  lear n in g   c o n tex ts .   Fo llo win g   th C T   d o m ain ,   we  o p e r a tio n alize d   th C r T   co n s tr u ct   in to   m ea s u r ab le  co m p o n en ts   to   e n s u r t h at  it  c an   b e   ass ess ed   co n s is ten tly   with in   th e   HOT f r am ewo r k .   T ab le  2   s u m m ar izes  th o p er atio n al  f r a m ewo r k   f o r   th C r T   d o m ain   b y   lin k i n g   its   asp ec ts   an d   d i m en s io n s   to   th p r o p o s ed   in d icato r s .   T h is   tab le   is   ess en tial  b ec au s it  d em o n s tr ates  h o C r T   is   tr an s lated   f r o m   t h eo r etica co n ce p t   in to   o b s er v ab le  in d icato r s ,   p r o v id in g   clea r   b asis   f o r   in s tr u m en d e v elo p m e n t,  r esu lt  in ter p r etatio n ,   an d   f u tu r r e f in em en o f   th i n d ica to r   s et.   T o   ev alu ate  th v a r iatio n   in   th C r T   d o m ain ,   we  co m p a r ed   th ef f ec tiv e n ess   o f   its   co n s titu en d im en s io n s .   Fig u r 2   p r esen ts   th is   co m p ar is o n   b y   d is p lay in g   th ef f ec tiv en ess   s co r es  f o r   ea ch   d im en s io n   o f   C r T .   T h is   f ig u r is   im p o r tan b ec au s it  id e n tifie s   d im en s io n s   th at  m ay   r eq u ir e   f u r th e r   r ein f o r ce m en t   o r   r ef in em en t,  th e r eb y   i n f o r m i n g   tar g eted   im p r o v em en ts   i n   th d ev el o p m en o f   in d ic ato r s ,   in s tr u ctio n al  p r ac tices,  an d   ass ess m en ts   r elate d   to   C r T .           Fig u r 1 .   C o m p a r is o n   o f   th e f f ec tiv en ess   o f   CT   s k ills   d im en s io n s   E n n i s C T   d i m e n si o n a n d   i n d i c a t o r s 47% Ka n i a   a n d   Ky a r u z i   C d i m ens i o n s a n d   i n d i ca t o rs 53% C om p ar i son   of   ef f ecti ve n ess Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E s ta b lis h in g   q u a lity in d ica to r s   fo r   h ig h er - o r d er th in kin g   s ki lls :   d ev elo p men t a n d   va lid a tio n   …    ( N ia   K a n ia )   3351   T ab le  2 .   Asp ec t,  d im e n s io n ,   a n d   in d icato r   o f   C r T   C o d e   A sp e c t   D i me n si o n   I n d i c a t o r   C r T1   A n a l y t i c a l   t h i n k i n g   A b i l i t y   t o   e v a l u a t e   i n f o r m a t i o n   l o g i c a l l y   a n d   sy st e ma t i c a l l y   A b i l i t y   t o   i d e n t i f y   e sse n t i a l   e l e m e n t w i t h i n   a   g i v e n   s e t   o f   i n f o r ma t i o n   C r T2   C o m p a r a t i v e   t h i n k i n g   C a p a c i t y   t o   c o n si d e r   m u l t i p l e   p e r sp e c t i v e o r   a l t e r n a t i v e   p o ss i b i l i t i e s   A b i l i t y   t o   c o n n e c t   a n d   i n t e g r a t e   d i v e r s e   i n f o r mat i o n   o r   c o n c e p t s   C r T3   R e f l e c t i v e   t h i n k i n g   A b i l i t y   t o   r e f l e c t   o n   e x p e r i e n c e s   o r   i d e a s   t o   g a i n   d e e p e r   i n si g h t   A b i l i t y   t o   t h o u g h t f u l l y   e v a l u a t e   e x p e r i e n c e s   o r   c o n c e p t s f o r   n e w   u n d e r s t a n d i n g   C r T4   C o r r e c t i v e   t h i n k i n g   C a p a c i t y   t o   r e f i n e   a r g u me n t o r   a p p r o a c h e t o   e n h a n c e   e f f e c t i v e n e ss   A b i l i t y   t o   mo d i f y   o r   a d j u st   r e a so n i n g   st r a t e g i e s   f o r   g r e a t e r   e f f i c a c y   C r T5   I n q u i s i t i v e   t h i n k i n g   M o t i v a t i o n   t o   q u e s t i o n   a ssu mp t i o n s,   e x p l o r e   n e w   p e r s p e c t i v e s ,   a n d   s e e k   u n c o n v e n t i o n a l   a p p r o a c h e s   A b i l i t y   t o   see k   n o v e l   p e r sp e c t i v e i n   u n d e r s t a n d i n g   c o m p l e x   p r o b l e ms  o r   si t u a t i o n s           Fig u r 2 .   C o m p a r is o n   o f   th e f f ec tiv en ess   o f   C r T   s k ills   d im en s io n s       E m p ir ical  v alid atio n   th r o u g h   th r esp o n d e n s u r v ey   co n f ir m ed   th at  th ese  p r o p o s ed   d im e n s io n s   wer e   1 6 m o r e   ef f ec tiv e   th an   T o r r an ce ' s   tr ad itio n al  cr ea tiv ity   m o d el.   W h ile  T o r r a n ce ' s   f r am ewo r k   p r io r itizes   d iv er g en p r o d u ctio n   an d   im ag in atio n ,   th is   f r am ewo r k   o f   Kan ia  an d   Ky ar u zi s   wo r k   e m p h asize  co g n itiv e   ad ap tab ilit y   an d   co n tex tu al  i n n o v atio n ,   q u alities   m o r alig n ed   with   r e f lectiv ac ad em ic   cr ea tiv ity   r ath er   th an   p u r ely   ar tis tic  ex p r ess io n .   T o   o p er atio n alize   th PS   co n s tr u ct,   th s tu d y   id en tifie d   its   m ain   asp ec ts ,   d im en s io n s ,   an d   in d icato r s   b ased   o n   th e   u n d er ly in g   th e o r etica f r am ewo r k .   T a b le  3   s u m m ar izes  th ese  elem en ts   an d   illu s tr ates th co n ce p tu al  b asis   u s ed   to   d e v elo p   th PS   co m p o n e n t o f   th in s tr u m en t.   I n   ad d itio n ,   th s u r v e y   r esu lts   d is tr ib u ted   to   u n iv er s ity   lectu r er s ,   teac h er s ,   an d   s tu d en ts   in d icate d   th at   th d im en s io n s   an d   in d icato r s   p r o p o s ed   b y   Kan ia  an d   Ky ar u zi s   wer p er ce iv ed   as  m o r ef f ec tiv b y   7 0   r esp o n d en ts .   Mo s p a r ticip a n ts   p r o v id e d   p o s itiv ev al u atio n s   r eg ar d in g   th im p le m en tatio n   o f   th ese   d im en s io n s   an d   in d icato r s   i n   t h lear n in g   p r o ce s s ,   s u g g esti n g   th at  Kan ia  a n d   Ky a r u zi ap p r o ac h   alig n s   well  with   th eir   in s tr u ctio n al  n ee d s   an d   ex p ec tatio n s .       T ab le  3 .   Asp ec t,  d im e n s io n ,   a n d   in d icato r   o f   PS   C o d e   A sp e c t   D i me n si o n   I n d i c a t o r   PS1   C o g n i t i v e   p r o c e sse s   U n d e r st a n d i n g   p r o b l e ms  t h r o u g h   s y st e ma t i c   i n f o r mat i o n   g a t h e r i n g   a n d   p e r s p e c t i v e   a n a l y si s   A b i l i t y   t o   i d e n t i f y   p r o b l e ms   i n   t h e   l e v e l   o f   d e t a i l   r e q u i r e d   f o r   e f f e c t i v e   r e s o l u t i o n   PS2   D a t a   g a t h e r i n g   C o m p e t e n c e   i n   c o l l e c t i n g   d a t a   f r o m u l t i p l e   a n d   r e l e v a n t   so u r c e s   A b i l i t y   t o   d e si g n   st r a t e g i c   a n d   s t e p w i se  p l a n s   t o   a d d r e ss  i d e n t i f i e d   p r o b l e ms   PS3   Ef f i c i e n t   e x e c u t i o n   Th e   c a p a b i l i t y   t o   i mp l e m e n t   p l a n s   e f f i c i e n t l y   t o   a c h i e v e   p r o b l e m res o l u t i o n   A b i l i t y   t o   e v a l u a t e   t h e   e x e c u t i o n   p r o c e ss  a n d   i d e n t i f y   o p p o r t u n i t i e s f o r   i mp r o v e me n t   PS4   R e f l e c t i v e   e v a l u a t i o n   A b i l i t y   t o   a ssess  so l u t i o n a n d   p r o c e ss e s   r e t r o s p e c t i v e l y   A b i l i t y   t o   c o mp a r e   i mp l e m e n t e d   s o l u t i o n s a g a i n s t   a l t e r n a t i v e   s t r a t e g i e s   t o   d e t e r mi n e   e f f e c t i v e n e ss   PS5   A n a l y t i c a l   PS   C a p a c i t y   t o   m a n a g e   c o m p l e x i t y   b y   d e c o m p o si n g   i n t r i c a t e   p r o b l e ms  i n t o   sma l l e r ,   s o l v a b l e   c o m p o n e n t s   A b i l i t y   t o   d e v e l o p   p r e c i se  a n d   d e t a i l e d   s o l u t i o n s   f o r   e a c h   c o m p o n e n t   o f   a   c o mp l e x   p r o b l e m       T o   ex am in e   h o r esp o n d en ts   ev alu ated   th PS   d o m ain ,   we   an aly ze d   th e   ef f ec tiv en ess   r ati n g s   ac r o s s   its   co n s titu en d im en s io n s .   Fi g u r 3   p r esen ts   co m p ar ativ e   d is tr ib u tio n   o f   r esp o n d e n ts   ef f ec tiv en ess   s co r es  f o r   ea ch   PS   d im en s io n .   T h is   v is u aliza tio n   is   im p o r tan t b ec au s it h ig h lig h ts   r elativ s tr en g th s   an d   wea k n ess es  with in   th PS   c o n s tr u ct,   p r o v id in g   e m p ir ical  g u id an ce   f o r   r e f in in g   s p ec if ic   in d icato r s   an d   in f o r m in g   tar g eted   im p r o v em e n ts   in   ass ess m en t d esig n   an d   in s tr u ctio n al  s u p p o r t.   To rr a n ce s C r T   d i m e n si o n a n d   i n d i c a t o r 42% Ka n i a   a n d   Ky a r u z i C r T   d i m e n si o n a n d   i n d i c a t o r s 58% C om pari son  of   ef f ect i venes s Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   4 Au g u s t   20 26 :   3 3 4 6 - 3 3 6 1   3352   Su r v ey   f in d in g s   in d icate   th at  t h is   f r am ewo r k   s co r e d   1 0 h ig h er   th a n   th Kr u lik   a n d   R u d n ick   m o d e l   o n   p er ce iv ed   p r ac tical  r elev a n ce .   T h e   co m p ar ativ e   ad v a n tag lik ely   s tem s   f r o m   th e   co n te x tu al  s p ec if icity   a n d   s eq u en tial  s tr u ctu r in g   em b ed d ed   with in   in d icato r s ,   wh ich   en ab le  clea r er   o p er atio n aliza tio n   in   in s tr u ctio n al   an d   ev al u ativ s ettin g s .   C o lle ctiv ely ,   T ab les  1 3   estab lis h   co h er e n co n ce p tu al   f o u n d a tio n   f o r   m ea s u r i n g   HOT S,  en s u r in g   s em an tic  p r ec is io n ,   th eo r etica d is tin ctiv en ess ,   an d   p ed ag o g ical  m ea s u r ab ilit y .   T h e   q u alitativ s y n th esis   s u b s tan t iates  th m u ltid im en s io n al  y et  u n if ied   s tr u ctu r e   o f   HOT as  an   i n teg r ativ e   co g n itiv co n s tr u ct.           Fig u r 3 .   C o m p a r is o n   o f   th e f f ec tiv en ess   o f   PS   s k ills   d im en s io n s       3 . 2 .   Q ua ntit a t iv ph a s e:   v a lid a t i o n o f   t he  m ea s urem ent   mo del   An   E FA  was  u n d er tak en   t o   in v esti g ate  th s tr u ctu r al  v alid ity   o f   th d e v elo p e d   in d icato r s   b ased   o n   q u an titativ s u r v ey   d ata.   T h e   ad eq u ac y   o f   th e   co r r elatio n   m atr ix   was  c h ec k ed   b ef o r e   f a cto r   lo a d in g s   wer e   in ter p r eted .   T ab le  4   r ep o r ts   th m ea s u r es  o f   s am p lin g   a d eq u ac y   ( MSA)   f o r   ea ch   item ,   wh i ch   in d icate   wh et h er   ea ch   in d icato r   h as  s u f f icien t   s h ar ed   v ar ia n ce   with   th e   o th e r s   to   b r etai n ed   in   th f ac t o r   m o d el.   T h is   tab le  p r o v id es  an   item - lev el  d ia g n o s tic  f o r   v er if y in g   th at  th e   d ata  m ee th r eq u ir em e n ts   f o r   E FA  an d   f o r   id en tify in g   a n y   in d icato r s   th at  m ay   n ee d   to   b r ev is ed   o r   r em o v ed   b ef o r e   f in alizin g   th e   f ac t o r   s tr u ctu r e.   Fo llo win g   th p r elim in ar y   f a cto r   s tr u ctu r id en tifie d   v ia  E FA,  we  co n d u cted   C FA  to   te s wh eth er   th p r o p o s ed   m ea s u r em en t   m o d el  f it  t h d ata   ad eq u ately .   Fig u r 4   d ep icts   th e   C FA  m o d el,   s h o win g   th e   r elatio n s h ip s   b etwe en   th laten HOT co n s tr u cts  ( d o m ain s /d im en s io n s )   an d   th eir   o b s er v ed   in d icato r s ,   to g eth er   with   th esti m ated   f a cto r   lo ad in g s .   T h is   f ig u r p r o v id es  v is u al  an d   s tatis tical  r ep r esen tatio n   o f   th e   v alid ated   m ea s u r em en s tr u ctu r e,   s u p p o r ti n g   th co n s tr u ct  v alid ity   o f   th d ev elo p ed   in d icato r s   an d   co n f ir m in g   th eir   alig n m en t w i th   th th eo r etica l f r am ewo r k .       T ab le  4 .   An ti - im a g e   m atr ices   A n t i - i ma g e   m a t r i c e s     C T1   C T2   C T3   C T4   C T5   C r T1   C r T2   C r T3   C r T4   C r T5   PS1   PS2   PS3   PS4   PS5   A n t i - i ma g e   c o r r e l a t i o n   C T1   . 9 4 8 a   - . 1 6 2   - . 0 2 8   . 0 4 9   - . 1 7 0   - . 1 1 0   - . 0 0 3   - . 1 0 3   . 0 1 2   - . 0 5 8   . 0 2 3   . 0 0 5   - . 1 4 3   - . 0 9 9   - . 0 6 2   C T2   - . 1 6 2   . 8 8 9 a   - . 0 6 1   - . 0 5 4   . 0 1 9   - . 0 3 6   . 1 0 2   - . 0 0 4   - . 2 8 4   - . 0 8 1   - . 1 7 1   - . 0 7 0   . 1 1 6   . 0 9 5   - . 0 5 9   C T3   - . 0 2 8   - . 0 6 1   . 9 4 5 a   - . 1 2 3   - . 2 2 5   - . 0 5 0   - . 0 6 3   - . 1 2 6   - . 1 3 1   - . 0 2 9   . 0 3 3   - . 2 3 7   - . 0 2 9   . 0 1 6   - . 0 2 3   C T4   . 0 4 9   - . 0 5 4   - . 1 2 3   . 9 5 0 a   - . 0 3 8   - . 2 0 5   - . 1 0 9   . 0 0 7   - . 0 0 1   - . 1 5 8   . 0 2 6   - . 1 5 0   - . 0 5 1   - . 0 8 5   - . 0 9 1   C T5   - . 1 7 0   . 0 1 9   - . 2 2 5   - . 0 3 8   . 9 4 7 a   - . 0 4 9   - . 0 5 9   . 0 4 6   - . 1 6 5   - . 0 4 5   - . 0 1 8   - . 0 8 6   - . 0 9 5   - . 1 5 1   . 0 3 5   C r T1   - . 1 1 0   - . 0 3 6   - . 0 5 0   - . 2 0 5   - . 0 4 9   . 9 1 9 a   - . 0 7 2   . 0 1 1   . 0 1 1   - . 0 7 3   - . 2 2 6   . 1 9 6   - . 1 8 9   - . 0 9 5   . 0 3 6   C r T2   - . 0 0 3   . 1 0 2   - . 0 6 3   - . 1 0 9   - . 0 5 9   - . 0 7 2   . 9 4 1 a   - . 2 5 9   - . 0 8 2   - . 1 1 1   - . 0 4 0   . 0 1 3   . 0 2 7   - . 0 9 8   - . 0 6 0   C r T3   - . 1 0 3   - . 0 0 4   - . 1 2 6   . 0 0 7   . 0 4 6   . 0 1 1   - . 2 5 9   . 9 3 7 a   - . 0 0 7   - . 1 2 6   - . 0 6 3   - . 0 2 3   - . 0 4 7   - . 0 6 3   . 0 3 8   C r T4   . 0 1 2   - . 2 8 4   - . 1 3 1   - . 0 0 1   - . 1 6 5   . 0 1 1   - . 0 8 2   - . 0 0 7   . 9 2 4 a   - . 1 0 3   . 0 9 4   . 0 1 5   - . 1 7 5   - . 1 8 5   . 0 0 4   C r T5   - . 0 5 8   - . 0 8 1   - . 0 2 9   - . 1 5 8   - . 0 4 5   - . 0 7 3   - . 1 1 1   - . 1 2 6   - . 1 0 3   . 9 6 2 a   - . 0 6 5   - . 0 2 8   - . 0 4 3   - . 1 5 3   - . 1 1 0   PS1   . 0 2 3   - . 1 7 1   . 0 3 3   . 0 2 6   - . 0 1 8   - . 2 2 6   - . 0 4 0   - . 0 6 3   . 0 9 4   - . 0 6 5   . 9 0 1 a   - . 2 6 5   - . 0 7 9   . 0 2 0   - . 2 3 4   PS2   . 0 0 5   - . 0 7 0   - . 2 3 7   - . 1 5 0   - . 0 8 6   . 1 9 6   . 0 1 3   - . 0 2 3   . 0 1 5   - . 0 2 8   - . 2 6 5   . 9 0 7 a   - . 0 7 7   - . 0 1 4   - . 1 0 1   PS3   - . 1 4 3   . 1 1 6   - . 0 2 9   - . 0 5 1   - . 0 9 5   - . 1 8 9   . 0 2 7   - . 0 4 7   - . 1 7 5   - . 0 4 3   - . 0 7 9   - . 0 7 7   . 9 4 6 a   - . 0 5 0   - . 1 5 1   PS4   - . 0 9 9   . 0 9 5   . 0 1 6   - . 0 8 5   - . 1 5 1   - . 0 9 5   - . 0 9 8   - . 0 6 3   - . 1 8 5   - . 1 5 3   . 0 2 0   - . 0 1 4   - . 0 5 0   . 9 4 8 a   . 0 2 8   PS5   - . 0 6 2   - . 0 5 9   - . 0 2 3   - . 0 9 1   . 0 3 5   . 0 3 6   - . 0 6 0   . 0 3 8   . 0 0 4   - . 1 1 0   - . 2 3 4   - . 1 0 1   - . 1 5 1   . 0 2 8   . 9 3 9 a   a .   M e a su r e o f   sam p l i n g   a d e q u a c y   ( M S A )   K r u ll ik   a n d   Ru d n ick   PS   d im e n s io ns  a n d   in d ica to rs   45% K a n ia   a n d   K y a r u z PS   d im e n sio n a n d   in d ica to r s 55% C omparis on   of   ef f e ct i ven e ss Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E s ta b lis h in g   q u a lity in d ica to r s   fo r   h ig h er - o r d er th in kin g   s ki lls :   d ev elo p men t a n d   va lid a tio n   …    ( N ia   K a n ia )   3353   T o   f u r th er   v alid ate  t h h y p o t h esized   m ea s u r em en t   m o d el,   we  u s ed   L I SR E L   8 . 8 0   with   Ma x im u m   L ik elih o o d   ( ML )   esti m atio n .   ML   was  s elec ted   f o r   its   r o b u s tn ess   u n d er   m u ltiv ar iate  n o r m ality   ass u m p tio n s   an d   its   ca p ac ity   to   y ield   p r ec is esti m ates  o f   f ac to r   lo ad in g s   an d   er r o r   v ar ian ce s .   T h e   m ea s u r em en m o d el  d elin ea tes  th r elatio n s h ip s   b etwe en   th o b s er v ed   in d icat o r s   an d   th eir   r esp ec tiv laten co n s tr u cts:   C T ,   C r T an d   PS ,   as  id en tifie d   in   th p r ec ed in g   E FA.  E ac h   in d icat o r ' s   lo ad in g   r ef lects  th s tr en g th   an d   d ir ec tio n   o f   its   co n tr ib u tio n   to   th laten t   v a r iab le,   wh ile  th e   ass o ciate d   er r o r   ter m   r ep r esen ts   th e   p o r tio n   o f   v a r ian ce   u n ex p lain e d   b y   th co n s tr u ct  [ 4 6 ] .   Prio r   to   f ac to r   a n aly s is ,   d ata  s u itab ilit y   was  co n f ir m e d   u s in g   th Kaiser - Me y er - Olk in   ( KM O)   m ea s u r e   an d   B ar tlett’s  test   o f   s p h er icit y .   T h e   KM v alu was  0 . 7 5 ,   i n d icatin g   a d eq u ate   s am p lin g   ad eq u ac y ,   an d   B ar tlett’s  test   was   s ig n if ican t,  χ²( 1 0 5 ) = 5 4 6 0 . 4 1 ,   p < 0 . 0 0 1 ,   d em o n s tr atin g   s u f f icien t   in ter - item   co r r elatio n s   f o r   f ac t o r   ex tr ac tio n .   Acc o r d in g ly ,   th d ataset  was  d ee m ed   ap p r o p r iate  f o r   co n d u ctin g   E FA.           Fig u r 4 .   C FA  m o d el       3 . 3 .   E x plo ra t o ry   f a ct o a na ly s is   E FA  was  ca r r ied   o u u s in g   p r in cip al  ax is   f ac to r in g   with   v ar i m ax   r o tatio n   t o   ex am in e   th u n d er ly in g   s tr u ctu r o f   th d ev elo p e d   in d i ca to r s .   T h s cr ee   p lo an d   eig e n v alu es  g r ea ter   th a n   1 . 0   s u p p o r ted   th r ee - f ac t o r   s o lu tio n   co r r esp o n d in g   to   t h h y p o th esized   HOT d im en s io n s .   T ab le  5   r e p o r ts   th e   E FA  r e s u lts ,   in clu d in g   th e   ex tr ac ted   f ac to r s ,   item   lo ad in g s   f o r   ea ch   in d icato r ,   an d   k ey   s u m m ar y   s tatis tics ,   wh ich   co llectiv ely   d em o n s tr ate  h o th in d icato r s   clu s ter   with in   th th r ee - f ac to r   s tr u ctu r e.   T h is   tab le  is   p r o v i d d ir ec em p ir ical  ev id en ce   f o r   th p r o p o s ed   d i m en s io n ality   an d   h elp s   id en tif y   in d icato r s   with   wea k   o r   cr o s s - lo ad in g s   th at  m ay   r eq u ir r e v is io n   b ef o r c o n f ir m in g   th f i n al  m ea s u r em e n t m o d el.   All  lo ad in g s   ex ce e d ed   0 . 7 0 ,   co n f ir m in g   b o th   c o n s tr u ct  d i s tin ctiv en ess   an d   th eo r etica alig n m en t   [ 4 9 ] .   T h em er g en s tr u ctu r r ef lecte d   s tab le  p atter n   o f   c o g n itiv s p ec ializatio n   ac r o s s   f ac to r s ,   co n s is ten t   with   th m u ltid im en s io n al   HOT f r am ewo r k   [ 5 0 ] No   s ig n if ican cr o s s - lo ad in g s   wer o b s er v e d ,   d em o n s tr atin g   s tr o n g   d is cr im in an v alid ity .   Alth o u g h   th r e o r   m o r in d icato r s   p er   co n s tr u ct  ar g en er ally   r ec o m m en d ed   in   SEM ,   th tw o - item   f ac to r   was  r etain ed   in   t h is   s tu d y   b ased   o n   s tr o n g   th e o r etica ju s tific atio n   an d   r o b u s em p ir ical  ev id e n ce .   B o th   in d icato r s   d em o n s tr ated   h ig h   s tan d ar d ize d   f ac t o r   lo ad in g s   ( >0 . 7 0 ) ,   s atis f ac to r y   C R   an d   ac ce p tab le  AVE ,   in d icatin g   s u f f icien t in ter n al  co n s is ten cy   an d   co n v e r g en t v alid ity .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   4 Au g u s t   20 26 :   3 3 4 6 - 3 3 6 1   3354   Pre v io u s   m eth o d o lo g ical  s tu d i es  [ 5 1 ] ,   [ 5 2 ]   s u g g est th at  two - item   co n s tr u cts m ay   b ac ce p tab le  wh en   th in d icato r s   ar h ig h ly   c o r r e lated ,   th eo r etica lly   co h er en t,  a n d   em p ir ically   s tab le.   I n   th is   s tu d y ,   th r etain e d   item s   r ep r esen th co r c o n ce p tu al  d o m ai n   o f   t h co n s tr u ct  an d   em er g ed   co n s is ten tly   f r o m   ex p er v alid atio n   d u r in g   th q u alitativ p h ase.   Nev er th eless ,   th is   l im itatio n   i s   ac k n o wled g ed .   Fu tu r r esea r ch   is   r ec o m m en d ed   to   ex p an d   th item   p o o to   s tr en g th en   co n s tr u ct  r ep r esen tati o n   f u r t h er   an d   e n h an ce   m ea s u r em en r o b u s tn ess   ac r o s s   d iv er s s am p les.       T ab le  5 .   E FA   I n d i c a t o r   F a c t o r   1   ( C T)   F a c t o r   2   ( C r T)   F a c t o r   3   ( P S )   A p p l y i n g   l o g i c a l   p r i n c i p l e s   0 . 7 8       C o n si d e r i n g   r e l e v a n t   i n f o r mat i o n   0 . 8 2       R e c o g n i z i n g   e sse n t i a l   e l e me n t o f   i n f o r mat i o n     0 . 8 5     I n t e g r a t i n g   d i v e r se   so u r c e o f   i n f o r m a t i o n     0 . 7 6     I d e n t i f y i n g   p r o b l e ms  i n   d e t a i l       0 . 8 1   D e v e l o p i n g   a c c u r a t e   a n d   st r u c t u r e d   p l a n s       0 . 7 9       3 . 4 .   Co nfir m a t o r y   f a c t o a na ly s is   T h th r ee - f ac t o r   m ea s u r e m en m o d el  was  s u b s eq u en tly   v alid ated   u s in g   L I SR E L   8 . 8 0   with   ML   esti m atio n .   T o   ev alu ate   h o w   well  th h y p o th esized   m o d e f its   th o b s er v ed   d ata,   we  ex am in ed   s tan d a r d   g o o d n ess - of - f it  in d ices.  T ab le   6   s u m m ar izes  th C FA  r esu lts ,   in clu d in g   k ey   m o d el - f it  s t atis tics   ( e. g . ,   χ²/d f ,   R MSE A,   C FI,   T u ck er L ewis  in d ex   ( TLI ) / non - n o r m ed   f it  i n d ex   ( NNFI ) ,   an d   SR MR)  an d   th s tan d ar d ized   f ac to r   lo a d in g s   f o r   ea c h   in d i ca to r .   T h is   tab le   is   p r o v id e   t h p r im a r y   s tatis tical  ev id en c th at  th p r o p o s ed   th r ee - f ac to r   s tr u ctu r e   ad eq u a tely   r ep r esen ts   th e   d ata,   th e r eb y   s u p p o r tin g   t h co n s tr u ct  v alid ity   o f   t h d ev elo p e d   HOT S in d icato r s   a n d   co n f ir m in g   th eir   alig n m en with   th th eo r etica l f r a m ewo r k .   All  s tan d ar d ized   f ac to r   lo ad in g s   r an g e d   b etwe en   0 . 3 3   an d   0 . 6 1 ,   an d   R ²  v alu es  r an g e d   b etwe en   0 . 3 2   an d   0 . 5 7 ,   in d icatin g   ac ce p tab le  in d icato r   r eliab ilit y   [ 5 3 ] .   C R   v alu es  f o r   C T ,   C r T ,   an d   PS   ex ce ed ed   0 . 7 0 ,   wh ile  AVE   v alu es  s u r p ass ed   0 . 5 0 ,   co n f ir m in g   in te r n al  co n s is ten cy   an d   co n v e r g en v alid ity .   I n ter - f ac to r   co r r elatio n s   wer e   h ig h   b u t h e o r etica lly   ju s tifie d C T C r T = 0 . 9 8 ,   C T PS =0 . 9 6 ,   an d   C r T PS =0 . 9 5   ( p <0 . 0 0 1 ) .   T h ese  v alu es  s u g g est  s tr o n g   in ter d e p en d e n ce   am o n g   HOT co m p o n e n ts   wh ile  r etain in g   co n ce p tu al  d is tin ctio n ,   r ef lectin g   t h h ier a r ch ical  in teg r atio n   o f   h ig h er - o r d er   co g n itio n .       T ab le  6 .   C FA   G o o d n e ss - of - f i t   i n d e x   V a l u e   I n t e r p r e t a t i o n   χ ² (8 7 ) = 2 1 8 . 5 8 ,   p < 0 . 0 0 1     A c c e p t a b l e ,   g i v e n   m o d e l   c o m p l e x i t y   R M S EA = 0 . 0 7 1   ( 9 0 C I :   0 . 0 5 9 0 . 0 8 3 )   < 0 . 0 8   G o o d   a p p r o x i ma t e   f i t   C F I = 0 . 9 8   0 . 9 5   Ex c e l l e n t   f i t   N N F I = 0 . 9 7   0 . 9 5   Ex c e l l e n t   f i t   G F I = 0 . 9 1 ,   A G F I = 0 . 8 8   > 0 . 9 0 / > 0 . 8 5   A c c e p t a b l e   g l o b a l   f i t   S R M R = 0 . 0 4 7   < 0 . 0 5   Ex c e l l e n t   r e si d u a l   f i t       3 . 5 .   Str uct ura co ns is t ency   a nd   t heo re t ica l c o here nce   T h o b s er v e d   co v ar ia n ce   am o n g   th th r ee   laten v ar iab les   s u p p o r ts   s y n er g is tic  m o d el   o f   h ig h e r - o r d er   th in k i n g ,   wh er e   cr itical  r ea s o n in g ,   c r ea tiv in te g r ati o n ,   a n d   p r o b lem - o r ien ted   ap p licatio n   o p er ate  as   in ter lo ck in g   co g n itiv s y s tem s .   T h is   p atter n   co r r o b o r a tes  p r io r   e v id en ce   th at  H OT f u n ctio n s   as     m u ltid im en s io n al  y et  u n if i ed   co n s tr u ct  in f lu en cin g   ad v an ce d   lear n in g   o u tco m es  [ 5 4 ] ,   [ 5 5 ] .   T h e   m o d el   s atis f ies   p s y ch o m etr ic  ex p ec t atio n s   f o r   co n s tr u ct  v alid ity ,   r eliab ilit y ,   an d   f it  in d ices,  s u g g esti n g   th at  th d ev elo p e d   in d icato r s   p r o v i d r o b u s t e m p ir ical  f o u n d atio n   f o r   m ea s u r i n g   HOT S in   ed u ca tio n al  co n tex ts .     3 . 6 .   Dis cu s s io n   T h v alid atio n   r esu lts   in d icate   th at  th HOT S in d icato r s   d ev elo p ed   th r o u g h   t h in teg r atio n   o f   ex p er t - d er iv ed   FGD  in s ig h ts   an d   q u an titativ test in g   f o r m   co h e r en m u ltid im en s io n al  s tr u ctu r co m p r is in g   th r e e   d o m ain s CT C r T ,   an d   PS .   R ath er   th an   f u n ctio n in g   as   is o lated   co m p eten cies,  th ese  d o m ain s   ap p ea r   em p ir ically   co n n ec te d ,   s u p p o r tin g   th in ter p r etatio n   th at  HOT is   b es r ep r esen ted   as  an   in ter d ep en d en s y s tem   o f   h i g h er   co g n itio n .   T h is   p atter n   is   co n s is ten with   th eo r etica ac c o u n ts   p o s itio n in g   CT   as  an   ev alu ativ e - an aly tical  f o u n d atio n ,   C r T   as  g en er ativ p r o ce s s ,   an d   PS   as  an   ap p lied   in teg r a tio n   o f   b o th   with in   task   co n tex ts   [ 5 6 ] [ 70 ] .   T h o b s er v e d   th r ee - d o m ai n   s tr u ctu r alig n s   with   B lo o m ' s   r ev is ed   tax o n o m y   [ 7 1 ]   i n s o f ar   as  it  r ef lects  d if f er en tiated   co g n itiv p r o ce s s es.  I m p o r tan tly ,   o u r   f in d in g s   also   s u g g est  f u n ctio n al  in ter d ep en d e n ce   am o n g   th ese  p r o ce s s es an   in ter p r etatio n   th at  e x ten d s   p r io r   co n ce p tu aliza tio n s   b y   e m p h a s izin g   th at  h ig h er - Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E s ta b lis h in g   q u a lity in d ica to r s   fo r   h ig h er - o r d er th in kin g   s ki lls :   d ev elo p men t a n d   va lid a tio n   …    ( N ia   K a n ia )   3355   o r d er   co g n itio n   i n   ed u ca tio n a s ettin g s   m ay   in v o lv e   co o r d i n ated   en g ag em e n ac r o s s   an a ly tical,   g en er ativ e ,   an d   ap p lied   r ea s o n in g   [ 7 2 ] [ 7 6 ] .   T ak e n   to g eth e r ,   th ese  r e s u lts   p r o v id em p ir ical  s u p p o r f o r   th co n s tr u ct   v alid ity   o f   t h p r o p o s ed   i n d ica to r   f r am ewo r k   [ 7 7 ]   an d   s tr en g th en   th v iew  th at  HOT r e p r esen ts   s tr u ctu r ed ,   m u ltid im en s io n al  co n s tr u ct   r at h er   th an   a   s et  o f   d is cr ete  ab ilit ies  [ 7 8 ] [ 84 ] .   Ou r   r esu lts   ar in   lin e   with   p r io r   wo r k   r ep o r tin g   HOT as  in h er en tly   m u ltid im en s io n al  an d   d y n am ically   en ac ted   in   lear n in g   task s   [ 8 5 ] ,   [ 8 6 ] .   I n   ad d it io n ,   th p r esen s tu d y   co n tr i b u tes  b y   p r o v i d in g   q u an titativ ev id en ce   th at  th th r ee   d o m ain s   ar n o o n ly   d is tin g u is h ab le  b u also   m ea n in g f u lly   r elate d   with in   s in g le  m ea s u r em en f r am ew o r k ,   th e r eb y   s u p p o r tin g   a r g u m en ts   th at  ed u ca tio n al  ass ess m en s h o u ld   ca p tu r e   in teg r ated   h ig h er - o r d er   c o m p eten ce   r ath er   th a n   f r ag m en te d   s k ill  co m p o n e n ts   [ 87 ] [ 9 0 ] .   T h is   in teg r ated   r ep r esen tatio n   is   p e d ag o g ically   r elev an b ec au s it  s u g g e s ts   th at  g r o wth   in   o n d o m a in   ( e. g . ,   an aly tical   ev alu atio n )   m a y   b ac co m p a n ied   b y   o r   d ep e n d   o n   d ev el o p m en in   co m p lem en tar y   p r o ce s s es  ( e. g . ,   id ea   g en er atio n   a n d   a d ap tiv a p p lic atio n )   [ 9 1 ] [ 96 ] .   W ith in   th co n tex o f   c o m p eten cy - b ased   cu r r ic u lu m   im p lem en tatio n   ( e . g . ,   th e   Me r d ek a   C u r r icu lu m ) ,   th v alid ate d   in d icato r s   p r o v id s tr u ctu r e d   b asis   f o r   d ev elo p in g   ass ess m en to o ls   th at  ad d r ess   h o lear n er s   r ea s o n   ac r o s s   cr itical,   cr ea tiv e,   an d   PS   d em an d s   [ 9 7 ] [ 1 0 4 ] .   Pra ctica lly ,   th f r am ewo r k   ca n   s er v two   co m p lem en tar y   f u n ctio n s i )   as  a   d iag n o s tic  r ef er en ce   f o r   id en tify i n g   r ela tiv s tr en g th s   an d   wea k n ess es  ac r o s s   HOT d o m ain s   an d   ii )   as  d esig n   g u id f o r   alig n in g   in s tr u ctio n   with   co g n itiv ely   d em an d in g   lear n in g   g o als  [ 1 0 5 ] [ 1 1 6 ] .   T h ese  im p licatio n s   f o llo d ir ec tly   f r o m   th v alid ated   m ea s u r em en s tr u ctu r an d   d o   n o t d e p en d   o n   ass u m p tio n s   b ey o n d   t h d ata   an aly ze d   in   th is   s tu d y .   Desp ite  th r o b u s p s y ch o m e tr ic  s ig n als  o b s er v ed   in   th is   s am p le,   s ev er al  lim itatio n s   s h o u ld   b e   ac k n o wled g e d .   First,  th r esp o n d en g r o u p   was  r elativ ely   s m all  an d   d r awn   f r o m   s p ec if ic  ed u ca tio n al  s ettin g s ,   wh ich   m ay   co n s tr ain   g en e r aliza b ilit y   [ 1 1 7 ] [ 1 2 8 ] .   Seco n d ,   d is cip lin ar y   co m p o s itio n   a n d   lo ca ac ad em i c   n o r m s   m ay   in f lu en ce   h o H OT d im en s io n s   m an if est  an d   ar p er ce iv e d ,   p o ten tially   af f ec tin g   th o b s er v ed   b alan ce   am o n g   d o m ain s   ( e. g . ,   g r ea ter   s alien ce   o f   a n aly tical  asp ec ts   th an   g en er ativ e   o n es )   [ 1 2 9 ] [ 1 3 7 ] Acc o r d in g ly ,   th p r esen ev i d en ce   s h o u ld   b in ter p r ete d   as  s u p p o r tin g   th p r o p o s ed   s tr u ctu r u n d er   th e   cu r r en t   s am p le  co n d itio n s   r ath er   th a n   as  a   d ef i n itiv e,   c o n tex t - f r ee   m o d el.   Fu tu r e   r esea r ch   s h o u ld   e x ten d   v alid atio n   th r o u g h i )   co n f ir m ato r y   test in g   in   lar g er   an d   m o r d iv er s s am p les,  ii )   cr o s s - d is cip lin ar y   an d   cr o s s - cu ltu r al  r ep licatio n   to   e v alu ate  m ea s u r em e n s tab ilit y ,   an d   iii )   lo n g itu d in al   d esig n s   to   ex am in e   h o w   HOT p r o f iles   ev o lv o v er   tim an d   ac r o s s   in s tr u ctio n al  ex p er ien ce s   [ 1 3 8 ] [ 1 4 8 ] .   Su ch   wo r k   wo u ld   s tr en g th en   ex te r n al  v alid ity   an d   clar if y   th in d icato r   f r am ew o r k ' s   co n tex tu al  s en s itiv ity ,   th er eb y   en h an cin g   its   u tili ty   f o r   ed u ca tio n al  ev al u atio n   an d   cu r r ic u lu m - in f o r m e d   a s s es s m en t.       4.   CO NCLU SI O N   T h is   s tu d y   d ev elo p ed   a n d   v a lid ated   an   in teg r ated   s et  o f   q u ality   in d icato r s   to   m ea s u r HOT in   m ath em atics  ed u ca tio n   ac r o s s   th r ee   co r e   d im en s io n s CT C r T ,   an d   PS .   T h in d icato r   d ev e lo p m en c o m b in e d   ex p er FGDs   with   p s y ch o m etr ic  test in g ,   r esu ltin g   in   m o d el  th at  is   b o th   th eo r etic ally   g r o u n d ed   an d   em p ir ically   s u p p o r ted .   C FA  p r o v id ed   s tr o n g   e v id en ce   o f   m o d el d ata  f it  a n d   alig n m en t.  T h ese  r esu lts   s u p p o r t   th co n s tr u ct   v alid ity   o f   th e   th r ee - f ac to r   HOT f r a m ewo r k   an d   in d icate   th at  t h in d ic ato r s   ca n   r ep r esen an aly tical,   g en er ativ e ,   an d   ap p lied   co g n itiv p r o ce s s es in   an   in teg r ated   m an n er .   Desp ite  th s tr o n g   p s y ch o m et r ic  p er f o r m an ce ,   th f in d in g s   s h o u ld   b in ter p r eted   with in   th s tu d y s   s am p le  ch ar ac ter is tics   an d   co n tex t.  Fu tu r r esear c h   s h o u ld   r ep licate  t h m o d el  with   lar g er ,   m o r e   d iv er s e   p ar ticip an ts ,   test   m ea s u r em en in v ar ian ce   ac r o s s   ed u ca tio n al   lev els  an d   d is cip lin es,  an d   em p lo y   lo n g itu d in al   d esig n s   to   ex am in th s tab il ity   an d   d e v elo p m e n tal  s en s iti v ity   o f   th i n d icato r s   o v e r   tim e.   T h v alid ated   in d icato r s   p r o v id e   p r ac tic al  f o u n d atio n   f o r   d esig n in g   HOT S - o r ien ted   ass ess m en t s   an d   s u p p o r tin g   in s tr u ctio n   th at  tar g ets cr itical,   cr ea tiv e,   an d   PS   co m p eten cie s   with in   m ath em atics lea r n in g .   I n   p r ac tice,   th e   v alid ated   i n d icato r s   p r o v id ed u ca to r s ,   r esear ch er s ,   an d   p o licy m a k er s   with     d iag n o s tic  to o to   ev alu ate   an d   en h a n ce   lear n in g   p r o ce s s es  o r ien ted   to war d   co g n itiv co m p ete n ce .   T h m o d el  p r o v id es  s tr u ctu r ed   f r am ewo r k   t o   id en tify   w h ich   asp ec ts   o f   cr itical,   cr ea tiv e,   an d   PS   s k ills   n ee d   r ein f o r ce m e n in   class r o o m   s ettin g s .   At  th p o licy   lev el,   th ese  f in d in g s   co n tr ib u te  to   t h d ev elo p m en o f     n atio n al  ass ess m en f r am ew o r k   alig n ed   with   t h co m p ete n cies  d em an d e d   b y   2 1 s t - ce n tu r y   lear n in g   an d   th Me r d ek C u r r icu lu m   i n itiativ es,  em p h asizin g   ad ap tiv e ,   in q u ir y - b ased ,   an d   s tu d en t - ce n ter ed   lea r n in g   p ar ad ig m s .   Fro m   t h eo r etica an d   p h ilo s o p h ical  s tan d p o in t,  th is   s tu d y   r ein f o r ce s   th n o tio n   th at  ass ess in g   HOT tr an s ce n d s   m er ev alu atio n it  r ep r esen ts   s h if in   ed u ca tio n al  ep is tem o lo g y   to war d   cu ltiv atin g   r ef lectiv e,   cr ea tiv e,   an d   au to n o m o u s   lear n e r s .   B y   in teg r atin g   th p r in cip les  o f   th r e v is ed   B lo o m ' s   t ax o n o m y   with   co n tex tu ally   g r o u n d ed   em p ir ical  v alid atio n ,   th is   r esear ch   ad v a n ce s   th s cien ce   o f   e d u ca tio n a l   ass es s m en in   I n d o n esia.  Ultim ately ,   th v alid ated   HOT in d icato r s   s tan d   as  f o u n d at io n al  s tep   to war d   co n s tr u ctin g   a n   ed u ca ti o n al  ec o s y s tem   th at  n o o n ly   m e asu r es  lear n in g   o u tco m es  b u also   in s p ir es  th tr an s f o r m atio n   o f   h o lear n e r s   th in k ,   cr ea te,   a n d   s o lv p r o b lem s   in   an   in cr ea s in g ly   co m p le x   wo r ld .     Evaluation Warning : The document was created with Spire.PDF for Python.