I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   14 ,   No .   1 Feb r u ar y   2 0 2 5 ,   p p .   695 ~ 707   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 1 4 i 1 . 2 9 5 9 0           695       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   H ig her ord er th in king  skills  researc h t ren ds:   a   bibl io metric   a na ly sis   in   selecte d   journa ls   (20 1 4  t o  20 2 3 )       L ilis   L is m a y a ,   H a rt o no ,   B a m ba ng   Su ba li,  Wo ro   Su m a r ni,  Sa if ul Ridlo ,   M urba ng un   Nus wo wa t i   D o c t o r a l   P r o g r a m   o f   N a t u r a l   S c i e n c e   Ed u c a t i o n ,   F a c u l t y   o f   M a t h e m a t i c a n d   N a t u r a l   S c i e n c e s,   U n i v e r s i t a s   N e g e r i   S e mara n g ,   S e mara n g ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 2 ,   2 0 2 3   R ev is ed   J u l 3 ,   2 0 2 4   Acc ep ted   J u l 2 4 ,   2 0 2 4       Th is  a rti c le  a ims   to   a n a ly z e   th e   tren d   o h i g h e o rd e th i n k in g   sk il l (HO TS re se a rc h   in   se lec ted   j o u r n a ls,  n a m e ly   Jo u rn a l   o f   Re se a rc h   i n   S c ien c e   Tea c h in g   (JRST ),   In tern a ti o n a Jo u rn a l   o f   S c ie n c e   Ed u c a ti o n   (I JSE a n d   Re v iew   o f   Ed u c a ti o n a Re se a rc h   (RER)  th r o u g h   b ib l io m e tri c o n   t h e   S c o p u s   d a tab a se   fro m   2 0 1 4   t o   2 0 2 3 .   T h e   a rti c les   c o n sist  o a   to tal  o f   9 4 7 ,   th e n   d iv i d e d   in t o   3 3 3   a rti c les   a n a ly z e d ,   wit h   d e tails  o JR S 1 1 3   a rti c les ,   IJSE   1 3 0   a rti c les   a n d   RER   9 0   a rti c les .   Th e   m e th o d   u se d   in   t h is  re se a rc h   is   a rti c le   a n a ly sis  u sin g   b ib li o m e tri c   sta g e s,  f o ll o we d   b y   k e y wo rd   se a rc h ,   i n it ia l   se a rc h   re su lt s,  c o rre c ti o n   o f   se a rc h   re su lt s,  in it ial  d a ta  c o m p il a ti o n   a n d   d a t a   a n a ly sis.  Th e   re su lt sh o we d   th a th e   p u b li c a ti o n   o sc ien ti fic  a rti c les   in   se lec ted   jo u rn a ls o n   HO TS   v a ried   fro m   y e a to   y e a r.   Th e   re su lt s o th is stu d y   a re   e x p e c ted   t o   h e lp   o th e r   re se a rc h e rs  wh o   a re   i n tere ste d   i n   re v ie win g   a n d   re se a rc h in g   re se a rc h   tren d re late d   to   HO TS   in   se lec ted   jo u rn a l a n d   to   re c o m m e n d   fu rth e re se a rc h   d i re c ti o n s.   K ey w o r d s :   An aly s is   B ib lio m etr ic   Hig h er   o r d er   th in k in g   s k ills   Scien ce   Selecte d   jo u r n als   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   W o r o   Su m ar n i   Do cto r al  Pro g r a m   o f   Natu r al  Scien ce   E d u ca tio n ,   Facu lt y   o f   Ma th em atics a n d   Natu r al  Scien ce s ,   Un iv er s itas   Neg er i Sem ar an g   Sek ar an ,   Pati,  Sem ar an g ,   5 0 2 2 9 ,   C en tr al  Ja v a,   I n d o n esia   E m ail:   wo r o s u m ar n i@ m ail. u n n es.a c. id       1.   I NT RO D UCT I O N   T h h u m an   r eso u r ce s   in   th 2 1 s ce n tu r y   is   claim ed   to   h av e   th r ee   ess en tial  ab ilit ies,   n am e ly   cr itical  th in k in g ,   cr ea tiv th in k in g ,   an d   p r o b lem - s o lv in g   [ 1 ] .   T h ese  th r ee   s k ills   ar k n o wn   as  h ig h -   lev el  th in k i n g   o r   h ig h er   o r d er   t h in k in g   s k ills   ( HOT S ) .   Ad ap tin g   to   th 2 1 s t   ce n tu r y   r eq u ir es  th a b ilit y   to   d ev elo p   cr ea tiv ity   an d   s o lv e   p r o b lem s   [ 2 ] .   C r itical  th in k in g   is   n ee d ed   in   s o lv in g   p r o b lem s ,   b ec au s e   th e   r a p id   d e v elo p m en o f   k n o wled g an d   tec h n o lo g y   h as  b r o u g h th ch allen g es  an d   p r o b lem s   th at  h u m an ity   wi ll  f ac in   th 2 1 st   ce n tu r y   to   b ec o m e   m o r e   co m p lex   [ 3 ] .   T h k i n d   o f   th in k in g   p r o ce s s   th at  s tu d e n ts   n ee d   to   d e v elo p   to   p r e p ar e   s tu d en ts   f o r   th e   r ea wo r ld   m u s b m o r th an   ju s s im p le  lear n in g   ab o u f ac ts   an d   co n ten [ 4 ] .   Hig h - lev el  th in k in g   s k ills   ar an   im p o r tan asp ec t   o f   teac h in g   lear n in g   p r o ce s s es  esp ec iall y   in   c o lleg es  o r   in s titu tio n s   [ 5 ] .   T h in k i n g   s k ills   tr ain in g   is   p ar o f   th g en er i s k ills   th at  s h o u ld   b em b e d d ed   in   all  s u b ject  tech n iq u e s   [ 6 ] .   Stu d en ts   with     h ig h - lev el  th i n k in g   s k ills   ar ab le  to   lear n   to   im p r o v th eir   p er f o r m a n ce   an d   r ed u ce   th eir   w ea k n ess es [ 7 ] .   C u r r en lear n in g   s h o u ld   p u t   m o r em p h asis   o n   th asp ec ts   o f   h ig h - lev el  th i n k in g   s k ills   [ 8 ] .   Dev elo p in g   s tu d e n ts   HOT S is   co m p lex   m u ltid im en s io n al  ch allen g in   e d u ca tio n   [ 9 ] .   HOT S is   th ab ilit y   to   an aly ze ,   ev alu ate,   s y n t h esize,   an d   cr itically   ev alu ate  in f o r m atio n   r ec eiv ed   [ 1 0 ] .   HOT also   p o in ts   to   th ab ilit y   o f   s tu d en ts   to   th in k   at  h ig h e r   lev el.   Stu d en ts   wh o   h av HOT will  b e   ab le  t o   an aly ze ,   ev alu ate,   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   1 Feb r u a r y   20 25 :   695 - 707   696   cr ea te  in n o v atio n s   in   s o lv in g   en v ir o n m e n tal  p r o b lem s   [ 1 1 ] .   HOT n ee d s   in   en v ir o n m en tal  s cien ce   an d   lear n in g .   T h at   i s   b ec au s o f   a   lo t o f   en v ir o n m en tal  p r o b lem s   th at  ca n   b s o lv e d   u s in g   HOT S c ap ab ilit ies [ 1 2 ] .   Alth o u g h   b io lo g y   lear n in g   h as  g r o wn   r ap i d ly ,   th er a r s till   s o m asp ec ts   th at  h av n o f u lly   f ac ilit ated   th d ev elo p m en t o f   h ig h - lev el  t h in k in g   s k ills .   B io lo g y   lear n in g   is   s till   f o cu s ed   o n   th ab s o r p tio n   o f   in f o r m atio n   an d   t h elab o r atio n   o f   co n ce p ts ,   with o u g i v in g   s u f f icien em p h asis   to   cr itical  an aly s is ,   s y n th esis ,   an d   e v alu atio n .   C u r r en t   ed u ca tio n   p lace s   cr itical  t h in k in g   an d   p r o b lem   s o lv in g   as  c o m p eten ce s   to   b e   m aster ed   b y   p u p ils   [ 1 3 ] .   HOT is   u s ed   to   f o r m   s tu d en ts   wh o   ar ca p ab le  o f   d ev elo p in g   cr itical,   cr ea tiv e,   an d   s elf - r elian th in k in g   s k ills   [ 1 4 ] .   T h f ac in   th f ield ,   n o all  t ea ch er s /ed u ca to r s   ar e   ab le  t o   c r ea te  s tu d en ts   wh o   ar ca p a b le  o f   cr itical  t h in k in g   an d   s o lv in g   p r o b lem s   i n   class r o o m s   o r   i n   r ea l   life   s itu atio n s .   On s ce n a r io   t h at  h ap p en s   i n   Ma lay s ia  is ,   teac h er s   ar e   tr ain ed   to   ask   HOT q u esti o n s   o n ly ,   m o s o f   th em   h av e   v e r y   litt le   k n o wled g e   o f   HOT p ed ag o g ics  [ 1 5 ] .   On o f   th b est  way s   f o r   s tu d e n ts   to   u s cr i tical  th in k in g   a n d     p r o b lem - s o lv in g   s k ills   in   ev e r y d ay   life   is   wh en   teac h er s   in   s ch o o ls   h av g o o d   p ed a g o g ics,  k n o wled g o f   HOT S,  r ea lly   u n d er s tan d   HOT th en   tr an s late  th at  k n o wled g in to   e v er y d ay   less o n s   s o   i b ec o m es  ea s ier   to   s ee   ch an g es in   s tu d en t th i n k in g   s k ills   [ 1 6 ] .   T h u s o f   HOT is   n o o n ly   ap p licab le  to   s p ec if ic  lev el  o f   ed u ca tio n ,   b u is   ex p ec ted   t o   ap p ly   to   all  lev els  o f   ed u ca tio n   [ 1 7 ] .   T h u s o f   HOT in   ea ch   lev el  o f   ed u ca tio n   v ar ies,  d e p en d in g   o n   th c u r r icu l u m   ap p lied   a n d   th e   p u r p o s o f   lear n in g   [ 1 8 ] .   Alth o u g h   HOT h as  g r ea t b en ef its   in   ed u ca tio n ,   th im p lem e n tatio n   o f   HOT in   th f ield   is   o f ten   h am p er ed   [ 1 9 ] .   T h ese  o b s tacle s   m ay   in clu d lack   o f   teac h er s   u n d er s tan d i n g   o f   HOT S,  lack   o f   s u p p o r f r o m   s ch o o ls   an d   f am ilies ,   an d   lack   o f   ad eq u ate  r eso u r ce s   an d   f ac ilit ies  [ 2 0 ] .   T h er ef o r e,   d ee p er   ef f o r ts   ar n ee d ed   to   im p lem en HOT i n   lear n in g .   I n   o r d er   to   f in d   o u th r esear ch   tr e n d s   in   th f ield   o f   HOT S th en   p e r f o r m ed   a n aly s is   lik b ib lio m etr ic  an aly s is   [ 2 1 ] .   B ib lio m etr ics  is   b r an ch   o f   i n f o r m atio n   s cien ce   co m m o n ly   u s ed   in   th f ield   o f   lib r ar ies  to   k n o in   d etail  th y ea r   o f   p u b licatio n ,   citatio n s ,   as  wel as  im ag es  an d   g r ap h ics  th at  ar p r esen in   th tex o f   th ar ticle  [ 2 2 ] .   B ib lio m etr ics  is   wid ely   u s ed   to   s tu d y   th e   in ter ac tio n   b etwe en   s cien ce   a n d   te ch n o lo g y in v esti g ate   n ew  d ev elo p m en ts   in   k n o wled g in   p ar ticu lar   f ield a n d   p r o d u ce   m a p p in g   o f   f iel d s   o f   s cien ce   [ 2 3 ] .     I n   lo o k in g   at  HOT r esear ch   t r en d s ,   b ib lio m etr ic  an aly s is   b ec o m es  im p o r tan [ 2 4 ] .   B ib lio m etr ic  an aly s is   ca n   h elp   to   s ee   th n u m b er   an d   q u ality   o f   s cien tific   p u b licatio n s   ab o u HOT in   s elec ted   j o u r n als,  th au th o r s   m o s t in v o lv ed   in   th is   r esear ch ,   as we ll a s   th d ev elo p in g   r esear ch   tr en d s   in   r ec en y ea r s   [ 2 5 ] .       2.   M E T H O D   R esear ch   m eth o d s   f o llo b i b lio m etr ic  s tu d y   g u i d elin es  u s in g   Go o g le  Sch o lar   an d   S co p u s   d atab ases   b ec au s th ese  s o u r ce s   in clu d jo u r n als  th at  ar co n s id er ed   m o r r elev an b y   th s cien tific   co m m u n ity ,   as  well  as  th eir   r ig id ity   an d   p er io d icit y .   T h r esear ch   was  ca r r ie d   o u u s in g   d atab ase  f r o m   th r e s elec ted   jo u r n als  n am ely   J o u r n al  o f   R esear ch   i n   Scien ce   T ea ch in g   ( J R ST ) I n ter n atio n al  J o u r n al  o f   Scien c E d u ca tio n   ( I J SE )   an d   R ev iew  o f   E d u ca tio n al  R esear ch   ( R E R ) .   T h r esear ch   b eg an   with   an   o n lin s ea r ch   u s in g   th Pu b lis h   o r   Per is h   ( Po P)  ap p licatio n   s tar t in g   Octo b er   1 0 ,   2 0 2 3 .   T h s t ep s   tak en   o n   th is   s tu d y   ca n   b s ee n   in   Fig u r e   1 .   R esear ch er s   s ea r ch ed   ar ticles o n lin b y   en ter in g   k ey w o r d s   HOT S ,   s cien ce   f r o m   2 0 1 4   to   2 0 2 3 .   Data   s ea r ch   is   d o n u s in g   t h Po ap p licatio n .   T h e r w er 3 3 3   d o cu m en ts   m ee tin g   th s ea r ch   cr iter ia  f r o m   9 4 7   d o cu m e n ts   th r o u g h o u 2 0 1 4   to   2 0 2 3 .   T h d ata  o b tain ed   f r o m   th Po s e ar ch   r esu lts   d id   n o all  m atch   wh at  th r esear ch e r s   ex p ec ted ,   b ec a u s b ased   o n   th an aly s is   o f   r esear ch er s   th r o u g h   t h s cr ee n in g   o f   ar ticles  th er ar s till   m an y   ar ticles  th at  d o   n o m atch   th r esear ch   th em e,   s u ch   as  th e m er g en ce   o f   ar ticles  ab o u cr iticis m   o f   p o liti cs.  B e s id es,  th er ar also   d u p licate  an d   in ac ce s s ib le  ar ticle  d ata.   T h d ata  th at  h as  b ee n   c o llected   is   th e n   s to r e d   in   . r is   f o r m .   Su b s eq u e n tly ,   th d ata   o b tain e d   is   t h en   p r o ce s s ed   in   v ar io u s   p r o g r a m s   f o r   b ib lio m etr ic  an d   n etwo r k   a n aly s is Mic r o s o f E x ce an d   VOSv iewe r   [ 2 6 ] .   T h VOSv iewe r   s o f twar is   u s ed   to   f in d   t r en d s   in   r esear ch   o n   HOT S [ 2 7 ] .           Fig u r 1 .   Step s   in   p e r f o r m in g   b ib lio m etr ic  an aly s is       Id e n tif ic at ion   Sc re e n ing   E li gi b il ity   In cl u d e d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Hig h er o r d er th in kin g   s kills   r e s ea r ch   tr en d s :   a   b ib lio metric a n a lysi s   in   s elec ted   jo u r n a ls   … ( Lil is   Li s ma ya )   697   T h in v esti g atio n   was  c o n d u c ted   to   an aly z r esear ch   tr en d s   th at  in clu d e d   th p r o f ile  o f   p u b licatio n s   o f   HOT S   in   s elec ted   jo u r n al s ,   th d is tr ib u tio n   o f   th p u b licatio n   o f   HOT b ased   o n   t h lo ca tio n   o f   t h e   r esear ch ,   d is tr ib u tio n   in   th s u b ject  ca teg o r ies  o f   th s tu d y   m a n u s cr ip ts   o f   th HOT S ,   p atter n s   o f   th e   d is s em in atio n   o f   th HOT s   b a s ed   o n   f ield s   o f   s cien ce ,   th d is p er s io n   o f   th h ig h   o r d e r   th in k in g   s k ills   b ased   o n   e d u ca tio n al   lev el,   a n d   tr e n d s   in   t h s tu d y   o f   th e   HOT S   d u r in g   2 0 1 4   to   2 0 2 3 .   T h e   em er g en ce   o f   jo in k ey wo r d s   is   d o n with   VOSv iewe r ,   wh ich   u s es  th v is u aliza tio n   o f   s im ilar ities   ( VO S)  alg o r ith m   as  an   alter n ativ to   m u ltid im en s io n al  s ca lin g   [ 2 8 ] .   Gen er ally   s p e ak in g ,   th r esear ch   p r o ce d u r e s   ca r r ied   o u in   th is   s tu d y   was a d o p ted   f r o m   p r e v io u s   r esear ch   [ 2 9 ] ;   it c an   b s e en   in   Fig u r 2 .   C h o o s in g   1 0 - y ea r   p er io d   as  th tim f r am f o r   r ev iewin g   th ar ticle  h as  s o m co n s id er atio n s   r elate d   to   d ec is io n - m a k in g   [ 3 0 ] .   Her e   ar e   s o m r ea s o n s   wh y   u s in g   1 0 - y ea r   p er io d ,   n a m ely u s in g   a   1 0 - y ea r   p er io d   ca n   p r o v id e   m o r d a ta  an d   r esear ch   r elev an t o   th r ev iew.   T h is   ca n   in cr ea s th ch an ce s   o f   id en tify in g   s tr o n g er   tr en d s ,   m o r estab lis h ed   co n ce p ts ,   o r   g ap s   in   liter atu r e.   I n   a d d itio n ,   m an y   s cien tific   r esear ch   tak es  p lace   in   p ar ti cu lar   cy cle,   lik f iv o r   ten   y ea r s .   Usi n g   1 0 - y ea r   p er io d ,   it  is   p o s s ib le  to   s ee   ch an g es  an d   d ev el o p m en ts   o v er   tim [ 3 1 ] .   Usi n g   r o u n d er   p er io d   s u ch   as  1 0   y ea r s   ca n   m ak it  ea s ier   to   co m p ar r e v iews  o f   d if f er en ar ticles  ca r r ied   o u o v er   th s am p er io d   o f   tim e.   I ca n   h elp   m ain tain   co n s is ten cy   in   s cien tific   r esear ch   [ 3 2 ] .           Fig u r 2 .   R esear ch   p r o ce d u r e       3.   RE SU L T S AN D I SCU SS I O N   B ased   o n   b ib lio m etr ic  an aly s is   o f   th s ea r ch   r esu lts   Po P   ca n   g r o u p   t h ar ticles  ac co r d in g   to   s ev er al   cr iter ia,   i.e . ,   ac co r d in g   to   th e   m o s q u o tatio n s ,   th e   d is tr ib u ti o n   o f   ar ticles  b ased   o n   th n u m b er   o f   s cr ip ts   p er   y ea r ,   c o u n tr y   o f   o r ig i n ,   r esear ch   m eth o d s ,   HOT asp ec ts ,   r e s ea r ch   ty p e,   s u b ject   ca teg o r y   an d   v is u aliza tio n   o f   HOT S r esear ch   tr en d s   d u r in g   2 0 1 4   t o   2 0 2 3   u s in g   VOSv iewe r .     3 . 1 .    Ra n k ing   o f   hig her  o rde t hin k ing   s k ills   a rt icle  writ er s   ba s ed  o n num ber  o f   cit a t io ns   T h f ir s c r iter io n   is   th r an k i n g   o f   HOT a r ticle  au th o r s   b ased   o n   th e   h ig h est  n u m b er   o f   citatio n s th r esu lts   ca n   b s ee n   in   T ab le  1 .   B ased   o n   th tab le ,   it  ca n   b s ee n   th at  th m o s citatio n s   f r o m   th r esear ch   in q u ir y   with   t h m o s n u m b e r   o f   citatio n   as  m u ch   as  1 9 9 9   is   o n   b e h alf   o f   Ab r am i,  B e r n ar d   with   t h titl ar ticle  “Str ateg ies  f o r   teac h in g   s tu d en ts   to   th in k   cr itically m eta - an aly s is ”.   B es id es,  th m o s citatio n s   al s o   E lig ib le     N   =   3 5 4   Sy n th esizin g /C o n clu d in g   th i n clu d ed   f u ll -   tex t a r ticle   3 3 3   ar ticles we r e   co n s id er ed   in   th   an aly s is   (n   =   3 3 3 )   I nclu ded     A n a ly z in g   th e   in cl u d ed   t h e   f u l l - te x t   ar ticles   E lig ibi l it y   A s s e s s in g   th e   f u ll - tex t   ar ticles   f o r   elig i b ilit y   Scre ening   I d e n tifiy in g   titl e ,   a b s tr a c t,  a n d   k e y w o r d s   o f   th e   r elev an t   ar ticle.   9 4 7   ( in d ex e d   by   G o o g le   Sho la r   &   Sco p u s )   I dentif ica t io n   Sear ch in g   r esear ch   ar ticles p u b lis h ed   in   3   s elec ted   jo u r n als I J SE,   J R ST  an d   R E R   d u r in g   2 0 1 4 - 2 0 2 3   f r o m   th s ea r ch   r esu lts   Pu b lis h   o r   P er is h   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   1 Feb r u a r y   20 25 :   695 - 707   698   o b tain ed   ar ticles  th at  s tu d y   H OT u s in g   d if f er en m e d ia  an d   lear n in g   s tr ateg ies.  I s h o ws   th at  HOT ca n   b d ev elo p e d   with   v ar iety   o f   le ar n in g   s tr ateg ies  [ 3 3 ] ,   o n o f   wh ich   is   in q u ir y ,   b ec au s with   lear n in g   i n q u ir ies   s tu d en ts   ar u s ed   to   th in k in g   at  a   h ig h   lev el   in   lear n in g   [ 3 4 ] ,   s tu d en ts   ar e   tr ain e d   to   d is co v er   th eir   o w n   k n o wled g t h r o u g h   d i r ec o b s er v atio n   in   th en v ir o n m en t   ar o u n d   s tu d en ts   [ 3 5 ] .   T h r o u g h   in q u ir y   ca n   also   en co u r a g in d iv id u als  to   f in d   cr ea tiv s o lu tio n s   to   p r o b lem s   o r   q u esti o n s   th ey   f ac e .   T h is   p r o ce s s   in v o lv es  a   v ar iety   o f   HOT S sk ills ,   s u ch   as p r o b lem - s o lv in g ,   cr ea tiv ity ,   an d   cr itical  th in k i n g   [ 3 6 ] .       T ab le  1 .   R an k in g   o f   ar ticle  wr iter s   HOT S   b y   n u m b er   o f   citat io n s   A u t h o r   Ti t l e   N u mb e r   o f   c i t a t i o n s   A b r a mi   a n d   B e r n a r d   S t r a t e g i e s   f o r   t e a c h i n g   st u d e n t s   to   t h i n k   c r i t i c a l l y :   a   met a -   a n a l y s i s   1 9 9 9   K e n n e d y   H o w   d o e s   p r o f e ss i o n a l   d e v e l o p m e n t   i mp r o v e   t e a c h i n g ?   1 6 8 0   Ev a n s   M a k i n g   se n se   of   a ss e ssm e n t   f e e d b a c k   in   h i g h e r   e d u c a t i o n   1 3 9 6   M a n z   R e p r e se n t i n g   st u d e n t   a r g u m e n t a t i o n   as   f u n c t i o n a l l y   e mer g e n t     f r o m   sci e n t i f i c   a c t i v i t y   1 0 1 8   La z o n d e r   a n d   H a r mse n   M e t a - a n a l y s i s   of   i n q u i r y - b a se d   l e a r n i n g :   e f f e c t s   of   g u i d a n c e   9 6 6   La z o w sk i   a n d   H u l l e ma n   M o t i v a t i o n   i n t e r v e n t i o n s   in   e d u c a t i o n :   a   m e t a - a n a l y t i c   r e v i e w   8 1 2   Th u r l i n g s   a n d   T e v e r s   To w a r d   a   m o d e l   o f   e x p l a i n i n g   t e a c h e r s   i n n o v a t i v e   b e h a v i o r :   a   l i t e r a t u r e   r e v i e w   7 5 0   v a n   d e r   K l e i j   a n d   F e sk e n s   Ef f e c t s   of   f e e d b a c k   in   a   c o mp u t e r - b a s e d   l e a r n i n g   e n v i r o n me n t   on   s t u d e n t s'   l e a r n i n g   o u t c o mes :   a   me t a -   a n a l y si s   7 3 5   K u l i k   a n d   F l e t c h e r   Ef f e c t i v e n e ss   of   i n t e l l i g e n t   t u t o r i n g   s y st e ms :   a   m e t a - a n a l y t i c   r e v i e w   6 7 8   AI   A b d u l   J a b b a r   a n d   F e l i c i a   G a mep l a y   e n g a g e me n t   a n d   l e a r n i n g   in   g a m e - b a se d   l e a r n i n g :   sy s t e m a t i c   r e v i e w   6 5 7       3 . 2 .    Num ber  o f   m a nu s cr ipts   pu bli s hed h ig her  o rder   t hin k ing   s k ills   per  y ea r   T h p u b licatio n s   d ed icate d   to   th s tu d y   o f   HOT S   th r o u g h o u th y ea r   2 0 1 4   to   2 0 2 3   ar s h o wn   in   Fig u r 3 .   HOT r esear ch   th r o u g h o u 2 0 1 4   to   2 0 2 3 .   T h e   n u m b er   o f   HOT ar ticles  v ar ies  f r o m   y ea r   to   y ea r .   T h f u ll r esu lts   o f   t h n u m b er   o f   HOT S a r ticles d u r in g   2 0 1 4   to   2 0 2 3   ca n   b s ee n   in   Fig u r 3 .           Fig u r 3 .   Nu m b er   o f   m a n u s cr i p ts   p u b lis h ed   b y   HOT S   ea ch   y ea r       B ased   o n   Fig u r 3 ,   it  ca n   b e   s ee n   th at  if   an aly ze d   ev er y   y ea r   it  tu r n s   o u th n u m b er   o f   HOT r esear ch   v ar ies  an d   t h h ig h est  n u m b er   o f   Ho ts   r esear ch   wa s   in   2 0 1 6   b o th   i n   th I J SE,   J R ST  an d   R E R .   T h is   s h o ws  th at  HOT s tu d y   is   s t ill  an   in ter esti n g   to p ic  to   s tu d y ,   eith er   in   ter m s   o f   th im p lem en tatio n   o f   th e   m o d el,   t h v a r iab les  m ea s u r ed ,   o r   th m eth o d s   o f   r esear ch   u s ed .   Acc o r d in g   to   th e   an aly s is   o f   th ar ticle  t h er e   was  d ec r ea s i n   th e   n u m b e r   o f   ar ticles  in   th e   th r ee   jo u r n als  in   2 0 1 7   d u t o   th e   s h if in   th e   f o c u s   o f   th e   p r io r ity   o f   th jo u r n al  th at  in f l u en ce d   r esear ch e r s   to   p r ef er   r esear ch   to p ics th at  ar less   en co u r ag in g   o r   o u ts id th ar ea   o f   HOT S,  s u ch   as  th em er g en ce   o f   r esear ch   r elat ed   lo wer   o r d er   t h in k in g   s k ills   ( L OT S ) .   B u in   th e   y ea r s   th at  f o llo wed ,   th to p ic  o f   HOT b ac k   b ec a m to p ic  o f   ch o ice  f o r   r esear ch er s   in   t h th r ee   jo u r n als.   L OT S   r ef er s   to   b asic  lev el  th in k in g   s k ills   th at  in v o lv u n d er s tan d in g ,   r em e m b er in g ,   an d   ap p ly in g   co n cr ete  in f o r m atio n   [ 3 7 ] .   T h is   s k ill   f o cu s es  m o r o n   th f u n d am e n tal  asp ec ts   o f   co n ce p o r   m ater ial  th an   o n   th e   an aly s is ,   ev alu atio n ,   o r   s y n th esis   o f   m o r c o m p l ex   in f o r m atio n .   So m e   ex am p les  o f   L OT S   a r e:   m em o r y ,   u n d er s tan d in g ,   a p p li ca tio n ,   class if icatio n   an d   co m p ar is o n   [ 3 8 ] .   L OT S   ten d   to   b e   co n cr ete   an d   f o cu s   o n   th in itial  asp ec ts   o f   u n d er s tan d in g   m atter .   Alth o u g h   L OT is   im p o r tan as  b asis   f o r   u n d e r s tan d in g   co n ce p ts ,   th o b jectiv o f   h i g h er   ed u ca tio n   is   to   d ev elo p   HOT S   s o   th at   s tu d en ts   ca n   ca r r y   o u an aly s is ,   s y n th esis ,   ev alu atio n ,   a n d   a p p licatio n   o f   c o n ce p ts   in   m o r e   co m p lex   c o n tex ts   [ 3 9 ] .   Stu d e n ts   u s u ally   s tar b y   d ev elo p in g   L OT S a n d   th en   p r o g r ess   to   h ig h   lev el  o f   th in k i n g   o v e r   tim an d   th eir   lear n in g   ex p er ie n ce .     18   16   14   12   10   8   6   4   2   0   RER   IJSE   JRS T   2 0 1 4   2 0 1 5   2 0 1 6   2 0 1 7   2 0 1 8   2 0 1 9   2 0 2 0   2 0 2 1   2 0 2 2   2 0 2 3   Yea r   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Hig h er o r d er th in kin g   s kills   r e s ea r ch   tr en d s :   a   b ib lio metric a n a lysi s   in   s elec ted   jo u r n a ls   … ( Lil is   Li s ma ya )   699   3 . 3 .    Dis t ributio n o f   hig her  o rder   t hin k ing   s k ills   pu bli ca t i o ns   by   co un t ry   B ased   o n   th d is tr ib u tio n   o f   HOT p u b licatio n s ,   it  ca n   b s ee n   th at  th lo ca tio n   o f   r esear ch   o n   HOT v ar ies,  an d   is   d o m in ated   b y   th f o u r   co u n tr ies  with   th h ig h est  n u m b e r   o f   p u b li ca tio n s   in   th th r ee   s elec ted   jo u r n als:   th Un ited   States ,   th Un ited   Kin g d o m ,   Au s tr alia ,   an d   C an ad a.   T h e   f u ll  r esu lts   o f   th e   n u m b er   o f   HOT ar ticles  b y   co u n tr y   o f   o r ig i n   d u r in g   2 0 1 4   to   2 0 2 3   ca n   b e   s ee n   in   Fig u r 4 .   T h e   f iv co u n tr ies  with   th h ig h est  n u m b er   o f   HOT s cr ip ts   ar th Un ited   States ,   th Un ited   Kin g d o m ,   Au s tr alia ,   Sp ain ,   an d   T h ailan d .   T h is   s u g g ests   th at  HOT r esear ch   is   s till   lo d o n e   in   d if f er en t   co u n tr ies,  with   th e   r esear ch   f o c u s   in   ter m s   o f   f in d in g   an d   in v esti g atin g   s o m et h in g   ( o b jects,  h u m an s ,   o r   ev e n ts )   s y s tem atica lly ,   cr itically ,   lo g ically ,   an aly ticall y   s o   th at  th ey   ca n   f o r m u late  th eir   o wn   d is co v e r ies with   co n f i d en ce .     B ased   o n   r ev iew  o f   th H OT r esear ch   ar ticle ,   it  ca n   b an aly ze d   th at  i n   th Un it ed   States ,   r esear ch   o n   HOT is   m o r r el ated   to   cu r r icu l u m   d e v elo p m e n an d   ev alu atio n .   T h e r is   s tr o n g   ap p r o ac h   t o   ac tio n   r esear ch ,   wh e r teac h e r s   an d   r esear ch e r s   wo r k   to g et h er   to   d esig n   an d   im p lem en teac h in g   s tr ateg ies  th at  en h a n ce   HOT S,  with   a   f o cu s   o n   ev alu atin g   th e   ef f ec tiv en ess   o f   teac h in g   m et h o d s .   HOT r esear ch   in   th e   UK  f o cu s es  o n   in teg r atin g   h ig h - lev el  th i n k in g   s k ills   in to   ed u ca tio n al  cu r r ic u la.   T h e r is   an   in ter est  in   m ea s u r in g   a n d   d ev elo p in g   a n aly tical,   s y n th esis ,   an d   e v alu a tio n   s k ills   th r o u g h   ac tiv e   lear n in g   a p p r o ac h es  an d   co llab o r ativ p r o jects.  R esear ch   in   Au s tr alia  in clu d es  ef f o r ts   to   en h an ce   cr itical  an d   cr e ativ th in k in g   s k ills   ac r o s s   ed u ca tio n al   lev els.  T h r esear ch   p r o jects  f o c u s   o n   th d ev elo p m en t   o f   in s tr u ct io n   th at   s tim u lates    h ig h - lev el  th i n k in g   an d   t h u s o f   tech n o lo g y   to   im p r o v e   HOT S.            Fig u r 4 .   Nu m b er   o f   HOT S p u b licatio n s   b y   c o u n tr y       HOT r esear ch   in   Sp ain   r elate s   to   ef f o r ts   to   m o d er n ize   th e   ed u ca tio n   s y s tem   a n d   ad ap t   it  to   g lo b al   d em an d s .   R esear ch   f o cu s es  in clu d th im p lem en tatio n   o f   in n o v ativ teac h i n g   s tr ateg ies,  th d ev elo p m e n o f   cu r r icu l u m   th at   s u p p o r ts   HOT S,  an d   th e   ev alu atio n   o f   t h lear n in g   im p a ct  o f   HOT S.  HOT r esear ch   i n   T h ailan d   r ef lects  ch an g es  in   teac h in g   an d   lear n in g   ap p r o ac h es  at  th n atio n al  lev el.   R esear ch   f o c u s ed   o n   th e   in tr o d u ctio n   o f   teac h in g   m eth o d s   th at  p r o m o te  h i g h - lev el  th in k in g   s k ills   in   th cu r r icu lu m .   T h er ar e   s ev er al  r ea s o n s   wh y   r esear ch   o n   HOT is   m o r e   p r o m i n en in   th Un ited   States ,   o n o f   wh ich   is   th at  th ed u ca tio n   s y s tem   in   th US,  esp ec ially   at  th co lleg lev el,   o f ten   em p h asizes  th e   d ev elo p m e n o f   HOT S   [ 4 0 ] .   Un iv er s ities   an d   h ig h e r   e d u ca tio n   in s titu tio n s   in   Am er ica  u s u ally   p lace   im p o r tan ce   o n   d ev el o p in g   h i g h - lev el  th in k in g   s k ills   as  p ar o f   co m p r eh en s iv e d u ca tio n   [ 4 1 ] .   T h Un ited   States   h as  lo n g   h is to r y   in   d ev elo p in g   an d   ad o p tin g   i n n o v ativ ap p r o ac h es  to   e d u ca tio n .   Ma n y   e d u ca tio n al   in s titu tio n s   in   th e   co u n tr y   ar tr y in g   t o   in te g r ate  HOT in to   th eir   cu r r icu la  in   r esp o n s to   th ch a n g in g   n ee d s   o f   th in c r ea s in g ly   co m p lex   la b o r   m a r k et  [ 4 2 ] .     3 . 4 .    Dis t ributio n o f   hig her  o rder   t hin k ing   s k ills   re s ea rc h   s cr ipt  in s u bje ct   I ter m s   o f   r esear ch   s u b ject  ca teg o r ies,  Fig u r 5   s h o ws  s o m r esear ch   s u b jects  f o u n d   in   HOT ar ticle  m an u s cr ip ts   th r o u g h o u t   2 0 1 4   to   2 0 2 3 ,   in clu d in g   teac h er s ,   lectu r er s ,   s tu d en ts ,   h ig h   s ch o o l stu d en ts ,   an d   h ig h   s ch o o l/S ME   s tu d en ts .   Fig u r 5   s h o ws  th o r d er   o f   th e   n u m b er   o f   s cr ip ts   p u b lis h ed   b y   HOT ac co r d in g   to   th ca teg o r y   o f   r esear ch   s u b jects  ar teac h er s ,   f o llo wed   b y   lectu r er s .   T h n ex s u b j ec ts   ar elem en tar y   s ch o o s tu d en ts ,   h ig h   s ch o o s tu d en ts   an d   h ig h   s ch o o l/s ec o n d ar y   v o ca tio n al   s ch o o l   s tu d en ts .   I t   s h o ws  th at   HOT r esear ch   ca n   b d o n o n   d if f e r en lev els  o f   ed u ca tio n .   I t   i s   tailo r ed   to   th s tu d e n t's   lev el  o f   th in k in g ,   b ec au s HOT S e n co m p ass es h ig h - lev el  th in k in g   s k ills   th at  a r ess en tial f o r   o n e's in tellectu al  an d   p r o f ess io n al  d ev elo p m e n t.  HOT in v o lv es  cr itical,   ev alu ativ e,   an d   an aly t ical  th in k in g   s k ills   [ 4 3 ] .   T h ese  s k ills   ar r elev a n t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   1 Feb r u a r y   20 25 :   695 - 707   700   at  all  lev els  o f   ed u ca tio n   an d   h elp   s tu d en ts   d ev elo p   cr itical  th in k in g   to war d s   th in f o r m atio n   an d   co n ce p ts   th ey   f ac [ 4 4 ] .   HOT in co r p o r ates  p r o b lem - s o lv in g   s k ills ,   wh ich   ar u n iv e r s al  s k ills   r eq u ir ed   in   v ar iety   o f   life   co n tex ts .   T h ese  s k ills   ar r elev an f r o m   th elem e n tar y   s ch o o lev el  to   co lleg e   an d   e v en   in   th c o n tex o f   wo r k .   HOT c o v er s   th e   asp ec o f   c r ea tiv ity ,   wh ic h   is   h ig h ly   v alu ed   s k ill  in   v ar io u s   ar ea s   o f   life .   Hig h - lev el   ed u ca tio n   n ee d s   to   en c o u r a g an d   d e v elo p   s tu d e n ts '   cr ea tiv it y   to   h elp   th em   b ec o m in n o v a tiv th in k er s   [ 4 5 ] .           Fig u r 5 .   Dis tr ib u tio n   o f   HOT p u b licatio n   s cr ip t b y   s u b ject   ca teg o r y       3 . 5 .    Dis t ributio n o f   re s ea rc h   s cr ipt  hig her  o rder   t hin k ing   s k ills   ba s ed  o n r esea rc h m et ho ds   I n   ter m s   o f   r esear ch   m eth o d s ,   Fig u r 6   s h o ws  th e   m et h o d s   u s ed   in   a r ticle  m an u s cr ip ts   t h r o u g h o u 2014 - 2 0 2 3 .   T h f ig u r e   s h o ws  th at  th m o s wid ely   u s ed   r es ea r ch   m eth o d s   in   HOT p u b licatio n   m an u s cr ip ts   o n   s elec ted   jo u r n als  ar e   ac tio n   r esear ch ,   liter atu r e   r ev iew ,   an d   s u r v ey ,   s o   th is   s u g g ests   th at  th a p p r o p r iate   r esear ch   m eth o d   we  u s to   im p r o v HOT S   is   ac tio n   r esear c h .   Actio n   r esear ch   m eth o d s   ar o f ten   co n s id er ed   s u itab le  f o r   en h an cin g   HOT S   b ec au s th ey   h av s o m ad v a n tag es  an d   ch ar ac ter is tics   th at   m atch   th g o al  o f   d ev elo p in g   h ig h - lev el  th in k i n g   s k ills   [ 4 6 ] .   Actio n   r esear ch   in v o lv es  th ac tiv p ar ticip ati o n   o f   p r ac titi o n er s ,   s u ch   as  teac h er s ,   in   th r esear ch   p r o ce s s .   T h u s ,   teac h er s   ar n o o n ly   th s u b ject  o f   r esear c h   b u also   th m ain   ac to r s   in v o lv ed   in   lear n in g   ch an g an d   d e v elo p m e n t.  A ctio n   r esear ch   f o cu s es  o n   p r o b lem   s o lv in g   a n d   im p r o v em e n t w ith in   th c o n te x t o f   d aily   ac tiv ities   in   th class r o o m   o r   ed u ca tio n al  en v ir o n m en t [ 4 7 ] .     I allo ws  teac h er s   to   r esp o n d   d ir ec tly   to   th r ea n ee d s   an d   ch allen g es  th eir   s tu d en ts   f ac in   d ev elo p in g   HOT S.  Mo r eo v er ,   th r o u g h   ac tio n   r esear c h ,   teac h er s   ca n   f ee m o r em p o wer e d   in   m an ag in g   an d   lead in g   ch an g in   th eir   class r o o m .   Stu d e n ts   ca n   also   b in v o lv ed   in   t h lear n in g   p r o ce s s ,   allo win g   th em   to   h av m o r ac tiv r o le  in   th d ev elo p m e n o f   h ig h -   lev el  th in k in g   s k ills .   Ov er all,   ac tio n   r esear ch   ca n   b a   u s ef u an d   r elev an t   r esear ch   m eth o d   t o   en h an ce   HOT as  i p r o v i d es  s p ac f o r   ac tiv in v o lv em en t,  s u s tain ed   r ef lectio n ,   an d   co n tex tu al  a d a p tatio n   th at  is   ess en tial  f o r   th d ev elo p m e n o f   h ig h - lev el  t h in k in g   s k ills   in   an   ed u ca tio n al  co n tex t [ 4 8 ] .           Fig u r 6 .   Dis tr ib u tio n   o f   th HOT p u b licatio n   s cr ip t b ased   o n   r esear ch   m eth o d s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Hig h er o r d er th in kin g   s kills   r e s ea r ch   tr en d s :   a   b ib lio metric a n a lysi s   in   s elec ted   jo u r n a ls   … ( Lil is   Li s ma ya )   701   3 . 6 .    Dis t ributio o f   re s ea rc h   s cr ipt  hig her  o rder   t hin k ing   s k ills   ba s ed  o n r esea rc h   I n   ter m s   o f   th t y p o f   r esear c h   s cr ip t,  Fig u r 7   s h o ws  s o m e   ty p es  o f   r esear ch   m a n u s cr ip ts   f o u n d   in   th HOT ar ticle  s cr ip th r o u g h o u 2 0 1 4   to   2 0 2 3 ,   in clu d i n g   em p ir ical,   p o s itio n ,   th e o r y ,   an d   r ev iew.   T h e   f ig u r e   s h o ws  th e   o r d e r   o f   th n u m b er   o f   HOT p u b licatio n s   b ased   o n   th e   ty p o f   r esear c h   m an u s cr ip t   is   th e   em p ir ical  ty p in   b o th   R E R ,   I J SE  an d   J R ST  jo u r n als.  E m p ir ical  r esear ch   is   m u ch   d o n b y   r esear ch e r s   b ec au s it  p r o d u ce s   em p ir ical  d ata  an d   co n cr ete  ev id e n ce   t h at  ca n   s u p p o r claim s   o r   f i n d in g s .   I n   t h co n tex t   o f   HOT S,  it  is   im p o r tan t   to   h av em p ir ical   ev id e n ce   th at   c an   d em o n s tr ate  th e   ef f ec tiv e n ess   o f   m et h o d   o r   ap p r o ac h   in   im p r o v in g   HOT S   [ 4 9 ] .   T h e r ef o r e ,   em p ir ic  r esear ch   is   o f ten   co n s id er ed   m o r co n v in cin g   an d   h a s   g r ea ter   im p ac i n   s h ap in g   le ar n in g   p o licies  o r   p r ac tices.  E m p ir ical  r esear ch   m a y   in clu d e   s tu d ies  o f   s tu d en t   co g n itiv d ev elo p m en a n d   th im p ac t   o f   v ar io u s   lea r n in g   f ac to r s   o n   HOT S   [ 5 0 ] .   I p r o v id es  d ir ec i n s ig h in to   th s p ec if ic   way s   th at  a p p r o ac h es  o r   m eth o d s   ca n   i n f lu en ce   th d e v elo p m en o f   HOT S.  E m p ir ical   r esear ch   is   o f ten   ea s ier   to   a d o p b y   ed u ca tio n al  p r ac titi o n er s   b ec au s it  p r o v id es  co n cr ete   in s ig h ts   in to   wh at   wo r k s   an d   ca n   b ap p lied   in   lear n in g   s ettin g s .   I in cr ea s e s   th r ec ep tiv ity   o f   r esear ch   b y   th e   ed u ca tio n al   co m m u n ity   an d   f ield   p r ac titi o n er s   [ 5 1 ] .           Fig u r 7 .   Dis tr ib u tio n   o f   HOT S   p u b licatio n   s cr ip t b ased   o n   r esear ch   s cr ip t ty p es       3 . 7 .    Dis t ributio n o f   pu bli ca t io ns   ba s ed  o hig her  o rder   t hin k ing   s k ills   a s pect s   B ased   o n   th d is tr ib u tio n   o f   HOT p u b licatio n s ,   it  ca n   b s ee n   th at  th asp ec ts   s tu d ied   in   HOT S   v ar y   in   th th r ee   s elec ted   jo u r n als:   cr itical  th in k in g ,   cr ea tiv e   th in k in g ,   p r o b lem   s o lv in g   an d   d ec is io n   m ak in g .   T h r esu lts   o f   th d is tr ib u tio n   o f   th e   p u b licatio n   m a n u s cr ip b ased   o n   HOT asp ec ts   ca n   b s ee n   in   Fig u r 8 .   B ased   o n   Fig u r 8 ,   it  ca n   b s ee n   th at  th d is tr ib u tio n   o f   r esear ch   p u b licatio n   m an u s cr ip ts   b ased   o n   HOT S   asp ec ts   th at  ar m o s s tu d ied   in   th th r ee   s elec ted   jo u r n als  ar cr itical  th in k in g   an d   p r o b l em   s o lv in g .   T h er ar also   asp ec ts   o f   cr ea tiv th in k in g ,   d ec is io n   m a k in g ,   an al y zin g ,   ev alu atin g ,   s y n th esis ,   cr ea tin g ,   an d   L OT S C r itical  th in k in g ,   cr ea tiv th in k in g ,   an d   d ec is io n   m a k in g   a r e   m u ch   s tu d ied   at  t h s tu d en l ev el  b ec au s at  th is   lev el,   s tu d en ts   en g ag e   in   d ee p er   an d   m o r a n aly tical  lear n in g   [ 5 2 ] .   T h ey   a r e   in v ited   to   q u e s tio n ,   ev alu ate,   an d   d etail  in f o r m atio n   c r itically .   Dis cu s s io n s   an d   m o r e   in - d e p th   r esear ch   ten d   to   b u ild   c r itical  th in k in g   s k ills .   B esid es,  co lleg p r o g r am s   o f t en   em p h asize  cr ea tiv p r o b le m - s o lv in g   an d   in n o v atio n .   St u d en ts   o f ten   e n g ag e   in   cr ea tiv p r o jects  an d   r ese ar ch   th at  d r i v th eir   im ag i n atio n .   Stu d en ts   ar also   o f te n   co n f r o n ted   with   s itu atio n s   th at  r eq u ir co m p lex   d ec is io n - m ak in g .   Dec is io n - m ak in g   p r o ce s s es  b ased   o n   an aly s is   an d   ev alu atio n   o f   in f o r m atio n   ar b ec o m in g   m o r co m m o n .   L OT its elf   i s   m u ch   r esear ch ed   at  th lev el  o f   p r im ar y   a n d   s ec o n d ar y   ed u ca t io n   b ec au s lear n in g   is   s till   f o cu s ed   o n   i n cr ea s in g   k n o wled g e,   co m p r eh en s io n ,   an d   ap p licatio n   [ 5 3 ] .   T h lo w   lev el  o f   r esear ch   o n   cr itical  th in k in g ,   cr ea tiv e   th i n k in g ,   an d   d ec is io n - m ak in g   o cc u r r ed   in   p r im ar y   s ch o o ls ,   d u e   to   th e   f o cu s   o f   d ev el o p m en t   in   th e   n e p r im ar y   s ch o o o n   b asic  cr i tical - th in k in g   s k ills   s u ch   as  s im p le  o b s er v atio n ,   c lass if icatio n ,   an d   p r o b lem - s o lv in g .   I n   ter m s   o f   cr ea tiv ity ,   t h er is   in d ee d   g r ea t   p o ten tial  f o r   cr ea tiv ity   at  th is   lev el,   b u it  d e p en d s   o n   th teac h in g   ap p r o ac h   an d   em p h a s is   o n   th s u b ject.   Fu r th er m o r e ,   alth o u g h   th d ec is io n s   at  th is   lev el  m ay   b s im p ler ,   th ey   r em ain   im p o r tan f o r   ch ild r e n ' s   d ev elo p m e n [ 5 4 ] .   I is   im p o r tan to   r em em b er   t h at  th is   lev el  o f   s k ill  ca n   b in f lu e n ce d   b y   f ac to r s   s u ch   as   teac h er   teac h in g   ap p r o ac h ,   s c h o o c u r r icu lu m ,   a n d   s u p p o r t   f r o m   th e n v ir o n m en t.   E ac h   lev el  o f   ed u ca tio n   p r o v id es  an   o p p o r tu n ity   to   d e v elo p   th ese  s k ills   in   u n iq u way   in   ac co r d an ce   with   th ch ild ' s   d ev elo p m en ta l   s tag e.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   1 Feb r u a r y   20 25 :   695 - 707   702       Fig u r 8 .   Dis tr ib u tio n   o f   HOT S   p u b licatio n   s cr ip t b ased   o n   HOT asp e cts       3 . 8 .    VO Sv iewe s o f t wa re - ba s ed  inq uiry   re s ea rc h t re nd s   v is ua liza t io n   R esear ch   tr en d   m ap p in g   is   a   m ap   v is u aliza tio n   th at  c o n t ain s   to p ics  f r o m   s cien ce   th at   ca n   h elp   r esear ch er s   co m p ile  th eir   r esear ch   p r o g r am .   T h is   v is u aliza tio n   ca n   b e   m ad e   u s in g   VOSv iewe r .   VOSv iewe r   is   co m p u ter   p r o g r am   d e v elo p ed   to   cr ea te  b ib lio m etr ic  m ap s   [ 5 5 ] .   Simp ly   p u t,  VOSv iewe r   s er v es  to   cr ea te,   v is u alize ,   an d   ex p lo r m ap s   b ased   o n   v ar io u s   f o r m s   o f   n et wo r k s   th at  s h o r elatio n s h ip s   in   th citatio n   o f   p u b licatio n   [ 5 6 ] .   B ib lio m etr ic  m ap p i n g   with   VOSv iewe r   t y p ically   u s es  a   v ar iety   o f   d atab ase  s o u r ce s   s u ch   as  Go o g le  Sch o lar ,   C r o s s r ef ,   Sco p u s ,   W eb   o f   Scien ce ,   an d   Mic r o s o f t A ca d em ic  Sear ch   [ 33 ] .   W h ile  th is   r esear ch   u s es  Sco p u s   an d   Go o g le  Sch o lar   as  d atab ase.   T h is   is   b ec au s Sco p u s   an d   Go o g le  Sc h o lar   ar t h lar g est   an d   m o s r e p u tab le  d atab ase  o f   n atio n al  an d   in ter n atio n al  s cien tific   p u b licatio n s   [ 5 7 ] .   Am o n g   3 3 3   HOT S   r esear ch   p ap e r s   p r o d u ce d   b y   s ea r ch es  u s in g   Po P   with   Sco p u s   an d   Go o g le   Sch o lar   d atab ases ,   r esear ch er s   wer ab le  to   v is u alize   th tr en d s   o f   r esear ch   o n   t h to p ic  o f   HOT ass i s ted   b y   th s o f twar VOSv iewe r VOSv iewe r s   v is u aliza tio n   is   an   attem p to   h elp   d is co v e r   th n o v elty   o f   r esear ch   [ 5 8 ] .   Fig u r 9   s h o ws  an   o v er v iew  o f   th s tu d y   o f   HO T S .   R esear ch er s   ar o u n d   th e   wo r ld   h a v p r o d u ce d   eig h m aj o r   clu s ter s   in d icate d   b y   th r ed ,   g r ee n ,   b lu e,   y ello w ,   p u r p le,   to s ca ,   o r an g e,   a n d   p i n k   co lo r s .   I f   we  ex a m in th s p ec if ic  r elatio n s h ip   b etwe en   v a r iab les  to   ca p tu r e   t h tr en d   a n d   n o v elty   o f   HOT S   r esear ch ,   s ev er al   f in d in g s   ar e   o b tain ed ,   in d icate d   b y   th r e d ,   g r ee n ,   b lu e,   y ello w,   p u r p le,   to s ca ,   o r a n g e ,   a n d   p in k   co lo r s .           Fig u r 9 .   Ov e r v iew  o f   th HO T S   s tu d y   f o r   2 0 1 4   to   2 0 2 3       B ased   o n   th VOSv iewe r   r e s u lts   in   Fig u r 9 ,   it  ca n   b ex p lain ed   th at  clu s ter   1 ,   n a m ely   o r d er   th in k in g   s k ills ,   in d icate d   b y   t h r ed   lin e,   p r o v id es  f in d in g   th at  r esear ch   o n   HOT S   in   th r ea lm   o f   o r d er   th in k in g   s k ills .   T h is   is   r elate d   to   t h teac h in g   HOT S   th r o u g h   th im p lem en tatio n   o f   th p r o b lem - b ased   lear n in g   m o d el,   an d   th lear n er   o f   HOT S .   C lu s ter   2 ,   n a m ely   ev alu atio n ,   is   in d icate d   b y   g r ee n   lin e,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Hig h er o r d er th in kin g   s kills   r e s ea r ch   tr en d s :   a   b ib lio metric a n a lysi s   in   s elec ted   jo u r n a ls   … ( Lil is   Li s ma ya )   703   em p h asizin g   th at  r esear ch   o n   HOT S   in   th r ea lm   o f   ev al u atio n   is   s tu d ied .   T h e v alu a tio n   to o ls   u s ed   in   lear n in g   HOT S   o n   a   n u m b er   o f   ar ticles ar wr itten   s u b jects,  wo r k s h ee ts ,   p r o jects,  an d   p o r tf o lio s .   C lu s ter   3   ( HOT S )   is   in d icate d   b y   b lu lin e.   T h is   clu s ter   3   s h o ws  th at  r esear ch   o n   HOT S   is   wid el y   ca r r ied   o u in   v ar i o u s   ar ea s   o f   lear n in g ,   s u ch   as  s cien ce   lear n in g ,   ch e m is tr y ,   an d   en v ir o n m en tal  ed u ca tio n .   C lu s ter   4 ,   tech n o lo g y ,   in d icate d   b y   th e   y ello lin e ,   th is   cl u s ter   ex p lain s   a n   ex p lo r atio n   o f   h o tech n o lo g y   ca n   b u s ed   to   f ac ilit ate,   s tr en g th en ,   an d   d ev elo p   h ig h - lev el   th in k in g   s k ills   in   in d iv id u als.   T h ese  in clu d th u s o f   in ter ac tiv lear n in g   s o f twar e,   s im u latio n s ,   s er io u s   g a m es,  an d   o n lin lear n in g   en v i r o n m en ts   d esig n e d   to   s tim u late  cr itical,   an aly tical,   s y n th etic,   an d   ev alu ativ e   th i n k in g .   T ec h n o lo g ies  s u ch   as  o n lin co llab o r ativ e   p latf o r m s ,   d esig n   an d   s im u lati o n   to o ls ,   as  well  as  d ig ital  lea r n in g   r eso u r ce s   ca n   b e   u s ed   to   en h a n ce   s tu d e n ts ab ilit y   to   s o lv p r o b lem s   an d   th in k   cr itically .   C lu s ter   5 ,   tax o n o m y ,   in d icate d   b y   th p u r p le   lin e,   em p h asizes  th at  r esear ch   o n   o f   HOT S   i n   th r ea l m   o f   tax o n o m y .   T h is   clu s ter   ex p l o r es wa y s   to   ap p ly   ta x o n o m y   i n   teac h in g   a n d   lear n in g   to   s tim u late  HOT S.  T h is   in clu d es  th d ev elo p m en o f   teac h in g   s tr ateg ies  s u itab le  f o r   ea ch   tax o n o m ic  lev el,   as   well  as  th u s o f   ev alu atio n   in s tr u m e n ts   th at  ca n   m ea s u r s tu d en ts '   p r o g r ess   i n   ac h iev in g   h ig h er   co g n itiv s k ills ,   d ev elo p m en o f   s o f twar e,   ap p licatio n s ,   an d   d ig ital  p latf o r m s   d esig n ed   to   h elp   s tu d en ts   d e v elo p   HOT th r o u g h   s tr u ctu r e d   an d   m ea s u r ed   lear n i n g   ac tiv ities ,   an d   th p r ep ar atio n   o f   to p ics,  task s ,   o r   p r o jects  d es ig n ed   to   ev alu at e     h ig h - lev el  c o g n itiv e .   C lu s ter   6 ,   n am ely   s u b ject,   is   in d icate d   b y   to s ca   co lo r   lin e,   th r o u g h   th I n q u ir y   m o d el,   s tu d en ts   en g ag in   s cien tific   p r o b lem   s o lv in g   th at  in v o lv es  th e   ac tiv u s o f   cr itical  th in k in g   s k ills .   T h is   m o d el   s tim u lates  s tu d en ts   to   q u esti o n ,   an aly z e,   ev al u ate,   an d   p r esen ar g u m en ts   b ased   o n   s cien tific   ev id en ce .   I n   th is   p r o ce s s ,   s tu d en ts   d e v elo p   cr i tical  th in k in g   s k ills   th at  ar e   im p o r tan i n   s cien tific   u n d e r s tan d in g ,   d ec is io n - m ak in g ,   an d   p r o b lem - s o lv in g   in   ev er y d ay   life .   C lu s ter   7 ,   wo r k s h ee t,  in d icate d   b y   th o r an g lin e .   I n   th is   s tr u ctu r e,   s tu d en ts   s till   h av e   th f r ee d o m   t o   co n d u ct  t h e ir   o wn   in v esti g atio n s   an d   d i s co v er ies,  b u with   g u id an ce   a n d   g u id an ce   p r o v id ed   b y   t h teac h er .   C lu s ter   8 ,   cr ea tiv th in k i n g ,   in d icate d   b y   th p i n k   lin e.   T h is   clu s ter   ex p lo r es  h o to   s tim u late,   d ev elo p ,   an d   ev al u ate  cr ea tiv th in k in g   a b ilit ies  at  h ig h er   lev el,   in clu d in g   th e   d e v el o p m en t   o f   teac h in g   m eth o d s   an d   s tr ateg ies  d esig n ed   to   en co u r ag c r ea tiv th i n k in g   at  h ig h   lev el.   T h ese  in clu d th u s o f   p r o ject - b ased   lear n in g   a p p r o a ch es,  p r o b lem - b ased   m eth o d s ,   cr ea tiv p r o b lem - s o lv in g   te ch n iq u es,  an d   th u s ag o f   cr ea tiv to o ls   s u ch   a s   m in d   m ap p in g ,   b r ain s to r m i n g ,   o r   attr ib u te  an aly s is .   I n   b ib lio m etr ic  an aly s is ,   th is   clu s ter   ca n   h elp   i d en tify   g r o u p s   o f   a u th o r s   o r   jo u r n als  th at  h av a   r esear ch   f o cu s   o n   asp ec ts   o f   s cien tific   th in k in g   [ 59 ] .   I ca n   b u s e d   to   u n d er s tan d   tr e n d s   in   s c ien tific   th in k in g   o r   r esear c h   m eth o d s   u s ed   in   a   p ar ticu lar   d is cip lin e.   T h ese  clu s ter s   ca n   also   h elp   in   d ev el o p in g   teac h in g   o r   tr ain in g   s tr ateg ies  to   en h an ce   s cien tific   th in k in g   s k ills   in   a   p ar ticu lar   f ield   [ 6 0 ] .   T h r o u g h   VOSv iewe r ,   we  ca n   al s o   f i n d   o u th e   g en er al   d escr ip tio n   o f   HOT S   l ea r n in g   f o r   2 0 1 4   to   2 0 2 3 .   B ased   o n   th o v er lay   v is u aliza tio n   w h ich   ca n   be   s ee n   in   Fig u r 1 0 .           Fig u r 1 0 .   Ov er v iew  o f   th H OT S   s tu d y   f o r   2 0 1 4   to   2 0 2 3   b ased   o n   o v er lay   v is u aliza tio n       I n   v is u alizin g   o u tp u o f   s cien ce   ( VOS )   m ap p in g ,   co lo r   b ar s   p lay   an   im p o r tan r o le  in   p r o v id in g   u s ef u v is u al  in f o r m atio n   ab o u th d is tr ib u tio n   o f   th d ata  s et  th at  is   d r awn .   C o lo r   b a r s   p r o v id v is u al   p ictu r o f   h o o f ten   an   item   ( s u ch   as  a   k e y wo r d ,   to p ic ,   o r   d o c u m en t)   ap p ea r s   in   d r a wn   d ata   s et.   Dar k er   co lo r s   o f te n   in d icate   h ig h er   le v els  o f   im p o r tan ce ,   wh ile  b r ig h ter   co lo r s   in d icate   l o wer   lev els  o f   s ig n if ican ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   1 Feb r u a r y   20 25 :   695 - 707   704   T h is   h elp s   u s er s   to   q u ick ly   id e n tify   th m o s t im p o r tan t o r   f r e q u en tly   ap p ea r in g   ele m en ts   in   d ata  s et.   Usi n g   co lo r   b ar ,   u s er s   ca n   co m p ar th elem en ts   d r awn   b y   co lo r   i n ten s ity .   Fo r   ex am p le,   th e   u s er   ca n   s ee   h o th e   f r eq u e n cy   o f   a p p ea r a n ce   o f   a   to p ic  o r   k ey w o r d   v a r ies  b etwe en   p ar ticu lar   d o c u m en g r o u p   o r   p e r io d   b y   co m p ar in g   th in te n s ity   o f   th co lo r   o f   th b ar .   B y   u s in g   co lo r   b a r ,   th u s er s   ca n   q u ick ly   f in d   tr en d s   o r   p atter n s   in   th d ata  s et  th at  m a y   b d if f icu lt to   r ec o g n ize  b y   j u s t u s in g   tex t o r   n u m b er s .   B ased   o n   Fig u r 1 0 ,   VOSv ie wer o v er lay   v is u aliza tio n   s h o ws  th to p ic s   f r esh n ess ,   m ea n in g   th at  th b r ig h te r   th co l o r   o n   th i m ag m ea n s   th r esear ch   to p i cs  ar g ettin g   n ewe r ,   s o   th at  r esear ch   ca n   b d o n e   o n   th e   latest  tr en d s   m ar k e d   wi th   b r i g h ter   co lo r s   o n   th i m ag VOSv iewe r o v er la y   v is u aliza tio n .   T h is   s h o ws  th at  th r esear ch   to p ics  ar m o r cu r io u s   an d   m u ch   in   d em a n d   b y   t h r esear ch er s .   B ased   o n   Fig u r 1 0 ,   it   ca n   b s ee n   th latest  to p ics  th at  c an   b u s ed   as  r esear ch   r ef er e n ce   s u ch   as  th to p ics  h ig h er   o r d er   th in k in g   s k ill  ( HOT S ) ,   in s tr u m en ts ,   an d   l o wer   o r d er   t h in k in g   ab ilit ies  ( L OT S ) .   Ap ar f r o m   b ein g   b ased   o n   o v e r lay   v is u aliza tio n ,   we  ca n   also   u n d er s tan d   th e   g en e r al  o v er v iew   o f   th e   2 0 1 4   to   2 0 2 3   HOT S   s tu d y   b ased   o n   d en s ity   v is u aliza tio n   r esu lts   f r o m   VO Sv iewe r ,   s h o ws  th at  o f ten   o r   n o th r esear ch   is   d o n e,   wh ich   m ea n s   th at  th d ar k er   th c o lo r   o n   th im a g e   m ea n s   th at  r esear ch   to p ics  ar s till   r ar ely   d o n e,   s o   if   we  a n aly ze   r esear ch   o n   HOT S th is   ca n   b o u r   c o n s id e r atio n   to   d e v elo p   r esear ch   in   t h p r esen t a n d   f u t u r e.         4.   CO NCLU SI O N   I n   th is   w o r k ,   b ib lio m etr ic  m e th o d s   ar e   u s ed   to   s tu d y   th e   s tate  o f   r esear ch   in   a   p a r ticu la r   f ield   o f   k n o wled g e.   HOT d ev elo p m en t,  id en tify in g   th p r im ar y   s o u r ce   o f   th n u m b er   o f   HOT r esear ch es  ea ch   y ea r ,   th e   s p r ea d   o f   th HOT p u b licatio n s   b ased   o n   th m o s citatio n s ,   HOT co m p o n en ts   s tu d ied   d u r in g   th e   y ea r s   2 0 1 4   t o   2 0 2 3 ,   th s p r ea d in g   o f   t h Ho ts   p u b licatio n   b ased   o n   r esear ch   lo ca tio n s ,   th d is tr ib u tio n   o f   th e   h o ts   r esear ch   m an u s cr ip ts   in   th s u b ject  c ateg o r ies,  a n d   th v is u aliza tio n   o f   r esear c h   tr en d s   b ased   o n   VOSv iewe r   HOT s o f twar d u r in g   2 0 1 4   t o   2 0 2 3   T h e   HOT tr en d   v is u aliza tio n   r esu lted   in   8   m ain   cl u s ter s   in d icate d   b y   r e d ,   g r ee n ,   b lu e ,   y ello w,   p u r p le ,   to s ca ,   o r an g e ,   an d   p in k .   T h r esear c h   f in d i n g s   ar t h at  HOT S   ca n   b d ev elo p ed   th r o u g h   ac tio n   r esear ch   o r   ca s s tu d y   m eth o d s ,   m o r s u itab le  to   b d ev elo p ed   at  th e   ed u ca tio n al  lev el  in   co lleg e,   with   th asp ec ts   o f   HOT b ein g   s tu d ied   s u ch   as  cr itical  th in k in g ,   p r o b lem   s o lv in g ,   cr ea tiv t h in k in g ,   an d   d ec is io n   m ak in g   th r o u g h   th u s o f   tech n o lo g y - b ased   lear n in g   m ed ia  a n d   u s o f   wo r k s h ee t.  T h ese  f in d in g s   ca n   h elp   r elev an t   r esear ch e r s   to   r ec o g n ize   th t r en d s   o f   r esear ch   in   HOT S   g lo b ally   an d   r ec o m m en d   d ir ec tio n s   f o r   f u r th er   r esear ch .       ACK NO WL E DG E M E NT S   T h is   p ap er   is   p ar o f   th f i r s au th o r s   d o cto r al  s tu d y   at  Un iv er s itas   Neg er Sem ar an g .   T h au th o r s   wo u ld   lik to   th an k   L PP Un iv er s itas   Neg er Sem ar an g   ( UNNE S)  f o r   f u n d in g   t h I m p lem en tatio n   o f   Ap p lied   E x p er tis R esear ch   th r o u g h   th L PP UNNE DPA  Fu n d   f o r   2 0 2 4 ,   Nu m b er 2 0 5 . 2 6 . 2 /UN3 7 /PP K. 1 0 /2 0 2 4 .       RE F E R E NC E S   [ 1 ]   S .   H a d z h i k o l e v a ,   E.   H a d z h i k o l e v ,   a n d   N .   K a s a k l i e v ,   U s i n g   p e e r   a ss e s smen t   t o   e n h a n c e   h i g h e r   o r d e r   t h i n k i n g   s k i l l s ,   T E M   J o u rn a l ,   v o l .   8 ,   n o .   1 ,   p p .   2 4 2 2 4 7 ,   F e b .   2 0 1 9 ,   d o i :   1 0 . 1 8 4 2 1 / T EM 8 1 - 3 4 .   [ 2 ]   M .   M .   ( M a r y )   G r o sser a n d   M .   N e l ,   T h e   r e l a t i o n sh i p   b e t w e e n   t h e   c r i t i c a l   t h i n k i n g   s k i l l a n d   t h e   a c a d e m i c   l a n g u a g e   p r o f i c i e n c y   o f   p r o s p e c t i v e   t e a c h e r s,”   S o u t h   A f ri c a n   J o u r n a l   o f   E d u c a t i o n ,   v o l .   3 3 ,   n o .   2 ,   p p .   1 1 7 ,   M a y   2 0 1 3 ,   d o i :   1 0 . 1 5 7 0 0 / saj e . v 3 3 n 2 a 6 3 9 .   [ 3 ]   H .   C .   C h o u ,   N . - L.   Tu n g ,   a n d   M .   N g   M o u   K e h n ,   T h e   d o u b l e - f o c u g e n e r a l i z e d   L u n e b u r g   l e n d e s i g n   a n d   sy n t h e si u s i n g   met a s u r f a c e s,   I E EE   T ra n s a c t i o n s   o n   A n t e n n a a n d   Pr o p a g a t i o n ,   v o l .   6 6 ,   n o .   9 ,   p p .   4 9 3 6 4 9 4 1 ,   S e p .   2 0 1 8 ,   d o i :   1 0 . 1 1 0 9 / TA P . 2 0 1 8 . 2 8 4 5 5 5 0 .   [ 4 ]   Y .   K a mi n ,   C .   C .   C h i n e d u ,   a n d   O .   S .   O l a b i y i ,   S t r a t e g i e s   f o r   i mp r o v i n g   h i g h e r   o r d e r   t h i n k i n g   s k i l l i n   t e a c h i n g   a n d   l e a r n i n g   o d e s i g n   a n d   t e c h n o l o g y   e d u c a t i o n ,   J o u rn a l   o f   T e c h n i c a l   E d u c a t i o n   a n d   T r a i n i n g ,   v o l .   7 ,   n o .   2 ,   p p .   3 5 4 3 ,   2 0 1 5 .   [ 5 ]   M .   H u g e r a t   a n d   N .   K o r t a m,  I mp r o v i n g   h i g h e r   o r d e r   t h i n k i n g   sk i l l a m o n g   f r e s h me n   b y   t e a c h i n g   sc i e n c e   t h r o u g h   i n q u i r y ,   EU RAS I A   J o u rn a l   o f   M a t h e m a t i c s,   S c i e n c e   a n d   T e c h n o l o g y   E d u c a t i o n ,   v o l .   1 0 ,   n o .   5 ,   p p .   4 4 7 4 5 4 ,   D e c .   2 0 1 4 ,   d o i :   1 0 . 1 2 9 7 3 / e u r a si a . 2 0 1 4 . 1 1 0 7 a .   [ 6 ]   R .   K .   A .   S i n g h ,   C .   K .   S .   S i n g h ,   M .   T .   M .   T u n k u ,   N .   A .   M o s t a f a ,   a n d   T.   S .   M .   S i n g h ,   A   r e v i e w   o f   r e sea r c h   o n   t h e   u se  o f   h i g h e r   o r d e r   t h i n k i n g   sk i l l t o   t e a c h   w r i t i n g ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n g l i sh   L i n g u i st i c s ,   v o l .   8 ,   n o .   1 ,   p p .   8 6 9 3 ,   O c t .   2 0 1 7 ,   d o i :   1 0 . 5 5 3 9 / i j e l . v 8 n 1 p 8 6 .   [ 7 ]   E.   B a n k o l e - M i n a f l i n o u ,   P r o m o t i n g   c r i t i c a l   t h i n k i n g   s k i l l s   i n   EF u n i v e r si t y   s t u d e n t i n   B e n i n ,   I n t e rn a t i o n a l   J o u rn a l   o f   En g l i s h   L a n g u a g e   a n d   L i t e r a t u r e   S t u d i e s ,   v o l .   8 ,   n o .   1 ,   p p .   1 1 3 ,   2 0 1 9 ,   d o i :   1 0 . 1 8 4 8 8 / j o u r n a l . 2 3 . 2 0 1 9 . 8 1 . 1 . 1 3 .   [ 8 ]   J.  L .   S .   R a mo s ,   B .   B .   D o l i p a s ,   a n d   B .   B .   V i l l a m o r ,   H i g h e r   o r d e r   t h i n k i n g   sk i l l s   a n d   a c a d e mi c   p e r f o r ma n c e   i n   p h y s i c s   o f   c o l l e g e   st u d e n t s :   a   r e g r e ss i o n   a n a l y si s,”   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i v e   I n t e r d i sci p l i n a ry   Re s e a rc h ,   n o .   4 ,   p p .   4 8 6 0 ,   2 0 1 8 .   [ 9 ]   T .   S .   Y e n   a n d   S .   H .   H a l i l i ,   Ef f e c t i v e   t e a c h i n g   o f   h i g h e r - o r d e r   t h i n k i n g   ( H O T)   i n   e d u c a t i o n ,   T h e   O n l i n e   J o u rn a l   o f   D i st a n c e   Ed u c a t i o n   a n d   e - L e a r n i n g ,   v o l .   3 ,   n o .   2 ,   p p .   4 1 4 7 ,   2 0 1 5 ,   d o i :   1 0 . 1 0 8 8 / 1 9 3 2 - 6 5 9 6 / 7 2 5 / 1 / 0 1 1 0 2 1 .   [ 1 0 ]   T.   D o l e c k ,   P .   B a z e l a i s,  D .   J.  Le m a y ,   A .   S a x e n a ,   a n d   R .   B .   B a s n e t ,   A l g o r i t h m i c   t h i n k i n g ,   c o o p e r a t i v i t y ,   c r e a t i v i t y ,   c r i t i c a l   t h i n k i n g ,   a n d   p r o b l e s o l v i n g :   e x p l o r i n g   t h e   r e l a t i o n s h i p   b e t w e e n   c o m p u t a t i o n a l   t h i n k i n g   sk i l l a n d   a c a d e m i c   p e r f o r m a n c e ,   J o u rn a l   o f   C o m p u t e rs  i n   E d u c a t i o n ,   v o l .   4 ,   n o .   4 ,   p p .   3 5 5 3 6 9 ,   D e c .   2 0 1 7 ,   d o i :   1 0 . 1 0 0 7 / s 4 0 6 9 2 - 017 - 0 0 9 0 - 9.   Evaluation Warning : The document was created with Spire.PDF for Python.