I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   13 ,   No .   5 ,  Octo b er   2 0 2 4 ,   p p .   2 8 1 7 ~ 2 8 2 4   I SS N:  2 2 5 2 - 8 8 2 2 ,  DOI : 1 0 . 1 1 5 9 1 / ijer e . v 13 i 5 . 2 9 4 4 9           2817       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   Effec tivenes s o f  d ig ital lea rning  on  students ’  hig her  order  thinking  skills       H a m ida h   M a t 1 ,   Siti   Sa lin a   M us t a k im 1 ,   F a zila h   Ra za li 1 ,   No rliza   G ha za li 1 ,   Asn ul   Da h a r   M ing ha t 2   1 Fac u l t y   of   Ed u c a t i o n a l   S t u d i e s,   U n i v e r si t i   P u t r a   M a l a y s i a ,   S e r d a n g ,   M a l a y si a   2 F a c u l t y   o f   Te c h n o l o g y   a n d   I n f o r m a t i c s,  U n i v e r s i t i   Te k n o l o g i   M a l a y si a ,   K u a l a   L u mp u r ,   M a l a y s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Dec   1 ,  20 23   R ev is ed   J u n   2 ,  2 0 2 4   Acc ep ted   J u n   1 2 ,  2 0 2 4       In   th e   re a lm  o f  e d u c a ti o n ,   lea rn in g   a n d   i n stru c ti o n a l  a c ti v it ies   p lay   a   c ru c ial  ro le  in   c u l ti v a ti n g   las ti n g   a n d   m e a n in g fu l  c o m p re h e n si o n   a m o n g   sc ien c e   stu d e n ts.   T h is  re se a rc h   a ims   t o   e v a lu a te  th e   e ffe c ti v e n e ss   o f   t h e   i - G e n iu s   m o d u le   in   e n h a n c in g   st u d e n ts ’   p e rfo rm a n c e   in   sc ien c e .   T h e   i - G e n iu s  m o d u le ’ s  d e v e lo p m e n t  a d h e re d   to   th e   AD DIE  m o d e l,   a n d   tw o   sp e c ifi c   re se a rc h   q u e stio n s  we re   fo rm u l a ted :  i )  i s  th e re   a   sta ti stica ll y   sig n ifi c a n t   d iffere n c e   in   m e a n   sc o re s  b e twe e n   t h e   e x p e rime n tal  a n d   c o n tro l  g r o u p s?   a n d   ii )  t o   w h a t  e x ten t  c a n   i - G e n iu s  c o n tri b u te  t o   st u d e n ts ’   c o n c e p t u a l  e v o lu ti o n   c o m p a re d   to   trad it io n a l  m e th o d s ?   To   a d d re ss   t h e se   q u e sti o n s,   a   se q u e n ti a l   m ix e d - m e th o d   a p p r o a c h   in v o l v in g   in terv iew s,  p re - tes ts,  a n d   p o st - tes ts  wa s   imp lem e n ted   i n   tw o   d isti n c t  sc h o o ls   in   t h e   S e re m b a n   Dist rict.   T h e   e x p e rime n tal  g r o u p   c o m p rise d   3 5   p a rti c i p a n ts,  a n d   t h e   c o n tro l   g ro u p   a lso   in c lu d e d   3 5   stu d e n ts  wit h   sim il a r  c h a ra c teristics .   S tu d e n t  p e r fo rm a n c e ,   a ss e ss e d   th ro u g h   p re - tes t  a n d   p o st - tes t  m e a n   sc o re s,  re v e a led   th a t  stu d e n ts   e x p o se d   t o   i - G e n iu s   a c h iev e d   sig n ifi c a n tl y   h ig h e r  sc o re s   th a n   t h o s e   e x p o se d   to   trad it io n a l  m e th o d s  i n   t h e   p o st - tes t  (t(6 8 )= 8 . 3 7 ,   p < 0 . 0 5 ).   T h is  stu d y ’ s  imp li c a ti o n s li e   i n   it s p ra c ti c a l  a p p li c a ti o n   with i n   th e   sc h o o l  c o n tex t,   o ffe rin g   a n   a lt e rn a ti v e   i n stru c t i o n a l  to o l   fo r  tea c h i n g   s c ien c e   a n d   p re se n ti n g   a n   in stru c ti o n a l   m o d e l   to   g u i d e   tea c h e rs  in   fo rm u latin g   stra teg ies   th a t   e n c o u ra g e   p ro b lem - p o si n g   wi th i n   th e   sc ien c e   c u rricu l u m .   K ey w o r d s :   Ass es s m en t   Au th en tic   teac h in g   Dig ital   lear n in g   Hig h er - o r d er   th i n k in g   s k ills   T ea ch in g   ef f icien cy   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Siti   Salin a   Mu s tak im   Facu lty   of   E d u ca tio n al   Stu d ie s ,   Un iv er s it i   Pu tr a   Ma lay s ia   4 3 4 0 0   Ser d an g ,   Selan g o r ,   Ma l ay s ia   E m ail: m s s alin a@ u p m . ed u . m y       1.   I NT RO D UCT I O N   I n   r esp o n s e  to   th e  c h allen g es  o f   th e  f o u r t h   in d u s tr ial  r ev o lu t io n ,   co u n tr ies  lik e  Ma lay s ia  ar e  ac tiv ely   en h an cin g   s cien ce   ed u ca tio n   t o   eq u ip   y o u t h   with   a  co m p etitiv e  s k ill  s et,   em p h asizin g   tech n o lo g y   u s e,   cr itical  th in k in g ,   c o m m u n icatio n ,   te am wo r k ,   an d   p r o b lem - s o lv i n g .   A  s h if t  to war d   a  s tu d e n t - ce n ter ed   m o d el,   p ar ticu lar ly   in   s cien ce ,   tech n o lo g y ,   en g in ee r in g ,   an d   m ath em atics  ( STE M)   f ield s ,   is   cr u cial  f o r   f o s ter in g   co o p er atio n ,   cr ea tiv ity ,   a n d   cr itical  th in k in g   [ 1 ] .   L ea r n i n g   i n   th e  STE M  f ield s   will  h elp   th e  n ex t  g e n er atio n   b ec o m e  m o r e  c o m p etitiv e  [ 2 ] .   A cc o r d in g   to   s ev er al  s tu d ies,   e f f ec tiv e  lear n in g   to o ls ,   s u ch   as  m o d u les,  p lay   a  v ital  r o le  in   s h ap in g   ed u ca tio n   q u ality ,   g u i d in g   s tu d en ts   f r o m   th eo r y   t o   p r ac tical  ap p lic atio n   an d   f o s ter in g   in d ep en d en t  th in k i n g   [ 3 ] – [ 6 ] .   Dig ital  lear n in g   em er g es  as  a  p iv o tal  s tr ateg y ,   ca p t u r in g   i n ter est,  u n co v e r in g   p o ten tial,  an d   b alan cin g   class r o o m   an d   s elf - lear n i n g   to   im p r o v e  ef f icien c y   th r o u g h   s tu d en t - ce n ter ed   ac tiv ities   [7 ] – [ 1 0 ] .   T h e  s tu d y ’ s   r ese ar ch   o b jectiv es  f o cu s   o n   i n v esti g atin g   m ea n   s co r e  d i f f er en ce s   b etwe en   ex p er im en tal   an d   co n t r o l  g r o u p s   an d   e x p lo r i n g   th e  i - G en iu s   m o d u le ’ s   im p ac t   o n   s tu d en ts ’   co n ce p tu al   ev o lu tio n   c o m p ar e d   to   tr a d itio n al  m eth o d s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   13 ,   No .   5 ,  Octo b er   2 0 2 4 :   2 8 1 7 - 2824   2818   2.   RE S E ARCH   B ACK G RO U ND   Ma lay s ia ’ s   ed u ca tio n al  s y s tem   u n d er wen t  s ig n if ica n t  tr an s f o r m atio n s   in   p r ep a r atio n   f o r   th e  2 1 s t  ce n tu r y ,   with   th r ee   p r im a r y   s ch o o l  cu r r icu lu m   iter atio n s   b ef o r e  1 9 8 2 :  Old   Prim ar y   Sch o o l  C u r r icu lu m   ( OPSC ) ,   New   Prim ar y   Sch o o l  C u r r icu lu m   ( NPSC ) ,   an d   St an d ar d   Prim ar y   Sch o o l  C u r r i cu lu m   ( SP SC )   [ 1 1 ] .   Acc o r d in g   to   p r ev io u s   s tu d i es   [ 1 2 ] – [ 1 4 ] ,   th e  g o al  o f   th i s   cu r r icu lu m   is   to   i n teg r ate  Ma lay s ian s   wh o s e  an ce s tr y   in clu d es  m o r e  th an   o n e  r ac e.   NPSC ,   in tr o d u ce d   i n   1 9 8 2 ,   aim ed   to   p r o v id e  e q u al  o p p o r tu n ities   f o r   s tu d en ts   to   lear n   ess en tial so cieta l sk ills ,   wh ile  SP SC   in   2 0 1 1   ad d r ess ed   th e  n ee d s   o f   2 1 s t - ce n tu r y   s tu d e n ts .   R ec en t  s tu d ies  em p h asize  th e  im p o r tan ce   o f   h ig h er   o r d er   th in k in g   s k ills   ( HOT S)  in   d ev elo p in g   cr itical  an d   lo g ical  th in k in g ,   an aly tical  ab ilit ies,  p r o b lem - s o lv in g ,   an d   d ec is io n - m a k in g   [ 1 5 ] – [ 2 0 ] .   HOT S  in v o lv es  co m p lex   th in k in g   m o d es,  r esem b lin g   B lo o m ’ s  t ax o n o m y ,   c o n tr ib u tin g   to   s k ills   lik e  p r o b lem - s o lv in g   an d   cr ea tiv e  th in k in g   [ 2 1 ] – [ 2 3 ] .   Aca d em ic  s u cc ess   is   clo s ely   lin k ed   to   HOT S,  in f lu en c in g   p er f o r m an ce   i n   test s ,   m id ter m s ,   f in als,  an d   s tan d ar d ized   s co r es [ 2 4 ] ,  [ 2 5 ] .   R esear ch   o n   co lleg e  p h y s ics  class es   r ev ea ls   th e  im p ac t  o f   H OT S  o n   s tu d en ts '  p h y s ics  p er f o r m an ce ,   em p h asizin g   th e   s ig n if ican ce   o f   s tr o n g   HOT S  [ 2 6 ] .   E n g ag in g   in   h a n d s - o n   ac tiv ities   an d   m en tal  s im u latio n s   is   cr u cial  f o r   co m p r eh e n d in g   elec tr ical  co n ce p ts   [ 2 7 ] .   St u d en ts   with   ad v an ce d   co n c ep tu al  k n o wled g e   d em o n s tr ate  e f f ec tiv e  p r o b lem - s o lv in g   i n   s cien tific   s ce n a r io s   [ 2 8 ] .   T h e  id ea   o f   q u alities   an d   m ea s u r es  ca n   b e   f o u n d   at  th e  in ter s ec tio n   o f   s ci en tific   in q u ir y   an d   p h y s ical  in v esti g atio n   [ 2 9 ] .   T h e  th eo r y   o f   u s es  an d   g r atif icatio n   ( U& G) ,   d ev el o p ed   in   1 9 7 4 ,   e x p lo r es  th e  m o tiv atio n s   b eh in d   m ed ia  co n s u m p tio n ,   in f lu e n cin g   r ec en t  ef f o r ts   in   ex p an d i n g   d ig ital  lear n in g   m o d u les  [ 3 0 ] – [ 3 2 ] .   I t  d o es  s o   b y   co n ce n tr atin g   o n   th e  r ea s o n s   wh y   in d iv id u als  p ick   o n e   m ed iu m   o v er   o th e r   o p tio n s   to   s u it  v ar io u s   r eq u ir em e n ts   [ 3 3 ] .   Mu ltime d ia  co g n itiv e  lear n i n g   th e o r y ' s   d esig n   p r in cip les  g u i d e  ef f ec tiv e  in f o r m atio n   co n v ey a n ce   th r o u g h   a u d io   a n d   v is u al  ch an n els,  p r e v en tin g   u n n ec ess ar y   r ep etitio n   a n d   li g h ten in g   c o g n itiv e   lo ad s   [ 3 4 ] – [ 3 6 ] .   Ad v an ce m e n ts   in   in f o r m atio n   tech n o lo g y   f ac ilit ate  p o s itiv e  o u tco m es  in   d ig ital  lear n in g ,   im p ac tin g   test   ac h iev em en t,   m en tal  asp ec ts ,   an d   HOT S [ 3 7 ] .       3.   M E T H O D   T h e  an aly ze ,   d esig n ,   d e v elo p m en t,  im p lem en tatio n ,   an d   ev alu atio n   ( ADDI E )   m o d el   was  em p lo y ed   in   th is   s tu d y ' s   b ased   o n   its   s elec tio n   was  m ea s u r ed ,   g r o u n d ed   i n   its   o r g an izatio n al   s tr u ctu r e,   s y s tem atic  ap p r o ac h ,   ea s e  o f   im p lem e n ta tio n ,   an d   alig n m e n t  with   th e   th eo r etica l  u n d er p i n n in g s   o f   th e  s tu d y   [ 3 8 ] .   T h is   s tu d y   aim ed   t o   d e v elo p   a n   in t eg r ated   elec tr ical  s cien ce   c u r r icu lu m   with   HOT S  u s in g   th e  ADDI E   m o d el.   T h e   s tr u ctu r ed   ap p r o ac h   en s u r e d   r ig o r o u s   an aly s is ,   d esig n ,   an d   ev alu atio n ,   co n tr ib u ti n g   to   cu r r icu l u m   d ev elo p m e n t,  an d   o f f er in g   an   ad ap tab le  m eth o d o l o g ical  f r a m ewo r k   f o r   d i v er s e  ed u ca tio n al  in itiativ es.  T h e   d ata  wer e  co llected   in   Ma lay s ia  wh ich   in v o lv e d   y ea r   5   p u p ils   f r o m   two   p r im ar y   s ch o o ls   in   Ser em b an   Dis tr ict.   B y   em p lo y in g   a   s am p lin g   tec h n iq u e   r ec o m m en d e d   b y   s ev e r al  r esear ch er s   [ 3 9 ] ,   [ 4 0 ] ,   a  to tal  o f   7 0   o u t  o f   2 0 0   s tu d en ts   wer e  ch o s en   with   3 5   ass ig n ed   to   b o th   th e   tr ea tm e n t  an d   co n tr o l  g r o u p s ,   d u e  t o   th e  co n v en ien ce   o f   p lacin g   s tu d en ts   in   o r d in ar y   class r o o m s   in   Ma lay s ia.   T h e   d elib er ate  s elec tio n   o f   a  s m all  s am p le  s ize   was  in ten d ed   to   en h a n ce   c o n tr o l   o v er   e x tr an eo u s   v ar ia b les  [ 4 1 ] .   Usi n g   a   q u asi - ex p er im en tal   a p p r o ac h ,   t h is   s tu d y   ex am in es  two   d ep en d en t  v ar i ab les  ( HOT S  ac co m p lis h m en t )   s im u ltan eo u s ly   f o r   b o th   g r o u p s   d u r in g   th e   p r e - test   an d   p o s t - test   s tag es.  T h e  s elec tio n   o f   th e  tr ea tm e n t  an d   co n tr o l  g r o u p s   was  d elib er at e  an d   b ased   o n   p r e - test   r esu lts   an d   o th er   p er tin e n t   f ea tu r es,  as  ad v is ed   b y   th e  s c h o o l  ad m in is tr atio n   [ 4 2 ],   [ 4 3 ] .   I n   th is   co n te x t,  th e  tr ea tm en t  g r o u p   em p l o y ed   a  m o d u le,   wh e r ea s   th e  co n tr o l  g r o u p   ad h er e d   to   tr ad itio n al  teac h in g   an d   lear n in g   ap p r o ac h es.  B y   cr ea tin g   a  co n tr o l  g r o u p ,   it  was  p o s s ib le  to   d eter m in e  th e  av er ag e  s co r e  f o r   tr ad itio n al  lear n in g ,   wh ich   c o u ld   th e n   b e  co m p ar ed   to   t h e  av er ag e  s co r e  o f   th e  tr ea tm e n t  g r o u p   u s in g   th e  i - Gen iu s   m o d u le  f o r   lear n in g   ass is tan ce .       4.   RE SU L T S AN D  D I SCU SS I O N   Stu d en ts   f ac e  v ar i o u s   ch allen g es  in   ac q u ir i n g   k n o wled g e  i n   s cien ce ,   as  id en tifie d   b y   s ix   teac h er s   wh o   s h ar ed   d iv er s e  p er s p ec t iv es  o n   p u p ils '   in s tr u ctio n al  d if f icu lties .   T h ese  ch allen g es  in clu d e  co m p lex   ter m in o lo g y ,   in s u f f icien t   co g n itiv e  ab ilit ies,  m is u n d er s tan d in g s ,   m eth o d o lo g ie s ,   s u b ject  m atter   ch ar ac ter is tics ,   an d   s tu d en ts '   p er s p ec tiv es.  T h e  an aly s is   em p h asizes  th e  r ec u r r in g   th em e  o f   th e  s ig n if ican ce   o f   HOT S a n d   th e  ch allen g es a s s o ciate d   with   in s tr u ctin g   an d   ac q u ir in g   HOT S in   elec tr ical  s u b jects.  Acc o r d in g   to   th e  teac h er s ,   s tu d en ts   s tr u g g l e  with   en v is io n in g   t h e  o p e r a tio n   o f   a n   elec tr ical  cir cu it  a n d   co m p r eh e n d in g   ter m in o lo g y   r elate d   to   elec tr ical  s u b jects.  T h e  d ef icien cy   o f   HOT S  p r o v es  to   b e  a  m ajo r   o b s tacle ,   as  s tu d en ts   o f ten   s tr u g g le  to   ap p ly   ac q u i r ed   k n o wled g e   to   HOT S  ass ig n m en ts .   Ma n y   s tu d en ts ’   m e m o r ies  in f o r m atio n   with o u t  o f f er in g   ad d itio n al  ex p lan atio n s   o r   d em o n s tr atin g   c o m p r eh e n s io n ,   h in d er i n g   t h eir   ab ilit y   to   a n aly ze   m ater ial  an d   g en e r ate  s u itab le  o u tco m es.  C h allen g es  in   d if f er en tiatin g   b etwe en   cir cu its ,   e s p ec ially   s er ies  an d   p ar allel  cir cu its ,   wer e  h ig h lig h ted   b y   th e   teac h er s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E ffective n ess   o f d ig ita l le a r n in g   o n   s tu d e n ts ’   h ig h er o r d er th i n kin g   s kills   ( Ha mid a h   Ma t )   2819   T h e   s tu d y ' s   d ata  an aly s is ,   co n d u cte d   o n   p r e - test   an d   p o s t - test   p er f o r m an ce   in   elec tr i ca l  to p ics,   f o llo ws  r ec o m m e n d ed   v alu es  f o r   s k ewn ess   an d   k u r to s is ,   T a b le  1   i n d icatin g   a n   ac ce p tab le   u n iv ar iate   n o r m al  d is tr ib u tio n   f o r   f u r th e r   an al y s is   [ 4 4 ] .   T h e  s tatis tical  an aly s is   r ev ea ls   th at  th e  s co r es  o b t ain ed   in   th is   s tu d y   ad h er e  clo s ely   to   a  n o r m al   d is tr ib u tio n   p atter n ,   a   ch ar ac ter is tic  co m m o n l y   ass ess ed   th r o u g h   th e  Ko lm o g o r o v - Sm ir n o v   s tatis tic.   T h e  h y p o th esis   r eg ar d in g   th e  n o r m al  d is tr ib u tio n   is   ar ticu lated   as   n u ll  h y p o th esis   ( H0 ) :  th e  d ataset  f o llo ws  a  n o r m al  d is tr ib u tio n .   Alter n ativ e   h y p o th esis   ( HA) :  th e  d ataset  d ev iates  f r o m   a  n o r m al   d is tr ib u tio n .   T h is   f r am ewo r k   allo ws  f o r   r ig o r o u s   ex am in ati o n   o f   th e   d ata' s   d is tr ib u tio n al  p r o p er ties ,   e n ab lin g   r esear ch er s   to   m ak e  i n f o r m ed   in ter p r etatio n s   ab o u t th e  u n d er ly in g   ch ar ac te r is tics   o f   th e  d at aset.   T h e  Ko lm o g o r o v - Sm ir n o v   test   f o r   n o r m ality   in   T ab le  2   h as  s h o wn   s ev er al  p ’ s   less   th an   0 . 0 5 ,   wh ic h   is   a  v io latio n   o f   th e   n o r m ality   ass u m p tio n .   Ho wev er ,   d u e  t o   th e  s en s itiv ity   o f   th e  Ko lm o g o r o v - Sm ir n o v   test ,   s co r es  ca n   b e  r e f er r ed   to   o th e r   test s   as  d is cu s s ed ;  th en   th e  n o r m ality   h y p o t h esis   is   ac ce p ted .   T ab ac h n ick   a n d   Fid ell  [ 4 5 ]   s u g g est  u s in g   h is to g r am s   an d   f r eq u e n cy   c u r v es  to   f u r th er   ass ess   th e  n o r m ality   o f   th e  s co r e   d is tr ib u tio n .   T h e  h is to g r a m s   f o r   b o th   test s   in d icate   a  r ea s o n ab ly   n o r m al  d is tr ib u tio n .   T h e  n o r m al  p r o b ab ilit y   p lo t  an d   d etr e n d ed   n o r m al  Q - Q  p lo t  in   Fig u r es  1   an d   2   s u p p o r t  th e  n o r m ality   o f   th e  v a r iab les.  I n   th ese  p lo ts ,   o b s er v ed   v alu es  f o r   ea ch   s co r e  ar e  co m p ar ed   ag ai n s t  th e  ex p ec ted   v alu es  o f   a  n o r m al  d is t r ib u tio n ,   with   m o s t  s co r es a cc u m u latin g   ar o u n d   th e  ze r o   lin e.       T a b le   1.   Sk ewn ess   an d   K u r to s is   test s   f o r   p r e - test   an d   p o s t - te s t   Te st   S k e w n e ss   K u r t o si s   Pre   0 . 7 8 6   0 . 0 2 2   P o st   0 . 1 5 3   - 0 . 7 5 2       T ab le   2.   No r m ality   test   f o r   p r e - test   an d   p o s t - test   Te st   K o l m o g o r o v - S m i r n o v   S h a p i r o - W i l k   S t a t i st i c   Df   si g   S t a t i st i c   Df   si g   Pre   0 . 2 1 5   66   0 . 0 0 0   0 . 9 1 1   66   0 . 0 0 0   P o st   0 . 9 6 0   66   0 . 2 0 0   0 . 9 7 3   66   0 . 1 5 7           Fig u r e  1 .   Plo t Q - Q  n o r m al  p r e   test           Fig u r e   2 .   Plo t Q - Q  n o r m al  d etr en d ed   p r e  test   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   13 ,   No .   5 ,  Octo b er   2 0 2 4 :   2 8 1 7 - 2824   2820   Fig u r e  3   d is p lay s   th e  ex p ec ted   q u a n tiles   f r o m   a   n o r m al  d is tr ib u tio n   o n   th e  x - ax is   an d   th e  ac tu al   q u an tiles   f r o m   th e  d ataset  o n   t h e   y - a x is .   E ac h   p o in t  r e p r esen ts   a  v alu e  in   th e   d ataset,   an d   i ts   p o s itio n   r elativ e  to   th e  lin e  in d icate s   h o w  m u ch   it  d ev iates  f r o m   th e  ex p ec ted   d is tr ib u tio n .   Mo s t  p o in ts   lie  clo s e  to   th e  r ef er en ce   lin e,   s u g g esti n g   an   ap p r o x im ately   n o r m al  d is tr ib u tio n .   Ho wev er ,   a  f ew   p o in ts   at  th e  en d s   m a y   in d icate   p o ten tial  o u tlier s   o r   v ar iatio n s   in   tail  h ea v in ess ,   in d icatin g   p o s s ib le  s k ewn ess   o r   k u r to s is .   I n   co n clu s io n ,   th e  d ataset  ap p ea r s   to   b e  r o u g h ly   n o r m ally   d i s tr ib u ted ,   with   p o ten tial  d e v i atio n s   in   th e  tails .   W h ile  th ese  d ev iatio n s   ar e  co m m o n   i n   r ea l - wo r l d   d ata  a n d   m ig h t  n o t  in v alid ate  a  n o r m ality   ass u m p tio n ,   f u r th er   i n v esti g atio n   m a y   b e  w ar r an ted ,   esp ec ially   if   ap p ly i n g   s tatis tical  te s ts   o r   m o d els ass u m in g   n o r m ality .   Fig u r e  4   s h o ws  th at  m o s t  p o in ts   in   th e  p lo t   alig n   alo n g   a   s tr aig h t  lin e,   in d icatin g   s im i lar ity   to   a  n o r m al  d is tr ib u tio n .   So m e  s lig h t  d ev iatio n s ,   p ar tic u lar ly   at  th e  en d s ,   ar e  co m m o n   in   m an y   d atasets   an d   m ay   s u g g est  m in o r   s k ewn ess   o r   th e  p r esen ce   o f   o u tlier s .   T h e  ce n tr al  p o r tio n   clo s ely   f o llo ws  t h e  lin e,   s u g g esti n g   co n s is ten t  m ea n   an d   v ar ian c e  with   n o r m ality .   Po i n ts   at  th e  ex tr em es  m ay   r ep r esen t  o u tlier s ,   p o ten tially   af f ec tin g   th e  n o r m ality   ass ess m en t,  alth o u g h   th is   im p ac t is  m o r e  s ig n if ican t in   s m aller   d at asets .   I n   s u m m ar y ,   th e  n o r m al  Q - Q  p lo t  o f   th e  p o s t - test   s u g g ests   th e  d ata  is   ap p r o x im ately   n o r m ally   d is tr ib u ted   with   m i n o r   d ev iat io n s   at  th e   tails ,   g en er ally   ac ce p tab le  f o r   s tatis tical  an aly s es,  esp ec ially   with   lar g e  s am p le  s izes.  An   alter n ativ e  an aly s is   u s in g   b o x p lo ts   as  s h o wn   in   Fig u r es  5   an d   6   r ev ea ls   n o   ex tr em e   p o in ts   b etwe en   test   s co r es,  m ar k ed   with   a n   aster is k   ( * ) ,   b u t  id e n tifie s   s lig h t  o u tlier s   r ep r esen ted   as   s m all  cir cles  ( °)  in   b o t h   test s .   Acc o r d in g   t o   Pallan t  [ 4 6 ] ,   e x tr em e   o u tlier s   ( )   s h o u ld   b e   r em o v ed ,   wh ile  s m all  o u tlier s   ( °)  ca n   b e  r etain ed ,   an d   th ey   will  b e  s to r ed   in   th e  d ata  f i le.   T h e  v is u al  d is p lay   s u g g es ts   th e  s tu d y ' s   d ata  f o llo ws a  n o r m al  d is tr ib u tio n ,   s u p p o r tin g   th e  test in g   o f   p r o p o s ed   h y p o th eses .   T h e  p r e - test   d escr ip tiv e  d ata  f o r   th e  s tu d y   s am p le  ar e  s h o w n   in   T ab le  3 .   A  t - test   co m p a r in g   p r e - test   s co r es  o f   th e  tr ea tm e n t  an d   co n tr o l  g r o u p s   r ev ea led   n o   s tatis tically   s ig n if ican t  d if f er en ce   (t - v alu e= 1 . 6 5 ,   d f =6 8 ,   p >0 . 0 5 ) .   T h e  m ea n   p r e - test   s co r es  f o r   th e  tr ea tm e n t  g r o u p   ( M= 2 6 . 8 6 )   an d   co n tr o l  g r o u p   ( M= 2 1 . 6 6 )   s h o wed   o n l y   a  s lig h t d if f er e n c e.   Ad d itio n ally ,   k u r to s is   v alu e s   f o r   b o th   g r o u p s   f ell  with in   t h e  ac ce p tab le  r a n g e  f o r   p s y ch o m etr ic  p u r p o s es  [ 4 7 ]   ( - 1 . 0   to   +1 . 0 ) ,   in d icatin g   a n   ac ce p tab le  d is tr ib u tio n   f o r   r esear ch .   Descr ip tiv e  d ata  f o r   p o s t - test   s co r es a r e  p r esen ted   in   T ab le  4 .           Fig u r e   3 .   Plo t Q - Q  n o r m al  p o s t te s t           Fig u r e   4 .   Plo t Q - Q  n o r m al  d etr en d ed   p o s t te s t   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E ffective n ess   o f d ig ita l le a r n in g   o n   s tu d e n ts ’   h ig h er o r d er th i n kin g   s kills   ( Ha mid a h   Ma t )   2821       Fig u r e   5 .   B o x p lo t  p r e - test   Fig u r e   6 .   B o x p lo t  p o s t - test       T ab le   3.   I n d ep e n d en t   t - test   an aly s is   r esu lt   V a r i a b l e s   N   M   SD   t   df   S i g .   Tr e a t me n t   35   2 6 . 8 6   1 4 . 0 9   1 . 6 5   68   0 . 1 0 4   C o n t r o l   35   2 1 . 6 6   1 2 . 2 4           T ab le   4.   I n d ep e n d en t   t - test   an aly s is   r esu lt   V a r i a b l e s     N   M   SD   t   df   S i g .   Tr e a t me n t   35   5 9 . 0 3   1 2 . 9 4   8 . 3 7   68   0 . 0 0 0   C o n t r o l   35   3 4 . 6 6   1 1 . 3 7               An   in d ep en d en t  t - test   r ev ea le d   a  s ig n if ican t  d if f er e n ce   in   p o s t - test   s co r es  b etwe en   th e  tr ea tm en t  an d   co n tr o l   g r o u p s   ( t ( 6 8 ) = 8 . 3 7 ,   p > 0 . 0 5 ) .   T h e  tr ea tm e n t  g r o u p   ( M= 5 9 . 0 3 )   s ig n if ica n tly   o u tp er f o r m ed   th e   co n tr o l   g r o u p   ( M= 3 4 . 6 6 )   o n   th e  HOT S  v ar iab le,   as  in d icate d   in   T ab le  4 ,   d em o n s tr atin g   a  m ea n in g f u l  d if f e r en ce   in   HOT S  b etwe en   th e  two   g r o u p s .   T h is   s tu d y   p r o v id es  v alu a b le  in s ig h ts   f o r   teac h er s   to   d iv e r s if y   s tr ateg ies  an d   teac h in g   m eth o d s   in   elec tr ic ity   to p ics.  T h e  i - Ge n iu s   m o d u le' s   d ev elo p m en t  en h an ce s   th e  teac h in g   an d   lear n in g   p r o ce s s ,   p ar ticu lar ly   b en ef itin g   wea k er   s tu d en ts   wh o   ca n   u n d e r s tan d   an d   m as ter   elec tr ical  to p ics   m o r e  ef f ec tiv ely   t h r o u g h   in ter ac tiv e  task s .   Dr awin g   o n   co g n itiv e  ap p r en ticesh ip   p r i n cip les  [ 4 8 ] ,   th e  e m p h asis   is   o n   g u id e d   e x p er ien ce s   o f   co g n itiv e   an d   m etac o g n itiv e  lear n in g .   E n g ag em en t   with   t h e  i - Gen iu s   m o d u le   in v o lv es  ac tiv e  p ar ticip atio n   ac r o s s   f o u r   p h ases .   C lass r o o m   s etu p s   ar e  d esig n ed   t o   f ac ilit ate  co llab o r ativ e   lear n in g ,   alig n i n g   with   th e  p r in cip les  o f   2 1 s t - ce n t u r y   le ar n in g .   Acc o r d in g   to   W ah y u d d in   et  a l .  [ 4 9 ] ,   co llab o r ativ e  lear n in g   en h a n c es  s tu d en t  in ter est  an d   f o s ter s   cr itical  th in k in g   th r o u g h   ac tiv e  id ea   ex c h an g e   in   s m all  g r o u p s .   T h e   s tu d y ' s   f in d in g s   in d icate   th at   s tu d en ts   u s in g   th e   i - Gen iu s   m o d u le   d e m o n s tr ate  im p r o v e d   u n d er s tan d i n g   o f   p r o b lem - s o lv in g   s tr ateg ies,  co n ce p ts ,   a n d   in f o r m atio n ,   lead in g   to   en h an ce d   d ec is io n - m ak in g   s k ills .   Dev elo p ed   in   alig n m en t  with   th e  s tan d ar d   an d   cu r r ic u lu m   d o cu m en t   ( S C D) ,   th e  i - Gen iu s   m o d u le  is   s tr u ctu r ed   to   en s u r e   s tu d en ts   s ea m les s ly   u tili ze   i t,  en jo y   lear n in g   a b o u t  elec tr ica l  s u b jects,  an d   f ee l   m o tiv ated   to   tack le  HOT S  ch allen g es.  R esu lts   f r o m   p o s t - in ter v en tio n   f o cu s   g r o u p   d is cu s s io n s   in d icate   th at   th e  well - o r g an ize d   i - Gen iu s   m o d u le,   e m p lo y i n g   d i v er s e  p ed ag o g ical  a p p r o ac h es,  m o tiv ates  Yea r   5   s tu d en ts   to   p u r s u e  k n o wled g e.   Sh if tin g   f r o m   tr ad itio n al  i n s tr u ctio n   to   m o d u lar   class r o o m s   em p o wer s   s tu d en ts   to   co llab o r ate,   s o lv e  p r o b lem s   in d ep en d en tly ,   an d   p ar ticip ate   in   g r o u p   d is cu s s io n s   [ 5 0 ] .   I n   p h ase  I I   o f   th e   teac h in g   p r o ce s s   o u tlin ed   in   th e  i - Gen iu s   m o d u le,   s tu d en ts   p r ac tice  m etac o g n itio n   b y   v er b alizin g   th eir   th o u g h t   p r o ce s s es,  tr an s f o r m i n g   im p licit  k n o wled g e  in to   e x p licit  k n o wled g e  [ 5 1 ] .   T h is   allo ws  teac h er s   to   id en tify   m is co n ce p tio n s ,   an d   s tu d en ts   ev alu ate  th eir   p r o b le m - s o lv in g   ap p r o ac h   [ 5 2 ] ,   alig n in g   with   th e  ac tiv e  en g ag em e n t stra teg y   s u g g este d   in   th e  Ma lay s ian   E d u ca tio n   Dev elo p m en t Plan   2 0 1 3 - 2 0 2 5   [ 5 2 ] .   T h e  s tu d y ’ s   r esu lts   r ev ea l  th at   in teg r atin g   th e  i - Gen iu s   m o d u le  ef f ec tiv ely   en h a n ce s   s tu d e n ts '   HOT S   an d   d ee p en s   th eir   u n d er s tan d i n g   o f   elec tr icity   c o n ce p ts   [ 5 3 ] ,   [ 5 4 ] .   T h e  h y b r i d   ap p r o ac h ,   co m b in in g   p r o ject - b ased   an d   v ir tu al  lea r n in g ,   s ig n if ican tly   im p ac ts   s tu d en t s '   p r o b lem - s o lv in g   a b ilit ies.  T h e  c o llab o r ativ e   lear n in g   ap p r o ac h   in   th e  i - Ge n iu s   m o d u le  ac tiv ely   en g a g es  s tu d en ts   in   s m all  g r o u p s ,   p r o m o tin g   co o p er atio n   to   ac h iev e  o b jectiv es  in   p r o b lem - s o lv in g   task s ,   alig n ed   with   th e  ed u ca tio n   s y s tem ' s   g o al  o f   n u r tu r i n g   s tu d en ts   with   p r o b lem - s o lv in g   ab ilit ie s   [ 5 5 ] .   Ad o p tin g   th e  c o g n iti v e  ap p r en ticesh ip   a p p r o ac h ,   teac h er s   en co u r ag e  s tu d en ts   to   ex p lo r e  u n an s wer ed   q u esti o n s   p o s t - m o d u le,   f o s ter in g   a  r o le  s h if t  wh er e  t h e  ex p er t  b ec o m es  th e  s tu d en t  [ 5 6 ] – [ 5 8 ] .   T h e  s tu d y   p r o v id es  in s ig h ts   in to   i n co r p o r atin g   HOT S  m o d u les  in   s cien tific   class es  b u t  ac k n o wled g es   lim itatio n s ,   e m p h asizin g   th e  n ee d   f o r   o n g o in g   an d   im p r o v e d   r esear c h   ef f o r ts .   T h e  s tu d y   s u g g ests   r ig o r o u s   a p p r o ac h es  lik e  co n tr o lled   ex p e r im en ts ,   q u an titativ e  an aly s is ,   an d   c r o s s - cu ltu r al  s tu d ies  to   g ain   a  th o r o u g h   u n d er s tan d i n g   o f   teac h in g   HOT S in   v ar io u s   ed u ca tio n al  s ettin g s   [ 5 9 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   13 ,   No .   5 ,  Octo b er   2 0 2 4 :   2 8 1 7 - 2824   2822   5.   CO NCLU SI O N   I n   s u m m a r y ,   th is   r esear ch   o f f er s   v alu ab le   in s ig h ts   in to   s tu d en ts ’   p er ce p tio n s   o f   HOT S  p r o m o tio n   in   2 1 s t - ce n tu r y   ed u ca tio n .   T h e  s tu d y ,   co n d u cted   o v e r   f iv e   y ea r s ,   d em o n s tr ates  a  g en er all y   p o s itiv e  attitu d e   to war d   HOT S  in co r p o r atio n   b u t  r e v ea ls   ch allen g es  in   ap p ly in g   t h ese  s k ills   in   s cien tific   class r o o m s .   T h e   tem p o r al  d im en s io n   ad d s   p r a ctica l  in s ig h ts   in to   HOT S  m o d u le  im p lem en tatio n   i n   Ma lay s ian   class r o o m s .   A   k ey   f in d i n g   p o in ts   to   a  p o ten tial  m is alig n m en t  b etwe en   p r escr ib ed   cu r r icu l u m   an d   ac tu al  im p lem en tatio n ,   h ig h lig h tin g   th e  n ec ess ity   f o r   clo s er   ex am in atio n   o f   teac h i n g   m eth o d o lo g ies.  T h e  r esear ch   em p h asizes   th e   ch allen g es  s tu d en ts   f ac e   in   a p p ly in g   HOT S  in   s cien tific   c o n tex ts ,   u n d er s co r in g   th e   im p o r tan ce   o f   r e f in in g   in s tr u ctio n al  s tr ateg ies  an d   tai lo r in g   th e   cu r r ic u lu m   to   p r ac t ical  r ea liti es.  C o n f ir m atio n   th at  s tu d en ts   b en ef it  f r o m   well - d esig n e d   m o d u les u n d er s co r es th e  s ig n if ica n ce   o f   tar g eted   cu r r icu lu m   d ev elo p m en t.   I n   co n clu s io n ,   th is   r esear ch   s ig n if ican tly   co n tr ib u tes  to   u n d er s tan d in g   HOT S  p r o m o ti o n   in   th e  Ma lay s ian   ed u ca tio n al  s y s tem .   I t  u n d er s co r es  th e  p r ac tical  ch allen g es  s tu d en ts   f ac e  an d   ad v o ca tes  f o r   a  m o r e   co h esiv e  an d   ef f ec tiv e  im p le m en tatio n   o f   th e  HOT S  m o d u le.   T h e  f in d in g s   p r o v id e  a  f o u n d atio n   f o r   f u t u r e   ed u ca tio n al  r ef o r m s ,   aim in g   t o   en h an ce   th e  d e v elo p m en t  o f   h ig h er - o r d e r   th in k in g   s k ills   am o n g   s tu d en ts   in   s cien tific   class r o o m s .       ACK NO WL E DG E M E NT S   T h is   wo r k   was  s u p p o r ted   b y   th e  I n is iatif   Pu tr a  Sis waz ah   Gr an t  Sch em e,   Un iv er s it i   Pu tr a  Ma lay s ia   Pro ject  C o d e  GP - I PS /2 0 2 2 /9 7 1 7 6 0 0 .       RE F E R E NC E S   [ 1 ]   S .   S u t a p h a n   a n d   C .   Y u e n y o n g ,   “ S T EM   e d u c a t i o n   t e a c h i n g   a p p r o a c h :   i n q u i r y   f r o m  t h e   c o n t e x t   b a se d , ”   J o u r n a l   o f   Ph y si c s:   C o n f e re n c e   S e r i e s ,   v o l .   1 3 4 0 ,   n o .   1 ,   p .   0 1 2 0 0 3 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 3 4 0 / 1 / 0 1 2 0 0 3 .   [ 2 ]   A .   S .   P u t r i ,   Z.   K .   P r a se t y o ,   L.   A .   P u r w a st u t i ,   A .   K .   P r o d j o s a n t o s o ,   a n d   H .   P u t r a n t a ,   “ Ef f e c t i v e n e ss  o f   S TEA M - b a se d   b l e n d e d   l e a r n i n g   o n   s t u d e n t s’   c r i t i c a l   a n d   c r e a t i v e   t h i n k i n g   sk i l l s, ”   I n t e r n a t i o n a l   J o u rn a l   o f   E v a l u a t i o n   a n d   Re s e a r c h   i n   Ed u c a t i o n   ( I J ERE) ,   v o l .   1 2 ,   n o .   1 ,   p p .   4 4 – 5 2 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 5 9 1 / i j e r e . v 1 2 i 1 . 2 2 5 0 6 .   [ 3 ]   M .   D .   B .   C a s t r o   a n d   G .   M .   T u mi b a y ,   “ A   l i t e r a t u r e   r e v i e w :   e f f i c a c y   o f   o n l i n e   l e a r n i n g   c o u r s e s   f o r   h i g h e r   e d u c a t i o n   i n s t i t u t i o n   u s i n g   me t a - a n a l y s i s , ”   E d u c a t i o n   a n d   I n f o r m a t i o n   T e c h n o l o g i e s ,   v o l .   2 6 ,   n o .   2 ,   p p .   1 3 6 7 – 1 3 8 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 3 9 - 019 - 10027 - z.   [ 4 ]   S .   R .   M u z a n a ,   J u ma d i ,   I .   W i l u j e n g ,   B .   E.   Y a n t o ,   a n d   A .   A .   M u s t a m i n ,   “ E - S TEM   p r o j e c t - b a se d   l e a r n i n g   i n   t e a c h i n g   s c i e n c e   t o   i n c r e a s e   I C T  l i t e r a c y   a n d   p r o b l e m  s o l v i n g , ”   I n t e rn a t i o n a l   J o u r n a l   o f   Ev a l u a t i o n   a n d   Re se a rc h   i n   E d u c a t i o n   ( I J ERE) ,   v o l .   1 0 ,     n o .   4 ,   p p .   1 3 8 6 – 1 3 9 4 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 1 1 5 9 1 / i j e r e . v 1 0 i 4 . 2 1 9 4 2 .   [ 5 ]   J.  M .   M .   C a l a m l a m ,   “ T h e   d e v e l o p me n t   o f   2 1 s t - c e n t u r y   e - l e a r n i n g   m o d u l e   a ssessm e n t   t o o l , ”   J o u r n a l   o f   E d u c a t i o n a l   T e c h n o l o g y   S y s t e m s ,   v o l .   4 9 ,   n o .   3 ,   p p .   2 8 9 – 3 0 9 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 1 1 7 7 / 0 0 4 7 2 3 9 5 2 0 9 5 3 7 9 2 .   [ 6 ]   N u r mas y i t a h ,   N .   A .   L u b i s,   H .   S a p u t r a ,   a n d   D e r l i n a ,   “ I mp a c t   o f   b a si c   p h y s i c s  e - m o d u l e   u si n g   p r o b l e m   o r i e n t e d   o n   c r i t i c a l   t h i n k i n g   sk i l l s   o f   p h y s i c s  t e a c h e r   c a n d i d a t e   st u d e n t , ”   J u rn a l   Pe n e l i t i a n   Pe n d i d i k a n   I PA ,   v o l .   9 ,   n o .   9 ,   p p .   7 3 4 6 – 7 3 5 3 ,   2 0 2 3 ,   d o i :   1 0 . 2 9 3 0 3 / j p p i p a . v 9 i 9 . 5 0 0 2 .   [ 7 ]   A .   L e s s a n i ,   A .   S u r a y a   M d .   Y u n u s ,   a n d   K .   B t   A.   B a k a r ,   “ C o m p a r i s o n   o f   n e w   m a t h e m a t i c s   t e a c h i n g   m e t h o d s   w i t h   t r a d i t i o n a l   m e t h o d , ”   P E O P L E :   I n t e r n a t i o n a l   J o u r n a l   o f   S o c i a l   S c i e n c e s ,   v o l .   3 ,   n o .   2 ,   p p .   1 2 8 5 – 1 2 9 7 ,   2 0 1 7 ,   d o i :   1 0 . 2 0 3 1 9 / p i j s s . 2 0 1 7 . 3 2 . 1 2 8 5 1 2 9 7 .   [ 8 ]   R .   A l - A z a w i ,   F .   A l - F a l i t i ,   a n d   M .   A l - B l u s h i ,   “ E d u c a t i o n a l   g a m i f i c a t i o n   V s .   g a m e   b a s e d   l e a r n i n g :   c o m p a r a t i v e   s t u d y , ”   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n ,   M a n a g e m e n t   a n d   T e c h n o l o g y ,  V o l .   7 ,   N o .   4 ,   p p .   1 3 1 – 1 3 6 ,   2 0 1 6 ,   d o i :   1 0 . 1 8 1 7 8 / i j i m t . 2 0 1 6 . 7 . 4 . 6 5 9 .   [ 9 ]   A .   A l a mr i ,   “ S h o u l d   v i d e o   g a mes  b e   i n c l u d e d   i n   t h e   l e a r n i n g   p r o c e ss? ”  I n t e rn a t i o n a l   J o u rn a l   o f   Ed u c a t i o n ,   v o l .   8 ,   n o .   1 ,   p p .   2 3 – 33 ,   2 0 1 6 ,   d o i :   1 0 . 5 2 9 6 / i j e . v 8 i 1 . 8 3 8 8 .   [ 1 0 ]   N .   A .   A b d u l l a h ,   N .   E.   H .   M u k h t a r ,   a n d   N .   A mr a n ,   “ S t u d e n t s’   p e r c e p t i o n s   t o w a r d s   ma t h e ma t i c a l   s o f t w a r e   b a se d   l e a r n i n g , ”   S a i n s   H u m a n i k a ,   v o l .   1 2 ,   n o .   3 ,   p p .   1 – 8 ,   2 0 2 0 .   [ 1 1 ]   S .   A h ma d y ,   N .   K o h a n ,   R .   B a g h e r z a d e h ,   T.   R a k s h h a n i ,   a n d   M .   S h a h a b i ,   “ V a l i d i t y   t e s t i n g   o f   c l a ssr o o m  c o mm u n i t y   s c a l e   i n   v i r t u a l   e n v i r o n m e n t   l e a r n i n g :   a   c r o ss   se c t i o n a l   s t u d y , ”   A n n a l s  o f   Me d i c i n e   a n d   S u r g e r y ,   v o l .   3 6 ,   p p .   2 5 6 – 2 6 0 ,   D e c .   2 0 1 8 .   [ 1 2 ]   S .   Y .   K o h   a n d   I .   L.   S i n ,   “ R a c e ,   w h i t e n e ss  a n d   i n t e r n a t i o n a l i t y   i n   t r a n sn a t i o n a l   e d u c a t i o n :   a c a d e mi c   a n d   t e a c h e r   e x p a t r i a t e s  i n  M a l a y si a , ”   i n   As i a n   M i g r a t i o n   a n d   N e w   R a c i sm ,   Lo n d o n :   R o u t l e d g e ,   2 0 2 2 ,   p p .   7 2 – 92 ,   d o i :   1 0 . 4 3 2 4 / 9 7 8 1 0 0 3 3 2 7 2 7 1 - 5.   [ 1 3 ]   T .   S .   Y e e ,   “ A n   a n a l y s i s   o f   M a l a y s i a n   c i v i c s   a n d   c i t i z e n s h i p   t e x t b o o k   ( t h r o u g h   a   m u l t i c u l t u r a l   c u r r i c u l u m   f r a m e w o r k ) , ”   i n   P r o c e e d i n g s   o f   t h e   A n n u a l   C i v i c   E d u c a t i o n   C o n f e r e n c e   ( A C E C   2 0 1 8 ) ,   P a r i s ,   F r a n c e :   A t l a n t i s   P r e s s ,   2 0 1 8 ,   d o i :   1 0 . 2 9 9 1 / a c e c - 1 8 . 2 0 1 8 . 4 7 .   [ 1 4 ]   R .   K .   A .   S i n g h ,   C .   K .   S .   S i n g h ,   T .   M .   T .   M . ,   N .   A .   M o s t a f a ,   a n d   T .   S .   M .   S i n g h ,   “ A   r e v i e w   o f   r e s e a r c h   o n   t h e   u s e   o f   h i g h e r   o r d e r   t h i n k i n g   s k i l l s   t o   t e a c h   w r i t i n g , ”   I n t e r n a t i o n a l   J o u r n a l   o f   E n g l i s h   L i n g u i s t i c s ,   v o l .   8 ,   n o .   1 ,   p p .   8 6 – 93 ,   O c t .   2 0 1 7 ,   d o i :   1 0 . 5 5 3 9 / i j e l . v 8 n 1 p 8 6 .   [ 1 5 ]   N .   J.  A l s a l e h ,   “ Te a c h i n g   c r i t i c a l   t h i n k i n g   s k i l l s:   l i t e r a t u r e   r e v i e w , ”   T h e   T u rk i s h   O n l i n e   J o u r n a l   o f   E d u c a t i o n a l   T e c h n o l o g y ,    v o l .   1 9 ,   n o .   1 ,   p p .   2 1 – 3 9 ,   2 0 2 0 .   [ 1 6 ]   R .   P r a j a p a t i ,   B .   S h a r ma ,   a n d   D .   S h a r ma,   “ S i g n i f i c a n c e   o f   l i f e   sk i l l s  e d u c a t i o n , ”   C o n t e m p o r a ry   I ssu e s  i n   Ed u c a t i o n   Re se a r c h   ( C I ER) ,   v o l .   1 0 ,   n o .   1 ,   p p .   1 – 6 ,   D e c .   2 0 1 6 ,   d o i :   1 0 . 1 9 0 3 0 / c i e r . v 1 0 i 1 . 9 8 7 5 .   [ 1 7 ]   A .   S a l o n e n ,   A .   H a r t i k a i n e n - A h i a ,   J .   H e n se ,   A .   S c h e e r s o i ,   a n d   T.   K e i n o n e n ,   “ S e c o n d a r y   s c h o o l   st u d e n t s’   p e r c e p t i o n s  o f   w o r k i n g   l i f e   s k i l l s  i n   s c i e n c e - r e l a t e d   c a r e e r s,”   I n t e r n a t i o n a l   J o u rn a l   o f   S c i e n c e   E d u c a t i o n ,   v o l .   3 9 ,   n o .   1 0 ,   p p .   1 3 3 9 – 1 3 5 2 ,   J u l .   2 0 1 7 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 0 0 6 9 3 . 2 0 1 7 . 1 3 3 0 5 7 5 .   [ 1 8 ]   K a r d o y o ,   A .   N u r k h i n ,   M u h si n ,   a n d   H .   P r a m u s i n t o ,   “ P r o b l e m - b a se d   l e a r n i n g   st r a t e g y :   i t s  i m p a c t   o n   s t u d e n t s’   c r i t i c a l   a n d   c r e a t i v e   t h i n k i n g   s k i l l s , ”   Eu r o p e a n   J o u rn a l   o f   Ed u c a t i o n a l   Re s e a r c h ,   v o l .   9 ,   n o .   3 ,   p p .   1 1 4 1 – 1 1 5 0 ,   2 0 2 0 ,   d o i :   1 0 . 1 2 9 7 3 / E U - JER . 9 . 3 . 1 1 4 1 .   [ 1 9 ]   A .   K i t sa n t a s,  A .   L .   B a y l o r ,   a n d   S .   E .   H i l l e r ,   “ I n t e l l i g e n t   t e c h n o l o g i e s  t o   o p t i mi z e   p e r f o r m a n c e :   A u g me n t i n g   c o g n i t i v e   c a p a c i t y  a n d   su p p o r t i n g   se l f - r e g u l a t i o n   o f   c r i t i c a l   t h i n k i n g   s k i l l s  i n   d e c i si o n - m a k i n g , ”   C o g n i t i v e   S y st e m s  Re s e a r c h ,   v o l .   5 8 ,   p p .   3 8 7 – 3 9 7 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . c o g s y s. 2 0 1 9 . 0 9 . 0 0 3 .   [ 2 0 ]   U .   R a h mi   a n d   A z r u l ,   “ O p t i mi z i n g   t h e   d i s c u ssi o n   m e t h o d s   i n   b l e n d e d   l e a r n i n g   t o   i m p r o v e   st u d e n t ’ s   h i g h   o r d e r   t h i n k i n g   s k i l l s,”   Pe g e m   E g i t i m   v e   O g r e t i m   D e r g i s i ,   v o l .   1 2 ,   n o .   3 ,   p p .   1 9 0 – 1 9 6 ,   2 0 2 2 ,   d o i :   1 0 . 4 7 7 5 0 / p e g e g o g . 1 2 . 0 3 . 2 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E ffective n ess   o f d ig ita l le a r n in g   o n   s tu d e n ts ’   h ig h er o r d er th i n kin g   s kills   ( Ha mid a h   Ma t )   2823   [ 2 1 ]   A .   M c C o r mi c k ,   C .   M e i j e n ,   P .   A .   A n st i ss ,   a n d   H .   S .   J o n e s,  “ S e l f - r e g u l a t i o n   i n   e n d u r a n c e   s p o r t s:   t h e o r y ,   r e se a r c h ,   a n d   p r a c t i c e , ”   I n t e r n a t i o n a l   Re v i e w   o f   S p o rt   a n d   E x e rci s e   Ps y c h o l o g y ,   v o l .   1 2 ,   n o .   1 ,   p p .   2 3 5 – 2 6 4 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 1 7 5 0 9 8 4 X . 2 0 1 8 . 1 4 6 9 1 6 1 .   [ 2 2 ]   J.  I r v i n e ,   “ Ta x o n o m i e s  i n   E d u c a t i o n :   o v e r v i e w ,   c o mp a r i s o n ,   a n d   f u t u r e   d i r e c t i o n s , ”   J o u rn a l   o f   Ed u c a t i o n   a n d   D e v e l o p m e n t ,    v o l .   5 ,   n o .   2 ,   p p .   1 – 25 ,   2 0 2 1 ,   d o i :   1 0 . 2 0 8 4 9 / j e d . v 5 i 2 . 8 9 8 .   [ 2 3 ]   S .   M .   W e c h s l e r   e t   a l . ,   “ C r e a t i v e   a n d   c r i t i c a l   t h i n k i n g :   I n d e p e n d e n t   o r   o v e r l a p p i n g   c o mp o n e n t s ? ”  T h i n k i n g   S k i l l s  a n d   C re a t i v i t y ,  v o l .   2 7 ,   p p .   1 1 4 – 1 2 2 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . t s c . 2 0 1 7 . 1 2 . 0 0 3 .   [ 2 4 ]   I .   B .   A .   G h a n i ,   N .   H .   I b r a h i m,   N .   A .   Y a h a y a ,   a n d   J .   S u r i f ,   “ E n h a n c i n g   s t u d e n t s’   H O TS i n   l a b o r a t o r y   e d u c a t i o n a l   a c t i v i t y   b y   u s i n g   c o n c e p t   ma p   a s  a n   a l t e r n a t i v e   a ss e ss men t   t o o l , ”   C h e m i st r y   E d u c a t i o n   R e s e a r c h   a n d   Pra c t i c e ,   v o l .   1 8 ,   n o .   4 ,   p p .   8 4 9 – 8 7 4 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 3 9 / c 7 r p 0 0 1 2 0 g .   [ 2 5 ]   L .   D .   B a s i l e o   a n d   M .   T o t h ,   “ A   s t a t e   l e v e l   a n a l y s i s   o f   t h e   M a r z a n o   t e a c h e r   e v a l u a t i o n   m o d e l :   p r e d i c t i n g   t e a c h e r   v a l u e - a d d e d   m e a s u r e s   w i t h   o b s e r v a t i o n   s c o r e s , ”   P r a c t i c a l   A s s e s s m e n t ,   R e s e a r c h   a n d   E v a l u a t i o n ,   v o l .   2 4 ,   n o .   6 ,   p p .   1 – 1 4 ,   2 0 1 9 ,   d o i :   1 0 . 7 2 7 5 / c c 5 b - 6 j 4 3 .   [ 2 6 ]   M .   D .   I n sa n i ,   N .   P r a t i w i ,   a n d   M .   M u h a r d j i t o ,   “ H i g h e r - o r d e r   t h i n k i n g   sk i l l s  b a s e d   o n   M a r z a n o   t a x o n o m y   i n   b a s i c   b i o l o g y   I   c o u r se, ”   J PBI ( J u r n a l   P e n d i d i k a n   B i o l o g i   I n d o n e si a ) ,   v o l .   5 ,   n o .   3 ,   p p .   5 2 1 – 5 2 8 ,   2 0 1 9 ,   d o i :   1 0 . 2 2 2 1 9 / j p b i . v 5 i 3 . 1 0 1 7 1 .   [ 2 7 ]   S .   R a m a d h a n ,   D .   M a r d a p i ,   Z .   K .   P r a s e t y o ,   a n d   H .   B .   U t o m o ,   “ T h e   d e v e l o p m e n t   o f   a n   i n s t r u m e n t   t o   m e a s u r e   t h e   h i g h e r   o r d e r   t h i n k i n g   s k i l l   i n   p h y s i c s , ”   E u r o p e a n   J o u r n a l   o f   E d u c a t i o n a l   R e s e a r c h ,   v o l .   8 ,   n o .   3 ,   p p .   7 4 3 – 7 5 1 ,   2 0 1 9 ,   d o i :   1 0 . 1 2 9 7 3 / e u - j e r . 8 . 3 . 7 4 3 .   [ 2 8 ]   B .   W a h o n o ,   P .   L .   Li n ,   a n d   C .   Y .   C h a n g ,   “ E v i d e n c e   o f   S T EM   e n a c t m e n t   e f f e c t i v e n e ss   i n   A s i a n   s t u d e n t   l e a r n i n g   o u t c o mes , ”   I n t e r n a t i o n a l   J o u r n a l   o f   S T EM   Ed u c a t i o n ,   v o l .   7 ,   n o .   1 ,   p .   3 6 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 020 - 0 0 2 3 6 - 1.   [ 2 9 ]   D .   P a sse l a i g u e   a n d   V .   M u n i e r ,   “ S c h o o l t e a c h e r   t r a i n e e s’   d i f f i c u l t i e s  a b o u t   t h e   c o n c e p t s   o f   a t t r i b u t e   a n d   mea s u r e m e n t , ”   Ed u c a t i o n a l   S t u d i e s  i n   M a t h e m a t i c s ,   v o l .   8 9 ,   n o .   3 ,   p p .   3 0 7 – 3 3 6 ,   2 0 1 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 4 9 - 0 1 5 - 9 6 1 0 - 6.   [ 3 0 ]   S .   S .   S u n d a r   a n d   A .   M .   L i m p e r o s,  “ U ses  a n d   g r a t s  2 . 0 :   n e w   g r a t i f i c a t i o n s   f o r   n e w   me d i a , ”   J o u rn a l   o f   Bro a d c a st i n g   a n d   E l e c t r o n i c   Me d i a ,   v o l .   5 7 ,   n o .   4 ,   p p .   5 0 4 – 5 2 5 ,   2 0 1 3 ,   d o i :   1 0 . 1 0 8 0 / 0 8 8 3 8 1 5 1 . 2 0 1 3 . 8 4 5 8 2 7 .   [ 3 1 ]   A .   S .   M u sa,   M .   N .   L .   A z m i ,   a n d   N .   S .   I smai l ,   “ Ex p l o r i n g   t h e   u ses   a n d   g r a t i f i c a t i o n s  t h e o r y   i n   t h e   u se  o f   s o c i a l   med i a   a m o n g   t h e   st u d e n t s   o f   m a ss  c o mm u n i c a t i o n   i n   N i g e r i a , ”   M a l a y s i a n   J o u r n a l   o f   D i st a n c e   E d u c a t i o n ,   v o l .   1 7 ,   n o .   2 ,   p p .   8 3 – 9 5 ,   2 0 1 6 ,   d o i :   1 0 . 2 1 3 1 5 / mj d e 2 0 1 5 . 1 7 . 2 . 6 .   [ 3 2 ]   C .   G a n   a n d   H .   L i ,   “ U n d e r s t a n d i n g   t h e   e f f e c t s   o f   g r a t i f i c a t i o n s   o n   t h e   c o n t i n u a n c e   i n t e n t i o n   t o   u se  W e C h a t   i n   C h i n a :   a   p e r s p e c t i v e   o n   u s e s  a n d   g r a t i f i c a t i o n s , ”   C o m p u t e r s i n   H u m a n   B e h a v i o r ,   v o l .   7 8 ,   p p .   3 0 6 – 3 1 5 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . c h b . 2 0 1 7 . 1 0 . 0 0 3 .   [ 3 3 ]   D .   M e n o n ,   “ P u r c h a s e   a n d   c o n t i n u a t i o n   i n t e n t i o n s   o f   o v e r - t h e - t o p   ( O TT)   v i d e o   s t r e a m i n g   p l a t f o r m   s u b s c r i p t i o n s :   a   u s e s  a n d   g r a t i f i c a t i o n   t h e o r y   p e r sp e c t i v e , ”   S m a rt   A g ri c u l t u r a l   T e c h n o l o g y ,   v o l .   5 ,   p .   1 0 0 0 0 6 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . t e l e r . 2 0 2 2 . 1 0 0 0 0 6 .   [ 3 4 ]   R .   C .   C l a r k   a n d   R .   E.   M a y e r ,   e ‐ L e a rn i n g   a n d   t h e   s c i e n c e   o f   i n s t ru c t i o n :   p ro v e n   g u i d e l i n e s   f o r  c o n s u m e rs   a n d   d e si g n e rs  o f   m u l t i m e d i a   l e a r n i n g ,   3 r d   e d .   S a n   F r a n c i sc o ,   C A :   W i l e y ,   2 0 1 1 ,   d o i :   1 0 . 1 0 0 2 / 9 7 8 1 1 1 8 2 5 5 9 7 1 .   [ 3 5 ]   A .   S a n t i l l á n - F e r n á n d e z ,   Y .   S a l i n a s - M o r e n o ,   J .   R .   V a l d e z - L a z a l d e ,   a n d   S .   P e r e i r a - L o r e n z o ,   “ S p a t i a l - t e m p o r a l   e v o l u t i o n   o f   s c i e n t i f i c   p r o d u c t i o n   a b o u t   g e n e t i c a l l y   m o d i f i e d   ma i z e , ”   A g r i c u l t u re ,   v o l .   1 1 ,   n o .   3 ,   p .   2 4 6 ,   M a r .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / a g r i c u l t u r e 1 1 0 3 0 2 4 6 .   [ 3 6 ]   J.  L i ,   P .   D .   A n t o n e n k o ,   a n d   J.   W a n g ,   “ Tr e n d s   a n d   i ss u e s   i n   m u l t i m e d i a   l e a r n i n g   r e s e a r c h   i n   1 9 9 6 – 2 0 1 6 :   a   b i b l i o met r i c   a n a l y s i s,”   Ed u c a t i o n a l   Re s e a r c h   Re v i e w ,   v o l .   2 8 ,   p .   1 0 0 2 8 2 ,   N o v .   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . e d u r e v . 2 0 1 9 . 1 0 0 2 8 2 .   [ 3 7 ]   Y. - T .   C .   Y a n g ,   “ V i r t u a l   C E O s :   a   b l e n d e d   a p p r o a c h   t o   d i g i t a l   g a m i n g   f o r   e n h a n c i n g   h i g h e r   o r d e r   t h i n k i n g   a n d   a c a d e m i c   a c h i e v e m e n t   a m o n g   v o c a t i o n a l   h i g h   s c h o o l   s t u d e n t s , ”   C o m p u t e r s   &   E d u c a t i o n ,   v o l .   8 1 ,   p p .   2 8 1 – 2 9 5 ,   F e b .   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 1 4 . 1 0 . 0 0 4 .   [ 3 8 ]   I .   G .   P u t r a ,   I .   D .   Ta s t r a ,   a n d   I .   I .   S u w a t r a ,   “ D e v e l o p m e n t   o f   l e a r n i n g   v i d e o   me d i a   u si n g   t h e   A D D I E  mo d e l   f o r   En g l i s h   l a n g u a g e   l e a r n i n g   a t   S D N   1   S e l a t ,”   ( i n   I n d o n e si a n ) ,   J u rn a l   E d u t e c h   U n i v e rsi t a s   Pe n d i d i k a n   G a n e s h a ,   v o l .   2 ,   n o .   1 ,   p p .   1 – 1 0 ,   2 0 1 4 .   [ 3 9 ]   A .   L.   W h i t e h e a d ,   S .   A .   J u l i o u s,   C .   L .   C o o p e r ,   a n d   M .   J.   C a m p b e l l ,   “ Es t i mat i n g   t h e   s a m p l e   si z e   f o r   a   p i l o t   r a n d o m i se d   t r i a l   t o   mi n i mi s e   t h e   o v e r a l l   t r i a l   s a mp l e   si z e   f o r   t h e   e x t e r n a l   p i l o t   a n d   m a i n   t r i a l   f o r   a   c o n t i n u o u s   o u t c o me   v a r i a b l e , ”   S t a t i st i c a l   M e t h o d s   i n   Me d i c a l   Re s e a r c h ,   v o l .   2 5 ,   n o .   3 ,   p p .   1 0 5 7 – 1 0 7 3 ,   J u n .   2 0 1 6 ,   d o i :   1 0 . 1 1 7 7 / 0 9 6 2 2 8 0 2 1 5 5 8 8 2 4 1 .   [ 4 0 ]   J.  C .   F .   d e   W i n t e r ,   “ U si n g   t h e   st u d e n t ’ s  t - t e st   w i t h   e x t r e me l y   sma l l   samp l e   s i z e s, ”   Pr a c t i c a l   Ass e ssm e n t ,   R e se a rc h   a n d   Ev a l u a t i o n ,   v o l .   1 8 ,   n o .   1 0 ,   p p .   1 – 1 2 ,   2 0 1 3 ,   d o i :   1 0 . 7 2 7 5 / e 4 r 6 - d j 0 5 .   [ 4 1 ]   J .   J a n s s e n   a n d   I .   K o l l a r ,   “ E x p e r i m e n t a l   a n d   q u a s i - e x p e r i m e n t a l   r e s e a r c h   i n   C S C L , ”   i n   I n t e r n a t i o n a l   h a n d b o o k   o f   c o m p u t e r - s u p p o r t e d   c o l l a b o r a t i v e   l e a r n i ng ,   C h a m :   S p r i n g e r   I n t e r n a t i o n a l   P u b l i s h i n g ,   2 0 2 1 ,   p p .   4 9 7 – 5 1 5 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 0 - 6 5 2 9 1 - 3 _ 2 7 .   [ 4 2 ]   A .   K a r a mi   a n d   F .   A .   B o w l e s ,   “ W h i c h   s t r a t e g y   p r o m o t e s   r e t e n t i o n ?   I n t e n t i o n a l   v o c a b u l a r y   l e a r n i n g ,   i n c i d e n t a l   v o c a b u l a r y   l e a r n i n g ,   o r   a   m i x t u r e   o f   b o t h ? ”  A u s t r a l i a n   J o u r n a l   o f   T e a c h e r   E d u c a t i o n ,   v o l .   4 4 ,   n o .   9 ,   p p .   2 5 – 4 3 ,   2 0 1 9 ,   d o i :   1 0 . 1 4 2 2 1 / a j t e . 2 0 1 9 v 4 4 . n 9 . 2 .   [ 4 3 ]   H .   O .   G a v a z ,   Y .   Y a z g a n ,   a n d   Ç .   A r sl a n ,   “ N o n - r o u t i n e   p r o b l e m  s o l v i n g   a n d   s t r a t e g y   f l e x i b i l i t y :   a   q u a s i - e x p e r i men t a l   st u d y , ”   J o u rn a l   o f   Pe d a g o g i c a l   Re s e a rc h ,   v o l .   5 ,   n o .   3 ,   p p .   4 0 – 5 4 ,   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 2 / JP R . 2 0 2 1 3 7 0 5 8 1 .   [ 4 4 ]   S .   D e m i r ,   “ C o m p a r i so n   o f   n o r ma l i t y   t e s t s  i n   t e r ms  o f   s a m p l e   s i z e s   u n d e r   d i f f e r e n t   s k e w n e ss   a n d   k u r t o s i s  c o e f f i c i e n t s ,”  I n t e r n a t i o n a l   J o u r n a l   o f   Ass e ssm e n t   T o o l s  i n   E d u c a t i o n ,   v o l .   9 ,   n o .   2 ,   p p .   3 9 7 – 4 0 9 ,   2 0 2 2 ,   d o i :   1 0 . 2 1 4 4 9 / i j a t e . 1 1 0 1 2 9 5 .   [ 4 5 ]   B .   G .   Ta b a c h n i c k ,   L.   S .   F i d e l l ,   a n d   J.   B .   U l l m a n ,   U si n g   m u l t i v a ri a t e   s t a t i st i c s ,   6 t h   e d .   B o s t o n ,   M A :   P e a r so n   Ed u c a t i o n ,   2 0 1 3 .   [ 4 6 ]   J.  P a l l a n t ,   S P S S   s u rvi v a l   m a n u a l :   a   st e p   b y   st e p   g u i d e   t o   d a t a   a n a l y s i s  u si n g   I B M  S PS S .   R o u t l e d g e ,   2 0 2 0 .   [ 4 7 ]   D .   G e o r g e   a n d   P .   M a l l e r y ,   I BM   S PS S   s t a t i s t i c s  2 6   st e p   b y   st e p .   R o u t l e d g e ,   2 0 1 9 .   d o i :   1 0 . 4 3 2 4 / 9 7 8 0 4 2 9 0 5 6 7 6 5 .   [ 4 8 ]   E.   I mi e r e ,   “ A n   a p p l i c a t i o n   o f   c o g n i t i v e   a p p r e n t i c e s h i p   t o   p h i l o so p h y   i n st r u c t i o n , ”   O n l i n e   S u b m i ssi o n ,  p p .   1 – 1 9 ,   2 0 1 9 .   [ 4 9 ]   W a h y u d d i n ,   Er n a w a t i ,   S .   S a t r i a n i ,   a n d   N u r s a k i a h ,   “ T h e   a p p l i c a t i o n   o f   c o l l a b o r a t i v e   l e a r n i n g   m o d e l   t o   i m p r o v e   s t u d e n t ’ s  4 c s   sk i l l s , ”   An a t o l i a n   J o u r n a l   o f   E d u c a t i o n ,   v o l .   7 ,   n o .   1 ,   p p .   9 3 – 1 0 2 ,   A p r .   2 0 2 2 ,   d o i :   1 0 . 2 9 3 3 3 / a j e . 2 0 2 2 . 7 1 8 a .   [ 5 0 ]   P .   K r a n z f e l d e r ,   A .   T.   Lo ,   M .   P .   M e l l o y ,   L .   E.   W a l k e r ,   a n d   A .   R .   M .   W a r f a ,   “ I n st r u c t i o n a l   p r a c t i c e s  i n   r e f o r m e d   u n d e r g r a d u a t e   S TEM   l e a r n i n g   e n v i r o n me n t s :   a   s t u d y   o f   i n st r u c t o r   a n d   s t u d e n t   b e h a v i o r s   i n   b i o l o g y   c o u r se s,”   I n t e r n a t i o n a l   J o u r n a l   o f   S c i e n c e   Ed u c a t i o n ,   v o l .   4 1 ,   n o .   1 4 ,   p p .   1 9 4 4 – 1 9 6 1 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 0 0 6 9 3 . 2 0 1 9 . 1 6 4 9 5 0 3 .   [ 5 1 ]   F .   R a d m e h r   a n d   M .   D r a k e ,   “ E x p l o r i n g   st u d e n t s’   met a c o g n i t i v e   k n o w l e d g e :   t h e   c a s e   o f   i n t e g r a l   c a l c u l u s , ”   Ed u c a t i o n   S c i e n c e s ,    v o l .   1 0 ,   n o .   3 ,   2 0 2 0 ,   d o i :   1 0 . 3 3 9 0 / e d u c sci 1 0 0 3 0 0 5 5 .   [ 5 2 ]   E.   R.   M o r e n o ,   V .   M .   C a b e l l o ,   F .   Ló p e z - C o r t é s,  a n d   E.   A.   C e d e ñ o ,   “ T h e   r e f l e c t i v e   p r a c t i c e   a s  a   t o o l   f o r   m a k i n g   t a c i t   k n o w l e d g e   e x p l i c i t , ”   R e f l e c t i v e   Pr a c t i c e ,   v o l .   2 2 ,   n o .   4 ,   p p .   5 1 5 – 5 3 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 8 0 / 1 4 6 2 3 9 4 3 . 2 0 2 1 . 1 9 3 0 5 2 7 .   [ 5 3 ]   F .   Er d o g a n ,   “ Ef f e c t   o f   c o o p e r a t i v e   l e a r n i n g   su p p o r t e d   b y   r e f l e c t i v e   t h i n k i n g   a c t i v i t i e s  o n   st u d e n t s’   c r i t i c a l   t h i n k i n g   sk i l l s ,”  Eu r a si a n   J o u rn a l   o f   Ed u c a t i o n a l   Re s e a rc h ,   v o l .   2 0 1 9 ,   n o .   8 0 ,   p p .   8 9 – 1 1 2 ,   2 0 1 9 ,   d o i :   1 0 . 1 4 6 8 9 / e j e r . 2 0 1 9 . 8 0 . 5 .   [ 5 4 ]   F .   T.   M .   P a n g g a b e a n ,   P .   O .   P a r d e d e ,   R .   M .   D .   S .   S i t o r u s,  Y .   K .   S i t u m o r a n g ,   E.   S .   N a i b a h o ,   a n d   J.  S .   S i ma n j u n t a k ,   “ A p p l i c a t i o n   o f   2 1 s t   C e n t u r y   l e a r n i n g   s k i l l s   o r i e n t e d   d i g i t a l - a g e   l i t e r a c y   t o   i m p r o v e   s t u d e n t   l i t e r a c y   H O TS   i n   S c i e n c e   l e a r n i n g   i n   c l a ss   I X   S M P , ”   J u r n a l   Ma n t i k ,   v o l .   5 ,   n o .   3 ,   p p .   1 9 2 2 – 1 9 3 0 ,   2 0 2 1 .   [ 5 5 ]   S u n a r y o ,   A .   K u s h e r m a w a t i ,   a n d   M .   D e l i n a ,   “ U n v e i l   e - m o d u l e   g l o b a l   w a r m i n g   b a s e d   o n   p r o b l e m   b a s e d   l e a r n i n g   t o   i m p r o v e   s t u d e n t s ’   h i g h e r   o r d e r   t h i n k i n g   s k i l l s   ( H O T S ) , ”   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n ,   C r e a t i v i t y   a n d   C h a n g e ,  v o l .   1 1 ,   n o .   1 ,   p p .   4 4 4 – 4 5 7 ,   2 0 2 1 .   [ 5 6 ]   L.   Li u ,   “ A p p l i c a t i o n   o f   c o o p e r a t i v e   p r i n c i p l e   a n d   p o l i t e n e ss   p r i n c i p l e   i n   c l a ss  q u e s t i o n - a n sw e r   p r o c e ss , ”   T h e o ry   a n d   Pr a c t i c e   i n   L a n g u a g e   S t u d i e s ,   v o l .   7 ,   n o .   7 ,   p p .   5 6 3 – 5 6 9 ,   2 0 1 7 ,   d o i :   1 0 . 1 7 5 0 7 / t p l s. 0 7 0 7 . 1 0 .   [ 5 7 ]   Y .   A .   P r a t a m a ,   W .   S o p a n d i ,   a n d   Y .   H i d a y a h ,   “ R A D E C   l e a r n i n g   m o d e l   ( r e a d - a n sw e r - d i s c u ss - e x p l a i n   a n d   c r e a t e ) :   t h e   i mp o r t a n c e   o f   b u i l d i n g   c r i t i c a l   t h i n k i n g   s k i l l s   i n   I n d o n e si a n   c o n t e x t , ”   I n t e r n a t i o n a l   J o u rn a l   f o r  Ed u c a t i o n a l   a n d   V o c a t i o n a l   S t u d i e s ,   v o l .   1 ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   13 ,   No .   5 ,  Octo b er   2 0 2 4 :   2 8 1 7 - 2824   2824   n o .   2 ,   p p . 1 0 9 – 1 1 5 ,   2 0 1 9 ,   d o i :   1 0 . 2 9 1 0 3 / i j e v s . v 1 i 2 . 1 3 7 9 .   [ 5 8 ]   A sl a n ,   S i l v i a ,   B .   S .   N u g r o h o ,   M .   R a ml i ,   a n d   R u si a d i ,   “ T e a c h e r ’ s   l e a d e r s h i p   t e a c h i n g   st r a t e g y   s u p p o r t i n g   st u d e n t   l e a r n i n g   d u r i n g   t h e   C O V I D - 1 9   d i sr u p t i o n , ”   N i d h o m u l   H a q   :   J u r n a l   M a n a j e m e n   P e n d i d i k a n   I s l a m ,   v o l .   5 ,   n o .   3 ,   p p .   3 2 1 – 3 3 3 ,   2 0 2 0 ,   d o i :   1 0 . 3 1 5 3 8 / n d h . v 5 i 3 . 9 8 4 .   [ 5 9 ]   S .   G .   I sak se n ,   K .   B .   S t e a d - D o r v a l ,   a n d   D .   J.   Tr e f f i n g e r ,   C re a t i v e   p ro b l e m   so l v i n g .   N e w   Y o r k :   R o u t l e d g e ,   2 0 2 3 ,   d o i :   1 0 . 4 3 2 4 / 9 7 8 1 0 0 3 4 1 9 3 2 7 .       B I O G RAP H I E S   OF   AUTH O RS       Ha m id a h   M a t           is   a   Ph . D .   stu d e n t   at   t h e   F a c u l ty   of   Ed u c a ti o n a l   S t u d ies ,   Un iv ers it i   P u tra   M a lay sia .   S h e   is   c u rre n tl y   a   se n io r   lec tu re r   at   In stit u t   Am in u d d in   Ba k i,   M alay sia   with   20   y e a rs   of   p r o v e n   e x p e rien c e   in   tea c h i n g   e sp e c ially   f o r   e lem e n tary   sc h o o l .   Her   re se a rc h   in tere sts   fo c u s   on   Cu rricu l u m   a n d   In stru c t io n ,   Ev a lu a ti o n   a n d   m e a su re m e n t,   P ed ag o g y ,   S TE M   E d u c a ti o n ,   S c ien c e ,   a n d   HO TS .   S h e   can   be   c o n tac ted   at   e m a il :   h a m id a h 2 2 6 0 5 @ g m a il . c o m .         S iti   S a li n a   Mu st a k i m           is   a   S e n io r   Lec tu re r   at   th e   F acu lt y   of   E d u c a ti o n a l   S tu d ies,   Un i v e rsiti   P u tra   M a lay s ia.   S h e   is   an   e x p e rt   in   E d u c a ti o n a l   M e a su re m e n t   with   20   y ears   of   p ro v e n   e x p e rien c e   in   teach in g ,   re se a rc h ,   b o o k s   a n d   a rti c les   p u b li c a ti o n s,   a n d   co n su lt ati o n   with   in d u stries   e ff e c ti v e ly   a n d   e fficie n tl y .   S h e   can   be   c o n tac ted   at   e m a il :   m ss a li n a @u p m . e d u . m y .         F a zila h   Ra z a li           re c e iv e d   Ph . D .   in   Cu rr icu lu m   a n d   In str u c ti o n   fro m   Un iv e rsiti   P u tra   M a lay sia   a n d   is   c u rre n tl y   a   S en i o r   Lec tu re r   at   F a c u l ty   Ed u c a ti o n a l   S t u d ies ,   Un i v e rsiti   P u tra   M a lay sia .   He r   re se a rc h   in tere sts   fo c u s   on   c u rricu l u m ,   p e d a g o g y ,   S TE M   e d u c a ti o n ,   b io l o g y ,   a n d   m a th   e d u c a ti o n .   S h e   can   be   c o n tac ted   at   e m a il :   fa z il a h ra z a li @u p m . e d u . m y .         No rliza   G h a z a li           is   a   S e n i o r   Lec tu re r   at   th e   U n iv e rsiti   P u tra   M a lay sia   (UPM ),   M alay sia.   He r   e x p e rti se   is   in   M e a su re m e n t   a n d   Ev a l u a ti o n .   Dr   No rli z a ’s   re se a rc h   in tere st   li es   in   th e   in str u m e n t   d e v e lo p m e n t,   stru c t u ra l   e q u a ti o n   m o d e l l in g ,   Ra sc h   m e a su re m e n t   mo d el,   h i g h e r   e d u c a ti o n ,   tea c h in g   an d   lea rn in g ,   sc h o o l - b a se d   a ss e s sm e n t   a n d   o n li n e   lea rn i n g   en v iron me n t.   S h e   can   be   c o n tac ted   at   e m a il :   a lez g @u p m . e d u . m y .         Asn u l   Da h a r   Mi n g h a t           is   an   As so c iate   P r o fe ss o r   at   Un i v e rsiti   Te k n o lo g i   M alay sia   Ku a la   Lu m p u r.   He   is   i n v o lv e d   with   lo c a l   a n d   w o rld wi d e   res earc h ,   p u b l ica ti o n ,   a n d   p res en tati o n   of   p a p e r.   He   se rv e s   as   Dire c to r   of   M a n a g e m e n t   in   t h e   De p u ty   Vic e   Ch a n c e ll o r   fo r   Acad em ic   a n d   In tern a ti o n a l   Affa irs   at   Un iv e rsiti   Tek n o l o g i   M a la y sia ,   Ku a la   Lu m p u r.   He   can   be   c o n tac ted   at   e m a il :   a sn u l@u tm.m y .     Evaluation Warning : The document was created with Spire.PDF for Python.