I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   14 ,   No .   3 J u n e   2 0 2 5 ,   p p .   2278 ~ 2 2 8 9   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 1 4 i 3 . 2 7 7 2 5          2278       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Enha ncing  preser v ice t ea chers ’  co ll a bo ra tive pro blem so lv ing   throug h   STE M   p ro ject - ba sed lea r ning       Rit a   F it ria ni 1, 2 ,   H a di Su wo no 1 ,   I bro him 1 ,   B et t y   L uk ia t i 1   1 D e p a r t me n t   o f   B i o l o g y ,   F a c u l t y   o f   M a t h e m a t i c a n d   N a t u r a l   S c i e n c e s ,   U n i v e r si t a s   N e g e r i   M a l a n g ,   M a l a n g I n d o n e s i a   2 D e p a r t me n t   o f   B i o l o g y   E d u c a t i o n ,   F a c u l t y   o f   T e a c h e r   Tr a i n i n g   a n d   S c i e n c e   E d u c a t i o n ,   U n i v e r si t a s   S i l i w a n g i ,   T a si k ma l a y a ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   9 2023   R ev is ed   Oct   6 2024   Acc ep ted   No v   31 2 0 2 4       Th is stu d y   a ime d   t o   d e term in e   th e   e ffe c o sc ien c e ,   tec h n o lo g y ,   e n g i n e e rin g ,   a n d   m a th e m a ti c p ro jec t - b a se d   l e a rn in g   ( S TE M - P jBL o n   t h e   c o ll a b o ra ti v e   p ro b lem   so lv i n g   (CP S o p re se rv ice   tea c h e rs  (P S Ts).   Th e   p re te st - p o sttes t   non - e q u i v a len c o n tr o g r o u p   d e sig n   wa e m p lo y e d .   t o tal  o f   7 2   P S T s   e n ro ll e d   i n   p lan p h y sio l o g y   c o u rse   p a rti c ip a ted   in   t h is  stu d y .   S e lf - a ss e ss m e n a n d   p ro jec t   we re   u se d   to   e v a lu a te  P S Ts   C P S   s k il ls.  S e lf - a ss e ss m e n sc o re w e re   a n a ly z e d   b y   a n a l y sis  o c o v a rian c e   ( AN COV A ) wh il e   p r o jec sc o re we re   a n a ly z e d   b y   t h e   M a n n - W h it n e y   tes t.   T h e   re su lt s   o se lf - a ss e ss m e n in d ica ted   t h a t   S TE M - P jBL   e n h a n c e CP S   sk i ll s ,   p a rti c u larly   i n   so c ial  re g u latio n ,   tas k   re g u latio n ,   a n d   k n o wle d g e   b u il d in g .   Th e   re su lt o t h e   tea m ’s  p ro b le m - so lv in g   sk il ls  in   c o m p letin g   t h e   p ro jec t   d id   n o t   d iffer   b e twe e n   th e   two   g ro u p s.   Bu t   t h e   re su lt   o i n teg ra ted   S T EM   sk il ls  sh o we d   th a t h e   S TE M - P j BL  g ro u p   wa b e tt e a in teg ra ti n g   S T EM   d isc ip li n e in to   th e ir   p r o jec t.   Th is  st u d y   h ig h li g h ts   th e   imp o rtan c e   o f   in terd isc ip li n a ry   p r o jec ts  in   a   P jBL   e n v ir o n m e n t   th a c a n   b e   a d o p ted   b y   tea c h e p re p a ra ti o n   p r o g ra m fo e n h a n c in g   P S Ts   CP S   sk i ll a we ll   a g a in i n g   k n o wle d g e   o f   S TE M   in te g ra ti o n .   K ey w o r d s :   C o llab o r ativ p r o b lem   s o lv in g   Pre s er v ice  teac h er s   Pro ject - b ased   lear n in g   STE ed u ca tio n   T ea ch in g   co llab o r atio n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Had i Su wo n o   Dep ar tm en t o f   B io lo g y ,   Facu lt y   o f   Ma th e m atics a n d   Natu r al  Scien ce s ,   Un iv er s itas   Neg er i M alan g   Sem ar an g   5   Stre et ,   Ma lan g   6 5 1 4 5 ,   I n d o n esia   E m ail:  h ad i.su wo n o . f m ip a@ u m . ac . id       1.   I NT RO D UCT I O N   T h d ig ital  r e v o lu tio n   h as  ca u s ed   co m p lex   s o cial,   ec o n o m ic ,   an d   e n v ir o n m en tal  p r o b lem s   [ 1 ] .   T h e   r ap id   an d   u n p r e d ictab le  ch an g in   th is   d ig ital  ag e   h as  h a d   an   im p ac o n   ch an g in g   th way   o f   life   an d   o p en in g   n ew  d im en s io n s   in   ed u ca tio n   [ 2 ] .   E d u ca tio n al  tr a n s f o r m atio n   is   r e q u ir ed   to   en s u r e   th at   teac h er s   p r o v id e   th ei r   s tu d en ts   with   th k n o wled g an d   s k ills   th ey   n ee d   t o   b s u cc ess f u in   th f u tu r e   [ 3 ] .   Aca d em ic  r esear ch er s   r ec o m m en d   a   m o d e r n   ap p r o ac h   th at  is   n o   l o n g e r   m o n o d is cip lin ar y   b u in ter d is cip lin ar y   i n   ed u ca tio n al   p r ac tice   [ 4 ] .   T h is   h ig h lig h ts   t h im p o r tan ce   o f   s cien ce ,   tec h n o lo g y ,   en g in ee r in g ,   an d   m a th em atics  ( STE M) ,   wh ich   is   f o r m   o f   e d u ca tio n   th at  f o cu s es  o n   th in teg r ati o n   o f   v ar io u s   d is cip lin es  f o r   s o lv in g   r ea l - wo r ld   p r o b lem s   [ 5 ] ,   [ 6 ] .   STE ed u ca tio n   is   u s ed   to   c o m b in e   STE M   d is cip lin es  in t o   o n class ,   u n it,  o r   lear n i n g   ex p er ien ce   th at  is   b ased   o n   th r elatio n s h ip   b etwe en   lear n in g   a n d   r ea l - wo r ld   p r o b lem s   f o r   lo n g - ter m   ac ad em ic  s u cc ess   [ 7 ] ,   [ 8 ] .   T ea ch er s   p lay   c r u ci al  r o le  in   e n s u r in g   th s u cc ess   o f   in te g r ated   STE M   i n   th cl ass r o o m ,   in clu d i n g   b io lo g y   teac h er s .   B io lo g y   teac h er s   n ee d   in ter d is cip lin ar y   k n o wled g ac r o s s   STE M   d is cip lin es  th at  s u p p o r ted   th im p lem en tatio n   o f   ef f ec t iv e   STE M   in teg r atio n   [ 9 ] .   F o r   in s tan ce ,   th e   en v ir o n m e n t   h as  s ig n if ican p h y s io lo g ical  ef f ec o n   th g r o wth   o f   p lan ts ,   wh ich   is   an   ess en tial  to p ic  in   b io lo g y   b ec a u s it  ca n   af f ec f o o d   p r o d u ctio n .   T o   ad d r ess   th ese  p r o b lem s ,   an   i n ter d is cip lin ar y   a p p r o ac h   is   n ee d ed   to   f in d   an   e f f ec tiv way .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E n h a n ci n g   p r eser vice   tea ch ers   co lla b o r a tive  p r o b lem  s o lvi n g   th r o u g h   S TEM  … ( R ita   F itr ia n i )   2279   T h d ev elo p m en o f   b io lo g y   t ea ch er s   wh o   ca n   in c o r p o r ate   STE M   ca n   s tar with   th d ev e lo p m en o f   p r eser v ice  teac h e r s   ( PS T s )   d u r in g   th ei r   s tu d ies  in   teac h er   e d u ca tio n   p r o g r am   [ 1 0 ] .   I will   b c h allen g in g   f o r   PS T s   wh o   h av e   n e v er   b ee n   ex p o s ed   to   STE M   ac tiv ities   to   im p lem e n t   STE M   i n   th eir   class r o o m s   [ 11 ] T h er ef o r e,   PS T s   m u s en g ag e   in   STE M - in teg r ated   lear n in g   to   g ain   a   b etter   u n d er s tan d i n g   o f   STE M   [ 1 2 ] Ho wev er ,   STE M - in teg r ate d   l ea r n in g   is   co m p lex   p r o ce s s   th at  em p h asizes  ce r tain   s k ills   f o r   s u cc ess .   T h co m p lex ity   o f   STE M - in teg r at ed   lear n in g   r eq u ir es  PS T s   to   co m p r eh e n d   th p r o ce s s   o f   k n o wled g ac q u is itio n   b y   e x ch an g in g   id ea s ,   p er s p e ctiv es,  k n o wled g e,   an d   ex p e r ien ce s   to   s o l v p r o b lem s   in v o lv in g   s o cial  a n d   co g n itiv asp ec ts   [ 1 3 ] .   C o n s id er in g   th e   in teg r ate d   n atu r e   o f   STE M ,   p r o b lem   s o lv in g   n ee d s   to   b d o n e   co llab o r ativ ely   b e ca u s tr y in g   to   s o lv it  alo n m ay   b les s   ef f ec tiv th an   d o in g   it  as  team .   I n   th is   ca s e,   co llab o r ativ p r o b lem   s o lv in g   ( C PS )   is   co n s id er ed   an   ef f ec ti v s k ill  f o r   s u cc ess   in   STE M - i n teg r ated   lear n in g .   C PS   s k ill s   ca n   f ac ilit ate  th e   a cq u is itio n   o f   k n o wled g e   d u t o   th eir   b e n ef its   in   f o s ter in g   th u n d er s tan d in g   o f   k n o wled g t h r o u g h   s cien tific   i n v esti g atio n   f o r   s o lv in g   p r ac ti ca l p r o b lem s   [ 1 4 ] .   T h C PS   r ef er s   to   th e   s k ills   o f   PS T s   to   c o llab o r ate   with   o th er s   to   s o lv p r o b lem s   in   a   v ar iety   o f   s itu atio n s   [ 1 5 ] .   E ac h   PS T s   co n tr i b u tes  to   th e   ex ec u ti o n   o f   a   co m p lex   task   as  team   b y   d iv id in g   r esp o n s ib ilit ies  an d   lab o r ,   tak i n g   ac tio n   to   ac h ie v th e   team   g o al,   a n d   n av ig atin g   task   r eq u ir em en ts   [ 1 6 ] .   C PS   in v o lv es  two   asp ec ts s o cial  asp ec ts   ass o ciate d   with   th co llab o r ati o n   p r o ce s s ,   an d   co g n itiv asp ec ts   ass o ciate d   with   th p r o b lem - s o lv in g   p r o ce s s   [ 1 7 ] .   T h s o cial  asp ec o f   C PS   em p h asizes   m an ag in g   th e   in ter ac tio n   an d   co n tr ib u tio n s   o f   ea ch   PS T s ,   wh ile  th co g n itiv asp ec em p h asizes   ef f o r in   task   r e g u latio n   an d   p r o b lem - s o lv in g   s k ill  ap p licatio n   [ 1 8 ] .   Fu r th er m o r e,   PS T s   wh o   ar s k illed   in   C PS   wi ll  b m o r ca p a b le   o f   s o lv in g   p r o b lem s   in   th is   d ig ital a g e,   wh ich   ar v er y   d iv er s an d   g i v r is to   n ew  c h allen g es.    T h er ar e   v a r iety   o f   m eth o d s   f o r   ev al u atin g   C PS   s k ills .   P r ev io u s   s tu d ies  s h o wed   t h at  C PS   ca n   b e   ass es s ed   th r o u g h   s elf - ass ess m en th at  r ef lecte d   PS T s   p er ce iv ed   k n o wled g e   o f   C PS   s k ills   [ 1 3 ] .   Sin ce   t h e     s elf - ass es s m en is   ty p ically   p r o n to   m em o r y   d is to r tio n s ,   an o th er   im p o r tan asp ec o f   C PS   ass e s s m en is   th e   cr ea tio n   o f   s itu atio n s   in   wh ich   co llab o r atio n   is   ess en tial  f o r   task   co m p letio n ,   s u ch   as  s it u atio n s   th at  r eq u ir in ter d ep en d en ce   b etwe en   PS T s   in   s u p p o r o f   b o th   ex ch a n g i n g   in f o r m atio n   an d   team   o r g a n izatio n   [ 1 6 ] .   On o f   th m o s t e f f ec tiv way s   to   ass es s   C PS   i s   th r o u g h   p r o jects ,   b ec au s p r o jects p r o v i d r e alis tic  an d   p r ac tical   co n tex f o r   team s   to   wo r k   to g eth er ,   ap p ly   th eir   p r o b lem - s o l v in g   s k ills ,   an d   ac h iev a   s p ec if ic  g o al  [ 1 9 ] .   T h u s ,   to   ass ess   PS T s   C P s k ills ,   le ar n in g   to   in teg r ate   p r o jects  is   r eq u ir ed .   Fu r t h er m o r e,   t h p r e v io u s   s tu d y   s h o wed   th at  in ter d is cip lin ar y   STE M   p r o jects in cr ea s co llab o r atio n   an d   p r o b lem - s o lv i n g   s k ills   [ 2 0 ]   Ho wev er ,   lear n in g   e x p er ien ce s   with   in teg r ated   STE M   th at  e n h an ce   PS T s C P S sk il ls   r em a in   lack in g .   R ev iew  o f   th p r ev io u s   s tu d ies  r ev ea led   th at  m o s s tu d ies  o n ly   f o cu s ed   s ep ar ately   o n   u s in g   v ar io u s   ap p r o ac h es  th at  p r o m o ted   p r o b lem   s o lv in g   an d   team wo r k   s k ills ,   wh ile  s till   lack in g   en h an ce m e n o f   th e   co m b in atio n   o f   b o th   s k ills   [ 2 1 ] .   T h task   s till   f o cu s es  o n   s u b ject - s p ec if ics,  wh ile  au th en tic  task s   with   an   in ter d is cip lin ar y   ap p r o ac h   ca n   b etter   r ec o g n ize   c o n n ec tio n s   b etwe en   STE M   d is cip lin es  to   s o lv r ea l - wo r l d   p r o b lem s   an d   e n co u r ag co ll ab o r atio n   with   o t h er s   to   estab lis h   lin k s   b etwe en   STE M   d is cip lin es  [ 22 ] ,   [ 23 ] T h o th er   s tu d ies  also   r ev ea l ed   th at  PS T s   wh o   s till   r ec eiv co n v e n tio n al  in s tr u ctio n   wi th o u tech n o lo g ical  s u p p o r t d o   n o t sig n if ican tly   i m p r o v e   th eir   C PS   s k ills   [ 24 ]   PS T s   h av to   en g a g d ir ec tl y   in   STE M - in teg r ate d   lear n in g   th at   en a b les  th em   to   s o lv p r o b lem s   co llab o r ativ ely   b y   ap p ly in g   k n o wled g e   o f   s cien ce   an d   m at h em atics  s u p p o r ted   b y   tech n o lo g y   a n d   e n g in ee r in g   d esig n   [ 25 ] .   T h is   ca n   b ac c o m p lis h ed   b y   ac tiv ely   in v o lv in g   PS T s   in   p r o b lem - s o lv in g   an d   co llab o r atio n   th r o u g h   p r o jects  th at   in teg r ate   STE M   [ 26 ] .   On o f   t h lear n in g   m o d els  th at   u s es  p r o jects  t o   o r g an ize   lear n in g   ar o u n d   co m p lex   task s   to   a n s wer   in q u i r y   q u esti o n s ,   g en er a te  p ee r   co llab o r ati o n ,   an d   d e v elo p   s o lu tio n s   to   a   p r o b lem   is   p r o ject - b ased   lear n in g   ( PjB L )   [ 27 ] .   T h r o u g h   PjB L ,   STE M   co n ce p ts   ca n   b i n co r p o r ated   in to   t h e   d ev elo p m e n o f   lo n g - te r m   lea r n in g .   T h u s ,   th is   s tu d y   p r o v i d es  in s tr u ctio n   th r o u g h   PjB L   with   STE M   p r o jects,  wh ich   r esear ch er s   ca ll   STE PjB L .   Sin ce   th p r o ject  was  cr ea ted   STE M   PjB L   is   d ef in ed   as  s tu d en t - ce n ter ed   in s tr u ctio n   with   well - d ef in e d   o u tc o m b u an   ill - d ef in ed   t ask .   T h is   lear n in g   r eq u ir es  PS T s   to   id en tify   a n d   d ef in a   p r o b lem   as  th e y   in v esti g ate  th p r o ject  t o p ic  as   p ar t   o f   an   in ter d is cip lin ar y   ac tiv ity   [ 28 ] .   T h is   in n o v ativ e   in s tr u ctio n al   p r ac ti ce   ca n   c o n s tr u ct  PS T s   u n d er s tan d in g   b ased   o n   ch allen g in g   in ter d is cip lin ar y   task s   an d   r eq u ir es  th em   to   d ev elo p   a   p lan   to   in v esti g ate,   d esig n ,   an d   cr ea te   p r o d u ct  [ 29 ] .   T h is   lear n i n g   en co u r a g es  PS T s   to   id en tify   p r o b lem s   an d   d eter m in s o lu tio n s   in   co llab o r atio n   with   th eir   p ee r s   [ 30 ] .   T h e   im p lem en tatio n   o f   th is   lear n i n g   ca n   ass is PS T s   in   s o lv in g   co m p lex   p r o b lem s   an d   c o n s tr u ctin g   th eir   o wn   k n o wled g t h r o u g h   d ee p   c o m p r eh e n s io n   o f   STE M   d is cip lin es  [ 31 ] .   Pre v i o u s   s tu d ies  also   s u g g est  th at   STE M   PjB l h as b ee n   p r o p o s e d   as a n   ef f ec tiv lea r n in g   m o d el  f o r   in teg r atin g   STE M   [ 32 ] .   T h e   STE M   p r o ject  is   u s u ally   co m p lex   an d   d if f icu lt,  s o   teac h in g   co llab o r atio n   with   teac h er s   f r o m   STE M   d is cip lin es  is   r eq u ir e d   [ 33 ] .   C o llab o r ativ teac h i n g   h as  b ee n   r ec o g n ize d   as  an   ed u ca tio n al  r ef o r m   ap p r o ac h   to   s o lv in g   c o m p le x   p r o b lem s   i n   a n   in ter d is cip lin ar y   way .   T h is   co llab o r at io n   co n s is ts   o f   th e   in ter ac tio n   o f   teac h er s   f r o m   v ar io u s   d is cip lin es  to   ac h ie v lear n in g   g o als  m o r ef f ec t iv ely   th an   w h en   a   teac h er   ac ts   alo n [ 34 ] .   PS T s   ar ac tiv ely   in v o lv ed   in   o b s er v in g ,   p r ac ticin g ,   an d   d ev elo p i n g   k n o wled g e   an d   co g n itio n   th r o u g h   s o cial  in te r ac tio n ,   wh ich   ca n   f ac ilit ate  k n o wled g e   co n s tr u ctio n   [ 35 ] .   T h u s ,   co llab o r ativ e   teac h in g   ca n   f o s ter   r o b u s t su p p o r t sy s tem s   ac r o s s   STE M   d is cip lin es a n d   p r o m o te  c o n ce p tu al  d ep th .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   3 J u n e   20 25 2 2 7 8 - 2 2 8 9   2280   I n   th is   s tu d y ,   th e   STE M   p r o je ct  r elate d   to   p lan g r o wth   i n   t h p lan p h y s io lo g y   co u r s is   p r o jecte d .   PS T s   wer ex p o s ed   to   p lan g r o wth   p r o b lem s   th at  wer in f lu en ce d   b y   g r o win g   m ed ia,   n u tr itio n ,   p H,   an d   en v ir o n m en tal  f ac to r s .   T h is   co n ce p h as  b ee n   wid ely   r ec o m m en d ed   f o r   STE M   in teg r ated   lear n in g   in   h ig h e r   ed u ca tio n   d u to   t h p o te n tial  f o r   lo n g - ter m   en g a g em en with   p r ac tical  s cien tific   task s   with   m ath em atica l   p r o ce s s in g ,   tech n o lo g y ,   a n d   e n g in ee r in g   d em a n d s   [ 36 ] .   PS T s   wer ask ed   to   s o lv p lan t   g r o wth   p r o b le m s   b y   d ev elo p in g   h y d r o p o n ic  s y s tem s   s u p p o r ted   b y   m is co o lin g   s y s tem s   to   m ain tain   s tab le  tem p er atu r es  in   th e   g r ee n h o u s s ettin g .   I n   th is   r eg ar d ,   h y d r o p o n ic  p r ac titi o n er   an d   an   en g in ee r in g   lectu r e r   wer in v o lv ed   to   f ac ilit ate  PS T s   in   co m p letin g   th p r o ject  in   STE M   PjB L .     T h is   s tu d y   b r id g es  th g a p   b etwe en   lim ited   n u m b e r   o f   STE M   p r ac tices  an d   th d em an d s   o f   d ev elo p in g   PS T s   wh o   ca n   in teg r ate   STE M   in   th 2 1 s ce n tu r y   th r o u g h   th len s   o f   C PS .   I is   cr u cial  to   en g ag e   PS T s   in   in teg r ated   STE M   lear n in g   t o   p r o m o te  th eir   C PS   s k ills   f o r   b etter   k n o wled g ac q u is itio n .   I n   th is   s tu d y ,   th h y d r o p o n ics  an d   m is co o lin g   s y s tem s   ar u s ed   as  co m p lex   d esig n e d   p r o ject  in   STE M   Pj B L .   W e   ev alu ated   th eir   p er ce iv e d   k n o wled g o f   C PS   s k ills   b ef o r an d   af ter   th e   STE M   PjB L   in ter v en tio n .   I n   ad d itio n ,   s in ce   th p r o jects  wer c r ea ted   b ased   o n   th e   r esu lts   o f   PS T s   co llab o r ativ p r o b lem - s o lv in g   in   ea ch   g r o u p ,   an   ev alu atio n   o f   th p r o jects  was  r eq u ir ed   to   d eter m in h o well  th ey   u tili ze d   th eir   C PS   s k ills   wh en   cr ea tin g   r ea l - wo r ld   ar tifa cts.  Fu r t h er m o r e,   th is   s tu d y   c o n tr ib u tes  to   th b o d y   o f   k n o wled g o n   S T E M   in teg r atio n   i n   teac h er   ed u ca tio n   p r o g r am s   b y   p r o v id in g   PS T s   with   th s k ills   to   wo r k   with   STE M   in teg r atio n   an d   e n h an ci n g   th eir   STE M   k n o wled g e.   T h u s ,   b ased   o n   t h ex p lan atio n s ,   t h p u r p o s o f   t h is   s tu d y   was   to   en h an ce   PS T s   C PS   s k ills   th r o u g h   STE M   PjB L .       2.   RE S E ACRH   M E T H O D   2 . 1 .     Resea rc des ig n   T h is   s tu d y   u s ed   q u asi - ex p er i m en tal  m eth o d   to   in v esti g ate  th ef f ec o f   STE M   PjB L   o n   P STs   C PS   s k ills .   T h p r etest - p o s ttes n o n - eq u iv ale n co n tr o g r o u p   d e s ig n   was  em p lo y ed   in   th is   s tu d y .   T h in d e p en d e n t   v ar iab le  o f   th is   s tu d y   was  th lear n in g   m o d el,   wh ich   in v o lv ed   t w o   g r o u p s :   STE M   PjB L   a s   tr ea tm en g r o u p   an d   PjB L   as  co n tr o g r o u p .   T h d e p en d e n v a r iab le  was  co llab o r ativ p r o b lem - s o lv in g .   I n   a d d itio n ,   th er e   ar co n f o u n d in g   v ar iab les  th at   h av th p o ten tial  to   in f lu en c th d ep en d en v a r iab le C o n f o u n d in g   v ar ia b les  in   th is   s tu d y   ar p r io r   p r o b le m - s o lv in g   s k ills   an d   g r o u p   d y n am ics.  T o   m in im ize  th ese   co n f o u n d in g   v ar ia b les,  p ar ticip an ts   wer r an d o m ly   a s s ig n ed   to   d if f er en g r o u p s   ( tr ea tm en an d   co n tr o g r o u p s ) .   T h is   will   h elp   to   en s u r th at  an y   d if f er e n ce s   in   p r o b lem - s o lv i n g   s k ills   ar d is tr ib u ted   ev en ly   ac r o s s   th g r o u p   an d   r e d u ce   th e   im p ac o f   th is   co n f o u n d in g   v a r iab le.   T h is   will  also   h elp   t o   d is tr ib u te  p o te n tial  g r o u p   d y n am ic  ef f ec ts   ev e n ly   ac r o s s   th g r o u p ,   m ak in g   it  less   lik ely   th at  o n e   g r o u p   is   s ig n if ican tly   ad v a n tag ed   o r   d is ad v a n tag ed   in   ter m s   o f   co llab o r atio n.     2 . 2 .     P a rt icipa nts   T h p o p u latio n   co n s is ted   o f   1 0 5   PS T s   wh o   atten d ed   p lan t p h y s io lo g y   co u r s d u r i n g   th 2 0 2 1 - 2 0 2 2   a c a d e m i c   y ea r   in   th teac h e r   ed u ca tio n   p r o g r am m e d   at   B io lo g y   E d u ca tio n ,   Facu lty   o f   T ea ch in g   a n d   E d u ca tio n ,   Sil iwan g Un iv er s ity ,   T asik m alay a,   W est  J av a,   I n d o n esia.  Prio r   to   p ar tic ip an s elec tio n ,   an   an aly s is   o f   v ar ian ce   ( ANOV A)   test   was  p er f o r m ed   to   co m p ar th ac a d em ic  lev el  o f   t h PS T   b ased   o n   th e   g r ad p o in av e r ag ( GPA ) .   T h r esu lts   in d icate d   n o   d if f er en ce   in   th e   p ar ticip an ts   G PA,  with   s ig n if ican v alu es  o f   0 . 2 8 2   ( > 0 . 0 5 ) .   T o   d eter m in th n u m b er   o f   p ar tic ip an ts ,   th Slo v in   f o r m u la  with   a   1 0 to ler ab le   er r o r   was  u s ed .   Slo v in s   f o r m u la  is   m ath em atica s y s tem   u s ed   to   ca lcu late  th n u m b er   o f   s p ec if ic  o b jects   with   u n d eter m in ed   ch ar ac ter i s tics .   Slo v in s   ca lcu latio n s   in d icate d   th at  t h m i n im u m   n u m b er   o f   p ar ticip an ts   s h o u ld   b e   5 2 ,   b u t   we  r an d o m l y   s elec ted   u p   to   7 2   p a r ticip an t s ,   wh ich   wer d i v id ed   i n to   tw o   g r o u p s 3 6   PS T s   in   th e   STE M   PjB L   g r o u p   an d   3 6   PS T s   in   th PjB L   g r o u p .   to tal  o f   6 6   f em ales  an d   6   m ales  with   ag es  b etwe en   2 0   an d   2 2   p ar ticip ate d   in   th is   s tu d y .   Fo r   r eliab le  s tatis tical  in f er en ce ,   s am p le  s iz o f   at  least  3 0   p er   g r o u p   is   o f ten   r e co m m e n d ed   [ 37 ] .   T h er ef o r e,   th s am p le  s ize  r eq u ir em e n ts   f o r   th is   s tu d y   wer alr ea d y   m et.       2 . 3 .     Resea rc h pro ce du re   T h is   s tu d y   was  ca r r ied   o u f o r   eig h wee k s   in   p lan p h y s io lo g y   c o u r s f o r   b o th   STE M   PjB L   an d   PjB L   g r o u p s .   B ef o r th s tu d y ,   in f o r m ed   co n s en was  g iv en   to   all  p ar ticip an ts .   W d escr ib ed   th lear n in g   p r o ce s s   th at  will  b e   im p lem e n ted .   W also   c o n d u cted   a   p r etest  to   o b tain   p r io r   d ata  o n   t h C PS   ab ilit ies  o f   b o th   g r o u p s ,   wh ile  p o s ttes t   was  co n d u cted   to   o b tain   d at o n   C PS   ab ilit ies  af ter   in ter v en tio n .   Du r in g   th e   im p lem en tatio n   p r o ce s s ,   th e   s tag o f   PjB L   was  ad o p ted   i n   b o th   g r o u p s   b u with   d if f er en p r o jects.  I n   th e   STE M   PjB L   g r o u p ,   th p r o jec t w as e x p licitly   r elate d   to   STE M   p r o ject,   wh ile  in   t h PjB L   g r o u p ,   it wa s   n o t.   I n   th e   STE M   PjB L   g r o u p ,   PS T s   wer d iv id ed   i n to   s ix   team s   co n s is tin g   o f   s ix   m em b er s .   T h r ee   team s   wo r k in g   o n   th e   h y d r o p o n ic  d e s ig n   p r o ject   wer ass is ted   b y   h o r ticu ltu r p r ac titi o n er ,   an d   th r ee   o th e r   team s   wo r k in g   o n   th m is co o lin g   s y s tem s   p r o ject  wer ass is ted   b y   an   e n g in ee r i n g   lectu r e r .   T h ese  p r o jects  wer Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E n h a n ci n g   p r eser vice   tea ch ers   co lla b o r a tive  p r o b lem  s o lvi n g   th r o u g h   S TEM  … ( R ita   F itr ia n i )   2281   co n d u cte d   in   a   g r ee n h o u s e n v ir o n m e n lo ca ted   n ea r   Sil iwan g Un iv er s ity .   PS T s   wer g iv en   wo r k s h ee ts   as  in s tr u ctio n s   f o r   co m p letin g   p r o ject  task s .   Fo r   d etails,  th te ac h in g   s tag es  f o r   th im p lem en tatio n   o f   STE M   PjB L   ca n   b s ee n   in   T a b le  1 .   E v en   th o u g h   th PS T s   p r o ject   s tar ted   o u d if f er en tly ,   th ey   wer all  ab le  to   s ee   h o well  th h y d r o p o n ic  s y s tem   s u p p o r ted   b y   m is co o lin g   s y s tem   wo r k ed   d u r i n g   th test   an d   ev alu atio n   s tag es.  T h u s ,   in   th co m m u n icatin g   an d   r ef in in g   s tag es,  ea ch   team   ex p lain ed   th r esu l ts   an d   h o th o s e   p r o jects a f f ec ted   th e   p lan t' s   g r o wth .     I n   th PjB L   g r o u p ,   PS T s   wer also   d iv id ed   i n to   s ix   team s   co n s is tin g   o f   s ix   m em b er s .   T h teac h in g   s tag es  o f   im p lem en tatio n ,   PS T s   ac tiv ities ,   an d   lear n i n g   s e ttin g s   ar d etailed   in   T ab le  1 .   I n   th e   PjB L   g r o u p ,   PS T s   wer n o en g ag e d   in   S T E M   p r o jects  o r   an y   teac h in g   co llab o r atio n .   On l y   p la n t   p h y s io lo g y   lectu r e r   ass is ted   th lear n in g   p r o ce s s .   E ac h   team   was  g iv en   a   p r o ject  r elate d   t o   p la n g r o wth .   T h ey   in v esti g ated   th e   f ac to r s   th at  in f lu en ce   p lan g r o wth   an d   d esig n ed   p r o ject  to   o b s er v th ese  f ac to r s .   T h ey   co llab o r ated   with   o th er   team   m e m b er s   to   c o m p lete  th p r o ject  ass ig n m en t,  u s in g   th wo r k s h ee as  g u id an ce .   T h ese  p r o jects  wer ca r r ied   o u t o u ts id th e   g r ee n h o u s s ettin g .       T ab le   1.   T h teac h in g   s tag of   STE M   PjB L   an d   PjB L   im p le m e n tatio n   W e e k   S t a g e   P S Ts’   a c t i v i t y   Te a c h i n g   c o l l a b o r a t i o n   Le a r n i n g   se t t i n g   S TEM   P j B L   P j B L   S TEM   P j B L   P j B L   1   I d e n t i f y i n g   t h e   p r o b l e m     C o l l a b o r a t e   w i t h   p e e r s.     I d e n t i f y   t h e   p r o b l e m.     I d e n t i f y   t h e   r e q u i r e m e n t a n d   c o n st r a i n t s.     Ex p l o r i n g   a n d   g a t h e r i n g   i n f o r m a t i o n .     G e n e r a t e   i d e a s.     D i scu ss st r a t e g i e a n d   d e v e l o p   p l a n   p r o j e c t s.      C o l l a b o r a t e   w i t h   p e e r s .     I d e n t i f y   t h e   p r o b l e m.     I d e n t i f y   t h e   r e q u i r e m e n t a n d   c o n st r a i n t s.     Ex p l o r i n g   a n d   g a t h e r i n g   i n f o r mat i o n .     G e n e r a t e   i d e a s.     D i scu ss st r a t e g i e a n d   d e v e l o p   a   p l a n   p r o j e c t .       P l a n t   p h y s i o l o g y   l e c t u r e r     En g i n e e r i n g   l e c t u r e r     H o r t i c u l t u r e   p r a c t i t i o n e r   P l a n t   p h y s i o l o g y   l e c t u r e r     S y n c h r o n o u s:   v i r t u a l   mee t i n g   t o   e x p l a i n   a n d   d i s c u ss   t h e   l e a r n i n g   p r o j e c t .     A sy n c h r o n o u s:   t e a d i s c u ss i o n   t o   i d e n t i f y   p r o b l e ms,   r e q u i r e m e n t s,   a n d   c o n st r a i n t s,   g a t h e r   i n f o r mat i o n ,   g e n e r a t e   i d e a s,   a n d   d e v e l o p   p l a n s   f o r   p r o j e c t s.   2 - 3   D e si g n i n g   a n d   c o n st r u c t i n g   p r o j e c t     C r e a t e   t h e   d e s i g n   p r o j e c t   o f   a   h y d r o p o n i c   a n d   m i st   c o o l i n g   sy st e t o   e f f e c t i v e l y   su p p o r t   p l a n t   g r o w t h .     I n t e r p r e t   t h e   d e si g n .     B u i l d   t h e   d e s i g n .     C r e a t e   d e s i g n   p r o j e c t   r e l a t e d   t o   p l a n t   g r o w t h .   ( e . g . ,   e f f e c t   o f   e sse n t i a l   n u t r i e n t o n   p l a n t   g r o w t h ) .     I n t e r p r e t   t h e   d e si g n .     B u i l d   t h e   d e s i g n .       P l a n t   p h y s i o l o g y   l e c t u r e r     En g i n e e r i n g   l e c t u r e r     H o r t i c u l t u r e   p r a c t i t i o n e r   P l a n t   p h y s i o l o g y   l e c t u r e r     S y n c h r o n o u s:   v i r t u a l   mee t i n g   t o   c o mm u n i c a t e   a n d   d i s c u ss   t h e   p l a n n e d   p r o j e c t .     A sy n c h r o n o u s:   t e a c o n d u c t e d   t h e   d e s i g n   a n d   c o n st r u c t i o n   o f   t h e   p r o j e c t .   4 7   Te st i n g   a n d   e v a l u a t i n g   p r o j e c t .     Ex p e r i m e n t   o f   p l a n t   g r o w t h   u s i n g   h y d r o p o n i c s   su p p o r t e d   b y   a   mi s t   c o o l i n g   sy st e t o   k e e p   t h e   t e m p e r a t u r e   s t a b l e   i n   t h e   g r e e n h o u se   f o r   f o u r   w e e k s .     C h e c k   t h e   c o n st r a i n t s.     Ev a l u a t e   t h e   d e s i g n       C o n d u c t i n g   e x p e r i me n t s r e l a t e d   t o   p l a n t   g r o w t h   f o r   4   w e e k s .     C h e c k   t h e   c o n st r a i n t s.     Ev a l u a t e   t h e   p r o j e c t     P l a n t   p h y s i o l o g y   l e c t u r e r     En g i n e e r i n g   l e c t u r e r     H o r t i c u l t u r e   p r a c t i t i o n e r   P l a n t   p h y s i o l o g y   l e c t u r e r     S y n c h r o n o u s:   v i r t u a l   mee t i n g   f o r   p r o g r e ss   r e p o r t s.     A sy n c h r o n o u s:   r e sea r c h   p r o j e c t ,   t e a m   d i s c u ss i o n   f o r   t e s t i n g   a n d   e v a l u a t i n g   t h e   p r o j e c t .   8   C o mm u n i c a t i n g   a n d   r e f i n i n g   p r o j e c t     C o mm u n i c a t e   t h e   r e su l t s.     R e v i e w   t h e   f i r st   p r o j e c t .     R e f i n e   t h e   p r o j e c t .     M a k e   su g g e s t i o n   f o r   f u t u r e   p r o j e c t .     C o mm u n i c a t e   t h e   r e su l t s.     R e v i e w   t h e   f i r st   p r o j e c t .     R e f i n e   t h e   p r o j e c t .     M a k e   su g g e s t i o n   f o r   f u t u r e   p r o j e c t .     P l a n t   p h y s i o l o g y   l e c t u r e r     En g i n e e r i n g   l e c t u r e r     H o r t i c u l t u r e   p r a c t i t i o n e r   P l a n t   p h y s i o l o g y   l e c t u r e r     S y n c h r o n o u s:   v i r t u a l   mee t i n g   t o   c o mm u n i c a t e   a n d   d i s c u ss   t h e   r e s u l t s.     A sy n c h r o n o u s:   t e a d i s c u ss i o n   f o r   r e f i n i n g   p r o j e c t   a n d   mak e   s u g g e s t i o n   f o r   f u t u r e   p r o j e c t .       2 . 4 .     Resea rc h ins t rum ent   2 . 4 . 1 .   Self - a s s ess m ent   Self - ass es s m en o f   C PS   was  co llected   u s in g   q u esti o n n air e   to   ass ess   th PS T s   p er ce iv ed   k n o wled g e   o f   C PS   s k ill s   b ef o r an d   af te r   in ter v en tio n .   T h q u esti o n n ai r was  d ev elo p ed   ac c o r d in g   to   C PS   co m p o n en ts   b y   C h en   et  a l .   [1 3 ] .   f o u r - p o in L ik er s ca le  r an g in g   f r o m   s tr o n g ly   d is ag r ee   to   s tr o n g ly   ag r ee   was  u s ed .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   3 J u n e   20 25 2 2 7 8 - 2 2 8 9   2282   T h C PS   q u esti o n n air co n tai n s   2 2   item s   d iv id ed   in t o   two   asp ec ts s o cial  an d   co g n itiv s k ills .   So cial  s k il l s   co n s is o f   f o u r   item s   o f   p ar ti cip atio n ,   f iv item s   o f   p er s p e ctiv tak in g ,   an d   f o u r   item s   o f   s o cial  r eg u latio n .   C o g n itiv s k ills   co n s is o f   f iv item s   o f   task   r eg u latio n   an d   f o u r   item s   o f   k n o wled g b u ild in g .   T h ese  co m p o n en ts   co u ld   r ep r esen t h o th PS T s   p er ce iv ed   th e   co l lab o r ativ ac tiv ities   an d   th ei r   co g n itiv p r o ce s s es   wh en   co m p letin g   STE M   p r o j ec task s .   T wo   ex p er ts   wer in v o lv ed   t o   ev alu ate  th c o n s tr u ct  an d   co n te n t   v alid ity .   T h ex p er in   ass ess m en ev alu ated   th co n s tr u ct  v alid ity ,   wh ile  th ex p er in   b io lo g y   ev alu ate d   th co n ten v alid ity .   T h f ield   test   f o r   em p ir ical  v alid ity   an d   r eli ab ilit y   o f   th in s tr u m en was  also   co n d u cted   with   d if f er en p ar ticip an ts   wh o   h a d   tak en   p la n p h y s io lo g y   c o u r s e.   B y   ca lcu latin g   th Pe ar s o n s   co r r elatio n   co ef f icien t,  all  item s   ar s tr o n g ly   v alid ,   with   v alid ity   v alu es  r an g in g   f r o m   0 . 3 7 2   to   0 . 6 5 4 .   T h r eliab ilit y   test   u s in g   C r o n b ac h s   α   v alu o f   th C P q u esti o n n air was  0 . 8 8 6 ,   wh ich   in d icate d   th at  th in s tr u m en was  r eliab le.     2 . 4 . 2 .   P ro j ec t   T h p r o jects  th at  wer cr ea ted   b y   PS T s   wh ile  th ey   p ar ticip at ed   in   lear n in g   r ef lecte d   th eir   C PS   s k ills .   T h s co r es  o f   th p r o jects  wer ca lcu lated   b ased   o n   th e   r u b r ic's  in d icato r s ,   an d   ea c h   g r o u p   m em b er   r ec eiv ed   th s am s co r es.  T h r u b r ic  was  d ev elo p ed   u s in g   th f o llo win g   s tep s .   First,  we   co n s u lted   an d   d is cu s s ed   with   ass es s m en an d   b io lo g y   ex p e r ts   to   d eter m in C PS   in d icato r s   th at  co u ld   b ev alu ated   t h r o u g h   th p r o ject.   Seco n d ,   we  d ev elo p e d   r u b r ic  b ased   o n   p r e d eter m in e d   in d icato r s .   T h ir d ,   ex p e r ts   in   ass ess m en an d   b io lo g y   ev alu ated   th r u b r ic   f o r   co n s tr u ct  an d   c o n ten t   v alid ity .   Fo u r th ,   th e   r eliab ilit y   o f   th e   r u b r i was  test ed   u s in g   in ter - r ater   r eliab ilit y .   T w o   r at er s   ev alu ate  p r o jects  ca r r ie d   o u in   o n s am p le  class r o o m   b y   PS T s   wh o   h av e   tak en   a   p lan t   p h y s io lo g y   co u r s e.   I was  f o u n d   th at   th er e   wa s   s ig n if ican t   co r r elatio n   b et wee n   th e   s co r es  o f   th two   r ater s   ( r =0 . 8 9 7 ,   p < 0 . 0 5 ) .   I t w as c o n cl u d ed   t h at  th f o r m   was a cc ep tab le.   T h f in al   f o r m   o f   th e   r u b r ic  co n s is ted   o f   1 5   item s ,   d iv id ed   i n to   two   asp ec ts th team ' s     p r o b lem - s o lv in g   s k ills   an d   in teg r ated   STE M   s k ills .   T h team ' s   p r o b lem - s o lv in g   s k ills   wer ex am in ed   to   ev alu ate  PS T s '   team wo r k   in   s o lv in g   p r o b lem s   to   attain   p r o ject  g o als,  wh ile  in te g r ated   S T E M   p r o ject   s k ills   wer ex am in ed   to   e v alu ate   PS T s '   team wo r k   in   s o lv in g   p r o b lem s   th at  in teg r ate  th in ter d is cip lin ar y   p er s p ec tiv in   th p r o ject.   T h team s   p r o b lem - s o lv in g   s k ills   co n s is o f   ten   item s ,   in clu d in g   id en tific atio n   o f   th p r o b lem ,   o b jectiv o f   t h p r o ject,   d esig n   m eth o d o l o g y ,   p la n n in g   o f   th p r o ject,   team   s tr u ctu r e,   in co r p o r atio n   o f   s u g g esti o n s ,   p r o ject  p r esen tatio n ,   d escr ip ti o n   o f   k e y   co n ce p ts ,   co n clu s io n   an d   f u tu r p r o jec t   s u g g esti o n s ,   an d   tec h n o lo g y   f o r   co llab o r atio n .   T h i n teg r ate d   STE M   p r o ject  co n s is ts   o f   f i v item s ,   in clu d in g   in ter d is cip lin ar y   th i n k in g ,   s cien tific   k n o wled g e,   tech n o lo g ical  ap p licatio n ,   en g in ee r in g   d esig n ,   an d   m ath em atica l p r o ce s s in g .     2 . 5 .     Da t a   a na ly s is   Qu an titativ an aly s is   was   c o n d u cte d   f o r   th d ata  an al y s is .   T o   ca lcu late  m ea n s   an d   s tan d ar d   d ev iatio n s ,   d escr ip tiv s tatis ti cs  wer co n d u cted   f ir s t.  T h s co r es  o f   th s elf - ass es s m en C PS   wer an aly ze d   f o r   n o r m ality   an d   h o m o g en ei ty .   T h Sh ap ir o - W ilk   test   wa s   u s ed   to   d eter m in th n o r m ality   s co r es  o f   th e   p r etest  an d   p o s ttes t.  T h r esu lts   o f   p r etest  s co r es  s h o wed   th at  th e   STE M   PjB L   g r o u p   h ad   p   v alu e   o f   0 . 2 0   ( >0 . 0 5 )   an d   th PjB L   g r o u p   h ad   p   v alu o f   0 . 5 6   ( >0 . 0 5 ) ,   in d icatin g   th at  p r etest  f r o m   b o th   g r o u p s   wer n o r m ally   d is tr ib u ted .   T h r esu lts   o f   p o s ttes s co r es  s h o wed   t h at  th e   STE M   Pj B L   g r o u p   h a d   p   v alu o f   0 . 6 0   ( >0 . 0 5 )   an d   th PjB L   g r o u p   h ad   p   v alu o f   0 . 2 7   ( >0 . 0 5 ) ,   in d icatin g   th at  p o s ttes t   f r o m   b o th   g r o u p s   wer n o r m ally   d is tr ib u ted .   L ev en e’ s   test   was  u s ed   to   d eter m in h o m o g en eity ,   an d   th r esu lt  s h o wed   p   v alu o f   0 . 6 3   ( >0 . 0 5 ) ,   in d icatin g   b o t h   g r o u p s '   h o m o g en eity .   T h en ,   to   d eter m in s ig n if ican t d if f er e n ce s   b etwe en   STE M   PjB L   an d   PjB L   g r o u p s ,   an aly s is   o f   co v ar ian ce   ( ANCOVA)   was u s ed .     T h s co r es  o f   th p r o jects  wer also   an aly ze d   f o r   n o r m ality .   First,  we   co n d u cted   Sh ap ir o - W ilk   tes t   f o r   th n o r m ality   o f   th team s   p r o b lem - s o lv in g   s k ills ,   an d   th r esu lt  s h o wed   th at  th e   STE M   PjB L   g r o u p   h ad   p   v alu o f   0 . 0 3   ( <0 . 0 5 )   an d   th PjB L   g r o u p   h ad   p   v alu o f   0 . 0 3   ( <0 . 0 5 ) ,   in d icatin g   th a b o th   g r o u p s   wer n o n o r m ally   d is tr ib u ted .   Sin ce   we  h ad   n o n - n o r m al  d is tr i b u tio n s   o f   d ata,   we  ad o p ted   th n o n p ar a m etr ic  Ma n n - W h itn ey   test   to   d et er m in s ig n if ican t   d if f er e n ce s   in   th team s   p r o b le m - s o lv in g   s k ills   b etwe en   STE M   PjB L   an d   Pj B L   g r o u p s .   Seco n d ,   we  co n d u cted   th Sh ap ir o - W ilk   test   f o r   n o r m ality   o f   in teg r ate d   STE M   s k ills ,   an d   th r esu lt  s h o wed   th at  th e   STE M   PjB L   g r o u p   h ad   p   v alu o f   0 . 0 1   ( < 0 . 0 5 )   a n d   th PjB L   g r o u p   h ad   p   v alu o f   0 . 0 4   ( <0 . 0 5 ) ,   i n d icatin g   th at   b o th   g r o u p s   wer e   n o t   n o r m ally   d i s tr ib u ted .   T h en ,   to   d eter m in s ig n if ica n d if f e r en ce s   in   in teg r ated   STE M   s k ills   b etwe en   STE M   PjB L   an d   Pj B L   g r o u p s ,   we   also   u s ed   th Ma n n - W h itn ey   test .             Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E n h a n ci n g   p r eser vice   tea ch ers   co lla b o r a tive  p r o b lem  s o lvi n g   th r o u g h   S TEM  … ( R ita   F itr ia n i )   2283   3.   RE SU L T   3 . 1 .     F ind ing   o f   P ST s   s elf - a s s ess m ent   o f   CP S   T a b le   2   s h o ws  th r es u l ts   o f   t h e   d esc r i p t iv an al y s is   an d   th ANCOVA   t est  o f   th e   PS T s     s elf - ass ess m e n t o f   C PS .   T h A NC OVA  t est   f o r   a ll c o m p o n e n ts   s h o w e d   s i g n i f ic an t d i f f e r e n c es b etw ee n   ST E M   PjB L   a n d   P jB L   g r o u p s ,   wi th   F   ( 1 ,   6 9 ) = 9 . 9 6 ,   p <0 . 0 5 .   F o r   m o r e   d et ails ,   t h e   A NC OVA   t est   f o r   ea ch   co m p o n en t   o f   t h e   C PS   s h o we d   t h at   t h e r e   was n o   s i g n i f ic a n t d i f f e r e n c o n l y   in   tw o   c o m p o n e n ts :   p a r tic i p at io n ,   wit h   p = 0 . 5 2   ( > 0 . 0 5 ) ,   a n d   p e r s p ec ti v e   ta k i n g ,   wi th   p = 0 . 6 2   ( > 0 . 0 5 ) ,   w h il o t h e r   c o m p o n e n ts   w e r s ig n i f i ca n tl y   d i f f e r e n t   wit h   p < 0 . 0 5 .   F r o m   T a b le   2 ,   it   ca n   a ls o   b e   s ee n   t h a P STs' s   p o s tt est   s c o r es   f o r   t h o s wh o   p a r ti ci p a ted   i n   S T E M   PjB L   wer g en er all y   h ig h er   t h a n   Pj B L ,   wh ic h   i n d ica te d   th at   ST E M   PjB L   b e tte r   e n h a n ce d   PS T s '   C PS   t h an   PjB L .       T ab le  2 .   T h d escr ip tiv a n d   ANCOV test   o f   PS T s s   s elf - ass es s m en t o f   C PS   C o m p o n e n t   S TEM   P j B L   P j B L   A N C O V A   t e s t   P r e t e s t   P o st t e s t   P r e t e s t   P o st t e s t   M   SD   M   SD   M   SD   M   SD   S o c i a l   sk i l l s                     P a r t i c i p a t i o n   2 . 7 6   0 . 4 5   3 . 3 0   0 . 4 0   2 . 7 3   0 . 6 6   3 . 2 3   0 . 4 9   0 . 5 2   P e r sp e c t i v e   t a k i n g   2 . 6 1   0 . 4 9   3 . 2 4   0 . 3 9   2 . 6 1   0 . 5 1   3 . 1 9   0 . 5 4   0 . 6 2   S o c i a l   r e g u l a t i o n   2 . 7 7   0 . 4 8   3 . 3 0   0 . 5 5   2 . 5 3   0 . 5 1   2 . 9 2   0 . 6 0   0 . 0 3 *   C o g n i t i v e   s k i l l s                     Ta sk   r e g u l a t i o n   2 . 5 6   0 . 5 1   3 . 2 0   0 . 4 4   2 . 8 0   0 . 5 3   2 . 9 7   0 . 5 5   0 . 0 0 *   K n o w l e d g e   b u i l d i n g     2 . 2 2   0 . 4 4   3 . 2 3   0 . 5 4   2 . 7 2   0 . 6 1   2 . 9 9   0 . 5 7   0 . 0 0 *   A l l   c o m p o n e n t s   2 . 5 9   0 . 3 3   3 . 2 7   0 . 2 5   2 . 6 2   0 . 3 7   3 . 0 8   0 . 3 6   0 . 0 0 *   M = m e a n s,  S D = st a n d a r d   d e v i a t i o n ,   * p < 0 . 0 5       T h ese  r esu lts   s h o wed   th at  th PS T s   wh o   p ar ticip ated   in   th e   STE M   P jB L   h ad   s ig n if ican   s elf - ass es s m en ts   o f   p er ce iv e d   C PS   s k ill s ,   p ar ticu lar ly   in   s o cial  r eg u latio n ,   task   r e g u lati o n ,   a n d   k n o wled g b u ild in g .   T h e y   h ad   b etter   u n d er s tan d in g   o f   s o cial  r eg u latio n ,   wh ich   r e q u ir ed   team   m em b er s   to   b r in g   d i v er s k n o wled g e,   r eso u r ce s ,   an d   p r o b lem - s o lv in g   ex p e r ien ce   f o r   s o lv in g   p r o b lem s .   T h is   a b ilit y   is   u s ef u f o r   in ter ac tin g   with   d if f e r in g   p er s p ec tiv es  an d   o p in io n s .   T h ey   u n d er s to o d   h o to   r eg u late  th e ir   o wn   lear n in g   f o r   task   co m p letio n ,   s u ch   as  p r o b lem   an aly s is ,   d eter m in in g   th e   g o als,  u s r eso u r ce   m a n ag em e n t,  u s ap p r o p r iate   way s   to   co llect  d ata,   an d   u s an   ef f icien ap p r o ac h   to   p r o b lem - s o lv in g .   T h e y   k n o h o to   ex p an d   th eir   o w n   k n o wled g e   th r o u g h   th e   ac q u is itio n   o f   n ew  c o n ten t,   s tr ateg ie s ,   an d   s k ills ,   as  well  as  h o to   d ea with   s etb ac k s   an d   co o r d in ate,   co llab o r ate,   an d   n eg o tiate  with   o th er s .   T h er was  n o   s ig n if ican d if f er en ce   in   ter m s   o f   p ar ticip atio n   an d   p er s p ec tiv e   tak in g ,   in d icatin g   th at  b o th   STE M   PjB L   an d   Pj B L   em p h asize  PS T s '   ac tiv e   p ar ticip atio n   in   t h lear n in g   p r o ce s s   an d   r esp o n s iv en ess   to   s itu atio n s   f r o m   a n o th e r   p er s o n ' s   p er s p ec tiv e.     3 . 2 .     F ind ing   o f   P ST s   pro j ec t     First,  th r esu lts   o f   th Ma n n - W h itn ey   test   f o r   team s   p r o b lem - s o lv in g   s k ills   r ev ea th e r was  n o   s ig n if ican d if f er en ce   b etwe e n   STE M   PB L   an d   PjB L   g r o u p s ,   with   p =0 . 2 2   ( >0 . 0 5 ) .   T h s co r es  f o r   ea ch   co m p o n en o f   th team s   p r o b lem - s o lv in g   s k ills   f r o m   b o th   g r o u p s   ca n   b s ee n   in   Fig u r 1 .   Seco n d ,   th r esu lt   o f   th Ma n n - W h itn ey   test   f o r   STE M   p r o ject  ev alu atio n   f o r   all  co m p o n en ts   s h o wed   th at  th er was  a   s ig n if ican d if f e r en ce   b etwe en   th e   STE M   PjB L   an d   PjB L   g r o u p s ,   with   p = 0 . 0 1   ( < 0 . 0 5 ) .   Fo r   d etails,     Ma n n - W h itn ey   test   was  also   co n d u cted   f o r   ea ch   c o m p o n en t,  a n d   th r esu lts   s h o wed   th at  th er was  n o   s ig n if ican d if f er en ce   o n ly   in   m ath em atica p r o ce s s in g ,   with   p =0 . 5 2   ( >0 . 0 5 ) ,   wh ile  th e   o th er   co m p o n e n ts   wer s ig n if ican tly   d if f er e n t,  with   p <0 . 0 5 .   T ab le  3   also   s h o ws  th at  th m ea n   s co r es  o f   STE M   p r o ject  ev alu atio n   f r o m   th e   STE M   PjB L   g r o u p   wer e   h ig h e r   th an   t h PjB L   g r o u p ,   wh ich   in d icate d   th at  PS T s   wh o   p ar ticip ated   in   STE M   PjB L   wer b etter   at  m ak in g   co n n ec tio n s   with   o th er   d is cip lin es  f o r   s o lv in g   p r o b lem s ,   p ar ticu lar ly   in   i n teg r atin g   STE M   d is cip lin es.   T h r esu lts   in   Fig u r 1   s h o we d   th at  b o th   STE M   PjB L   an d   PjB L   g r o u p s   em p h asize  co llab o r atio n   in   s o lv in g   p r o b lem s   to   attain   p r o ject  g o als.  Du r in g   th e   p r o ce s s   o f   p r e p ar atio n ,   PS T s   ca n   co llab o r ativ ely   id e n tify   th p r o b lem ,   d eter m in th o b jectiv o f   th e   p r o ject,   s elec th ap p r o p r iate  m eth o d ,   cr ea te  p lan ,   d ev elo p   team   s tr u ctu r e,   an d   in co r p o r at s u g g esti o n s   f r o m   o th er s .   T h ey   ca n   p r esen th r esu lts   o f   t h p r o ject,   d escr ib e   th k ey   co n ce p ts ,   d r aw  co n clu s io n ,   an d   m a k s u g g esti o n s   f o r   b etter   r esu lt.  B o th   g r o u p s   ca n   u tili ze   tech n o lo g y   f o r   ef f ec tiv e   co lla b o r atio n .   T h r esu lts   in   T ab le  3   s h o wed   th at  PS T s   wh o   p ar ticip ated   in   STE PjB L   h ad   b etter   u n d er s tan d in g   o f   h o w   to   in teg r ate  STE in to   p r o jects.  T h ey   ca n   in teg r ate  o th er   d is cip lin es  in to   t h e   co m p letio n   o f   th e   p r o ject  b y   in v esti g atin g   th e   s cien ce   asp ec o f   th e   p r o j ec t,  u s in g   tec h n o lo g y   to   s u p p o r t   th e f f ec tiv e   co m p letio n   o f   p r o jects,  an d   d esig n in g   p r o ject  u s in g   th en g in ee r in g   d esig n   co n c ep t.  B u t,  in   ter m s   o f   m ath em atica p r o ce s s in g ,   b o t h   STE Pj B L   an d   PjB L   g r o u p s   s h o wed   u n d er s tan d in g   o f   th p r o b lem ' s   m ath em atica l c o n ce p ts   an d   p r i n cip les.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   3 J u n e   20 25 2 2 7 8 - 2 2 8 9   2284       Fig u r 1 .   T h m ea n   s co r es o f   t ea m s   p r o b lem - s o l v in g   s k ills   STE M   PjB L   an d   PjB L   g r o u p s       T ab le  3 .   T h d escr ip tiv a n d   Ma n n - W h itn ey   test   o f   in te g r ated   STE M   s k il ls   C o m p o n e n t   S TEM   P j B L   P j B L   M a n n - W h i t n e y   U   t e s t   M   SD   M   SD   p   I n t e r d i s c i p l i n a r y   t h i n k i n g   2 . 8 3   0 . 4 1   1 . 0 0   0 . 0 0   0 . 0 0 *   S c i e n t i f i c   k n o w l e d g e   2 . 8 3   0 . 4 1   1 . 8 3   0 . 4 1   0 . 0 1 *   Te c h n o l o g i c a l   a p p l i c a t i o n   2 . 8 3   0 . 4 1   2 . 0 0   0 . 0 0   0 . 0 0 *   En g i n e e r i n g   d e si g n   2 . 6 7   0 . 5 2   2 . 0 0   0 . 0 0   0 . 0 2 *   M a t h e ma t i c a l   p r o c e ssi n g   2 . 8 3   0 . 4 1   2 . 6 7   0 . 5 2   0 . 5 2   A l l   c o m p o n e n t   2 . 8 0   0 . 4 0   1 . 9 0   0 . 1 5   0 . 0 0 *   M = m e a n s,  S D = st a n d a r d   d e v i a t i o n ,   * p < 0 . 0 5       4.   DIS CU SS I O N   Acc o r d in g   to   th f in d in g s ,   ST E M   PjB L   h as   g r ea ter   ef f ec t o n   en h an ci n g   PS T s   C PS   th an   PjB L .   T h e   lear n in g   p r o ce s s   in   STE M   PjB L   p r o v id ed   o p p o r tu n it ies  f o r   PS T s   to   en g ag i n   an   ill - s tr u ctu r ed     p r o b lem - s o lv in g   p r o ce s s   co llab o r ativ ely   with   in ter d is cip lin a r y   ap p r o ac h es.  PS T s   wer f o cu s ed   o n   r eso lv in g   co m p lex ,   r ea l - wo r ld   p r o b lem s   th at  r eq u ir e d   s o lu tio n s   f r o m   d iv er s d is cip lin es.  PS T s   c o llab o r ated   i n   s m all   g r o u p s   to   in v esti g ate,   s ea r ch   f o r   s o lu tio n s ,   d is cu s s   th s o lu tio n s ,   f in d   th b est  s o lu tio n s ,   d ev elo p   p lan ,   d esig n ,   o b s er v e,   co llect  d ata,   d is cu s s   th r esu lts ,   co m m u n i ca te,   an d   m a k s u g g esti o n s   f o r   b etter   s o lu tio n s .   E v en   th o u g h   b o th   g r o u p s   h av th s am lear n in g   s tag es,  th in ter d is cip lin ar y   a p p r o ac h   f ac ilit ated   b y   ex p er ts   in   STE M   PjB L   e lim in ates   STE M   co n ten f r ag m e n tatio n   an d   en co u r ag es  th d e v elo p m en o f   o r ig in a l   p r o b lem - s o lv er s   wh o   ca n   ap p l y   k n o wled g e   f r o m   m u ltip le  d i s cip lin es.  Du r in g   th is   C PS   p r o ce s s ,   PS T s   ac tiv ely   en g ag ed   in   m ea n i n g f u l le a r n in g   as we ll a s   g ain ed   k n o wled g e   o f   C PS   s k ills   b etter   th an   th PjB L   g r o u p .   T h ese  f in d in g s   ar in   lin with   p r ev io u s   r esear ch   th at  in d icate d   co m p letin g   an   in ter d is cip lin ar y   p r o ject  with   team   m em b er s   in   STE M   PjB L   in cr ea s es  o p p o r tu n ities   f o r   co llab o r a tio n   an d   en h a n ce s     p r o b lem - s o lv in g   en g ag em e n t   [ 38 ] [ 39 ] .   Pre v io u s   r esear ch   also   co n clu d e d   th at  in ter d is cip lin ar y   STE M   f ac ilit ates  th d ev elo p m e n o f   lear n e r s '   p r o b lem - s o lv in g   [ 40 ]   an d   co llab o r atio n   s k ills   [ 41 ] ,   [ 4 2 ] .   T h e   ch allen g in g   task   o f   s o lv in g   p r o b lem s   th r o u g h   STE M   p r o jects  en co u r ag es  PS T s   to   co m m u n icate ,   d is cu s s ,   s h ar r esp o n s ib ilit y ,   a n d   att em p to   s o lv e   th em   co llab o r ativ ely   r at h er   th a n   in d iv i d u ally   [ 2 1 ] .   E ac h   co llab o r ativ team   wo r k s   to w ar d s   th s am g o al,   s o   ea c h   m em b er   s h o u l d   n o t a ttem p t to   ta ck le  th p r o b lem   o n   th eir   o wn   [ 4 3 ] .   Du r in g   t h p r o ce s s   o f   d is cu s s in g   th e   in t er d is cip lin ar y   p r o ject,   th er e   m ay   b e   co n f lictin g   in f o r m atio n   b etwe en   m em b e r s ,   wh ich   r eq u ir es  th s h ar in g   an d   r eso lu tio n   o f   in f o r m atio n   to   d eter m in wh ich   in f o r m atio n   b est  ad d r ess es  th p r o b lem .   T h is   d y n am ic   s itu atio n   ca n   f ac ilit ate  th d ev elo p m e n o f   co llab o r atio n   s k ills   b ec au s th ey   ca n   o n ly   s o lv th e   p r o b lem   b y   wo r k in g   to g eth er   [ 4 4 ] .   I n   ter m s   o f   s p ec if ic   f in d i n g s   in   co m p ar in g   ea ch   co m p o n en o f   C PS ,   we  d id   n o t   d etec an y   d if f er en ce s   in   th co m p o n e n t s   o f   p ar ticip atio n   an d   p e r s p ec tiv e - tak in g .   B o th   STE M   PjB L   an d   PjB L   g r o u p s   u s ed   th PjB L   s tag es,  wh ich   h as  b ee n   d ef i n ed   b y   n u m er o u s   s tu d ies  as  lear n in g   th at  ac tiv el y   in v o l v es  lear n er s   in   th cr ea tio n   an d   co m p letio n   o f   p r o jects  [ 4 5 ] .   T h is   PS T s '   ac tiv en g ag em en th r o u g h   h a n d s - o n   ex p er ien ce s   led   to   th eir   ac tiv p ar ticip atio n   d u r in g   th lear n in g   p r o ce s s   [ 4 6 ] .   W o r k in g   in   co llab o r ativ en v ir o n m e n also   2 . 8 3 3 . 0 0 2 . 6 7 3 . 0 0 2 . 8 3 2 . 6 7 2 . 8 3 2 . 6 7 2 . 8 3 3 . 0 0 2 . 8 3 2 . 8 3 2 . 6 7 2 . 8 3 2 . 6 7 2 . 6 7 3 . 0 0 2 . 5 0 2 . 6 7 3 . 0 0 2 . 2 0 2 . 3 0 2 . 4 0 2 . 5 0 2 . 6 0 2 . 7 0 2 . 8 0 2 . 9 0 3 . 0 0 3 . 1 0 P r o b l e m i d e n t i f i c a t i o n M e t h o d o l o g y Te a m st r u c t u r e P r e se n t a t i o n C o n c l u si o n   a n d f u t u r e   su g g e st i o n A v e r a g e   S c o r e In d ica to r S TEM  PjBL PjBL Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E n h a n ci n g   p r eser vice   tea ch ers   co lla b o r a tive  p r o b lem  s o lvi n g   th r o u g h   S TEM  … ( R ita   F itr ia n i )   2285   en co u r a g es  th d ev elo p m e n o f   p er s p ec tiv e - tak i n g   in   o r d er   to   co m p r eh e n d   an d   v alu th p er s p ec tiv es  an d   co n tr ib u tio n s   o f   o t h er s ,   s in ce   ea ch   m em b er   m u s t in teg r ate  t h eir   co n tr i b u tio n s   to   s o lv e   p r o b lem s   [ 4 7 ]   On   th c o n tr ar y ,   in   ter m s   o f   s o cial  r eg u latio n ,   task   r eg u latio n ,   an d   k n o wled g e   b u ild i n g ,   STE M   PjB L   was  b etter   th an   th PjB L   g r o u p .   I n   STE M   PjB L ,   PS T s   we r r eq u ir e d   to   n o o n l y   co llab o r ate  with   teac h er s   f r o m   th e   s cien ce   d is cip lin b u also   co llab o r ate  an d   co m m u n icate   with   teac h e r s   o r   ex p er ts   f r o m   o t h er   d is cip lin es  to   d is cu s s   th r e q u ir em en ts   an d   co n s tr ain ts   r ela ted   to   t h p r o jects.  T h is   is   w h y   th e   STE M   PjB L   g r o u p   with   m o r e   d iv er s ity   h as  b etter   s o cial  r eg u latio n   [ 1 6 ] .   T h is   f in d in g   also   c o r r elate s   w ith   th f i n d in g s   o f   Vo g ler   et  a l.   [ 30 ] ,   wh ich   ca s lig h o n   th s ig n if ican ce   o f   in ter d is cip lin ar y   c o llab o r atio n   am o n g   teac h er s   in   PjB L   to   en co u r ag PS T s   to   co llab o r ate  ac r o s s   d is cip lin es.  T h e   co m p lex ity   o f   STE M - in teg r ated   p r o jects   r eq u ir ed   PS T s   to   o v er co m n u m er o u s   o b s tacle s ,   as  th o p ti m al  s o lu tio n   s tep   is   n o alwa y s   ea s ily   r ec o g n ized .   C o n s eq u en tly ,   t h ey   m u s an al y s es   th b est  task   r eg u latio n   f o r   p r o b lem   s o lu tio n ,   m a n ag e,   o b tain ,   an d   u tili ze   r eso u r ce s ,   estab lis h   clea r   g o als,  id en tify ,   an d   co llect  in f o r m atio n   to   s o lv p r o b lem ,   an d   p u r s u v ar iety   o f   p r o b lem   s o lu tio n s   [ 48 ] .   T h es p r o ce s s es,  s u p p o r ted   b y   th e   ex ch an g o f   id ea s   with   m e m b er s   an d   teac h e r s ,   co n tr ib u ted   to   PS T s '   k n o wl ed g co n s tr u ctio n .   PS T s   co n s tr u cted   th eir   o wn   k n o wle d g with   d ee p   u n d er s tan d i n g   o f   th d is cip lin es  in   STE M   PjB L   [ 49 ] .   T h in ter d is cip lin ar y   ap p r o ac h   i n   STE M   PjB L   also   p r o v id es  o p p o r tu n ities   to   r eso lv an d   clar if y   m is co n ce p tio n s   ab o u th r o le  o f   s cien ce   in   STE M   ed u ca tio n   f o r   b etter   k n o wled g ac q u is itio n   [ 50 ] .   I n ter esti n g ly ,   d i f f er en ce s   in   P STs '   p er ce iv ed   C PS   s k ills   ar e   n o alwa y s   r ef lecte d   in   d if f er en p r o ject   r esu lts .   T h f in d in g s   o f   th i s   s tu d y   s h o wed   th at  th er was  n o   s ig n if ican d if f er en ce   in   th team s     p r o b lem - s o lv in g   s k ills   d u r in g   p r o ject  co m p letio n .   Sin ce   th p r o jects  wer r ep r esen tatio n   o f   th PS T s   co llab o r atio n   i n   s o lv in g   p r o b l em s   u s in g   r ea ar tifa cts,  b o th   STE M   PjB L   an d   Pj B L   g r o u p s   p r o d u ce d   p r o jects   th at  m ee th g en e r al  cr iter ia  f o r   s u cc ess f u p r o ject  e v alu at io n .   T h s tag es  o f   PjB L   u s ed   b y   th two   g r o u p s   en co u r a g PS T s   to   co n d u ct  s cien tific   in q u i r y   t h r o u g h o u t h p r o ject' s   co m p letio n   [ 51 ] .   Par ticip atio n   in   th e     in - d ep th   p r o b lem - s o lv in g   p r o ce s s   s tim u lates  p r o g r ess iv i n q u ir y   th i n k in g   v ia  p r o b lem - s o lv in g   ex p er ien ce .   T h is   p r o ce s s   in v o lv e d   p lan n i n g ,   s ea r ch in g ,   co o r d in atin g ,   s elec tin g ,   an d   d esig n in g   a   v ia b le  s o lu tio n   to   th e   p r o b lem ,   wh ich   led   to   th s u c ce s s f u p r o jects  [ 52 ] .   E n g ag i n g   PS T s   with   h an d s - o n   ac tiv iti es  th at  in v o lv e   th e   in q u ir y   p r o ce s s   is   o n o f   th k ey   s u cc ess es  o f   p r o ject   team s ,   in clu d in g   s u cc ess f u u tili za t io n   o f   d i g ital  to o ls ,   s u ch   as  Go o g le   Do cs,  Go o g le  Dr iv e,   v id eo   co n f e r en ci n g ,   a n d   d ig ital  d is cu s s io n   f o r u m s   to   f ac ilit ate    p r o b lem - s o lv in g   c o llab o r atio n   [ 53 ] .   Ho wev er ,   wh en   it  co m es  to   ev alu atin g   in teg r ated   STE M   s k ills ,   th r esu lt s   s h o wed   s tatis ticall y   s ig n if ican d if f e r en ce   b etwe en   STE M   PjB L   an d   PjB L   g r o u p s .   PS T s   wh o   p ar ticip ated   in   STE M   PjB L   in   co m p letin g   STE M - f o cu s ed   p r o jects  ar b etter   ab le  t o   in te g r ate  m u ltip le   STE M   d is cip lin es  in to   th eir   p r o ject   co m p letio n   t h an   th o s wh o   a r s till   p r im ar ily   u s in g   s cien ce - f o cu s ed   a p p r o ac h   t o   co m p l etin g   p r o jects.  T h is   f in d in g   is   co n s is ten with   th e   p r ev io u s   s tu d y ,   wh ich   f o u n d   th at  r ea l - wo r ld   p r o b lem - s o lv in g   p r o ce s s   th at   em p h asizes  th lin k   b etwe en   th f o u r   STE M   d is cip lin es  is   o n o f   th s u cc ess f u f ac to r s   in   STE M   in teg r atio n   [ 1 3 ] [ 54 ] .   I n te g r ated   STE M   p r o jects  s u p p o r te d   PS T s '   en g ag em en in   STE M   b y   p lan n in g   p r o jects  in co r p o r atin g   STE M   d is cip lin es  [5 5 ] .   STE M   p r o jects  in v o lv in g   c o g n itiv e   p r o ce s s es  f ac ilit ate  th ac q u is itio n   o f   in ter d is cip lin ar y   s o lu tio n s   an d   in ter d is cip lin ar y   m o d elin g   f o r   th d ev elo p m en o f   ST E M   co n ce p ts   [5 6 ] Ho wev er ,   in   o u r   s p ec if ic  an aly s is ,   we  d id   n o d etec a n y   d if f er en ce s   in   th m ath e m atica p r o ce s s in g   co m p o n en t.  B o th   g r o u p s   s h o wed   co m p lete  u n d e r s tan d in g   o f   th e   p r o b lem ' s   m ath em atica co n ce p ts   in   co llectin g ,   an aly zin g ,   an d   p r esen tin g   th eir   d ata  d u to   t h eir   ex p er ien ce s   u s in g   m ath e m atica co n ce p ts   in   co n d u ctin g   ex p er im en ts .   Alth o u g h   PjB L   h as  b ee n   id en tifie d   as  an   e f f ec tiv p e d ag o g y   f o r   teac h er s   to   f ac ilit ate  PS T s   ac q u is itio n   o f   in ter d is cip lin ar y   k n o wled g e   th r o u g h   p r o jects  [2 7 ] ,   th e   im p o r ta n t f in d i n g   in   t h is   s tu d y   s u g g ested   th at  if   th e   teac h er s   d id   n o t   p r o p er ly   d ir ec PS T s   to   s o lv e   p r o b lem s   u s in g   a n   in te r d is cip lin ar y   ap p r o ac h ,   PS T s   wo u ld   s till   b lack in g   in   m ak i n g   co n n ec tio n s   with   o t h er   d is c ip lin es.  T h is   f in d in g   h ig h lig h t s   th im p o r tan ce   o f   th p r o ject  th at  led   to   STE M   in teg r atio n .   T h p r o ce s s   o f   cr ea tin g   STE M   p r o jects  r eq u ir es  PS T s   to   wo r k   to g eth er   to   f in d   s o lu tio n s   to   au th en tic  p r o b lem s   an d   ac q u ir k n o wled g o f   in teg r atio n   d u r i n g   th p r o ce s s   [5 7 ] Desp ite  th f ac t   th at  PjB L   p r o v id es   PS T s   o p p o r tu n ities   f o r   r ea l - w o r ld   ch allen g es  a n d   c o n ce r n s   with   co n n ec tio n s   t o   in ter d is cip lin ar y   in teg r atio n ,   o f f er i n g   STE M   p r o jects  is   th m o s ef f ec tiv way   to   im p lem en t   th ese  in ter d is cip lin ar y   in teg r atio n s   [ 27 ] ,   [ 58 ]   Fin d in g s   o f   th is   s tu d y   f u r th er   ex p lain   h o th d if f e r en ce s   in   C PS   s elf - ass e s s m en s co r es  ar e   r ef lecte d   in   th d if f er en r es u lts   o f   in teg r ated   STE M   s k il ls .   T h is   al s o   f u r th er   s h o ws  t h at  en h an cin g   C PS   th r o u g h   STE M   PjB L   is   b etter   th an   PjB L .   T h is   s tu d y   h i g h lig h ts   th im p o r tan ce   o f   STE M   p r o jects  as  in ter d is cip lin ar y   ac tiv ities   th a s h o u ld   b e   s o lv ed   c o llab o r ati v ely   in   PjB L   en v ir o n m en t   n o o n l y   f o r   b etter   C PS   s k ill s   b u also   f o r   d ee p er   co m p r e h en s io n   o f   STE M   in teg r atio n .   T h e   in ab ilit y   to   in te g r ate   STE M   d is cip lin es  in to   PS T s '   p r o jects,  as  s h o wn   b y   th PjB L   g r o u p ,   will  af f ec t   th eir   u n d er s tan d in g   o f   h o w   to   in teg r ate   STE M   wh en   s o lv in g   p r o b lem s .   STE M   PjB L   en a b les  PS T s   to   in v esti g ate  an d   ap p ly   th eo r ies  an d   k n o wled g to   en h an ce   th eir   C PS   s k ills ,   as  we ll  as   in teg r ate  th co m p r eh en s io n   a n d   i m p lem en tatio n   o f   co m p lex   STE M   d is cip lin es  f o r   p r o ject  c o m p letio n   [ 1 3 ] [ 2 1 ] .   T h is   s tu d y   im p lied   th at   teac h er   e d u ca tio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   3 J u n e   20 25 2 2 7 8 - 2 2 8 9   2286   p r o g r a m s   s h o u l d   in c o r p o r ate  l ea r n in g   m o d els  th at  p r o v id P STs  with   in ter d is cip lin ar y   p r o ject  ex p er ien ce   f o r   C PS   d ev elo p m en t,  s u ch   as   ST E M   PjB L .       5.   CO NCLU SI O N   T h is   s tu d y   s h o wed   th at   STE M   PjB L   ca n   en h an ce   PS T s   C PS   s k ill s   b etter   th an   PjB L .   Acc o r d in g   to   th r esu lts ,   th er wer th r ee   im p o r tan f in d in g s   f r o m   th is   s t u d y .   First,  b ased   o n   th r esu lt s   o f   s elf - ass e s s m en t,   PS T s   wh o   wer tau g h u s in g   STE M   PjB L   h av b etter   C P S   s k ills   th an   th PjB L   g r o u p ,   p ar ticu lar ly   in   s o cial  r eg u latio n ,   task   r e g u latio n ,   an d   k n o wled g b u ild in g .   Seco n d ,   b ased   o n   th e   r esu lts   o f   th e   team   p r o b lem - s o lv in g   s k ills ,   wh ich   r ef lect  th C PS   f r o m   ea ch   g r o u p ,   b o t h   STE M   PjB L   an d   PjB L   g r o u p s   m ee th r eq u ir em e n ts   f o r   s u cc ess f u p r o ject  ev alu atio n .   Ho wev er ,   in   ter m s   o f   in teg r ated   STE M   s k ills ,   b o th   g r o u p s   s h o s ig n if ican d if f er en ce s ,   p ar ticu lar ly   in   in ter d is cip lin ar y   th in k in g ,   s cien tific   k n o wle d g e,   tech n o l o g ical   ap p licatio n ,   an d   en g in ee r in g   d esig n .   T h ir d ,   th is   s tu d y   em p h asizes  th u s o f   STE M - in t eg r ated   p r o jects  in   PjB L   s ettin g s   as  th k ey   to   e n g ag in g   lear n er s   to   co llab o r at in   s o l v in g   in ter d is cip lin ar y   p r o b lem s   as   well  as  p r o v id i n g   k n o wled g e   o f   STE M   in teg r atio n   in   lear n in g .   Desp ite  th s ig n if ican ce   o f   th r esu lts ,   th is   s tu d y   also   h as  s o m lim itatio n s   r elate d   to   a   s m all  s am p le  s ize.   I n   o r d er   t o   m o r g en er al ize  th r esu lts ,   s im ilar   s tu d ies   in   d if f er en c o n tex ts   s h o u ld   b co n d u cted   with   lar g er   s am p le  s izes.  Fu tu r r e s ea r ch   s h o u ld   co m b in th s e lf - ass ess m en o f   C PS   b eh av io r   o b s er v atio n   s h ee to   ev alu ate  C PS   s k ills   d u r in g   th p r o ject  c o m p letio n   p r o ce s s .         ACK NO WL E DG M E N T S   T h au th o r s   g r atef u lly   ac k n o wled g th s u p p o r o f   an   e n g in ee r in g   lectu r e r   f o r   p r o v id in g   tech n ical  in s ig h ts ,   h o r ticu ltu r p r ac titi o n er   f o r   s h ar in g   p r ac tical  k n o wled g o n   p lan cu ltiv atio n ,   an d   all  p r e - s er v ice   teac h er s   wh o   willin g ly   p ar tici p ated   in   th is   s tu d y .   T h eir   co n t r ib u tio n s   wer e   v al u ab le  i n   e n r ich in g   t h r esear c h   p r o ce s s .   T h au t h o r s   h av e   o b t ain ed   co n s en f r o m   all  in d iv id u als m en tio n ed   in   th is   ac k n o w led g m en t.       F UNDING   I NF O R M A T I O N   T h is   wo r k   was su p p o r ted   b y   t h Min is tr y   o f   E d u ca tio n ,   C u lt u r e,   R esear ch ,   an d   T ec h n o lo g y   R ep u b lic  o f   I n d o n esia w h ich   p r o v id ed   f u n d in g   f o r   th p r esen t w o r k   u n d er   Gr an t N o .   2 . 6 . 4 8 /UN3 2 . 2 0 . 1 /LT /2 0 2 2 .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al   u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   R ita  Fit r ian i                               Had i Su wo n o                               I b r o h i m                               B etty   L u k iaty                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       I NF O RM E CO NS E N T   W h av o b tain ed   in f o r m ed   c o n s en t f r o m   all  in d iv id u als in c lu d ed   in   t h is   s tu d y .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E n h a n ci n g   p r eser vice   tea ch ers   co lla b o r a tive  p r o b lem  s o lvi n g   th r o u g h   S TEM  … ( R ita   F itr ia n i )   2287   E T H I CAL AP P RO V AL   No t a p p licab le  in   th is   s tu d y       DATA AV AI L AB I L I T Y   T h d ata  th at  s u p p o r th f in d in g s   o f   th is   s tu d y   ar av ailab le  f r o m   th co r r esp o n d i n g   a u th o r   [ HS] ,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   M .   K n e l l ,   Th e   d i g i t a l   r e v o l u t i o n   a n d   d i g i t a l i z e d   n e t w o r k   s o c i e t y ,   R e v i e w   o f   Ev o l u t i o n a ry   P o l i t i c a l   Ec o n o m y ,   v o l .   2 ,   n o .   1 ,     p p .   9 2 5 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s 4 3 2 5 3 - 0 2 1 - 0 0 0 3 7 - 4.   [ 2 ]   T.   S c h r ö d e r ,   A   r e g i o n a l   a p p r o a c h   f o r   t h e   d e v e l o p me n t   o f   TV ET   sy s t e ms   i n   t h e   l i g h t   o f   t h e   4 t h   i n d u s t r i a l   r e v o l u t i o n :   t h e   r e g i o n a l   a sso c i a t i o n   o f   v o c a t i o n a l   a n d   t e c h n i c a l   e d u c a t i o n   i n   A s i a ,   I n t e rn a t i o n a l   J o u rn a l   o f   T r a i n i n g   R e se a rc h ,   v o l .   1 7 ,   n o .   su p 1 ,     p p .   8 3 9 5 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 1 4 4 8 0 2 2 0 . 2 0 1 9 . 1 6 2 9 7 2 8 .   [ 3 ]   X .   H u a n g ,   S .   Er d u r a n ,   P .   Z h a n g ,   K .   Lu o ,   a n d   C .   L i ,   E n h a n c i n g   t e a c h e r s’   S TEM   u n d e r st a n d i n g   t h r o u g h   o b s e r v a t i o n ,   d i s c u ss i o n   a n d   r e f l e c t i o n ,   J o u rn a l   o f   E d u c a t i o n   f o r   T e a c h i n g ,   v o l .   4 8 ,   n o .   5 ,   p p .   5 7 6 5 9 1 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 0 2 6 0 7 4 7 6 . 2 0 2 1 . 2 0 0 6 5 7 1 .   [ 4 ]   K .   P a r t i   a n d   A .   S z i g e t i ,   T h e   f u t u r e   o f   i n t e r d i s c i p l i n a r y   r e se a r c h   i n   t h e   d i g i t a l   e r a :   o b st a c l e a n d   p e r sp e c t i v e o f   c o l l a b o r a t i o n   i n   so c i a l   a n d   d a t a   s c i e n c e -   a n   e m p i r i c a l   st u d y ,   C o g e n t   S o c i a l   S c i e n c e s ,   v o l .   7 ,   n o .   1 ,   p .   1 9 7 0 8 8 0 ,   2 0 2 1 ,     d o i :   1 0 . 1 0 8 0 / 2 3 3 1 1 8 8 6 . 2 0 2 1 . 1 9 7 0 8 8 0 .   [ 5 ]   A .   L .   Ta n ,   Y .   S .   O n g ,   Y .   S .   N g ,   a n d   J .   H .   J.   Ta n ,   S TE M   p r o b l e m   s o l v i n g :   i n q u i r y ,   c o n c e p t s,   a n d   r e a s o n i n g ,   S c i e n c e   a n d   Ed u c a t i o n ,   v o l .   3 2 ,   n o .   2 ,   p p .   3 8 1 3 9 7 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 1 9 1 - 0 2 1 - 0 0 3 1 0 - 2.   [ 6 ]   M .   M a r so n o ,   F .   K h a sa n a h ,   a n d   Y .   Y o t o ,   I n t e g r a t i n g   S TE M   ( sc i e n c e   t e c h n o l o g y   e n g i n e e r i n g   a n d   ma t h e m a t i c s)   e d u c a t i o n   o n   a d v a n c i n g   v o c a t i o n a l   s t u d e n t c r e a t i v e   t h i n k i n g   s k i l l s ,   i n   Pro c e e d i n g s   o f   t h e   2 n d   I n t e rn a t i o n a l   C o n f e r e n c e   o n   Vo c a t i o n a l   Ed u c a t i o n   a n d   T ra i n i n g   ( I C O VET  2 0 1 8 ) ,   2 0 1 9 ,   p p .   1 7 0 1 7 3 ,   d o i :   1 0 . 2 9 9 1 / i c o v e t - 1 8 . 2 0 1 9 . 4 3 .   [ 7 ]   F .   I .   M c L u r e ,   K . - S .   Ta n g ,   a n d   P .   J.  W i l l i a ms,  W h a t   d o   i n t e g r a t e d   S TE M   p r o j e c t l o o k   l i k e   i n   mi d d l e   sc h o o l   a n d   h i g h   s c h o o l   c l a ssr o o ms?   A   s y st e ma t i c   l i t e r a t u r e   r e v i e w   o f   e m p i r i c a l   s t u d i e s   o f   i S T EM   p r o j e c t s,”   I n t e r n a t i o n a l   J o u r n a l   o f   S T EM   E d u c a t i o n v o l .   9 ,   n o .   1 ,   p .   7 3 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 022 - 0 0 3 9 0 - 8.   [ 8 ]   M .   R e y z a ,   A .   T a q w a ,   A .   A .   A r d i a n s y a h ,   a n d   M .   A .   N u r h i d a y a t ,   S T E M   o n   s c i e n c e   l e a r n i n g   i n   I n d o n e s i a :   a n   o p p o r t u n i t y   a n d   a   c h a l l e n g e ,   I n d o n e s i a n   J o u r n a l   o f   E d u c a t i o n a l   R e s e a r c h   a n d   R e v i e w ,   v o l .   3 ,   n o .   3 ,   p p .   1 6 0 1 7 0 ,   2 0 2 0 ,   d o i :   1 0 . 2 3 8 8 7 / i j e r r . v 3 i 3 . 2 7 6 6 0 .   [ 9 ]   E.   M .   A mi r i ,   R .   Ze r h a n e ,   A .   A i d o u n ,   R .   J.   I d r i ss i ,   a n d   M .   M a d r a n e ,   Th e   a d o p t i o n   o f   t h e   i n t e r d i sc i p l i n a r y   a p p r o a c h   i n   t h e   t e a c h i n g   o f   l i f e   a n d   e a r t h   s c i e n c e s a t   u n i v e r s i t y :   a   r e a l i t y   o r   a   w i s h ?   C a s e   o f   t h e   f a c u l t y   o f   sc i e n c e s o f   T e t o u a n ,   M o r o c c o ,   J o u r n a l   f o r   Ed u c a t o rs ,   T e a c h e rs  a n d   T r a i n e rs ,   v o l .   1 3 ,   n o .   3 ,   p p .   2 3 3 2 ,   2 0 2 2 ,   d o i :   1 0 . 4 7 7 5 0 / j e t t . 2 0 2 2 . 1 3 . 0 3 . 0 0 3 .   [ 1 0 ]   N .   R .   Er g ü l ,   I n v e st i g a t i o n   o f   S TEM   c o m p e t e n c i e o f   t e a c h e r   c a n d i d a t e s ,   Eu r o p e a n   J o u rn a l   o f   P h y si c s   Ed u c a t i o n ,   v o l .   1 2 ,   n o .   1 ,   p p .   3 8 5 5 ,   2 0 2 1 .   [ 1 1 ]   F .   B e r i sh a   a n d   E.   V u l a ,   D e v e l o p i n g   p r e - s e r v i c e   t e a c h e r c o n c e p t u a l i z a t i o n   o f   S T EM   a n d   S TE M   p e d a g o g i c a l   p r a c t i c e s,”   Fro n t i e rs  i n   E d u c a t i o n ,   v o l .   6 ,   p .   5 8 5 0 7 5 ,   M a y   2 0 2 1 ,   d o i :   1 0 . 3 3 8 9 / f e d u c . 2 0 2 1 . 5 8 5 0 7 5 .   [ 1 2 ]   P u r n o m o ,   Y o t o ,   a n d   S .   H a d i ,   O p t i mi z a t i o n   o f   e sse n t i a l   sk i l l i n   2 1 s t   i n   st u d e n t t h r o u g h   S TE M   i n t e g r a t e d   r e se a r c h   b a se d   l e a r n i n g ,   I n t e r n a t i o n a l   J o u r n a l   o f   C u rr e n t   S c i e n c e   Re s e a r c h   a n d   Re v i e w ,   v o l .   7 ,   n o .   7 ,   p p .   4 7 5 9 4 7 6 7 ,   2 0 2 4 ,     d o i :   1 0 . 4 7 1 9 1 / i j c sr r / v 7 - i7 - 1 8 .   [ 1 3 ]   L.   C h e n   e t   a l . ,   D i r e c t i o n   o f   c o l l a b o r a t i v e   p r o b l e s o l v i n g - b a se d   S T EM   l e a r n i n g   b y   l e a r n i n g   a n a l y t i c a p p r o a c h ,   Re s e a r c h   a n d   Pra c t i c e   i n   T e c h n o l o g y   En h a n c e d   L e a rn i n g ,   v o l .   1 4 ,   n o .   1 ,   p .   2 4 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s4 1 0 3 9 - 0 1 9 - 0 1 1 9 - y.   [ 1 4 ]   F .   O u y a n g ,   Z.   C h e n ,   M .   C h e n g ,   Z.   Ta n g ,   a n d   C . - Y .   S u ,   E x p l o r i n g   t h e   e f f e c t   o f   t h r e e   s c a f f o l d i n g s   o n   t h e   c o l l a b o r a t i v e     p r o b l e m - so l v i n g   p r o c e ss e i n   C h i n a h i g h e r   e d u c a t i o n ,   I n t e rn a t i o n a l   J o u rn a l   o f   E d u c a t i o n a l   T e c h n o l o g y   i n   H i g h e E d u c a t i o n v o l .   1 8 ,   n o .   1 ,   p .   3 5 ,   J u l .   2 0 2 1 ,   d o i :   1 0 . 1 1 8 6 / s4 1 2 3 9 - 021 - 0 0 2 7 3 - y.   [ 1 5 ]   P .   Ji a n g ,   X .   R u a n ,   Z .   F e n g ,   Y .   Ji a n g ,   a n d   B .   X i o n g ,   R e se a r c h   o n   o n l i n e   c o l l a b o r a t i v e   p r o b l e m - so l v i n g   i n   t h e   l a st   1 0   y e a r s :   c u r r e n t   s t a t u s ,   h o t s p o t s,  a n d   o u t l o o k a   k n o w l e d g e   g r a p h   a n a l y si b a se d   o n   c i t e sp a c e ,   Ma t h e m a t i c s ,   v o l .   1 1 ,   n o .   1 0 ,   p .   2 3 5 3 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / ma t h 1 1 1 0 2 3 5 3 .   [ 1 6 ]   Y .   R o s e n ,   I .   W o l f ,   a n d   K .   S t o e f f l e r ,   F o st e r i n g   c o l l a b o r a t i v e   p r o b l e so l v i n g   s k i l l i n   s c i e n c e :   t h e   a n i mal i a   p r o j e c t ,   C o m p u t e rs   i n   H u m a n   Be h a v i o r ,   v o l .   1 0 4 ,   p .   1 0 5 9 2 2 ,   M a r .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . c h b . 2 0 1 9 . 0 2 . 0 1 8 .   [ 1 7 ]   J.  P ö y - Ta r h o n e n ,   P .   H ä k k i n e n ,   P .   Ta r h o n e n ,   P .   N ä y k k i ,   a n d   S .   Jär v e l ä ,   A n y t h i n g   t a k i n g   sh a p e ?   C a p t u r i n g   v a r i o u l a y e r o f   smal l   g r o u p   c o l l a b o r a t i v e   p r o b l e m   so l v i n g   i n   a n   e x p e r i e n t i a l   g e o m e t r y   c o u r se  i n   i n i t i a l   t e a c h e r   e d u c a t i o n ,   I n st r u c t i o n a l   S c i e n c e v o l .   5 0 ,   n o .   1 ,   p p .   1 3 4 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 5 1 - 0 2 1 - 0 9 5 6 2 - 5.   [ 1 8 ]   Z.   S w i e c k i ,   A .   R .   R u i s,   C .   F a r r e l l ,   a n d   D .   W .   S h a f f e r ,   A ss e ssi n g   i n d i v i d u a l   c o n t r i b u t i o n s   t o   c o l l a b o r a t i v e   p r o b l e m   s o l v i n g :   n e t w o r k   a n a l y si a p p r o a c h ,   C o m p u t e rs i n   H u m a n   B e h a v i o r ,   v o l .   1 0 4 ,   p .   1 0 5 8 7 6 ,   M a r .   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . c h b . 2 0 1 9 . 0 1 . 0 0 9 .   [ 1 9 ]   E.   U n a l   a n d   H .   C a k i r ,   Th e   e f f e c t   o f   t e c h n o l o g y - su p p o r t e d   c o l l a b o r a t i v e   p r o b l e so l v i n g   met h o d   o n   st u d e n t s’   a c h i e v e men t     a n d   e n g a g e men t ,   Ed u c a t i o n   a n d   I n f o rm a t i o n   T e c h n o l o g i e s ,   v o l .   2 6 ,   n o .   4 ,   p p .   4 1 2 7 4 1 5 0 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s1 0 6 3 9 - 0 2 1 - 10463 - w.   [ 2 0 ]   Y .   Li   e t   a l . ,   O n   t h i n k i n g   a n d   S T EM   e d u c a t i o n ,   J o u r n a l   f o r   S T E M   Ed u c a t i o n   R e se a rc h ,   v o l .   2 ,   n o .   1 .   p p .   1 1 3 ,   2 0 1 9 ,     d o i :   1 0 . 1 0 0 7 / s 4 1 9 7 9 - 019 - 0 0 0 1 4 - x.   [ 2 1 ]   T.   L e r t c h a r o e n r i t ,   E n h a n c i n g   c o l l a b o r a t i v e   p r o b l e m - s o l v i n g   c o m p e t e n c i e b y   u si n g   S T EM - b a s e d   l e a r n i n g   t h r o u g h   t h e   d i e t a r y   p l a n   l e s so n s,   J o u rn a l   o f   Ed u c a t i o n   a n d   L e a rn i n g ,   v o l .   9 ,   n o .   4 ,   p p .   1 0 2 1 1 7 ,   2 0 2 0 ,   d o i :   1 0 . 5 5 3 9 / j e l . v 9 n 4 p 1 0 2 .   [ 2 2 ]   S .   U d d i n ,   T.   I mam,   a n d   M .   M o z u md a r ,   R e s e a r c h   i n t e r d i s c i p l i n a r i t y :   S T E M   v e r s u n o n - S TE M ,   S c i e n t o m e t ri c s ,   v o l .   1 2 6 ,   n o .   1 ,   p p .   6 0 3 6 1 8 ,   J a n .   2 0 2 1 ,   d o i :   1 0 . 1 0 0 7 / s1 1 1 9 2 - 0 2 0 - 0 3 7 5 0 - 9.   [ 23 ]   W .   P a r k ,   J.  Y .   W u ,   a n d   S .   Er d u r a n ,   Th e   n a t u r e   o f   S TE M   d i sc i p l i n e s i n   t h e   sci e n c e   e d u c a t i o n   s t a n d a r d s   d o c u m e n t s fr o m t h e   U S A ,   K o r e a   a n d   T a i w a n :   f o c u si n g   o n   d i s c i p l i n a r y   a i ms ,   v a l u e s   a n d   p r a c t i c e s,   S c i e n c e   a n d   E d u c a t i o n ,   v o l .   2 9 ,   n o .   4 ,   p p .   8 9 9 9 2 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s1 1 1 9 1 - 0 2 0 - 0 0 1 3 9 - 1.   [ 24 ]   Y. - H .   C h i e n ,   T e c h n o l o g y - e n h a n c e d   l e a r n i n g :   a n   o p t i m a l   C P S   l e a r n i n g   a p p l i c a t i o n ,   S u s t a i n a b i l i t y ,   v o l .   1 1 ,   n o .   1 6 ,   p .   4 4 1 5 ,   A u g .   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / su 1 1 1 6 4 4 1 5 .   [ 25 ]   K .   C .   M a r g o t   a n d   T .   K e t t l e r ,   Te a c h e r s’   p e r c e p t i o n   o f   S TE M   i n t e g r a t i o n   a n d   e d u c a t i o n :   a   s y st e ma t i c   l i t e r a t u r e   r e v i e w ,   I n t e r n a t i o n a l   J o u r n a l   o f   S T EM   Ed u c a t i o n ,   v o l .   6 ,   n o .   1 ,   p .   2 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 018 - 0 1 5 1 - 2.     Evaluation Warning : The document was created with Spire.PDF for Python.