I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   11 ,   No .   1 Ma r ch   20 22 ,   p p .   51 ~ 60   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 11 i 1 . 2 1 6 4 7           51     J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   STE M  lit eracy  in   g ro wing  vo ca tiona l scho o l student   H O T S   in  science learni ng A met a - a na ly sis       Q o ri  Ag us s ury a ni 1 Su da rm in  Su da rm in 2 ,   Wo ro   Su m a rni 2 ,   E dy   Ca hy o no 2 E llia na wa t E llia na wa t i 3   1 M a s t e r   P r o g r a o f   S c i e n c e   E d u c a t i o n P o st g r a d u a t e ,   U n i v e r si t a s N e g e r i   S e mara n g ,   S e mara n g ,   I n d o n e s i a   2 D e p a r t me n t   o f   C h e m i st r y   E d u c a t i o n ,   F a c u l t y   o f   M a t h e ma t i c a n d   N a t u r a l   S c i e n c e s,   U n i v e r si t a s Ne g e r i   S e mara n g ,   S e m a r a n g ,   I n d o n e si a   3 D e p a r t me n t   o f   P h y si c s E d u c a t i o n ,   F a c u l t y   o f   M a t h e ma t i c s   a n d   N a t u r a l   S c i e n c e s,   U n i v e r si t a s N e g e r i   S e mara n g ,   S e mara n g ,   I n d o n e si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   29 2 0 2 1   R ev is ed   Dec   3 2 0 2 1   Acc ep ted   Dec   2 2 2 0 2 1       Th e   lo h i g h e o rd e t h in k i n g   s k i ll ( HO TS )   o f   v o c a ti o n a l   stu d e n ts   is  sh o w n   fro m   th e   a p p r o a c h e a n d   m o d e ls  u se d   in   lea rn in g   t h a a re   n o t   sp e c ifi c ,   lea rn in g   a c ti v it ies   a re   l imited   t o   m e th o d s   th a t   h a v e   n o b e e n   a b l e   to   g ro w   HO TS .   On e   o f   th e   a p p r o a c h e o ffe re d   in   sc ien c e ,   tec h n o l o g y ,   e n g in e e rin g ,   a n d   m a th e m a ti c ( S TE M ) .   Th e   r e se a rc h   o b jec ti v e   wa to   a n a ly z e   S TE M   i n   g ro wi n g   HO TS   th r o u g h   li tera tu re   stu d ies .   Th e   d a ta  c o ll e c ti o n   m e th o d   u se d   a   S TE M   sy ste m a ti c   re v iew   fro m   2 0 1 6 - 2 0 2 0   b a se d   o n   t h e   in d e x e d   f in d i n g o f   G o o g le  S c h o lar  a n d   S c o p u ( Da tab a se El se v ie r,   S c o p u s,   a n d   S c ien c e   Dire c t).   Qu a li tativ e   d e sc rip ti v e   d a ta  a n a ly sis  tec h n iq u e   wa e m p lo y e d   o n   in d u c ti v e   d e d u c ti v e   p a tt e rn s.  Ba se d   o n   d a ta  a n a ly sis,  t h e re   a re   fin d in g o 1 8   G o o g le  S c h o lar  i n d e x e d   a rti c les   a n d   2 0   S c o p u s   in d e x e d   a rti c les   a c c o rd i n g   to   th e   i n c l u sio n   c rit e ria.  Th e   re su l ts  sh o we d   th a t:   i S TE M   in teg ra ti o n   p a tt e r n s   in   g r o win g   HO TS   o b tain e d   si x   S TE M   li tera c y   p a tt e r n o 2 8 %   o n   G o o g le   S c h o lar  a n d   fo u r   S TE M   in te g ra ti o n   p a tt e rn s   b y   6 5 %   i n   S c o p u s ;   ii )   Th e   t re n d   o S TE M   a n d   HO TS   re se a rc h   fro m   2 0 1 6 - 2 0 2 0   h a in c re a se d   th e   m o st  in   2 0 2 0   b y   5 6 %   o n   G o o g le  S c h o lar   a n d   4 0 %   o n   S c o p u s.  M o st  o th e   m e th o d s   u se d   a re   re se a r c h   a n d   d e v e l o p m e n ( R& D )   with   d a ta  a n a ly sis  tec h n iq u e in   th e   fo rm   o f   t - tes t   o n   G o o g le  S c h o lar  d a ta  a n d   su r v e y   m e th o d s   wit h   d e sc rip ti v e   a n a l y sis   o n   S c o p u d a ta.  Th e   d iffere n c e   in   th e   p u b li c a ti o n   tren d   o n   th e   i n teg ra ti o n   p a tt e rn ,   t h e   n u m b e o sa m p les   u se d   is  g re a ter  in   t h e   S c o p u s   d a ta .   T h e   m e th o d   u se d   i m o re   d o m in a n t   i n   t h e   su r v e y   t h a n   R& D,   b u t   wh a tev e t h e   re se a rc h   d e sig n   i n   S T EM   l it e ra c y   is,  in   p ri n c ip le,  it   c a n   e m p o we HO TS   to   in c re a se   lea rn in g   a c ti v it ies .   K ey w o r d s :   m eta - an aly s is   HOT S   L iter atu r s tu d y   Scien ce   lear n in g   STE liter ac y   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Qo r i A g u s s u r y an i   Ma s ter   Pro g r am   o f   Scien ce   E d u ca tio n ,   Po s tg r ad u ate,   Un iv er s itas   Neg er i Sem ar an g   Sek ar an ,   Gu n u n g   Pati,  Sem ar an g ,   I n d o n esia   E m ail: c o r r iesu r y an i@ s tu d en t s . u n n es.a c. id       1.   I NT RO D UCT I O N   Hig h er   o r d e r   th in k in g   s k il ls   ( HOT S )   g en er ate  n ew  id ea s   th at  ca n   ad ap to   d if f er e n co n d itio n s ,   th in k   f lex ib ly ,   c r ea tiv ely ,   th in k   cr iti ca lly ,   an d   b e   to ler an t   o f   id ea s   [ 1 ] V o ca tio n al  s ch o o ( S MK )   s cien ce   lear n in g   is   o r ien ted   to war d s   ap p lied   s cien ce   s tu d ies  th at  ca n   ap p ly   to   t h wo r ld   o f   wo r k   an d   in d u s tr y .   Glo b al  ch allen g es  r eq u ir lear n in g   p atter n s   th at  em p o wer   HOT S   th r o u g h   s c ien ce ,   tech n o lo g y ,   en g i n ee r in g ,   an d   m ath em atics  ( STE M )   ap p r o ac h .   HOT S   ar an   im p o r tan p ar o f   lear n in g   s k ills   [ 2 ]   wh ich   ar co g n itiv a ctiv ities   in   f in d in g   s o lu tio n s   to   s o lv p r o b lem s   [ 3 ] ,   f in d in g   id ea s   to   h el p   s tu d en ts   d ev elo p   HOT S   in   th f o r m   o f   cr itical  th in k in g ,   an d   c r ea tiv th i n k in g .   I n d icat io n   o f   t h a b ilit y   to   tr ain   s tu d en ts   with   th e   d im e n s io n s   o f   th in k i n g   p r o ce s s es  wh ich   in clu d t h d o m ain s   o f   an aly zin g   ( C 4 ) ,   ev alu atin g   ( C 5 ) ,   an d   cr ea tin g   ( C 6 )   [ 4 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   11 ,   No .   1 Ma r ch   20 22 :   5 1 - 60   52   T h lo HOT S   ar ca u s ed   b y   l ac k   o f   m ed ia  an d   lear n in g   m o d els  th a ca n   m ax im ize  s tu d en ts '   HOT S   ef f ec tiv ely   [ 5 ] .   C o n v e n tio n al   an d   q u esti o n   an d   a n s wer   m eth o d s   s till   d o m in ate  s cien ce   lear n in g   s o   th at   s tu d en ts   b ec o m e   p ass iv an d   s tu d en ts '   th in k in g   ac tiv iti es  ar wea k .   So m teac h e r s   o n l y   c o n s id er   HOT S   as  a   p r o ce s s   th at  ca n   o n l y   b e   d o n in d iv id u ally .   T ea ch e r s   d o   n o t   k n o th e   r ig h way   t o   in c r ea s s tu d en HOT S   in   th lear n in g   p r o ce s s   in   th cl ass r o o m   [ 6 ] .   T h lear n i n g   ap p r o ac h   u s ed   to   d e v elo p   HOT S   is   to o   d if f icu lt  f o r   s tu d en ts   wh o   h av lim ited   cr ea tiv th in k in g   k n o wled g a n d   s k ills .   T h lo HOT S   is   tr ig g er ed   b y   s o m e   teac h er s   p er ce iv in g   HOT S   as  p r o ce s s   th at  is   o n ly   d o n e   in d iv id u ally .   T ea c h er s   d o   n o k n o th r ig h t   way   to   in cr ea s s tu d en ts '   HOT S   in   th lear n in g   p r o ce s s   in   class .   Me an wh ile,   th p u r p o s o f   s cien ce   ed u ca tio n   is   t o   ed u ca te  s tu d en ts   to   ad ap to   d if f er en co n d itio n s ,   th in k   f le x ib ly ,   ask   q u esti o n s ,   b cr ea tiv e,   th in k   c r itically ,   r esp ec s o ciety ,   an d   b to le r a n o f   id ea s .   Sev e r al  th in g s   h a v b ee n   d o n to   in c r ea s HOT S   b y   ap p ly in g   s cien ce   lear n in g   ap p r o ac h   th at  aim s   to   t h f u tu r e   an d   c o m p ete  g lo b al ly ,   n am ely   STE M.   STE aim s   to   d ev elo p   s tu d en ts '   HOT S   [ 7 ] .   STE ed u ca tio n   p r o v id es  ed u ca to r s   with   th o p p o r tu n ity   to   s h o s tu d en ts   h o co n ce p ts ,   p r in ci p les,  an d   tech n iq u es  f r o m   s cien ce ,   tec h n o l o g y ,   en g in ee r in g ,   an d   m ath em atics  ar u s ed   in   an   in teg r ated   m an n er   in   th d e v elo p m en o f   p r o d u cts,  p r o ce s s es,  an d   s y s tem s   u s ed   in   th eir   d ai ly   liv es  [ 8 ]   Scien ce   as  p r o ce s s   is   n o th in g   b u s cien tific   m eth o d ,   th ac tiv ity   o f   g iv in g   d iv e r g en q u esti o n s   in   ev er y   asp ec in   th f o r m   o f   o p en - en d ed   q u esti o n s   an d   h av i n g   HOT S .   Dec is io n - m ak in g   t h r o u g h   co n v er g e n th in k in g   ac tiv ities   is   an   in d ic ato r   o f   h ig h - o r d e r   th i n k in g   s tu d en ts   [ 9 ] .   I n d i ca to r s   an al y ze   id ea s   th at   ar e   q u ite   well  d ev elo p e d   t h r o u g h   th e   ab ilit y   test   in s tr u m en t h at  ch a r a cter izes  HOT S .   T h p r o b lem   s o lv in g   s tu d ied   h as   n o b ee n   d r iv en   b y   s tan d ar d   i n d icato r s ,   o n ly   b ased   o n   th e   ass u m p tio n s   o f   r esear ch er s   an d   co n d itio n s   in   th e   f ield   [ 1 0 ] .   T h p u r p o s o f   eth n o s cien ce   lear n in g   is   to   an al y ze   p r o f iles   an d   is   p r o v en   to   c o n tr ib u te  to   s cien tific   p u b licatio n s   o n   th d is cu s s io n   o f   lo ca an d   s cien tific   k n o wle d g in   b asic  f o r m al  ed u ca tio n   ca n   eq u ip   s tu d en ts ch ar ac ter   an d   h ig h - lev el  s k ills .   STE lear n in g   r ef er s   to   th ab ilit y   to   ap p ly   an   u n d er s tan d in g   o f   h o in ten s e   co m p etitio n   wo r k s .   Ab ilit y   i s   m ea n b y   u n d e r s tan d in g   p eo p le' s   n ativ k n o wled g e   as  s cien ce   lear n in g   ap p r o ac h   th at   eq u ip s   s tu d en ts '   HOT S .   On o f   th e   ap p r o ac h es  u s ed   is   eth n o s cien ce - b as ed   lear n in g   is   v e r y   im p o r tan to   d ev elo p   in   v o ca t io n al  s ch o o s cien ce   teac h in g   m ater ials ,   esp ec ially   it  ca n   b e   in teg r ated   in to   th STE lear n in g   m o d el.   L ea r n in g   b y   f in d i n g   y o u r   c o n ce p th r o u g h   h ig h - o r d er   th o u g h t   p r o ce s s es  with o u leav in g   cu ltu r as a   f o r m   o f   e n v ir o n m e n tal  ca r is   n ee d ed   in   th 2 1 s t c en tu r y   with   STE li ter ac y .   An aly s is   o f   STE lear n in g   o u tco m es,  ty p o f   in teg r atio n ,   ed u ca tio n   lev el,   an d   y ea r   o f   p u b licatio n   s h o ws  th at  th u s o f   STE i n teg r atio n   o f   p r o ject - b ased   lear n in g   ( PjB L )   in   h ig h er   ed u ca tio n   ca n   b d o n as  p r elim in ar y   an aly s is   an d   b asis   f o r   r esear ch   i n   th STE f ield .   STE lear n in g   o u tco m es  ar in teg r ated   to   e q u i p   s tu d en ts   in   wo r k   r ea d in ess   an d   ca r ee r   s k ills   [ 1 1 ] .   T h STE m o d el  to   u p d atin g   to p ics  in   th 2 1 s ce n tu r y   t o   co m p ete  g l o b ally   an d   s o lv e   life   is s u e s   th r o u g h   STE liter ac y .   STE liter ac y   s h o ws  th in te g r ated   m u ltid is cip lin ar y   o f   s cien ce ,   tech n o lo g y ,   en g in ee r in g ,   a n d   m ath em atics  u s ed   in   liv in g   s y s tem s ,   th e   co n d itio n   o f   q u alif ied   STE ca r ee r   s k ills   is   g ettin g   lo wer   b ased   o n   T I MSS  an d   PISA  r esu lts   [ 1 2 ] .   T h in teg r ate d   STE ap p r o ac h   in   lear n i n g   h as  th p o ten tial  to   eq u ip   s tu d e n ts '   2 1 s t - ce n tu r y   wo r k   s k ills   th r o u g h   lear n in g   o u tco m es.  Ass ess in g   th in teg r atio n   o f   STE in   lear n in g   t o   m a p   th e   r esu lts   o f   STE r esear ch   at  th e   s cien ce   ed u ca tio n   lev el   u n d er tak en .   R esear ch er s   ar e   lim ited   in   s tu d y in g   it  b ec au s o f   th lar g n u m b er   o f   STE ar ea s   co v er ed .   T h STE d o m ain   is   lim ited   to   in f o r m atio n   o n   g r o win g   s tu d e n HOT S   an d   th e   co n tr ib u tio n   o f   STE in te g r atio n .   B ased   o n   th id e n tific atio n   o f   r esear ch   p r o b lem s ,   it  is   n ec ess ar y   to   h av s o lu tio n   in   u s in g   STE th at  ca n   g r o s tu d en HOT S   th r o u g h   liter atu r r ev iews.  T h r esear ch   o b jectiv es  ar e :   i An aly zi n g   th r esear ch   p r o ce s s   b ased   o n   th in te g r atio n   p atter n ,   m eth o d s ,   an aly s is   tech n iq u es,  an d   f in d in g s   r esu ltin g   f r o m   STE in   g r o win g   v o c atio n al  h ig h   s ch o o l   s tu d en ts '   HOT S ii )   An aly zin g   th f in d in g s   o f   r esear ch   p u b licatio n s   o n   Go o g le  Sch o lar   an d   Sco p u s   in   2 0 1 6 - 2 0 2 0   r eg ar d in g   STE in   g r o win g   v o ca tio n al  h ig h   s ch o o s t u d en ts '   HOT S .       2.   RE S E ARCH   M E T H O D   T h is   ty p o f   liter atu r s tu d y   u s e d   s y s tem atic  r ev iew  ap p r o ac h   [ 1 3 ] .   Acc o u n tab le  s o u r ce s   to   b u ild   a   r eliab le  ev id en ce   b ase  f o r   r es ea r ch   r ec o m m en d atio n s .   So u r ce s   o f   d ata  a r tak en   b ased   o n   ar ticles  p u b lis h ed   b y   Go o g le   Sch o lar ,   E ls ev ier ,   Sco p u s ,   an d   Scien ce   Dir ec i n   2 0 1 6 - 2 0 2 0 .   T h e   s tep s   u s ed   i n   th is   r esear ch   ar e   p r esen ted   in   Fig u r e   1 .   A   s y s tem atic  r ev iew  h as  b ee n   d ef in ed   as  s cien tific   p r o ce s s   g o v er n ed   b y   s et  o f   ex p licit  r u les  an d   d em o n s tr ates  th co m p leten ess ,   im m u n ity   f r o m   b ias,  tr an s p a r en cy ,   an d   ac co u n tab ilit y   o f   in clu s io n   an d   ex clu s io n   t ec h n iq u es.  T h s y s tem atic  r ev iew  p r o ce s s   is   ca r r ied   o u b ased   o n   cr u cial  in clu s io n   q u esti o n s   in   th r esear ch   o b je ctiv es,  n am ely :   i )   An aly ze   t h e   STE in teg r atio n   p atter n   in   g r o win g   v o ca tio n al  h ig h   s ch o o s tu d en ts '   HOT S ii )   T h im p o r tan c o n tr ib u tio n   o f   STE wh ich   ca n   g r o H OT S   o f   v o ca tio n al   s ch o o s tu d en ts .   T h e   k ey w o r d s   u s ed   in   th e   s ea r ch   f o r   s o u r ce s   ar e:  HOT S v o ca tio n al  s ch o o l ,   STE M,   an d   n atu r al  s cien ce .   T h s ev e n   s tep s   o f   a   s y s tem atic  r ev iew  b eg an   with   in clu s io n   cr iter ia ,   th en   f ilter ed   o u r elev an t so u r c es a n d   m ap p ed   t h em   o u t b ased   o n   r esear c h   o b j ec tiv es.  T h s y n th esis   o f   liter a tu r s tu d y   f in d in g s   p r o v id es c o n clu s io n s   an d   r esear ch   r ec o m m en d atio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       S TEM  liter a cy   in   g r o w in g   vo ca tio n a l sch o o l stu d en HOTS   i n   s cien ce   lea r n in g   …  ( Qo r i A g u s s u r ya n i )   53       Fig u r 1 .   Sy s tem atic  r ev iew  p r o ce s s   [ 1 3 ]       3.   RE SU L T S AN D I SCU SS I O N   T h r esu lts   o f   a   s y s tem atic  r e v iew  s h o th STE m o d el  a s   s o lu tio n   to   t r ain   s tu d en ts   i n   s cien tific   wo r k   an d   b d ir ec tly   in v o lv e d   in   th e   lear n i n g   p r o ce s s   an d   p r o d u ce   p r o d u cts.  L ea r n in g   a ctiv ities   to   d ev elo p   HOT S   th at  ar n o f ix ated   o n   o n s o lu tio n   to   th p r o b le m s   th ey   f ac e.   Ho wev er ,   b y   b r in g in g   u p   m an y   alter n ativ an s wer s   to   s o lv in g   p r o b lem s   o n   t h HOT S   in d icato r .   B ased   o n   t h p u r p o s o f   th liter atu r e   r ev iew,   th im p o r tan ce   o f   HOT S   in   s cien ce   lear n in g ,   th e   p o ten tial  o f   th STE m o d el  to   g r o s tu d en ts '   HOT S ,   an d   th r elatio n s h ip   b etwe en   th co m p o n en ts   o f   STE m o d el  an d   th HOT S   i n d icato r s .   Fig u r 2   p r esen ts   d ata  f in d in g s   o n   Go o g le  Sch o lar   p u b licatio n s   in   2 0 1 6 - 2 0 2 0 .           Fig u r 2 .   Go o g le  Sch o lar   d ata  s ea r ch   r esu lts       Fu r th er m o r e ,   id en tify i n g   th i n clu s io n   cr iter ia  b ased   o n   th r esear ch   o b jectiv es a s   s h o wn   i n   Fig u r 3 .   B ased   o n   th s ea r ch   r esu lts   f o r   to tal  o f   1 3 6   ar ticles,  th e r ar 1 8   ar ticles  d is cu s s in g   STE liter ac y   an d   HOT o f   v o ca tio n al  s tu d en ts ,   wh ich   ar p r esen ted   i n   Fig u r 3 .   T ab le  1   s h o ws  th co n tr i b u tio n   o f   STE in   estab lis h in g   s tu d en HOT b ased   o n   r e v iew  o f   th e   in teg r atio n   p atter n   o f   th r esear ch   m eth o d s   u s ed ,   d ata   an aly s is   tech n iq u es a n d   STE f in d in g s   in   HOT S.   T ab le  1   r ev ea ls   th d ata  s o u r c in clu s io n   cr iter ia  ca n   b ca te g o r ized   in   ac c r ed ited   an d   n o n - ac cr ed ited   jo u r n als.  Acc r ed ited   jo u r n als  ar jo u r n als  in d ex e d   in   th S cien ce   an d   T ec h n o lo g y   I n d ex   ( SIN T A)   to   ass ess   jo u r n al  p e r f o r m an ce   b ased   o n   ac cr ed itatio n   an d   citatio n   s tan d ar d s .   I n d ex atio n   o f   n atio n al   jo u r n als  th at  h av e   b ee n   ac cr ed ited   b y   th Natio n al  J o u r n al  Acc r ed itatio n   I n s titu te  ( AR J UN A) .   SIN T as  t h o f f icial  p o r tal  o f   th Min is tr y   o f   R esear ch ,   T ec h n o lo g y   a n d   Hig h er   E d u ca tio n   wh ich   co n tain s   th e   m ea s u r e m en o f   s cie n ce   an d   0 20 40 60 80 P u b li c a ti o n   Y e a r 9 5 14 42 62 A r ticle 2 0 1 6 2 0 1 7 2 0 1 8 2 0 1 9 2 0 2 0 1.   R e v i e w i n g   J o u r n a l   o r   S o u r c e s   I n c l u s i o n   C r i t e r i a     2 .   Lo o k i n g   f o r   l i t e r a t u r e   s t u d i e s   3 .   S c r e e n i n g   s t u d y   me e t   t h e   i n c l u s i o n   c r i t e r i a ?   Y e s   No   4 .   D e scri b e   a n d   ma p   l i n k s t o   st u d y   o b j e c t i v e s   5 .   Q u a l i t y   a n d   r e l e v a n c e   a ss e ssm e n t   A ssessme n t   o f   t h e   w e i g h t   o f   e v i d e n c e   6 .   S y n t h e s i o f   st u d y   f i n d i n g s   P u r p o se   1   P u r p o se   2   P u r p o se   1   P u r p o se   2   7 .   C o n c l u si o n o r   R e c o mm e n d a t i o n s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   11 ,   No .   1 Ma r ch   20 22 :   5 1 - 60   54   tech n o lo g y   p er f o r m an c in clu d in g   th p e r f o r m an ce   o f   r esear ch er s ,   wr iter s ,   jo u r n als,  an d   s cien ce   an d   tech n o lo g y   in s titu tio n s   is   p r esen ted   in   Fig u r 4 .   STE M - in teg r ated   p u b licatio n   ca t eg o r ies,  th er ar e   d if f er en ce s   in   th r esear ch   tr en d s   p r esen ted   in   Fig u r 5 .   T h h ig h est  p er ce n tag is   o b tain ed   b y   th STE M   in teg r atio n   p atter n   in   em p o wer in g   s tu d e n ts '   HOT with o u an y   s p ec ial  m o d if icatio n   wi th   o th e r   m o d els  o r   ap p r o ac h es.  Fu r th e r m o r e,   T ab le  2   p r esen ts   th r esu lts   o f   t h e   STE r ev iew   in   th e   Sco p u s   i n d ex ed   f in d in g s   in   2016 - 2 0 2 0 .           Fig u r 3 .   T r en d   o f   STE an d   HOT S p u b licatio n   b ased   o n   in clu s io n   cr iter ia       T ab le  1 .   S tu d e n t liter atu r r e v iews o n   STE an d   HOT S   o n   Go o g le  Sch o lar   p u b licatio n   ar ticles  ( 2 0 1 6 - 2 0 2 0 )   D a t a   so u r c e   c o d e   R e se a r c h   m e t h o d s   D a t a   a n a l y si s   te c h n i q u e   R e se a r c h   f i n d i n g s   I n t e g r a t i o n   p a t t e r n   1   2   3   4   5   6   2 0 1 6 - 1   X             I n d e p e n d e n t   t - t e s t   Th e   S TE M - Pj B L   mo d e l   c a n   i m p r o v e   l e a r n i n g   a b i l i t i e s   i n   t h e   f o r m   o f   s t u d e n t   H O TS   [ 1 4 ]   S TEM - P j B L   2 0 1 7 - 1     X           D e scri p t i v e   a n a l y si s   C o n t e x t u a l   v i d e o   t e c h n o l o g y   l i t e r a c y   c a n   f o st e r   p o s i t i v e   st u d e n t   r e s p o n se s a n d   l e a r n i n g   o u t c o mes  [ 1 5 ]   Te c h n o l o g y   l i t e r a c y   2 0 1 8 - 1       X         t - t e s t   Th e   r e sp o n ses  o f   st u d e n t a n d   t e a c h e r a r e   v e r y   i n t e r e s t i n g   t o   t h e   S T EM   m o d u l e   i n   g r o w i n g   H O TS   [ 1 6 ]   S TEM     2 0 1 9 - 1         X       D e scri p t i v e   a n a l y si s   Th e   t e a c h e r 's  p e r sp e c t i v e   t h a t   S TEM   i v e r y   i mp o r t a n t   t o   b e   a p p l i e d   t o   t h e   d e v e l o p me n t   o f   t h i n k i n g   s k i l l a n d   t o   c o m p e t e   g l o b a l l y   [ 1 7 ]   S TEM   2 0 1 9 - 2   X             t - t e s t   P B m o d e l   c a n   a d d   H O TS   t o   s t u d e n t s   [ 1 8 ]   S TEM - P B L   2 0 1 9 - 3           X     D e scri p t i v e   a n a l y si s   H O TS   e mp o w e r m e n t   t h r o u g h   a   sc i e n t i f i c   f r a mew o r k   [ 1 9 ]   N o n   S TE M   2 0 1 9 - 4       X         I n d e p e n d e n t   t - t e s t   S TEM   mo d e l   i n   d e v e l o p i n g   p r o c e ss s k i l l i n   l e a r n i n g   [ 2 0 ]   S TEM   2 0 1 9 - 5       X         D e scri p t i v e   a n a l y si s   H O TS   a ssessme n t   i n   g r o w i n g   l e a r n i n g   o u t c o m e i s   n e e d e d   b y   t e a c h e r [ 2 1 ]   N o n   S TE M   2 0 2 0 - 1       X         Q u a si   e x p e r i me n t   Th e   S TE M   i n t e g r a t e d   e t h n o sci e n c e   mo d e l   c a n   c u l t i v a t e   st u d e n t   H O TS   [ 2 2 ]   S TEM - e t h n o sc i e n c e   2 0 2 0 - 2             X   D e scri p t i v e   a n a l y si s   S TEM - P j B L   c a n   g r o w   st u d e n t   H O TS   [ 2 3 ]   S TEM - P j B L   2 0 2 0 - 3             X   D e scri p t i v e   a n a l y si s   Th e   S TE M   m o d e l   i n   d e v e l o p i n g   st u d e n t s'  p r o b l e m - so l v i n g   a b i l i t i e [2 4]   S TEM   2 0 2 0 - 4           X     D e scri p t i v e   a n a l y si s   S TEM - P j B t e a c h i n g   ma t e r i a l s   c a n   g r o w   s t u d e n t s'  4 C   [ 2 5 ]   S TEM - P j B L   2 0 2 0 - 5           X     D e scri p t i v e   a n a l y si s   H O TS   n e e d s   a n a l y s i u si n g   F o u r   Ti e r   Te st   [ 2 6 ]   N o n   S TE M   2 0 2 0 - 6   X             t - t e s t   a n d   G a i n   sc o r e   Th e   S TE M - P j B L   m o d e l   i n   c u l t i v a t i n g   4 C   s k i l l [ 2 7 ]   S TEM - P j B L   2 0 2 0 - 7     X           t - t e s t   P B m o d e l   i n   g r o w i n g   s t u d e n t   H O TS   [ 2 8 ]   S TEM - P B L   2 0 2 0 - 8   X             G a i n   t e st   P r o j e c t - b a se d   S TE M   mo d e l   i n   c u l t i v a t i n g   s t u d e n t   H O T S   [ 2 9 ]   S TEM   2 0 2 0 - 9       X         D e scri p t i v e   a n a l y si s   Th e   H O TS   c h a r a c t e r i st i c o f   st u d e n t a r e   i n   t h e   me d i u m   c a t e g o r y   i n   s c i e n c e   l e a r n i n g   [ 3 0 ]   N o n   S TE M   2 0 2 0 - 10       X         V a l i d i t y   a n d   r e l i a b i l i t y   t e st   H O TS - b a se d   L K P D   d e v e l o p me n t   i n   g o o d   c a t e g o r y   [ 3 1 ]   N o n   S TE M   I n f o r mat i o n :   1 )   E x p e r i me n t ;   2 )   4 D ;   3 )   R &D   B o r g   a n d   G a l l ;   4 )   S u r v e y ;   5 )   Q u a l i t a t i v e ;   6 )   Li b r a r y   r e s e a r c h     0 10 P u b li c a ti o n   Y e a r 1 1 1 5 10 2 0 1 6 2 0 1 7 2 0 1 8 2 0 1 9 2 0 2 0 Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       S TEM  liter a cy   in   g r o w in g   vo ca tio n a l sch o o l stu d en HOTS   i n   s cien ce   lea r n in g   …  ( Qo r i A g u s s u r ya n i )   55           Fig u r 4 .   Pu b licatio n   ca teg o r ies b ased   o n   Go o g le  Sch o lar ' s   in d ex ed   f in d in g s   in c lu s io n   cr iter ia   Fig u r 5 .   STE an d   HOT S   in teg r atio n   p atter n   ( Sco p u s   in d ex e d   f in d in g s )       T ab le  2 .   L iter atu r r ev iew  r es u lts   f o r   STE an d   HOT S   in   S co p u s   in d e x ed   p u b licatio n   a r ticles  ( 2 0 1 6 - 2 0 2 0 )   D a t a   so u r c e   c o d e   R e se a r c h   m e t h o d s   D a t a   a n a l y si s   t e c h n i q u e   R e se a r c h   f i n d i n g s   I n t e g r a t i o n   p a t t e r n   1   2   3   4   5   6   2 0 1 8 - 1   X             Th e m a t i c   S TEM   l i t e r a c y   i s   i m p l e me n t e d   i n   e f f e c t i v e   l e a r n i n g   f o r   st u d e n t   t h i n k i n g   a c t i v i t i e [ 3 2 ]   S TEM     2 0 1 8 - 2       X         Li t e r a t u r e   n a r r a t i v e   P r o b l e m - b a se d   S TE M   l i t e r a c y   c a n   i mp r o v e   t h i n k i n g   s k i l l s.   [ 3 3 ]   P B L - S TE M   2 0 1 8 - 3   X       X       D e scri p t i v e   a n a l y si s   R e l a t i o n s h i p   b e t w e e n   l e a r n i n g   o u t c o mes  a n d   S TE M   l e a r n i n g   [ 3 4 ]   S TEM   2 0 1 8 - 4           X   X   D e scri p t i v e   a n a l y si s   S TEM   c a n   g i v e   st u d e n t s   t h e   a b i l i t y   t o   t a k e   i n i t i a t i v e   [ 3 5 ]   Te c h n o l o g y   l i t e r a c y     2 0 1 7 - 1   X             Q u a l i t a t i v e   Te a c h e r n e e d   t o   i mp l e me n t   i n t e g r a t e d   S TE M   i n   l e a r n i n g   [ 3 6 ]   S TEM     2 0 1 8 - 5         X   X   X   Q u a l i t a t i v e   S TEM   e d u c a t i o n   i p a r t   o f   t h e   i n i t i a t i v e   t o   i mp r o v e   l e a r n i n g   a b i l i t i e [ 3 7 ]   S TEM   2 0 1 6 - 1   X             Q u a l i t a t i v e   S TEM   i n t e g r a t i o n   i s   a n   e m b r y o   f o r   a d v a n c i n g   c u r r i c u l u m   d e v e l o p me n t   a n d   s t u d e n t   l e a r n i n g   o u t c o m e s.  [ 3 8 ]   S TEM   2 0 1 6 - 2         X       Q u a l i t a t i v e   Th e   i n t e g r a t e d   S TE M   f r a m e w o r k   i s   a   so l u t i o n   t o   s o l v i n g   p r o b l e ms  i n   l e a r n i n g   sc i e n c e   a n d   ma t h e m a t i c [ 3 9 ]   S c i e n c e   a n d   mat h e m a t i c   l i t e r a c y   2 0 1 8 - 6   X             S t a t i st i c   d e s c r i p t i v e   S TEM   c a n   i n c r e a se  s t u d e n t   m o t i v a t i o n   [ 4 0 ]   S TEM   2 0 1 8 - 7         X       Q u a l i t a t i v e   a n d   Q u a n t i ta t i v e   S TEM   p r o v i d e s   o p p o r t u n i t i e s   f o r   p r o f e ss i o n a l   a c a d e m i c   p e r f o r m a n c e   [ 4 1 ]   S TEM   2 0 2 0 - 8           X     Q u a l i t a t i v e   Th e   i m p o r t a n c e   o f   t e a c h e r i m p l e me n t i n g   S TE M   i n   i mp r o v i n g   t h e   p r o f e ss i o n a l i s a n d   t h i n k i n g   s k i l l s o f   st u d e n t s   [ 4 2 ]     2 0 2 0 - 7   X             ANOVA  t e st   Th e r e   i s   a   si g n i f i c a n t   c h a n g e   i n   s t u d e n t s'   H O TS   [ 4 3 ]   M a t h e ma t i c   l i t e r a c y   2 0 2 0 - 4   X         X     D e scri p t i v e   a n a l y si s   Th e r e   a r e   d i f f e r e n c e i n   l e a r n i n g   o u t c o m e b e t w e e n   S TE M   a n d   N o n   S TE M   [ 4 4 ]   S TEM   2 0 2 0 - 5   X       X       t - t e s t   Th e r e   a r e   d i f f e r e n c e i n   s t u d e n t s'   u n d e r st a n d i n g   a n d   a n a l y si s   i n   u n d e r st a n d i n g   s c i e n c e   c o n c e p t u s i n g   S TE M   l i t e r a c y   [ 4 5 ]   S TEM   2 0 2 0 - 6   X   X     X     X   ANOVA   t e st   S t u d e n t   r e sp o n ses  t o   S TE M   c a r e e r s   i n   i n c r e a s i n g   i n t e r e st   i n v o l v i n g   s c i e n c e ,   t e c h n o l o g y ,   e n g i n e e r i n g ,   a n d   m a t h e m a t i c s   [ 4 6 ]   S TEM   2 0 1 9 - 1         X       Q u a n t i t a t i v e   D e scri p t i v e     S TEM   c a n   i n c r e a s e   st u d e n t s'  h i g h e r   o r d e r   t h i n k i n g   t h r o u g h   N u r t u r e   t h r o u g h   N a t u r e   ( N t N )   [ 4 7 ]   Te c h n o l o g y   l i t e r a c y   2 0 1 9 - 2       X         Q u a n t i t a t i v e   D e scri p t i v e   S TEM   h a a   b i g   e f f e c t   o n   t h i n k i n g   sk i l l w h e n   i n t e g r a t e d   w i t h   t e c h n o l o g y   [ 4 8 ]   Te c h n o l o g y   l i t e r a c y   2 0 2 0 - 1   X             D e scri p t i v e   a n a l y si s   Te c h n o l o g y   c a n   d e v e l o p   st u d e n t s'   p e d a g o g i c   c o m p e t e n c e s ,   c r e a t i v e   t h i n k i n g   a n d   c r i t i c a l   t h i n k i n g   [ 4 9 ]   Te c h n o l o g y   l i t e r a c y   2 0 2 0 - 2             X   D e scri p t i v e   a n a l y si s   H O TS   c a n   b e   i n c r e a se d   t h r o u g h   S TE M   l i t e r a c y   [ 5 0 ]   S TEM   2 0 2 0 - 3   X             t - t e s t   Th e r e   i s   a n   i n c r e a s e   i n   s t u d e n t s'  u n d e r st a n d i n g   o f   u se  S TE M   [ 5 1 ]   S TEM     I n f o r mat i o n :   1 )   S u r v e y ;   2 )   T e st ;   3 )   Q u e s t i o n n a i r e ;   4 )   O b s e r v a t i o n ;   5 )   I n t e r v i e w ;   6 )   D o c u me n t a t i o n     N a t i o n a l   P r o ce e d i n g s 1 6 . 7 17% S i n t a   1 5 . 6 5% S i n t a   2 1 1 .1 11% S i n t a   3 3 8 . 9 39% S i n t a   4 5 . 6 6% N o t  a cc r e d i t e d 2 2 . 2 22% O t h e r 2 7 . 8 28% 5% 28% 28% 6% 11% 22% Te c h n o l o g y Li t e r a cy N o n   S T EM S TEM S TEM - Et h n o sci e n c e S TEM - P BL S TEM - P j B L Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   11 ,   No .   1 Ma r ch   20 22 :   5 1 - 60   56   3 . 1 .   ST E M   lite ra cy   m o del in g ro wing   H O T S   T ab le  1   an d   T ab le   2   s h o t h at  th f o r m   o f   STE in teg r a tio n   is   u s ed   d if f e r en tly   in   g r o win g   th e   HOT S   o f   v o ca tio n al  s tu d en ts .   STE in teg r atio n   is   ca r r ied   o u with   v ar io u s   r esear ch   m eth o d s   an d   v ar io u s   d ata  an aly s is   tech n iq u es  s o   th at  th in f o r m atio n   o b tain ed   in   th liter atu r r e v iew  g iv es  an   id ea   th at  t h e   p u b licatio n   tr e n d   o b tain ed   o n   STE an d   HOT S   o f   v o ca tio n al  s tu d en ts   is   v er y   co m p lex .   cr itical  r ev iew  o f   th f in d i n g s   will  p r o v id r esear ch   r ec o m m en d atio n s .   Fu r t h er m o r e,   it  ex p lain s   t h co n tr i b u tio n   o f   STE M   in   g r o win g   HOT S .   T h er is   s i m ilar ity   in   th r esu lts   o b tain e d   b y   2 8 an d   6 5 o n   th u s o f   STE an d   n o n   STE in   g r o win g   HOT S   ( Fig u r 4   an d   Fig u r 5 ) .   T h er e   is   6 tech n o lo g ical  liter ac y   p ar o f   S - T - E - liter ac y ,   with   STE in teg r ati o n   d if f er en in   p r in cip le,   b ec au s S - T - E - liter ac y   h as  its   r esp ec tiv r o les  in   g r o win g   HOT S .   STE M - b ase d   s cien ce   lear n in g   is   lear n i n g   s cien ce   s u b ject  m atter   th at   in teg r ates  s y s tem   d esig n s   an d   th u s o f   tec h n o l o g y   f o r   r ea p r o b lem   s o lv in g ,   b u o n l y   f ew  u s tech n o lo g y   liter ac y   s ep ar ately   f r o m   STE [ 1 6 ] ,   [ 1 7 ] .   T h e   r esear ch   f in d i n g   is   t h at  tec h n o lo g ical   liter ac y   ca n   i n cr e ase  s tu d en p o s itiv r esp o n s es  an d   lear n in g   o u tc o m es,  n o in   th r ea lm   o f   d ev elo p in g   s tu d en HOT S   [ 1 5 ] .   Fu r th er m o r e,   it  is   ex p lain ed   in   d etail  ab o u th i n teg r atio n   p atter n   o f   STE w ith   th lear n in g   m o d el  in   g r o win g   s tu d en HOT S   as a   co n s id er atio n   in   r ec o m m e n d in g   f u r th e r   r esear ch .       3 . 2 .   ST E M - P B L   inte g ra t io n in g ro wing   H O T S   T h er ar 1 1 an d   1 0 in te g r atio n   o f   STE M - PB L   ( Fig u r 5 )   s h o win g   th at  th s u p e r io r ity   o f   th e   p r o b lem   b ased   lear n in g   ( PB L )   m o d el  will  o cc u r   m ea n in g f u lear n in g .   Stu d en ts   lear n in g   to   s o lv p r o b lem s   will  ap p ly   k n o wled g o r   tr y   to   f in d   th k n o wled g n ee d ed   [ 2 8 ] .   I n   th PB L   m o d el  s itu atio n ,   s tu d en ts   in teg r ate  k n o wled g an d   s k ills   s im u ltan eo u s ly   an d   ap p ly   th em   in   th r elev an co n tex t.  T h PB L   m o d el  ca n   im p r o v cr itical  th in k in g   s k ills ,   f o s ter   s tu d en ts '   in itiat iv i n   wo r k ,   in ter n al  m o tiv atio n   i n   lear n in g ,   an d   ca n   d ev elo p   in ter p er s o n al  r elatio n s h ip s   in   g r o u p   wo r k .   T h PB L   m o d el  is   b eliev ed   to   b ab le  to   im p r o v th e   q u ality   o f   e d u ca tio n   th r o u g h   th HOT S   o f   v o ca tio n al   s tu d en ts   [ 1 8 ] .   STE M   in teg r atio n   h as  th e   p o ten tial  to   g iv s tu d en ts   th o p p o r tu n ity   to   p r ac tice  HOT S   b ec au s it  p r o v id es  p r o b lem s   th at  m u s b r eso lv ed   th r o u g h   STE liter ac y   with   th PB L   lear n in g   p h ase.     3 . 3 .   ST E M - P j B L   inte g ra t io n in g ro wing   H O T S   STE M - PjB L   in teg r atio n   g ai n ed   2 2 in d icatin g   p r ac tice - b ased   lear n i n g   as  s tu d e n t - ce n ter ed   in s tr u ctio n   th at  o cc u r s   o v er   lo n g   p er io d   o f   tim e,   wh e r e   s tu d en ts   ch o o s e,   p lan ,   i n v es tig ate  an d   p r o d u ce   p r o d u cts,  p r esen tatio n s ,   o r   p er f o r m a n ce s   th at  an s wer   r ea l   p r o b lem s .   PjB L   f ac ilit ates  t h d ev el o p m en t   o f   co m m u n icativ e   co m p eten ce s   b y   co llab o r atin g   an d   ' lear n in g   b y   d o in g ' d ev elo p m en o f   co g n itiv e,   m etac o g n itiv s tr ateg ies,  an d   in cr ea s ed   m o tiv atio n ,   wh ic h   r esu lts   in   in cr ea s ed   lan g u ag p r o f icien cy   [ 2 7 ] PjB L   tr ain s   s tu d en ts   to   d ev el o p   c r ea tiv ity   a n d   allo b ala n ce   in   i n d ep e n d en t   lear n in g ,   a s   well  as   p r o b lem - s o lv in g   ab ilit ies  an d   ca r r y   o u ef f ec tiv lear n in g .   PjB L   en co u r ag es  th ac h iev e m en o f   cr it ical  th in k in g   s k ills ,   r esp o n s ib ilit y ,   co llab o r atio n   an d   b ein g   ab le   to   in te r ac w ith   th w o r ld   ar o u n d   th em   [ 1 4 ] PjB L   p r o v id es   s tu d en ts   th f r ee d o m   to   p lan   lear n in g   ac tiv ities ,   ca r r y   o u p r o jects  co llab o r ativ el y   in   s o l v in g   p r o b lem s ,   a n d   p r o d u ce   wo r k   p r o d u cts  th at   c an   b e   p r esen ted   to   o t h er s   th at   ca n   b e   u s ed   as  r ec o m m en d atio n s   in   s o lv in g   th eir   p r o b lem s .   Stu d en ts   wo r k   to g eth er   in   g r o u p s   f o r   lo n g   p er io d s   o f   tim e,   lo o k i n g   f o r   v a r io u s   in f o r m ati o n   r eso u r ce s   an d   cr ea tin g   au t h en tic  p r o d u cts  th at  ar u ltima tel y   u s ed   as  r ec o m m en d atio n s   f o r   p r o b lem - s o lv in g .   I n itial  p r o b lem s   in   lear n in g   a s   th m ain   ca p ital  PjB L   to   c o llect  n ew  k n o wled g b ased   o n   r ea ex p e r ien ce   th r o u g h   lear n i n g   ac tiv ities   [ 2 7 ]     3 . 4 .   I nte g ra t io n o f   ST E M   a nd   et hn o s cience   i n g ro wing   H O T S   T h er is   6 in teg r atio n   o f   S T E with   th eth n o s cien ce   ap p r o ac h   ( Fig u r 5 ) .   T h eth n o s cien ce   ap p r o ac h   is   p r o ce s s   o f   r ec o n s tr u ctin g   o r ig in al  s cien ce   t h at  d ev elo p s   in   s o ciety   to   b tr an s f o r m e d   in t o   s cien tific   s cien ce .   Scien ce   is   t h s tu d y   o f   n atu r al  p h en o m en th at  d e v elo p   in   s o ciety .   I t   is   v er y   r elev an t   if   th e   eth n o s cien ce   ap p r o ac h   is   ex p l ain ed   th r o u g h   an   in teg r ated   lear n in g   m o d el  with   tech n o l o g y ,   en g in ee r in g ,   an d   m ath em atics.  th r ea s o n   is   th a s cien tific   s cien ce   ca n n o s tan d   alo n e .   T h er e   is   n ee d   f o r   f u r th er   e x p lan atio n s   to   p r o v id s tu d e n ts   with   co m p r eh en s iv a n d   h o lis tic  s k ills   f r o m   v ar io u s   lear n in g   d o m ain s   [ 2 2 ] .   T h ca s in   th f ield   is   th at  th er is   g ap   b etwe en   th n ee d   an d   av aila b ilit y   o f   ex p er tis e.   R ef er r in g   to   th d ata  f r o m   th e   C en tr al  Statis tic s   Ag en cy   in   2 0 1 0 ,   I n d o n esia's   8 8   m illi o n   h u m an   r eso u r ce s   a r s till   d o m in ated   b y   u n s k illed   wo r k er s ,   an d   it  is   p r ed icted   th at  in   2 0 2 0   th er will  b 5 0 s h o r tag o f   lab o r .   W ith o u ef f o r ts   to   d ev elo p   b asic  s k ills ,   s o f s k ills   ( co llab o r atio n ,   co m m u n icatio n ,   cr ea t iv ity ,   p r o b lem - s o lv in g ) ,   an d   p r er eq u is ite  v alu es   f o r   en ter in g   th STE p r o f ess io n ,   it  is   v er y   d if f icu lt  to   ex p ec y o u n g   p e o p le  wh o   ar m o t iv ated   an d   r ea d y   to   p u r s u STE f ield s   wh ich   c an   b th k e y   to   cr ea tin g   g en er atio n   in   th e   g lo b al  a r en a.   T h er ef o r e,   STE M   ed u ca tio n   n ee d s   t o   b a   f r a m o f   r ef e r en ce   f o r   th e   ed u c atio n   p r o ce s s   in   I n d o n esia  in   th f u tu r e   [ 8 ] .   T h e   im p o r tan ce   o f   eth n o s cien ce   le ar n in g   f o r   s p ec ial  ex p lo r atio n   in   em p o wer in g   s tu d en k n o wl ed g th at  h as  b ee n   em b ed d e d   in   s tu d en ts   to   d ev el o p   n ativ k n o wled g in   c o m m u n ity   an d   is   s tu d ied   to war d s   f o r m al  s cien ce   as  Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       S TEM  liter a cy   in   g r o w in g   vo ca tio n a l sch o o l stu d en HOTS   i n   s cien ce   lea r n in g   …  ( Qo r i A g u s s u r ya n i )   57   lear n in g   s tu d y   in   s ch o o ls   [ 5 2 ]   with   p ac k ag in g   in te g r ated   lear n in g   m o d els,  n am ely   u s o f   m o d if ied   STE M   lear n in g   m o d el  with   an   et h n o s cien ce   ap p r o ac h   ( E - STE M) .       3 . 5 .   F ind ing s   o f   ST E M   lite ra cy   pu bli ca t io ns   in g ro wing   v o ca t io na l scho o l st ud ent   H O T S   Fu r th er m o r e ,   th e   tr en d   o f   STE an d   HOT S   r esear c h   ac co r d in g   to   t h in clu s io n   cr it er ia  in   th e   f in d in g s   o f   Go o g le  Sch o lar   a n d   Sco p u s   h as  in cr ea s ed   ea ch   y ea r   in   2 0 1 6   b y   6 an d   1 0 %,  i n   2 0 1 7   as  m u ch   as  6 an d   5 %,  in   2 0 1 8   as  m u ch   as  6 an d   3 5 %.  I n   2 0 1 9   as  m u ch   as   2 8 an d   1 0 %,  an d   in   2 0 2 0   as  m u ch   as  5 6 an d   4 0 %.  I n cr ea s in g   p u b licatio n ,   th e r ar e   s ev er al  c o n s id er atio n s   o n   lear n in g   o b j ec tiv es  with   STE M   liter ac y .   STE liter ac y   d ev e lo p m en is   n o an   ea s y   m att er .   I tak es  at  least  d ec ad to   d ev elo p   STE M   ed u ca tio n   i n   a   c o u n t r y   [ 1 2 ] .   T h d ev elo p m en o f   STE M   ed u ca tio n   r eq u ir es  th p ar ti cip atio n   o f   s cien ce   teac h e r s   to   co n tr ib u te  to   th d ev elo p m e n o f   STE M - b ased   s cien ce   lear n in g   m o d els.  T h ef f ec tiv en ess   o f   lear n in g   b ased   o n   class r o o m - b ased   s cien tific   r esear ch   in clu d es  th d ev elo p m e n s tag in   an aly zin g   th e   co n ten o f   th e   s u b ject  m atter   an d   th e   f ield   test   s tag in   in it iatin g   in n o v ativ STE M - b ased   s cien ce   lear n i n g   co n ten t.  T h co n tr ib u tio n   o f   v o ca tio n al  s ch o o in   ad v o ca ti n g   th im p o r tan ce   o f   in teg r atin g   STE ed u ca tio n   in to   cu r r icu lu m   p o licies an d   p r ep ar in g   v o ca tio n al  s ch o o g r a d u ates m u s t b r ea d y   to   wo r k   with   all  th eir   s k ills .   B ased   o n   th d ata  in   T ab le  1   a n d   T ab le   2 ,   th u s o f   r esear c h   m eth o d s   ce n ter e d   o n   r esear c h   an d   d ev el o p m e n ( R & D)   an d   s u r v e y s   b y   d e v elo p in g   in teg r ate d   STE m o d els  an d   teac h i n g   m ater ials   th at  ar e f f ec tiv i n   g r o win g   s tu d en HOT S .   Sa m p le  s ize  co n s id er atio n s   v ar y   wid ely   d ep en d in g   o n   th e   o b jectiv es  an d   d ata   an aly s is .   T h co n tr ib u tio n   o f   HOT S   in d icato r s   b ased   o n   th e   B lo o m   tax o n o m y   is   p r esen te d   in   Fig u r 6 .   Fig u r 6   s h o ws  th e   ac tiv ities   o f   d ev elo p i n g   i d ea s ,   co n n ec ti n g   d if f er e n id ea s ,   an d   f o r m u l atin g   id ea s   to   s o lv ce r tain   p r o b lem s .   Stu d en ts '   th in k in g   s k ills   will  d ev elo p   well  if   d o n in ten tio n ally .   Stu d en ts   wh o   h av e   cr ea tiv th in k in g   s k ills   will  e asil y   u n d er s tan d   th c o n ce p o f   lear n in g .   T h HOT em p o wer m en in   STE M   lear n in g   th at  is   o f f er e d   ca n   m ax im iz cr ea tiv th in k in g   p r o ce s s   s k ills   th r o u g h   p r o ce s s   o f   in q u ir y   wh ich   u ltima tely   ca n   r ea lize  m ax i m u m   cr ea tiv ity .   STE aim s   to   p r o d u ct  lear n in g   b y   in te g r atin g .   So   th at  th e   r esear ch   r ec o m m e n d atio n s   o n   th u s o f   STE liter ac y   ar v er y   im p o r tan t in   g r o win g   HO T S,  b u t th f o r m   o f   STE in teg r atio n   u s ed   h as  n o b ee n   ef f ec tiv e,   s o   in n o v ati o n   is   n ee d ed   in   th lear n i n g   m o d el  b y   e x am in in g   s tu d en HOT in d icato r s .   R ec o m m en d atio n s   h a v th e   p o ten tial  f o r   an   in teg r ated   S T E eth n o s cien ce   ap p r o ac h   c o n s id er in g   th at   th HOT asp ec in d icato r   e m p h asizes  th a b ilit y   to   th in k   th r o u g h   c o m p lex   lear n in g   r eso u r ce s .   T h e   ch ar ac ter is tics   o f   v o ca tio n al  s ch o o a p p lied   s cien ce   lear n i n g   ar e   th a s tu d en ts   lo o k   f o r   o th er   lear n i n g   r eso u r ce s   b y   e x p lo r in g   t h eir   s u r r o u n d in g s   lis ted   in   lear n in g   p h ase,   lear n in g   o u tco m es,  lear n i n g   ac tiv ities ,   m ater ial  o r   s u b ject  m atter ,   lear n in g   s tr ateg y   m eth o d s   an d   ass ess m en t te ch n iq u e s .           Fig u r 6 .   C o g n itiv p r o ce s s   d im en s io n   [ 4 ]       4.   CO NCLU SI O N   T h r esu lts   o f   th Go o g le  Sch o lar   in d ex ed   f i n d in g s   f r o m   2 0 1 6 - 2 0 2 0   b ased   o n   th in clu s io n   cr iter ia  wer o n l y   1 8   STE liter ac y   ar ticles  in   g r o win g   th e   HOT S   o f   v o ca tio n al  s tu d en ts .   T h e   STE in teg r atio n   p atter n   in   g r o win g   th g r ea test   HOT S   wa s   o b tain ed   b y   2 8 STE an d   non - STE M   liter ac y ,   2 2 STE M - PjB L   in teg r atio n ,   1 1 %,   STE M - PB L ,   6 STE M - E th n o s cien ce ,   an d   5% T ec h n o lo g ical  l iter ac y .   Mo s o f   th e   m eth o d s   u s ed   ar e   R & with   d ata  an aly s is   tech n i q u es  was   t - test .   Me an wh ile,   f o r   th e   Sc o p u s   in d ex ed   d ata,   m o s o f   th d ata  co llectio n   m eth o d s   u s ed   s u r v ey   with   lar g s am p le  s ize  o f   m o r th an   1 , 0 0 0   s am p les  with   q u alitativ an aly s is   tech n iq u e s .   B ased   o n   th two   s o u r ce s   i n d ex ed   b y   G o o g le  Sch o lar   an d   Sco p u s ,   it  s h o ws   d if f er en ce s   in   p u b licatio n   tr e n d s   o n   th in teg r atio n   p atter n ,   th n u m b er   o f   s am p les  u s ed   is   g r ea ter   in   th Sco p u s   d ata,   th m eth o d   u s ed   is   m o r d o m in an in   th s u r v ey   th an   R & D.   W h atev er   th r esear ch   d esig n   in   STE liter ac y   is ,   in   p r in ci p le,   it  ca n   em p o wer   HOT S   t o   in cr ea s lear n in g   ac ti v ities ,   th in k in g   h ab its ,   an d   s tu d en ts '   in d ep en d en ce   th r o u g h   co m p le x   lear n in g   r eso u r ce s .   T h lack   o f   STE in teg r atio n   p atter n   with   o t h er   ap p r o ac h e s   o r   m o d els  to   m ax im ize  th i n cr ea s in   HOT S   is   an   im p o r tan r ea s o n   to   b u s ed   as  r esear ch   r ec o m m en d atio n .   I n teg r ate d   ST E will  b a b le  to   f ac ilit ate  s tu d en ts   in   h ig h e r - o r d er   th in k in g   ac tiv ities   an d   eq u ip   v o ca tio n al  s ch o o l   g r a d u at es  to   b wo r k - r ea d an d   g lo b ally   co m p etitiv ac co r d in g   to   th g o als o f   STE liter ac y .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   11 ,   No .   1 Ma r ch   20 22 :   5 1 - 60   58   RE F E R E NC E S   [ 1 ]   S .   C .   S e m a n ,   W .   M .   W .   Y u so f f ,   a n d   R .   Em b o n g ,   Te a c h e r C h a l l e n g e i n   Te a c h i n g   a n d   L e a r n i n g   f o r   H i g h e r   O r d e r   Th i n k i n g   S k i l l s   ( H O TS)   i n   P r i mar y   S c h o o l ,   I n t e r n a t i o n a l   J o u r n a l   o f   As i a n   S o c i a l   S c i e n c e ,   v o l .   7 ,   n o .   7 ,   p p .   5 3 4 5 4 5 ,   2 0 1 7 ,   d o i :   1 0 . 1 8 4 8 8 / j o u r n a l . 1 . 2 0 1 7 . 7 7 . 5 3 4 . 5 4 5 .   [ 2 ]   H .   Tu r k me n   a n d   M .   S e r t k a h y a ,   C r e a t i v e   t h i n k i n g   sk i l l s a n a l y z e s o f   v o c a t i o n a l   h i g h   s c h o o l   st u d e n t s,   J o u rn a l   o f   Ed u c a t i o n a l   a n d   I n st r u c t i o n a l   S t u d i e s   i n   t h e   W o r l d ,   v o l .   5 ,   n o .   1 ,   p p .   7 4 8 4 ,   2 0 1 5 .   [ 3 ]   L.   U d o mp o n g   a n d   S .   W o n g w a n i c h ,   D i a g n o si s   o f   t h e   S c i e n t i f i c   Li t e r a c y   C h a r a c t e r i st i c s   o f   P r i mary   S t u d e n t s ,   P ro c e d i a   -   S o c i a l   a n d   Be h a v i o r a l   S c i e n c e s ,   v o l .   1 1 6 ,   p p .   5 0 9 1 5 0 9 6 ,   F e b .   2 0 1 4 ,   d o i :   1 0 . 1 0 1 6 / j . s b sp r o . 2 0 1 4 . 0 1 . 1 0 7 9 .   [ 4 ]   L.   W .   A n d e r so n   e t   a l . A   t a x o n o m y   f o l e a rn i n g ,   t e a c h i n g ,   a n d   a ssess i n g :   r e v i si o n   o f   B l o o m t a x o n o m y   o f   e d u c a t i o n a l   o b j e c t i v e s ,   a b r i d g e d   e d i t i o n .   W h i t e   P l a i n s,  N Y :   L o n g m a n ,   2 0 0 1 .   [ 5 ]   M .   Te n d r i t a ,   S .   M a h a n a l ,   a n d   S .   Zu b a i d a h ,   Emp o w e r m e n t   o f   C r e a t i v e   T h i n k i n g   S k i l l s t h r o u g h   T h i n k   P a i r   S h a r e   R e m a p   M o d e l ,   i n   Pro c e e d i n g   Bi o l o g y   Ed u c a t i o n   C o n f e re n c e ,   2 0 1 6 ,   v o l .   1 3 ,   n o .   1 ,   p p .   2 8 5 2 9 1 .   [ 6 ]   A .   La i u s ,   A .   V a l d ma n n ,   a n d   M .   R a n n i k m ä e,  A   C o m p a r i so n   o f   Tr a n sf e r a b l e   S k i l l D e v e l o p m e n t   i n   Est o n i a n   S c h o o l   B i o l o g y   a t   G y mn a si u Le v e l ,   Pro c e d i a   -   So c i a l   a n d   B e h a v i o ra l   S c i e n c e s ,   v o l .   1 7 7 ,   p p .   3 2 0 3 2 4 ,   A p r .   2 0 1 5 ,   d o i :   1 0 . 1 0 1 6 / j . sb s p r o . 2 0 1 5 . 0 2 . 3 4 9 .   [ 7 ]   D .   M .   B a r r y ,   S .   K a t s u y a ma ,   T .   T a n a k a ,   a n d   H .   K a n e ma t s u ,   B e v e r a g e   e n g i n e e r s :   C r e a t i v e   i n t e r n a t i o n a l   S TEM   p r o j e c t ,   I n t e r n a t i o n a l   J o u r n a l   o f   H u m a n i t i e s   a n d   S o c i a l   S c i e n c e s ,   v o l .   8 ,   n o .   4 ,   p p .   1 8 2 8 ,   2 0 1 6 .   [ 8 ]   K .   B e c k e r   a n d   K .   P a r k ,   Ef f e c t s   o f   i n t e g r a t i v e   a p p r o a c h e s   a m o n g   sci e n c e ,   t e c h n o l o g y ,   e n g i n e e r i n g ,   a n d   ma t h e mat i c ( S T EM )   su b j e c t s   o n   s t u d e n t s   l e a r n i n g :   A   p r e l i mi n a r y   m e t a - a n a l y si s ,   J o u r n a l   o f   S T EM   E d u c a t i o n ,   v o l .   1 2 ,   n o .   5 ,   p p .   2 3 3 7 ,   2 0 1 1 .   [ 9 ]   A .   T.   C o l l e t e   a n d   E.   L.   C h i a p p e t t a ,   S c i e n c e   I n s t ru c t i o n   i n   t h e   m i d d l e   a n d   se c o n d a r y   sc h o o l ,   3 r d   e d .   N e w   Y o r k :   M e r r i l ,   1 9 9 4 .   [ 1 0 ]   Y .   M .   H e o n g ,   J .   M .   Y u n o s,   W .   O t h m a n ,   R .   H a ss a n ,   T.   T.   K i o n g ,   a n d   M .   M .   M o h a m a d ,   T h e   N e e d A n a l y s i s   o f   Le a r n i n g   H i g h e r   O r d e r   Th i n k i n g   S k i l l f o r   G e n e r a t i n g   I d e a s,   Pr o c e d i a   -   S o c i a l   a n d   B e h a v i o r a l   S c i e n c e s ,   v o l .   5 9 ,   p p .   1 9 7 2 0 3 ,   O c t .   2 0 1 2 ,   d o i :   1 0 . 1 0 1 6 / j . sb s p r o . 2 0 1 2 . 0 9 . 2 6 5 .   [ 1 1 ]   A .   K h o i r i ,   M e t a   A n a l y s i s   S t u d y :   Ef f e c t   o f   S T EM   ( S c i e n c e   Te c h n o l o g y   En g i n e e r i n g   a n d   M a t h e m a t i c )   t o w a r d A c h i e v e me n t ,   Fo rm a t i f :   J u r n a l   I l m i a h   Pe n d i d i k a n   MIPA ,   v o l .   9 ,   n o .   1 ,   p p .   7 1 8 2 ,   2 0 1 9 ,   d o i :   1 0 . 3 0 9 9 8 / f o r mat i f . v 9 i 1 . 2 9 3 7 .   [ 1 2 ]   G .   K n e z e k ,   R .   C h r i s t e n se n ,   T.   T y l e r - W o o d ,   a n d   D .   G i b s o n ,   G e n d e r   D i f f e r e n c e i n   C o n c e p t u a l i z a t i o n s   o f   S TE M   C a r e e r   I n t e r e st :   C o m p l e me n t a r y   P e r sp e c t i v e f r o D a t a   M i n i n g ,   M u l t i v a r i a t e   D a t a   A n a l y si a n d   M u l t i d i m e n si o n a l   S c a l i n g ,   J o u r n a l   o f   S T E M   Ed u c a t i o n :   I n n o v a t i o n s   a n d   R e se a rc h ,   v o l .   1 6 ,   n o .   4 ,   p p .   1 3 1 9 ,   2 0 1 5 .   [ 1 3 ]   M .   D i x o n - W o o d s ,   S y st e ma t i c   r e v i e w a n d   q u a l i t a t i v e   met h o d s ,   i n   Q u a l i t a t i v e   rese a r c h :   t h e o r y ,   m e t h o d   a n d   p ra c t i c e ,   3 r d   e d . ,   D .   S i l v e r m a n ,   E d .   L o n d o n :   S a g e ,   2 0 1 1 .   [ 1 4 ]   R .   H .   A n i   M i n a r n i ,   E.   El v i s   N a p i t u p u l u ,   T h e   Ef f e c t   O f   Le a r n i n g   M a t e r i a l B a se d   O n   J o y f u l   P r o b l e B a se d   L e a r n i n g   To w a r d s   S t u d e n t s   M a t h e mat i c a l   U n d e r s t a n d i n g   A b i l i t y ,   Pro c e e d i n g o f   T h e   Fi r st   A n n u a l   I n t e r n a t i o n a l   S e m i n a o n   T ra n sf o rm a t i v e   Ed u c a t i o n   a n d   E d u c a t i o n a l   L e a d e rs h i p   ( AI S T EEL  2 0 1 6 ) ,   2 0 1 6 .   [ 1 5 ]   I .   H a san ,   C o n t e x t u a l   V i d e o :   C r i t i c a l   T h i n k i n g - B a s e d   L e a r n i n g   M e d i a   i n   Th e   I mp l e me n t a t i o n   o f   C u r r i c u l u 2 0 1 3 ,   D i n a m i k a   Pe n d i d i k a n ,   v o l .   1 2 ,   n o .   2 ,   p p .   1 3 6 1 4 7 ,   2 0 1 8 ,   d o i :   1 0 . 1 5 2 9 4 / d p . v 1 2 i 2 . 1 3 5 6 2 .   [ 1 6 ]   T.   N .   U t a m i ,   A .   J a t mi k o ,   a n d   S .   S u h e r man ,   D e v e l o p m e n t   o f   M a t h e m a t i c M o d u l e w i t h   S c i e n c e ,   Te c h n o l o g y ,   En g i n e e r i n g ,   a n d   M a t h e ma t i c ( S TE M )   A p p r o a c h e s   o n   Q u a d r i l a t e r a l   ( i n   I n d o n e si a n ) ,   D e s i m a l :   J u r n a l   Ma t e m a t i k a ,   v o l .   1 ,   n o .   2 ,   p .   1 6 5 ,   2 0 1 8 ,   d o i :   1 0 . 2 4 0 4 2 / d j m . v 1 i 2 . 2 3 8 8 .   [ 1 7 ]   O .   F .   N u g r o h o ,   A .   P e r ma n a s a r i ,   a n d   H .   F i r m a n ,   T h e   mo v e me n t   o f   st e m   e d u c a t i o n   i n   I n d o n e s i a :   S c i e n c e   t e a c h e r s   p e r s p e c t i v e s,   J u r n a l   Pe n d i d i k a n   I PA   I n d o n e si a ,   v o l .   8 ,   n o .   3 ,   p p .   4 1 7 4 2 5 ,   2 0 1 9 ,   d o i :   1 0 . 1 5 2 9 4 / j p i i . v 8 i 3 . 1 9 2 5 2 .   [ 1 8 ]   S .   W .   W i d y a n i n g si h ,   N .   K o m a r i a h ,   M .   M u j a sam ,   a n d   I .   Y u su f ,   T h e   e f f e c t   o f   a p p l y i n g   P B w i t h   o f   G o o g l e   C l a s sr o o o n   H O TS,   mo t i v a t i o n   a n d   st u d e n t s   i n t e r e s t ( i n   I n d o n e s i a n ) ,   S i l a m p a r i   J u r n a l   P e n d i d i k a n   I l m u   Fi s i k a ,   v o l .   1 ,   n o .   2 ,   p p .   1 0 2 1 1 3 ,   D e c .   2 0 1 9 ,   d o i :   1 0 . 3 1 5 4 0 / s j p i f . v 1 i 2 . 7 8 8 .   [ 1 9 ]   R .   R e k s i a n a ,   Th e   d e s c r i p t i o n   o f   H i g h e r   O r d e r   Th i n g k i n g   S k i l l   ( H O TS)   i n   t h e   Le a r n i n g   P r o c e ss  C u r r i c u l u m   ( S y l l a b u a n d   R P S )   K K N I   i n   S u b j e c t   ( j u n i o r   h i g h   sc h o o l   P A I )   i n   I I Q   Jak a r t a   ( i n   I n d o n e s i a n ) ,   Pro c e e d i n g   A n n u a l   C o n f e re n c e   o n   I sl a m i c   Ed u c a t i o n v o l .   1 ,   n o .   1 ,   p p .   6 6 9 3 ,   2 0 1 9 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a c i e d . p p - p a i i n d o n e si a . o r g / i n d e x . p h p / a c i e d / a r t i c l e / v i e w / 8 .   [ 2 0 ]   K a r n u r i ma n ,   H a r y o n o ,   a n d   S .   W a r d a n i ,   D e v e l o p me n t   o f   S TE M   W o r k e r B a se d   o n   S TE M   t o   O p t i m i z e   C u r r i c u l u 2 0 1 3   I mp l e me n t a t i o n ,   I n n o v a t i v e   J o u rn a l   o f   C u rri c u l u m   a n d   E d u c a t i o n a l   T e c h n o l o g y ,   v o l .   8 ,   n o .   2 ,   p p .   7 4 7 7 ,   2 0 1 9 .   [ 2 1 ]   H .   H u sa ma h ,   A .   M .   H u d h a ,   a n d   Z.   A .   P u t r i ,   H O TS - a u t h e n t i c   a sses sme n t   mo d e l   i m p l e me n t a t i o n   o f   t i ss u e   st r u c t u r e   ma t e r i a l s   i n   h i g h   sc h o o l   o f   M a l a n g :   A   p r e - v a l i d a t i o n   f i n a l   d r a f t ,   Pr i sm a   S a i n s :   J u r n a l   Pe n g k a j i a n   I l m u   d a n   P e m b e l a j a ra n   Ma t e m a t i k a   d a n   I PA  I K I M a t a ra m ,   v o l .   7 ,   n o .   2 ,   p p .   1 1 3 1 2 5 ,   2 0 1 9 ,   d o i :   1 0 . 3 3 3 9 4 / j - p s. v 7 i 2 . 1 9 9 7 .   [ 2 2 ]   Q .   A g u ss u r y a n i ,   W .   S u m a r n i ,   B .   S u b a l i ,   a n d   S .   S a p t o n o ,   I mp l e m e n t a t i o n   o f   S TEM   I n t e g r a t e d   E t h n o sc i e n c e - b a se d   V o c a t i o n a l   S c i e n c e   Le a r n i n g   i n   F o st e r i n g   S t u d e n t   H i g h e r   O r d e r   T h i n k i n g   S k i l l s (H O Ts ),   I n t e r n a t i o n a l   J o u rn a l   o f   Ac t i v e   L e a r n i n g ,   v o l .   5 ,   n o .   2 ,   p p .   5 3 6 1 ,   2 0 2 0 .   [ 2 3 ]   U .   B .   H a r u n ,   P r o j e c t - B a se d   Le a r n i n g   I n t e g r a t e d   To   S t e m   ( S TE M - P j B L)   T o   En h a n c e   A r a b i c   Le a r n i n g   H O Ts - B a se d ,   Al - Bi d a y a h :   J u r n a l   P e n d i d i k a n   D a s a r   I sl a m ,   v o l .   1 2 ,   n o .   1 ,   p p .   1 3 9 1 5 0 ,   2 0 2 0 ,   d o i :   1 0 . 1 4 4 2 1 / a l - b i d a y a h . v 1 2 i 1 . 2 3 0 .   [ 2 4 ]   N .   H .   A st u t i ,   A .   R u s i l o w a t i ,   a n d   B .   S u b a l i ,   S TE M - B a s e d   Le a r n i n g   A n a l y si t o   I mp r o v e   S t u d e n t s   P r o b l e S o l v i n g   A b i l i t i e i n   S c i e n c e   S u b j e c t :   a   L i t e r a t u r e   R e v i e w ,   J o u rn a l   o f   I n n o v a t i v e   S c i e n c e   Ed u c a t i o n ,   v o l .   9 ,   n o .   3 ,   p p .   7 9 8 6 ,   2 0 2 0 ,   d o i :   1 0 . 1 5 2 9 4 / j i s e . v 9 i 2 . 3 8 5 0 5 .   [ 2 5 ]   D .   A .   R o k h i m,   A .   B .   S y a f r u d d i n ,   a n d   H .   R .   W i d a r t i ,   A n a l y si s   o f   N e e d   f o r   T e a c h i n g   M a t e r i a l s   B a se d   S TE M - P j B L   A ssi s t e d ,   U m si d a   J o u rn a l ,   v o l .   9 ,   n o .   2 ,   p p .   1 9 9 2 1 0 ,   2 0 2 0 ,   d o i :   1 0 . 2 1 0 7 0 / p e d a g o g i a . v 9 i 2 . 7 .   [ 2 6 ]   N .   A p r i y a n t i ,   F .   C i a n d a ,   a n d   A .   B u r h e n d i ,   A n a l y s i s   o f   t h e   N e e d o f   H i g h e r   O r d e r   T h i n k i n g   S k i l l s   ( H O TS)   u si n g   A   F o u r   T i e r   Ty p e   Te s t   D i a g n o st i c   I n st r u m e n t   i n   L e a r n i n g   P h y s i c s,   i n   T h e   2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o f   Ed u c a t i o n   o n   S c i e n c e ,   T e c h n o l o g y ,   E n g i n e e r i n g ,   a n d   M a t h e m a t i c s (I C E - S T E M ,   2 0 2 0 ,   p p .   131 1 3 5 .   [ 2 7 ]   D .   Tr i a n a ,   Y .   U .   A n g g r a i t o ,   a n d   S .   R i d l o ,   Ef f e c t i v e n e ss  o f   E n v i r o n m e n t a l   C h a n g e   Le a r n i n g   T o o l B a s e d   o n   S T EM - P j B L   To w a r d 4 C   S k i l l o f   S t u d e n t s,   J o u r n a l   o f   I n n o v a t i v e   S c i e n c e   Ed u c a t i o n ,   v o l .   9 ,   n o .   3 7 ,   p p .   2 4 4 2 4 9 ,   2 0 2 0 .   [ 2 8 ]   Y .   R .   Li a n a ,   S .   Li n u w i h ,   a n d   S .   S u l h a d i ,   P r o b l e m - B a se d   Le a r n i n g   S u p p o r t e d   w i t h   E x p e r i me n t   M e d i a   B a s e d   o n   t h e   I n t e r n e t   o f   Th i n g s   t o   En h a n c e   t h e   S t u d e n t s   H O TS   A b i l i t y ,   S c i e n t i a e   Ed u c a t i a ,   v o l .   9 ,   n o .   1 ,   p .   4 0 ,   2 0 2 0 ,   d o i :   1 0 . 2 4 2 3 5 / sc. e d u c a t i a . v 9 i 1 . 6 4 5 2 .   [ 2 9 ]   L.   I n d r a w a t i ,   H i g h e r   O r d e r   T h i n k i n g   S k i l l s   i n   I n t e g r a t e d   P r o j e c t - B a s e d   Le a r n i n g   S c i e n c e   Te c h n o l o g y   E n g i n e e r i n g   A n d   M a t h e ma t i c ( i n   I n d o n e si a n ) ,   J u rn a l   Pe n d i d i k a n   d a n   Pe m b e l a j a r a n   K h a t u l i s t i w a ,   v o l .   9 ,   n o .   7 ,   p p .   1 1 4 ,   2 0 2 0 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / j u r n a l . u n t a n . a c . i d / i n d e x . p h p / j p d p b / a r t i c l e / v i e w / 4 1 4 9 1 .   [ 3 0 ]   A .   N .   W a r d a n i   a n d   M .   I b r a h i m ,   C h a r a c t e r i s t i c o f   H i g h e r   O r d e r   T h i n k i n g   S k i l l ( H O TS)   Q u e s t i o n o n   t h e   I mp a c t   o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       S TEM  liter a cy   in   g r o w in g   vo ca tio n a l sch o o l stu d en HOTS   i n   s cien ce   lea r n in g   …  ( Qo r i A g u s s u r ya n i )   59   P sy c h o t r o p i c   A b u s e   f o r   H i g h   S c h o o l ( i n   I n d o n e s i a n ) ,   Bi o E d u :   Be rk a l a   I l m i a h   P e n d i d i k a n   Bi o l o g i ,   v o l .   9 ,   n o .   1 ,   p p .   6 0 6 4 ,   2 0 2 0 .   [ 3 1 ]   N .   N a d h i r o h   a n d   S .   La t i f a h ,   H i g h e r   O r d e r   T h i n k i n g   S k i l l s   ( H O TS) - B a se d   S t u d e n t s   W o r k s h e e t s   i n   Th e r mo d y n a mi c s   M a t e r i a l s ,   I n d o n e si a n   J o u r n a l   o f   S c i e n c e   a n d   M a t h e m a t i c Ed u c a t i o n ,   v o l .   3 ,   n o .   1 ,   p p .   8 7 9 5 ,   2 0 2 0 ,   d o i :   1 0 . 2 4 0 4 2 / i j sme . v 3 i 1 . 6 0 8 2 .   [ 3 2 ]   P .   P i m t h o n g   a n d   J.   W i l l i a ms,   P r e s e r v i c e   t e a c h e r s   u n d e r s t a n d i n g   o f   S T EM   e d u c a t i o n ,   K a set sa r t   J o u r n a l   o f   S o c i a l   S c i e n c e s   v o l .   4 1 ,   n o .   2 ,   p p .   2 8 9 2 9 5 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . k j ss . 2 0 1 8 . 0 7 . 0 1 7 .   [ 3 3 ]   L.   T h i b a u t ,   H .   K n i p p r a t h ,   W .   D e h a e n e ,   a n d   F .   D e p a e p e ,   Th e   i n f l u e n c e   o f   t e a c h e r s   a t t i t u d e a n d   s c h o o l   c o n t e x t   o n   i n st r u c t i o n a l   p r a c t i c e s   i n   i n t e g r a t e d   S TE M   e d u c a t i o n ,   T e a c h i n g   a n d   T e a c h e r   Ed u c a t i o n ,   v o l .   7 1 ,   p p .   1 9 0 2 0 5 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . t a t e . 2 0 1 7 . 1 2 . 0 1 4 .   [ 3 4 ]   M .   H o r v a t h ,   J.  E.   G o o d e l l ,   a n d   V .   D .   K o s t e a s ,   D e c i si o n t o   e n t e r   a n d   c o n t i n u e   i n   t h e   t e a c h i n g   p r o f e ss i o n :   Ev i d e n c e   f r o a   samp l e   o f   U . S .   s e c o n d a r y   S TE M   t e a c h e r   c a n d i d a t e s ,   T e a c h i n g   a n d   T e a c h e Ed u c a t i o n ,   v o l .   7 1 ,   p p .   5 7 6 5 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . t a t e . 2 0 1 7 . 1 2 . 0 0 7 .   [ 3 5 ]   M .   G i a m e l l a r o   a n d   D .   R .   S i e g e l ,   C o a c h i n g   t e a c h e r s   t o   i mp l e m e n t   i n n o v a t i o n i n   S TE M ,   T e a c h i n g   a n d   T e a c h e E d u c a t i o n   v o l .   7 6 ,   p p .   2 5 3 8 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . t a t e . 2 0 1 8 . 0 8 . 0 0 2 .   [ 3 6 ]   R .   E .   B r o w n   a n d   C .   A .   B o g i a g e s ,   P r o f e ssi o n a l   D e v e l o p me n t   T h r o u g h   S T EM   I n t e g r a t i o n :   H o w   Ea r l y   C a r e e r   M a t h   a n d   S c i e n c e   Te a c h e r R e s p o n d   t o   Ex p e r i e n c i n g   I n t e g r a t e d   S TE M   Ta s k s,   I n t e rn a t i o n a l   J o u r n a l   o f   S c i e n c e   a n d   M a t h e m a t i c s   E d u c a t i o n   v o l .   1 7 ,   n o .   1 ,   p p .   1 1 1 1 2 8 ,   2 0 1 7 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 7 6 3 - 0 1 7 - 9 8 6 3 - x.   [ 3 7 ]   D .   L.   C a r l i s l e   a n d   G .   C .   W e a v e r ,   S TEM   e d u c a t i o n   c e n t e r s :   c a t a l y z i n g   t h e   i m p r o v e m e n t   o f   u n d e r g r a d u a t e   S TEM   e d u c a t i o n ,   I n t e r n a t i o n a l   J o u r n a l   o f   S T EM   Ed u c a t i o n ,   v o l .   5 ,   n o .   1 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 0 1 8 - 0 1 4 3 - 2.   [ 3 8 ]   L.   D .   E n g l i s h ,   S TE M   e d u c a t i o n   K - 1 2 :   p e r sp e c t i v e o n   i n t e g r a t i o n ,   I n t e rn a t i o n a l   J o u rn a l   o f   S T E E d u c a t i o n ,   v o l .   3 ,   n o .   1 ,     p p .   1 8 ,   2 0 1 6 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 9 4 - 0 1 6 - 0 0 3 6 - 1.   [ 3 9 ]   T.   R .   K e l l e y   a n d   J.   G .   K n o w l e s,  A   c o n c e p t u a l   f r a mew o r k   f o r   i n t e g r a t e d   S TE M   e d u c a t i o n ,   I n t e r n a t i o n a l   J o u r n a l   o f   S T E M   Ed u c a t i o n ,   v o l .   3 ,   n o .   1 ,   2 0 1 6 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 016 - 0 0 4 6 - z.   [ 4 0 ]   J.  A p p i a n i n g   a n d   R .   N .   V a n   Ec k ,   D e v e l o p me n t   a n d   v a l i d a t i o n   o f   t h e   V a l u e - Ex p e c t a n c y   S TE M   A ssessm e n t   S c a l e   f o r   s t u d e n t s   i n   h i g h e r   e d u c a t i o n ,   I n t e r n a t i o n a l   J o u r n a l   o f   S T E Ed u c a t i o n ,   v o l .   5 ,   n o .   1 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 0 1 8 - 0 1 2 1 - 8.   [ 4 1 ]   T.   D .   H o l ml u n d ,   K .   Le ss e i g ,   a n d   D .   S l a v i t ,   M a k i n g   s e n s e   o f   S TE M   e d u c a t i o n   i n   K - 1 2   c o n t e x t s,   I n t e r n a t i o n a l   J o u rn a l   o f   S T EM   E d u c a t i o n ,   v o l .   5 ,   n o .   1 ,   p .   3 2 ,   D e c .   2 0 1 8 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 9 4 - 0 1 8 - 0 1 2 7 - 2.   [ 4 2 ]   M .   El   N a g d i ,   F .   Le a mm u k d a ,   a n d   G .   R o e h r i g ,   D e v e l o p i n g   i d e n t i t i e o f   S T EM   t e a c h e r s   a t   e m e r g i n g   S TEM   sc h o o l s,   I n t e r n a t i o n a l   J o u r n a l   o f   S T EM   Ed u c a t i o n ,   v o l .   5 ,   n o .   1 ,   p p .   1 1 3 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 018 - 0 1 3 6 - 1.   [ 4 3 ]   X .   W u ,   J.  D e s h l e r ,   a n d   E.   F u l l e r ,   T h e   e f f e c t o f   d i f f e r e n t   v e r s i o n o f   a   g a t e w a y   S TE M   c o u r s e   o n   s t u d e n t   a t t i t u d e a n d   b e l i e f s,   I n t e r n a t i o n a l   J o u r n a l   o f   S T EM   Ed u c a t i o n ,   v o l .   5 ,   n o .   1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 0 1 8 - 0 1 4 1 - 4.   [ 4 4 ]   K .   R a i n e y ,   M .   D a n c y ,   R .   M i c k e l s o n ,   E .   S t e a r n s ,   a n d   S .   M o l l e r ,   R a c e   a n d   g e n d e r   d i f f e r e n c e s   i n   h o w   s e n se  o f   b e l o n g i n g   i n f l u e n c e d e c i si o n s t o   m a j o r   i n   S TE M ,   I n t e r n a t i o n a l   J o u r n a l   o f   S T E E d u c a t i o n ,   v o l .   5 ,   n o .   1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 9 4 - 0 1 8 - 0 1 1 5 - 6.   [ 4 5 ]   V .   S e y r a n i a n ,   A .   M a d v a ,   N .   D u o n g ,   N .   A b r a mz o n ,   Y .   T i b b e t t s ,   a n d   J .   M .   H a r a c k i e w i c z ,   T h e   l o n g i t u d i n a l   e f f e c t o f   S TE M   i d e n t i t y   a n d   g e n d e r   o n   f l o u r i sh i n g   a n d   a c h i e v e m e n t   i n   c o l l e g e   p h y s i c s ,   I n t e r n a t i o n a l   J o u rn a l   o f   S T EM   E d u c a t i o n ,   v o l .   5 ,   n o .   1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s4 0 5 9 4 - 0 1 8 - 0 1 3 7 - 0.   [ 4 6 ]   K .   A .   B l o t n i c k y ,   T .   F r a n z - O d e n d a a l ,   F .   F r e n c h ,   a n d   P .   J o y ,   A   st u d y   o f   t h e   c o r r e l a t i o n   b e t w e e n   S TE M   c a r e e r   k n o w l e d g e ,   mat h e m a t i c s e l f - e f f i c a c y ,   c a r e e r   i n t e r e st s ,   a n d   c a r e e r   a c t i v i t i e o n   t h e   l i k e l i h o o d   o f   p u r s u i n g   a   S TE M   c a r e e r   a mo n g   m i d d l e   sch o o l   s t u d e n t s,   I n t e r n a t i o n a l   J o u r n a l   o f   S T EM   E d u c a t i o n ,   v o l .   5 ,   n o .   1 ,   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s 4 0 5 9 4 - 0 1 8 - 0 1 1 8 - 3.   [ 4 7 ]   R .   J a g a n n a t h a n ,   M .   J .   C a m a ss o ,   a n d   M .   D e l a c a l l e ,   P r o m o t i n g   c o g n i t i v e   a n d   s o f t   sk i l l a c q u i si t i o n   i n   a   d i s a d v a n t a g e d   p u b l i c   sch o o l   sy st e m:   E v i d e n c e   f r o m   t h e   N u r t u r e   t h r u   N a t u r e   r a n d o mi z e d   e x p e r i m e n t ,   Ec o n o m i c s   o f   E d u c a t i o n   Re v i e w ,   v o l .   7 0 ,     n o .   J u l y   2 0 1 8 ,   p p .   1 7 3 1 9 1 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . e c o n e d u r e v . 2 0 1 9 . 0 4 . 0 0 5 .   [ 4 8 ]   A b d u r r a h ma n ,   D e v e l o p i n g   S T EM   L e a r n i n g   M a k e r sp a c e   f o r   F o s t e r i n g   S t u d e n t 2 1 st   C e n t u r y   S k i l l s   i n   T h e   F o u r t h   I n d u st r i a l   R e v o l u t i o n   Er a ,   J o u r n a l   o f   P h y s i c s:   C o n f e r e n c e   S e r i e s ,   v o l .   1 1 5 5 ,   n o .   1 ,   p .   0 1 2 0 0 2 ,   F e b .   2 0 1 9 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 1 5 5 / 1 / 0 1 2 0 0 2 .   [ 4 9 ]   T.   S r i ma d h a v e n ,   A .   V .   C h r i Ju n n i ,   N .   H a r sh i t h ,   S .   Jes se n t h   E b e n e z e r ,   S .   S h a b a r i   G i r i s h ,   a n d   M .   P r i y a a d h a r s h i n i ,   L e a r n i n g   a n a l y t i c s :   V i r t u a l   r e a l i t y   f o r   p r o g r a m mi n g   c o u r se   i n   h i g h e r   e d u c a t i o n ,   Pr o c e d i a   C o m p u t e S c i e n c e ,   v o l .   1 7 2 ,   n o .   2 0 1 9 ,   p p .   4 3 3 4 3 7 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 2 0 . 0 5 . 0 9 5 .   [ 5 0 ]   N .   K h a i r u d d i n ,   A   M e t a - A n a l y s i s   o n   D e v e l o p i n g   Ef f e c t i v e   H o t Q u e s t i o n i n g   S k i l l f o r   S t e Te a c h e r i n   M a l a y si a ,   I n t e r n a t i o n a l   J o u r n a l   o f   Ps y c h o s o c i a l   Re h a b i l i t a t i o n ,   v o l .   2 4 ,   n o .   5 ,   p p .   5 3 4 6 5 3 5 8 ,   2 0 2 0 ,   d o i :   1 0 . 3 7 2 0 0 / i j p r / v 2 4 i 5 / p r 2 0 2 0 2 4 1 .   [ 5 1 ]   P .   R a j a ,   A b d u r r a h ma n ,   a n d   A .   B .   S e t i y a d i ,   E x p l o r i n g   T e a c h e r P e d a g o g i c a l   C o n t e n t   K n o w l e d g e   I mp r o v e m e n t :   T h e   O p p o r t u n i t y   a n d   C h a l l e n g i n g   o f   I n t e g r a t e d   S T EM   L e a r n i n g   A p p r o a c h   f o r   N o n - S TE M   M a j o r s,   J o u rn a l   o f   P h y si c s:   C o n f e r e n c e   S e r i e s ,   v o l .   1 4 6 7 ,   n o .   1 ,   2 0 2 0 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 4 6 7 / 1 / 0 1 2 0 7 0 .   [ 5 2 ]   W .   S u mar n i ,   S u d a r m i n ,   W i y a n t o ,   a n d   S u p a r t o n o ,   Th e   r e c o n s t r u c t i o n   o f   s o c i e t y   i n d i g e n o u sci e n c e   i n t o   s c i e n t i f i c   k n o w l e d g e   i n   t h e   p r o d u c t i o n   p r o c e ss  o f   p a l s u g a r ,   J o u rn a l   o f   T u rk i sh   S c i e n c e   E d u c a t i o n ,   v o l .   1 3 ,   n o .   4 ,   p p .   2 8 1 2 9 2 ,   2 0 1 6 ,   d o i :   1 0 . 1 2 9 7 3 / t u se d . 1 0 1 8 5 a .       B I O G RAP H I E S O F   AUTH O RS       Q o r Ag u ss u r y a n i           is  a   stu d e n o t h e   m a ste r' p ro g ra m   in   s c ien c e   e d u c a ti o n ,   Un iv e rsitas   Ne g e ri  S e m a ra n g   a n d   n o wo rk a a   sc ien c e   a n d   p h y sic tea c h e a th e   S M K   Tak h a ss u Al - Qu r' a n   Wo n o so b o ,   Ce n tral  Ja v a ,   In d o n e sia He r   re se a rc h   is  th e   d e v e lo p m e n o sc ien c e   tea c h in g   m a t e rials,  S TE M - b a se d   in teg ra ted   e th n o sc ien c e - b a se d   m o d u les ,   stu d e n t   HO Ts.   Sh e   c a n   b e   c o n tac ted   a t   e m a il c o rries u ry a n i@st u d e n ts.u n n e s.a c . id .       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   11 ,   No .   1 Ma r ch   20 22 :   5 1 - 60   60     S u d a r m in           is  a   P ro fe ss o r   a t   th e   F a c u lt y   o f   M a th e m a ti c &   Na tu ra S c ien c e s,   Un iv e rsitas   Ne g e ri  S e m a ra n g .   He   wa a p p o i n ted   lec tu re in   th e   u n i v e rsity   in   1 9 9 1 .   He   is   p a ss io n a te  a b o u ra isi n g   t h e   q u a li ty   o f   tea c h in g   a n d   lea rn in g   o f   stu d e n ts  a n d   th e ir   d e v e lo p m e n t   in   t h e   sc h o o ls  a n d   in   th e   h i g h e r   e d u c a ti o n   se tt i n g s.   His   re se a rc h   fo c u se o n   c h e m istry /sc ien c e   e d u c a ti o n ,   2 1 st  Ce n tu r y   tea c h in g   a n d   lea rn in g ,   e th n o sc ien c e ,   S TE M   e d u c a ti o n ,   in q u iry - b a se d   lea rn in g ,   a n d   e n trep re n e u rsh i p .   H e   c a n   b e   c o n tac ted   a t   e m a il su d a r m in @m a il . u n n e s.a c . id .         Wo r o   S u m a r n i           is  an   As so c iate d   P ro fe ss o a th e   F a c u lt y   o M a th e m a ti c &   Na tu ra S c ien c e s,  Un iv e rsitas   Ne g e ri  S e m a ra n g .   S h e   wa s a p p o i n te d   lec tu re in   th e   u n i v e rsity   i n   1 9 9 3 .   S h e   is   p a ss io n a te  a b o u t   ra i sin g   th e   q u a li ty   o tea c h i n g   a n d   l e a rn in g   o f   stu d e n ts   a n d   t h e ir   d e v e lo p m e n in   th e   sc h o o ls  a n d   i n   th e   h ig h e e d u c a ti o n   se tt i n g s.   He r   re se a r c h   in tere sts  li e   in   th e   tea c h e a n d   tea c h e e d u c a ti o n ,   c h e m istry /sc ien c e   e d u c a ti o n ,   sc ien ti fic  li tera c y ,   p ro jec t - b a se d   lea rn in g ,   e th n o sc ien c e ,   S TE M   e d u c a ti o n ,   2 1 st   Ce n t u ry   t e a c h in g   a n d   lea rn in g ,   a n d   c las sro o m   a c ti o n   re se a rc h .   S h e   c a n   b e   c o n tac ted   a e m a il wo r o su m a rn i@m a il . u n n e s.a c . id .         Ed y   Ca h y o n o           is  a   P ro fe ss o r   o Org a n ic  Ch e m istry   in   De p a rtme n o C h e m istry   Un iv e rsitas   Ne g e ri  S e m a ra n g .   Re se a rc h   field   in   iso latio n ,   tran sfo rm a ti o n ,   a n d   d iv e rsifica ti o n   p ro d u c o I n d o n e sia n   e ss e n ti a o il .   S tu d y   o c a taly ti c   tran sfo rm a ti o n ,   k in e ti c   a n d   m e c h a n ism   re a c ti o n   o e ss e n ti a o il   c o m p o u n d wa d o n e   a n d   p u b l ish e d .   He   a lso   in tere ste d   in   stu d y   o c h e m istry   e d u c a ti o n   i n n o v a ti o n   t o   imp ro v e   st u d e n m u lt i   re p re se n tatio n   a b il it y   a n d   d e v e lo p m e n o c o m p u tati o n a b a se d   tea c h in g   m e d ia .   His  e m a il   a d d re ss e d k im@ m a il . u n n e s . a c . id .         Ell ia n a wa ti           wo rk s   a a n   a ss istan p r o fe ss o De p a rtme n o P h y sic s,  Un iv e rsitas   Ne g e ri  S e m a ra n g ,   Ce n tral  Ja v a ,   In d o n e sia .   S h e   h a 1 6   y e a rs  o f   tea c h in g   a n d   re se a rc h   e x p e rien c e .   He a re a o s p e c ializa ti o n   a re   t h e   d e v e lo p m e n t   o p h y sic lea rn in g   m e d ia,   th in k in g   sk il ls,  p h y sic lea rn in g   fo v o c a ti o n a sc h o o ls  a n d   f o c h i ld re n   with   s p e c ial  n e e d s,  a we ll   a c h a ra c ter  b u il d in g   t h ro u g h   sc ien c e   lea rn in g .   Re se a rc h   in tere sts  in c lu d e   2 1 st - c e n tu r y   lea rn in g   a n d   p re p a ri n g   l ife sk il ls f o th e   y o u n g e r   g e n e ra ti o n .   e ll ian a wa ti @m a il . u n n e s.a c . id .     Evaluation Warning : The document was created with Spire.PDF for Python.