I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in Ed uca t io n ( I J E RE )   Vo l.   9 ,   No .   3 Sep tem b er   2020 ,   p p .   594 ~ 599   I SS N:  2 2 5 2 - 8822 DOI : 1 0 . 1 1 5 9 1 / i j er e . v9 i 3 . 2 0 4 9 1       594       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Pre - serv ic e t ea c h ers’ applica tion  of unde rsta nding  b y  desig n in  less o n plan ning       Rica rdo   L u m b re ra s ,   J r. 1 ,   Willi a m   H .   Rupl ey 2   1 De p a rt m e n o f   Cu rricu l u m   a n d   In stru c ti o n ,   T a rleto n   S tate   Un iv e rs it y ,   Un it e d   S tate s   2 De p a rt m e n o f   T e a c h in g ,   L e a rn in g ,   a n d   C u lt u re ,   T e x a A & M   Un iv e rsit y ,   Un it e d   S tate       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   J an   2 1 ,   2 0 2 0   R ev i s ed   A p r   1 3 ,   2 0 2 0   A cc ep ted   J u l   15 ,   2 0 2 0       T h is  stu d y   f o c u se d   o n   p re se rv ice   se c o n d a ry   tea c h e r’s  u s e   o f   th e   Un d e rsta n d i n g   b y   D e sig n   (Ub D ),   f ra m e w o rk   to   c re a te  e ffe c ti v e ,   e n g a g in g   les so n f o th e ir  f u tu re   se c o n d a ry   lev e stu d e n ts.  T h e   su b jec ts  c o n siste d   o f   6 9   se c o n d a ry   p re - se rv ice   se c o n d a ry   e d u c a ti o n   m a jo rs  a a   T e x a Un iv e rsit y   w h o   w e r e   e n ro ll e d   i n   a   re q u ire d   c o u r se   f o a d m issio n   in t o   t h e   tea c h e e d u c a ti o n   p ro g ra m .   P re - p o sttes su rv e y o f   les so n   k n o w led g e   d e sig n   w e re   a d m in istere d   to   a ll   s u b jec ts.  C o m p a rin g   p re -   p o sttes re su lt s   re v e a led   th a k n o w led g e   o les so n   d e sig n   s h o w e d   im p ro v e m e n a n d   k n o w led g e   g a in   in   t h e   f o ll o w in g   a re a s:  c o n c e p ts  a n d   v o c a b u lary u n p a c k in g   sta n d a rd s;   u se   o f   v e rb f ro m   th e   sta n d a rd s;  rig o r;  c o n ten o b jec ti v e s;  f o r m a ti v e   a ss e ss m e n a n d   su m m a ti v e   a ss e ss m e n t.   T h e   a n a l y se m a d e   u se   o f   d e sc rip ti v e   sta ti stics   a n d   d e s c rip ti o n s.   K ey w o r d s :   B ac k w ar d   d esi g n   E f f ec tiv teac h i n g   L es s o n   d esi g n   P r eser v ice  teac h i n g   lear n in g   Stu d e n t a ch ie v e m en   Un d er s ta n d in g   b y   d esi g n   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R icar d o   L u m b r er as,  J r . ,     Dep ar t m en t o f   C u r r icu l u m   an d   I n s tr u ctio n ,   T ar leto n   State  Un iv er s it y ,   1 3 3 3   W .   W ash in g to n ,   Step h e n v ille,  T 7 6 4 0 2 ,   Un ited   States .   E m ail: l u m b r er as @ tar leto n . ed u       1.   I NT RO D UCT I O N   Mu ltip le  r esear c h er s   [1 - 3]   h av e   r ep o r ted   th at  K - 1 2   ed u ca to r s   w h o   h a v r ec ei v ed   ex te n s i v e     an d   s y s te m atic  teac h er   tr ai n i n g   a n d   s u p p o r ar o f ten   r e ce iv i n g   th at  tr ain i n g   f r o m   i n s tr u cto r s   i n   h ig h er   ed u ca tio n   w h o   h a v r ec ei v ed   co m p ar ati v el y   litt le  to   n o   i n s tr u ctio n   in   co u r s d esi g n .   R ec en t p u b licatio n s   [4 - 9]   h av at te m p ted   to   ed u ca te  h i g h er   ed u ca t io n   f ac u l t y   ab o u t   th u s o f   t h eo r ies  a n d   p r o ce s s es  o f   b ac k w ar d   d esig n   an d   th eir   i m p ac o n   lea r n er - ce n ter ed   teac h in g   p r ac tic es.   T h b ac k w ar d   d esig n   m et h o d   is   also   r ef e r r ed   to   as  Un d er s tan d in g   b y   De s ig n   ( Ub D)   an d   h as  b ec o m an   ef f ec ti v p lan n i n g   s tr ateg y   f o r   ac h iev i n g     r esu lt s - b ased ,   s t u d en t - ce n ter e d   lear n in g .   T o o   o f ten ,   in   t h is   a g o f   ac co u n tab ilit y ,   lear n in g   i m p r o v e m en tea m s   f o cu s   o n   r aisi n g   ac ad e m ic  s c o r es  b ased   o n   ex ter n al  h ig h - s t ak es  as s ess m e n t s   [ 1 0 ] .   R esear ch er s   W ig g in s   an d   Mc T ig h e   [ 1 1 ]   p r o p o s u s i n g   th r ee - s tag e   b ac k w ar d   d esig n   p r o ce s s   th at  f o cu s e s   o n   1 )   id en ti f y i n g   d esire d   r esu lt s ,   2 )   an al y z in g   m u ltip le   s o u r ce s   o f   d ata,   an d   3 )   d eter m in in g   a n   ap p r o p r iate  ac tio n   p lan   to   ac h iev e     th p r ed eter m i n ed   d esire d   r esu lt s .   B ac k w ar d   co u r s e   d esi g n   r eq u ir es  i n s tr u cto r s   to   c o n s id er   “u n p ac k in g   s tan d ar d s ”  th at  r e v ea l   f u n d a m en tal  id ea s   w it h i n   lear n i n g   co n ce p t s   to   d ev elo p   ce n tr al  q u est io n s   t h at     s tu d e n ts   n ee d   to   au th e n ticall y   d e m o n s tr ate  m aster y   [ 1 2 ] .   Su ch   an   ap p r o ac h   allo w s   ed u ca to r s   to   v ie w     th co n ce p ts   t h r o u g h   m u ltip l len s es   t h at  r ev ea b o th   s tu d en ts   ac q u is itio n   o f   e x p licit   as  w ell  a s   o f te n   u n d er s tated   co n te n t le ar n in g s .     L o eb ,   D y n ar s k i,  Mc Far la n d ,   Mo r r is ,   R ea r d o n ,   &   R eb er   [ 1 3 ]   s u g g e s ed u ca to r s   n ee d   t o   id en tif y   ca s u al  r elatio n s h ip s   i n   ed u ca tio n   to   u n d er s ta n d   w h at  w o r k s .   T h i s   s tu d y   f o cu s e s   o n   d escr ip tiv s tatis t ics     an d   d escr ip to r s   an d   s ee k s   to   a n s w er   q u est io n s   ab o u w h o ,   w h a t,  w h ere,   w h en ,   a n d   to   w h a t   ex ten t   b y   u t ilizi n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       P r e - s ervice  tea ch ers   a p p lica tio n   o f u n d ers ta n d in g   b d esig n   in   less o n   p la n n in g   ( R ica r d o   Lu mb r era s ,   Jr .)   595   d escr ip tiv an al y s e s   as  m ea n s   to   s i m p l if y   t h d ata.   W h en   s tak e h o ld er s   at  n atio n al,   s tate,   an d   lo ca lev els,  as  w ell  a s   p r ac titi o n er s   m ak “g o o d   d ec is io n s ”  ab o u h o w   to   i m p r o v ed u ca tio n   th e y   ar o f te n   b ased   o n   th ese   d escr ip tiv an al y s e s   t h at  en l ig h ten   th e m   ab o u t h ca s u al  u n d er s tan d in g   t h e y   h ad   ab o u p h en o m e n a   m o v i n g   to w ar d s   m o r co n cr ete  u n d e r s tan d in g   o f   t h at  s a m p h e n o m en a.   A cc o r d in g   to   th Or g a n izat io n   f o r   E co n o m ic  C o - o p er atio n   an d   Dev elo p m e n [ 1 4 ] ,   ed u ca to r s   n ee d   to o ls   th at  w ill  i n cr ea s s t u d en ts   e n g a g e m e n in   t h lear n i n g   p r o ce s s   an d   en s u r t h at  th e y   ar o b tain in g   s k il ls   th at  ar d em a n d ed   in   th g lo b al  ec o n o m y .   T h ese  to o ls   s h o u l d   b e   f o u n d ed   o n   th OE C g o als  [ 1 4 ] ,   w h ic h   ar th f o u r   C s co mmu n ica tio n ,   co lla b o r a tio n ,   crea tivity,   an d   co n n ec ted n ess .   B ac k w ar d   d esig n   i s   m o d el    o f   p lan n in g   t h at  s p ea r h ea d s   e n g a g e m en an d   ac h ie v e m e n b y   s c h o o p lan n er s   an d   ed u c ato r s .   Fu r t h er m o r e,   Un d er s ta n d in g   b y   Desi g n   ( U b D)   h as  b ee n   r ep o r ted   to   b e   m o d el  o f   p lan n in g   th a p u ts   t h o s f o u r   C s in cl u d in g   cr itical  t h in k i n g   at  t h f o r ef r o n t o f   i n s tr u ctio n al  d e liv er y   [ 1 ,   1 5 ]   B ac k w ar d s   le s s o n   d esi g n   ca l ls   f o r   ed u ca to r s   to   b eg in   w i t h   n o m in al  li s o f   es s e n tial   q u esti o n s   g ath er ed   f r o m   th b ef o r m en tio n ed   u n p ac k in g   s ta n d ar d   s tep   th at  s t u d en t s   m u s an s w er   b y   t h en d   o f     a   u n it   [ 1 6 ] .   W ith   th i s   en d   i n   m i n d   teac h er s   th e n   d esi g n   ass ess m en t s   ali g n ed   w ith   th co n ce p ts   an d   ar s i m il ar   to   p r ev io u s l y   ass e s s ed   q u e s ti o n s ,   w h ich   w i ll  p r o v id th f r a m e w o r k   f o r   th d eli v er y   o f   ca r ef u ll y   cr af ted   less o n s .   T h d esire d   o u tco m is   to   h av e   r ig o r o u s ,   e n g ag i n g   les s o n s   w h ich   ar a lig n ed   w ith   th e   co n ce p ts     an d   th ass e s s m e n ts .   I d ea ll y ,   a ctiv itie s   m ir r o r   th ass ess ed   s k ills   an d   g o al s   o f   th u n it  w h i le   m ain tain i n g   r ig o r   an d   f air n e s s .   B o th   b eg in n i n g   a n d   v eter an   ed u ca to r s   o f te n   f o r g et  w h at  it  is   li k to   b a   n o v ice  lear n er ,   th u s   th i s   p r o ce s s   o f   b ac k w ar d   d esig n   allo w s   f o r   th t y p o f   p lan n in g   t h at  en s u r es  in s tr u ct io n   i s   b o th   alig n ed   to     th cu r r ic u lu m   a n d   f o cu s ed   o n   s tu d en ts   g o in g   d ee p   an d   n o t w id d u r i n g   t h eir   lear n in g   ex p er ien ce s   [ 1 0 ] .   B ac k w ar d   co u r s d esig n   is   s i m p le,   r atio n al  an d   s tr u ctu r ed   f r a m e w o r k   f o r   s tu d e n t - ce n ter ed   lear n in g .   I al lo w s   t h teac h e r   to   b ec o m a   f ac i litato r ,   w h o   c an   id en tify   t h cr it ical  p r o f icie n cies  th at   s t u d en t s   n ee d   to   d ev elo p ,   w h ile  s i m u l tan eo u s l y   f i n d i n g   a u t h e n tic  w a y s   f o r   th e m   to   d e m o n s tr at th eir   lear n in g ,   v ia    th v ar ied   an d   en g a g in g   le s s o n s   cr ea ted   to   r ig o r o u s l y   ali g n   w it h   t h cu r r ic u l u m .   R e y n o ld s   an d   Kea r n s   [ 1 ]   s u g g e s o t h er   b en ef its   i n cl u d e   co n ten d eli v er y   p r io r itiz atio n   to   s t u d en t s ti m m a n ag e m e n t   e f f icac y lectu r e   d eliv er y   i m p r o v e m e n t an x iet y   r ed u c tio n cr ea tiv it y   i n cr ea s o f   id ea   s o lu tio n s an d   en g ag ed   s tu d e n ts   w h o   o f f er   g r ea ter   f ee d b ac k   ab o u t t h eir   co m p r eh e n s io n .     Fo r   th p u r p o s es  o f   th is   r esear ch   d ee p   is   d ef in ed   as  th co m p le m e n tar y   ar ea   b et w ee n   k n o w led g e,   co g n itio n ,   an d   v a lu e s .   B ased   u p o n   th B lo o m s   R e v is ed   T ax o n o m y   Mo d el   [ 1 7 ] ,   k n o w led g is   le v eled   b y   f ac t u al,   co n ce p tu al,   p r o ce d u r al,   an d   m etac o g n iti v e,   ea ch   o f   w h ic h   h as  co g n iti v p r o ce s s   d im e n s io n     o f   r em e m b er ,   u n d er s ta n d ,   ap p l y ,   an al y ze ,   ev alu ate,   an d   cr ea te  [ 1 8 ] .   Valu d im en s io n s   ar v ie w ed   as  s en s e   o f   p lace   an d   co n n ec ted n es s ,   r esp o n s ib ilit y   an d   u n d er s ta n d in g   w i th i n   th h u m a n   co m m u n it y   [ 1 9 ]   an d   as  s u c h   s h o u ld   en h a n ce   s tu d e n ts   en g ag e m e n in   an d   ev al u atio n   o f   lear n in g   [ 1 5 ] .   A   s y s te m at ic  an d   m a n ag ea b le   in s tr u ctio n a i m p le m e n tatio n   an d   ass ess m e n p lan   b ased   o n   k n o w led g e,   co g n iti v p r o c ess ,   an d   v alu e   d i m en s io n s   h a s   b ee n   f o u n d   to   in cr ea s b o th   e f f ec t iv e n es s   an d   r ed u ce   an x iet y   f o r   th teac h er /in s tr u cto r   [ 1 ]   A r r i v in g   at  th b ef o r m e n tio n ed   d esti n atio n   r eq u ir es  an   u n d er s tan d i n g   o f   t h t y p ical  ap p r o ac h   to   cu r r icu l u m   d ev elo p m e n a n d   less o n   d esi g n .   Alb ileh i,  Yo u n g - Ha n ,   an d   De s m id [ 2 0 ]   d ef in e   cu r r ic u lu m   d ev elo p m en t   as  ter m   f r eq u e n tl y   u s ed   in   ed u ca tio n .   Ho w e v er ,   w h o   c u r r icu l u m   d ev elo p er s   ar e,   an d   th eir   r o le   is   u n d er   d eb ate.   W h ile  d is tr icts   en co u r a g teac h er s   to   p ar ticip ate  in   th d ev elo p m e n t   o f   th is   c u r r icu l u m   b ec au s o f   th eir   p r ac tical  ex p er ien ce s   in   th clas s r o o m ,   th e y   o f ten   lack   t h th eo r etica f r a m e w o r k   to   in ter p r et   th eir   ex p er ien ce s   s o   th at  th e y   ca n   tak o w n er s h ip   an d   co n tr o o f   th eir   teac h in g .   C ar l   [ 2 1 ]   s u g g e s ts   t h at   cu r r icu l u m   d e v elo p m e n t is  n o t   s o m et h in g   d o n to   teac h er s ,   b u th r o u g h   an d   w ith   th e m .     Sh a w er   [ 2 2 ]   ad d s   in s i g h t s   to   h o w   cu r r icu lu m   i m p ac ts   t h i n s tr u ctio n al  ap p r o ac h es  ed u c ato r s   m a y   u s e   th e 1 )   fid elity  a p p r o a c h   w h er ed u ca to r s   tr an s m it  th cu r r icu l u m   a s   is 2 )   a d a p ta tio n   a p p r o a ch   in   w h ic h   ed u ca to r s   m a k ad j u s t m e n ts   an d   ad ap tatio n s   to   e x is t in g   c u r r icu l u m a n d   3)   en a ctme n a p p r o a c h   in   w h ich   ed u ca to r s   v ie w   th c u r r icu l u m   as  cr ea tio n   i n   ac ti o n .   P r e - s er v ice  ed u ca to r s   n ee d   to   b m ad a w ar e   o f   th ese  ap p r o ac h es  if   o n l y   to   h e lp   th e m   u n d er s tan d   th b as is   o f   ea ch   in   th eir   in s tr u ctio n a d ec is io n - m ak in g T h f id elit y   ap p r o ac h   ca n   b v ie w ed   as  p r ef ab r icate d   an d   n o u n iq u el y   ad ap ted   to   th s t u d en ts   a n d     th e n ac t m en t a p p r o ac h   is   b es t c h ar ac ter ized   w it h   t h a n alo g y   o f   f lyin g   b th s ea t o f y o u r   p a n ts .   A n   ad ap tio n   ap p r o ac h   is   ch ar ac ter ized   b y   cr ea tin g ,   n eg o tia tin g ,   a n d   r en eg o tiat in g   t h co n ce p ts ,   s k ills ,   an d   m ater ial s   m is s i n g   i n   t h o fficia l   cu r r icu l u m   a n d   m o s t c lo s el y   r ese m b le s   th p r in cip le s   o f   b ac k w ar d   d esig n   [ 2 0 ] .         2.   RE S E ARCH   M E T H O D     T h is   s tu d y   w as  ca r r ied   o u v ia  ac tio n   r esear ch .   Mu ltip le   au th o r s   [ 2 3 - 25]   r ep o r ac tio n   r esear ch   s tu d ie s   ar ad m i n i s ter ed   in   o r d er   to   d iag n o s q u est io n   ab o u ed u ca tio n   a n d   to   d ev elo p   s o lu tio n s   o r   an s w er s   to   th o s q u esti o n s   w it h   t h e   ex p r ess ed   i n te n o f   s h ap i n g   a n d   i m p r o v in g   ed u ca tio n a p r ac tices  t h r o u g h     th co llected   d ata.   I is   in   th i s   r esp ec t,  th at  th i n s tr u m e n te d   r esear ch   p lan   w a s   p u i n to   ac tio n   in   e x a m in i n g   teac h er   an d   s t u d en f id elit y   an d   u n d er s ta n d in g   r eg ar d in g   Ub an d   its   i m p ac t o n   s t u d en u n d e r s tan d in g .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   3 Sep tem b er   2 0 2 0 :   594   -   599   596   T h p ar ticip an ts   ( n   6 9 )   co n s i s ted   o f   3 4   m ale s ,   3 5   f e m ales  w h o   w er d ec lar ed   s ec o n d ar y   p r e - s er v ice  ed u ca to r s ,   h o ld i n g   J u n io r   s tat u s ,   an d   w h o   h ad   n o b ee n   ad m itted   in to   t h teac h i n g   tr ain i n g   p r o g r a m   at  th co o p er atin g   u n i v er s i t y .   T h is   s tu d y   to o k   p lace   d u r in g   t h f all  2018  s em e s ter ,   ac r o s s   tw o   s ec tio n s   o f   th e   co u r s e,   w ith   r esp o n s r ate  o f   9 3   p e r ce n t.      2 . 1 .   I ns t ru m ent a t io n   I n s tr u m e n tatio n   u s ed   i n   th is   s tu d y   w as  th r es u lt  o f   r esear ch er s   d ev elo p ed   s u r v e y   b ased   o n     th m aj o r   ch ar ac ter is tics   o f   U b an d   co u r s d e s ir ed   o u tco m es.  T h co n ten t   o f   th e   s u r v e y   w a s   v a lid ated   b y   f o u r   p r o f ess o r s ,   w it h   ex p er tis in   cu r r icu l u m   a n d   in s tr u ctio n .   T h s u r v e y   co n s is ted   o f   s i x   q u esti o n s   an d   h ad     s lid in g   s ca le  r esp o n s f o r m at  t h at  r an g ed   f r o m   1   to   5   ( 1 Stro n g l y   d is ag r ee ,   5 Stro n g l y   a g r ee ) .     T h v alid atio n   p r o ce s s   i n cl u d ed   s en d in g   o u t h s u r v e y   q u esti o n s   to   f o u r   ter m in all y   d e g r ee d   ed u ca to r s   w i th   co n ce n tr atio n s   in   c u r r icu l u m   a n d   in s tr u ct io n   f o r   v ali d atio n ,   r ec eiv in g   f ee d b ac k ,   co r r ec tin g /clar if y i n g     th q u e s tio n s ,   an d   r esen d i n g   o u ag ai n   f o r   v alid atio n .   L e v el  o f   ag r ee m en f o r   th v alid atio n   p r o ce s s   w as  u n a n i m o u s   a n d   w as  b ased   o n   r ec ip r o ca l   p r o ce s s   in ten d e d   to   cr ea te  s u r v e y   th at  w as   n o o n l y   v alid   b u t   alig n ed   w i th   t h co n te n t o f   t h e   co u r s an d   in te n t o f   t h r esear ch .     2.2.   Resea rc h que s t io n a nd   s u pp o rt ing   s t a t em e nts    T h p u r p o s o f   th i s   s t u d y   was  to   d is ce r n   w h at  k i n d   o f   c h an g U n d er s ta n d in g   b y   Des ig n   m ad e     o n   p r e - s er v i ce   teac h er s   p er ce p tio n s   an d   v o ca b u lar y   u s e   w h ile  d esi g n in g   ed u ca tio n a less o n s   f o r   th e ir   s tu d e n ts .   T h r esear c h   q u e s ti o n   is   a s   f o llo w s Ho w   a r s e co n d a r p r e - s ervice  tea ch ers   p ercep tio n s   a b o u t   less o n   p la n n in g ,   d esig n ,   a n d   d elive r in flu en ce d   b th Un d er s ta n d in g   b Desig n   p h ilo s o p h y?   T h is   q u esti o n   w a s   r esear ch ed   b y   d ef i n i n g   t h s ix   ch ar ac ter i s tics   th e   co u r s e   co m p eten cie s   ca lled   f o r   an d   h o w   t h e y   r elate d   to   Ub D.   T h o s ch ar ac ter is tics   wer w r it ten   as  s tate m e n ts   t h at  s tu d e n ts   r esp o n d ed   to   in   p r e - s u r v e y   th f ir s d a y   o f   class ,   a n d   p o s t - s u r v e y   i n   w ee k   n i n o f   t h co u r s a f ter   ex p o s u r e,   in s tr u ct io n ,   a n d   p r ac tice  u tili zi n g     th Ub f r a m e w o r k   to   cr ea te  lear n in g   o b j ec tiv es a n d   en g a g i n g   le s s o n s .   T h s tate m en t s   ar as f o llo w s :   a.   State m e n t O n e:  I   u n d ers ta n d   th imp o r ta n ce   o u n p a ck in g   a   s ta n d a r d   b.   State m e n t T w o I   u n d ers ta n d   t h r ela tio n s h ip   b etw ee n   a ctio n   w o r d s   in   TEKs   a n d   id en tifyin g   r esu lts   c.   State m e n t T h r ee I   u n d ers ta n d   th r ela tio n s h ip   b etw ee n   b a ck w a r d   d esig n   a n d   r ig o r   d.   State m e n t Fo u r I   u n d ers ta n d   t h r ela tio n s h ip   b etw ee n   a s s ess men t a n d   less o n   d esig n   e.   State m e n t F iv e:  I   u n d ers ta n d   th r ela tio n s h ip   b etw ee n   co n ten t o b jective s   a n d   less o n   d elive r y   f.   State m e n t S ix I   u n d ers ta n d   th imp o r ta n ce   o f fo r ma tive  a s s ess men ts   d u r in g   less o n   d elive r y     2 . 3 .   P ro ce du re s   T h s u r v e y   w a s   ad m i n is ter e d   in   t w o   s ec tio n s   o f   t h e   s a m co u r s ta u g h b y   t h f ir s au t h o r A d m i n is tr atio n   o f   th s u r v e y   b eg an   w it h   v er b al  d escr ip ti o n   o f   w h at  to   d o ,   h o w   to   ac c ess   th s u r v e y   ( Q R   co d e) ,   r elate d   d ir ec tio n s   o f   an s w er i n g   th q u e s tio n   ( s ca l o f   1   to   5     wh er 1   w as  s tr o n g l y   d is a g r ee   an d     5   w a s   s tr o n g l y   a g r ee ) ,   an d   f i n all y   c h o ice  to   p ar ticip ate  o r   n o p ar ticip ate  in   th e   s u r v e y ,   as  w ell  a s     th s tate m en o f   ass u r ed   co n f id en tialit y .   Af ter   s u r v e y   co m p letio n   o f   th p r an d   p o s s u r v e y s   r esu lts   w er e   an al y ze d   u t ilizi n g   d escr ip tiv s tatis t ics  g ath er ed   f r o m   th Q u altr ics Su r v e y   T o o l.       3.   RE SU L T A ND  D I SCU SS I O N   Ub is   th f r a m e w o r k   f r o m   w h ic h   m aj o r   co n ce p ts   o f   le s s o n   d esi g n   w er tau g h i n   t h co u r s e.   C o n ce p ts   a n d   v o ca b u lar y ,   u n p ac k in g   s tan d ar d s ,   u ti lizi n g   t h e   v er b s   f r o m   t h lear n i n g   s ta n d ar d s ,   r ig o r ,   co n ten o b j ec tiv es,  f o r m at iv as s es s m en an d   s u m m ati v ass e s s m e n w er all  in co r p o r ated   in to   th f r a m e w o r k .   State m e n o n co n ce r n s   its el f   w it h   u n p ac k i n g   s ta n d ar d ,   w h ic h   is   tau g h as  th f ir s s t ep   in   Ub D.   Stu d en ts   ar tau g h to   a s k   t h e m s e lv e s   t h f o llo w i n g   q u e s tio n s   w h en   ex a m in i n g   s tan d ar d   to   teac h W h at  is   th v er b   in   th s ta n d ar d   I   am   teac h i n g ? ”;  W h at  is   th v er b   ask i n g   m to   d o ? ”;   W h at  in f o r m atio n   d o   I   n ee d   t o   ad eq u atel y   ad d r ess   ( in clu d i n g   w h a is   ex p licitl y   s tated   an d   th u n d er l y i n g   i n f o r m atio n   t h e r ein ) ? ”  Un p ac k in g   th s tan d ar d   is   cr itical  s tep   in   b ac k w ar d   d esig n .   B ec au s e,   if   y o u   d o   n o k n o w   w h a is   r eq u ir ed   o f   y o u   to   teac h ,   h o w   ca n   y o u   d esi g n   le s s o n   o r   an   as s es s m e n t t h at  tar g ets t h s k ill s ?     T h p r e - s u r v e y   r es u lt s   ar d is p lay ed   in   T ab le  1   an d   s u g g es an   ac q u ain ta n ce   w ith   t h co n ce p an d   ter m s ,   b u n o t h d ee p   u n d er s tan d in g   a n d   s k ill s   r eq u ir e d   to   d eliv er   ef f ec ti v an d   e n g a g i n g   in s tr u c tio n .     T h p o s t - s u r v e y   r es u lt s   in   T a b le  2   r ev ea an   in cr ea s ed   m e an ,   d ec r ea s ed   s tan d ar d   d ev i atio n   an d   v ar ian c e   s ig n i f y in g   t h at  t h b ef o r m en tio n ed   d ee p er   u n d er s tan d i n g   a n d   ap p licab ilit y   h as d ev e lo p ed .   W h ile  it is   w id el y   ac ce p ted   th at  co r r elatio n   d o e s   n o lead   to   ca u s atio n ,   th es d escr ip tiv s tatis tic s   s u p p o r s tu d en t s   g r o w t h   w it h i n   t h s tu d e n ts .   Fu r t h er m o r e,   ef f ec ti v en e s s   o f   g r o u p   in s tr u ctio n   is   o f te n   as s o ciate d   w it h   r ed u c tio n   o f   v ar ian ce   w i th i n   t h g r o u p   [ 1 0 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       P r e - s ervice  tea ch ers   a p p lica tio n   o f u n d ers ta n d in g   b d esig n   in   less o n   p la n n in g   ( R ica r d o   Lu mb r era s ,   Jr .)   597   T ab le  1 .   P r e - s u r v e y   s t u d y   f i n d in g s   V a r i a b l e   M e a n   S t a n d a r d   D e v i a t i o n   V a r i a n c e   S t a t e me n t   1   2 . 0 4   1 . 1 8   1 . 4 0   S t a t e me n t   2   2 . 3 1   1 . 1 2   1 . 2 5   S t a t e me n t   3   1 . 9 2   1 . 3 8   1 . 9 1   S t a t e me n t   4   3 . 0 8   1 . 1 7   1 . 3 8   S t a t e me n t   5   3 . 2 6   1 . 1 7   1 . 3 8   S t a t e me n t   6   2 . 7 1   1 . 3 1   1 . 7 0     T ab le  2 .   P o s t - s u r v e y   s t u d y   f in d in g s   V a r i a b l e   M e a n   S t a n d a r d   D e v i a t i o n   V a r i a n c e   S t a t e me n t   1   4 . 6 4   0 . 6 7   0 . 4 5   S t a t e me n t   2   4 . 6 1   0 . 5 9   0 . 3 5   S t a t e me n t   3   3 . 6 1   0 . 8 6   0 . 7 4   S t a t e me n t   4   4 . 3 6   0 . 7 1   0 . 5 1   S t a t e me n t   5   4 . 6 1   0 . 6 4   0 . 4 0   S t a t e me n t   6   4 . 1 1   0 . 9 4   0 . 8 8         State m e n t w o   ad d r ess es  t h r elatio n s h ip   b et w ee n   th T E Ks   ( T ex as  E s s en tial  K n o w led g an d   Sk ills )   an d   th e x p ec ted   r esu lt s   o f   te ac h in g   t h T E K.   T E Ks  ar th co m p ete n cie s   s t u d en t s   ar ex p ec ted   to   m aster     in   t h eir   r esp ec ti v g r ad lev el s .   T h r elatio n s h ip   as   d escr ib ed   in   t h co u r s is   to   id en ti f y   w h at  ca teg o r y   th e   v er b   ( i.e .   ac tio n   w o r d )   f all s   in to E v al u atio n ,   S y n th e s i s ,   A n al y s is ,   A p p licatio n ,   C o m p r e h en s io n ,   o r   Kn o w led g [ 2 6 ] .   On ce   th at  is   ac co m p li s h ed ,   id en ti f y in g   r esu lt s   en tail s   ex a m i n in g   h o th is   s k ill  h as  b ee n   ass es s ed   in   th p as s ,   an d   h o w   it  ca n   b ass e s s ed   in   t h p r esen v ia  w ell  t h o u g h o u t,   en g a g in g   les s o n s .     A   co m p ar is o n   o f   P r e - s u r v e y   r esu lt s   ( s ee   T ab le  1 )   an d   Po s t - Su r v e y   r es u lts   ( s ee   T ab le  2 )   o f f er   en co u r ag e m e n t.   As  t h m ea n   in cr ea s ed ,   th e   s tan d ar d   d ev iat io n   a n d   v ar i an ce   d ec r ea s ed   s i g n if y i n g   a   g r ea ter   g r a s p   an d   ap p licab ilit y   o f   th d es ir ed   s k i lls .     State m e n th r ee   all u d es  to   t h u n d er s ta n d in g   o f   r ig o r   i n   t h c lass r o o m .   P aig e,   et  al.   [ 2 7 ]   s u g g e s t h at   r ig o r   is   n o w   v ie w ed   as  an   in d ep en d en v ar iab le  th at  ca n   b in te n tio n al l y   m an ip u lated   b y   t h ed u ca to r ,   w it h i n   r an g o f   lear n in g   ac ti v it ies   ( lectu r e,   r ea d in g ,   p r o b le m   s o lv in g ,   w r iti n g ,   g r o u p   w o r k ,   c lass   d i s cu s s io n s ,   p r esen tatio n s ,   p r o b lem - b ased   lear n in g ,   m at h ,   as  w ell  as   in n u m er ab le  ac ad e m ic  ac ti v itie s )   th at  Sch lech t y   [ 2 8 ]   ca lls   k n o w led g w o r k .   T h is   d ef in i tio n   ad d r ess e s   f o u r   d i m en s io n s   o f   r i g o r co n ti n u u m   o f   co g n itio n   ( i.e .   th i n k i n g )   r an g in g   f r o m   s i m p l to   co m p le x q u a n ti f icatio n   o f   r ig o r   i n   th cla s s r o o m i p lace s   k n o w led g e   w o r k   at   th e n d   o f   t h co n tin u u m   s o   t h at  m o r co m p le x   co g n iti v t h in k i n g   ca n   b s ca f f o ld ed f in a ll y ,   r i g o r   is   in te n tio n al l y   m a n ip u la ted   to   en co u r ag g r o w t h   f r o m   s i m p le  to   co m p lex   t h i n k in g   i n   s tu d en ts .   A s   r esu lt,     r ig o r   is   d ef in ed   as  th ex te n to   w h ic h   th k n o w led g w o r k   en g a g ed   in   b y   s t u d en t s   r eq u ir es  co g n itiv e   s i m p lic it y - co m p le x it y ”  [ 2 7 ]   T h is   r elatio n s h ip   b et w ee n   b ac k w ar d   d esig n   an d   r ig o r   p r o v ed   d if f icu lt  to   m ap   d u r in g   co u r s d eliv er y .   T h in ten w as  to   h elp   th p r e - s er v ice  teac h er s   u n d er s ta n d   th at  in   u n p ac k in g   an d   id en ti f y in g   d esire d   r esu lts   r i g o r ”  w o u ld   n at u r all y   o cc u r   b ec au s t h e y   w o u ld   cr ea te  e n g a g i n g ,   co llab o r ati v les s o n s   ali g n ed   w i th   p as t   ass es s m en t s   th at  tar g ete d   th d esire d   s k ill.  I n s tead ,   th e y   as s o ciate d   r ig o r   w ith   le n g th   a n d   co m p lex i t y ,   w it h   litt le  r eg ar d   f o r   s tu d en t s   ab ilit ies .   I n s tead ,   th e y   ass o ciate d   r ig o r   w ith   co o p er ati o n   o r   p a s s i v en g ag e m e n t Hen ce ,   t h r esu lts   f r o m   t h p r e - s u r v e y   ( s ee   T ab le  1 )   an d   th p o s t - s u r v e y   ( s ee   T ab le  2 )   d o   n o d em o n s tr ate     th s a m k in d   o f   g r o w t h   f o u n d   in   th o th er   co n ce p ts   I n   th i s   f r a m e w o r k ,   t h r elatio n s h ip   b et w ee n   a s s es s m en an d   less o n   d esi g n   g o es  b e y o n d   r ig o r   an d   alig n m e n t.  I i s   q u es tio n   o f   f air n es s   to   th s t u d en t.  I f   s t u d en t s   ar g o i n g   to   b ass es s ed   lo ca ll y   at     th clas s r o o m   lev el  u s in g   t h d is tr icts   a s s e s s m e n ts   a n d   b en ch m ar k s ,   an d   also   at  th e   s tate  lev el  u s i n g   s tan d ar d ized   test s ,   t h en   i tr ac k s   t h at  w h a is   ta u g h s h o u l d   n o o n l y   b ali g n ed ,   b u es s en tia to   th s k ill n ee d ed   to   p ass   th ass ess m e n t s .   T ea ch er s   ca n   ill  af f o r d   to   te ac h   s k ills   t h at  ar n o n ee d ed   o r   g o   s o   f ar   b ey o n d   th co m p eten c y   t h at  t h r esu lts   o n   th ex a m s   lo w er   s elf - estee m   f o r   th s tu d en t.  A li g n in g   t h ass es s m en   w it h   t h d esig n ed   less o n s   i s   cr itical   to   s tu d en s u cc es s .   J o n es  et.   al.   [ 1 6 ]   s u g g e s t h at  af ter   u n it  g o al s     an d   ass e s s m e n ts   h a v b ee n   c r ea ted ,   teac h er s   m u s d es ig n   th o s e n g ag i n g   a n d   en r ic h i n g   less o n s   th at   m ee t     b o th   th u n it  an d   less o n   o b j ec tiv es.  T o   th at  en d ,   th d ata  s u p p o r ts   th at  s t u d en ts   wh o   p ar ticip ated   in     th r esear ch   s t u d y   in ter n alize d   th co n ce p ts   ( s ee   T ab le  1   an d   T a b le  2   f o r   c o m p ar is o n   o f   p r an d   p o s   ass es s m en t r es u lt s ) .     C o n te n o b j ec tiv es  an d   le s s o n   d eliv er y   en co m p ass   s t ate m e n f iv e.   C o n te n o b j e ctiv es  ar e     th r o ad m ap   o f   le s s o n   d eliv e r y .   T h e y   tell  t h s tu d e n w h a to   ex p ec an d   t h i n s tr u cto r   w h at  n ee d s   to   b e   ac co m p li s h ed   b y   th e n d   o f   th less o n .   B ae ch er ,   Far n s wo r th ,   an d   E d ig er   [ 2 6 ]   s u p p o r th is   id ea   as  th e y   s u g g e s th d ev elo p m e n o f   l ea r n in g   o b j ec tiv es  as   p ar o f   less o n   p lan n i n g   is   o n w a y   o f   id en ti f y in g   w h at     th f o c u s   o f   le s s o n   s h o u ld   b an d   s ets o u t to   ac h iev e.     Mu ltip le  r e s ea r ch er s   [ 2 9 - 33]   d is cu s s   less o n   p la n n i n g   a s   p ed ag o g ical   r ea s o n i n g   t h at  r ef lect s     th teac h er s   e x p er ien ce s   a s   n o o n l y   lear n er s ,   b u te ac h er s .   Kn o w led g o f   t h eir   class r o o m   p u p il s ,   p ed ag o g ical  co n te n k n o w led g e,   an d   th eo r ies  ab o u lear n i n g   ca n   an d   o f te n   d o   r esu lt  i n   th at  p la n n in g   an d     th p lan   its e lf   e x p o s in g   th e ir   b elief s ,   u n d er s ta n d in g s ,   an d   o r ien tatio n s .   T h is   is   cr itical  b ec au s e d u ca to r s   te n d   to   teac h   th w a y   th e y   w er tau g h t.  T h is   d y n a m ic  is   m aj o r   d is cu s s io n   in   th co u r s b ec au s o f ten   p r e - s er v ice   ed u ca to r s   n ee d   t h i s   p ar ad ig m   s h i f t   in   t h eir   t h in k i n g   f r o m   o n o f   tr a n s m itter   o f   f a cts  to   f ac ilit a to r   o f   k n o w led g e.   C o n s eq u en tl y ,   t h e   d ata  r e p o r ted   in   T ab le  1   an d   T ab le  2   s u p p o r t   th at  s tu d e n ts   g r asp   th lar g er   i m p licatio n s   f o r   th ese  ac tio n s   an d   th i m p o r ta n ce   o f   i m p le m en ti n g   t h e m   in   t h eir   clas s r o o m s .     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c Vo l.   9 ,   No .   3 Sep tem b er   2 0 2 0 :   594   -   599   598   Fo r m ati v as s es s m e n t s   d if f er   f r o m   s u m m at iv a s s e s s m e n t s   i n   t h at  t h e y   o cc u r   d u r i n g   i n s t r u ctio n .   Kee le y   [ 3 4 ]   b eliev e s   an   i m p o r tan f ea t u r o f   t h a s s e s s m e n t - ce n ter ed   class r o o m   is   th a s s ess m e n s u p p o r ts   lear n in g   b y   p r o v id in g   s t u d en t s   w ith   o p p o r tu n itie s   to   r ev is e   an d   i m p r o v th eir   t h in k i n g .   Of te n ,   th i s   o cc u r s   d u r in g   w h at  ed u ca to r s   d escr ib as  a ctive   s u p ervis io n .   Mu ltip le  r esear c h er s   [ 3 5 - 37]   r ep o r th at  ac tiv e   s u p er v i s io n   h as   b ee n   s h o w n   t o   p o s itiv el y   i m p ac t   s t u d en b eh av io r ,   p r o d u ce d   class r o o m - w id d ec r ea s i n   m i n o r   b eh av io r al  i n cid en t s ,   an d   r esu lted   in   h i g h er   le v el s   o f   ac tiv p ar ticip atio n .   F u r t h er m o r e,   it  is   th d eg r ee   o f   ac tiv s u p er v is io n   an d   n o t   th teac h er   to   s tu d e n r atio   t h at  ac co u n ted   f o r   t h g r ea te s v ar ian ce   in   n o n - class r o o m   tr a n s it io n   s e tti n g s .   W h ile  t h s co p o f   f o r m ati v e   ass es s m en t   s tr ate g ies  is   b e y o n d   th p ar a m eter s   an d   ca p ab ilit ies  o f   th co u r s an d   th is   r ep o r t,   th tech n iq u e s   o f   ch ec k i n g   f o r   u n d er s ta n d in g   an d   b u ild in g   r elatio n s h ip s   w it h   s tu d e n ts   wer e   m aj o r   co r n er s to n e s   o f   t h e   Ub f r a m e w o r k .   Kee le y   [ 3 4 ]   s u g g e s ts   t h er ar f o u r   clas s r o o m   en v ir o n m en ts   t h at  s u p p o r t f o r m ativ a s s e s s m en t:   a.   A   lear n er - ce n ter ed   en v ir o n m e n w h er teac h er s   p a y   ca r ef u to   th k n o w led g e,   b elie f s ,   at tit u d es  an d   s k i lls   o f   th eir   s t u d en ts .   b.   A   k n o w led g e - ce n ter ed   e n v i r o n m e n w h er teac h er s   k n o w   t h g o al s ,   k e y   co n ce p t s ,   id ea s ,   an d   p r er eq u is ites   f o r   lear n i n g .     c.   An   as s es s m en t - ce n ter ed   en v ir o n m e n w h er s t u d en ts   ar ab le  to   r ev is a n d   i m p r o v th e ir   th i n k i n g   w h ile  m o n ito r i n g   t h eir   o w n   lear n i n g .     d.   A   co m m u n it y - ce n ter ed   en v ir o n m e n w h er s t u d en ts   lear n   f r o m   ea ch   o t h er   an d   co n ti n u all y   s tr i v to   i m p r o v th e ir   lear n i n g .     T h g o al  ac co r d in g   to   Kee le y   [ 3 4 ]   to   cr ea te  class r o o m   ec o s y s te m   w h er t h e s f o u r   e n v ir o n m e n t s   o v er lap   an d   b o th   s tu d en t s   an d   teac h er s   f ee p ar o f   th in tellectu al  lear n in g   co m m u n it y   th at  i s   co n s ta n tl y   g r o w i n g   an d   i m p r o v in g   w it h   r eg ar d s   to   teac h in g   an d   lear n i n g .   A cc o r d in g l y ,   th e   d ata  r ep o r ted   in   T ab le   1   an d   T ab le  2   s u p p o r t th at  s tu d en t s   i n ter n al ized   th ese  b elie f s   a n d   s ee   th i m p o r tan ce   o f   b o th   in   t h eir   class r o o m s .       4.   CO NCLU SI O N     T h Ub f r a m e w o r k   ( a n d   s u b s eq u en r atio n ales)   p r ese n te d   in   th is   s tu d y   s ee k   to   h elp   p r e - s er v ice   ed u ca to r s   f ee b etter   p r ep ar ed   ac r o s s   m o s d i m e n s io n s   o f   t ea ch in g .   T ea ch er   q u alit y ,   q u a lif ied   teac h er s ,   an d   ef f ec tiv teac h er s   ar t h g o al   o f   lear n i n g   t h is   f r a m e w o r k .   T h at  s aid ,   th er ar s ev er al  im p o r ta n li m itatio n s   th at  s h o u ld   b n o ted   w it h   th i s   r esear ch   r ep o r t.    First,  is   th to p ic  o f   Ub D   an d   h o w   it  w as  u s ed   as  th f r a m e w o r k   f o r   less o n   p lan n i n g ,   less o n   d esig n ,   an d   les s o n   d eli v er y .   Di f f er e n ed u ca to r s ,   f r o m   d i f f er e n co n t en ar ea s ,   r e s o n ate  d i f f er en tl y   w it h   m u ltip le   to o ls   an d   ap p r o ac h es  th a w o r k   f o r   th e m   b ec au s o f   th eir   p r e f er r ed   s t y le.   I t   is   th at   v ei n   o f   t h i n k in g   t h at  Ub w a s   u tili ze d   in   t h is   w a y ,   f o r   th i s   co n ten d eli v er y ,   in   t h is   p r e - s er v ice  ed u ca to r   co u r s e.   Seco n d ,   s u r v e y   r es u lts   w er e   an al y ze d   u s i n g   d escr ip ti v s ta tis tics .   T h s u r v e y   w a s   n o d esig n ed   to   u tili ze   i n f er e n tial  s t atis tical  a n al y s is   o r   n o n - p ar a m etr ical  s tati s tical  p r o ce d u r es.  As  s u c h ,   v io latio n s   o f   n o r m alit y   w er n o an al y ze d .   T h ir d ,   th is   w as  a   s a m p le  o f   co n v e n ie n ce ,   w h ic h   li m i ts   g e n er aliza b ilit y .   T h p o p u latio n   co u ld   b e   d ee m ed   h o m o g en eo u s   ( p r e - s er v ice  ed u ca to r s )   w h o s p er ce p tio n s   an d   o p in io n s   w er s k e w ed   ( to   th p o s itiv e)   b ec au s o f   th e m p h asi s   p u t   u p o n   th Ub f r a m e w o r k   in   t h co u r s e.     Fin all y ,   q u a litati v co m p o n en t   is   n ee d ed   to   f u r th er   e x p lo r p r e - s er v ice  teac h er s   d ef in i tio n     an d   u n d er s tan d i n g   o f   t h ese  co n ce p ts .   C o n tr ad ictio n s   a n d   ar ea s   o f   co n f lict  o r   m is u n d er s tan d in g s   ar n o t   m ea s u r ab le  w it h o u it.  T h p ed ag o g ical  r eq u ir e m en ts   t h at  te ac h er   ed u ca tio n   p r o g r a m s   as k   o f   th eir   p r e - s er v ic e   teac h er s   n ec es s itate  a   n e w   w a y   o f   d eliv er i n g   co u r s co n ten t   r elate d   to   less o n   p lan n i n g ,   d e s ig n ,   a n d   d eliv er y .   I is   an ticip ated   th at  th is   f r a m e w o r k   ca n   co n ti n u to   b u s ed   f o r   th b ef o r m e n tio n ed   p u r p o s e s ,   w h ile   s i m u lta n eo u s l y   i m p le m en t in g   q u al itati v a n d   i n f er e n tia s tati s tical   an al y s is   to   d is ce r n   an d   d escr ib e     th in d i v id u a l r esp o n s es a n d   o p in io n s   o f   th f r a m e w o r k .         RE F E R E NC E S   [1 ]   H.L .   Re y n o ld a n d   K.D.  Ke a rn s,  A   p lan n in g   to o f o i n c o rp o ra ti n g   b a c k wa rd   d e sig n ,   a c ti v e   lea rn in g ,   a n d   a u th e n ti c   a ss e ss m e n in   th e   c o ll e g e   c las sro o m ,   Co ll e g e   T e a c h in g ,   v o l .   65 ,   n o .   1 ,   p p .   1 7 - 2 7 ,   2 0 1 7 .     [2 ]   D.H.  W u lff ,   A . E.   A u stin ,   J.D.  H y q u ist,   a n d   J.  S p ra g u e ,   T h e   De v e lo p m e n o f   G r a d u a te  S tu d e n ts  a T e a c h in g   S c h o lars :   F o u r - Ye a L o n g it u d i n a S tu d y , ”  in   Pa th to   th e   Pro fes so ria te:  S tra teg ies   fo En ric h i n g   th e   Pre p a ra ti o n   o F u tu re   F a c u lt y ,   D . H.  W u lf f   &   A . E.   A u stin ,   Ed s.,   p p .   4 6 - 74 2 0 0 4 .   [3 ]   C. M .   G o ld e   a n d   T . M   Do re ,   A Cro ss   P u rp o se s:  W h a th e   Ex p e rien c e o f   T o d a y ’s  Do c to ra S tu d e n ts  Re v e a a b o u Do c to ra E d u c a ti o n :   A   S u rv e y   In it iate d   b y   th e   P e w   Ch a rit a b le  T ru sts ,   P h il a d e lp h ia:  A   re p o rt   p re p a re d   f o th e   P e w   Ch a rit a b le T ru sts ,   2 0 0 1   [4 ]   K.K.  Da u g h e rty ,   Ba c k wa rd   c o u rse   d e sig n M a k in g   th e   e n d   t h e   b e g in n i n g ,   Ame ric a n   J o u rn a l   o f   Ph a rm a c e u ti c a l   Ed u c a ti o n v o l .   70 ,   n o .   6 ,   p p .   1 - 5 ,   2 0 0 6 .     [5 ]   E. L .   Do lan   a n d   J. P .   Co ll in s,  W e   m u st t e a c h   m o re   e ff e c ti v e l y :   He re   a re   f o u wa y s   to   g e sta rted ,   M o lec u la r B io l o g y   o t h e   Ce ll v o l.   25 ,   n o .   1 2 ,   pp.   2 1 5 1 - 2 1 5 5 ,   2 0 1 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       P r e - s ervice  tea ch ers   a p p lica tio n   o f u n d ers ta n d in g   b d esig n   in   less o n   p la n n in g   ( R ica r d o   Lu mb r era s ,   Jr .)   599   [6 ]   W . B.   W o o d ,   In n o v a ti o n in   tea c h in g   u n d e rg ra d u a te  b io lo g y   a n d   w h y   we   n e e d   T h e m ,   An n u a Re v iew  o Ce ll   a n d   De v e lo p me n ta B io l o g y v o l.   2 5 ,   n o .   5 ,   p p .   9 3 - 1 1 2 ,   2 0 0 9 .     [7 ]   L . A .   Ba k e r,   e a l. ,   Co l late ra sc h o lars ’  c o ll a b o ra ti v e   n e w   f a c u l ty   w o rk sh o p P r o f e ss io n a d e v e lo p m e n f o n e c h e m istr y   f a c u lt y   a n d   in it ial  a ss e ss m e n o f   it s e ff ica c y ,   J .   o Ch e m .   Ed u c . v o l.   91 ,   n o .   1 1 ,   p p .   1 8 7 4 - 1 8 8 1 ,   2 0 1 4 .     [8 ]   D.  Eb e rt - M a y ,   e a l ,   W h a w e   sa y   is  n o w h a w e   d o Eff e c ti v e   e v a lu a ti o n   o f   fa c u lt y   p ro f e ss io n a d e v e lo p m e n p ro g ra m s, ”  Bi o S c ien c e v o l.   61 ,   n o .   7 ,   p p .   5 5 0 - 5 5 8 ,   2 0 1 1 .     [9 ]   K.  T rig we ll ,   P ro m o ti n g   Ef fe c ti v e   S tu d e n L e a rn in g   in   Hig h e Ed u c a ti o n ,   in   In ter n a ti o n a l   En c y c lo p e d i a     o E d u c a t io n   4 ,   P .   P e ters o n ,   E.   Ba k e r,   a n d   B.   M c G a w ,   Ed s.  Ox f o rd :   El se v ier,  p p .   4 6 1 - 4 6 6 ,   2 0 1 0 .     [1 0 ]   W .   A u ,   Hig h   sta k e tes ti n g   a n d   c u rricu lar  c o n tro l:   A   q u a li tativ e   m e tas y n th e sis,”   Ed u c a ti o n a Res e a rc h e r ,   v o l.   3 6 ,   n o .   5 ,   p p .   2 5 8 - 2 6 7 ,   2 0 0 7 .   [1 1 ]   G .   W i g g in s a n d   J.  M c T ig h e ,   Un d e rs ta n d i n g   b y   d e si g n .   A lex a n d ria,   V A A S CD,  1 9 9 8 .     [1 2 ]   J.  M c T ig h e   a n d   R. S .   T h o m a s,  Ba c k wa rd   d e sig n   f o f o rw a rd   a c ti o n ,   E d u c a ti o n a L e a d e rs h i p ,   v o l.   6 0 ,   n o .   5 ,     p p .   52 - 5 5 ,   2 0 0 3 .     [1 3 ]   S .   L o e b ,   e a l. ,   De sc rip ti v e   a n a ly sis  in   e d u c a ti o n A   g u id e   f o re se a rc h e rs”   ( NCEE  2 0 1 7 - 4 0 2 3 ).   W a sh in g to n ,   DC:  U.S .   De p a rtm e n o f   Ed u c a ti o n ,   In stit u te   o f   Ed u c a ti o n   S c ien c e s,   Na ti o n a l   Ce n ter  f o E d u c a ti o n   Ev a lu a ti o n   a n d   Re g io n a A ss istan c e ,   2 0 1 7 .   [ On li n e ] .   A v a il a b le:  h tt p s:// f il e s.e ric.ed . g o v /f u ll tex t/ ED5 7 3 3 2 5 . p d f     [1 4 ]   Org a n iza ti o n   f o Eco n o m ic  Co - o p e ra ti o n   a n d   De v e lo p m e n t,   T re n d sh a p i n g   e d u c a ti o n ,   2 0 1 3 .   [ O n li n e ] .   A v a il a b le:   h tt p : // ww w . o e c d . o rg /ed u c a ti o n /ea g 2 0 1 3 % 2 0 (e n g ) -- F INA L% 2 0 2 0 % 2 0 Ju n e % 2 0 2 0 1 3 . p d f   [1 5 ]   T . P .   F lo rian   a n d   J. P .   Zi m m e r m a n ,   Un d e rsta n d i n g   b y   d e sig n ,   m o o d le,  a n d   b le n d e d   lea rn in g A   se c o n d a ry   sc h o o c a se   stu d y ,   M ER L OT  J o u rn a o On li n e   L e a rn i n g   a n d   T e a c h in g ,   v o l.   11 ,   n o .   1 ,   p p .   1 0 3 - 1 1 1 ,   2 0 1 5 .     [1 6 ]   K.A .   Jo n e s ,   P . J.  V e rm e tt e ,   a n d   J.L .   Jo n e s,  A n   in teg ra ti o n   o f   b a c k wa rd p lan n in g   u n it   d e sig n   w it h   th e   tw o - ste p   les so n   p la n n i n g   f ra m e w o r k ,   Ed u c a ti o n v o l.   1 3 0 ,   n o .   2 ,   p p .   3 5 7 - 3 6 0 ,   2 0 0 9 .     [1 7 ]   D.  Kra th w o h a n d   L .   A n d e rso n ,   M e rli n   C.   W it tro c k   a n d   th e   Re v isio n   o f   Blo o m ’s  T a x o n o m y ,   Ed u c a ti o n a l   Psy c h o lo g ists v o l.   45 ,   n o .   1 ,   p p .   64 - 6 5 ,   2 0 1 0 .     [1 8 ]   W .   Hu it t,   A   h o li st ic  v iew   o f   e d u c a ti o n   a n d   sc h o o li n g G u id i n g   stu d e n ts  to   d e v e lo p   c a p a c it ies ,   a c q u ire  v irt u e s,    a n d   p ro v id e   se rv ice ,   Re v isio n   o f   p a p e p re se n ted   a t   th e   1 2 th   A n n u a In ter n a ti o n a C o n f e re n c e   sp o n so re d   b y     th e   A th e n In stit u te  f o Ed u c a ti o n   a n d   Re se a rc h   (AT INE R),   M a y   2 4 - 2 7 ,   2 0 1 1 .   [ O n li n e ] .   A v a il a b le:  h tt p : // ww w . e d p sy c in tera c ti v e . o rg /p a p e rs/h o li stic - v iew - of - sc h o o li n g - re v . p d f   [1 9 ]   H.L .   Re y n o ld s,  Ov e rv ie w Co re   L e a rn in g   G o a ls  f o Ca m p u s - W id e   En v iro n m e n tal  L it e ra c y ,   in   T e a c h in g   En v iro n me n ta L it e ra c y Acr o ss   Ca mp u a n d   Acr o ss   th e   Cu rr ic u lu m H . L .   Re y n o ld s,  E. S .   Bro n d izio ,   a n d   J . M .   Ro b i n so n ,   E d s.  Bl o o m in g to n ,   IN:   In d ia n a   Un iv e rsity   P re ss ,   p p .   1 7 - 2 7 ,   2 0 1 0 .     [2 0 ]   R.   A lb il e h i,   J.  Yo u n g - Ha n ,   a n d   H.  De s m id t,   Cu rricu lu m   d e v e lo p m e n 1 0 1 L e ss o n lea rn e d   f ro m   a   c u rricu lu m - d e sig n   p ro jec t,   T h e   C a tes o J o u r n a l v o l.   24 ,   n o .   1 ,   p p .   1 8 7 - 1 9 7 ,   2 0 1 2 - 2 0 1 3 .     [2 1 ]   A .   Ca rl,   T e a c h e e mp o we rm e n t h ro u g h   c u rr icu lu m   d e v e lo p me n t:   T h e o ry   i n to   p r a c ti c e .   Ca p e   T o wn .   S o u th   A f rica :   Ju ta,  1 9 9 5 .     [2 2 ]   S .   S h a w e r,   Clas sro o m - lev e c u rricu lu m   d e v e lo p m e n t:   EF L   tea c h e rs  a c u rricu lu m - d e v e lo p e rs,  c u rricu lu m - m a k e rs   a n d   c u rric u lu m - tran sm it ters ,   T e a c h in g   a n d   T e a c h e r E d u c a t io n v o l .   26 ,   n o .   2 ,   p p .   1 7 3 - 1 8 4 ,   2 0 1 0 .     [2 3 ]   L .   Be rg ,   Qu a li ta t ive   re se a rc h   me th o d s   fo r t h e   so c i a sc ien c e s.  L o n d o n ,   UK :   P e a rso n   Ed u c a ti o n ,   I n c . ,   2 0 0 1 .     [2 4 ]   A .   Bu rn s,  Do in g   a c ti o n   re se a rc h   in   En g li s h   la n g u a g e   tea c h i n g g u i d e   fo Pr a c ti ti o n e rs .   L o n d o n   &   Ne w   Yo rk :   Ro u tl e d g e ,   2 0 1 0 .     [2 5 ]   J.W .   Cre s we ll ,   Ed u c a t io n a re se a rc h Pl a n n i n g ,   c o n d u c ti n g ,   a n d   e v a lu a ti n g   q u a n ti ta ti v e   a n d   q u a li ta ti v e   re se a rc h .   M a ss a c h u se tt s,  M A P e a rso n   Ed u c a ti o n ,   I n c . ,   2 0 1 2 .     [2 6 ]   H.K.  W o n g   a n d   R. T .   W o n g ,   T h e   fi rs d a y o sc h o o l:  Ho to   b e   a n   e ff e c ti v e   tea c h e r.  M o u n tai n   Vie w ,   C A Ha rr y   K.  W o n g   P u b l ica ti o n s,   2 0 0 9 .     [2 7 ]   D.D.  P a ig e ,   G . S .   S m it h ,   a n d   J. M .   S ize m o re ,   Co n c e p tu a li z in g   rig o a n d   it im p li c a ti o n f o e d u c a ti o n   i n   th e   e ra     o f   th e   c o m m o n   c o re ,   Co g e n E d u c a ti o n v o l.   2 ,   n o .   1 ,   p p .   1 - 1 0 ,   2 0 1 5 .   [2 8 ]   P .   S c h lec h ty ,   Cre a ti n g   th e   c a p a c it y   to   su p p o rt   in n o v a ti o n s,”   Oc c a sio n a P a p e r ,   n o .   2 ,   p p .   1 - 2 4 ,   2 0 0 5 .   [ O n li n e ].   Av a il a b le:  h tt p :/ /sc h lec h ty c e n ter. o rg     [2 9 ]   L .   Ba e c h e r,   T .   F a rn s w o rth ,   A .   Ed ig e r,   T h e   c h a ll e n g e s   o f   p lan n in g   lan g u a g e   o b jec ti v e in   c o n ten t - b a se d   ES L   in stru c ti o n ,   L a n g u a g e   T e a c h i n g   Res e a rc h v o l.   18 ,   n o .   1 ,   p p .   1 1 8 - 1 3 6 ,   2 0 1 3 .     [3 0 ]   B.   Ho ,   Us in g   les so n   p la n s a s a   m e a n s o f   re f lec ti o n ,   EL T   J o u r n a l v o l.   49 ,   n o .   1 ,   p p . 6 6 - 7 1 ,   1 9 9 5 .     [3 1 ]   P . D.  Jo h n ,   Co u rse ,   c u rricu lar  a n d   c las sro o m   in f lu e n c e o n   t h e   d e v e lo p m e n o f   stu d e n tea c h e rs’  les so n   p lan n in g   p e rsp e c ti v e s,”   T e a c h in g   a n d   T e a c h e r E d u c a ti o n v o l.   7 ,   n o .   1 ,   p p .   3 5 9 - 3 7 3 ,   1 9 9 1 .   [3 2 ]   P . D.  J o h n ,   T h e   i n teg ra ti o n   o f   re se a rc h   v a li d a ted   k n o w led g e   w it h   p ra c ti c e L e ss o n   p lan n i n g   a n d   t h e   stu d e n t   h ist o ry   tea c h e r,   Ca mb rid g e   J o u rn a o E d u c a t io n v o l.   24 ,   n o .   1 ,   p p .   3 3 - 4 9 ,   1 9 9 4 .     [3 3 ]   LL .   W a rr e n ,   T e a c h in g   p lan n i n g A   li tera tu re   re v ie w ,   Ed u c a ti o n a Res e a rc h   Qu a rte rly v o l.   24 ,   n o .   1 ,   p p .   3 7 - 4 2 ,   2 0 0 0 .     [3 4 ]   P .   Ke e le y ,   S c ien c e   Fo rm a ti v e   Asse ss me n t:  7 5   p ra c ti c a stra te g ies   fo li n k i n g   a ss e ss me n t,   in stru c ti o n ,   a n d   lea rn i n g .   T h o u sa n d   Oa k s,  CA Co rw in /NS TA   P re ss ,   2 0 0 8 .     [3 5 ]   B.   S im o n se n ,   S .   F a ir b a n k s,  A .   Bries c h ,   D.  M y e rs,  G .   S u g a i,   E v i d e n c e - b a se d   p ra c ti c e in   c las sro o m   m a n a g e m e n t:   Co n sid e ra ti o n s f o re se a rc h   to   p ra c ti c e ,   Ed u c a ti o n   a n d   T re a tme n o Ch il d re n v o l.   31 ,   n o .   3 ,   p p .   3 5 1 - 3 8 0 ,   2 0 0 8 .     [3 6 ]   J.M .   S c h u l d h e isz   a n d   H.   v a n   d e M a rs,  A c ti v e   su p e rv isio n   a n d   st u d e n ts’   p h y sic a a c ti v it y   in   m id d l e   sc h o o l   p h y sic a l   e d u c a ti o n ,   J o u r n a l   o T e a c h i n g   i n   Ph y sic a l   Ed u c a ti o n v o l.   21 ,   n o .   1 ,   p p .   7 5 - 9 0 ,   2 0 0 1 .     [3 7 ]   G .   Co lv in ,   G .   S u g a i,   R. H.  G o o d   I ll ,   a n d   Y - Y L e e ,   Us in g   a c ti v e   su p e rv isio n   a n d   p re - c o rre c ti o n   to   i m p ro v e   tran siti o n   b e h a v io rs i n   a n   e lem e n tar y   sc h o o l,   S c h o o Psy c h o l o g y   Qu a rte rly ,   v o l.   1 2 ,   n o .   1 ,   p p .   3 4 4 - 3 6 1 ,   1 9 9 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.