I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   14 ,   No .   3 J u n e   20 25 ,   p p .   1 59 7 ~ 1 60 7   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 14 i 3 . 3 1 0 8 1       1597     J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   M ultiple - c utof re g ress io n disco ntin uity desig ns in  ed uca tiona ev a lua tion       H y eo nJ in Yo o n 1 ,   K eit h Z v o c h 2 ,   K eit h Sm o lk o wsk i 3 ,   B en  Cla rk e 4   1 N e b r a s k a   C e n t e r   f o r   R e se a r c h   o n   C h i l d r e n ,   Y o u t h ,   F a m i l i e s,   a n d   S c h o o l s,  U n i v e r si t y   o f   N e b r a s k a - Li n c o l n ,   L i n c o l n ,   U n i t e d   S t a t e s   2 D e p a r t me n t   o f   E d u c a t i o n a l   S t u d i e s C o l l e g e   o f   E d u c a t i o n U n i v e r s i t y   o f   O r e g o n E u g e n e ,   U n i t e d   S t a t e s   3 O r e g o n   R e sea r c h   I n st i t u t e E u g e n e ,   U n i t e d   S t a t e s   4 D e p a r t me n t   o f   S c h o o l   P sy c h o l o g y C o l l e g e   o f   E d u c a t i o n E u g e n e ,   U n i t e d   S t a t e s       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   May   5 2 0 2 4   R ev is ed   Feb   7 2 0 2 5   Acc ep ted   Feb   14 2 0 2 5       Th e   re g re ss io n   d isc o n ti n u i ty   d e si g n   (RDD c a n   b e   u se d   f o e v a l u a ti n g   c u t - sc o re   b a se d   e d u c a ti o n a i n terv e n ti o n s.  Th e   d e sig n   e n a b les   re se a r c h e rs  a n d   e v a lu a to rs  t o   e stim a te  th e   lo c a c a u sa e ffe c o a n   i n terv e n ti o n   p r o v i d e d   t o   th o se   w h o   a re   m o st   a t - risk .   I n   c e r tain   e d u c a ti o n a e v a l u a ti o n s,  a n   RDD   with   m u lt ip le  c u t o ffs  c a n   a lso   b e   a p p li e d ,   wh e re   d iffere n c u t o ffs  a c ro ss   c las sro o m o sc h o o ls  a re   u se d   to   a ss ig n   stu d e n ts  t o   th e   in terv e n ti o n   c o n d i ti o n .   T h e   a v a il a b il it y   o m u lt ip le  c u t o ffs  a ll o ws   e stim a ti o n   o a   p o o led   a v e ra g e   trea tme n e ffe c a c ro ss   c u to ffs  a n d /o r   in d i v id u a e stim a tes   a e a c h   c u to ff  l o c a ti o n ,   a ll o wi n g   f o t h e   p o ss ib il it y   o h e tero g e n e o u trea tme n t   e ffe c ts.  Th e   p u rp o se   o f   t h is  p a p e is  t o   d e m o n stra te  t h e   d e sig n   a n d   a n a l y sis  o t h e   m u lt ip le - c u to ff   re g re ss io n   d isc o n ti n u it y   ( M CRD)  d e sig n   f o r   th e   e v a lu a ti o n   o n e e d - b a se d   e d u c a ti o n a p ro g ra m s.  Us in g   d a ta  o b tai n e d   fro m   a   k in d e rg a rten   m a th e m a ti c in ter v e n ti o n   fo r   l o a c h ie v in g   st u d e n ts,   we   il lu stra te  th e   u t il it y   o t h e   M C RD  d e sig n   fo e x a m in in g   th e   a v e ra g e   a n d   p o ten ti a v a riab il it y   o th e   re g re ss io n   d isc o n ti n u i ty   ( RD )   trea tme n e ffe c t.   Im p li c a ti o n s f o e v a l u a ti o n   re se a rc h   a n d   p ra c ti c e   in   e d u c a ti o n   a re   d isc u ss e d .   K ey w o r d s :   E ar ly   m ath   in ter v en tio n   Hete r o g en eity   o f   tr ea tm en ef f ec t   Mu ltip le - cu to f f s   Mu lti - s ite  ev alu atio n   R eg r ess io n   d is co n tin u ity   d esig n s   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Hy eo n J in   Yo o n   Neb r ask C en ter   f o r   R esear ch   o n   C h ild r en ,   Yo u th ,   Fam ilies ,   an d   Sch o o ls ,   Un i v er s ity   o f   Ne b r ask a - L in co l n   6 1   C ar o ly n   Po p E d war d s   Hall  L in co ln ,   Neb r ask a,   6 8 5 8 8 - 0 2 3 5 ,   Un ited   States   E m ail: h y o o n 5 @ u n l.e d u       1.   I NT RO D UCT I O N   Alth o u g h   th r an d o m ized   c o n tr o tr ial  ( R C T )   p r o v id es  th m o s s tr aig h tf o r war d   r o u te   to   ca u s al  in f er en ce ,   p r ac tical  an d   eth ic al  co n ce r n s   ca n   m ak its   im p lem en tatio n   in   ed u ca tio n al  ev alu atio n   co n te x ts   ch allen g in g   [ 1 ] ,   [ 2 ] .   Fo r   ex am p le,   wh en   an   in ter v e n tio n   p r o g r am   o r   s er v ice  is   o f f er ed   o n ly   to   s tu d en ts   m o s t in   n ee d ,   th m ec h an is m   b y   wh ich   s tu d en ts   ar ass ig n e d   to   co n d itio n s   is   p r ed eter m in ed   b y   p r o g r am   ad m in is tr ato r s .   Ho wev er ,   if   s er v ice  elig ib ilit y   is   id en tifie d   s o lely   o n   th e   b asis   o f   a   cu ts co r o n   p r e p r o g r am   m ea s u r ( e. g . ,   in co m lev el,   r ea d in g   s co r e ) ,   r esear ch e r s   an d   ev alu ato r s   m a y   b a b le  to   p r o d u ctiv ely   le v er ag e   th ass ig n m en m ec h an is m   th at  is   u s ed   to   s y s tem atica l ly   allo ca te  p r o g r a m   r eso u r c es.  C u ts co r e - b ased   ass ig n m en y ield s   a   r eg r ess io n   d is co n tin u ity   ( R D)   d esig n   t h at  f ac ilit ates  ca u s al  in f er e n c as  th p r o ce s s   o f   ass ig n m en t to   tr ea tm en t c o n d i tio n s   is   co m p letely   k n o wn   an d   ca n   b ac c o u n ted   f o r   in   th i m p ac t m o d el  [ 3 ] .   T h R d esig n   h as  b ec o m an   in cr ea s in g ly   p o p u lar   alter n ativ f o r   s u p p o r ti n g   ca u s al  in f er en ce   i n   p r o g r a m   e v alu atio n   an d   o t h er   f ield - b ased   r esear ch   c o n tex ts   [ 4 ] ,   [ 5 ] .   T h attr ac tiv e n ess   o f   R s tem s   f r o m   its   r elativ ely   s im p le  s tr u ct u r a n d   f it   with   th e   n ee d - b ased   s er v ice  d eliv er y   p r ac tices  th at  ar e   co m m o n   in   ap p lied   s ettin g s .   T h s tr u ctu r is   s im p le  as  o n ly   an   ass ig n m e n v ar i ab le  th at  co m p letely   d eter m in es  th allo ca tio n   o f   in d iv id u als  to   co n d itio n s   ( i.e . ,   th o s s co r in g   o n   o n s id o f   cu to f f   s co r r ec eiv tr ea tm e n an d   th o s o n   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   3 J u n e   20 25 :   1 59 7 - 1 60 7   1598   o th er   s id d o   n o t)   an d   s co r es  o n   an   o u tco m e   o f   in ter est  ar n ee d ed .   Alth o u g h   th n o n r a n d o m   d is tr ib u tio n   o f   in d iv id u als  o r   u n its   to   co n d itio n s   wo u ld   s ee m   to   in v alid ate  th d esig n ,   in co r p o r atin g   th ass ig n m en v ar iab le  an d   th tr ea tm en in d icato r   in   th an aly s is   o f   p r o g r am   o u tco m es  estab lis h es  co n d itio n al  in d ep e n d en ce   b etwe en   tr ea tm en ass ig n m en t   an d   o u tco m es  [ 6 ] .   T h k ey   i d ea   is   th at  in d iv id u als  ju s b elo an d   ju s ab o v th cu to f f   ar ass u m ed   to   b s im ilar   in   all  r e s p ec ts   ( e. g . ,   d em o g r ap h ic  ch ar ac ter is tics ) ,   ex ce p f o r   wh eth er   th ey   r ec eiv ed   th tr ea tm en t .   T h er ef o r e ,   an y   d if f er en ce   in   o u tco m es  b etwe en   th two   g r o u p s   ca n   b attr ib u ted   to   th tr ea tm en t   [ 3 ] ,   [ 6 ] .   Desp ite  th is   p r ac tical  ad v an tag e,   th e   b asic  R d esig n   h as  s ev er al  l im itatio n s   th at  ca n   r ed u ce   its   u tili ty .   T h b asic  R d esig n   is   less   ef f icien th a n   co m p ar ab le  R C T   d u to   th h ig h   c o r r elatio n   b etwe en   th e   ass ig n m en v ar ia b le  an d   th e   b in a r y   tr ea tm en t   in d icato r ,   th u s   r eq u ir i n g   m o r e   ca s es  f o r   th e   s am e   s tatis t ical  p o wer   [ 7 ] .   Ad d itio n ally ,   in   th b asic  R d esig n ,   ca u s al  in f er en ce   is   lim ited   to   th cu to f f   as   tr ea tm en an d   c o n tr o l   ca s es  d o   n o o v er lap   b e y o n d   th e   cu t o f f   v al u [ 8 ] .   C o n s eq u e n tly ,   f o r   th o s e   in ter ested   in   ass es s in g   p r o g r am   ef f ec tiv en ess   at  o th er   p o in ts   in   th ass ig n m en v ar iab le  d is tr ib u tio n ,   th lo ca im p ac t   esti m ate  m ay   h av s o m ewh at  l im ited   v alu e.   T h b asic  R d esig n   h as  e v o lv ed   in to   m u ltip le  d esig n   v ar ian ts   to   ad d r ess   th co m p lex ity   o f   ev alu atio n   co n tex ts   i n   th e   f iel d   o f   ed u ca tio n .   On e   co m m o n   v ar iatio n   is   t h u tili za tio n   o f   m u ltip le  cu to f f s   in   R d esig n .   T h m u ltip le - cu to f f   r eg r ess io n   d is co n tin u ity   ( M C R D)   d esig n   ar is es  f r o m   v ar iatio n s   in   th cu to f f s   u s ed   to   ass ig n   in d iv id u als  o r   u n its   to   co n d itio n s   [ 9 ] [ 1 2 ] .   Fo r   ex am p le,   s ch o o d is tr ict s   m ay   u s d if f er en r ea d in g   ass ess m en s co r cu to f f s   as  th elig ib ilit y   cr iter ia  f o r   in v itin g   s tu d en ts   to   s u m m er   s ch o o l,  o r   u n iv er s ities   m ay   u s d if f e r en in co m elig ib ilit y   th r esh o ld s   f o r   d eter m i n in g   f i n an cial  aid   r e cip ien ts .   T o   d ate,   th e   m o s co m m o n   a n aly tic  m eth o d   f o r   th MCR d esig n   is   esti m atin g   an   av er ag R tr ea tm en ef f ec t   b y   p o o lin g   tr ea tm en esti m ates  ac r o s s   cu to f f s   ( i.e . ,   th ce n ter in g - an d - p o l lin g   ap p r o ac h )   [ 9 ] ,   [ 1 0 ] .   T h e   p o o led   R esti m ate  p r o v id es  a   s u m m ar y   o f   th e   a v er ag t r ea tm en e f f ec ac r o s s   cu to f f s .   Ho wev er ,   th u s o f   th p o o lin g   m eth o d   m ay   ig n o r h ete r o g e n eity   in   th tr ea tm en ef f ec esti m at es  at  d if f er en cu to f f   lo ca tio n s   [ 9 ] .   W h en   tr ea tm e n ef f ec ts   v ar y   ac r o s s   cu to f f s ,   s im p ly   av er ag in g   th ese  ef f ec ts   ca n   o b s cu r ev id en ce   th at  th e   in ter v e n tio n   was m o r o r   less   ef f ec tiv f o r   p ar ticip an ts   at  d if f er e n cu t p o in ts .   As  r esu lt,  th p u r p o s o f   th is   p ap er   is   to   d em o n s tr ate  m o d elin g   ap p r o ac h es  th at  allo f o r   s im u l t a n e ou s   esti m atio n   o f   th av er ag MCR tr ea tm en ef f ec an d   th e   p o ten tial  h eter o g en eity   in   e f f ec ts   ac r o s s   in ter v en tio n   s ites .   Usi n g   d ata   f r o m   a   k in d e r g ar ten   m ath em atics  in ter v en tio n   tar g etin g   lo ac h iev in g   s tu d en ts   at - r is k   f o r   d ev el o p in g   a   lear n in g   d is ab ilit y ,   we  illu s tr ate  th ap p licatio n   o f   MC R u s in g   p ar am etr ic   an d   n o n p ar am etr ic  m o d elin g   [ 3 ] ,   [1 3 ]   a n d   esti m ate  an d   m o d el  in ter v en tio n   ef f ec h eter o g en eity   ac r o s s   cu to f f s .   T h cu r r en d em o n s tr atio n   u tili ze s   s m all  with in - cu to f f   u n it  s am p les,  wh ic h   m ir r o r   r ea l - wo r ld   ev alu atio n   co n tex ts   well  [1 4 ] .   Ho wev er ,   s m all  s am p les   r ed u ce   th s tatis tical  p o wer   o f   t h R es tim ates  a ea ch   lo ca cu t o f f   [ 7 ] .   T h er e f o r e,   wh ile  we  u s b o th   p ar am etr ic  an d   n o n p a r am etr ic  m et h o d s   to   d em o n s tr ate  th e   MCR d esig n   an d   an aly s is ,   we  o n ly   im p lem en th e   p ar a m etr ic  m eth o d   to   e x p lo r e   h eter o g en eity   i n   im p ac ts   ac r o s s   tr ea tm en s ites   a s   th n o n p a r am etr ic  m eth o d   d o es  n o s u p p o r th m o r co m p lex   m o d el  r eq u ir ed   f o r   s u ch   an aly s is .   T h p r o p o s ed   m eth o d   o f f er s   a   p r ac tical  s o l u tio n   f o r   e v alu atin g   ed u ca tio n a p r o g r am s   t h at  u s e   d if f er en c u to f f s   ac r o s s   m u ltip le  in ter v en tio n   u n its   o r   s ites ,   esp ec ially   in   co n te x ts   with   s m all  s am p le  s izes,   an d   p r o v id es a   v alu ab le  co n tr i b u tio n   to   r esear ch   o n   ev alu ati o n   m eth o d s   in   ed u ca tio n .       2.   M E T H O D   2 . 1 .     Da t a   s o urce   Ma th em atics  in ter v en tio n   d ata  wer co llected   f r o m   2 0 1 2   to   2 0 1 5   in   c o n ju n ctio n   with   u n iv er s ity s ch o o d is tr ict  co llab o r atio n   d esig n ed   to   ev alu ate  th im p ac o f   s m all - g r o u p ,   tier   2   [1 5 ]   k in d er g ar te n   m ath em atics  in ter v en tio n ,   R OOT S .   I n   t h f i r s two   y e ar s   o f   th p r o ject,   s tu d y   p ar ticip an ts   atten d ed   k in d er g a r ten   in   o n o f   f o u r   s ch o o d is tr icts   in   Or eg o n ,   U n ited   S tates o n s ch o o d i s tr ict  lo ca ted   in   th e   Po r tlan d   m etr o p o litan   ar ea   an d   th r ee   lo ca ted   in   s u b u r b an   a n d   r u r al  ar ea s   o f   wester n   Or e g o n   ( 5 1   class r o o m s   f r o m   1 3   s ch o o ls   in   to tal) .   I n   y ea r s   two   an d   th r ee ,   two   s ch o o d is tr icts   f r o m   th m etr o p o litan   ar ea   o f   B o s to n ,   Ma s s ac h u s etts ,   Un ited   State s ,   also   p ar ticip ated   ( 5 5   class r o o m s   f r o m   9   s ch o o ls   in   to tal) .     2 . 2 .     RO O T S inte rv ent io n   R OOT is   a   5 0 - less o n ,   tier   2   k in d er g a r ten   m ath em atics  in ter v en tio n   tar g etin g   s tu d en t s   with   o r     at - r is k   f o r   m ath   lear n in g   d is ab ilit ies.  Dir ec m ath   in s tr u ctio n   was  d eliv er ed   to   s tu d en ts   in   s m all   g r o u p s   ( m ax im u m   o f   f iv e   s tu d en ts )   a cr o s s   1 0 6   class r o o m s .   E ac h   s ess io n   last ed   2 0   m in u tes an d   to o k   p lace   f iv d a y s   wee k   o v er   a   1 0 - wee k   p er i o d .   R OOT u s es  ev id en ce - b ased   p r ac tices  to   en h a n ce   n u m b er   s en s an d     wh o le - n u m b er   c o n ce p ts ,   c o v e r in g   co u n tin g   an d   ca r d in ality ,   n u m b er   o p e r atio n s ,   an d   b ase  t en /p lace   v alu e.   T h e   in ter v en tio n   in co r p o r ates  f o u r   v alid ated ,   e x p licit,  an d   s y s tem atic  in s tr u ctio n al  p r ac tices:  teac h er   m o d elin g ,   d elib er ate  p r ac tice,   v is u al  r e p r esen tatio n s   o f   m ath em atics,  an d   ac ad em ic  f ee d b ac k .   A d d itio n ally ,   R OOT S   aim s   to   p r o m o te  s tu d en t e n g ag em en t b y   p r o v id in g   s tr u ct u r ed   o p p o r tu n ities   f o r   s tu d en t r esp o n s es.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Mu ltip le - cu to ff reg r ess io n   d is co n tin u ity  d esig n s   in   e d u ca tio n a l e va lu a tio n   ( Hye o n Jin   Yo o n )   1599   2 . 3 .     M ea s ures   2 . 3 . 1 .   Ass ess i ng   s t ud ent   pro f iciency   in ea rly   nu m ber  s ens e   ( ASPENS)   Ass es s in g   s tu d en p r o f icien cy   in   ea r ly   n u m b e r   s en s ( ASPE NS)   was  o n o f   two   s cr ee n in g   m ea s u r es   th at  co m p r is ed   th ass ig n m en v ar iab le  u s ed   to   i d en tify   s tu d en ts   f o r   in clu s io n   in   th e   R OOT in ter v en tio n .   ASPENS  wa s   d esig n ed   to   s cr ee n   an d   m o n ito r   th p r o g r e s s   o f   s tu d en ts   wh o   ar at   r is k   f o r   m ath em atics   d if f icu lty   in   Gr a d es  th r o u g h   1   [1 6 ] .   T h k i n d er g a r ten   A SP E NS  as s es s m en co m p r is es  th r ee   cu r r icu lu m - b ased   m ea s u r es:  n u m b e r   id en t if icatio n   ( 1 1 2   item s ) ,   m ag n itu d co m p a r is o n   ( 5 6   item s ) ,   an d   m is s in g   n u m b e r s   ( 4 2   item s ) ,   ea ch   i n d iv id u ally   ad m in is ter ed   f o r   o n m i n u te.   C h ild r en   n am e   n u m b er s   q u ic k ly ,   id e n tify   g r ea ter   n u m b er s ,   a n d   d ete r m in m is s in g   n u m b er s   f r o m   s tr in g s .   E a ch   s u b test   s co r es  co r r ec o r   in co r r ec r esp o n s es,   with   co m p o s ite  s co r d e r iv ed   f r o m   weig h ted   s u b test   s co r es  b ased   o n   s tan d a r d   d e v iatio n   ( SD)   o f   th r aw   s co r es   [1 6 ] .   Fo r   th cu r r e n d ata,   th p r etest  AS PENS  co m p o s ite  r an g ed   f r o m   0   to   2 5 3 . 9   ( M= 5 7 . 0 1 ,   SD=4 7 . 6 8 ) ,   with   ac ce p tab le  te s t r etest r eliab ilit ies ( r =. 7 4 - . 8 5 ) .     2 . 3 . 2 .   Num ber  s ens brief   ( N SB )   T h n u m b e r   s en s b r ief   ( NSB ) ,   th s ec o n d   s cr ee n in g   m ea s u r u s ed   to   co n s tr u ct  th ass ig n m en v ar iab le  [1 7 ] ,   id en tifie s   s tu d en ts   at  r is k   f o r   later   d if f icu lties   in   ad v an ce d   m ath em atics  co n ce p ts .   Stu d en ts   n u m er ical  c o m p eten cies,   in c lu d in g   co u n tin g   k n o wled g e,   n u m b er   r ec o g n itio n ,   co m p ar is o n s ,   n o n - v er b al  ca lcu latio n ,   an d   s to r y   p r o b le m s   ar ass ess ed .   Ad m in is ter ed   in d iv i d u ally   a n d   u n tim ed ,   it  co m p r is es  3 3   p o s s ib le  item s   s co r ed   as  co r r ec o r   in co r r ec t,  y ield in g   to ta s co r r an g o f   0   to   3 3 .   T est r etest  r eliab ilit ies   r an g ed   f r o m   . 7 8   t o   . 8 6   [1 8 ] .   P r ed ictiv v alid ity ,   ass ess ed   b y   th co r r elatio n   b etwe en   NSB   s co r es  in   Gr ad es  K   th r o u g h   1   a n d   Gr a d 3   W o o d c o ck J o h n s o n   Ach iev em e n t T e s t sco r es,  r an g ed   f r o m   . 6 2   to   . 6 4   [ 1 8 ].     2 . 3 . 3 .   Sta nfo rd  ea rly   s cho o a chiev em ent   t est  2   m a t hem a t ics   ( SE SA T   2 )   T h Stan f o r d   ea r l y   s ch o o ac h iev em en test   2   ( SESAT   2 )   m ath em atics  is   th k in d e r g ar ten   v er s io n   o f   th Stan f o r d   ac h ie v em en t te s 1 0 th   ed itio n   s er ies ( SAT - 10 [ 19 ] .   T h SESAT   2   s er v e d   as th p o s ttes t m ea s u r in   th c u r r en t   s tu d y .   T h e   SESAT   2   m ea s u r es  ea r ly   m at h em atica l   s k ills ,   in clu d in g   n u m b er   r ec o g n itio n ,   co u n tin g ,   an d   b asic  o p er atio n s   s u ch   as  s im p le  ad d itio n   an d   s u b tr ac tio n .   T h in ter n al  co n s is ten cy   o f   SESAT   2   m ath em atics  was r ep o r ted   as . 8 8   in   o n s tu d y   [2 0 ] .     2 . 4 .     O rig ina l r esea rc h desi g n:  RCT   Stu d en ts   wer f ir s co n s id er ed   elig ib le  f o r   th R OOT in ter v en tio n   if   th ey   s co r e d   2 0   o r   less   o n   th NSB   an d   h ad   a   co m p o s ite  ASPENS  s co r th at  p lace d   th e m   in   th s tr ateg ic  o r   in ten s iv r a n g e.   T h ASPENS   an d   NSB   s co r es o f   R OOT S - el ig ib le  s tu d en ts   wer th en   s ep ar ately   co n v er te d   in to   s tan d ar d   s co r es,  an d   th two   s tan d ar d   s co r es  wer s u m m ed   to   co m p u te  an   o v e r all  co m p o s ite  s co r e.   T h co m p o s ite  s tan d ar d   s co r es  o f   R OOT S - elig ib le  s tu d en ts   wer r an k - o r d er ed   with in   ea c h   cl ass r o o m ,   an d   th e   lo west  s co r i n g   10   s tu d en ts   wer e   th en   r an d o m ly   ass ig n ed   t o   o n o f   two   co n d itio n s R OOT g r o u p   [2 1 ]   o r   a   n o - t r ea tm en b u s in ess - as - u s u al  ( B AU)   co n tr o l c o n d itio n   ( i.e . ,   r an d o m   ass ig n m en t a t stu d en t - lev el  with in   ea ch   class r o o m ) .     2 . 5 .     Curre nt  re s ea rc h desi g n:  M CRD   R an k   o r d er in g   o f   th co m p o s ite  s tan d ar d   s co r es  in   ea ch   class r o o m   to   id en tify   th 10   lo west - p er f o r m in g   s tu d en ts   r esu lted   i n   1 0 6   u n iq u c u to f f   s co r es  ( o n f r o m   ea ch   class r o o m ) ,   en a b lin g   t h cr ea tio n   o f   th cu r r en s y n th etic  MCR d esig n   [ 8 ] .   Sp ec i f ically ,   f r o m   th R C T   d ataset,   a   s in g le  c u to f f   b ased   o n   th e   ass ig n m en v ar iab le  co n tin u u m   an d   th t r ea tm en ass ig n m e n r u le  wer d ete r m in ed ,   d iv id in g   th o b s er v atio n s   in to   eith er   th tr ea tm en o r   co n tr o co n d itio n .   T h en ,   an   R tr ea tm en ( R D - T )   g r o u p   was  cr ea ted   b y   ex clu d in g   all  co n tr o l   g r o u p   o b s er v atio n s   in   th e   tr ea ted   s id e   ( e. g . ,   b e lo th c u to f f ) ,   a n d   an   R co n tr o l   g r o u p   was  cr ea ted   b y   e x clu d in g   all   tr ea ted   o b s er v atio n s   in   th e   co n tr o s id ( e . g . ,   ab o v t h c u to f f ) .   Fo llo win g   t h is   ap p r o ac h ,   th MCR d ata  w er co n s tr u cted   f r o m   th R C T   d ataset  f o r   ea ch   class r o o m .   Sp ec if ically ,   we  cr ea ted   an   R tr ea tm en ( R D - T )   g r o u p   b y   ex clu d in g   all  co n tr o g r o u p   o b s er v atio n s   b elo w   th cu to f f   i n   ea ch   class r o o m   wh ile  th e   R co n tr o ( R D - C )   g r o u p   in   ea ch   c lass r o o m   co m p r is ed   s tu d e n ts   wh o s ass ig n m e n v ar iab le  s co r es   f ell  ab o v e   th e   class r o o m   c u to f f .   I n   to tal,   1 0 6   u n iq u e   cu to f f   s co r es   ( o n f o r   ea c h   class r o o m )   wer id en tifie d ,   r a n g in g   f r o m   - 2 . 1 7   to   0 . 2 4   ( M= - . 7 5 ,   SD=. 4 2 ) .   T h m ajo r ity   o f   th e   class r o o m   c u to f f   v alu es  wer b elo 0 ,   in d icatin g   th at  th R OOT clas s r o o m s   wer ty p ically   b elo th m ea n   v alu o n   th co m p o s ite   s cr ee n in g   m ea s u r e.   T h R D - T   g r o u p   ( n = 6 4 0 )   an d   t h R D - C   g r o u p   ( n =1 , 2 6 0 )   co n s is ted   o f   s im ilar   p r o p o r tio n s   o f   f em ale  an d   eth n ic  m in o r ity   s tu d en ts .   T h R D - T   g r o u p   in clu d ed   m o r E n g lis h   lan g u ag lear n er s   an d   m o r e   s tu d en ts   r ec eiv in g   s p ec ial  e d u ca tio n   s er v ices  th a n   th R D - C   g r o u p .   As  ex p ec ted   g iv en   th u s o f   a     cu to f f - b ased   tr ea tm en ass ig n m en r u le,   b o th   ass ig n m en v a r iab le  an d   p o s ttes s co r es  wer lo wer   in   th R D - g r o u p   th an   i n   th R D - C   g r o u p .   T ab le  1   p r esen ts   co u n ts   an d   d em o g r a p h ic  in f o r m atio n   f o r   t h two   R g r o u p s   id en tifie d   in   th is   s tu d y   ( N= 1 , 9 0 0 ) .       Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   3 J u n e   20 25 :   1 59 7 - 1 60 7   1600   T ab le  1 .   Stu d e n ch ar ac ter is tics   an d   m ea n   a n d   SD   o f   ass ig n m en t sco r es b y   tr ea tm e n t a s s ig n m en t c o n d itio n   in   th MCR d esig n   V a r i a b l e s   RD - T   ( n = 6 4 0 )   RD - C   ( n = 1 , 2 5 6 )   F e m a l e   n   ( % )   3 3 4   ( 5 2 . 2 )   6 2 7   ( 4 9 . 9 2 )   E t h n i c   m i n o r i t y   n   ( % )   7 0   ( 1 1 . 0 )   1 5 3   ( 1 2 . 2 )   E n g l i s h   l a n g u a g e   l e a r n e r   n   ( % )   1 2 4   ( 1 9 . 4 )   1 2 7   ( 1 0 . 1 )   S t u d e n t   w i t h   d i s a b i l i t i e s   n   ( % )     4 7   ( 7 . 3 )   3 7   ( 2 . 9 5 )   A g e   i n   y e a r s   M   ( SD )   5 . 2 7   ( 0 . 4 4 )   5 . 4 1   ( 0 . 4 9 )   A S P E N S   c o m p o s i t e   s c o r e s   M   ( SD )   2 1 . 8 7   ( 1 7 . 5 0 )   7 4 . 7 9   ( 3 7 . 3 7 )   N S B   t o t a l   r a w   s c o r e s   M   ( SD   1 2 . 2 2   ( 3 . 7 5 )   1 9 . 8 8   ( 4 . 8 0 )   C o m p o s i t e   s t a n d a r d   s c o r e s *   M   ( SD )   - 1 . 5 2   ( 0 . 7 3 )   1 . 2 7   ( 1 . 4 0 )   S p r i n g   S E S A T   2   m a t h e m a t i c s   s c o r e s   M   ( SD )   4 6 0 . 2 2   ( 3 5 . 4 3 )   4 9 4 . 3 8   ( 3 7 . 8 7 )   N o t e .   T o t a l   M C R D   s a m p l e   a c r o s s   o n   c o n d i t i o n s ,   N = 1 , 9 0 0 .   * C o m p o s i t e   s t a n d a r d   s c o r e s = c o m p o s i t e   s t a n d a r d   s c o r e s   c r e a t e d   f r o m   c o m b i n i n g   s t a n d a r d   A S P E N S E   a n d   N S B   s c o r e s       2 . 6 .     Ana ly t ic  pro ce du re s   Pri o r   t o   c o n d u cti n g   t h e   MCR a n al y s es ,   th e   ass i g n m en v a r ia b l e   f o r   ea ch   class r o o m   was   ce n te r e d   a th e   c lass r o o m   c u t o f f ,   s o   th at  all  cl ass r o o m s   h a d   ze r o - cu t o f f   v al u e .   Ob s er v ati o n s   f r o m   all  cl ass r o o m s   w er e   th e n   m er g ed   i n t o   s i n g l d a ta s et,   r es u lti n g   in   a   s i n g le   c en te r ed   z er o - c u t o f f   ( C )   ac r o s s   c lass r o o m s .   T h is   p o o l ed   d at ase t w as  u s ed   f o r   all   s u b s e q u e n t   MCR D   a n al y s es.   All   a n al y s es   f o r   th is   s t u d y   we r e   im p l e m e n te d   i n   R   [2 2 ] .     2 . 6 . 1 .   M o del a s s um ptio ns   T o   ex am in th in ter n al  v alid i ty   o f   th p o o led   R esti m ate,   th p r im ar y   R m o d el  ass u m p tio n s   f o r   th MCR d esig n   wer test ed   at  th ce n ter e d   cu to f f   ( C )   [ 6 ] ,   [ 9 ] ,   [2 3 ] .   First,  we  ch ec k ed   wh eth er   th e   d is tr ib u tio n   o f   k e y   s tu d en ch ar ac ter is tics   ( co v ar iates) ,   s u ch   as  g en d er ,   ag e,   E n g lis h - lan g u ag lear n er   s tatu s ,   an d   s p ec ial  ed u ca tio n   s tatu s   was  b alan ce d   at  th cu to f f .   T h ex am in atio n   was  co n d u cted   b y   r eg r ess in g   th e   b aselin co v ar iates  o n   th ass ig n m en v ar iab le  an d   th tr ea t m en in d icato r   with in   an   o p ti m al  b an d wid th   th at   m in im izes  m ea n - s q u ar er r o r   ( MSE ) .   Seco n d ,   to   d eter m in if   th er was  m an ip u latio n   o f   th ass ig n m en s co r es  at  th cu to f f ,   we  ass ess ed   th d is co n tin u ity   in   th p r o b a b ilit y   d en s ity   f u n ctio n   u s in g   th Mc C r ar y     test   [2 4 ]   with   th r d d en s ity   v e r s io n   2 . 3   p ac k ag in   R   [2 5 ] .     2 . 6 . 2 .   P o o led pa ra m et ric  m ultiple - cut o f f   re g re s s io n dis co ntinuity   m o del   I n   th e   MCR d esig n ,   th p o o led   tr ea tm en t   ef f ec r ep r ese n ts   th av er a g tr ea tm e n ef f ec ac r o s s   d if f er en t   cu t   p o in ts   in   th e   ass ig n m en v a r iab le  c o n tin u u m   [ 9 ] Usi n g   th c o m b in e d   ( p o o led )   d ataset,   we   co n d u cte d   s tan d a r d   R an al y s is   at  th ce n ter ed   cu to f f   ( C )   to   esti m ate  th is   ef f ec t.  W u s ed   a   2 - lev el  lin ea r   m ix ed   m o d el  ( i.e . ,   m u ltil ev e m o d elin g )   [2 6 ]   with   r an d o m   in ter ce p a n d   f ix e d   s lo p es  to   esti m ate   th tr ea tm en ef f ec ac r o s s   class r o o m s .   T h m u ltil ev el  m o d el   was  u s ed   to   ad d r ess   th p o te n tial  d ep en d e n cies   th at   ar is f r o m   s tu d en ts   ( L ev el  1 )   n ested   with in   clas s r o o m s   ( L ev el  2 ) .   Po s ttes s tu d en SES AT   2   Ma th em atics   s co r es  ( L ev el  1 )   wer e   r e g r ess ed   o n   lin ea r ,   q u ad r atic,   an d   cu b ic  ter m s   o f   th ce n ter ed   ass ig n m en v ar ia b le,   th e   tr ea tm en in d icato r ,   a n d   in ter a ctio n   ter m s   b etwe en   th tr ea t m en in d icato r   a n d   ce n ter e d   a s s ig n m en v ar iab le No   p r ed icto r s   wer in clu d e d   at  th class r o o m   lev el  ( L ev el  2 ) .   P r ed icto r s   n o s tatis tically   ass o ciate d   with   th o u tco m e   wer r em o v ed   iter ativ el y,   s tar tin g   with   h ig h er - o r d er   ter m s ,   u n til   th m o s p ar s im o n i o u s   a n d     b est - f itti n g   m o d el   was  id en tif ied .   W u s ed   F - s tatis tics   an d   th Ak aik in f o r m atio n   cr iter i o n   ( AI C )   v alu to   d eter m in if   m o r co m p lex   m o d el  y ield ed   s tatis tically   s ig n if ican im p r o v em en ts .   T h g en er al  f o r m   o f   th p ar am etr ic  p o o led   MCR m o d el  is   s p ec if ied   in   ( 1 ) :      = γ 00 + γ 10 (  ) + γ 20 (  ) 2 + γ 30 (  ) 3 + γ 40  + γ 50 (  )  + γ 60 (  ) 2  + γ 70 (  ) 3  + u 0 + r      ( 1 )     W h er e,   Y ij   is   th SESAT   2   m ath em atics  s co r o f   s tu d en t   i   in   class r o o m   j ;   x ij  is   th ass ig n m en s co r f o r   s tu d en in   class r o o m   j ;   c   is   th cu to f f   f o r   class r o o m   j ;   Z ij   is   th d ich o t o m o u s   R OOT in ter v en tio n   in d icato r   f o r   s tu d en in   class r o o m   ( 0 =c o n tr o l,  1 =tr ea tm en t) ;   ( x ij - c )Z ij   is   th in ter ac tio n   b etwe en   ass ig n m en s co r an d   th R OOT in ter v en tio n   i n d icato r   f o r   s tu d en in   class r o o m   j ;   00   is   th m ea n   SESAT   m ath em atics  s co r e   f o r   t h c o n tr o l   g r o u p ;   10  is   th e   s lo p r elatin g   th e   ass ig n m en s co r to   th e   p o s ttes SESAT   m ath em atics  s co r e ;   20  is   th s lo p e   r elatin g   th e   q u a d r atic  ter m   o f   th e   ass ig n m en s co r to   t h p o s ttes SESAT   m ath em atics  s co r e ;   30  is   th s lo p r elatin g   th cu b ic  ter m   o f   th ass ig n m en s co r to   th p o s ttes SESAT   m ath em atics  s co r e ;     40  is   th d if f e r en ce   i n   th lin e ar   s lo p b etwe en   th two   co n d itio n s   ( 0 =c o n tr o l,  1 =tr ea tm e n t) ;   50  is   th s lo p e   f o r   th in ter ac tio n   b etwe en   th ass ig n m en s co r an d   th R OOT in ter v en tio n   in d icato r ;   60  is   th s lo p f o r   th in ter ac tio n   b etwe en   th q u ad r atic  ter m   o f   th ass ig n m e n s co r an d   th R OOT in te r v en tio n   in d icato r ;     Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Mu ltip le - cu to ff reg r ess io n   d is co n tin u ity  d esig n s   in   e d u ca tio n a l e va lu a tio n   ( Hye o n Jin   Yo o n )   1601   70  is   th s lo p f o r   th in ter ac tio n   b etwe en   th cu b ic  te r m   o f   th ass ig n m en s co r e   an d   th R OOT S   in ter v en tio n   in d icato r ;   an d   r ij  i s   th s tu d en t - lev el  r esid u al  ter m .   At  th class r o o m   lev el  ( L ev el  2 ) ,   th in ter ce p t   ( 0j was a llo wed   to   v ar y   b etwe en   class r o o m s ,   wh ile  all  s lo p es we r f ix ed   to   b co n s tan t a cr o s s   class r o o m s .       2 . 6 . 3 .     P o o led no np a ra m et ric   m ultiple - cut o f f   re g re s s io n dis co ntinuity   m o del   n o n p ar am etr ic  an al y s is   was   co n d u cted   u s in g   lo ca lin ea r   r eg r ess io n   ( L L R )   [1 3 to   s u p p l em en th p ar am etr ic  r esu lts .   First,  we  id en tifie d   an   MSE - o p tim al   b an d wid th   ( h )   ar o u n d   th e   cu to f f   u s in g   th e     I m b en s - Kaly an a r am an   ( I K)   p r o ce d u r e   [2 7 ] .   T h en ,   we  ap p lied   lin ea r   r eg r ess io n   with   tr ian g u lar   k e r n el   weig h ts   with in   th o p tim al  b a n d wid th   ( h ) .   T h n o n p ar a m etr ic  p o o led   R m o d el  is   d ef in ed   in   ( 2 ) :     Y ij   0   + 1 ( x ij   -   c j )+   2 Z ij     with   tr ian g le  k er n el  weig h ts   ( ) = ( | | ) { | | }   ( 2 )     W h er e,   x ij   is   th as s ig n m en s co r f o r   s tu d e n i   in   class r o o m   j ;   c j   is   th cu to f f   s co r f o r   c lass r o o m   j ;   an d   Z ij   is   th R OOT in ter v en tio n   in d icato r   f o r   s tu d en in   class r o o m   ( 0 =c o n tr o l,   1 =tr ea tm en t) .   T h e   ter m   2   r ep r esen ts   th m ag n itu d o f   t h tr ea tm en e f f ec at  th e   ce n ter ed   cu t o f f   C .   T o   ch ec k   th s en s itiv ity   o f   th e   r esu lts   to   th ch o ice  o f   b a n d w id th ,   we  r ep ea te d   th a n aly s is   u s in g   b an d wid th s   h alf   a n d   twi ce   th o p tim al  s ize  f o r   co m p ar is o n .   Stan d ar d   er r o r s   f o r   th n o n p ar am etr ic  esti m ates  wer ca lcu lated   u s in g   b o o ts tr ap p in g   tech n iq u es,  with   1 , 0 0 0   r ep etiti o n s .     2 . 6 . 4 .     M ultiple - cut o f f   re g re s s io n dis co nti nu it y   het er o g eneit y   mo del   2 - lev el   lin ea r   m ix ed   m o d el  was  u s ed   to   ex am i n p o te n tial  h eter o g en eity   i n   th e   ef f ec o f   th e   R OOT in ter v en tio n   ac r o s s   class r o o m s .   Fo llo win g   th b est - f itti n g   p ar am etr ic   p o o led   m o d el,   th b as e   co n d itio n al  MCR m o d el  was d ef in ed   as in   ( 3 ) .     Y ij = 00 + 10 ( x ij -   c j )+ 20 ( x ij - c j ) + 30   Z ij +   31 c j   Z ij +   0j + 3 j + r ij   ( 3 )     W h er e ,   Y ij   is   th p o s ttes SES AT   m ath em atics  s co r e   f o r   s tu d en in   class r o o m   j ;   x ij   is   th e   a s s ig n m en s co r f o r   s tu d en in   clas s r o o m   j ;   c j   is   th cu to f f   s co r f o r   class r o o m   j ;   Z ij   i s   th R OOT S   in ter v en tio n   in d icato r   f o r   s tu d en in   class r o o m   ( 0 =c o n tr o l,   1 =tr ea tm en t ) ;   00  is   th class r o o m   m ea n   SESAT   m at h em atics  s co r f o r   th co n tr o g r o u p ;   10  is   th e   s lo p r elatin g   th ass ig n m en s co r to   th p o s ttes SESAT   m ath em atics  s co r e ;   20  is   th s lo p r elatin g   th q u ad r atic  ter m   o f   th ass ig n m en s co r to   th p o s ttes SES AT   m ath em atics  s co r e ;   30   r ep r esen ts   th d i f f er en ce   in   t h p o s ttes s co r b etwe en   th e   tr ea tm en an d   co n tr o g r o u p s ;   0j   is   th r a n d o m   in ter ce p ter m ;   a n d   r ij   is   th e   s tu d en t - lev el  r esid u al  te r m .   T h tr ea tm en e f f ec was  m o d eled   to   v a r y   ac r o s s   class r o o m s   ( 3 j )   to   ex am i n th e   p o ten tial  h eter o g eity   o f   th esti m ated   tr ea tm en ef f ec ac r o s s   class r o o m s .   W e   also   in clu d ed   th e   class r o o m   c u to f f   v alu ( c j )   as  class r o o m - lev el  p r ed icto r   to   e x p lo r wh eth er   th class r o o m   ass ig n m en t c u to f f   v alu was a s s o ciate d   with   am p lify in g   o r   a tten u atin g   th tr ea tm e n t e f f ec ( 31 ) .         3.   RE SU L T S AN D I SCU SS I O N   3 . 1 .     Resul t s   3 . 1 . 1 .   Ass um ptio n t ests   T a b l e   2   p r e s e n ts   t h e   c o v a r i a t b a l a n c e   s t a t is ti c s .   A t   t h c e n te r e d   c u t o f f   ( C ) ,   t h e r e   w a s   n o   s t a ti s t i c al l y   s i g n i f i c a n t   d is c o n t i n u i t y   i n   an y   o f   t h e   t e s t e d   c o v a r i at e s .   T h e   M c C r a r y   t es t   al s o   r e v e ale d   s t at is t i c al l y   non - s i g n i f i c a n t   r e s u lt s ,   s u g g e s t i n g   th e r e   w a s   n o   s y s t e m a t i c   m a n i p u l a t i o n   o f   t h e   as s i g n m e n t   s c o r es   a r o u n d   t h e   c u t o f f .       T ab le  2 .   C o v ar iate  b alan ce   s tatis tics   C o v a r i a t e s     D i f f e r e n c e   SE   p   V a r i a n c e   r a t i o   F e mal e   - . 0 4   . 0 4   . 3 1   1 . 0 1   S t u d e n t   a g e   - . 0 5   . 0 3   . 1 4   . 9 2   Li mi t e d   En g l i s h   p r o f i c i e n c y   . 0 3   . 0 3   . 3 9   1 . 1 0   S p e c i a l   e d u c a t i o n     . 0 1   . 0 2   . 6 7   1 . 1 4   N o t e .     d i f f e r e n c e = w e i g h t e d   m e a n   d i f f e r e n c e   i n   t h e   c o v a r i a t e   d i st r i b u t i o n   a t   t h e   c e n t e r e d   c u t o f f ;   v a r i a n c e   r a t i o = mea n   r a t i o   o f   t h e   v a r i a n c e   o f   a   d e m o g r a p h i c   v a r i a b l e   i n   t h e   t r e a t m e n t   g r o u p   t o   t h e   v a r i a n c e   o f   t h e   v a r i a b l e   i n   t h e   c o m p a r i s o n   g r o u p       3 . 1 . 2 .   M ultiple - cut o f f   re g re s s io n dis co nti nu it y   p a ra m et ri m o del   T ab le  3   r ep o r ts   th esti m ates  f o r   th e   p ar am et r ic  MCR m o d els.  T h e   in tr ac lass   co r r elatio n   co ef f icien ( I C C )   in d icate d   th at  4 0 o f   th v a r iatio n   in   s tu d en p o s ttes SESAT   m ath em atics  s co r es  was   attr ib u tab le  to   class r o o m - to - c lass r o o m   d if f er e n ce s .   T h b e s t - f itti n g   m o d el   ( Mo d el   1 )   in clu d ed   a   lin ea r   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   3 J u n e   20 25 :   1 59 7 - 1 60 7   1602   q u ad r atic  ter m   f o r   th ass ig n m en v a r iab le.   T h m o d el  r esu lts   in d icate d   p o s itiv r e latio n s h ip   b etwe en   ass ig n m en s co r es  an d   p o s ttes SESAT   m ath em atics  s co r es  ( γ 10 = 1 5 . 2 9 ,   SE= . 8 9 ) ,   m ea n in g   th at  an   in cr ea s in   ass ig n m en s co r es  p r e d icted   a   co r r esp o n d in g   i n cr ea s in   th p o s ttes SESAT   m ath em atic s   s co r es.  Ho wev er ,   as  ass ig n m en s co r es  co n tin u ed   to   in cr ea s e,   th r ate  o f   im p r o v em en in   p o s ttes SESAT   m ath em atics  s co r es  d ec eler ated   ( γ 20 = - . 5 2 ,   SE= . 1 7 ) .   T h R tr ea tm en e f f ec t   esti m ate  was  s tatis t ically   s i g n if ican ( γ 30 =5 . 3 0 ,   SE= 2 . 3 2 ),   d em o n s tr atin g   t h at  ac r o s s   th r an g o f   cu to f f   v al u es,  s tu d en ts   ass ig n ed   to   th tr ea tm en co n d itio n   o u tp er f o r m ed   th o s ass ig n ed   to   th co n tr o co n d itio n   o n   av er ag e.   Alth o u g h   th ad d itio n   o f   r an d o m   ef f ec ter m   f o r   th tr ea tm en s tatu s   in d icato r   ( u 3j )   d id   n o s tatis tical ly   im p r o v th m o d el  ( Mo d el  2 ) ,   th ter m   was  r etain ed   in   o r d er   to   ex p lo r w h eth er   tr ea tm en ef f ec ts   v ar ied   b y   th cu ts co r t h at  was  u s ed   to   ass ig n   s tu d en ts   to   th tr ea tm en o r   co n tr o l c o n d itio n   ac r o s s   class r o o m   u n its   ( Mo d el  3 ) .       T ab le  3 .   Mu ltil ev el  SESAT   m ath em atics o u tco m m o d els ( N =1 , 9 0 0 )   Ef f e c t   M o d e l   1   M o d e l   2   M o d e l   3   Est i m a t e   SE   Est i m a t e   SE   Est i m a t e   SE   F i x e d   e f f e c t               I n t e r c e p t ,   γ 00   4 6 8 . 2 7 ***   2 . 4 9   4 6 8 . 1 7 ***   2 . 4 9   4 7 8 . 1 4 ***   4 . 2 4   I n t e r - st u d e n t   p r e d i c t o r s               A ssi g n me n t   sc o r e ,   γ 10   1 5 . 2 9 ***   . 8 9   1 5 . 3 6 ***   . 9 0   1 5 . 9 2 ***   . 9 1   A ssi g n me n t   sc o r e   sq u a r e d ,   γ 20   - . 5 2 **   . 1 7   - . 5 3 **   . 1 7   - . 6 4 ***   . 1 7   Tr e a t me n t ,   γ 30   5 . 3 0 *   2 . 3 2   5 . 4 8 *   2 . 3 7   1 2 . 6 5 ***   3 . 6 0   I n t e r - c l a ssr o o p r e d i c t o r s               C u t - p o i n t ,   γ 01           1 5 . 3 0 **   5 . 0 3   C u t - p o i n t ,   γ 31           8 . 8 8 *   3 . 4 1   R a n d o e f f e c t   VC   SD   VC   SD   VC   SD   S t u d e n t   ( l e v e l   1 ) ,   r ij   6 9 7 . 4 0   2 1 . 4 5   6 9 2 . 0 5   2 6 . 2 3   6 9 2 . 4 5   2 6 . 3 1   M e a n   S ESA s c o r e ,   u 0j   4 6 0 . 1 0   2 6 . 4 1   4 5 9 . 4 3   2 1 . 6 0   4 1 9 . 6 4   2 0 . 4 9   Tr e a t me n t   e f f e c t ,   u 3j       2 3 . 6 2   5 . 3 5   1 3 . 2 9   3 . 6 5   N o t e :   S E = S t a n d a r d   e r r o r ,   V C = V a r i a n c e   c o m p o n e n t s,   S D = S t a n d a r d   d e v i a t i o n   * p < . 0 5 ,   * * p < . 0 1 ,   * * * p < . 0 0 1       3 . 1 . 3 .   No np a ra m e t ric  mo del   L o ca lin ea r   r eg r ess io n   was  im p lem en ted   with in   t h MSE - o p tim al  b an d wid th   ( two   p o in t s )   ar o u n d   th cu to f f ,   as  d ete r m in ed   b y   th I p r o ce d u r e.   B y   r estrictin g   th an aly s is   to   o b s er v atio n s   with in   th is   b an d wid th ,   th l o ca l lin ea r   an aly s is   u s ed   3 9 . 4 % o f   th s tu d e n t o b s er v atio n s .   T ab le  4   r ev ea ls   th at  th tr ea tm en ef f ec with in   th o p tim al  b a n d wid th   was  s tatis t ically   s ig n if ican ( β 2 =6 . 6 3 ) .   T h is   r esu lt  in d icate d   th at,   o n   av er ag e,   s tu d en ts   in   th e   tr ea t m en co n d itio n   h ad   h ig h er   p o s ttes SE SAT  m ath em atics  s c o r es  th an   t h o s in   t h e   co n tr o co n d itio n   ac r o s s   all  c u to f f   v alu es.  T h r esu lts   o f   th s en s itiv ity   an aly s is   a ls o   r ev ea led   th at  u s in g   th e   h alf   o r   d o u b le - s ized   b an d wid th   led   to   p o o led   R esti m ates  o f   8 . 8 1   ( p <. 0 5 )   an d   4 . 1 7   p o in ts   ( p >. 0 5 ) ,   r esp ec tiv ely ,   s u g g esti n g   th at  t h n o n p ar am etr ic  im p ac esti m ate  was  s en s itiv to   th b an d wid th   s ize.   Fig u r 1   d is p lay s   th n o n p ar a m etr ic  lo ca lin ea r   r e g r ess io n   p lo t   o f   th ass ig n m en a n d   o u tco m e   v ar iab le  r elatio n s h ip wh er eb y   th e   6 - p o in t d is co n tin u ity   at  th p o o led   c u t   p o in t c a n   b s ee n .       T ab le  4 .   No n p ar am etr ic  p o o le d   R esti m ates o f   SESAT   m at h em atics o u tco m e   Ef f e c t   H a l f   b a n d w i d t h   O p t i mal   b a n d w i d t h   D o u b l e   b a n d w i d t h   Est i m a t e   t   Est i m a t e   t   Est i m a t e   t   I n t e r c e p t ,   β 0   4 6 5 . 2 1   ( 2 . 7 5 )   1 6 9 . 0 8 ***   4 6 6 . 2 2   ( 1 . 9 6 )   2 3 7 . 6 7 ***   4 6 7 . 5 5   ( 1 . 6 7 )   2 8 0 . 4 0 ***   A ssi g n me n t   sc o r e ,   β 1   2 0 . 4 3   ( 5 . 2 6 )   3 . 8 9 * **   1 5 . 7 2   ( 2 . 0 3 )   7 . 7 4 * **   1 3 . 6 3   ( 1 . 0 5 )   1 3 . 0 1 ***   Tr e a t me n t ,   β 2   8 . 8 1   ( 5 . 4 9 )   2 . 3 0 *   6 . 6 3   ( 3 . 8 6 )   2 . 2 4 *   4 . 1 7   ( 2 . 8 9 )   1 . 6 3   N o t e .   N o n p a r a me t r i c   p o o l e d   R D   e st i mat e s   a r e   sh o w n   w i t h   st a n d a r d   e r r o r i n   p a r e n t h e si s.  N o n p a r a me t r i c   e s t i m a t e s h a v e   b o o t st r a p p e d   st a n d a r d   e r r o r ( r e p e t i t i o n = 1 , 0 0 0 )   * p < . 0 5 ,   ** p < . 0 1 ,   *** p < . 0 0 1       3 . 1 . 4 .   M ultiple - cut o f f   re g re s s io n dis co nti nu it y   het er o g eneit y   mo del   W h en   th class r o o m   cu to f f   s c o r was  ad d ed   as  p r ed icto r   o f   th e   v ar ia n ce   in   tr ea tm en t   e f f ec ts   ( s ee   Mo d el  3   an d   T ab le  3 )   in   t h p ar am etr ic  R m o d el,   r esu lts   i n d icate d   p o s itiv in ter ac tio n   b etwe en   th cu to f f   s co r an d   th e   tr ea tm en t   ef f e ct  p ar am eter   ( γ 31 =8 . 8 8 ,   SE = 3 . 4 1 ) .   T h e   m o d er ated   r elatio n s h ip   s u g g ests   th at  h ig h er   c u to f f   s co r es  wer ass o ciate d   with   g r ea ter   tr ea tm en ef f ec t s No tab ly ,   th e   class r o o m   cu tp o in was  also   ass o ciate d   with   o v er all  clas s r o o m   m ea n   p er f o r m a n ce   ( γ 01 = 1 5 . 3 0 ,   SE= 5 . 0 3 ) ,   in d icatin g   t h at  class r o o m s   with   h ig h er   cu to f f   v alu es  h ad   s tatis tically   h ig h er   m ea n   p o s ttes s co r es  r elativ to   th o s wi th   l o wer   cu to f f   s co r es.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Mu ltip le - cu to ff reg r ess io n   d is co n tin u ity  d esig n s   in   e d u ca tio n a l e va lu a tio n   ( Hye o n Jin   Yo o n )   1603   Fig u r 2   s h o ws  th at  th lo ca R tr ea tm en ef f ec esti m ate s   v ar ied   wid ely   d ep e n d in g   o n   th cu to f f   v alu u s ed   to   s cr ee n   s tu d en ts   in to   tr ea t m en co n d itio n s ,   with   an   ap p r o x im ate  r an g b etwe en   - 5 7   an d   +6 8   p o i n ts .   C las s r o o m s   with   h ig h er   cu to f f   v alu es  g en er ally   ex h ib ited   l ar g er   tr ea tm en ef f ec ts ,   alth o u g h   th class r o o m   with   th lo west  cu to f f   s co r al s o   d is p lay ed   s u b s tan tial  p o s i tiv ef f ec t.  I is   im p o r tan to   n o te,   h o wev e r ,   th at   th co n f i d en ce   in te r v al  f o r   ea ch   R esti m ate  was  lar g d u e   to   th s m all  s am p le  s ize,   s u g g esti n g   th at  ca u tio n   s h o u ld   b u s ed   wh en   i n ter p r eti n g   th in d iv id u al  l o ca l RD e s ti m ates.           Fig u r 1 .   No n p ar am et r ic  p lo o f   th ass ig n m en t a n d   o u tco m v ar iab le  r elatio n s h i p           Fig u r 2 .   L o ca l RD tr ea tm en ef f ec t   esti m ates   at  v ar io u s   class r o o m   cu t p o in ts   with   9 5 % c o n f id en ce   in te r v al s       3 . 2 .     Dis cus s io n   T h R d esig n   is   o f te n   co n s id er ed   as  p r ac tical  alter n ativ to   t h R C T   in   f ield - b ased   s ettin g s   as  it   ca n   p r o v i d an   u n b iased   tr ea tm en ef f ec esti m ate  wh en   m o d el  ass u m p tio n s   ar m et  an d   th r elatio n s h ip   b etwe en   th e   ass ig n m en a n d   o u tco m v ar iab les  is   co r r ec tly   s p ec if ied .   T h is   p ap e r   p r o v i d ed   an   o v er v iew  o f   th Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   3 J u n e   20 25 :   1 59 7 - 1 60 7   1604   MCR D   d esig n ,   an   ex ten s io n   o f   b asic  R d esig n   u s ed   wh en   m u ltip le  cu to f f s   ar u s ed   p r o g r am   o r   in ter v e n tio n   ass ig n m en ac r o s s   d if f er en u n its   o r   s ites .   Pre v io u s   an aly tic  ap p r o ac h es  f o r   MCR d esig n s   p r im ar ily   f o cu s e d   o n   esti m atin g   av er ag tr ea tm en ef f ec ts   ac r o s s   cu to f f s ,   p o ten tially   o v er lo o k in g   s ite -   o r   u n it - s p ec if ic   d if f er en ce s   in   tr ea tm en ef f ec ts   [ 9 ] .   C o n v er s ely ,   th is   p ap er   d em o n s tr ated   m o d eli n g   ap p r o ac h   th at   s im u ltan eo u s ly   esti m ates  b o th   th e   o v er all   av er a g tr ea tm en t   ef f ec an d   tr ea tm en ef f ec h eter o g en eity   ac r o s s   d if f er en in ter v en tio n   u n its .   Fin d in g s   in d icate d   th at  s tu d en ts   wh o   r ec eiv ed   th R OOT in ter v en tio n   h ad   h ig h er   m ath em atics  s co r es  o n   av er ag e   at  p o s t - in ter v e n tio n   co m p ar ed   to   th o s wh o   d i d   n o t.  Ad d itio n ally ,   th e   s ize  o f   th in ter v en tio n   ef f ec ts   v ar ied   ac r o s s   class r o o m s ,   with   g r ea ter   ef f ec ts   g en er ally   o b s er v e d   in   class r o o m s   th at  h ad   h ig h er   cu t o f f   s co r es to   s cr ee n   s tu d en ts   f o r   th in ter v en tio n .     3 . 2 . 1 .   M ultiple - cut o f f   re g re s s io n dis co nti nu it y   e s t im a t io n a nd   s t a t is t ica v a lid it y   T h r esu lts   r ev ea le d   th at   th p o o led   tr ea tm en t   ef f ec esti m ate  v ar ied   d ep e n d in g   o n   th e   esti m atio n   m eth o d   ( p ar am et r ic  o r   n o n p ar am etr ic) .   T h m a g n itu d e   o f   th R esti m ate  was  lar g er   wh en   u s in g   t h e   n o n p a r am etr ic  m o d el  ( 6 . 4 8 ,   ef f ec s ize   g =. 1 9 )   [ 28 ]   co m p ar ed   to   th p ar am etr ic  m o d e ( 5 . 1 3 ,   e f f ec s ize   g =. 1 4 ) .   Alth o u g h   th ef f ec s izes  ac r o s s   th m eth o d s   wer r elativ ely   s im ilar ,   th o b s er v ed   d if f er en ce s   in   th e   r aw  tr ea tm en ef f ec esti m ates  ca n   b attr ib u ted   to   th m eth o d s   u s ed   in   th esti m atio n   o f   ea ch   m o d el.   T h e   p ar am etr ic  m eth o d   u s es  all  a v ailab le  o b s er v atio n s   in   th d ataset  to   f it  m o d el,   wh er ea s   th n o n p ar am etr ic   m eth o d   r elies  o n   s u b s am p le   av ailab le  with in   th o p tim al  b an d wid th .   I n   th p r esen d e m o n s tr atio n ,   we  d i d   n o ev alu ate   th in ter n al  v alid i ty   o f   t h d if f er en tr ea tm e n ef f ec esti m ates.  Ho wev er ,   we  h y p o th esize  th at  th e   n o n p a r am etr ic  m eth o d   is   lik ely   to   p r o d u ce   m o r r o b u s ca u s al  esti m ate  th an   th p ar am etr ic  m eth o d ,   g iv e n   th at  it  u s es  o n ly   o b s er v atio n s   n ea r   th e   cu to f f .   An   e x am in a tio n   o f   t h s tan d ar d   er r o r s   ass o ciate d   with   ea ch   tr ea tm en ef f ec t   esti m ate  r ev e aled   th at  t h n o n p ar am etr ic   m eth o d   p r o d u ce d   h ig h er   s tan d ar d   er r o r s   th an   th e   p ar am etr ic  m eth o d .   T h is   f in d in g   is   n o s u r p r is in g ,   g iv en   th at  th n o n p a r am etr ic  m et h o d   u s es  s m aller   n u m b er   o f   o b s er v atio n s   with in   s m all  b an d wid th   to   esti m ate  th r elatio n s h ip   b etwe e n   th ass ig n m en t   v ar iab le  an d   th o u tco m e.   T h ch o ice  b etwe en   p ar am etr ic  an d   n o n p ar am etr ic  esti m atio n   m eth o d s   in   p o o le d   MCR D   an aly s es  will  b o f te n   co n tex t - s p ec if ic .   W h ile  th n o n p ar am etr ic   m o d el  m a y   y ield   a   m o r e   r o b u s R esti m ate,   it   g en er ally   h as  lo wer   s tatis tical  p o wer   co m p ar ed   to   th p ar am etr ic  m o d el.   T h er ef o r e,   th n o n p ar am etr ic   m eth o d   is   b est  s u ited   f o r   m u l ti - s ite  p r o g r am   ev alu atio n s   with   r elativ ely   lar g with in - u n i s am p les.  lar g e   with in - s ite  s am p le  will  ty p ically   b r eq u ir e d   wh e n   th e   u n it - s p ec if ic  tr ea tm en ef f ec ts   an d   R tr ea tm en ef f ec t   h eter o g en eity   ar o f   p r im a r y   i n ter est.  Ad d itio n ally ,   s in ce   th n o n p a r am etr ic  ap p r o ac h es  s u ch   as  lo ca lin ea r   r eg r ess io n   u tili ze   th s am p les  with in   th o p tim al  b an d wid th   ar o u n d   th cu to f f ,   it is   cr itical  to   h av s u f f icien t   n u m b er   o f   o b s er v atio n s   n ea r   th cu t o f f   ( i.e . ,   ef f ec tiv e   s am p le)   to   u s th is   m et h o d   ef f ec tiv ely .   I f   lar g e   with in - u n it  s am p le  o r   ef f ec ti v s am p le  is   n o a v ailab le - a   co m m o n   ch allen g in   r ea l - wo r ld   ev alu atio n s - p ar am etr ic  m o d elin g   wo u ld   b v iab le  alter n ativ e,   g iv en   th at  it  p r o d u ce s   an   im p ac esti m ate  with   r elativ ely   h ig h er   s tatis tical  p o wer .   W r ec o m m en d   th at  r esear c h er s   em p lo y   b o th   MCR esti m ati o n   m eth o d s ,   alo n g   with   g r ap h ical  an aly s is ,   to   ex am in th s en s itiv ity   o f   tr ea t m en im p ac an d   p r ec is io n   esti m ates  p r o v id ed   b y   ea ch   m eth o d .     3 . 2 . 2 .   I nte rv ent io i m pa ct   h e t er o g eneit y   in  m ultiple - cut o f f   re g re s s io n dis co ntin uity   d esig ns   R esu lts   f r o m   MCR m o d el  in d icate d   th at  th R OOT in ter v en tio n   wo r k ed   d if f er e n tly   d e p en d in g   o n   th cu to f f   v alu ch o s en   t o   s cr ee n   s tu d en ts   in to   th tr ea tm en t c o n d itio n   in   ea c h   class r o o m .   Sp ec if ically ,   h ig h e r   ass ig n m en s co r cu to f f   v alu e s   wer as s o ciate d   with   g r ea te r   in ter v en tio n   ef f ec ts   o n   av er ag e .   T h ese  f in d in g s   s u g g est  th at  th e   MCR ca n   b an   in f o r m ati v p r o g r a m   ev alu atio n   d esig n   wh e n   tr ea tm en t   ass ig n m en cu to f f s   v ar y   b y   in ter v en tio n   u n it  o r   s ite.   B y   id en tify in g   th p o o led   tr ea tm en ef f ec o v er   r an g e   o f   th ass ig n m en t   v ar iab le  co n tin u u m   an d   ex am in in g   wh eth er   an   in ter v en tio n   ef f ec v ar ies  at  d if f er en cu t - p o in ts ,   r esear ch er s   an d   ed u ca to r s   ca n   g ain   m o r co m p r eh e n s iv u n d e r s tan d in g   o f   p r o g r am   p er f o r m a n c an d   th f ac to r s   in f lu en cin g   d if f e r en tial o u tco m es.   T h ab ilit y   to   d er iv p o o le d   im p ac esti m ate   ac r o s s   a   wid er   r an g o f   th ass ig n m e n v ar iab le   co n tin u u m   n o tab ly   c o n tr asts   with   th b asic  R d esig n ,   wh e r ca u s al  in f er en ce   is   r estricte d   to   a   n ar r o r e g io n   ar o u n d   s in g le  cu to f f   s co r e.   Fo r   ed u ca tio n al  r esear ch er s   an d   p r o g r am   ev al u ato r s ,   th MCR D   d esig n   m ay   th u s   b e   u s ed   t o   p r o b e   wh e th er   a   p r o g r am   is   ef f ec tiv e   o r   d if f e r en tially   e f f ec tiv ac r o s s   r a n g o f   d iag n o s tically   im p o r tan ass ig n m en s co r e   v alu es.   I n   ca s es  wh er h eter o g en eity   in   th l o c al  tr ea tm en ef f ec ts   is   n o o b s er v ed ,   p o o led   R esti m ate  s er v es  to   p r o v id an   ac cu r ate  s u m m ar y   o f   th av er ag tr ea tm en ef f ec t   ac r o s s   all  cu to f f s   in clu d ed   i n   t h d esig n .   T h r esear ch er   ca n   th en   in f er   t h tr ea tm en t h a d   s im ilar   im p ac t a cr o s s   s p ec if ied   ag r an g o r   an   in co m e,   r ea d in g   s co r e,   o r   p r ep r o g r am   p er f o r m an ce   in te r v als,  f o r   ex am p le.   Ho wev er ,   if   th r esear ch er   i d en tifie s   th at  th tr ea tm en ef f ec v ar ies  ac r o s s   d if f er e n t   p o in ts   alo n g   t h ass ig n m en v ar iab le  co n tin u u m ,   th en   it  b ec o m es  p o s s ib le  to   in v esti g ate  wh eth er   s ite  ch ar ac ter is tics   ( e. g . ,   u n it   cu to f f   v alu e,   class   s ize,   f id elity   o f   im p lem en tatio n )   m o d er ate  th s ize  o f   th tr ea tm en im p ac o n   th Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Mu ltip le - cu to ff reg r ess io n   d is co n tin u ity  d esig n s   in   e d u ca tio n a l e va lu a tio n   ( Hye o n Jin   Yo o n )   1605   o u tco m es  o f   in ter est.  T h r esear ch er   m ay   th en   b a b le  to   r ep o r th at  p r o g r am   ef f ec ts   v ar ied   with   r esp ec to   m o r o r   less   m allea b le  p r o g r am   ch ar ac ter is tics   s u ch   as  th lev el  o f   a d h er e n ce   to   th e   p r o g r am   m o d el,   th e   s ev er ity   o f   n ee d   in   th e   co m m u n ity ,   o r   t h len g th   o f   p r o g r am   o p er atio n s .   T h ac q u is itio n   o f   m o r e   r o b u s in s ig h in to   th e   R tr ea tm en ef f ec t,  in cl u d in g   p o s s ib le  h eter o g en eity ,   m ay   e n ab le  e d u ca tio n al  p r o g r a m   d ev el o p e r s   an d   ad m in is tr ato r s   to   r e d e s ig n   o r   m o d if y   th e   d eliv er y   o f   an   in ter v en tio n   to   b etter   m ee th n ee d s   o f   d iv er s p r o g r am   p ar ticip an ts .   Fo r   e x am p le,   if   an   ea r ly   ch ild h o o d   liter ac y   in ter v en tio n   is   s h o wn   to   h a v p o s itiv im p ac f o r   s tu d en ts   at  m o d e r ate  r is k ,   b u n o f o r   th o s m o s at - r is k ,   ed u ca to r s   co u ld   ch o o s to   r ec o n s id er   th in ter v en tio n s   tar g et  p o p u latio n ,   en ter tai n   ad o p tin g   n ew  p r o g r am   wit h   b etter   alig n ed   c u r r icu lu m ,   o r   attem p t   to   m o d if y   t h p r o g r am   t o   p r o v id a   m o r in ten s tr ea tm en d o s ag to   th o s m o s at - r is k   o f   n eg ativ o u tco m es.  Similar ly ,   in   co lleg r em ed iatio n   p r o g r a m s ,   if   a   m ath   r em ed iat io n   co u r s b e n ef its   s tu d en ts   with   m o d er ate   lo s co r es  b u t   n o t h o s with   th e   lo west  s co r es,  p r o g r am   d e v elo p er s   an d   ad m in is tr ato r s   m ay   ch o o s to   r ee v alu ate  t h p r o g r am ' s   tar g et   p o p u latio n   o r   e n h an ce   th p r o g r am ' s   in ten s ity   f o r   th o s with   th lo west sco r es.     3 . 2 . 3 .     L im it a t io ns   T h cu r r en s tu d y   h as  s ev er al   lim itatio n s   to   n o te.   First,  we  d id   n o t   ev alu ate  th e   p er f o r m a n ce   o f   t h e   MCR es tim ate  r elativ to   t h b en c h m ar k   R C T   ca u s al  esti m ate.   T h at  is ,   th e   f in d in g s   o f   th is   s tu d y   d o   n o t   s p ea k   to   wh eth er   t h MCR D   d esig n   p r o d u ce s   tr ea tm en e f f ec esti m ates  th at  ar co m p ar ab le  to   an   R C T   b en ch m ar k .   T h er ef o r e,   f u tu r e   s tu d ies  ar n ee d e d   to   ev alu ate   th v alid ity   an d   ef f icien c y   o f   MCR m eth o d s   in   co m p ar is o n   t o   R C T   esti m ates .   Seco n d ,   th d ataset  u s ed   i n   th is   s tu d y   h ad   s m all  with in - g r o u p   ( class r o o m )   s am p le   s ize,   th er eb y   lim itin g   th r eliab ilit y   o f   th esti m at io n   o f   lo ca in ter v en tio n   ef f e cts  at  ea ch   cu to f f T h ir d ,   th is   s tu d y   co n s id er e d   o n ly   o n p r e d icto r   o f   tr ea tm en ef f ec h eter o g en eity .   Giv en   r ec en r esear c h   lin k in g   g r o u p -   a n d   class r o o m - lev el  f ac to r s   to   m ath   d e v elo p m en [ 29 ] ,   [ 3 0 ] ,   f u tu r s tu d ies   s h o u ld   i n v esti g ate   h o v ar io u s   u n it - lev el  f ac to r s   ( e. g . ,   in s tr u ctio n al  s tr ateg y ,   f id elity   o f   im p lem e n tatio n ,   t ea ch er   ex p e r ien ce )   r elate   to   class r o o m   d if f e r en ce s   in   p r o g r am   o u tco m es.       4.   CO NCLU SI O N   T h m o tiv atio n   f o r   th is   s tu d y   was  to   d em o n s tr ate  m eth o d   f o r   esti m atin g   tr ea tm en ef f ec ts   wh en   m u ltip le  cu to f f s   ar e   u s ed   ac r o s s   d if f er en in te r v en tio n   u n its   an d   to   m o d el   tr ea tm en e f f ec v ar iab ilit y   with in   th R f r am ewo r k   f o r   ed u ca t io n al  ev alu atio n .   W h ile  f u r th er   r esear ch   is   n ee d ed ,   th cu r r en s tu d y   s u g g ests   th at  MCR d esig n s   h av th p o ten tial  to   id en tif y   th p o o le d   in ter v en tio n   ef f ec ac r o s s   cu to f f s   an d   u n c o v e r   th p r o c ess es  an d   m ec h a n is m s   th r o u g h   wh ich   in ter v e n tio n s   ar d if f er en tially   e f f ec tiv ac r o s s   in d iv id u als  an d   co n tex ts .   W r ec o m m en d   th a r esear ch er s   s tar an   MCR D   an aly s is   with   tr ad itio n al  p o o lin g   an al y s is   to   esti m ate  th av er ag tr ea tm en ef f ec ac r o s s   cu to f f s .   S u b s eq u en tly ,   th ey   ca n   f u r th e r   ex p lo r p o te n tial  h eter o g en eity   i n   tr ea tm en ef f ec ts   at  d if f er en cu to f f   p o in ts   b y   ex am in in g   in ter ac tio n   e f f ec ts   o r   co n d u ctin g   s u b g r o u p   a n aly s es  b ased   o n   r elev an th e o r y ,   th e   r esear ch   c o n tex t,  a n d   p r elim in a r y   an aly t ic  r esu lts   ( e. g . ,   lo ca l   R tr ea tm en t e f f ec t e s tim ates) .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  s u p p o r ted   b y   th R OOT Pro ject  ( Gr an R 3 2 4 A1 2 0 3 0 4 ) ,   f u n d ed   b y   th I n s titu te   o f   E d u ca tio n   Scien ce s ,   U. S.  D ep ar tm en t o f   E d u ca ti o n .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   S o   Va   F o   I   R   D   O   E   Vi   S u   P   F u   Hy eo n J in   Yo o n                               Keith   Z v o ch                               Keith   Sm o lk o wsk                               B en   C lar k e                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   3 J u n e   20 25 :   1 59 7 - 1 60 7   1606   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       I NF O RM E CO NS E N T   W h av o b tain ed   in f o r m ed   c o n s en t f r o m   all  in d iv id u als in c lu d ed   in   t h is   s tu d y .       E T H I CAL AP P RO V AL   T h r esear ch   r elate d   to   h u m a n   u s h as  b ee n   co m p lie d   with   all  th r elev an n atio n al  r eg u l atio n s   an d   in s titu tio n al  p o licies  in   ac co r d an ce   with   th te n ets  o f   t h He ls in k Dec lar atio n   an d   h as  b ee n   ap p r o v e d   b y   th e   au th o r s   in s titu tio n al  r e v iew  b o ar d   o r   eq u i v alen t c o m m ittee.       DATA AV AI L AB I L I T Y   Ad d itio n al  d ata  an aly s es  an d   p u b licatio n s   ar cu r r en tly   u n d er way .   Su p p o r tin g   d ata  is   th e r ef o r n o t   av ailab le.       RE F E R E NC E S   [ 1 ]   C .   O n g - D e a n ,   C .   H .   H o f st e t t e r ,   a n d   B .   R .   S t r i c k ,   C h a l l e n g e a n d   d i l e m mas  i n   i m p l e me n t i n g   r a n d o a ssi g n men t   i n   e d u c a t i o n a l   r e sea r c h ,   Am e ri c a n   J o u r n a l   o f   Ev a l u a t i o n ,   v o l .   3 2 ,   n o .   1 ,   p p .   2 9 4 9 ,   2 0 1 1 ,   d o i :   1 0 . 1 1 7 7 / 1 0 9 8 2 1 4 0 1 0 3 7 6 5 3 2 .   [ 2 ]   T.   D .   C o o k ,   M .   S c r i v e n ,   C .   L.   S .   C o r y n ,   a n d   S .   D .   H .   E v e r g r e e n ,   C o n t e m p o r a r y   t h i n k i n g   a b o u t   c a u sa t i o n   i n   e v a l u a t i o n :     a   d i a l o g u e   w i t h   To m   C o o k   a n d   M i c h a e l   S c r i v e n ,   Am e r i c a n   J o u r n a l   o f   Ev a l u a t i o n ,   v o l .   3 1 ,   n o .   1 ,   p p .   1 0 5 1 1 7 ,   2 0 1 0 ,     d o i :   1 0 . 1 1 7 7 / 1 0 9 8 2 1 4 0 0 9 3 5 4 9 1 8 .   [ 3 ]   H .   S .   B l o o m,   M o d e r n   r e g r e ss i o n   d i sc o n t i n u i t y   a n a l y si s ,   J o u r n a l   o f   R e se a rc h   o n   Ed u c a t i o n a l   Ef f e c t i v e n e s s ,   v o l .   5 ,   n o .   1 ,     p p .   4 3 8 2 ,   2 0 1 2 ,   d o i :   1 0 . 1 0 8 0 / 1 9 3 4 5 7 4 7 . 2 0 1 1 . 5 7 8 7 0 7 .   [ 4 ]   T.   D .   C o o k ,   W a i t i n g   f o r   l i f e   t o   a r r i v e :   a   h i s t o r y   o f   t h e   r e g r e ss i o n - d i sc o n t i n u i t y   d e s i g n   i n   p s y c h o l o g y ,   st a t i st i c s a n d   e c o n o m i c s,   J o u rn a l   o f   Ec o n o m e t ri c s ,   v o l .   1 4 2 ,   n o .   2 ,   p p .   6 3 6 6 5 4 ,   2 0 0 8 ,   d o i :   1 0 . 1 0 1 6 / j . j e c o n o m. 2 0 0 7 . 0 5 . 0 0 2 .   [ 5 ]   J.  J.   K i r k s e y   a n d   M .   A .   G o t t f r i e d ,   T h e   e f f e c t   o f   s e r v i n g   b r e a k f a s t   a f t e r - t h e - b e l l   m e a l s o n   sc h o o l   a b se n t e e i sm :   c o mp a r i n g   r e s u l t s   f r o r e g r e ssi o n   d i sc o n t i n u i t y   d e si g n s,”   E d u c a t i o n a l   Ev a l u a t i o n   a n d   P o l i c y   An a l y s i s ,   v o l .   4 3 ,   n o .   2 ,   p p .   3 0 5 3 2 8 ,   2 0 2 1 ,     d o i :   1 0 . 3 1 0 2 / 0 1 6 2 3 7 3 7 2 1 9 9 1 5 7 2 .   [ 6 ]   G .   W .   I mb e n a n d   T.   L e m i e u x ,   R e g r e ssi o n   d i s c o n t i n u i t y   d e s i g n s:   a   g u i d e   t o   p r a c t i c e ,   J o u rn a l   o f   Ec o n o m e t ri c s ,   v o l .   1 4 2 ,   n o .   2 ,   p p .   6 1 5 6 3 5 ,   F e b .   2 0 0 8 ,   d o i :   1 0 . 1 0 1 6 / j . j e c o n o m . 2 0 0 7 . 0 5 . 0 0 1 .   [ 7 ]   P .   Z.   S c h o c h e t ,   S t a t i s t i c a l   p o w e r   f o r   r e g r e ss i o n   d i sc o n t i n u i t y   d e si g n   i n   e d u c a t i o n a l   e v a l u a t i o n s ,   J o u r n a l   o f   Ed u c a t i o n a l   a n d   Be h a v i o ra l   S t a t i st i c s ,   v o l .   3 4 ,   n o .   2 ,   p p .   2 3 8 2 6 6 ,   Ju n .   2 0 0 9 ,   d o i :   1 0 . 3 1 0 2 / 1 0 7 6 9 9 8 6 0 9 3 3 2 7 4 8 .   [ 8 ]   C .   W i n g   a n d   T .   D .   C o o k ,   S t r e n g t h e n i n g   t h e   r e g r e ssi o n   d i s c o n t i n u i t y   d e si g n   u s i n g   a d d i t i o n a l   d e si g n   e l e m e n t s:   a   w i t h i n - st u d y   c o m p a r i so n ,   J o u rn a l   o f   Po l i c y   An a l y si a n d   Ma n a g e m e n t ,   v o l .   3 2 ,   n o .   4 ,   p p .   8 5 3 8 7 7 ,   2 0 1 3 ,   d o i :   1 0 . 1 0 0 2 / p a m. 2 1 7 2 1 .   [ 9 ]   M .   D .   C a t t a n e o ,   L .   K e e l e ,   R .   Ti t i u n i k ,   a n d   G .   V a z q u e z - B a r e ,   I n t e r p r e t i n g   r e g r e ss i o n   d i s c o n t i n u i t y   d e s i g n s w i t h   mu l t i p l e   c u t o f f s,”   J o u rn a l   o f   Po l i t i c s ,   v o l .   7 8 ,   n o .   4 ,   p p .   1 2 2 9 1 2 4 8 ,   2 0 1 6 ,   d o i :   1 0 . 1 0 8 6 / 6 8 6 8 0 2 .   [ 1 0 ]   Y .   K .   Ö n d e r   a n d   M .   S h a m su d d i n ,   H e t e r o g e n e o u t r e a t me n t   u n d e r   r e g r e s si o n   d i sc o n t i n u i t y   d e si g n :   a p p l i c a t i o n   t o   f e m a l e   h i g h   s c h o o l   e n r o l m e n t ,   O x f o rd   Bu l l e t i n   o f   E c o n o m i c a n d   S t a t i st i c s ,   v o l .   8 1 ,   n o .   4 ,   p p .   7 4 4 7 6 7 ,   2 0 1 9 ,   d o i :   1 0 . 1 1 1 1 / o b e s . 1 2 2 9 2 .   [ 1 1 ]   W .   v a n   d e r   K l a a u w ,   B r e a k i n g   t h e   l i n k   b e t w e e n   p o v e r t y   a n d   l o w   st u d e n t   a c h i e v e me n t :   a n   e v a l u a t i o n   o f   T i t l e   I ,”  J o u r n a l   o f   Ec o n o m e t r i c s ,   v o l .   1 4 2 ,   n o .   2 ,   p p .   7 3 1 7 5 6 ,   2 0 0 8 ,   d o i :   1 0 . 1 0 1 6 / j . j e c o n o m . 2 0 0 7 . 0 5 . 0 0 7 .   [ 1 2 ]   K .   Y .   C h a y ,   P .   J.  M c Ew a n ,   a n d   M .   U r q u i o l a ,   T h e   c e n t r a l   r o l e   o f   n o i s e   i n   e v a l u a t i n g   i n t e r v e n t i o n t h a t   u se  t e st   sc o r e t o   r a n sch o o l s,   Am e ri c a n   E c o n o m i c   R e v i e w ,   v o l .   9 5 ,   n o .   4 ,   p p .   1 2 3 7 1 2 5 8 ,   2 0 0 5 ,   d o i :   1 0 . 1 2 5 7 / 0 0 0 2 8 2 8 0 5 4 8 2 5 5 2 9 .   [ 1 3 ]   M .   D .   C a t t a n e o   a n d   R .   T i t i u n i k ,   R e g r e ssi o n   d i sc o n t i n u i t y   d e s i g n s ,   A n n u a l   Re v i e w   o f   E c o n o m i c s ,   v o l .   1 4 ,   n o .   1 ,   p p .   8 2 1 8 5 1 ,   2 0 2 2 ,   d o i :   1 0 . 4 1 3 5 / 9 7 8 1 5 2 9 6 8 2 7 1 7 . n 7 .   [ 1 4 ]   R .   E.   S l a v i n ,   W h a t   w o r k s ?   I ssu e i n   sy n t h e si z i n g   e d u c a t i o n a l   p r o g r a e v a l u a t i o n s ,   E d u c a t i o n a l   R e se a rc h e r ,   v o l .   3 7 ,   n o .   1 ,     p p .   5 1 4 ,   2 0 0 8 .   [ 1 5 ]   S .   M .   L o f t u s - R a t t a n ,   M .   W r i g h t i n g t o n ,   J .   F u r e y ,   a n d   J .   C a se ,   M u l t i - t i e r e d   s y st e o f   s u p p o r t s:   a n   e c o l o g i c a l   a p p r o a c h   t o   s c h o o l   p sy c h o l o g y   ser v i c e   d e l i v e r y ,   T e a c h i n g   o f   Ps y c h o l o g y ,   v o l .   5 0 ,   n o .   1 ,   p p .   7 7 8 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 7 7 / 0 0 9 8 6 2 8 3 2 1 1 0 2 4 2 6 2 .   [ 1 6 ]   B .   C l a r k e ,   R .   G e r s t e n ,   J .   D i m i n o ,   a n d   E .   R o l f h u s,  A ssess i n g   s t u d e n t   p ro f i c i e n c y   i n   e a rl y   n u m b e s e n s e   ( a sp e n s )   a d m i n i st r a t o r’ s   h a n d b o o k .   C o l o r a d o :   C a m b i u m   Le a r n i n g   G r o u p ,   S o p r i s,   2 0 1 2 .   [ 1 7 ]   N .   C .   Jo r d a n ,   J.  G l u t t i n g ,   a n d   C .   R a mi n e n i ,   A   n u mb e r   se n se   a ss e ssm e n t   t o o l   f o r   i d e n t i f y i n g   c h i l d r e n   a t   r i sk   f o r   ma t h e ma t i c a l   d i f f i c u l t i e s ,   in   Ma t h e m a t i c a l   D i f f i c u l t i e s :   Psy c h o l o g y   a n d   I n t e rve n t i o n A .   D o w k e r   a n d   G .   D .   P h y e ,   E d s.,   S a n   D i e g o ,   C A A c a d e mi c   P r e ss ,   2 0 0 8 ,   p p .   4 5 5 8 ,   d o i :   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 3 7 3 6 2 9 - 1 . 5 0 0 0 5 - 8.   [ 1 8 ]   N .   C .   J o r d a n ,   J.   G l u t t i n g ,   a n d   C .   R a mi n e n i ,   T h e   i m p o r t a n c e   o f   n u mb e r   se n se  t o   ma t h e m a t i c a c h i e v e me n t   i n   f i r s t   a n d   t h i r d   g r a d e s,   L e a r n i n g   a n d   I n d i v i d u a l   D i f f e re n c e s ,   v o l .   2 0 ,   n o .   2 ,   p p .   8 2 8 8 ,   2 0 1 0 ,   d o i :   1 0 . 1 0 1 6 / j . l i n d i f . 2 0 0 9 . 0 7 . 0 0 4 .   [ 1 9 ]   H a r c o u r t   Ed u c a t i o n a l   M e a s u r e me n t ,   S t a n f o r d   a c h i e v e m e n t   t e s t   ser i e s N e w   Y o r k :   H a r c o u r t   E d u c a t i o n a l   M e a su r e men t ,   2 0 0 3 .   [ 2 0 ]   C .   T.   D o a b l e r   e t   a l . ,   Te s t i n g   t h e   e f f i c a c y   o f   a   Ti e r   2   mat h e ma t i c s   i n t e r v e n t i o n :   a   c o n c e p t u a l   r e p l i c a t i o n   s t u d y ,   E x c e p t i o n a l   C h i l d re n ,   v o l .   8 3 ,   n o .   1 ,   p p .   9 2 1 1 0 ,   2 0 1 6 ,   d o i :   1 0 . 1 1 7 7 / 0 0 1 4 4 0 2 9 1 6 6 6 0 0 8 4 .   [ 2 1 ]   C .   T.   D o a b l e r ,   B .   C l a r k e ,   D .   K o s t y ,   E .   K u r t z - N e l s o n ,   H .   F i e n ,   K .   S m o l k o w sk i ,   a n d   S .   K .   B a k e r ,   Ex a mi n i n g   t h e   I mp a c t   o f   G r o u p   S i z e   o n   t h e   Tr e a t m e n t   I n t e n si t y   o f   a   Ti e r   2   M a t h e mat i c s   I n t e r v e n t i o n   W i t h i n   a   S y s t e m a t i c   F r a mew o r k   o f   R e p l i c a t i o n ,   J o u rn a l   o f   L e a r n i n g   D i s a b i l i t i e s ,   v o l .   52 ,   n o .   2 ,   2 0 1 8 ,   d o i :   1 0 . 1 1 7 7 / 0 0 2 2 2 1 9 4 1 8 7 8 9 3 7 6 .   [ 2 2 ]   F .   M .   G i o r g i ,   C .   C e r a o l o ,   a n d   D .   M e r c a t e l l i ,   T h e   R   l a n g u a g e :   a n   e n g i n e   f o r   b i o i n f o r m a t i c s a n d   d a t a   sc i e n c e ,   L i f e ,   v o l .   1 2 ,   n o .   5 ,   p .   6 4 8 ,   2 0 2 2 ,   d o i : 1 0 . 3 3 9 0 / l i f e 1 2 0 5 0 6 4 8 .   [ 2 3 ]   D .   S .   Le e   a n d   T.   Le m i e u x ,   R e g r e ss i o n   d i sc o n t i n u i t y   d e si g n i n   e c o n o m i c s,”   J o u r n a l   o f   Ec o n o m i c   L i t e r a t u r e ,   v o l .   4 8 ,   n o .   2 ,     p p .   2 8 1 3 5 5 ,   2 0 1 0 ,   d o i :   1 0 . 1 2 5 7 / j e l . 4 8 . 2 . 2 8 1 .   Evaluation Warning : The document was created with Spire.PDF for Python.