In te r n ation a l Jou rn al  o f E v al u a t i on   a n d   R e se arc h  in   Ed u c ation   ( IJERE )   Vol.  8 , No. 2, J une  201 9 ,  p p .  3 30 ~3 43  ISSN : 2252- 88 22,  D O I :   10.11 59 1 /ijer e . v8i 2. 179 78           330     Jou rn a l  h o me pa ge :  ht tp: //i a e score . com / j o u r na l s / i n d e x . p hp/IJ ERE   Review  o f the effects of tec h n ical assistance  on program,   organiz a tion and system c h ange       Ca rl J .   Dunst , Kimberly   An na s,  H elen  Wil k i e,  Deborah  W.   Hamby  Ore l ena  Hawks  Pucke tt  Instit ute,  N orth Car oli n a,  US A       Art i cl e In fo     ABSTRACT   A r tic le hist o r y :   R e ce i v e d  Jan  2 8, 201 9   Re vise d Mar   1 5 201 Ac ce p t ed  Ap r   1 2 ,  2 019      F i n d i ngs  f ro sy nt hesis  of   t ech nical   a ssist ance  m o d e ls   a nd  f r am ewo r ks  were  u sed   t o   c od th us o f   2 5   c o re   e lem e nt o f   t echn i cal   a s s i st ance  in   st udies   a n d   e val u ati o n s   o f   im plem ent a ti on  interv ent i on to   a ffe ct  p rog r am org a ni za t i o n an d   sy st e m ch ang e T h 2 5   c ore  el em e n ts   w e r gro up  into  f ive  c o mpo n e nts:  p re p a ra tion   f or   t he   p ro v i sio n   o te c h nic a l   a ssista n ce,  dev e lo pm ent   of  a   t ec hn ical   a s s i s t a n ce  pl an,  im p l e m ent a ti on   o f   t echn i ca ass i stance,   e val u at io of  t he   e ffe ct o f   t echn i cal   a ss istan ce,  an sus t ai nability   of   t echni cal  a s s is tan ce-f a c i litat e chan ges .   R esul ts   i n d icat ed  t h at  a   s ub set  of  11   c o r el emen ts   w as  r elated   t bet w een  g ro up and   b e tween   c o n d iti on  diff erences  i n   th s i zes  o f   e ffect   f o r   p ro gram,  organ i zat ion ,   a nd  systems   chan ges .   R es ul ts  a ls o   sh ow ed  t h a m o re  i nt ensiv e   t echn i cal  a ssi stan c e   w as   ass o ci ated  w ith   l arger  sizes   o f   eff ects   co m p ared  t o   l e ss   i n t e n s i v tech nical   ass i stance  and   that   p arti cu l a co mb in a t i ons  o f   pract ices  w ere  a ssoci a ted  with  th e larg es t   s i zes o f   e f f ect.    K eyw ord s :   Cor e  e lem e nts   F i del i t y assess m e nt   Im pl e m e n ta tio prac tic es   Interve n ti on  pr actic e s   P r og r a m im provem e nt s   Te chn i cal  as s ist a n c e   Co pyri gh t © 2 019 In stit u t of Advanced  En gi neeri n g  an d   Scien ce.    All  rights   res e rv ed.  Corres pon d i n g  Au th or:   Ca rl J.   D unst,  Orel en Hawk s P u ck ett   I n s t i t u t e   12 8 S .  S terlin g   S t r eet  Mor g an t on,  N 2 8 6 55,  US A   Em ail:  cdu n s t @p uc ket t . o rg       1.   I N TR OD U C TI O N   Te ch nica as si sta n c e ,   i n   t he   b roa d e s p o ssi ble   us o f   t he  t erm ,   r efers  to  p ro fe ssio n a l   d evel o p m e n t coa c h i ng  an me nt or in g,   c o n su l t a tio n,   a n d   o t he s u p p o rts   pro v i d ed   t pro g r ams  an org a ni za tio n s   t a f fect  cha nge   o a d o p t i on  o f   e v i de nc e-ba se or  i nn o v at ive   prac ti c e s   [ 1 - 3 ].  T he re  i s,  how e v er,   no  c o m m o n l ac cept e de f i nit i on  of  t ec h n i c a assi sta n c e   a no te by  a   num be r   o f   e x p e rts  [1,  4].   West  e a l conc lude d,  b a sed   o n   a n   ext e nsi v rev i e w   o th e ffe c t iv en e ss  of   t ech ni cal   as sis t a n ce  i n terve n t i ons,  t h a t   We  w e r u n ab le  to fi nd a   c o mmon l ac cep ted  defi ni tio of te c h n i c a l  a ssis ta nce   in t he  p u b lis hed  li ter a t u re”   [4] .   Th l a ck   o f   c o mmo n l y   ac c e p t ed   d efi n it io n   o f   t e c hn i cal   a s s i s t a nce   le a   numbe of   e xper t t o   pro pose  w o r k ing  de fi ni tio ns  o the   term con t en a n al y s is  o t h e s w o r k i n de fi n iti ons  f i n ds  a   n um ber   of  com m on  e l e m e n ts;  nam e ly,  ca paci t y   b u i l d ing  [4,   5],  qual ity  i m p l e m e n ta t i o n   [ 6],   a nd  qua lit i m prov em ent   [7].   W es t   e t   a l.   f or   e xam p l e define d   tec h nica ass i st a n c e   a A   d yna m i c,  c a p aci t y -bu i l d i n g   proce ss  for   des i g n i n g   o i m prov in the   qu a l i t y,  e ffe c t i v ene ss,  a n d   e ff i c i e n cy   o sp e c i f i c   p rog r amme s,  r e s ea rch ,   s e r v i ce s,  pro duc ts,  or  s y s tem s   [4] .   K atz  a n Wa n d ersm an  p r o p o se sim i l ar  d efin i t i on:   Te ch ni ca l   assi st an c e   i an  in div i dua l i ze and ha n d s- o n  appr oach  t ca p acit y -b u ild in g i n  or ga niza t i o n s   and  com m un it i e s”  [ 5].  A   w o r k i n de fin iti o n   o t ech nica l   a ssis t a n c e ,   how e v e r ,   i s   o n l first  s t e p   t ow a r o p er a tio na liza t i o n   of  t he  t erm   [8 ].   A   s econd   c r u cia l   s t e is  d efin in the   prac t i c e s,  t as ks,  s t ep s,  a ct i v i tie s,  e lement s,   e tc.   that  com p rise   t ec h n ic a l   a ss ista nc e.   T hi ha be en  a t t e m pte d   b y   a   n u m be of  i n v es ti ga tor s   [ 5,   6 9,   1 0]  w he re  f i nd i n g s   w ere   u s ed   t id en ti fy   t h e   c o r el e m e n ts  o t ech ni c a l   a ss is ta n c e   mode ls  a n d   fram e w o r k [1 1 ] Tw ent y -f i v e   m o d e ls  a nd  fram e w o rks  in  ear ly  c h ild ho o d   i n t erve n t i on,  e d u c a t i o n,  h eal t h   c a r e,   d eve l op m e nta l   di sa b ili t i e s pr egna nc preve n t i on,  c hi l d   w elfar e ,   a n yo ut de vel o pme n t   w e re  s ys te m a ti c a l l y   e xa m i ne d   t o   Evaluation Warning : The document was created with Spire.PDF for Python.
Int J  Eval & R es E d u c .     IS S N :   2252- 88 22       Re vie w  o f  the  e ffec t s o f   t e c h n i cal a ssist a n ce  on pr o g r a m ,   organ iz at ion,  an d sy st e m  c han g e  (Carl J.  D unst)  33 1 ide n tif t h c o re  e l e me nts  of  t he  m ode ls   a nd  fra m e w orks.  F i ve   c ompo ne nts  w e r e   i de n t i f ied  w i th   e a c com p o n e n in clu d i n g   b e t w e en  4   a n d   6   c or elem ents.  The  five  c om po ne nt a r (1 )   pre p ara tion  for  t h e   pro v is ion  o f   t e c hnic a l   a ss is t a nce,   ( 2)  t he  d e v el o p me nt   o a   tec hni cal   a s s i s t a n c pl a n (3 i m pl e m e n t a t i on   o tech n i ca l   a ssis t anc e ( 4 eva l ua ti on  o f   t he  e ffe c t of  t ech nica l   a s si st an ce,  a n d   (5 th su st a i n a b i l i t y   o f   t h e   c h an g e s, i nno va t i on s, i mp ro ve me n t s, e t c . fa c i lit a t e d   by  t ech ni c al  a ssi st ance .   Tabl 1   i n clu d e s   t h e   d e s crip t i o n s   o f   ea ch   c o r e   el emen t   i n   t h e   f i v t e ch ni cal   a ssi s t a n c e   co mp on en ts.  The use or  in c l u s i o n  o f e a c h  c or e e l em ent, as   we ll  as com b i n at i on s of e le m e nts, in the st ud ies a nd e v al uat i on s   in  o ur  r e v i e w   w e r e   e xam i ne as  f a c t ors  con t ri b u t i ng  t o   t he  o utc om es  o tech n i ca l   as si s t anc e   i ter m of  ado p t i on  an d   use  o f   t ar ge ted  i n ter v e n ti on  pr act ice s .   Te ch nica assist an c e   w as  c o n cept u ali zed  a a n   implem e n ta t i o n   p rac tic tha t   i nc lude sp e c ific  s e t o f   a ctiv it i e s  ( c o r e  e l e m e n t s )  t o   a f f e c t  c h a n g e s  i n   a   pro g ra m,   o rga n iz a t i o n,   o sy stem [1 2]  w h e re  v a r iat i ons  i tec h ni cal   a ssi s t a n c e   w o ul b e   e xp e c t e d   to   b e   rela t e t o   v a r i a ti o n in  r e por ted  or  o bse r ve c h a n ges  in   a   p ro g ra m ,   o rga n i z a t ion,   o sys t em [1 3].  S t ated   di ffe re nt l y ,   t h e   core   e lem e n t s   are   the   type o f   p rac tice s   t ha t e chni ca assi st a n ce   p rov i d e rs   u se  t o   a c h i ev des i red  pro g ra m, orga n i z a t io n ,  or   syst e m   c ha nge.   S t udie s   a n d   e val u a t i o ns  o the   effe ct of  t ec h n ic a l   a ss is tance   c a n   be   d i v ide d   i nt t w ty pe of  implem e n ta t i o n   p r a c tice s Pr actic e s   t ha fo cus  o n   c h a n g e s   o im pro v em ent s   i pr ogr a m ,   or ganiza ti on,  o r   syste m   [ 14- 16]   a n d   p r act ice s   t ha f o cu on   c oa li tio b u i l d ing   [ 1 7 1 8 or   c om muni t y   d e v el o p m e nt   [ 1 9 ] .   The  stud ies  a nd  e v a l u a t i o n e x a m ined  i t h pre s en r e view   i nc l ude d   i n v e s tiga t io ns  w he re  t ec hn i c a l   a s s istanc e   w a use d   t inf l ue nce   the   a d o p tio a n u s o f   e v i de nc e - base d,  i n n ova ti ve,  or  r e c om me nded   pra c t i ces  i p r og rams,  o r g a n i z a ti on s,  o sy st ems.  S t u di e s   a nd   e va lu at ion s   o f   t e c h n i ca l   assis t a n ce  f o coal i t i o bu i l d i ng  or  com m uni t y  de v e l o p m e nt  w ere   be yon th e   s c ope  o t h e r e view .     Exi s ti n g   r evi e ws  o t e c h n i cal  a ssi st an ce   s tud i es  a nd   e v a l u a t ion a r prim aril lim ite to   d e s cri p tio ns   of  t h e   t e c h nica a s s i st ance   p rac t ic es  u se to   a ffec t   cha n ges   in   p ro gr am s,   o rga n i z a t ions,   or  s ys tem s   [ 5,  6 ,   10 ,   15,  2 0] O n e x em pti o n   i s   a   r e v i e w   by  We st  e a l [ 4 ].  T hese  i n ve st iga t ors  i n c l u d e d   d escrip ti ve  f i n d i ngs   o bo th  t he  c ore  e l em ent s   a n d   t h e   outc o me o f   t e c h n i ca assis t a n ce  b u t  d i d   n o t  r e l a t e   t h e   u s e   o f  t h e  p r a c t i c e s  t o   any  o f   t he  s t u dy.  D urla a n d   D u P r e   [3]   as  w e l l   inc l u d e d   f i n di n g fo bot h   th e   d e g r ee   o f   i m pl e m e n t a t i on   o f   targe t e d   p r act i c e s   a n d   t he   s tu d y   outc o m e s.   N either  o t h ese  r e v i e ws,  h o w ev e r in cl ud ed   a t t e mp ts  t qua n t i t a tive l relate   t he use  o t e chn i ca l   assista n ce  prac t i c e s  to a ny s t u dy  o r  e valua t i o n ou tcom es.  Th ext e nt   t o   wh i c h   t h co re   e l e ment s   in   T abl e   1   w e r e   u s ed   i t ec h n i c al  a ss ista nce  st ud ies  a n d   eva l ua tio ns  a n d   w ere   re lated   t o   r e p ort  or   o bser ve cha n g e in  p r o g r am organ i za tio n,   o r   sys t em pra c tice s   w a the  foc u of  t he   r e v iew   desc ri bed  i n   t hi pa per.   T hi w a a cc ompl is hed  by  c o din g   t he  u se  o t h 2 5   tech n i ca l   ass i st anc e   c ore  ele m ents  i Ta b l e   a n re l a t i n g   t h use   of  t he   c ore   e l em e n t s   t di ffe re nc es   i the   t e c hni c a l   a s si sta n ce   s tu dy   a nd  ev a l u a ti on   o u t c o me s.  T h i s   wa do ne   i a   n u mbe r   o w a ys   i order   t o   u n p ac k   the   i n flue nce s   o tec h n i c a l   a s s ista nce   t o   i de nti f t h pa rti c ul a r   c ore   elem ent s   a n d   c on d i tio ns  u nder  w h i c th e   core   e lem e n t s   were   a ssociat ed  w i t o b se rved  o r e port   progra m ,   organiza ti on,  o r   s y s t em   c han g e s .   The   e x p ect ed   out c o me  w a s   t h e   i d e nti f i cat ion   of  t h e   p arti cu l a co re   e l emen t s   o co mb in at io n s   o e l e m e n t s   t h a pro v ed  m ost i m porta nt i n ter m of e xpl a i n i ng s t u d y  a nd e v a l ua t i on  ou t co me s.         Evaluation Warning : The document was created with Spire.PDF for Python.
                         I SSN: 2252- 8822  Int.  J .   Ev al. & R es. Educ.  Vol.  8, No. 2, June  2 0 19:  3 30  - 3 43  33 2 Ta b l e 1.  Core  elem en ts of tec h n i c a l  assis t a n ce   C o r e  e leme nts   De finitions of te r m P r ep ar a t i o n   f o r   t e c h n i cal   a s s i s t an ce     1 .   N e e d s   a s s e ssm e n t   Proce ss  for   de te r m i n ing  the   ga p   be twee n   c u r re nt  c onditions,  pra c t i c e s ,   o r   outc o m e s a nd  d e si r e d c o nditi ons,   p ra c tice s , or  ou tc o m e s     2 .   D e c is ion- m a king  Proce ss  for  inv o lving  p r o g ram   st a f f   in  i de nt i f y i ng,   a m ong  a l t e rn a t iv e s th options  o pri o ritie t h a t   b e s t   f i with  t he   org a niz a tion’s m i s s i on  or   g oa l s     3 .   V is ioning   P roce ss  f o de te r m ining  wha t   a o r ga niz a t i o n   w ould   do  or   l o ok  l i k e” i f  i t   w a s t o   m ak e   d e s i r e d   ch an g e s     4 .   R ea din e ss  for  c h a nge   ( buy-in)   Sta f f   c o m m i t m e n t   to  c ha ng e   pr o g r am ,   o r ga ni za tion a l,   o r   s y s t em s   pra c t i c e s   t i m pr ove   e f f ec tiv e n e ss  in  o r d e r   t a c hie v e   de sir e d   c h a n g e or  outc o m e s     5 .   O rga n iz at iona l   c a p a c i t y   A bility   o f   a n   o rga n i z a tion  t o   c o m m i t   t he   hum a n ,   prog ra m ,   a nd  othe r   re source ne e d e d   f or  a   p r o g r am org a ni z a t i o n,   o s y s t em   c h a nge s  t o   produc d e sire prac ti ce s     T ech n i ca as s i s t an ce  p l a n     1 .     Goa l s a nd  obje c tive s   T he   i m m e d i a t e   ( o b jec tiv e s )   a nd  long- te rm   ( goa ls)   pro g ram   c h a nge s   an d   o u t c o me s th at  a r e  th e  d e s ir ed  b e n efits o f T A     2 .   I nte r v e ntion  pra c ti c e s   T he  p a r tic ul a r   e vi de n c e - ba s e int e rve n t ion  prac ti c e   o r   be s t   p rac t i c e s   ide n t i f i e d   ( ta r g e t ed)  to  p r oduc e   d e sir e pr og ram ,   o r g a n iza tion a l,  o r   sy st e m s   c h a nge    3 .   F it a s s e s s m e nt   D et e r m i ning  how   w e ll  th e   t a rge t e d   i nte r ve nti o p r a c t i c e   m a tc he (f it s )   t he   p r o g r a m   o orga niz a tio n’s  m i ssion,   p rio r i tie s,   d e s ir ed   c h a n g e s,   s t a ff   b e l ie fs,   e t c .   a nd  how   w e ll  the   propose d   T A   prac t i ces   a l so  f it   t h e   p rogr a m  ec o logy    4 .   L ogi c   m o d e l   or   t he or y   of  c ha ng A   de s c r i pt ion  or   g ra phic   r e p re s e nt a tion  o f   t he   r e l a tionship  be tw e e n   de si r e prog r a m ,   o rga n i z a tion a l,   o s y st e m   i nputs  a nd  r e source s th inte r v e n tion  pr a c tice s a c ti o n s ,   o r   a c t i v itie to  a ffec t   d esire c h a nge ;   a nd  the   i n t e nd e d   outputs  a nd  o u t c o m es  o f   use   o f   t he   p rac t i c es ac tions, or ac tivities    5 .   T A   r e source s   T r e source m a d e   a v a ila bl e   to  a nd/or   p rovi de d   t pro g r a m   st a f to  i m prove   t h e   u s e   o t a rge t e d  e vid e n c e - ba s e or   b e s pr ac t i ce s     6 .   S ta f f  ro l e s  a nd r e s ponsibilit ie Spe c i fi c a t i on  of   t h e   r ol e s   a nd  re sponsi b ilitie of  i n d i v id ua st a ff,  a nd  how   e n a c t m e nt  o t hose   role s   a n d   r e sponsibili tie s ,   a re  e xpe c t e d  t o   c ontribute   to  d e s i r e d  c h a ng   T ech n i ca as s i s t an ce  i m p l e men t at io n       1 .   T A provide r c r e d ibility   P rac t i c e s   u se b y   a   T pr ovide r   t o   e st a b lish  st a f trust,  r e s pe c t ra pport,   a nd  be lie fs  t ha the   provide i s   a c ting  in  t he   b e s in t e re sts  of   the   program  a nd  st a ff  r e ce iving  T A     2 .   P rof e ssiona l   de v e lopm e n t   T h e v ide n ce - b a s e d   p rof e ssiona l   d e v e l op m e nt  p r a c tice s   u se b y   a   T A  provide r   to bui l d  a nd stre ngthe n s t a f f,  pr o g r a m ,   or ga niza tio n,   a nd  sy st e m s   ca p a c i t y   t use   t a rg e t e d   i nt e r v e ntion  prac ti c e s      3 .   C o a c h ing  a nd m e n t orin g   T A   p rovide use   of  e ith e r   o bot h   c o a c h ing  a nd  m e ntoring  a s   p a r of  t h e   provision  o f   T A   a nd  i n   i nt e r a c tions  w i t st a f to  b u i ld  a nd   st r e ngthe th e i r ca pac i t y   t us e   ta rg e t e d   i nt e r ve ntion  prac t i ce   4 .   C onsulta tion  Ta ilore re sponse s   t individua sta f f,   s m a ll   g rou p of   s t a ff  m e m b e r s,   a nd other pr o g ra m   st a f f in r e s ponse   t o  qu e stions,   c o n c er n s ,   e t c . a bout  s t a f f   a dopti on  a nd  use   of  t a r ge te inte rv e n ti o n   p ra c t i ces     5 .   T A   provide suppo r t / f e e db a c k   T A   provide n onj udgm e n t a a c kno wl ed g m e n t ,   e n c o u r ag eme n t,  a n d   fee dbac k   on  st a ff  e f fo r t tow a rd  a n d   a cc o m plish m e n t   of  c h a ngi ng   pro g ram   pr a c tice s   c onsiste nt  w it the   obj ec tiv e s   a nd  goa ls  o t he  pla n     T ech n i ca as s i s t an ce   e v a l u a t i o n     1 .   P roce ss e v a l u a ti on   M e t hods  f o r   d e t e r m i ning  if  t he   p ractic e s ac tivitie s ,   o int e rv e n tions   spe c i fi e d   ( in  a   t h e ory   of  c h a nge  o l ogic   m o d e l )   w e r im pl em e n t ed   a s   p l a nn e d  a nd  re s u l t e d   i id e n tifia ble  outputs   Evaluation Warning : The document was created with Spire.PDF for Python.
Int J  Eval & R es E d u c .     IS S N :   2252- 88 22       Re vie w  o f  the  e ffec t s o f   t e c h n i cal a ssist a n ce  on pr o g r a m ,   organ iz at ion,  an d sy st e m  c han g e  (Carl J.  D unst)  33 3   Ta b l e 1.  Core  elem en ts of tec h n i c a l  assis t a n ce  (Cont i nued)   2 .   O utc o m e  e v a l u a tio Me thods  o de te r m ining  if  t he   p r a cti c e s ,   ac tivitie s,  o a c tions  h a v e   re s u l t e d   i d e sire c h a n g e s   a nd  a f fec t   p r ogre s or  b e n e f its  i th targ e t  g ro u p ( s ) of a p ro g r am, o r g a n i z a tio n , o r syst e m   3 .   F ide lit y   of use of inte rve n t i on pr a c tice s   E xte n t o   w hi c h   t h e   k e c h a r ac t e risti c of   t a r g e t e pr a c t i ce tha t   a r e   t h e   f o c u of  T A   we r e   i m p l e m e nt e d   i a   m a nn e r   i w h ic th e y   w e r e   de signe to  b e   us ed  o de li ve r e   4 .   F i d e l i t y o f  u s e  o f   T A  p r a ct i ces   E x t e n t   to   w h i ch   t h e   c o r el e m e n t of   T A   we r e   u se a s   i n t e nde a n d   i n   a   c onsi s te nt  m anne w ith  p r ogra m   s t a f f   r e s ponsible   f or   u se   o t h e   i n t e rve n ti o n  pra c t i c e c onstitut i ng the   foc u s of T   5 .   L e ssons  l e a r n e K now le dg e   ga in e d   from   the   us e   of  T to  p r o m o t e   s ta ff  use   of  t he   t a rget e d   i nte r ve nti on  p r ac ti c e ( s)  c onst ituting  t h e   foc u of  T A   an d   t h e   use   of  t ha t   infor m ati o n   to  m a k e   cha nge or   i m p rovem e nts  in  t h e   ove r a ll i m plem e n t a t i on  of   p rog r a m  a c tivit i e s     S u s t a i na b i l i t y   o T A - f a c il i t a t e d   c ha ng e     1 .   C a p a c ity - s ust a ining  a c tivi t i e s     T he   p rogr a m org a ni z a t ion,   o sy stems  r e sourc e s a c tivi tie s,  a nd   pro f e ssiona suppo r t tha t   a r e   u se to  s usta in  o m a inta in   t h e   ch a n g e s   t h a t   h a v e   b e e n   put into  pla c e   a s  a   r e s ult  of  T A-re l a t e prac ti c es     2 .   C ontinuous  qua l ity  i m p rovem e nt   P r o c e s s e use d   t e n sure   ongo ing   i m provem e nts  i n   a   p r ogram ,   orga ni za t i on,   o r   syst em th a t  we r the   fo c u of  T   3 .   O ngoing  T A   p r o vi de r   support    P r o c e dure s   u se to  p r ovide   e ith e r   o bot in fo r m a l   a n d   f o r m a T A   suppo rts  to  p rog r am   s t a ff  a f te the   c o m p l e tion  of   T A-re l a t e act iv i t i e s     4 .   F ollow-up a c t i viti e s   P la nn e d   a c t iviti e s   u se to  p rovide   p rog ra m   st a ff  o pportunit i e s   t o   sha r e   c onc e r ns  a nd  ac c o m p l i sh m e nts  a nd  to  obt a i in put,   fee dbac k,  sugge stions,   e t c .   fro m   a   T A   p rovide r       2.   METHOD   2.1.   S e arc h  st r ate g y   Te ch nica as si sta n ce  s t u d i es   a n d   e val u a t i o ns  w e r l o ca t e thr o u gh   s ear c h es   o f   ER IC ,   P s y c In fo ,   P r oQ uest  C e n t r al,  MED L INE,   a nd   G o o g l e   S c holar The s w e re  s upp l e m en t e d   by   s earch e s   o th e   re f e re n c e   sect io ns  o al l   re t r i e ved  pa p e rs  a nd  r e port s   a w e l l   a by  se ar c h e s  o f   a n  E n d N o t e  l i b r a r y  m a i n t a i n e d     by our  Insti t ute.  Ca nd i d ate   stu d i es  a n d   e va lua t io ns  w ere   l o ca ted   usi n t h s e a r ch   t erms  tech ni cal   a ssi s tan c e”  AND  s tud y  O R e v a l ua t i on O R  i nv est i ga tio n O R  r ese a rc h.” S e para t e  se a r che s  w e r e cond uc te d i n  t he a bo ve so u r ces  for  t h sear ch  t e r ms  i the t i t l e s,  a bstra c ts,  k e yw ords,   a nd  t h b odie s  of te xt  s i n ce   t ec h n i c al  a ssista n ce   i not  a   con t ro l l ed  v oc a bula r term   i an of  t he   e lec t r o n i c   da tab a se e xce p t   MED L INE.  R e s ul ts  w er sor t ed  b y   rele va nce   a n d   the   f u ll   t ex ts   o a ll  re t r ie ve doc um en ts   w er e x am i n e d   u n t i l   n o   ne w   c a nd i d a t s t ud ies   or  eva l ua tio ns w e r foun d.      2.2.   Incl usi o n cr i t er i a   S t udie s   a nd  e v al ua tio ns  w er incl u d ed  i an  i nve s tiga t io ex am i n e t h e f f ect o f   t ec hni c a assista n ce  o n   t he   a do p t i o an u s o f   e v i de nce - base d,  e v i dence - in form ed,   i n n o v at i v e,   o r   o t her   r ecom m ende d   prac t i c e as  p a r of  p r o gram orga niz a t i o n,   o r   system c h a n ge.   S t ud ies  an d   eva l ua ti on of   t e c h n ica l   a ss istanc e   tha t   i nc l u de on l y   p ro gra m   r ecip i en o u tc o m e s   w ere   excl ude d,   a s   w er e   rec i pie n ou tc om es  i st u d ie an d   eva l ua tio ns  i nc l u d i n g   b o t pra c tic a nd  pr ogr am   r ec i p ie nt  o u t c o me s.  E li gib l s t u d i e s   a n d   e va lua t i ons  n ee ded   to  i nc lude   b et w e e n   g rou p o r   b etw e e n   c o n d i tio com p ar i s on tha t   p ermitte c a lc u l at i o ns  o me an  d i f fe renc effec t   s i z es f or c han g es  o r im p r ovem e n t s in  t ar gete d pr act ic e s .   S t udie s   a nd   e v a lua t i o tha t   m e t   t he  i nc lus i o n   c r i te ri pro v i d ed   i n d i v i du al iz ed  t ec hn ica l   a ssis ta nce   t o   targe t e d   p ro gram or  o rga n iz a tio ns  t ha i n c l ude some   t y p e   of  t r a i n i n g,   p r o fess i o nal  de v e lo pm en t,  c oa c h i n g,  me ntor ing,   o r   ot her   t ypes of  s up p o rts  to pro m o t e   p ra ct i t i o n e r s '   a d o p t io n   a nd use  o f   t he   p ra ctices tha w e re  t he  foc u s o f  t e c h ni cal ass ista nc e.   T he   t y p es  o t h e tech n i ca ass i s t a nce i n   e ach stud y  or eva l ua ti o n   w e r e exa m ine d   to  d isc e rn  t h e   i n t e n sit y   o th e   imple m e n t a ti on  pr act ice s   t o   aff ec pr og r a m ,   o r g aniza t i o n,  o sys t e m chan ge F i xse n ,   Blase ,   H orner   and  S uga i [ 21]  d e f i n iti on  of  i nte n s i ve   t ech ni c a a ssi st an c e   w as  u s e d   t o   g ro up   t h e   stud ies  a n e v alua t i o n i n t o   e it her   inte ns i v or  l e s i n t e ns ive   a ppr oache s   b ased  on  fi ve  k e y   f ea t u res  (c lari ty,  fre que nc y,   i n t e n s i t y dura t i o n,   a nd  in te grit y).   Clari t y   a n d   i n t eg ri t y   w as  m ea su re d   in   t e r ms  o f   th u s e   of   t h e se  p a rti c ul a r   c o r e l emen t s   o t e c h ni c a l   a s si st an ce   a n d   f r equ e n c y ,   i nt e n s i ty,  a nd  dura t i o w a de term ine d   f r o m   Evaluation Warning : The document was created with Spire.PDF for Python.
                         I SSN: 2252- 8822  Int.  J .   Ev al. & R es. Educ.  Vol.  8, No. 2, June  2 0 19:  3 30  - 3 43  33 4 a n   a n a l y si of  e a c of   t h e   s t udy   a n d   e v a lu a t io re po rt s.  H a l o f   t h e   s t u d i e s  a n d  e v a l u a t i o n s  ( 5 2 % )  w e r e   ca t e g o rize as   i n t ens i ve  t ec hn ica l   a ssi st a n ce  in t e rve n t i o ns,  an ha lf  o the  s t ud ies  and  e v al ua ti o n w e r e   ca t e g o rize as le s inte ns i v te chn i ca l   assist a n c e .     Ex c l u s io cri t e ri a   a s   not e d   a b o v e st ud i e an ev a l u a ti on t h at   f oc use d   o n   c o a l i t i o n   bu ild i n or   com m uni t y   d e v el o p m e nt  w ere   also  e x c l u de from  the   r e v i ew.   Stud i es  a n d   e va l u a tio ns  t h a did  n o t   i nc lude   a   sufficie n tl de tai l e d   d escr ip t i o of  t he  m ak e- up  o f   t e c h ni cal  a ss ista nce  to  a ffec pro g r a m ,   o r g an izat i on,  o r   syste m c h an g e   w ere   also  e xcl u ded.  T he  l a t ter   t y pi c a l l y   i nc l ude pa p e rs  a n d   r epor ts  t ha t   sta t e d   t hat  t h implem e n ta t i o n   p ra c tices  i nc lu de t e c h n i ca a ssis t ance   b u t   t her e   w a n o   de scri pt ion  of   t he  c ore  elem ent s   o f   tech n i ca l   assis t a n ce  use d  in t h studie s   o ev alua t i o n s.      2.3.   Da ta  pre pa ra ti o n   struc t ur ed  d ata  c o din g   f or m   for   eac o f   t h e   T ab le  1   c o r ele m en t s   w as   u sed   to   c od t h p r e s e n ce  or  a bse n ce   o the   c o r e   e l e me nt in  t he   s tu die s   a n d   e va lua t io ns  b y   s e a r c hi ng   e le c t r o n i ve rsio ns  o f   ea ch  retr i e ve pape or  r e port.  T he   c o d i n g   f or m   incl u d e d   p r i m a ry,   se con d a r y a nd  rela te te rm f o ea ch  c ore   elem en (fide l i t y,  a d h e r enc e or  i n t egr i t y t o   i de nt ify  al r e l evan core   e le m e nts.  T he  e le ctro nic  sear che s   w er e   su pp l e ment ed  b re vi e w e r   e x a mi n a ti o n   o f   ea c h   s tu dy  a n d   ev al u a ti o n  t o   a l s o  b e   a s s u r e d   n o  c o r e   e l e m e n t s   w e r e   m issed.  T en  o the  2 5   i n v es t i ga t i o n ( 40%)  w e re   r a n d o ml s e l ecte d   a n d   c ode inde pe nde n t l y   by  tw o   aut h ors  for  c a l c ula t in in ter r ater   a gre e m e nt.  A g re em ent  w a c o m pu te a s   t he  num ber   o f   a gre e m e nts  d i v i de d   by   t he  num b e of  a gre e m e n t p l us   n o n -a gree me nt s.   T he   m edia pe r ce n t   o a g re em ent   wa 92   ( R a nge =84   t o   96).  D i sagr ee m e nts  w e r e   r e s ol ve by  a n   a uth o n o t i ng  the   pre s en ce   o cor e   e lem e n t   n ot   i de nt ifie b y   o t h e r   aut h ors un ti l   t h ere   w a 100%  a gree me nt .   The   t y pe o f   c ompa ris o n s   i t h e   st u d ie a n d   eva l ua tio ns  w er co d e d   i n   t erms  o f   th re se a r ch   d esi g use d   t deter m ine  t h r e la t i onsh i ps  b e t w e e n   t h e   c ore   el em ents  a nd  s i ze of  e ffe c t for  be tw ee g r ou or   betw ee c o n d itio c o m p aris o n s.  T hre e   d iffe r e nt  t ype o f   c ompa ri s ons  o cont r a sts   were  u sed  to  e stablis h   t he  effec t o f   t e c h n ica l   a ss ista nc e:  B e t w e en  g r o u p   p os tt e s d i ffe r e nc es,  bet w ee c o nd it i on  c o m p ar i s o n s ,   a nd   prete s t-p o st tes t   d iffere nces.   The   de pen d e n m e a s ures  i nc lu ded  t he   a dop ti on  a nd  u s e   of  t he  p rac t i c es  t h a t   w e re  the   f o cu o f   p rogra m ,   orga n i z a tio n,   o s y st e m c h an ge.   H a lf  o the  i nve st iga t i o ns  ( 5 2 % i n c l ude o n l y   o n e   ou tc ome   m e a s u r and t h oth e r ha lf inc l u de mult i p le  ou t c o m e  m e asu r e s   2.4.   Da t a  a na ly si S i se ts  o a n aly s es  w e r con duc te t o   i d e nti f the  r e la ti o n shi p s  b e t w e e n  t h e  c o r e   e l e m e n t s  a n d   stud a n e v a l uat i on   o u t c o m e s.  W firs de term ine d   f or  a ll  25   i nv esti g a tio n s   w hi ch   c o r e   e l ement s   w e r e   u s ed   in   e a c h   o t h stud ies  a n e v alua t i ons.   S econ d ,   w e   c a l cu l a ted   t h e   a v e rag e   m e a n   di ff ere n ce   e f f ect   s i zes   a nd  95 co nfi d e n c e   i n t erva l s   f o r   t he   o ut c o me in  t he  s t u d i es  a nd  e v a l ua t i ons   i the   rese arc h   r ep orts  t es t a bl is h   the   e ffica cy   o tec h n i c a l   a ssis t ance T h i r d,  w ide n ti fie d   w hic h   pa r tic u l ar  c ore   e l e m e n ts  i nc lude i n   t h e   stud ies  a nd  e v alua t i o n w e re   a ssoc i ate d   w it p o s iti ve  s iz e s   o ef fec t F our th,   w e   e valu ated  t he  e ffe c t s   o th e   in t e nsit o f   t ec hn ica l   a ssis ta n c e   on  the   siz e s   of  e ffec ts  f or  p r o g r am orga ni z a t io n,  a nd  s y s t e m c h an ge .   F i ft h,  w e   d e t erm i ne d   w h ic c o re  e lem e nt or  c o m bina t i o n of  c or e l e m e nt we re  a sso c i at ed   w i t h   t h e   s i zes  o effec t for  cor e   e lem e n t -o ut co m e   r elati o ns hips.  S i x t h,  w e   e v a l u a t e d   t h e   i n f l u e n c e s   o f  t h e  t w o  t y p e s  o f   f i d e l i t y   core   e l e me n t (tec h n i c a l   a ss i s ta nce   a nd  in te rven ti o n on  the   s i ze o f   e ffe cts  f o pr ogr a m organiza t i o n and   sy st ems  ch ange to   d et e r mi ne   i f   h ypo th e s i zed   r e l ati o n s hi ps  w ere   s u p p o rt ed  b y   the   ana l yses  o the   effe cts  o f   tech n i ca l   assis t a n ce  on t h st u dy a n d e v a l ua t i on  o u t c o me s [13,   21,  22].    P a ttern ma t ch i ng [2 3] w as us e d t o  ide ntify  w h ic h tec h ni c a l  a ssi sta n ce  c or e elem ents or   com b i n a t i ons   of  e lem e n t u s e d   a i m p l e m entat i on  pra c tice s   w e r re l a te to  t h e   si ze of   e ffe ct f o t h out c o mes.  A   part icu l ar   t y p e   of  p r o cess   pa t t e rn  m atch in w a used   t de term i ne,  a m on a ll  c o re   e lem e nt s,  w hic h   e le me n t w e r e  a s s o c i a t e d  w i t h   p o s i t i v e  o u t c o m e s   i n  s t u d i e s  a n d  e v a l u a t i o n s   t ha t   d i ffe r ed  i ter m of  r esea rch  des i g n s   and  t ype o f   o u t c o me   m ea sur e [2 4] O b se rved  o r   ob ta ine d   p at ter ns   w ere   m a ppe o n t t h t e chn i ca l   assista n ce  st u d y   a nd e v a l ua ti on  ou t c ome s  as a  basis  for  establ i sh in g c o re  e lem e nt o u t c o m e   r ela t i ons h i ps.     I n   a d d it io t o   p at tern  m at ch i ng,  o t h er  a na ly se we re  c on d u c t e d   t o   i de nt ify  t h re l a t i ons hi ps  b e t w e en  (1 th e   co mb i n ed   u se  o f   t h e   co re  t echn i ca assi st a n ce   c o m po n e nt a n t h stud a n e v a l ua ti on   o u t c o me s,   ( 2)  di ffe re nt   l e v e l s   of  t e c h n i ca a ssis t a n ce   a nd  the   stu d y   a nd   e va l u a t i on   o ut c o mes,  a n d   (3 sp eci fi c   co mb in a t i o ns  of  c ore   elem ent s   a n d   t he   s t u d y   a n d   e val u ati o ou tc ome s .   The  lat t e pos t   hoc  f o l lo w - up  ana l yse s   w er e   in form ed by  the   r e sult of a ll  o f  t he  p rec e d i n g  ana lyse s.       3.   RESULT S     3.1.   Ty pes  o f  s t u dies   a nd ev a l u a t i o n O n e   hu n d red  and  fi fty-f i ve   ( 15 5)  t e c h n i ca l   assista n c e   p a p e r a n d   re po rt were   l o cat ed   a nd   e ac h   exa m ine d   i te rm of  t he  d e s crip tio ns  o c o re  e lem e nts,  t h e   p ra ct ices  c onst i t u ti n g   t he  f o c us  o inve s tig ati o n,   Evaluation Warning : The document was created with Spire.PDF for Python.
Int J  Eval & R es E d u c .     IS S N :   2252- 88 22       Re vie w  o f  the  e ffec t s o f   t e c h n i cal a ssist a n ce  on pr o g r a m ,   organ iz at ion,  an d sy st e m  c han g e  (Carl J.  D unst)  33 5 rese arc h   d es ig ns,   an t h inc l u s i o n   of  d a t to   c om p u t m e an  d i f fere nce  e ffe c t   s izes.   Tw ent y -five   ( 2 5 of  t he   15 s t ud ies  a n e v al ua tio ns  m e t   t he  i nc l u sion   c riter i a .   T h e   m a j ori t o f   i nve sti g at i ons   w e r cond uc te d   in  ear ly   chi l d h ood  in te rve n tio pr ogr am or  s cho o l (70%) .   T he   o the r   s t u die s   a nd  e v a l u a t i ons   w e r cond uc t e i n   hea l t h   car e,  huma n   s e r vices,   fa m i l y   a n d   c h ildca re  p ro gra m s,   a nd   c om mun ity- b a s e d   p r o g r am s.  A ppend i x   A   inc l ude s the  lis t of 2 5 st ud i e and  eva l ua ti o n s Th p r a c t i c es   t h a t   we re  t h e   f o c us  o f   t e chn i ca l   ass i st an c e   i n c l u de d   sc ho ol-w i d be ha vior   s up p o rts,  fa mil y   s ys tem s   i n t e r ve nt i o n   prac tice s c l a ssroom   p ra ct i c es,  c a r e   coord i na t i o n tea c he r - chil inte rac t i o ns,   inc l usio prac tic es,  tea c h i n qua lit y,  c ur ric u lar  pra c tice s ,   e a rly  ch i l dho o d   p h y si c a l   a c t i v i t pra c tices,   c h il and   fam ily   s u p p o rt,  a n d i f f er ent  kin d of  b e h av i o m a na gem e nt   in te rv ent i o n s.   M ost  of  t he   i nve s t i g ator s   st a t ed   t ha t the   pr act ice s  t hat   w e re the   f ocu s  of tec h nic a l   a ssi s t a n ce   w e r e e v i d e n ce -base d  or ev i d ence - i n f orm e i n t e rv ent i on s .   S ev e r al   o t h er  i n v e sti g at o r s   sta t ed  t h a t   t h e   pra c t i c e t h a t   w er the   f o cu o f   t ec hn ic al   a ss i s ta nc e   w e r e  inno va ti v e   i nter ven t i o prac tic es.  The   ou tc om es for m ea suri n g  ado p t i o n of,   a dhe renc t o ,   or i mprov e d   u se  of   th e i n t e rv ent i o n   p r ac ti c e con s t itu t i ng  t h foc u o f   i n v e st i g a tio i n cl ude dif f ere n m e a s u r e s   o i n t e rv e n ti o n   f i de l ity   [ 25 26 -28 ]   a nd   cha nge s   or  i mpr o vem e nts  in  t he   u se   o t h pr act ice s   c on stit u tin the   f o c u of  i n v est i ga tio [29,   3 0-3 2 ] .   The  maj o rit y   o f   outc o me   m ea su re s   i n cl ud ed   d i r e c t   ob se rv a t ion s   o f   e x pec t e d   c han g es  o impr ove me n t in  t a r gete prac t i c e s w h e r ea s a  numbe r of in v es ti g a t i o n s   use d  ra t i ng  sc ales  for m ea surin g  o bserve d o r  repor t e d cha n ges.    I n form at io n   in clu d e d   i the  st ud i e a nd  e v alua t i o n perm it t e 1 betw e e n   g ro u p   c om pa rison s ,   12   betw ee c o n d i t i o n  com par i so ns, and 21 pre t e s t- pos ttes t  c om par i s on s. The  b e t we en   g ro up  po s tt e s t   on ly  d esi gn  stud ies  a nd  e v a l ua t i o n w e r e   e it her  ex pe ri me nt a l   o r   q u a s i-e x per im en ta in ve sti g a t i o n s   w he re  t he  u se  o tech n i ca l   a s si st ance   t a f fec t   c han g es  i p r ogra m ,   or gani zati o n or  s ys te ms  w a s   c ompa red  to  o ut c o me in  a   p r og ram,  o rg a n i z ati o n ,   o sy st ems  not   r ec ei vin g   t e c hnic a l   assi s ta nce .   T he   c om para tive   c o n d it io n   de s i gn   stud ies  a n e v alua t i o n s   i n c l u d ed   i n v e s t i ga ti ons   w he re  t he   e ffe c ts   o tec hnic a l   a ssis t a n ce   w e r com p ar ed  t o   l e ss  int e nsi v t e c hni c a l   a ssi st an c e   o r   a l t e r na t i v co ndi ti on ( e. g.,  w o rksho p s).  The  pr e t es t-po sttes t   d e s ig n   eva l ua tio ns  c ompa red  pro g ra or  o r g an iza tio o u tc ome s   b e f or an d   af ter  th e   p r ov isi o of   tech n i ca l   assis t a n ce.     3.2.   Co re el e men t Ta b l e   inc l ude t h e   n u mbe r   a nd  pe rce n o f   c ore  pr act ice s   ( elem ents)  use d   i t h 25  i n v e stiga tio ns.   The  c o re  e lem e nt use d   m o s t   ofte in  t he  t e c hn ica l   a ss is ta nce   i n v e s t i ga t i ons  w ere   profe s si ona de ve l opm ent   (10 0 %),   exp l i c it  ide n tific a t ion  o f   t a r g e te in ter v e n t i on   p ra ct i ce ( 9 6 % ),  t e c hn ica l   a ssis ta nce   pr ov i d er  con s u l t a ti on  ( 8 4 % ),  i de n tifi c atio o f   t ec hnic a l   a ss is t a nc and  i n terve n ti on  goa ls  a nd  ob j e c t i v es  ( 80%) ,   tech n i ca l   ass i s t a n ce   p r o v i der  su pp ort  an fee d bac k   ( 8 0 % ) ,   n e e ds   a sse ssmen t   (76 % ),  t ec h n i c al   a ssi s t a n ce  rec i p i e n t   dec i s i o n -m aki n (76%) ,   a nd  a   p r oc ess  e v a l ua t i o n   f or  d eter m i ni ng  i f   e x p ected  c ha nge s   w e r e   ac hi e v e d   ( 7 6 % ) Thi s   c o n s t e l l a tio o f   t e c hn ica l   a ss ista nce  prac tice s   i n d i c a t e t h a t   a mong  the   2 5   c o re   elem en ts,  thes partic u l ar   p r actic e s   stand   ou t   a m o st   f r e que nt l y   u s e for   t h p l a n n i n g ,   d e live r y,  a nd  eva l ua tio of  t he   e ffe c t o f   e fforts  t o   a ffec t   p ro gram ,   or ganiz a t io n,  o s y ste m cha n g e   i t h in ves tiga t i o ns  i n   the r e v i ew.     I n asmuc h   a i n te rve n t i o pr actice   fide lit i s   a i m p o rta n me as ure   for  de ter m in in if  a   p rac tic w a s   ado p t ed  a nd  u s ed  a in t e n d e d i t   w as  s om ewhat  sur p r i sin g   t fin tha t   a bo u t   o ne-t hir d   o the  in ves t iga t i o ns  di no i n cl u d e   a n   e xp l i ci t   de scrip tio o f   t h i ty pe  o m e a s ure .   It  w as  a lso  surpr i si n g   t o   fin d   t ha onl y   a bout   hal f   o the   in v e s t i g a t i o ns  i nc lu d e asses s m ent  of  r e a d i ness  t o   c h ange  s i n ce   n ea rly  a l l   of   t h e   i nte r v e nt i o n   prac t i c e tha t   w er the  f o c u s   of  t ec h n i c a l   a ssis t a n ce  were   o ffe re d   t o   p rogra m   s t a f f   ra th er  t h a n   st aff   d e c i di ng  the p r act ice s   t h a w o uld  be th e   f oc us  o tec h ni c a l   a ssis t an c e .   It  w as  not  s ur prisin to  f in d   t h a t   o n l a b ou o n e- th i r of  t he   i n v es ti ga tio ns  a s s essed  fi de li t y   o u s e   of  t he   t e c h n i cal  a ss i s t a nce  pr act ice s .   Thi s   w a s   t h e   c a s e   sinc t h i s   t yp e   of  f i d e lit ha on ly  r ec en t l bee n   r eco g n ize d   a i m po rt a n t   fo ev alua t i ng   t h e   e ff ect of  implem e n ta t i o n  pra ct ices  on  pro g ra m, or g aniza t io n,  o r system s c ha n g e [2 1, 22] .     3.3.   Effe ctiven ess of  t e c hn ical as s ist a nce   Th 25   s tu di e s   a nd   e v a l u ati o n s   a l l   in c l ud e d   out c o me me a s u r e s   t ha t   pro v i de d   ev i d enc e   for  w h e t her   tech n i ca l   ass i s t a n ce  was  as so ciate d   w ith   o bse r ved  or  r ep o r ted  c ha nge s.  T a b l e   3   s ho w s   t he  m ea d i ffe renc effec t   s i z es  a n d   9 5%  c o n fi de nc inter v als  for  the  thr ee  t ype o rese arch  d e s ig use d   i the  inve s tig ati o ns.  Tec h ni c a l   a ssis t ance   w a s   r e l at ed to c h a nge s or impro ve me nts i n   the use   o f  targe te d pr act i c es   r eg a r dl e ss  o f   t he  ty pe  o c o mp ar i s o n   a e v i d e n ce b y   s ta ti stic al ly  s i g n i fi cant  Z- test f o the  be tw e e n   g ro up  or  b e t w e en   con d i t i on  c o m p a r is on s.   Th f a c t   t h a t   t h mea n   d i f f e re n c eff e c t   s i z e s   f o r   t h e   b et we en   c o n d it io c o mpa r is o n is   s m a ller  th a n   th ose   f o the   o t her   tw type s   of  s t u dy   d e s i g ns  w as   n o t   une xpec t e d Whe r ea t h com p ar is ons   f or  t he   b e t w e e n   gro up  an pret e s t-p o s ttes t   s t u die s   b o t i n cl u d ed  c on tra s t i n gr ou ps   o co n d i t i on no t   i n v o l v i ng   a ny   t e c h n i cal  assista n ce,   t he  b e t w e e n   c o ndi ti o n   c om pari so ns  i nvo l v ed  s o m typ o f   t e c h n i cal   a ssi s t a nc e   v s a n   a lt ern a tiv Evaluation Warning : The document was created with Spire.PDF for Python.
                         I SSN: 2252- 8822  Int.  J .   Ev al. & R es. Educ.  Vol.  8, No. 2, June  2 0 19:  3 30  - 3 43  33 6 ty pe of   pro f e ssio n a l   d eve l op m e nt. The la t te r ,  the refore,   w o u l ha v e  be e n  e x p ecte d   t o h a ve  had  a t le as t   a sma l l   effec t   on  t h e   m easure s   c o n s tit ut i n g   t h e   fo cus  of   i n v es ti ga ti on   whi c h   wo ul hav e   i nf lu en c e th bet w ee c o ndi ti o n   di ff eren c e s .         T a b l e 2.  Core  elem en ts   a nd p r a c tices  i nc l u d e d in t he  d escr i p t i on of t he  te c hn ic a l  ass is t a nce    stud ies  an d e v a l ua t i ons   C o r e  e lem e nts   N u m b e r   P e r ce nt  P r ep ar a t i o n   f o r   t e c h n i cal   a s s i s t an ce       N e e d s   a sse ss me nt   1 9   76   D e c i sion-m a ki ng  19   7 6   R ead in es s   f o r   c h an g e   1 5 6   Or g a n i za t i o n a l   cap aci t y   7   2 V i sioning   4   1 6   T ech n i ca as s i s t an ce  p l a n       Inte rve n t i on  pr a c tice s   2 4   96   G o a l s   a nd  obj e c tiv e s    20   8 0   Te c hnic a l a ssist a n ce   p r ovi d e re sour ce 17   6 8   L ogic   m o d e or  t heory   of  c ha ng e   10   4 0   S t a ff role s a nd re s ponsi b i litie 10   4 0   F it a sse ss me nt   8   3 2   T ech n i ca as s i s t an ce  i m p l e men t at io n   P r ofe ssi ona de v e l opm e n t   25   100   Te c hnic a l a ssist a n ce   p r ovi d e c onsulta tion   21   8 4   Te c hnic a l a ssist a n ce   p r ovi d e suppor t/fe e dbac k   2 0   80   C o a c h i n a nd m e n t or in g   16   6 4   T ech n i ca l   a s s i s t a n c e  p r o v i d e r   cr ed i b i l i t y   7   2 T ech n i ca as s i s t an ce   e v a l u a t i o n       P r oc e ss e v a l u a tion  19   7 6   Inte rve n t i on  pr a c tice   f i de lit 17   6 8   O u tc om e e v a l u a tio 13   5 2   Te c hnic a l a ssist a n ce  pr a c t i c e   f i de lity  9   3 6   Le ssons  l ea r n e d   5   2 0   Susta i n a bil ity of   t e c h n i ca l a ssi st a n c e - fac ilit a t e d  c h a ng e       O ngoing  te c hni c a l  a ssist a n ce   p r ovide r   suppo rts   17   6 8   Ca p a c i t y -susta ining ac tivitie s   14   5 6   F o llow- up te c hni c a l  a ssista n c e  a c tivitie s   13   5 2    C ontinuous qua lity  i m p rovem e nt   8   3 2       Tab l 3. Me a n di ffere n ce  effe ct  s i z es a n d  95 %   c onfi d enc e   i nter v a l for  t h e   infl uenc es o t echn i ca l   assis t a n ce  on ad o p t i on an use of  tar ge te d pra c t i ces   T y p e   o f c o m p a r i s on  Nu m b er   o f  ef f ect s   Me an   e f f ect   siz e   95%   C Z -te s p -v a l u e   B e twee n   gr oup  di f f e r e n c e s   1 7   . 82  . 38,   1 . 2 3. 98  . 0001  Between   c ondition   diff e r e n ce s   13   . 58  .45, .70   10.06   . 0000  P r e t e s t - postt e s diffe re n c e s   2 1   . 99  . 58,   1 . 4 1   5. 01  . 0000  N O T E .   C I =c onf id e n ce   i nte r v a l.      3.4.   Patt ern  mat c h i n g   Ea ch  o the   s t u d i e a nd  eva l u a tio ns  f or  eac h   ty pe  o rese arc h   d esig n   wa ex a m i n ed   t o   i d en t i f y   w hi ch   core   p r act ice s   w e r most  o ften   d e s cr ibe d   i t h rep o r t s   and   wer ass o ci at ed   w i t h   po si tiv e   ou t c o m e s   a evi d e n c e d   b y   t he  s izes   o effe cts  for  t h e   b e twee g r o up  or  b e t w e e c o nd i tio c o mpa r i s o n s.  I nasm u c as   di ffe re nt  i n v es ti g a tors  u sed  d i ffere n t   t erm i n o l o gy  to  d e s cri b the   sam e   o ve ry  s im ilar   cor e   e lem e nt s,   t hos e   p r a c ti ce t h at   h a d   t h e   s ame  p u r p o s e   (e .g .,  n ee d s   a s s essme n t   an d   d eci si on -mak i n g;   t e c h n i cal   a ssi s t a n ce  pro v i d er  c ons u l ta tio n a n d su p por t)  were combined for the  p atter ma t c hi ng  ana l yse s .     El ev en   o f   th 2 5   c o r e   el eme n t s   w ere   inc o rpo r a t e d   i n   t h o s stu d i e s   a n d   ev alu a ti o n th a t   w ere  a sso ci a t ed   w i t h   p o s it iv e   p r og ram,  o rg a n i z at ion ,   o s y st ems  ch a n g e These   a r sho w i n   T ab l e   4 In  t h e   25  stud ies  a nd  e v alua t i o n s,   w i t h   on l y   a   f ew   e xce p tio ns,  7 5 %   t 1 0 0 o f   t he   i n v es t i ga tio ns  i nc lude the s e   part icu l ar   c ore   e l em ent s .   Th re su l t s h ow   w h i c h   p a r tic u l ar  t ec hnic a l   a ssi s t a n c e   p ra ct i c es  w er one s   m o st  fre que n tly  i nc l ude d i n  the  s tudie s   a nd  eva l u a ti o n s.   The   c o re  e le m e nts  c o ns i d e r ed  l ea st   o f t e n   i the   s t ud i e a nd  e v a lua t i ons,  re gar d le s s   o r e sea r ch   d e si gn were   v i s i oni ng l e sson s   l e a r n e d ,   e st ab l i s hi ng   t ech ni c a l   a ssi s t a n c e   p r ov i d er  c re dib i li t y an e v a l u a ti ng  orga niza t i o n a l   c apac it to  a d o p t   a nd   u se  t a r ge t e in ter v e n t i on  pra c t i ces .   O t he cor e   e le me nts  i n fre q uen t ly   con s i d ere d   i t h s t ud ie a nd  e v al ua t i o n w e re  a a ssessme n t   o f   h ow   w e l l   th tar g e t e d   i n t er ve nt ion  pra c tice s   Evaluation Warning : The document was created with Spire.PDF for Python.
Int J  Eval & R es E d u c .     IS S N :   2252- 88 22       Re vie w  o f  the  e ffec t s o f   t e c h n i cal a ssist a n ce  on pr o g r a m ,   organ iz at ion,  an d sy st e m  c han g e  (Carl J.  D unst)  33 7 ma de  s ense  ( f it)  i t e rm of  a   p r o gram   o orga niza tio n’s  missi o n   or   p h i lo so p hy  a n fi del i t o f   u se  o t h e   tech n i ca l   assis t a n ce  prac tic es to a f fe ct pr o g r am organiza ti on  or  sys t e ms  c han g e .       Tab l 4. P e r ce nt  o f st ud i e s an eva l ua tio ns i ncl u di ng  tec h n i ca l  ass is t a nce  (TA) cor e e l e m ents for  p osit ive  c h an ges i n   t he  use  o f ta r g ete d   i n t er ve n tio prac ti c e s       T y pe   o f   de s i g n     Co r e   e l e me n t s     B etw een   g r ou B e t w een   c ondition  Pre t e s t- p o s tte st   T ech n i ca as s i s t an ce  p r e p a r a t i o n           Ne e d s   a s s e ssm e n t/ de c i sion- m a king     100  100   100  T ech n i ca as s i s t an ce  p l a n             G oa ls a nd  obje c tive s     100  100   73  I n t e rve n tion  pra c ti c e s     100  75   67  T A   r e s ourc e s     7 5   7 5   93  T ech n i ca as s i s t an ce  i m p l e men t at io n           Prof e ssiona l   de v e lopm e n t     100  100   100  TA   p rovide c onsulta tion/support/ fee dbac k     100  100   67  C o ac hing  a nd m e n t orin g     7 5   75   53  T ech n i ca as s i s t an ce   e v a l u a t i o n           I n te r v e n tion  pra c ti ce   f ide l i t   100  75   53  Proce s s e v a l u a ti o n     8 9   100   67  T ech n i ca as s i s t an ce  s u s t a i n ab il i t y           Follow   up/ong oing   s uppo r t     7 8   100   80  Ca p a c ity - buil d i ng  ac t i viti e s / C Q I     6 7   100   67           N O T E . C Q I =  C ont inuous q ua lity i m p rovem e nt.      3.5.   Tech nica ass i stanc e   i n t ensity   The   s t ud ies  a n e v al ua ti o n w e re  e a c exa m ined   t dete r m ine   if  t h i n t e nsit of  t e c h n i cal   a ss ista nc e   w a s relate d t o  di ffe re nc es i the   siz e s o f  e ffe c ts for  be t w e en   g r ou p a nd  be t w ee n co nd i tio n   com p aris on s. Tab le   s h ow the   re su l t s   for   bo th   r ese a rc desi gn   a n d   i n ten s i t y   o f   t e c hn i c a l   a ssi st an ce Sev e ral   t h ing s   can   b di sc erne fro m   the s e   fin d i n g s.  F irst ,   rega rdle ss  of  r esea rc h   de si gn  or  i nt e n s ity  o tec h n i ca l   a ssista n ce the  i m p l e m en t a ti on   p rac t i c e s   h ad   p o s it i v eff ect o n   p r og ram,  o rg an iz at i on  or  s ys tem s   c ha n g a s   e v i de nc ed  b y   the  95 co nf ide n ce  in terva l s   no i n cl u d in z e ro  a nd  sta tis t i c a l l y   s i g ni fica nt  Z tests.  T hese  f indings  indi cate  t h at   t e c hn i cal  a ssi s t a n c e   wa ef f ect i v in   t e r ms  o f   h a v i ng   o b s e rve d   o re ported  c h an ges  c o mp a r ed  t o   part ici p a n t s   n o t   r e c e i vi n g   t ec hn i c a l   a ss is tan c e   or  a no t h er  t ype   o t r ai n i n g .   S e c ond,   m ore  i n te ns ive  t e c h n i ca l   assista n ce  was  associate d   w ith  l arg e si z e s   o f   ef fe ct   c o m pa red   to  l ess  in ten s i v t e ch n i c a ass i sta n ce.   I a l l   t h re set s   o f   an aly s es,  t h e   a v e r ag e   e f f ect  s i z e s   f o r   m o r e   in t e n s i ve  t ec hnic a l   a ss ista nc w e re   c on si de rabl l a rg er  a n d   s t a ti st i call y   d if f e re n t   t h a n   th e   av e r ag e f fec t   s i z e for  l e ss  intensiv t ech nical  assista n ce  for  the  betw ee gr ou p ,   t= 3.5 3 ,   p= . 0 03 1,  d= 1 . 78 bet w e e n   c o ndi t i o n ,   t= 2.52,    p= .0 28 ,   d= 1.4 7 ,   a nd  pre t e s t - pos ttes t t= 3. 4 7 p= .003 d= 1. 5 2 c o m p ar i s o n s.  T h e   r e s ults   i n d ic ate  t h a t   t he   i nf l u e n ces   o t e ch ni c a l   a s si st ance   o n   t h obs erve or   r epor ted  pro g r a m ,   o rganiz a t i o n,   o sy ste m   c ha n g w e r e   m o d e r ate d   b y   t h in te nsit y   of  t he   implem e n ta t i o n  pra ct ices  f or  p rom o ti n g  the  u se of tar g e t e d  in t e rv e n t i on  p ra c t i ces       T a b l e 5.  A ve ra ge  effec t sizes  a nd  9 5 co nfi d enc e   i n t er va ls  (CI)   f or  i nt e n sive  v s.  l e s in t e nsive   tec h nica assistance  ( TA)    Ty p e   o f   c o m p a r ison  Nu m b er  o f   e ffec t s   M e a n   e f f ect   si z e     95%   C   Z -te s t     p- va lue   Be twe e n   g roup  d i ffe re n c e s             I n te nsive   TA  6   1 . 56  . 4 8 ,   2 . 65  3. 72   . 0002   L e ss  int e nsive   T A   1 1   . 41  .20,   . 62  4. 40   . 0000   Be twe e n  c on di tion   diff e r e n ce s             I n te nsive   TA  5   . 73  .57,   . 89  12. 75   . 0000   L e ss  int e nsive   T A   8   . 48  .32,   . 64  7. 07   . 0000   Pre t e s t-postte s t  diff e r e n c e s             I n te nsive   TA  1 1   1. 52  . 8 9 ,   2 . 16  5. 36   . 0000   L e ss  int e nsive   T A   1 0   . 41  .15,   . 68  3. 52   . 0004       The   ex te nt  t w h ic d i ffe r en sets  o c o re  e l e me nts  w e re  a ssoc i ate d   w i t the  di ffe re nc es   i Ta ble  5   wa d e t e rmi n ed   b y   u s i n g   t ech ni c a l   ass i st anc e   i nt e n si ty   a g r o up i ng  va ria b l e   a n d   t he   t o t a l   n um ber  o f   c ore   elem en ts  i e a c h   o the   fi ve  t e c h n i ca assi s t anc e   c omp one nts  as   d epe n de nt  v ar i a bl e s   i n   series  o be t w ee n   g r ou t - t est   comp a r i s on s.  T ab l e   6   s h o w the   res u l t s   f o r   t he  t wo  l e v el s   o in te ns ity  o t echn i ca a ssis t ance Evaluation Warning : The document was created with Spire.PDF for Python.
                          I S S N: 2 2 5 2 - 88 22  I n t .  J.   Ev al.   Res.  Ed u c .   Vo l.  8 ,   No .   2 ,   J u n e  2 0 19: 3 30  -  3 43  33 8 Le ss  i nt e n s i ve   a ppr oac h e s   t te c h n i ca as sistanc e   i nc l u d e m o r e   p r e par a tion  c o r e   e l e me nt com p ar e d   t o   i n t e n s i v a p p r o a ch es  t t e chn i cal   a s s i s t a n ce  as  e v i d e n c e d   b y   a   st ati s t i cal ly   s ign i fi ca nt   t - t e s a n m e dium   s i z e  o f   e f f e c t   f o r  t h e  b e t w e e n  c o n d i t i o n  c o m p a r i s o n .  I n   c o n t r a s t,   m or e   in t e nsive   a ppr oa che s   t te c h nica l   a s sis t a n ce   i ncl ude m o r e   e v a lua t io c o r e   e le me nts  c o mpa r ed  t l es in te ns ive  a ppr oache s   t te c h n i ca l   a s sis t a n ce   a ls o   as  e vi de nc ed  by  s t a tis tic a l l y   s i g n i fica n t   t -t e s t   an d   l a rg e   si z e   o f   eff ect   f o r   t h e   b etwee n   c o n d it i on  c o m p ar i s on.       Tab l 6.   M e a nu m b er   o cor e   e l e me nts  i n   t h e   i nte n s i ve  a nd   l e s s   i n t e n si ve  t echn i ca l   assis t a n ce  (TA) studie s   a nd  eva l u a tio n s     I nte n si ve   T   L e ss  int e nsive   T A         Co r e  E l e men t s   M ean   S D   M ean   S D   t -t e s p -va l ue  C ohe n’s  d   P r e p ar at i o n   ( 5 ) 2. 18   0 . 9 1   2. 83   0 . 9 3   2. 4 9   . 0164   . 71  Pl a nning  (6)  3. 45   0 . 8 6   3. 69   1 . 0 0   0. 8 8   . 3827   . 26  Im pl em ent a tion  (5)  3. 64   1 . 0 9   3. 93   1 . 2 8   0. 8 7   . 3906   . 24  E v a l u a tion  (5)  2. 91   1 . 2 3   1. 97   1 . 1 5   2. 8 2   . 0070   . 79  S u sta i n a bili ty  ( 4)   1 . 8 2   1. 0 5   2 . 2 1   0 . 90   1 . 4 2   . 1624   . 40  a  Nu m b e r   o f  co r e   el eme n t s  e a c h   t y p e   o f   t ech n i ca as s i s t a n ce p r a c ti c e     F o ll ow - u Ch i - squa r e   a na lys e f o r   B e t w een  G r oup  ( I nten si v e   T e c h n i ca l   Ass i st an c e   v s.  L e ss  In t e n s iv T e chn i cal   A ssi s t a n c e )   X   2   B e t we en   C o r e   El e m en (In c lu de v s .   N o I n c l ude d)   c om par i so n s   w er e   use d   t ide n tif t h e   so ur ce of  t he   b e t w e e n   g r o u p   d if f e r e nce s .   M o r e   o t h l e ss   i nte n sive   a p p r o a c h es   t o   t e chni cal   a ssi st an c e   in cl ud ed   a s s es sme n t   o f   t h e   o rg a n i zati o n a l   c a p a b i li t y   c o r e   el emen t   c o mp are d   t o   th mo re   in te ns ive  a ppr oa che s   t te c h nica ass i sta n c e ,   χ 2 =6. 76,   p =. 00 9,   d= . 7 8.   M or of  t he  i n t e n s i ve  a ppr oac h e s   t o   t e chni cal   a ssi sta n ce   i n c lud e a sse ssme n of   t h e   out c o me   e v a l u a t ion   c o re   e l e me nt χ 2 =7 . 32,   = . 007 d= . 82,   a nd  the  m e a s u r em ent  of  f ide l ity  o tec h n i c a l   a ssis ta nce   co r e   e l em ent,  χ 2 = 6 . 50,   p= . 011 d= . 76,   c ompa r e t o   the  le ss in te ns ive   a ppr oache s   t o tec h nic a l a ssis t ance .       3. 6.   Fi d e lity assess ment   A   pa r tic ular   i nt e r est a s  par t   of  u n p a c k i n g t h eff e c t o f  te c h n ica l  ass i s tan c e on  the s i ze s o f  effec ts  f or  pr ogr am ,   or ga ni z a t io n ,   a n d   s ys t e c h an ges   w a th i n fl ue nc es  o f   t h e   i n c l u sion   o f   t h fid e lit of  i nt e r ven t ion  pr act ice s   a n d   the   fi de li ty  o t e c h nica a s sis t a n ce   c ore   elem en t i n   t he   s t u d i es   a nd   e va l u a tio ns.   The   in ves t iga t i o ns  w e r e   gr oupe in t o   t h o se  s t u d i e s   a n d   e val u a t io ns  i n c l ud i ng  bo t h   f ide l i t c o r e   e le me nts  ( N = 9 ) ,   th ose  in cl u d in ei t h er  o t h two  fi de li ty  c o r elem ents  ( N= 9),   a nd  t h ose  inc l udi ng  ne it h e r   of  t he  t w o   f i d el it y   c o re  e le me n t (N=7).   Bec au s e   t he  s i z es  o effec t d i ffe r ed  a a   f unc tio of  r e s e a r c de s i g n   ( Ta b l e   3) ,   t h e   e ffe c t   s iz es  f or   e a c of  t he  t hr ee  ty pes  of  c on tr a s ts  o r   com p ar iso n were   c enter e wher t h e   ce nter e d   s iz es  o ef f ect s were  u s e d   as  t h e  d e p e n d e nt  mea su re s i n  a  3  B et we en G ro u p   AVOV with  a  l i n e a co n t rast.  The  r e sult fr o m   t he   a na ly si ar show in  F ig ur e   1.   A   dow nw ar d  p a t t e r n   i n   t h e   s i z e s   o f  e f f e c t s  w a s   f o und  for   t h e   i n cl us ion  or   e x c lu si o n   o f   t h tw fi de lit co r e   e lem e nts.   T he  i nc l u si o n   o f   bo th  c or e   e l e m ents   was  asso c i at e d   w i t h   t h e   l arge st   s i z e   of   c ent e re d   ef fec t   s iz es  a nd  the   ex clu s i o of   b o t cor e   e lem e n t w a ass o c i at ed  wit h t h e   smal l e st  si z e   o f  ce n t e re d   e f f e c t s .  T h e  C oh e n’ f o r   the  dow nw ar l i ne a r   t r e nd  w a d= . 58.           F i gur e   1.   S t ud i e a nd  e v a l ua t i ons  i nc lud i ng  f i de l i t y   o f   bo t h   i m p l e m e n t a tio (tech nica l as sis t a n ce)  a nd  in t e rve n ti o n eith e r   o f t h two  ty pes o f  fi d e l i t y , a nd ne it her   of  t h e   t w o   t y p e s   o fi de lit measur es   Evaluation Warning : The document was created with Spire.PDF for Python.
Int J  Eval & R es E d u c .     IS S N :   2252- 88 22       Re vie w  o f  the  e ffec t s o f   t e c h n i cal a ssist a n ce  on pr o g r a m ,   organ iz at ion,  an d sy st e m  c han g e  (Carl J.  D unst)  33 9 4.   DISC USSION    Res u l t s fr om  t he   r ev iew   o f  t e c hn ica l   a ss ista n c s t u d i es  a nd   e va lua t io ns  h i g h lig h t ed   a   n um ber   of  c o r elem en ts  t h a t wer e   a ssocia t e d   w i t h be twee n   gro u p   a nd  bet wee n   c o ndi ti on   d iff e re n c es  i n   t h si z e s   o f   ef fe ct   f o r   t e c hni c a l   assi sta n ce   i mpl e me nt at io n   in t e rv e n ti on s .   T h e   p arti cu l a r   c or ele m ents  t ha w e r e   u sed  i n   t he  l arge st   numbe o f   s t u die s   a n d   e va lu ati o ns  w ere   nee d assessme n t   a n pra cti t i on e r   d ec i s i o n   mak i ng;   p rof e ss io nal  deve l opm en a nd  tec h ni c a l   a ssis ta nce   pr ov i d er   s u p p o rts ;   p roce ss   e va l u a tio a nd  a sses s me nt   o inter v en t i o n   prac t i c e   f i d e lity a n fo l l o w -up  a n d   o n g o i ng   t e c h n i c a l   p ro vi der   s up p o rts  t o   s us t a in  o bserv e or     repor t e d c h an g e The   i n te ns i t y   o f   t ech n i ca ass i st a n ce  used   i the   s t u d i es  a nd   e va lua t i ons   w a s   r elate d   t o   d i ffe renc es   i n   the  s i zes   of   e ffects  for  changes  or  i m p ro ve m e nts  i n   t he  u se   o t a rge t e d   i nte r ve n t i on  prac t i c e s,  r ega r d l e ss  o f   the  part ic ular   p ra ct ices  t ha w e re   t he   f oc us   o inve st i g at i on.  M o r e  i n t e n s i v e  t e c h n i c a l  a s s i s t a n c e  h a d  m o r e   rob u st   e ffe c t s   o n   t h s t u dy  a n d   eva l uat i o ou tc om es  c om par e t o   l e s i n te ns ive   t e ch n i cal  a ss is t a nce .   F oll o w - up  a n al yses foun d t h a t   s t u di e s   a n d  e va lua t i o ns  t ha t i n c l ude f i de lit o f   b o t h tec h n i c a l   a ssis t ance  pr act ic es and   in t e rve n ti o n   p r actic e s   w e r i n ves tiga tio ns  t ha ha d   t h e   lar g est   s i z es  o e ffec t co mp a r ed   t in v e st ig at ion s   t hat  p a id  l e ss a t t e nt i o n   t o  t h e se  t wo  c o r e e l emen t s  o f   t e chni cal  ass is ta nce .   F i ndi ng from   t he   r e v iew   b o t h   a dd  to  a u n d ersta n d i ng   o the   co r e   e lem e nt o f   t ec h n ic a l   a ss ista n c e   tha t   p rove m o st  i mp or t a nt   i term of  e x p la i n i ng  t h a dop ti o n   an u s of  e vi de nc e - ba se a nd  e v i d enc e - in form ed  i nte r ven t ion  pra c t i c e s.   D ur l a a n d   D u P r e   [3],  W e s t   e t   a l [4] ,   a nd  o t he rs  [ 5,  7 ha ve   e x t e n sive l y   in ves tiga t e d   t h e   p u b l i s he l i te ratur e   t i d e n t i fy  c ore   te c h n i ca ass i st a n c e   p ra ct i c es  a nd  t h rela ti o n sh ips  betw ee the   pr ac t i c e s   a n d   o utc o me in  s t udi e s   o e f for t t o   p ro mote   a do p t i o an use  of  e vide n ce- base an d   evi d e n c e -i nform e pra c t i ces.   The   l a tter   ha be en  acc omp l i s he p rima ri l y   by  descri p t i v anal yses  o t e c h n i c a l   assista n ce- i n te r v en tio prac ti ce  r elati onsh i p s The   re vie w   d e s c r ibe d   i th is   p ape r   i nc lu de q u an t i t a ti ve  a nal y s es  o th ma nner  i n   w hi c h   c o r tech n i ca l   assi s t a n ce   p ra ct ices   w ere   relate to  s t u d y   a nd  e v al ua t i o n   o u t c o me s.  A ite r a tive   da t a   a n a ly sis   proce dure w a s use d   t o ide n tify w h ic h core   e le me nts pro v e d  most  im por ta nt in te rms of the   s ize s  of e f fe cts for  the  a d op t i o n   a nd  use  o f   i nte r ven t i on  prac ti ce cons t itu t i n g   t he  f o c u s  o f   t e c h n i c a l  a s s i s t a n c e .   T h e   r e v i e w ,   there f ore,  di f fe re d fr om prev i ous s y n t hese s of tec h n i c a l  a ssis t ance  a nd re l a te d pra c t i ces  s tud i es  by the  ma nner  in wh i ch  t e c h n i cal  a ss i s tanc pr act ice s  wer e relate to t he  s t u d y  a n d  eva l u a tio outc o me s.    As  p a r t   o f   o u r   r ev i e w,  t e c h n ic al   a s s i s t a n c was   c o n ceptu al i zed   as  a i m p l ement a t i o n   pra c t i c e   t h a w o u l be   e x p e c te to  b m a jor  deter m i n an o f   t h e   d e g re t o   w h ic tar g e t ed  i n t e r v e nt ion  pra c t i ce w e r e   ado p t ed  a n d   u s e as  p ar t   of  p rogr am organi z a tio n,   a nd  s y s t em chan ge   [ 1 ,   9 12].   A c c o rdi ng  t o   D u n s t ,   et  a l.   [1 3],   th e   f i de l i t y   o f   u s of  i m p le me nta tio p r ac t i c e s   w o ul be  e x p e c t e d   t be  r e l a t e d   t v a riat io ns   i a d op t i o n   and  fi de li ty  o use  o f   i n t erve nti o prac tic es.  A s   n o t e d   by  F i xs e n ,   et  a l.  [ 1 2 ] ,   i mplem e nta t i o proce s se [e .g. ,   tech n i ca l   a ssis t ance ]…sh o u l d   b desc ri bed  in   s uff i c i e n t   de t a i l   suc h   t hat  ind e pen d e n t   o b se r v er c a de tec t   t he   prese n ce  a n s t r e ng th   o f the   ‘speci fic   se t of  a cti v i t ies’  r e l a t e d   t o   the   im p l e m e n t a ti o n ”.   T echn i ca l   ass i s t a n ce  a s   descr i be d   an in ve st iga t e d   i n   t h i s   p ape r   u se spec i f ic   s e t   o f   c ore   e l e m e n ts  a imp l e m enta ti o n   p ra ctice s   t o   affec t   c ha nge or  i m p rove me nts  in  i n t er ve n tion  prac ti c e s.       5.  C ON C L US ION   The   impor ta nc of  e x p lic i t   a tte n t i o to   t h e   f ide lit of  bot te chni ca a ssi st a n c e   p ra ct i c e s   a nd  i n t e rv ent i on   p ra ct i ces  e me rg e d   a s   r o b u s t  p r e d i c t o r s   o f  t h e  e f f e c t of   t echnica l   a ssistance.  F uture  r e sea r ch  o t e c h n i c a l   a s s i s t a n c e  w o u l d  t h e r e f o r e  b e n e f i t   f r o m  e x p l i c i t  a s s e ssm ent  of  t he  f ide lit o f   bot im p l e m e n ta t i o n   a n d   i n t e r v e n t i o n  p r a c t i c e s  a n d  t h e  m a n n e r   i n  w h i c h   t h e  t w o  t y p e s   o f  p r a c t i c e s  a r e  r e l a t e d ,   i n   o r d e r  t o   f u r t h e r   our u nde rs tan d i n g   o f te ch n i ca l a ssi s t a n c e -i nt erve n t i o n pr act ice  rel ati o n s hi ps     ACKNOW LEDG E MEN T The   pre p ara t i o o f   t h i pa pe w a supp ort e d,  i par t ,   b y   fun d i n from   t he  U .S D e pa rtme nt   o Ed uca t i on,  O ffic o f   S pe cia l   E duc a t io n   P r ogram (N o.   3 2 5 B 12 000 4 )   for   t h Ear l C h i l dh o od  P e rson n e l   Ce nter,   U n i v er sity  o Co nnec t i c u t   H e a l t C e nter  ( Ma ry  B eth  Br u d er,   P r inc i pal  I nve st i g at or).   T he   c o n t e n t s   and   o p i n i ons   e xpresse d,   how ever,   are   tho s of  t he  a ut h o rs  a nd   d no ne c e ssar i l y   r ef l e c t   t he   p o lic or  o ffic ia pos it io o f   t h e   U .S.  D e partm e nt  o Ed uc atio n,   O ffice   o S p ec ia l   E d u ca ti on  P r ogr am s,   U ni ve rs i t of  Con n e c tic u t   H e a lt Cen t er or  t he   E arly  C h i ld hoo P e rson nel  Ce n t e r,  a nd   no  en d o rsem ent  s h o u l d   b i n fer r ed  or im p l i e d .           Evaluation Warning : The document was created with Spire.PDF for Python.