I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   15 ,   No .   5 ,  Octo b er   20 26 ,   p p .   3 9 4 7 ~ 3 9 6 1   I SS N:  2 2 5 2 - 8 8 2 2 ,  DOI : 1 0 . 1 1 5 9 1 / ijer e . v 15 i 5 . 3 9 3 1 3           3947       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   AI - supp o rte d   ped a g o g ica l   pipeline   for   co mputing   s tu dents’   resea rch   co mpe te nce       K a zim o v a   Dina ra 1 ,   Aliy ev a   Dina ra 1 ,   K ulta n   J a ro s la v 2 ,   J a na ba y ev   Da uren 3 ,   K o pb a li na   Sa lt a na t 1   1 D e p a r t me n t   o f   A p p l i e d   M a t h e ma t i c s   a n d   I n f o r ma t i c s,   K a r a g a n d a   N a t i o n a l   R e se a r c h   U n i v e r si t y   n a me d   a f t e r   A c a d e m i c i a n     E. A .   B u k e t o v ,   K a r a g a n d a ,   K a z a k h s t a n   2 D e p a r t me n t   o f   A p p l i e d   I n f o r ma t i c s,   U n i v e r si t y   of   Ec o n o m i c s   in   B r a t i sl a v a ,   B r a t i s l a v a ,   S l o v a k i a   3 D e p a r t me n t   o f   M a t h e m a t i c a l   a n d   C o mp u t e r   M o d e l i n g ,   S h y m k e n t   U n i v e r si t y ,   S h y m k e n t ,   K a z a k h st a n       Art icle   I nfo     AB S T RAC T   A r ticle   his to r y:   R ec eiv ed   Mar   2 ,   2 0 2 6   R ev is ed   May   25 ,   2 0 2 6   Acc ep ted   J u l   26 ,   2 0 2 6       Th is   stu d y   e v a lu a tes   an   a rti f icia l  in telli g e n c e   ( AI ) - e n a b led   co - c u rricu lar   stu d e n t   c lu b   m o d e l   imp lem e n ted   at   two   re g i o n a l   u n iv e rsiti e s,   o r g a n ize d   as   a   sta g e d   fo u r - p a rt   p i p e li n e   c o m p ri sin g   c o m p e ti ti v e   p r o g ra m m in g ,   h a c k a th o n   p ro t o ty p in g ,   sta rt u p /p r o jec t   d e v e lo p m e n t ,   a n d   fi n a l   p r o jec t   d e fe n se .     A   m a tch e d   p re /p o st   d e sig n   wa s   u se d   to   a ss e ss   c h a n g e s   in   st u d e n ts’   o b jec ti v e   c o m p u ti n g   k n o wle d g e ,   m e a su re d   th ro u g h   a   su p e r v ise d   c o m p u ti n g   s k il ls   tes t,   a n d   se lf - re p o rted   c o n str u c ts,   m e a su re d   th r o u g h   an   AI   li tera c y   a n d   lea rn in g   d isp o si ti o n   su rv e y .   Ou t p u ts   fr o m   c lu b   a c ti v it ies   we re   a lso   d o c u m e n ted   a n d   c o m b in e d   i n to   an   Ou t p u tsI n d e x .   T h e   a n a l y se s   sh o we d   st a ti stica ll y   sig n ifi c a n t   im p ro v e m e n ts   in   b o t h   c o m p u t in g   k n o wle d g e   a n d   su r v e y - b a se d   c o n stru c ts,   i n d ica ti n g   t h a t   th e   in terv e n ti o n   stre n g th e n e d   b o th   f o u n d a ti o n a l   tec h n ica l   c o m p e ten c e   a n d   stu d e n ts’   re a d in e ss   f o r   a p p li e d ,   p e rf o rm a n c e - b a se d   wo r k .   AI   li tera c y   wa s   a lso   si g n if ica n tl y   a ss o c iate d   with   b o t h   k n o wle d g e   sc o re s   a n d   re a l - li fe   o u tco m e s,   e v e n   a fter   c o n tr o ll i n g   f o r   site   a n d   b a se li n e   d iffere n c e s,   in d ica ti n g   th a t   stu d e n ts   with   str o n g e r   AI - re late d   c o m p e ten c ies   a p p li e d   t h e ir   lea rn i n g   m o re   e ffe c ti v e ly   to   p e rfo rm a n c e - b a se d   o u t p u ts.   Th e   fin d i n g s   su p p o rt   th e   p o ten ti a l   of   sc a lab le,   e v id e n c e - b a se d   IT   stu d e n t   p ip e l in e s   in   Ka z a k h sta n ’s   h ig h e r   e d u c a ti o n   c o n tex t,   a n d   su g g e st   th a t   stru c tu re d ,   AI - su p p o r ted   p a th w a y s   can   a li g n   sk i ll   d e v e lo p m e n t   with   re sp o n si b le   AI   u se ,   stro n g e r   lea rn in g   o u tco m e s,   a n d   m e a su ra b le   re a l - wo rld   p e rfo rm a n c e .   K ey w o r d s :   AI   liter ac y   C o m p etitiv e   p r o g r am m in g   Hac k ath o n - b ased   lear n in g   Hig h er   ed u ca tio n   IT   s tu d en ts   Kaz ak h s tan   Star tu p   ed u ca tio n   T h is   is   an   o p e n   a c c e ss   a rticle   u n d e r   th e   CC   BY - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Aliy ev a   Din ar a   Dep ar tm en t  o f   Ap p lied   Ma th e m atics   an d   I n f o r m atics,   Kar ag an d a   Natio n al   R esear ch   Un iv e r s ity     n am ed   af ter   Aca d em ician   E . A .   B u k eto v   Kar ag an d a,   Kaz a k h s tan   E m ail:   d in ar a. v d g @ g m ail. co m       1.   I NT RO D UCT I O N   Un iv er s ities   in   Kaz ak h s tan ,   p ar ticu lar ly   r eg io n al   u n i v er s ities ,   f ac e   two   r elate d   task s :   s tr en g th en in g   th e   alg o r ith m ic,   p r o g r am m in g ,   an d   s o f twar e   en g i n ee r in g   s k ills   th at   s u p p o r t   em p lo y a b ilit y ,   an d   h elp in g   s tu d en ts   tr an s late   th ese   s k ills   in to   p o r tf o lio - r ea d y   o u tp u ts   s u ch   as   co n test s ,   h ac k ath o n s ,   s tar tu p   p r o jects,   an d   r esear ch   p r o d u cts.   Ach iev in g   th is   g o al   r eq u ir es   m o r e   th a n   a d d itio n al   p r o g r a m m in g   p r ac tic e,   b ec au s e   s tu d en ts   also   n ee d   o p p o r tu n ities   to   wo r k   u n d e r   tim e   p r ess u r e ,   u n ce r tain ty ,   e x ter n al   ev al u atio n ,   an d   p u b lic   d em o n s tr atio n .   T h is   ch allen g e   h as   b ec o m e   more   c o m p lex   as   g en er ativ e   ar tific ial   in tellig en ce   ( Gen AI )   to o ls   in cr ea s in g ly   in f lu e n ce   h o w   co d e   is   cr ea ted ,   test ed ,   d eb u g g e d ,   d o cu m en ted ,   a n d   c o m m u n icate d   [ 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   5 ,  Octo b er   20 26 :   3 9 4 7 - 3961   3948   Stru ctu r ed ,   ac tiv ity - b ased   le ar n in g   h as   b ee n   s h o wn   to   im p r o v e   en g a g em en t   an d   m ea s u r ab le   o u tco m es   wh en   d i g ital   to o ls   ar e   alig n ed   with   lear n in g   task s   r ath er   th an   a d d ed   s u p e r f ic ially   [ 2 ] − [ 5 ] .   T h is   alig n s   with   r esear c h   s h o win g   th at   s m ar t   tech n o lo g ies   s h o u l d   be   in teg r ated   t h r o u g h   in s tr u ctio n al   d esig n ,   n o t   tr ea ted   as   tech n ical   ad d - ons   [ 6 ] .   In   c o m p u tin g   ed u ca ti o n ,   th is   alig n m en t   is   esp ec ially   im p o r tan t   b ec au s e   s tu d en ts   n ee d   r e p ea ted   p r ac tice,   f ee d b ac k ,   a n d   au t h en tic   p r o d u ctio n   o p p o r tu n ities .   T h er ef o r e,   th e   p r esen t   s tu d y   tr ea ts   p r o g r am m i n g   p r a ctice ,   p r o ject   wo r k ,   an d   AI - s u p p o r ted   lear n in g   as   co n n ec ted   s tag es   r ath er   th an   s ep ar ate   in ter v en tio n s .   C o m p etitiv e   p r o g r am m in g   is   an   im p o r tan t   p ar t   of   t h is   liter atu r e   b ec au s e   it   g iv es   s tu d en t s   r ep ea ted   o p p o r tu n ities   to   d ev elo p   alg o r ith m ic   th in k in g ,   d eb u g g in g   s k ills ,   p r o b lem - s o lv i n g   d is cip lin e,   an d   p er f o r m a n ce   u n d er   tim e   co n s tr ain ts   [ 7 ] .   Stu d ies   on   co m p etitiv e   p r o g r am m in g ,   g am if ied   lear n in g ,   a n d   AI - d r iv en   in n o v atio n   s u g g est   th at   th ese   f o r m ats   can   im p r o v e   m aster y   an d   m o tiv atio n   wh en   th ey   ar e   o r g a n ized   ar o u n d   clea r   lear n in g   p r in cip les   a n d   r eg u la r   f ee d b ac k   [ 8 ] .   Platfo r m - b ased   ap p r o ac h es   f u r th e r   s u p p o r t   t h is   p r o ce s s   th r o u g h   o n lin e   ju d g es,   an aly tics ,   co n t est   m o d es,   an d   r e m o te   co d in g   en v ir o n m en ts   th at   m a k e   lea r n er   p r o g r ess   m o r e   v is ib le   [ 9 ] .   Ho wev er ,   co m p etitiv e   p r o g r am m in g   alo n e   d o es   not   s h o w   wh eth er   s tu d e n ts   can   tr an s f o r m   alg o r ith m ic   co m p eten ce   in t o   c o llab o r ativ e   p r o d u cts,   r esear c h   o u tp u ts ,   or   s tar tu p - o r ien te d   s o lu tio n s .   Hac k ath o n - s ty le   a n d   p r o ject - b ased   lear n in g   p r o v id e   a   co m p lem en tar y   d ir ec tio n   by   m o v in g   s tu d en ts   f r o m   in d iv id u al   p r o b lem   s o lv in g   to   team - b ased   p r o d u ctio n   u n d er   r ea lis tic   co n s tr ain ts .   E d u ca tio n al   h ac k ath o n s   s u p p o r t   team wo r k ,   cr ea tiv ity ,   p r ac tical   p r o b lem   s o lv in g ,   an d   r a p id   p r o t o ty p in g ,   esp ec ially   w h en   s tu d en ts   m u s t   p r o d u ce   v is ib le   o u tp u ts   with in   lim ited   tim ef r am es   [ 1 0 ] .   Pro ject - b ased   lear n in g   also   s u p p o r ts   co g n itiv e,   p r ac tical,   a n d   af f ec tiv e   o u tco m es   th r o u g h   au th e n tic   p r o d u ctio n   an d   ap p lie d   p r o b lem   s o lv in g   [ 1 1 ] .   In   Kaz ak h s tan ,   tech n o lo g y - r ic h   an d   p r ac tice - o r ien te d   ed u ca t io n al   en v ir o n m en ts   also   s h o w   th at   en g ag em e n t   in   au th en tic   task s   an d   ar tifa cts   can   be   lin k ed   to   im p r o v e d   l ea r n in g   o u tco m es   an d   ap p lie d   co m p eten ce   [ 1 2 ] .   Nev er th eless ,   h ac k ath o n s   an d   p r o ject - b ased   f o r m ats   ar e   o f te n   im p lem e n ted   as   s ep ar ate   ev en ts ,   an d   th e   lo n g er   d ev elo p m e n tal   co n n ec tio n   b et wee n   p r o g r am m in g   p r ac tice,   p r o d u ct   d ev el o p m en t,   r esear c h   co m p ete n ce ,   an d   s tar tu p   r ea d in ess   r em ain s   in s u f f icien tly   ev alu ated .   T h e   wid esp r ea d   av ailab ilit y   of   Gen AI   to o ls   h as   also   ch an g ed   how   ef f ec tiv e   tr ain in g   f o r   IT   s tu d en ts   s h o u ld   be   d esig n ed .   Stu d e n t s   can   u s e   AI   to o ls   f o r   co n ce p tu al   clar if icatio n ,   d e b u g g i n g ,   co d e   d r a f tin g ,   d o cu m e n tatio n ,   id ea tio n ,   a n d   iter ativ e   im p r o v em e n t,   but   th ey   also   f ac e   r is k s   r elate d   to   in ac cu r ate   o u t p u ts ,   d ep en d e n ce   on   AI ,   ac a d em ic   in teg r ity ,   an d   r e d u ce d   o wn er s h ip   of   s o lu tio n s   [ 1 3 ] − [ 1 5 ] .   R esear ch   on   AI - ass is ted   in s tr u ctio n   t h er ef o r e   s u g g ests   th at   e d u ca tio n al   p r o g r am s   s h o u ld   in clu d e   v e r i f icatio n   g u id elin es,   d is clo s u r e   p r ac tices,   an d   in teg r ity   s af eg u ar d s   in s tead   of   ass u m in g   th at   ac ce s s   to   AI   t o o ls   au to m atica lly   p r o d u ce s   lear n in g   [ 1 6 ] .   T h is   is   esp ec ially   im p o r tan t   in   p r o g r am m in g   co n te x ts ,   wh er e   Gen AI   can   d is r u p t   ass ig n m en ts   an d   co m p etitio n s ,   an d   wh er e   tr ad itio n al   p lag iar is m   d etec tio n   m a y   be   in s u f f ic ien t   f o r   id en tif y in g   in ap p r o p r iate   or   u n v er if ied   AI - s u p p o r te d   wo r k   [ 1 7 ] ,   [ 1 8 ] .   B r o ad er   h ig h er   ed u ca tio n   r esear ch   also   em p h asizes   th e   n e ed   to   co n n ec t   AI   u s e   with   ass ess m en t,   g o v er n an ce ,   an d   m ea s u r ab le   co m p eten ce   d ev elo p m en t.   Sy s tem atic   r ev iews   r ep o r t   b en e f its   s u ch   as   f aster   f ee d b ac k ,   p er s o n aliza tio n ,   ef f icien cy ,   an d   ass ess m en t   s u p p o r t,   wh ile   also   id en tify in g   r is k s   r elate d   to   p r iv ac y ,   b ias,   tr an s p ar en cy ,   f air n ess ,   an d   in teg r ity   [ 1 9 ] − [ 2 1 ] .   Qu asi - ex p er im en tal   an d   AI - in teg r ate d   lear n in g   p ath wa y   s tu d ies   s u g g est   th at   s tu d en ts   can   im p r o v e   p er f o r m an ce ,   en g ag em en t,   an d   lear n in g   ef f icien cy   wh en   AI   to o ls   ar e   em b ed d e d   in   s tr u ctu r ed   le ar n in g   en v i r o n m e n ts   with   d y n am ic   ass e s s m en t   an d   ad ap tiv e   s u p p o r t   [ 2 2 ] ,   [ 2 3 ] .   R esp o n s ib le   AI   u s e   also   d ep en d s   on   d ig ital   liter ac y ,   eth i ca l   awa r en ess ,   an d   s tu d en ts ’   ab ilit y   to   ev alu ate     AI - g en er ated   o u tp u ts   cr itically   [ 2 4 ] .   Fra m ew o r k - b ased   wo r k ,   in clu d in g   th e   AI - T E AC H   m o d el,   s im ilar ly   ar g u es   th at   AI   s h o u ld   be   in t eg r ated   p ed a g o g ically   an d   eth ically   r ath er   th an   tr ea ted   o n ly   as   a   tech n ical   p r o d u ctiv ity   to o l   [ 2 5 ] .   Desp ite   th is   g r o win g   ev id e n ce ,   s ev er al   g a p s   r em ain .   E x is tin g   s tu d ies   s h o w   th at   co m p etitiv e   p r o g r a m m in g ,   h ac k ath o n - s ty le   ex p er ie n tial   lear n in g ,   en t r e p r en eu r s h ip   ed u ca tio n ,   r esear ch   tr ain in g ,   a n d   AI   can   s u p p o r t   th e   d ev elo p m en t   of   co m p u tin g   s tu d en ts ,   b u t   th ese   co m p o n en ts   ar e   u s u ally   e x am in ed   s ep ar ately .   L im ited   em p ir ical   ev id e n ce   ex is ts   on   en d - to - en d ,   AI - s u p p o r ted   talen t   p ip elin es   t h at   co n n ec t   t h ese   co m p o n en ts   th r o u g h   co m m o n   o u tco m e   m ea s u r es   ac r o s s   m u l tip le   u n iv er s ities .   T h i s   g a p   is   es p e c i al l y   i m p o r t a n t   f o r   r e g i o n a l   h i g h e r   e d u c a t i o n   i n s t i t u t i o n s ,   w h e r e   s t u d e n t s   m ay   n e e d   s t r u c t u r e d   r o u t e s   f r o m   b a s i c   s k i l l   a c q u is it i o n   to   p o r t f o l i o - r e a d y   o u t c o m e s   a n d   r e s p o n s i b l e   p a r ti c i p at i o n   in   AI - m e d i a t e d   d i g it a l   w o r k .   T h e   n o v elty   of   th is   s tu d y   lies   in   e v alu atin g   an   e n d - to - en d ,   AI - s u p p o r te d   p e d ag o g ical   p i p elin e   th at   co n n ec ts   co m p etitiv e   p r o g r a m m in g ,   h ac k at h o n   p r o to ty p in g ,   s tar tu p   an d   r esear ch   d ev el o p m en t,   an d   p r o ject   d ef en s e   with in   one   m ea s u r ab l e   co - cu r r icu lar   m o d el   f o r   r eg i o n al   u n iv er s ity   IT   s tu d en ts .   As   s h o wn   in   Fig u r e   1,   t he   p ip elin e   is   s ig n if ican t   f o r   e d u ca tio n al   p r a ctice   b ec au s e   it   g iv es   u n iv er s ities   a   r ep ea tab le   m o d el   f o r   m o v i n g   s tu d en ts   f r o m   f o u n d atio n al   p r o g r am m in g   p r ac tice   to   ex ter n ally   v is ib le   o u tp u ts .   It   is   r elev an t   f o r   p o licy   b ec au s e   it   o f f e r s   a   s ca lab le   co - cu r r icu lar   m ec h an is m   f o r   AI - r ea d y   wo r k f o r ce   d e v elo p m e n t ,   an d   it   h as   s o cieta l   v alu e   b ec a u s e   it   s u p p o r ts   r eg i o n al   s tu d e n ts   in   b u ild in g   in n o v atio n ,   r esear ch ,   em p lo y ab ilit y ,   an d   r esp o n s ib le   AI   s k ills .   T h e  s tu d y   is   g u id ed   b y   f o u r   r esear c h   q u esti o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       AI - s u p p o r ted   p ed a g o g ic a l p ip elin e  fo r   co mp u tin g   s tu d en ts ’   r esea r ch   co mp eten ce   ( K a z imo va   Din a r a )   3949   −   Ho w  d o   s tu d e n ts ’   k ey   co m p eten cies  ch an g e   f r o m   p r e - test   to   p o s t - test ,   in clu d i n g   co m p etitiv e   p r o g r a m m in g   s elf - ef f icac y ,   AI   liter ac y   an d   r esp o n s ib le  u s e,   r esear ch   co m p eten ce ,   s tar tu p   r ea d in ess ,   team wo r k   an d   p r o ject  ex ec u ti o n ,   an d   m o tiv atio n   an d   co m m i tm en t?   −   Ho w  m u ch   d o   s tu d en ts   im p r o v e  o n   th eir   p r o g r am m in g   an d   alg o r ith m ic  k n o wled g e  s co r es   f r o m   p r e - test   to   p o s t - test ?   −   Ho w  d o   p o s t - test   o u tco m es,  in clu d in g   o b jectiv e  k n o wle d g e  an d   p r ac tical  ac h iev e m en ts ,   r elate   to   s tu d en ts ’   AI   liter ac y ,   team wo r k ,   an d   m o tiv atio n ?   −   Ar e  th er e  s tatis tica lly   s ig n if ic an t  d if f er en ce s   in   b aselin e  lev els  o r   p r e - test /p o s t - test   ch an g es  b etwe en   th e  two   p ar ticip atin g   u n iv er s ities ?           Fig u r e   1.   C o n ce p tu al   f r a m ewo r k   of   t h e   AI - en a b led   p ed ag o g i ca l   p ip elin e       2.   P RO G RAM   DE SCR I P T I O N   ( I NT E RV E NT I O N)   2 . 1 .    P r o g ra m   t i t le   a nd   s et t ing   T h e   in ter v en tio n   was   d eliv er ed   th r o u g h   th e   p r ed ef i n ed   s tu d en t   clu b   p r o g r am   “ IT   R esear ch   L ab :   Fro m   R esear ch   to   Star tu p s ” .   T h e   in ter v en tio n   to o k   p lace   at   two   u n iv er s ity   s ites   in   Kaz ak h s tan   wh er e   s tu d en t   s cien tific   clu b s   alr ea d y   ex is ted   to   s u p p o r t   co m p etitiv e   ac tiv ities   an d   p r o ject - b ased   in n o v atio n ;   th e   ch ar ac ter is tics   of   th e   two   s ites   ar e   s u m m ar ized   in   T ab le   1.   T h e   i n t e r v e n t i o n   was   o f f e r e d   as   a   s e q u e n t i a l   c u r r i c u l u m   at   b o t h   s i t es ,   w it h   th e   s a m e   o r d e r   of   m o d u l e s   a n d   tw o   i d e n t i c al   p o i n t s   of   m e as u r em e n t   (T0   a n d   T 1 ) .       T ab le   1.   Stu d y   s ites   an d   p r o g r am s   S i t e   U n i v e r si t y   S t u d e n t   c l u b   D e g r e e   p r o g r a ms   i n v o l v e d   S i t e   1   K a r a g a n d a   N a t i o n a l   R e se a r c h   U n i v e r si t y   n a m e d   a f t e r   A c a d e mi c i a n   E. A .   B u k e t o v   IT   R e sea r c h   La b   6 B 0 6 1 0 3   I n f o r ma t i o n   S y st e ms;   6 B 0 6 1 0 5   S o f t w a r e   En g i n e e r i n g ;   6 B 0 1 5 0 5   I n f o r ma t i c s   S i t e   2   S h y m k e n t   U n i v e r si t y   IT   a n d   AI   I n n o v a t o r s   C l u b   6 B 0 1 5 0 2   I n f o r m a t i c s;   6 B 0 1 5 0 6   P h y s i c s – I n f o r mat i c s ;   6 B 0 6 1 0 1   C o m p u t e r   En g i n e e r i n g   a n d   S o f t w a r e       2 . 2 .    Curric ulu m   s t ruct ure   (4   m o du les)   T h e   in ter v en tio n   co n s is ted   of   128   c o n tact   h o u r s   o r g a n ized   in to   f o u r   s eq u en tial   m o d u les.     T h e   m o d u les   wer e   d esig n ed   to   m o v e   s tu d e n ts   f r o m   in d iv i d u al   alg o r ith m ic   p r ac tice   to   t ea m - b ased   p r o d u ct   d ev elo p m e n t,   s tar tu p   an d   r esear ch   p r ep a r atio n ,   a n d   f in al   p r o ject   d ef en s e.   E ac h   m o d u le   in clu d ed   h a n d s - on   ac tiv ities ,   m en to r   f ee d b ac k ,   a n d   ap p lied   o u tp u ts   co n n ec ted   to   th e   o v er all   p ip elin e.   −   Mo d u le   1:   c o m p etitiv e   p r o g r a m m in g   ( 3 2   h o u r s )   Stu d en ts   lear n ed   co r e   p r o b le m - s o lv in g   f u n d am en tals   th r o u g h   al g o r ith m s ,   in clu d in g   s o r tin g   an d   s ea r ch in g ,   two   p o in te r s   an d   s lid in g   win d o w   tec h n iq u es,   b asic   d ata   s tr u ctu r es,   g r ee d y   m eth o d s ,   d y n am ic   p r o g r a m m in g ,   a n d   g r ap h   al g o r ith m s   s u ch   as   DFS,   B FS ,   s h o r test   p ath s ,   an d   m in im u m   s p an n in g   tr ee s .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   5 ,  Octo b er   20 26 :   3 9 4 7 - 3961   3950   Stu d en ts   p r ac ticed   th ese   to p ic s   th r o u g h   s tr u ct u r ed   task   s ets   an d   v ir tu al   c o m p etitio n s .   T h i s   m o d u le   aim ed   to   s tr en g th en   alg o r ith m ic   co n f id e n ce ,   d eb u g g i n g   d is cip lin e,   a n d   p r o b lem   s o lv in g   u n d e r   tim e   c o n s tr ain ts .   −   Mo d u le   2:   h ac k ath o n   s k ills   ( 3 6   h o u r s )   Stu d en ts   lear n ed   to   co m p lete   th e   p r o d u ct   d ev elo p m en t   p r o c ess   u n d er   a   tim e   co n s tr ain t.   T h ey   wer e   ex p o s ed   to   i d ea   g en er atio n   an d   p r o to t y p in g ,   b u ild in g   a   f u ll   s tack   ap p licatio n   ( e. g . ,   R ea ct   an d   eith e r   No d e. js /Py th o n )   with   API s   an d   d atab ases ,   d ep lo y in g   ap p licatio n s ,   UI /UX   f o r   d em o - r ea d y   p r o d u cts,   p itch in g   th eir   co m p leted   p r o jects,   as   well   as   wo r k f lo w   th r o u g h   th e   u s e   of   Git,   co d e   r e v iews,   an d   t ask   tr ac k in g   u s in g   to o ls   s u ch   as   J ir a.   T h e   m o d u le   co n n ec ted   tec h n ical   im p lem e n tatio n   with   team wo r k ,   p r esen tatio n ,   an d   d eliv er y   of   a   f u n ctio n al   p r o to ty p e.   −   Mo d u le   3:   s tar tu p   an d   r esear c h   ( 3 2   h o u r s )   T h e   f o cu s   was   on   d is co v er in g   an d   v alid atin g   a   p r o b lem   ( L ea n   Star tu p   Me th o d o lo g y ,   cu s to m er   d ev elo p m e n t,   co n d u ctin g   in te r v iews),   d ef in in g   an   MV P   an d   iter atin g   th r o u g h   th e   p r o c ess   of   v alid atin g   a   s o lu tio n   f o r   th e   p r o b lem .   St u d en ts   also   wo r k ed   on   b u s in ess - m o d el   d ev elo p m en t   a n d   r esear ch - o r ie n ted   co m m u n icatio n .   T h is   m o d u le   p r ep ar ed   s tu d e n ts   to   tr an s f o r m   p r o ject   id ea s   in to   p itch ,   s tar tu p ,   or   r esear c h   ar tifa cts.   −   Mo d u le   4:   p r o ject   d e f en s e   an d   d em o   d ay s   ( 2 8   h o u r s )   T h is   m o d u le   em p h asized   f in al   p r o ject   r ef in em en t,   p r esen tatio n ,   an d   p u b lic   d em o n s tr atio n .   Stu d en ts   r ec eiv ed   m en to r i n g   to   p r e p ar e   th eir   p r o jects   f o r   co m p etitio n s ,   h ac k ath o n s ,   or   in s titu tio n al   d em o - d a y   ev en ts .   T h e   m o d u le   co n clu d e d   with   f in al   p r o ject   d em o n s tr atio n s   an d   d ef en s es,   wh er e   s tu d en ts   ex p lain ed   th eir   tech n ical   d ec is io n s   an d   o u tp u t s .     2 . 3 .    I m ple m ent a t io n   f o rma t   T h e   in ter v en tio n   was   im p lem en ted   as   a   s tr u ctu r ed   clu b - b a s ed   lear n in g   ex p er ien ce   th at   co m b in ed   f ac ilit ated   in s tr u ctio n ,   g u id ed   p r ac tice,   m e n to r in g ,   team   p r o ject   wo r k ,   a n d   p u b lic   d em o n s tr atio n .   T h e   m ain   d eliv er y   f o r m ats   in clu d ed   r e g u lar   m ee tin g s ,   in d iv id u al   a n d   team   m en to r in g ,   p r o to t y p e - to - d e m o   p r o ject   d ev elo p m e n t,   an   in ter n al   m ile s to n e   h ac k ath o n   af te r   Mo d u le   2,   an d   a   cu lm in atin g   d e m o   d ay / p r o ject   d ef e n s e   af ter   Mo d u le   4.   T h is   f o r m at   allo wed   s tu d en ts   to   p r ac tice   tech n ical   s k ills ,   r ec eiv e   f ee d b ac k ,   r ev is e   th eir   wo r k ,   an d   p r o d u ce   v is ib le   o u tp u ts   ac r o s s   th e   p r o g r am .   R esp o n s ib le   an d   ef f ec tiv e   u s e   of   AI   to o ls   was   in teg r ated   ac r o s s   all   m o d u les.   Stu d en ts   u s ed   to o ls   s u ch   as   C h atGPT ,   GitHu b   C o p ilo t,   C lau d e,   C u r s o r ,   an d   r elate d   p r o d u ctiv ity   or   d esig n   to o ls   f o r   c o n ce p tu al   clar if icatio n ,   d eb u g g in g ,   co d e   d r af tin g ,   id ea tio n ,   d o cu m en tat io n ,   an d   iter ativ e   im p r o v em en t.   Ho wev er ,   AI   u s e   was   ac co m p an ied   by   v er i f icatio n   ex p ec tatio n s ,   ac a d em ic - in t eg r ity   r u les,   ex p la n atio n   of   AI - ass is ted   s o lu tio n s ,   an d   s tu d en t   r esp o n s ib ilit y   f o r   f in al   d ec is io n s   an d   o u tp u ts .   In   th is   way ,   AI   was   tr ea ted   as   a   lear n in g   an d   p r o d u ctiv ity   s u p p o r t,   not   as   a   r ep lace m en t   f o r   s tu d en ts ’   r ea s o n in g ,   au th o r s h ip ,   or   p r o ject   o wn er s h ip .     T h e   s tr u ctu r e   an d   tim elin e   of   th e   p r o g r am   ar e   p r esen te d   in   Fig u r e   2.   T h e   f ig u r e   s h o ws   th e   s eq u en ce   of   m o d u les,   th e   co n tact   h o u r s   f o r   ea c h   m o d u le,   th e   p lace m en t   of   m ajo r   m iles to n es   s u ch   as   th e   in ter n al   h ac k ath o n   an d   f in al   d em o   d a y ,   an d   th e   two   m ea s u r em e n t   p o in ts :   T 0 ,   wh ich   in clu d e d   th e   p r e - s u r v ey   an d   k n o wled g e   test   Fo r m   A,   an d   T 1 ,   wh ich   in cl u d ed   t h e   p o s t - s u r v ey   an d   k n o wled g e   test   Fo r m   B.           Fig u r e   2.   Pro g r am   s tr u ct u r e   an d   tim elin e   of   “ I T   R esear ch   L a b : Fr o m   R esear ch   to   Star tu p s ”   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       AI - s u p p o r ted   p ed a g o g ic a l p ip elin e  fo r   co mp u tin g   s tu d en ts ’   r esea r ch   co mp eten ce   ( K a z imo va   Din a r a )   3951   3.   M E T H O D   3 . 1 .    Study   des ig n   T h is   s tu d y   u s ed   a   two - s ite   q u asi - ex p er im en tal   p r e - test /p o s t - test   d esig n   to   ev alu ate   th e   e f f ec tiv en ess   of   th e   AI - s u p p o r ted   s tu d en t   cl u b   p r o g r a m .   Data   co llectio n   o cc u r r ed   at   T0   ( p r e - test ) ,   im m e d iately   p r io r   to   th e   co m m en ce m e n t   of   p r o g r am   a ctiv ities ,   an d   at   T1   ( p o s t - test ) ,   f o llo win g   co m p letio n   of   all   p r o g r a m   ac tiv ities .   T h e   p r im ar y   u n it   of   a n aly s is   was   th e   in d iv id u al   s tu d en t,   an d   p r e - test   an d   p o s t - test   r esp o n s es   wer e   lin k ed   v ia   an   an o n y m o u s   p ar ticip an t   c o d e   so   th at   m atch ed   ( with in - s u b j ec t)   co m p ar is o n s   c o u ld   be   m a d e.     3 . 2 .    Set t ing   a nd   pro g ra m   co nte x t   T h e   s tu d y   was   co n d u cted   at   two   u n iv er s ities   in   Kaz ak h s tan   with   ex is tin g   IT - o r ien ted   s tu d en t   clu b s .   T h e   s am e   f o u r - m o d u le   clu b   p r o g r am   was   im p lem e n ted   at   b o th   s ites ,   f o llo win g   th e   s am e   m o d u le   o r d er   a n d   m ea s u r em en t   s tr u ctu r e.     3 . 3 .    P a rt icipa nts   a nd   s a m pli ng     Un d er g r a d u ate   s tu d en ts   f r o m   Yea r s   1 – 4   en r o lled   in   in f o r m a tio n   tech n o lo g y   ( I T )   p r o g r am s   at   th e   two   u n iv er s ities   p ar ticip ated   in   th e   s tu d y .   Par ticip an ts   wer e   eith er   cu r r e n tly   in v o lv ed   in   a   s t u d en t   clu b   or   n ewly   jo in ed   d u r in g   th e   d ata   c o llectio n   p er io d .   To   tak e   p a r t,   p ar ticip an ts   h ad   to   m ee t   th r ee   cr iter ia:   be   an   u n d er g r ad u ate   s tu d en t;   be   en r o lled   in   an   IT - r elate d   p r o g r a m ;   an d   h av e   p r o v i d ed   in f o r m ed   v o lu n tar y   co n s en t   to   p ar ticip ate.   Par ticip atio n   was   o p tio n al,   an d   s tu d en ts ’   g r a d es   or   ac ad em ic   s tan d in g   we r e   not   af f ec ted   by   p ar ticip atio n   or   non - p ar ticip a tio n .   T ab le   2   p r o v id es   o v er al l   s ite/time p o in t   s am p le   d is tr i b u tio n s   by   s ite   an d   tim ep o in t,   in clu d in g   y ea r   of   s tu d y   at   T 0 .   Fig u r e   3   s h o ws   p ar ticip an t   f lo w   f r o m   T0   to   T 1 ,   in clu d in g   th e   m atch ed   an aly tic   s am p le   o v er all   an d   by   s ite,   as   well   as   u n m atch ed   or   u n av ailab le   ca s es.       T ab le   2.   Par ticip an t   d is tr ib u tio n   by   s ite,   tim ep o i n t,   an d   y ea r   of   s tu d y   C a t e g o r y   G r o u p   N   T0   ( p r e - t e st )   by   si t e   K a r a g a n d a   83     S h y m k e n t   65     To t a l   T0   1 4 8   T1   ( p o s t - t e st )   by   si t e   K a r a g a n d a   76     S h y m k e n t   57     To t a l   T1   1 3 3   M a t c h e d   T0 – T1   a n a l y t i c   s a m p l e   K a r a g a n d a   71     S h y m k e n t   53     To t a l   ma t c h e d   1 2 4   T0   ( p r e - t e st )   by   y e a r   of   s t u d y   Y e a r   1   39     Y e a r   2   44     Y e a r   3   37     Y e a r   4   28     To t a l   T0   1 4 8           Fig u r e   3.   Par ticip an t   f lo w   an d   m atch ed   an aly tic   s am p le   by   s i te   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   5 ,  Octo b er   20 26 :   3 9 4 7 - 3961   3952   3 . 4 .    P r o ce du re   a nd   da t a   co ll ec t io n   T h e   r esear ch   team   im p lem en t ed   a   s tan d ar d ized   d ata   co llecti o n   p r o to c o l   at   b o th   s ites .   First,   s tu d en ts   r ec eiv ed   in f o r m atio n   ab o u t   t h e   s tu d en t   clu b   p r o g r am   a n d   th e   p u r p o s e   of   th e   s tu d y ,   af ter   wh ich   in f o r m e d   co n s en t   was   o b tain ed   elec tr o n ically .   Seco n d ,   ea c h   p a r ticip an t   cr ea ted   a   s elf - g e n er ated   an o n y m o u s   co d e   b ased   on   th e   s am e   g en er al   in s tr u ctio n s ,   allo win g   th e   r esear ch   team   to   m atch   T0   an d   T1   r esp o n s es   with o u t   co llectin g   p er s o n ally   id e n tifia b le   in f o r m atio n .   T h ir d ,   at   T 0 ,   p a r ticip an t s   co m p leted   a   s tr u ctu r ed   s u r v ey   an d   an   o b jectiv e   k n o wled g e   m in i - test ,   Fo r m   A,   wh ich   ass ess ed   f o u n d atio n al   p r o g r a m m in g   an d   alg o r ith m ic   co n ce p ts   r elate d   to   th e   p r o g r am   c o n ten t.   Af ter   th e   p r e - test   s tag e,   s tu d en ts   p ar ticip ated   in   th e   f o u r - m o d u le   clu b   cu r r icu lu m .   At   T 1 ,   p ar ticip an ts   co m p leted   th e   s am e   s tr u ctu r e d   s u r v ey   f o r   p r e/p o s t   co m p ar i s o n   an d   a   p ar allel   o b jectiv e   k n o wled g e   m in i - test ,   Fo r m   B.   Fo r m   B   f o llo wed   th e   s am e   co n ten t   b l u ep r in t   a n d   d if f icu lty   tar g ets   as   Fo r m   A,   but   u s ed   d if f er e n t   q u esti o n s   to   r ed u ce   m em o r izatio n   ef f ec ts .   B o th   s u r v ey   a d m in is tr atio n s   wer e   co n d u cted   o n lin e,   wh ile   th e   k n o wled g e   m i n i - test s   wer e   ad m in is ter ed   u n d er   s u p er v is ed   f ac e - to - f ac e   co n d itio n s .   T h e   m in i - test s   f o llo wed   i d en tical   in s tr u ctio n s   at   b o th   s ites   an d   h ad   a   p r ed eter m in e d   tim e   lim it   of   ap p r o x im ately   24   m in u tes.   Du r in g   t h e   k n o w led g e   test ,   s tu d en ts   wer e   not   allo wed   to   u s e   tex tb o o k s ,   Gen AI   to o ls ,   or   o th er   ex ter n al   s o u r ce s .   T h ese   id en tical   ass es s m en t   co n d itio n s   s u p p o r ted   im p lem e n tatio n   f id elity   ac r o s s   th e   two   s ites .     3 . 5 .    M ea s ures   a nd   ins t rum e nts   To   m ak e   th e   in ter v en tio n - to - m ea s u r em en t   lo g ic   ex p licit,   T ab le   3   s u m m ar izes   how   ea c h   p r o g r am   m o d u le   was   in ten d ed   to   s u p p o r t   s p ec if ic   co m p eten c y   d o m a in s   an d   how   th o s e   d o m ain s   wer e   o p er atio n alize d   in   th e   s tu d y .   B ec au s e   th e   in ter v en tio n   was   d esig n ed   as   a   s tag ed   p ip elin e   r ath er   th an   as   a   s et   of   i s o lated   ac tiv ities ,   s o m e   co m p eten cies   wer e   p r im ar ily   tar g eted   with i n   a   s in g le   m o d u le,   wh er ea s   o th er s — p ar ticu lar ly   AI   liter ac y ,   m o tiv atio n ,   an d   ap p lied   o u t p u t   p r o d u ctio n — wer e   d ev elo p e d   ac r o s s   m u ltip le   m o d u les.   T h is   alig n m en t   g u id ed   th e   in ter p r e tatio n   of   p r e - test /p o s t - test   ch a n g es   an d   p o s t - test   o u tco m e   in d icato r s   in   r elatio n   to   th e   s tr u ctu r e   of   th e   p r o g r am .       T ab le   3.   Alig n m e n t   of   p r o g r a m   m o d u les,   tar g eted   co m p eten cies,   an d   s tu d y   m ea s u r es   M o d u l e   M a i n   i n st r u c t i o n a l   f o c u s   P r i mary   c o mp e t e n c i e s   t a r g e t e d   R e l a t e d   st u d y   c o n s t r u c t ( s) /   i n d i c a t o r ( s)   M a i n   e v i d e n c e   c o l l e c t e d   M o d u l e   1.   C o m p e t i t i v e   p r o g r a mm i n g   ( 3 2   h o u r s)   A l g o r i t h m i c   p r o b l e m   so l v i n g ,   d a t a   st r u c t u r e s ,   d e b u g g i n g ,   s o l v i n g   t a s k s   u n d e r   t i me   c o n s t r a i n t s,   v i r t u a l   c o n t e st s   A l g o r i t h m i c   t h i n k i n g ,   p r o g r a m m i n g   c o n f i d e n c e ,   f o u n d a t i o n a l   c o m p u t i n g   k n o w l e d g e ,   d i s c i p l i n e d   p r o b l e m   s o l v i n g   C o m p e t i t i v e   p r o g r a mm i n g   sel f - e f f i c a c y   ( C P S E) ;   O b j e c t i v e   k n o w l e d g e   mi n i - t e s t   P r e / p o st   s u r v e y   ( C P S E) ;   F o r m   A / F o r m   B   k n o w l e d g e   sc o r e s   M o d u l e   2.   H a c k a t h o n   sk i l l s     ( 3 6   h o u r s)   Te a m - b a s e d   p r o t o t y p i n g ,   r a p i d   p r o d u c t   d e v e l o p m e n t ,   v e r si o n   c o n t r o l ,   U I / U X ,   p i t c h i n g ,   d e p l o y me n t   w o r k f l o w s   Te a m   c o l l a b o r a t i o n ,   p r o j e c t   e x e c u t i o n ,   p r a c t i c a l   p r o b l e m   s o l v i n g ,   p r o d u c t - o r i e n t e d   d e v e l o p me n t   Te a mw o r k   a n d   p r o j e c t   e x e c u t i o n   ( TPE) ;   c o n t r i b u t i o n   to   O u t p u t sI n d e x _ T 1   P r e / p o st   s u r v e y   ( TP E) ;   h a c k a t h o n   p a r t i c i p a t i o n ;   p r o t o t y p e / r e p o si t o r y / d e m o   o u t p u t s   M o d u l e   3.   S t a r t u p   a n d   r e sea r c h     ( 3 2   h o u r s)   P r o b l e m   i d e n t i f i c a t i o n ,   c u s t o m e r   d i s c o v e r y ,   M V P   sco p i n g ,   r e sea r c h   f r a mi n g ,   p i t c h   p r e p a r a t i o n ,   b u s i n e ss   mo d e l   d e v e l o p me n t   R e se a r c h   c o m p e t e n c e ,   i n n o v a t i o n   r e a d i n e ss,   p r o b l e m   f r a m i n g ,   e a r l y   e n t r e p r e n e u r i a l   t h i n k i n g   R e se a r c h   c o m p e t e n c e   se l f - e f f i c a c y   ( R C S E) ;   S t a r t u p   a n d   i n n o v a t i o n   r e a d i n e ss  ( S I R ) ;   c o n t r i b u t i o n   to   O u t p u t sI n d e x _ T 1   P r e / p o st   s u r v e y   ( R C S E ,   S I R ) ;   p i t c h   d e c k s,   a b s t r a c t s,   p r o t o t y p e   a n d   st a r t u p - r e l a t e d   a r t i f a c t s   M o d u l e   4.   P r o j e c t   d e f e n se   a n d   d e m o   d a y s  ( 2 8   h o u r s)   F i n a l   p r o j e c t   r e f i n e m e n t ,   p r e se n t a t i o n ,   d e f e n se   of   d e c i si o n s,   d e mo n s t r a t i o n   of   o u t p u t s,   m e n t o r   f e e d b a c k   C o mm u n i c a t i o n   of   r e su l t s,   o w n e r s h i p   of   so l u t i o n s ,   a p p l i e d   p e r f o r m a n c e ,   a c c o u n t a b i l i t y ,   i n t e g r a t i o n   of   p r i o r   l e a r n i n g   C o n t r i b u t i o n   to   R C S E ,   S I R ,   TPE,   M C ;   c o n t r i b u t i o n   to   O u t p u t sI n d e x _ T 1   D e mo / p r e s e n t a t i o n   a r t i f a c t s ,   d e p l o y me n t / d e m o   e v i d e n c e ,   me n t o r - d o c u me n t e d   o u t p u t s   R e s p o n s i b l e   AI   i n t e g r a t i o n   ( c r o ss - c u t t i n g   a c r o ss   a l l   mo d u l e s)   U se   of   C h a t G P T,   G i t H u b   C o p i l o t ,   C l a u d e ,   C u r so r ,   a n d   o t h e r   t o o l s   f o r   i d e a t i o n ,   d e b u g g i n g ,   d r a f t i n g ,   a n d   r e f i n e me n t   w i t h   v e r i f i c a t i o n   a n d   i n t e g r i t y   c h e c k s   AI   l i t e r a c y ,   r e s p o n s i b l e   AI   u se,   v e r i f i c a t i o n   h a b i t s,   e t h i c a l   a w a r e n e ss,   a ssi s t e d   p r o d u c t i v i t y   w i t h   r e t a i n e d   o w n e r s h i p   AI   l i t e r a c y   a n d   r e sp o n si b l e   u se  ( A I L)   P r e / p o st   s u r v e y   ( A I L) ;   o b s e r v e d   AI - su p p o r t e d   w o r k f l o w   e x p e c t a t i o n s   e mb e d d e d   a c r o ss   a c t i v i t i e s   W h o l e - p r o g r a m   e f f e c t   S e q u e n t i a l   p r o g r e ssi o n   f r o m   i n d i v i d u a l   p r o b l e m   so l v i n g   to   c o l l a b o r a t i v e   d e v e l o p me n t   a n d   p u b l i c   p r e se n t a t i o n   M o t i v a t i o n ,   p e r s i st e n c e ,   c o mm i t m e n t   to   s u st a i n e d   p a r t i c i p a t i o n   a c r o ss   t h e   p i p e l i n e   M o t i v a t i o n   a n d   c o mm i t m e n t   ( M C ) ;   O u t p u t sI n d e x _ T 1   P r e / p o st   s u r v e y   ( M C ) ;   p a r t i c i p a t i o n   i n d i c a t o r s   a n d   e n d - of - p r o g r a m   o u t p u t s       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       AI - s u p p o r ted   p ed a g o g ic a l p ip elin e  fo r   co mp u tin g   s tu d en ts ’   r esea r ch   co mp eten ce   ( K a z imo va   Din a r a )   3953   3 . 5 . 1 .   Su rv ey   co ns t ruct s   ( L ik er t - t y pe   s ca les )   T h e   p r e - test   an d   p o s t - test   s u r v ey s   h ad   th e   s am e   s tr u ctu r e   an d   in clu d ed   s ix   m u lti - item   co n s tr u cts   m ea s u r ed   on   a   7 - p o in t   L ik e r t   s ca le,   wh er e   1   in d icate d   “ s tr o n g ly   d is ag r ee ”   an d   7   in d icate d   “ s tr o n g l y   ag r ee . ”   C o m p o s ite   s co r es   wer e   ca lcu lated   by   av er ag in g   th e   item s   with in   each   co n s tr u ct.   T h e   s ix   co n s tr u cts   wer e   co m p etitiv e   p r o g r am m in g   s elf - ef f icac y   ( C PS E ) ,   AI   liter ac y   an d   r esp o n s ib le   u s e   ( AI L ) ,   r e s ea r ch   co m p eten ce   s elf - ef f icac y   ( R C SE) ,   s tar tu p   an d   in n o v atio n   r ea d in ess   ( SIR),   team wo r k   an d   p r o ject   ex ec u tio n   ( T PE) ,   an d   m o tiv atio n   an d   co m m itm en t   ( MC).   C PS E   m ea s u r ed   s tu d en ts ’   p er ce iv ed   ab ilit y   to   d e v elo p   s o lu t io n s ,   ap p l y   co r e   p r o g r a m m in g   s tr ateg ies,   an d   p a r ticip ate   in   co m p etitiv e   p r o g r a m m in g .   AI L   m ea s u r ed   s tu d en ts ’   ab ilit y   to   u s e   AI   to o l s   ef f ec tiv ely   wh ile   v er if y in g   o u t p u ts ,   u n d er s tan d in g   lim itatio n s ,   an d   f o llo win g   ac ad em ic - in te g r ity   p r in cip l es.   R C SE   m ea s u r ed   co n f id en ce   in   d ev elo p in g   r esear ch   q u esti o n s ,   u s in g   liter atu r e,   d esig n in g   s tu d ies,   an d   c o m m u n icatin g   r esear ch   r esu lts .   SIR   m ea s u r ed   r ea d in e s s   to   id en tify   p r o b lem s ,   v alid ate   h y p o th eses ,   cr ea te   m in im u m   v iab le   p r o d u cts,   an d   p itch   s o lu tio n s .   T PE   m ea s u r ed   co m p ete n ce   in   co llab o r ativ e   wo r k f lo ws,   in clu d in g   GitHu b   u s e,   task   m an ag em en t,   co m m u n icatio n ,   an d   p r o ject   d eliv e r y   u n d er   co n s tr ain ts .   MC   m ea s u r ed   s tu d en ts ’   m o tiv atio n ,   p er s is ten ce ,   an d   co m m itm en t   to   co m p etitiv e   p r o g r am m in g ,   p r o ject   wo r k ,   r esear ch ,   an d   s tar tu p - r elate d   ac tiv ity .   T h e   s u r v ey   also   c o llected   lim ited   b ac k g r o u n d   in f o r m atio n ,   in clu d in g   y ea r   of   s tu d y ,   p r io r   p r o g r a m m in g   ex p er ie n ce ,   p r im ar y   p r o g r a m m in g   la n g u a g es,   an d   p latf o r m   e x p o s u r e .     3 . 5 . 2 .   O bje ct iv e   k no wledg e   m ini - t est   ( F o r m   A/F o rm   B)   An   o b jectiv e   k n o wled g e   m in i - test   was   u s ed   to   m ea s u r e   s tu d en ts ’   lear n in g   g ain s   in   f o u n d atio n a l   p r o g r a m m in g   an d   al g o r ith m ic   co n ce p ts .   Fo r m   A   was   a d m i n is ter ed   at   T 0 ,   an d   Fo r m   B   was   ad m in is ter ed   at   T 1 .   B o th   f o r m s   c o n tain ed   12   q u esti o n s   co v er in g   alg o r ith m ic   r ea s o n in g ,   co m p lex ity ,   c o r e   d ata   s tr u ctu r es,   s tan d ar d   p r o g r am m in g   m eth o d s ,   d eb u g g i n g ,   an d   co n ce p tu al   d is tin ctio n s .   T h e   two   f o r m s   in clu d ed   b o th   m u ltip le - ch o ice   a n d   o p en - e n d ed   item s .   Stu d en ts   r ec eiv ed   o n e   p o in t   f o r   ea c h   co r r ec t   an s wer ,   an d   th e   to tal   s co r e   was   ca lcu lated   by   s u m m in g   th e   n u m b e r   of   c o r r ec t   r esp o n s es.   Fo r m   B   u s ed   d if f er en t   q u esti o n s   f r o m   Fo r m   A   to   r e d u ce   m e m o r izat io n   ef f ec ts ,   b u t   b o t h   f o r m s   f o llo wed   th e   s am e   co n ten t   b l u ep r in t,   a n s wer - k ey   s tr u ctu r e,   an d   d if f icu lty   tar g et s .     3 . 5 . 3 .   P a rt icipa t io n   a nd   o utc o m e   ind ica t o rs   ( po s t - t est )   T h e   p o s t - test   also   co llected   e v id en ce   of   s tu d e n ts ’   ap p lied   e n g ag em e n t   an d   p r ac tical   o u tp u ts   d u r in g   th e   in ter v en tio n .   T h ese   in d ic ato r s   in clu d ed   th e   n u m b e r   of   p r o g r a m m in g   p r o b lem s   s o lv ed ,   th e   n u m b er   of   co n test s   atten d ed ,   h ac k at h o n   p ar ticip atio n   c o d ed   as   0 =N o   an d   1 =Y es,   an d   th e   n u m b er   of   d is tin ct   ar tifa ct   ty p es   co m p leted   by   th e   e n d   of   th e   p r o g r am .   Ar tifa ct   ty p e s   in clu d ed   d em o   or   p r esen tat io n   m ater ials ,   p itch   d ec k s ,   p r o to ty p e   or   r ep o s ito r y   ev id en ce ,   an d   d ep l o y m en t   ev i d en ce .   T h ese   f o u r   in d icato r s   wer e   co m b in ed   in to   an   ag g r eg ate   v ar iab le   n am ed   Ou tp u ts I n d e x _ T 1 ,   wh ic h   r ep r esen ted   ap p lied   e n g ag em en t   an d   o u t p u t   p r o d u ctio n .   To   p lace   th e   in d i ca to r s   on   a   co m m o n   s ca le,   th e   n u m b er   of   p r o b lem s   s o lv ed   was   ca p p ed   at   200   an d   d i v id ed   by   2 0 0 ,   th e   n u m b er   of   co n test s   was   ca p p ed   at   10   an d   d iv id e d   by   1 0 ,   h ac k ath o n   p ar ticip atio n   was   tr ea ted   as   a   b in ar y   v alu e,   an d   th e   n u m b er   of   ar tifa ct   t y p es   was   d iv id ed   by   4.   T h e   ar ith m etic   m ea n   of   th ese   f o u r   s ca led   in d icato r s   was   th en   co n v er te d   to   a   0 – 10   s ca le,   wh er e   h ig h er   v alu es   r ep r ese n ted   g r ea ter   ap p lied   en g ag em e n t   an d   o u t p u t   p r o d u ctio n .   B ec au s e   Ou tp u ts I n d ex _ T 1   co m b in ed   d if f er e n t   o u tp u t - r elate d   in d icato r s   r ath er   th an   in ter n ally   co n s is te n t   s u r v ey   item s ,   in ter n al   co n s is ten cy   r eliab ilit y   was   not   u s e d   as   an   ev alu atio n   cr iter io n   f o r   th is   in d ex .   W h er e   av ailab le,   s elf - r ep o r ted   o u tc o m e   d ata   wer e   c h ec k ed   ag ain s t   m en to r   r ec o r d s ,   d em o - d a y   m ater ials ,   an d   r ep o s ito r y   lin k s .     3 . 6 .    Relia bil it y   a nd   m e a s urem ent   qu a lity   I n ter n al   co n s is ten cy   of   th e   m u lti - item   co n s tr u cts   was   ev alu ated   s ep ar ately   at   T0   an d   T1   u s in g   C r o n b ac h ’ s   alp h a   an d ,   wh er e   ap p r o p r iate,   Mc Do n ald ’ s   o m e g a.   R eliab ilit y   was   ca lcu lated   at   b o th   tim e   p o in ts   to   ch ec k   w h eth er   th e   co n s tr u cts   r em ain ed   s tab le   ac r o s s   m ea s u r em en ts .   C o m p o s ite   s co r es   wer e   cr ea te d   ac co r d in g   to   t h e   co m p leten ess   r u le.   Fo r   th e   k n o wled g e   m in i - test ,   item - lev el   r esp o n s e   p att er n s   wer e   r e v iewe d   to   id en tify   q u esti o n s   th at   wer e   o v er ly   ea s y ,   o v e r ly   d if f icu lt,   or   u n clea r .     3 . 7 .    Da t a   prepa ra t i o n   a nd   qu a lity   rules   Su r v ey   d ata   ex p o r ted   f r o m   t h e   o n lin e   p latf o r m   wer e   p r o ce s s ed   u s in g   co n s is ten t   d ata - p r ep ar atio n   r u les.   T0   an d   T1   r esp o n s es   wer e   m atch ed   u s in g   a n o n y m o u s   p ar ticip an t   co d es.   R esp o n s es   with   m is s in g ,   in v alid ,   or   n o n - m atch a b le   co d es   wer e   tr ea ted   as   u n m atch ed   an d   wer e   not   in clu d e d   in   th e   m atch ed   p r e/p o s t   an aly tic   s am p le.   D u p licate   p a r ticip an t   co d es   wer e   r e v iewe d   b ef o r e   an aly s is .   W h en   d u p lica te   m atch ed   r ec o r d s   wer e   id en tifie d ,   th e   m o s t   co m p lete   m atch ed   r esp o n s e   r ec o r d   was   r etain ed ,   an d   i n co n s i s ten t   or   in co m p lete   d u p licate   r ec o r d s   wer e   r em o v ed .   C o m p o s ite   co n s tr u ct   s co r es   wer e   cr ea ted   o n ly   w h en   at   least   82%   of   th e   item s   f o r   th e   r elev an t   c o n s tr u ct   wer e   co m p lete d ,   wh ich   h elp ed   m ain tain   m ea s u r em en t   s tab ilit y   wh ile   m in im izin g   u n n ec ess ar y   ca s e   ex clu s io n .   Kn o wled g e - test   r esp o n s es   wer e   s co r ed   u s in g   p r ed ef in ed   an s wer   k e y s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   5 ,  Octo b er   20 26 :   3 9 4 7 - 3961   3954   f o r   m u ltip le - ch o ice   item s   a n d   s co r in g   r u b r ics   f o r   s h o r t - an s wer   item s .   T h e   f i n al   an aly tic   s am p le   co n s is ted   of   124   s tu d en ts   with   m atch ed   T0   an d   T1   r ec o r d s ,   allo win g   with in - s u b ject   p r e/p o s t   co m p ar is o n s .   Un m atch ed   r esp o n s es   wer e   r etain ed   o n ly   f o r   d escr ip tiv e   p u r p o s es   wh en   ap p r o p r iate.     3 . 8 .    St a t is t ica l   a na ly s is   T h e   an al y s is   f o llo wed   f o u r   m ain   s tep s .   First,   d escr ip tiv e   s tatis tics   wer e   u s ed   to   s u m m ar iz e   b aselin e   ch ar ac ter is tics   o v er all   an d   by   u n iv er s ity   s ite,   in clu d in g   y ea r   of   s tu d y ,   p r o g r am m i n g   e x p er i en ce ,   an d   p latf o r m   ex p o s u r e.   Seco n d ,   r eliab ilit y   an aly s es   wer e   co n d u cted   f o r   each   m u lti - item   c o n s tr u ct   at   T0   an d   T1   u s in g   C r o n b ac h ’ s   alp h a   an d   Mc Do n ald ’ s   o m e g a.   T h ir d ,   p r e/p o s t   ch an g es   wer e   ex am in e d   u s in g   p air e d - s am p le   co m p ar is o n s   f o r   all   s u r v e y   co n s tr u cts,   in clu d in g   C PS E ,   AI L ,   R C SE,   SIR,   T PE,   an d   MC.   Ma tch ed   co m p ar is o n s   b etwe en   Fo r m   A   at   T0   an d   Fo r m   B   at   T1   w er e   also   c o n d u cted   to   ass ess   o b jectiv e   k n o wled g e   g ain s .   E f f ec t   s izes,   in clu d in g   p air ed   C o h en ’ s   d   with   co n f id en ce   in ter v als,   wer e   r e p o r t ed   to   esti m ate   th e   m ag n itu d e   of   ch a n g e   an d   to   s u p p o r t   p r ac tical   in ter p r etatio n   of   t h e   r esu lts .   Fo u r th ,   s ite   co m p a r is o n s   an d   ass o ciatio n   an aly s es   wer e   co n d u cted .   B aselin e   lev els   an d   ch an g e   s co r es   wer e   co m p a r e d   b etwe en   th e   two   u n iv er s ities .   Ass o ciatio n s   b etwe en   p o s t - test   o u tco m es,   i n clu d in g   k n o wled g e   s co r es   an d   p ar ticip atio n /o u t p u t   in d icato r s ,   an d   k ey   p r ed icto r s ,   esp ec ially   AI   liter ac y ,   team wo r k ,   an d   m o tiv atio n ,   wer e   ex am in ed   u s in g   co r r elatio n   an d   m u ltip le   r eg r e s s io n   m o d els.   Ad ju s ted   r eg r ess io n   m o d els   in clu d ed   s ite,   y ea r   of   s tu d y ,   a n d   p r io r   p r o g r a m m in g   e x p er ien ce   as   co v ar iates;   b aselin e   v alu es   wer e   in clu d ed   wh e n   a   tr u e   b aselin e   m ea s u r e   was   av ailab le.   C o n v e n tio n al   s ig n i f ican ce   test in g   was   ap p lied   u s in g   p <. 0 5 ,   b u t   in ter p r etatio n   em p h asized   e f f ec t   s izes,   co n f id en ce   in ter v als,   an d   p r ac tical   s ig n if ican ce   al o n g s id e   s tatis tical   s ig n if ican ce .     3 . 9 .    E t hica l   co ns idera t io ns   T h e   E th ics   C o m m ittee   of   Ka r ag an d a   Natio n al   R esear ch   Un iv er s ity ,   n am e d   af ter   Aca d em ician   E . A.   B u k eto v ,   r ev iewe d   an d   ap p r o v ed   th e   s tu d y   p r o to c o l   ( p r o t o co l   #10)   on   Sep tem b e r   1,   2 0 2 5 .   B o th   u n iv er s ities   f o llo wed   th e   ap p r o v ed   p r o t o co l,   in s tr u m en t ( s ) ,   an d   i n f o r m ed   c o n s en t   p r o ce s s   id en tically .   Sh y m k en t   Un iv er s ity   g r an ted   in s titu tio n al   p er m is s io n   to   co n d u ct   d ata   co llectio n   u n d er   th e   ap p r o v e d   p r o to co l/co n s en t.   Par ticip an ts   in   th is   s tu d y   wer e   in f o r m ed   th at   th eir   p ar ticip ati o n   was   w h o lly   v o lu n tar y .   I n f o r m ed   c o n s en t   was   o b tain ed   f r o m   each   s tu d e n t.   Data   p r o v id ed   by   r esp o n d i n g   p ar ticip an ts   wer e   an o n y m o u s ly   co d e d   by   a     s elf - g en er ated   m atc h in g   c o d e ,   wh ich   en a b led   lin k a g e   b et wee n   in d iv id u al   p r e/p o s t   m e asu r es.   Data   wer e   s ec u r ely   s to r ed ,   a n d   o n ly   ag g r eg ate   an aly s is   r esu lts   ar e   r ep o r ted .       4.   RE SU L T S   4 . 1 .    P a rt icipa nt   f lo w   a nd   a n a ly t ic   s a m ple   Ov er all,   th e   lev el   of   attr itio n   a m o n g   th o s e   p a r ticip atin g   in   th is   s tu d y   was   m o d er ate,   with   15   s tu d en ts   lo s t   at   p o s t - test   ( 1 0 . 1 %).   Sin ce   m o s t   of   th e   p ar ticip an ts   r em ain ed   en g ag ed   in   th e   p r o g r am ,   th is   h ig h   lev el   of   en g ag em e n t   s u g g ests   th at   th is   is   a   r elativ ely   co m m o n   lev el   of   attr itio n   f o r   ex tr ac u r r icu lar   ac tiv ities .     In   ad d itio n   to   th e   f ac t   t h at   th e   m atch in g   o n ly   p r o d u ce d   a   f i n al   an aly tic   s am p le   ( i.e . ,   t h er e   wer e   124   s tu d e n ts   wh o   h a d   b o th   T0   an d   T1   r e co r d ) ,   th e   h ig h   lev el   of   m atc h in g   i n d icate s   th at,   f o r   th e   v ast   m ajo r ity   of   T1   r esp o n d en ts ,   th eir   m atch e d   r ec o r d   with   T0   in d icate s   a   tr u e   ch an g e   r ath e r   th an   th e   r e s u lt   of   m is m atch ed   id en titi es.   Ma tch in g   p er ce n tag e   was   also   co n s id er a b ly   h ig h   f o r   b o th   T0   ( 8 3 . 8 %)   a n d   T1   ( 9 3 . 2 %),   in d icatin g   th at   th e   v ast   m ajo r ity   of   T1   r esp o n d en ts   co u l d   be   m atch e d   b ac k   to   th eir   T0   r ec o r d s ,   th u s   d ec r ea s in g   th e   ch an ce s   of   th e   r esu lts   b ein g   d u e   to   ca r eless n ess   on   th e   b e h alf   of   th o s e   with   m is m atch ed   id en titi es.   W h en   ex am in in g   p atter n s   of   r eten tio n   am o n g   th e   two   d if f er en t   s ites   ( i.e . ,   Kar ag an d a   an d   Sh y m k en t) ,   th er e   is   o n ly   a   s lig h tly   g r ea te r   r eten tio n   lev el   at   Kar a g an d a   ( 8 . 4 %   attr itio n )   co m p ar ed   to   Sh y m k e n t   ( 1 2 . 3 %   attr itio n ) .   W h ile   th is   d if f e r e n ce   in   attr itio n   p e r ce n tag es   is   v er y   s m all,   it   m a y   lead   to   s o m ewh at   of   an   u n d er r ep r esen tatio n   of   th e   less   co n s is ten t   or   en g ag ed   s tu d en ts   at   th e   Sh y m k en t   s ite.   Nev er th eless ,   th e   m atch in g   p er ce n tag es   ar e   s im ilar   ( ≈ 9 3 %)   f o r   b o th   s ites ,   w h ich   in d icate s   th at   th e   s am p le s   p r o d u ce d   at   each   s ite   wer e   f air ly   co n s is ten t.   T h e   b r ea k d o w n   of   en r o lled ,   r etain ed ,   m atch ed ,   a n d   u n m atch ed   s tu d en ts   is   d ep icted   in   Fig u r e   3.     4 . 2 .    Relia bil it y   a nd   des cr iptiv e   s um m a r y   T ab le   4   s u m m ar izes   r eliab ilit y   esti m ates   ( α /ω   b etwe en   T0   an d   T 1 )   f o r   all   co n s tr u cts   m ea s u r ed .     T h e   s u r v e y   m ea s u r es   s h o wed   s atis f ac to r y   in ter n al   co n s is ten cy   at   b o th   tim e   p o i n ts ,   with   m o s t   co n s tr u ct s   ex h ib itin g   s tab le   or   s lig h tly   im p r o v e d   r eliab ilit y   at   T1   as   a   r esu lt   of   p ar ticip an ts   g ain in g   a   clea r er   co n ce p tu aliza tio n   of   th e   co n s tr u cts   f o llo win g   s tr u ctu r ed   tr a in in g   ( i.e . ,   r esp o n s es   b ec o m i n g   m o r e   co h er en t) .   T h e   im p o r tan ce   of   th ese   r elia b ilit y   f in d in g s   is   p r ac tical   b e ca u s e   th ey   p r o v id e   j u s tific atio n   f o r   t r ea tin g   ea c h   co n s tr u ct   as   one   co m p o s ite   s c o r e   ( i.e . ,   m ea n   of   th e   item s   co m p r is in g   th at   co n s tr u ct)   an d   f o r   tak in g   p r e - p o s t   d if f er en ce s   as   s ig n i f ican t   ch an g e   r at h er   th a n   s im p ly   m e asu r em en t   er r o r .   T h e   f ac t   t h at   AI L   h ad   s u c h   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       AI - s u p p o r ted   p ed a g o g ic a l p ip elin e  fo r   co mp u tin g   s tu d en ts ’   r esea r ch   co mp eten ce   ( K a z imo va   Din a r a )   3955   co n s is ten tly   h ig h   r eliab ilit y   is   cr itical   g iv en   th e   k ey   r o le   it   p lay s   in   s u b s eq u en t   a s s o ciatio n   m o d els   ( AI L → o u tco m es),   as   th e   h ig h   in ter n al   co n s is ten cy   will   r ed u ce   atten u atio n   of   th e   r elati o n s h ip   b etwe en   AI L   an d   its   ass o ciate d   o u tco m es,   t h er eb y   i n cr ea s in g   o u r   c o n f id e n ce   in   th e   r elatio n s h ip s   b ein g   o b s er v ed .       T ab le   4.   Me asu r es   an d   r eliab il ity   of   th e   s tu d y   in s tr u m e n ts   M e a su r e / C o n st r u c t   I t e ms   R e l i a b i l i t y   T 0   ( α/ ω)   R e l i a b i l i t y   T 1   ( α/ ω)   C o m p e t i t i v e   p r o g r a mm i n g   s e l f - e f f i c a c y   8   0 . 8 4 / 0 . 8 6   0 . 8 7 / 0 . 8 8   A I   l i t e r a c y   a n d   r e sp o n si b l e   u se   12   0 . 8 9 / 0 . 9 0   0 . 9 1 / 0 . 9 2   R e se a r c h   c o m p e t e n c e   se l f - e f f i c a c y   10   0 . 8 6 / 0 . 8 7   0 . 8 8 / 0 . 8 9   S t a r t u p   a n d   i n n o v a t i o n   r e a d i n e ss   10   0 . 8 3 / 0 . 8 5   0 . 8 6 / 0 . 8 7   Te a mw o r k   a n d   p r o j e c t   e x e c u t i o n   8   0 . 8 1 / 0 . 8 3   0 . 8 5 / 0 . 8 6   M o t i v a t i o n   a n d   c o mm i t me n t   8   0 . 7 9 / 0 . 8 1   0 . 8 2 / 0 . 8 4   O b j e c t i v e   k n o w l e d g e   m i n i - t e s t   ( F o r m  A )   12   0 . 7 6 / 0 . 7 8   —   O b j e c t i v e   k n o w l e d g e   m i n i - t e s t   ( F o r m  B )   12   —   0 . 7 4 / 0 . 7 6       4 . 3 .    P re – po s t   cha ng es   in   s ur v ey   co ns t ruct s   All   s ix   s u r v ey   co n s tr u cts   in cr ea s ed   f r o m   T0   to   T 1 .   As   s h o wn   in   Fig u r e   4,   t h e   d ir ec tio n   of   ch an g e   was   p o s itiv e   ac r o s s   b o th   u n iv er s ity   s ites .   T h is   p atter n   in d ic ates   th at   th e   p r o g r am   was   ass o ciate d   with   b r o ad   im p r o v em e n t   ac r o s s   tech n ical   co n f id en ce ,   AI   liter ac y ,   r esear ch   co m p eten ce ,   s tar tu p   r ea d in ess ,   team wo r k ,   an d   m o tiv atio n .   To   s tar t,   AI L   s h o wed   th e   m o s t   s u b s tan tial   u p war d   s h if t   ( with   a   m e an   g a in   of   1 . 1 9   b etwe en     p r e - test   an d   p o s t - test ,   eq u iv al en t   to   0 . 7 5   s tan d ar d   d ev iatio n s ) ,   wh ich   is   co n s is ten t   with   t h e   p r o g r am ’ s   f o c u s   on   u s in g   Gen AI   f o r   wo r k f lo w   o p tim izatio n   an d   on   n o r m s   f o r   r esp o n s ib le   u s e,   s u ch   as   v er if icatio n ,   test in g ,   an d   d o c u m en tatio n   d is cip lin e.   Acc o r d in g ly ,   th e   lar g est   g ain s   wer e   o b s er v ed   in   AI L ,   wh ic h   was   th e   co n s tr u ct   m o s t   d ir ec tly   tar g eted   in   th e   p r o g r am   d esig n ,   r ath er   th a n   s im p ly   r ef lectin g   a   g en e r al   in cr ea s e   in   co n f id e n ce .   Nex t,  T PE  h as  al s o   d em o n s tr ated   s izea b le  g r o wth   an d   also   s u p p o r ts   th e  p r o g r am   lo g ic  ( th e  ad d itio n al  wo r k   d o n e  o n   ea r ly   C / C ++   co m p etitio n   p r o g r a m m in g   b u ild s   in d iv id u al  co n f id en ce   in   th eir   ab ilit y   to   s o lv e  p r o g r am m in g   p r o b le m s   wh ile  wo r k in g   to g eth er   in   team s   with   a  g o al  o f   c o m p le tin g   a  d eliv er a b le) .   Ho wev er ,   R C SE  an d   SIR  h a v e  s h o wn   l o wer   in cr ea s es  th a n   th e  o th er   c o n s tr u cts,  wh ich   wo u ld   b e  ex p ec ted   s in ce   th e  d ev elo p m en t  o f   th e  r esear ch   an d   en tr ep r e n eu r ial  co m p eten cies  will  ty p ically   o cc u r   m o r e  s lo wly   an d   u s u ally   r eq u ir e  r e p ea ted   iter at io n s   ( wr itin g ,   c u s to m er   d is co v er y ,   a n d   p itch in g )   b e f o r e   s ig n if ican t  s h if ts   in   th e   lev el  o f   ac h iev em e n t  o cc u r .   F in ally ,   th e  s ite  lev el   p r o f iles   a ls o   r ef lect  th is   d ir ec tio n al  co n s is ten cy   ( in cr ea s ed   m ea n s   ac r o s s   T 1 )   in   Ka r ag an d a  b y   T 1   co m p ar ed   t o   Sh y m k e n t,  with   Kar ag an d a  u s u ally   h a v in g   s lig h tly   h ig h er   in itial  an d /o r   f in al  s co r es  ac r o s s   all   m ea s u r es ,   as  s h o wn   in   Fig u r e  4 .   T h ese  v ar iatio n s   m a y   b e  attr ib u tab le  to   s ite  lev el  d if f er e n ce s   in   p r e p ar atio n   o r   im p lem en tatio n   co n d itio n s ,   b u t  r eg ar d less ,   th e   k ey   f in d in g   is   th e   o v er all  d ir ec tio n   o f   c h an g e   in d icatin g   th e  d e g r ee   o f   tr an s f er ab ilit y   o f   th e  p r o g r am   ( p ip elin e)   ac r o s s   d if f er en t   in s titu tio n al  co n tex ts .             Fig u r e   4.   Pre – p o s t   ch an g es   in   s u r v ey   co n s tr u cts   (T0   vs   T 1 )   by   s ite     0 0 . 5 1 1 . 5 2 2 . 5 3 3 . 5 4 4 . 5 5 CP S E AIL RCS E S IR TP E MC CP S E AIL RCS E SIR TP E MC CP S E AIL RCS E S IR TP E MC Ka ra g a n d a S h y m k e n t Ov e ra ll Me an   s co r e  ( 1 – 7   L ik er t  s ca le) Pre - an d   Po s t - T es t   Mean s   (T 0  vs   T 1 )  b y   Si t e T0 _ M e a n T1 _ M e a n Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   5 ,  Octo b er   20 26 :   3 9 4 7 - 3961   3956   4 . 4 .   O bje c t iv e   k no wledg e   t e s t   re s ults   T ab le   5   in d icate s   th at   f o r   th e   m atch ed   g r o u p ,   t h er e   was   a   s tatis t ically   s ig n if ican t   im p r o v em en t   of   o b jectiv e   k n o wled g e   on   th e   m in i   test   (0 - 12)   f r o m   p r e - test   to   p o s t - test   m ea n   s co r e   ( p r e:   M= 6 . 2 ,   SD=2 . 1   vs   p o s t:   M= 7 . 6 ,   SD=2 . 0 ) ;   m ea n   g ain   ( Δ =1 . 4 ,   95%   CI   [ 1 . 0 6 ,   1 . 7 4 ] ) ,   p air ed   d   ( d =0 . 7 4 ;   p <. 0 0 0 1 )   in d icatin g   th at   th e   im p r o v em en t   was   not   lim ited   to   s elf - r e p o r te d   m ea s u r es.   Site - to - s ite   co m p ar is o n s   ( i.e . ,   Sh y m k en t   an d   Kar ag an d a)   s u g g est   th at   th ey   d em o n s tr ated   s im ilar   d ir ec tio n s   of   ch an g e   b u t   with   d if f e r en t   m ag n itu d es   of   ch an g e ,   as  s h o wn   in   T ab le   5.   T h e   d i f f er en ce   in   ch an g es   ev id en ce d   by   th e   two   s ites   d em o n s tr ated   th at   Kar ag an d a   m a d e   a   g r ea ter   in cr ea s e   in   th eir   r ea d in ess   lev el   ( 6 . 5 →8 . 1 ;   Δ =1 . 6 ;   95%   CI   [ 1 . 1 7 ,   2 . 0 3 ] ;   d =0 . 8 9 ;   p <0 . 0 0 1 )   th a n   Sh y m k e n t   d id   ( 5 . 8 →6 . 9 ;   Δ =1 . 1 ;   95%   CI   [ 0 . 5 5 ,   1 . 6 5 ] ;   d =0 . 5 5 ;   p = 0 . 0 0 1 ) .   W h en   lo o k in g   at   th ese   r esu lts   with   ca u tio n ,   th is   p atter n   of   r esu lts   m ay   s p ea k   to   b aselin e   d if f er e n ce s   an d /o r   d if f er e n ce s   in   im p lem en tatio n   q u ality   ( e . g . ,   m en to r in g ,   en g ag e m en t) ;   h o wev er ,   b o th   s ites   s h o wed   s ta tis tically   s ig n if ican t   im p r o v em e n t   an d   s u b s tan tial   ef f ec t   s izes   s u p p o r tin g   t h e   co n clu s io n   th at   th er e   wer e   d em o n s tr ab le   g ain s   in   co m p eten cy .       T ab le   5.   Pre – p o s t  ch an g e   in   o b jectiv e   k n o wled g e   test   s co r es   S i t e   M a t c h e d   N   T0   M e a n   (SD)   T1   M e a n   (SD)   Δ   M e a n   ( 9 5 %   C I )   P a i r e d   d   p - v a l u e   O v e r a l l   1 2 4   6 . 2   ( 2 . 1 )   7 . 6   ( 2 . 0 )   1 . 4   ( 1 . 0 6 ,   1 . 7 4 )   0 . 7 4   < 0 . 0 0 1   K a r a g a n d a   71   6 . 5   ( 2 . 0 )   8 . 1   ( 1 . 9 )   1 . 6   ( 1 . 1 7 ,   2 . 0 3 )   0 . 8 9   < 0 . 0 0 1   S h y m k e n t   53   5 . 8   ( 2 . 2 )   6 . 9   ( 2 . 1 )   1 . 1   ( 0 . 5 5 ,   1 . 6 5 )   0 . 5 5   < 0 . 0 0 1       4 . 5 .   Rela t io ns hip   bet wee n   AI   lite ra cy   a nd   o utc o m es   Mu ltip le   an aly s es   co n f ir m ed   a   r elatio n s h ip   b etwe en   AI   liter a cy   m ea s u r e d   by   p o s t - test   ( AI L _ T 1 )   a n d   th e   co r r esp o n d i n g   o u tco m e   v ar iab les   m ea s u r ed   at   th e   s am e   tim e ,   as  s h o w n   in   T ab le   6.   In   th e   u n an al y ze d   co n d itio n ,   t h e   r esu lts   p r o d u c ed   b o th   ev i d en ce   of   s ig n if ic an t   co r r elatio n   ( B =0 . 4 5 ,   95%   C . I .   ( 0 . 2 1 , 0 . 6 9 ) ;     Std .   β(0 . 3 5 ) ;   p <0 0 1 ;   R ^2 =0 . 1 0 ) .   Ov er all,   r esu lts   in d icate   th at   s tu d e n ts   ev alu ated   as   d em o n s tr atin g   h ig h   d eg r ee s   of   AI   liter ac y   an d   r esp o n s ib le   u s e   wer e,   on   av er a g e ,   s co r in g   s ig n if ican tly   h ig h er   th an   th o s e   wh o   d id   n o t,   im p licatin g   th at   u s in g   Gen AI   u ltima tely   h as   th e   p o ten tial   to   en h an ce   s tu d e n t   lear n in g ,   wh ile   also   r ein f o r cin g   th e   n o tio n   of   v er if y in g   in f o r m atio n   b ef o r e   ac ce p tin g   it.       T ab le   6.   Ass o ciatio n   b etwe en   AI   liter ac y   at   p o s t - test   ( AI L _ T 1 )   an d   p o s t - test   o u tco m es   O u t c o m e   (Y)   M o d e l   B   ( 9 5 %   C I )   S t d .   β   p - v a l u e   R²   K n o w l e d g e Te s t _ T1   U n a d j u st e d   0 . 4 5   ( 0 . 2 1 ,   0 . 6 9 )   0 . 3 5   < 0 . 0 0 1   0 . 1   K n o w l e d g e Te s t _ T1   A d j u st e d   0 . 3 8   ( 0 . 1 2 ,   0 . 6 4 )   0 . 2 9   0 . 0 0 4   0 . 2   O u t p u t sI n d e x _ T 1   U n a d j u st e d   0 . 6 0   ( 0 . 2 4 ,   0 . 9 6 )   0 . 3   0 . 0 0 2   0 . 1   O u t p u t sI n d e x _ T 1   A d j u st e d   0 . 5 2   ( 0 . 1 2 ,   0 . 9 2 )   0 . 2 6   0 . 0 1 1   0 . 1   N o t e :   A d j u s t e d   m o d e l s   c o n t r o l   f o r   s i t e ,   y e a r   o f   st u d y ,   a n d   p r i o r   p r o g r a mm i n g   e x p e r i e n c e ;   b a s e l i n e   ( T 0 )   v a l u e s  w e r e   i n c l u d e d   w h e n   a v a i l a b l e .   O u t p u t sI n d e x _ T1   i s  a   0 – 1 0   c o mp o s i t e   o f   a p p l i e d   o u t p u t s  ( s o l v e d   p r o b l e ms,  c o n t e st   p a r t i c i p a t i o n ,   h a c k a t h o n   p a r t i c i p a t i o n ,   a n d   a r t i f a c t   c o m p l e t i o n )       In   th e   ad ju s ted   m o d el,   th e   ass o ciatio n   b etwe en   AI L _ T 1   an d   k n o wled g e   o u tco m e s   was   s till   s tatis t ically   s ig n if ican t   ( B =0 . 3 8 ,   95%   CI   [ 0 . 1 2 ,   0 . 6 4 ] ;   Std .   β=0 . 2 9 ;   p = 0 . 0 0 4 ;   R ²= 0 . 2 ) ,   th u s   in d icatin g   th at   th e   ass o ciatio n   b etwe en   AI L _ T 1   an d   k n o wled g e   o u tco m es   co n tin u ed   to   ex is t   wh en   ac co u n tin g   f o r   th e   co v a r iates   co n s id er ed .   Similar   ass o ciatio n s   wer e   s ee n   with   ap p lie d   o u tco m es   as   well.   Fo r   Ou tp u ts I n d ex _ T 1 ,   A I L _ T 1   ex h ib ited   a   p o s itiv e   ass o ciatio n   in   th e   u n a d ju s ted   m o d el   ( B = 0 . 6 0 ,   95%   CI   [ 0 . 2 4 ,   0 . 9 6 ] ;   Std .   β=0 . 3 0 ;   p =0 . 0 0 2 ;   R ²= 0 . 1 )   an d   co n tin u ed   to   be   s tatis tically   s ig n if ican t   in   th e   ad ju s ted   m o d el   ( B =0 . 5 2 ,   95%   CI   [ 0 . 1 2 ,   0 . 9 2 ] ;   Std .   β=0 . 2 6 ;   p =0 . 0 1 1 ;   R ²= 0 . 1 ) .   T h er ef o r e ,   b o th   th e   o b jectiv e   k n o wled g e   m ea s u r e   an d   s tr o n g   en d - of - p r o g r am   Ou tp u ts /Ach iev em en ts   wer e   r ep o r ted   by   s tu d en ts   with   h ig h er   AI   L iter ac y   s co r es   at   p o s t - test .   In   o th er   wo r d s ,   th e   ab ilit y   to   ac c u r ately   a n d   r esp o n s ib ly   u s e   Gen AI   to o ls   ( p r o m p tin g ,   d eb u g g i n g   s u p p o r t,   d o cu m en tatio n ,   v er if icatio n )   ap p ea r ed   r elate d   to   b o th   lear n i n g   an d   p er f o r m a n ce   o u tco m es   r elate d   to   d eliv e r ab les   at   th e   en d   of   th e   p ip elin e.   Ad ju s ted   m o d els   f o r   b o th   k n o wled g e   an d   ap p l ied   o u tco m e   m o d els   wer e   cr ea ted   u s in g   th e   s ites   wh er e   th e   s tu d en ts   wer e   s tu d y in g   ( Kar a g an d a   vs   Sh y m k e n t )   an d   em p l o y in g   b aselin e   co v a r iates   ( i.e . ,   y ea r   of   s tu d y   an d   p r io r   p r o g r am m i n g   ex p er ien ce )   to   ac co u n t   f o r   in it ial   d if f er en ce s .     4 . 6 .   Co ns o lid a t ed   ma in   o utc o m es   t a ble   T ab le   7   p r o v id es   an   o v er v iew   of   th e   p r o g r am ’ s   o v e r all   im p ac t   on   all   co r e   s u r v ey   co n s tr u cts   an d   th e   k n o wled g e   test   by   d is p lay in g   m ea n   ( SD)   s co r es   at   b o th   T0   an d   T 1 ,   as   well   as   m ea n s   an d   95%   CI   f o r   ch a n g e,   p air ed   t   test   r esu lt s   as   ex p r ess ed   by   C o h en ’ s   d,   an d   p - v alu e s   b o th   o v er all   an d   by   s ite.   W i th in   th is   s u m m ar y   Evaluation Warning : The document was created with Spire.PDF for Python.