I nte rna t io na J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   14 ,   No .   4 A u g u s t   2 0 2 5 ,   p p .   2 5 3 9 ~ 2 5 5 4   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 1 4 i 4 . 3 0 3 9 9          2539       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   GE - A PR O Ach a n O BE diz ed surv ey  instrumen o G enEd   o utcom es a chiev e ment bas ed  on st udent  perso na l re po rts       Ro drig o   C.   Riv er a ,   E ly ma Na ldo   Delo s   Sa nto s ,   J ua n O liv er   S.  O f ra cio   S c h o o l   o f   M u l t i d i sc i p l i n a r y   S t u d i e s,   C o mm u n i c a t i o n   a n d   L i t e r a t u r e   A r e a ,   D e   La   S a l l e - C o l l e g e   o f   S a i n t   B e n i l d e ,   M a n i l a ,   P h i l i p p i n e s       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   25 2 0 2 4   R ev is ed   Dec   12 2 0 2 4   Acc ep ted   Mar   2 2 0 2 5       Th e   P h il ip p i n e   c o m m issio n   o n   h ig h e e d u c a ti o n   (CHED)  re q u ire c o ll e g e a n d   u n iv e rsiti e t o   a li g n   wi th   it s   tri a d   g o a ls   o f   i n d i v id u a l,   so c ial,   a n d   g l o b a d e v e lo p m e n t,   th r o u g h   th e   n e g e n e ra e d u c a ti o n   c u rricu l u m   (NG EC).   S i n c e   it imp lem e n tatio n ,   n u m e ro u stu d ies   h a v e   e v a lu a ted   o u tco m e s,  o ften   re p o rti n g   p o siti v e   re su lt s.  Ho we v e r,   th e se   stu d ies   e x h ib it   m e th o d o l o g ica l   in c o n siste n c ies   d u e   t o   v a ry i n g   a ss e ss m e n m e a su re s.  Wh il e   tw o   st u d ies   fr o m   th e   sa m e   c o ll e g e   e m p lo y e d   ro b u st  se lf - d e v e lo p e d   i n stru m e n ts   b a se d   o n   CHED  sta n d a rd t o   e v a l u a te  g e n e ra e d u c a ti o n   (G E)  o u tco m e s,  q u e sti o n s   a b o u t h e ir  re li a b il i ty   led   t o   t h e   c re a ti o n   o th e   G E - a ss e ss m e n o p e rso n a l   re p o rts  o f   o u tco m e a c h iev e m e n (G E - APROAc h in stru m e n t .   Us in g   a   m ix e d - m e th o d   d e sc rip ti v e - e v a lu a ti o n   d e sig n ,   t h e   re se a rc h   c o n str u c ted   a n d   v a li d a ted   t h e   in str u m e n t.   Re s u lt in d ica te d   t h a th e   G E - APROAc h   e ffe c ti v e ly   m e a su re G o u tco m e th ro u g h :   i a   so li d   c o n c e p tu a f ra m e wo rk   o targ e te d   c o m p e ten c ies ii h i g h   i n terra ter  a g re e m e n fr o m   e x p e rt  ju d g e s;   iii stro n g   i n tern a re li a b il i t y   to   d iffere n ti a te  a n d   c o n siste n t ly   re p o rt  sc o re s;   a n d   iv s u p e ri o e ffica c y   c o m p a re d   to   e x ist in g   to o ls.  Estab l ish i n g   t h e   v a li d it y   o se lf - m a d e   in str u m e n ts  is  c ru c ial,   p a rti c u larly   f o e v a l u a ti n g   c u rricu l u m   lea rn in g   o u tco m e s.  S tatisti c a a n a ly sis  c o n firms   t h a th e   G E - APROAc h   is  a   re li a b le  a n d   v a li d   to o l,   o ffe ri n g   imp r o v e m e n ts  o v e p re v i o u sly   u se d   in stru m e n ts.   K ey w o r d s :   Gen er al  ed u ca tio n   Hig h er   ed u ca tio n   ev alu ati o n   L ea r n in g   o u tco m es a s s ess m en t   Ou tco m es - b ased   ed u ca tio n   Valid atio n   s tu d y   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R o d r ig o   C .   R iv er a   Sch o o l o f   M u ltid is cip lin ar y   Stu d ies,  C o m m u n icatio n   an d   L it er atu r Ar ea   De  L Salle - C o lleg o f   Sain t Ben ild e   1 0 0 4   Me tr o   Ma n ila,   Ma n ila,   Ph ilip p in es   E m ail: r o d r ig o . r iv er a@ b en ild e. ed u . p h       1.   I NT RO D UCT I O N   As  p er   th co m m is s io n   o n   h ig h er   e d u ca tio n   ( C HE D )   m em o r an d u m   o r d er   ( C MO )   2 0 ,   s .   2 0 1 3 ,   u n d er g r ad u ate  s tu d en ts   ac r o s s   all  h ig h er   ed u ca tio n   i n s titu tio n s   ( HE I s )   in   th Ph ilip p in es  m u s co m p lete  twen ty - f o u r   co u r s u n its   o f   g en er al  ed u ca tio n   ( GE )   co u r s es  an d   n in GE   co u r s elec tiv es.  Fo r m ativ ev alu atio n   o f   th e x ten to   w h ich   th e   n ew  g en er al   ed u ca ti o n   c u r r icu lu m   ( NGE C )   h as  a ch iev ed   its   d esire d   o u tco m es  is   p a r am o u n as  HE I s   ad o p t   th o u tco m es - b ased   e d u ca tio n   ( OB E )   f r a m ewo r k .   I n   OB E ,   ed u ca tio n al   s y s tem s   ar o r g an ized   “a r o u n d   wh at  is   ess en tial  f o r   all  lear n er s   to   k n o w”  b ec au s o f   th eir   p o ten tial  to   “in cr ea s b o th   th ef f ec tiv en ess   o f   q u ality   ass u r an ce   ( QA)   an d   th ef f ec tiv en ess   o f   h ig h er   ed u ca tio n ”  [ 1 ] Desig n in g   ef f ec tiv i n s tr u ctio n s   r eq u ir es  s ch o o ls   to   ad o p d i v er s ev alu atio n   m ea s u r es  to   d ec id h o lea r n er s   h av r ea ch e d   th e x p ec ted   o u t co m es  [ 2 ]   T h r o u g h   C MO   4 6 ,   s .   2 0 1 2 ,   HE I s   ar m an d ated   t o   b r in g   o u g r ad u ates  wh o   a r in t ellec tu ally   co m p eten t,  h i g h ly   p r o f ess io n a l,  with   f o cu s   o n   d ev elo p m en t,  an d   tech n o lo g ically   ab le,   wi th   s en s o f   s o cial  r esp o n s ib ilit y   to   im p r o v t h e   q u ality   o f   h u m an   life   [ 3 ] .   Fu r th er m o r e ,   th e   C HE r ec o g n izes  th f u n ctio n al  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   4 Au g u s t   20 25 2 5 3 9 - 2 5 5 4   2540   d if f er en tiatio n   o f   HE I s   th at  it  ad o p ts   h o r izo n tal  ty p o lo g y - b ased   QA  wh ile  ex p ec tin g   th at  co lleg es  an d   u n iv er s ities   co m m it  to   its   m is s io n   th r o u g h   v er tical  ty p o lo g y - b ased   QA,   r elate d   to   th lev el  o f   p r o g r a m   ex ce llen ce   an d   in s titu tio n al  q u ality   [ 3 ] .   T h is   u n d er s co r es  th co n s is ten cy   o f   th lear n in g   en v ir o n m en with   th in s titu tio n s   v is io n   an d   g o als,  th d em o n s tr atio n   o f   ex ce p tio n al  lear n in g   an d   s er v ic o u tco m es,  a n d   th e   d ev elo p m e n t o f   a   cu ltu r o f   q u ality .   OB E   is   s tu d en t - ce n ter ed   wh ic h   s h o u ld   lea d   to   life - l o n g   lea r n in g ,   b ased   o n   p u r p o s th at   is   clea r ly   s tated it  ex p an d s   o p p o r tu n ities ,   is   id ea an d   d esig n ed   f o r   s tu d en ts ,   an d   is   f r am e d   ar o u n d   th s tan d ar d s   o f   ac ce p tab le  p er f o r m an ce   t h at  in cr ea s es  ac ce s s   to   h ig h er - lev e cu r r icu lu m   [ 4 ] .   Desp ite  its   s o u n d n ess   an d   lo g ic,   cr itics   r aise  is s u es  ag ain s O B E .   I ts   im p lem en tatio n   ch allen g es  s ch o o lead er s   a n d   r esear c h er s   to   ex am i n its   ex ten o f   ef f ec tiv e n ess   in   m ee tin g   d esira b le  o u tco m es,  at  p r o g r am   an d   s ch o o l - wid lev els.  Mo r eo v e r ,   OB E   is   cr iticized   f o r   lack in g   ev id e n c th at  s u p p o r ts   o u tco m es  ac h i ev em en as  im p lem en ted ,   an d   o f ten   in s titu tio n al  p r ac tices  d o   n o ad h er to   th e   s tan d ar d s   s et  b y   r eg u lato r s   [ 5 ] .   T h e   Or g a n izatio n   f o r   E co n o m ic  C o - o p e r atio n   an d   Dev elo p m e n t   ( OE C D )   also   r ep o r te d   co n s id er a b le  g ap   in   k n o wled g o n   o u tco m es  ac h iev em en in   HE I s ,   at  an   in ter n atio n al  s ca le  [ 6 ]   I n   n ar r o win g   s u c h   g ap ,   th is   s tu d y   in ter r o g ates:  h o w   d o es   th GE - ass ess m en o f   p er s o n al   r ep o r ts   o f   o u tco m es  ac h iev em e n ( GE - APR OAc h )   f air   as  an   in s tr u m en to   m ea s u r ac h iev em e n o f   GE   lear n in g   o u tco m es?  Sp ec if ically ,   th is   v alid atio n   s tu d y   aim s   to   d ete r m in wh eth er   th p r o p o s ed   in s tr u m en t:  i C an   d is cr im in ate  b etwe en   s co r es  a cr o s s   d iv er s g r o u p s   o r   class es;  ii I s   r eliab le  to   m ea s u r s h ar ed   p e r ce p tio n   o f   s tu d en ts   f r o m   th s am p o p u l atio n   o r   class es;  an d   iii I s   o r g an ized   to   elu cid ate  o n   th p r o ce s s   o f   d ev elo p in g   an d   v alid atin g   f o r m ativ e   ev a lu atio n   m ea s u r e,   lead in g   to   r ef lex iv ev alu atio n   o n   th p r o p o s ed   in s tr u m e n t’ s   p o ten tial a n d   lim itatio n s   b y   te s tin g   th f o llo win g   n u ll h y p o t h eses :     H0 1 g r o u p   s co r es  o n   r ep o r te d   o u tc o m es  ac h iev em e n d o   n o d if f er   to   th p o p u latio n   m ea n   ( d =0 ) ,   to   d eter m in th in s tr u m en ts   d is cr im in atin g   p o wer   in   m ea s u r in g   s co r es a cr o s s   d iv er s g r o u p s .       H0 2 u s in g   th GE - APR OAc h   in s tr u m en t,  s co r es  b etwe en   t h s p lit - g r o u p   tak in g   th s am co u r s d o   n o t   d if f er   ( 1 = 2 ) ,   to   s u g g est  its   s en s itiv ity   in   m ea s u r in g   s h ar ed   p er ce p tio n   o f   p o p u latio n   in   th s am lear n in g   en v ir o n m en t.     H0 3 th GE - APR OAc h   in s tr u m en is   n o s ig n if ican tly   d if f er en in   v ar ian ce   o f   s co r es  ( T 1 =T 2 =T 3 ) ,   wh e n   co m p ar ed   with   two   o th er   s i m ilar   in s tr u m en ts   th at  m ea s u r GE   o u tco m es  ac h iev em en f o llo win g   th C HE m an d ate.   T h s u cc ess f u im p lem e n tatio n   an d   ev al u atio n   o f   th GE   c u r r icu lu m   with in   t h OB E   f r a m ewo r k   i n   Ph ilip p in HE I s   d ep e n d   o n   r e liab le  ass es s m en to o ls   lik th GE - APR OAc h .   HE I s   m u s p r o d u ce   g r a d u ates  wh o   ar ac a d em ically   s k illed   an d   s o cially   r esp o n s ib le,   n ec e s s itatin g   th at  ass e s s m en in s tr u m en ts   alig n   with   OB E   g o als  an d   C HE s ta n d ar d s .   W h ile  OB E   o f f er s   p o ten tial  f o r   im p r o v e d   lear n in g   o u tc o m es  an d   in s titu tio n al  q u ality ,   v alid atin g   its   ef f ec tiv e n ess   p r esen ts   ch allen g es  d u e   to   c r iticis m s   an d   ev id en ce   g ap s .   T h is   s tu d y   r ig o r o u s ly   ev al u ates  th GE - APR OAc h   to   ass e s s   it s   r eliab ilit y   an d   v alid ity   to   d if f er en tiate  s co r es,  m ea s u r s h ar ed   p er ce p tio n s ,   a n d   co m p ar with   o th er   in s tr u m en ts ,   p r o v id in g   in s ig h ts   to   e n h an ce   e d u ca tio n al   o u tco m es a n d   QA .       2.   L I T E R AT U RE   R E VI E W   2 . 1 .     I ns t ruct io na l pla nn ing ,   o utc o m es ,   a nd   qu a lity   educa t io n   T ea ch er s   m u s a p p r o ac h   th e   in s tr u ctio n al   p lan n i n g   p r o ce s s   d elib er ately   an d   f o cu s   o n   th i d ea r esu lts ,   with   d eter m in ed   ac ce p tab le  ev id e n ce ,   wh ich   b ec o m es  th b asis   o f   th p lan n e d   lear n in g   e x p er ien ce   [ 7 ] .   T h n ee d   f o r   ass ess m en t o o ls ,   wh ich   ar u n b iased ,   v ali d ,   d ep en d ab le,   an d   ad h e r en t o   s tan d ar d s ,   is   v ital   in   m ea s u r in g   lear n in g   o u tc o m es  [ 8 ] .   R eg io n aliza tio n   f o r   HE I s   is   d escr ib e d   as  th f o r e g r o u n d   to   in ter n atio n aliza tio n ,   s y n o n y m o u s   with   c o m p etitiv en ess   b y   ad h er in g   to   g lo b al  s tan d ar d s ,   r eq u ir i n g   co llab o r atio n   an d   p r o g r am m at ic  to   en h an ce   th cu r r icu l u m ,   to   wh ich   Ph ilip p in HE I s   in v est  in   in ter n atio n al  ac cr ed itatio n   s u ch   as  with   th at  o f   th ASEA u n iv er s ity   n etwo r k   [ 9 ]   wh ich   lik e   an y   o th er   ac cr ed ito r   an d   g o v er n m en t r e g u lato r   e m p h asi ze   ac h iev em en o f   lear n i n g   o u tco m es a cr o s s   th cu r r icu l u m .     I n   th QA   cy cle,   HE I s   m u s ev alu ate  th ex ten to   wh ich   ex p ec ted   o u tco m es  ar m et,   s tr iv in g   f o r   ex ce llen ce   an d   ad h e r en ce   t o   s tan d ar d s   [ 1 0 ] .   Acc r ed iti n g   an d   r e g u latin g   b o d ies  t y p ically   p lace   t h is   r esp o n s ib ilit y   o n   ac a d em ic  in s titu tio n s .   C u r r en tly ,   th er e   is   n o   u n if ied   ass ess m en to o f o r   GE   o u tco m es  in   th e   co u n tr y ,   ex ce p f o r   two   r ec en t   s tu d ies  [ 1 1 ] ,   [ 1 2 ] .   T h ese  s tu d ies  wer r e - ex am in ed   in   th is   v alid atio n   r esear ch   an d   co m p ar ed   with   t h p r o p o s ed   GE - APR OAc h .   Nu s ch [ 1 3 ]   h ig h lig h ts   th at  m an y   co u n tr ies  u s d ir ec ass ess m en ts   o f   lear n i n g ,   wh ile  HE I s   in   th e   USA  an d   Au s tr alia  s o m etim es   u s in d ir ec m eth o d s ,   s u ch   as   s u r v ey s   o f   s tu d en ts   s elf - r ep o r ted   ac h iev em e n ts .   B o th   m eth o d s   m ea s u r g en er i an d   d o m ain - s p ec if ic  co m p e ten cies  b u h av lim itatio n s .   Dir ec ass e s s m en ts   p r o v id c o n cr ete  ev al u atio n s   o f   lear n in g   o u tco m es,  wh er ea s   in d ir ec m eth o d s ,   th o u g h   less   p r ec is e,   o f f er   v alu ab le  in s ig h ts   in to   s elf - r e p o r ted   lear n i n g   ev id e n ce .   Pr ev io u s   s tu d ies   [ 1 1 ] ,   [ 1 2 ]   co n cu r   o n   th n ee d   to   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         GE - A P R OA ch :   a n   OB E d iz ed   s u r ve in s tr u men t o n   Gen E d   o u tco mes a ch ieve men … ( R o d r ig o   C .   R ivera )   2541   f o r m ativ ely   ev al u ate  GE   p r o g r am s ,   g iv en   th at  it  h as  b ee n   im p lem en ted   f o r   s ev er al  y ea r s   alr ea d y .   L ar g e - s ca le  d ir ec ass es s m en ts   o f   lear n in g   h av r elativ d is tan ce   f r o m   wh at  is   tau g h t,  wh ile  in d ir ec m ea s u r es  d o   n o ex am in th e   ac tu alities   o f   lear n in g   b u o f f er   s o m in s ig h ts   o n   ev id e n ce   o f   lear n i n g   as  s elf - r ep o r ted   [ 1 4 ] .   HE I s   n ee d   to   ca r ef u lly   ch o o s th ass ess m en ap p r o ac h   th at  b est  f its   th eir   m ea s u r em e n g o als  an d   co n te x t,   b alan cin g   th s tr en g t h s   an d   lim itatio n s   o f   b o th   d ir e ct  an d   in d ir ec m eth o d s .   Hen ce ,   HE I s   i n   th co u n t r y   m u s t   ad o p t w h at  is   f it f o r   ass ess in g   GE   o u tco m es a ch iev e m en t.     2 . 2 .     Div er g ent   m e a s ures in e v a lua t ing   g ener a l e du ca t io n   o utc o m es a chiev e m ent   I n   b o th   p r ac tice  an d   p o licies,  HE I s   in   th Ph ilip p in es  co n tin u to   em p lo y   an   in p u ts - b ased   ap p r o ac h   r ath er   th a n   f u lly   em b r ac i n g   t h OB E   f r am ewo r k .   T h is   tr a d itio n al  ap p r o ac h   em p h asizes  co n ten t   co v er ag e ,   s eg m en ted   lear n in g   tim e,   p e r io d ic  test in g ,   an d   q u a n tify in g   p er f o r m an ce   in s tead   o f   q u alif y in g   s tan d ar d s ,   f o cu s in g   o n   teac h in g   t o   test   an d   ev alu atin g   s tu d en ts   b ased   o n   test   r esu lts   [ 1 5 ] .   T h is   d iv e r g en ce   f r o m   OB E   p r ac tices r aises   q u esti o n s   o n   th ef f ec tiv en ess   an d   im p licatio n s   o f   ed u ca tio n al  m et h o d s .     r ec en s u r v ey   at  u n i v er s ity   in   S o u th er n   Me tr o   Ma n ila,   u s ed   s elf - m ad in s tr u m en claim ed   to   alig n   with   th e   C HE s tan d ar d s .   T h e   f in d i n g s   r e p o r ted   t h at  th p r o g r am s   wer e   s u cc ess f u in   im p ar tin g   r elev an k n o wled g e ,   cr itical  t h in k in g ,   co m m u n icatio n   s k ill s ,   an d   et h ical  p er s p ec tiv es   [ 1 6 ] .   Ho we v er ,   th is   s u r v ey   d i d   n o f u lly   r ef lect  t h p r escr ib e d   C HE GE   o u t co m es.  Similar ly ,   in   2 0 1 6 ,   th u n iv er s ity   o f   th e   Ph ilip p in es  u tili ze d   its   s tu d en ev alu atio n   o f   teac h in g   to   g au g s tu d en m o tiv atio n   an d   s atis f ac tio n ,   r ep o r tin g   av er ag to   v er y   g o o d   r atin g s   o n   co u r s s atis f ac tio n   an d   o u tco m es  ac h iev em en t.  Desp ite  t h is ,   th ev alu atio n   d id   n o t sp ec if y   wh ich   GE   o u tc o m es we r m et  [ 1 7 ]   E x ten s iv cr o s s - s ec tio n al  s tu d ies  to   r ev iew  OB E   im p lic atio n s   h av b ee n   co n d u cte d ,   s h o win g   p o s itiv r esu lts   af ter   y ea r s   o f   im p lem en tatio n   [ 1 8 ] ,   [ 1 9 ] .   L o ca s tu d ies  h av f o cu s ed   o n   co m p lian ce   with   C HE s tan d ar d s ,   in clu d in g   in s titu tio n al  im p lem en tatio n   [ 1 8 ] ,   [ 2 0 ] ,   s y llab u s   alig n m en [ 1 4 ] ,   [ 2 1 ] ,   c o u r s ewa r e   r elev an ce   [ 2 2 ] ,   an d   ac ce p tan ce   o f   th OB E   f r am ewo r k   [ 2 3 ] ,   [ 2 4 ] ,   r ep o r tin g   p o s itiv r esu lts .   W h ile   th ese  s tu d ies  r ep o r ted   p o s itiv o u tc o m es,  m an y   lack ed   s u b s tan ti al  ev id en ce   o f   ac h iev em e n a n d   o f ten   u s ed   s elf - d ev elo p e d   in s tr u m e n ts   with   lo wer   s tan d ar d s   o f   m ea s u r em en t.  T h NGE C   aim s   f o r   h o lis tic  lear n er   d ev elo p m e n t,  en co m p ass in g   k n o wled g o f   s elf ,   Fil ip in o   s o ciety ,   an d   th wo r ld   [ 2 5 ] ,   s ettin g   h ig h e r   s tan d ar d s   o f   ed u ca tio n .     Giv en   th ese  g ap s ,   ex is tin g   in s tr u m en ts   n ee d   r ewo r k in g ,   o r   n ew  in s tr u m en m u s b d ev el o p ed .   T h GE - APR OAc h ,   wh ich   alig n s   with   th C HE p r escr ib ed   o u tco m es  also   d if f er s   f r o m   p r ev i o u s   in s tr u m en ts   b y   u s in g   clea r ,   s tu d en t - tailo r e d   it em s   th at  en s u r e   co m p r eh en s ib ilit y   an d   r elev an ce ,   f ac ilit atin g   b etter   e n g ag em e n an d   r esp o n s e.   T h is   d escr ip tiv e   ev alu atio n   aim s   to   co m p ar GE - APR OAc h   with   its   p r ed ec ess o r s   an d   ass ess   it s   p o ten tial  to   ef f ec tiv ely   m ea s u r lear n in g   o u tco m es  as  p r es cr ib ed   b y   th NGE C .   Valid it y   r em ain s   cr itical  co n s id er atio n   in   d ev elo p in g   a n y   ef f ec tiv e   o u tco m m ea s u r e m en t to o l.     2 . 3 .     I ns t rum ent   dev elo pm en t   a nd   v a lid it y   T h d esig n   o f   a n   in s tr u m en a n d   th p r o ce s s   o f   its   ev alu atio n   th r o u g h   ex p er ju d g m en t,  m u s ad h er e   to   th g u id elin es  an d   p r in cip l es  o n   co n ten v alid ity   a n d   ed u ca tio n al  ass ess m en [ 2 6 ] .   E x p er ev alu ato r s   ar e   ch o s en   b ased   o n   th eir   ex p er ien ce   an d   k n o wled g e ,   o b jectiv ity   an d   co m m o n   s en s e,   co m m u n icatio n   co m p eten ce ,   ac ad em ic  a n d   s cien tific   r ep u tatio n ,   a n d   t h eir   m o tiv atio n   to   co llab o r at [ 2 7 ] .   Mo s o f te n   in s tr u m en ts   wer f ac e - co n ten t   v alid ated   u s in g   b in ar y   co d es  wh ich   is   q u esti o n ab le  an d   u n r eliab ly   r esu ltin g   to   ty p 1   er r o r s   [ 2 8 ] .   Attem p ts   to   m ea s u r e   GE   o u tco m es  ac h iev em en h a v r elied   o n   s elf - m ad in s tr u m e n ts ,   f o cu s ed   o n   c o m p lian ce ,   t h at  b r in g s   to   q u esti o n   th ei r   v alid ity   an d   r eliab ilit y ,   an d   e v en   wid en s   th g ap   in   o u tco m es a s s ess m en t.   Valid ity   attr ib u tes  to   th co n s is ten cy   o f   an   in s tr u m en t’ s   m ea s u r e,   ascer tain ed   th r o u g h   d if f er en t   tech n iq u es  an d   an aly s is   wh ich   s h o u ld   d eter m in its   in ter n al  co n s is ten cy   ac r o s s   all  i tem s ,   s tab ilit y   th at   co n s is ten tly   r esu lts   th s am e   way   u p o n   r ep ea test in g ,   a n d   eq u iv alen ce   th at  th er is   co n s is ten cy   in   th r esp o n s es  o f   m u ltip le  u s er s   o r   am o n g   alter n ate  f o r m s   o f   in s tr u m en [ 2 9 ] .   I n s tr u m en v ali d ity   an d   r eliab ilit y   ar ass ess ed   in   ter m s   o f   r elev an ce ,   co n ten t,  in ter n al  s tr u c tu r e,   r esp o n s p r o ce s s   an d   c o n s eq u en ce s   [ 3 0 ]   Face - co n ten v alid atio n   th r o u g h   ex p e r ju d g m en m a y   ad d r ess   s u ch   co n ce r n s   if   it  ad d e d   lay er s   o f   ev alu atio n   in   th p r o ce s s   [ 3 1 ] .   I s h o u l d   b test ed   as  t o   u tili ty   a n d   ap p r o p r iaten ess   to   m ee p u r p o s e,   s u p p o r ted   b y   m u ltip le  lay er s   o f   e v id en ce   d e m o n s tr atin g   attr ib u tes o f   ca r ef u l te s t c o n s tr u ctio n   an d   s o cial  co n s id er atio n   [ 3 2 ]   Ass es s m en an d   lear n i n g   a r e   b o u n d   t o g eth er ,   an d   p r o g r a m   lev el  ass ess m en r ely   o n   v alid   an d   r eliab le  in s tr u m en ts   th at  in s titu tio n s   ca n   wid ely   ad o p [ 3 3 ] .   Self - r ep o r ts   ar ju s o n o f   th e m .   T h er ar e   m an y   way s   to   m ea s u r lear n in g   o u t co m es  ac h iev em en t,  an d   at  th g lo b al  lev el,   r eg io n s   an d   co u n tr y   ad o p d iv er s m ea n s   o f   ass es s in g   lear n in g   o u tco m es  [ 3 4 ] .   Ho wev e r ,   in s titu tio n s   in   th co u n tr y   v a r y   in   th eir   ap p r o ac h es  in   ass es s in g   GE - o u tco m es  ac h iev em en [ 1 4 ] ,   [ 1 6 ] [ 1 9 ] ,   [ 2 1 ] ,   [ 2 2 ] ,   [ 2 4 ] ,   d esp ite  th f ac th at  th er is   s et  o f   o u tco m es  th at  C HE m an d ates  f o r   GE   p r o v id er s   to   m ee t.  Dev iatin g   f r o m   t h ese  p r escr ib ed   o u tco m es  m ak es   an y   ass ess m en t a ttem p ts   tan g en tially   o f f .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   4 Au g u s t   20 25 2 5 3 9 - 2 5 5 4   2542   Oth er   s tu d ies  [ 1 1 ] ,   [ 1 2 ]   o n   G E - o u tco m es  ad o p ted   th C HE p r escr ib ed   o u tc o m es  in   ea r l ier   attem p t s   to   d eter m in e   th e   ex ten t o   wh ich   th ey   ar m et  in   s p ec if ic  GE   co u r s es .   T h d e p ar tm en t   o f   ed u ca tio n   in   th e   Ph ilip p in es,  th r o u g h   T h Seco n d   C o n g r ess io n al  C o m m is s io n   o n   E d u ca tio n   ( E DC OM )   u n d er s co r e d   lim ited   o p p o r tu n ities   f o r   lar g e - s ca le  a s s es s m en t th at  s h o u ld   p r o v id b asis   f o r   r ef o r m s   [ 3 5 ] .   Sin ce   2 0 1 8 ,   n o   lar g e - s ca le  ass es s m en o n   th im p lem en t ed   NGE C   h as  g o n u n d e r way .   W ith o u s tan d ar d ized   m ea s u r s u ch   in ten tio n   will  n o b f r u itfu l.   GE - APR OAc h   co u ld   n ar r o th at  g ap ,   wh ich   r esu lts   co u ld   in f o r m   p o licy   f o r m u latio n s ,   cu r r icu lu m   d ev elo p m en t a n d   i n n o v atio n s   in   in s tr u ctio n al  d eliv er y .       2 . 4 .     CH E prescribed  g ene ra l e du ca t io n   o utc o m es a nd   k ey   co m pet encies   C MO   2 0 ,   s .   2 0 1 3   b u ild s   o n   C MO   4 6 ,   s .   2 0 1 2   b y   in teg r a tin g   co m p ete n cy - b ased   a p p r o ac h   an d   ad o p tin g   a n   OB E   f r am ewo r k   f o r   QA   in   Ph ilip p in h ig h e r   ed u ca tio n .   T h NGE C   is   d esig n ed   to   ex p o s e   s tu d en ts   in   “v ar io u s   d o m ain s   o f   k n o wled g e   an d   wa y s   o f   co m p r eh e n d in g   s o cial  an d   n a tu r al  r ea liti es”  th at  d ev elo p s   th ei r   in tellectu al  c o m p eten cies,  civ ic  ca p ac ities   a n d   p r ac tical  s k ills   [ 2 5 ] .   T h N GE C   p o licy   s p ec if ies  n in etee n   lear n i n g   o u tco m es  e x p ec ted   f r o m   g r ad u ates  b u d o es  n o d etail  th c o m p eten ci es  ass o ciate d   with   th ese  o u tco m es.  T o war d s   lear n er s   h o lis tic  d ev el o p m en t,   G E   s h o u ld   d ev elo p   s tu d en ts   as  an   in d iv i d u al,   as  a   Fil ip in o   citizen   an d   as  m em b er   o f   th e   g lo b al   co m m u n ity   with ,   in tellectu al  c o m p eten ce ,   s o cio - civ ic   r esp o n s ib ilit ies an d   p r ac tical  s k ills   [ 2 5 ] .   Mo r eo v er ,   th C HE ex p ec ts   GE   co u r s es  to   f o s ter   s tu d en ts '   p er s o n al  id en tity ,   p r id in   th eir   co llectiv id en tity ,   r esp ec f o r   d iv er s ity ,   an d   awa r e n ess   o f   g l o b al  is s u es  [ 2 5 ]   wh ich   o v er ar c h   th e   th r ee   k ey   GE   o u tco m es  o f   in tellectu al  co m p eten cies,  p er s o n al  an d   civ ic  r esp o n s ib ilit ies,  an d   p r ac tical  s k ills   wi th   n in etee n   lear n in g   o u tc o m es.  T h c o m m is s io n   d ef in es two   m ain   co m p eten cies: in tellectu al  co m p eten ce ,   wh ich   in v o l v es   cr itical  an d   c r ea tiv th i n k in g ,   an d   civ ic  ca p ac ities ,   wh ich   r elate   to   p ar ticip atio n   in   c o m m u n ity   a n d   g lo b al   ac tiv ities   [ 2 5 ] .   R esear ch er s   d e s ig n in g   in s tr u m en ts   m u s t u n d e r s tan d   th ese  co n ce p ts   th o r o u g h ly .   C o m p eten cies  in clu d o b s er v ab le  k n o wled g e ,   s k ills ,   an d   attitu d es  [ 3 6 ] .   I n tellectu al  co m p eten ce   ( L O1 - L O5 )   in v o lv es  co g n itiv ab ilit ies  an d   p er s o n ality   tr aits   th at  ca n   p r ed ict  f u tu r s u cc ess ,   d if f er in g   f r o m   I an d   ass ess ab le  th r o u g h   s el f - ev alu atio n   [ 3 7 ] .   C iv ic  ca p ac ity   ( L O6 - L O1 4 )   in cl u d es  th b elief s ,   k n o wled g e   an d   s k ills   n ee d ed   to   i n f lu en c s o cial  ag en d as  a n d   c o n tr ib u te  to   s o cieta d e v elo p m e n [ 3 8 ] .   Pra ctica s k ills   ( L O1 5 - L O1 9 ) .   Alth o u g h   C HE d o es  n o d e f in p r ac tical  s k ills   ( L O1 5 - L O1 9 ) ,   Pro g r am m f o r   I n te r n atio n al   Stu d en Ass ess m en ( PISA ) - OE C d escr ib es  g lo b al  co m p eten cies  as  in clu d in g   cu ltu r al  awa r en ess ,   d ig ital  f lu en cy ,   an d   g lo b al   awa r en es s ,   r esp ec an d   a p p r ec iatio n   o f   d iv er s ity ,   d ig ital   f lu en c y ,   a n d   g lo b al  awa r e n ess   th at  s u p p o r t su s tain ab le  d ev el o p m en g o als  [ 3 4 ]   T h s h if to   OB E   em p h asizes  s tu d en t - ce n ter ed   a p p r o a ch ,   f o c u s in g   o n   w h at  s tu d en ts   n ee d   to   ac h iev b y   t h en d   o f   t h eir   co u r s es.  Deb ates  ex is ab o u th ef f ec tiv e n ess   o f   o u tc o m es - b ased   v er s u s   co m p eten cy - b ased   ed u ca tio n ,   with   s o m ar g u in g   t h at  co m p eten cy - b ased   ed u ca tio n   m ig h lim it  in tellectu al   d ev elo p m e n t.  Ho wev er ,   o th e r s   f in d   th ese  ap p r o ac h es  co m p lem en tar y   a n d   ef f ec tiv [ 3 9 ] .   C o n v er s ely ,   o u tco m es - o r ie n ted   c o m p eten c y - b ased   e d u ca tio n   wer e   f o u n d   to   b c o m p lem e n tar y   an d   ef f ec tiv in   h ig h er   ed u ca tio n   [ 4 0 ] .   “Co m p eten ci es  m ea n   m o r e   th an   lear n in g   o u tco m es:  th ey   ca n   b e   m e asu r ed ,   v er if ied   b y   ev id en ce   o f   s tu d en t a c h iev em en t,  an d   a p p lied   in   d if f er e n t sit u atio n s ”  [ 4 1 ] .   C o m p eten cies  s h o u ld   b d ef in ed   in   r elatio n   to   lear n in g   o u tc o m es  an d   m ea s u r ed   th r o u g h   e v id en ce   o f   s tu d en ac h iev em e n [ 3 6 ] .   T h GE - APR OAc h   in s tr u m en was  d ev elo p ed   with   co m p r e h e n s iv in p u t   f r o m   th e   liter atu r es,  r ef lectin g   ess en tial  s u ch   as  cr ea tiv ity ,   g lo b al  a war en ess ,   an d   civ ic   liter ac y .   T h f o r m er   C HE D   ch air p er s o n   id e n tifie d   v ital  c o m p eten cies  in   d ev elo p in g   h u m an   an d   i n tellectu al  ca p ital,  th at  r eso n ates  to   “in g en u ity ,   a g ilit y ,   s k ills   lead ,   co m p etitiv en ess ,   civ ic  liter ac y ,   g lo b al  awa r en ess ,   cr o s s - cu l tu r al  s k ills ,   cr itica l   an d   in v e n tiv th in k i n g ,   co m m u n icatio n ,   c o llab o r atio n   an d   in f o r m atio n   s k ills ”  [ 4 2 ] .   T h e   in tr o d u ctio n   o f   t h GE - APR OAc h   in s tr u m en u n d er s co r es  th im p o r ta n ce   o f   clea r ly   d ef in ed   c o m p eten ci es  an d   m ea s u r ab le  o u tco m es,  alig n in g   with   th e   b r o ad e r   NGE C   ed u ca tio n al   g o als.  T h liter atu r is   r ic h   to   in f o r m   o n   th co m p eten cies  lin k ed   to   GE   lear n in g   o u tco m es,  p r io r   r e v iew  o f   wh ich   co m p a r ed   with   th C HE s ta ted   o u tco m es su p p o r ted   th e   co n s tr u ctio n   o f   th item s   in   th GE - APR OAc h   in s tr u m en [ 1 1 ] ,   [ 1 2 ] .       3.   M E T H O D   T h is   m ix ed - m eth o d   d escr ip tiv e - ev alu atio n   s tu d y   [ 4 3 ]   aim s   to   r ep o r t ,   r ev iew,   an d   r ef l ec o n   th e   p r o ce s s ,   im p ac t,  a n d   im p lem e n tatio n   o f   th GE - APR OAc h   s u r v ey   in s tr u m e n t,  d esig n ed   t o   m ea s u r p er s o n al  r ep o r ts   o f   s tu d e n o u tco m es  a ch iev em en t.   T h i n s tr u m en was  d ev elo p ed   an d   v alid ate d   u s in g   an   ex p l o r ato r y   s eq u en tial  m ix ed - m eth o d   r ese ar ch   d esig n ,   in te g r atin g   b o t h   q u alitativ an d   q u a n titativ d at an d   an aly s is   to o ls   [ 4 4 ] .   I s u p p o r ts   ass ess m en p r o ce d u r es  th at  em p lo y   f o r war d   lo g ic  m o d el  to   m o n ito r   a n d   ev alu ate  ex is tin g   ed u ca tio n al  p r o g r am s ,   d etaili n g   in ten d ed   c o m p o n en ts   [ 4 5 ] [ 4 7 ] .   Usi n g   m ix ed - m eth o d s   d esig n ,   th is   s tu d y   o f f er s   d ee p er   in s ig h ts   in to   th e   q u ality   o f   t h in s tr u m en t a n d   s tr en g th en s   th e v id en ce   f o r   its   v alid ity   [ 4 8 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         GE - A P R OA ch :   a n   OB E d iz ed   s u r ve in s tr u men t o n   Gen E d   o u tco mes a ch ieve men … ( R o d r ig o   C .   R ivera )   2543   T h n ee d   f o r   s tan d a r d ized ,   v alid ,   an d   r eliab le  in s tr u m e n t   to   m ea s u r GE   o u tc o m es  ac h iev em en d r o v th is   r esear ch .   T h d e v elo p m en o f   th GE - APR OAc h   in s tr u m en was  g u id ed   b y   C HE s tan d ar d s   an d   in f o r m e d   b y   c o n ce p t u al  d ef in i tio n s   f r o m   r ele v an liter atu r e.   Fo u r   ex p e r ju d g es,  co m p r is in g   two   ex ter n al  a n d   two   in ter n al  ev alu ato r s ,   wer s elec ted   to   ass es s   th in s tr u m en t’ s   f ac an d   c o n ten v alid ity   [ 3 1 ] .   T h ese  ex p er ts   wer ch o s en   b ased   o n   s ev er a r ea s o n ab le   cr iter ia  f o r   in clu s io n   [ 2 7 ] a d v an ce d   d e g r ee s   ( in clu d in g   m aster s   an d   d o cto r al  q u alif icatio n s ) ,   at  least  th r ee   y ea r s   o f   co lleg teac h in g   ex p er ien ce ,   b alan ce d   r ep r esen tatio n   f r o m   b o th   with in   an d   o u ts id th c o lleg e,   p r o f icien cy   in   ev alu atin g   wr itten   lan g u a g e ,   an d   a   co n f ir m ed   co m m itm en t to   r i g o r o u s ly   r ev i ew  th in s tr u m en t.    T h v alid atio n   p r o ce s s   f o c u s ed   o n   s ev e r al  k e y   asp ec ts   o f   th in s tr u m en t:  item   c o n s tr u ctio n ,   in clu d in g   v alid ity ,   r eliab ilit y ,   an d   clar ity .   T h is   was  ac h iev ed   th r o u g h   th u s o f   4 - p o in L ik er s ca le  f o r   ev alu atin g   h o well  th item s   m ea s u r ed   th 1 9   GE   o u tc o m es  an d   s ix   o p e n - en d ed   q u e s tio n s .   T h o v er all  q u ality   o f   th e   in s tr u m e n was  ass es s ed   u s in g   a   5 - p o in t   L ik er s ca le  ac r o s s   ten   cr iter ia  to   av o id   p o ten tial  ty p I   er r o r s   co m m o n ly   ass o ciate d   with   b in ar y   m ea s u r es  [ 2 8 ] .   C o n s tr u ct  v alid ity   was  ex am in ed   u s in g   th s ca le  co n ten t - v alid ity   in d e x   [ 3 0 ] ,   wh ich   g u id ed   r ev is io n s   o f   th item s .   I n te r n al  r eliab ilit y   was  m ea s u r ed   u s in g   C r o n b ac h s   alp h a,   wh ile  in ter r ater   ag r ee m e n was  ass ess ed   with   Fleis s   Kap p a,   ad d r ess in g   th lim itatio n s   o f   C r o n b ac h s   alp h in   m ea s u r i n g   ag r ee m e n t b etwe en   r ate r s .     E ac h   item   in   th GE - AP R OA ch   was scr u tin ized   f o r   r eliab ilit y ,   v alid ity ,   an d   clar ity .   R eliab ilit y   r ef er s   to   th co n s is ten cy   o f   th item   in   m ea s u r in g   th id en tifie d   G E   lear n in g   o u tc o m es,  v alid ity   p er tain s   to   h o well  th item   r ef lects  th o s o u tco m es  as  ex p er ien ce d   b y   s tu d en ts ,   an d   clar ity   in v o lv es  en s u r i n g   th at  th lan g u a g e   u s ed   is   u n d e r s tan d ab le  to   th g en er al  s tu d e n p o p u latio n .   T h in s tr u m en t   u n d er wen f u r th er   p ilo test in g   with   8 4   s tu d en ts   f r o m   th d ep a r tm en o f   co m m u n icatio n   an d   lit er atu r at  De  L Salle - C o lleg o f   Sain B en ild e,   Ma n ila  d u r in g   AY  2 0 2 2 - 2 0 2 3 ,   with   a   9 8 p ar ticip atio n   r ate.   Statis tical  h y p o th eses   wer test ed   at  a   0 . 0 5   s ig n if ican ce   lev el  u s in g   ANO VA,   T - test s ,   an d   T u k ey   h o n estl y   s ig n if ican t d if f e r en ce   ( HSD ) .   E th ical  co n s id er atio n s   wer e   s tr ictly   ad h e r ed   to   t h r o u g h o u th s tu d y ,   in   co m p lian ce   wit h   th e   d ata   p r iv ac y   ac ( R 1 0 1 7 3 ) .   I n f o r m ed   co n s en ts   wer o b tain ed   b o th   f r o m   th e x p er ts   an d   th p ilo t - test   p ar ticip an ts .   An o n y m ity   an d   co n f id en tiality   wer s tr ictly   o b s er v ed ,   as  well  as  th s af ety   o f   s tu d en ts   an d   ev alu ato r s   wer g u ar an tee d .   T h GE - APR OAc h   wa s   co m p ar ed   with   in s tr u m en ts   u s ed   in   p r ev io u s   s tu d ies  [ 1 1 ] ,   [ 1 2 ] ,   ev alu atin g   s im ilar ities   an d   d if f er en ce s   in   item   co n s tr u ctio n   an d   c o n ce p t u al  f o u n d atio n s ,   r ef e r r ed   to   as  in s tr u m e n ts   2   a n d   3   ( T 2   an d   T 3 ) .   I n   ed itin g   an d   p r o o f r ea d in g   th is   r ep o r t,  g en er ativ p r e - tr ain ed   tr an s f o r m er   ( GPT)   AI   to o ls   ( i.e .   M icr o s o f t   W o r d   E d ito r   an d   C h atGPT 4 )   wer u s ed   to   m ak th r ep o r t   n ar r ativ co n cise a n d   en s u r t h at  th d o c u m en t is f r ee   o f   g r a m m atica l,  s p ellin g ,   an d   p u n ctu atio n   er r o r s .       4.   RE SU L T S   4 . 1 .     Q ua lit a t iv e v a lua t io n o f   G E - AP RO A ch   co m pa re wit h t wo   o t her  ins t rum ent s   s tan d ar d ,   v alid ,   a n d   r elia b le  in s tr u m en to   m ea s u r o u tc o m es  ac h iev em en in   t h GE   cu r r icu lu m   will  n o o n ly   b en ef it  p r o g r am   en h an ce m e n o r   in s tr u ctio n al  d ev elo p m e n t,  b u it  is   v ital  f o r   QA ,   v er tically   an d   h o r izo n tally   th at  s h o u ld   in f o r m   teac h er s ,   ed u ca tio n   ad m in is tr ato r s ,   r eg u lato r s ,   a n d   ac cr ed i to r s .   T ab le   1   s h o ws  th at  th GE - APR OAc h   h as  s tr o n g   co n ten t   v alid ity ,   m ee tin g   cr iter ia  d escr ib e d   b y   Fit zp a tr ick   [ 4 9 ]   in clu d in g   s am p lin g   ad eq u ac y ,   r elev an ce ,   an d   clar ity .   Un lik i n s tr u m e n 2 ,   wh ich   u s ed   f ewe r   q u alit ativ q u esti o n s   an d   i n s tr u m en 3   th at  lack e d   ex ten s iv p r e - test in g ,   GE - APR OAc h s   co m p r e h en s iv d e v e lo p m en a n d   h ig h   r eliab ilit y   p r o v id d ee p er   u n d er s tan d in g   o f   s tu d e n lear n in g   ex p e r ien ce s .   All  th r ee   in s tr u m en ts   u s 4 - p o in t   L ik er s ca le  b u d if f er   in   th eir   s co r in ter p r etatio n s ,   with   GE - APR OAc h   m ain tain in g   s tr o n g   alig n m en with   C HE o u tco m es th r o u g h   ap p r o p r iate  an d   ef f ec tiv la n g u a g e   an d   s co r in g   m eth o d s .   Data   s h o ws  th at  th GE - AP R OAc h   ( i n s tr u m en 1 )   d em o n s tr ates  r o b u s co n ten v alid ity   am o n g   th e   th r ee   to o ls ,   a d h er in g   to   th C HE C MO   2 0   s .   2 0 1 3   g u id eli n es  with   co m p r eh e n s iv ap p r o ac h   th at   in clu d es   1 9   item s   an d   s ix   o p en - e n d ed   q u esti o n s .   I ts   v alid atio n   p r o ce d u r es  ar th o r o u g h ,   with   an   a lp h co ef f icien o f   0 . 9 5 9   an d   h ig h   in ter n al  co n s is ten cy   ( α = 0 . 9 4 9 )   b ased   o n   e x p er ju d g es’  ev al u atio n .   T h o t h er   two   in s tr u m e n ts   wh ile  r ep o r tin g   h ig h er   in ter r a ter   ag r ee m en t,  lack ed   d o cu m e n tatio n   o f   its   p r o ce s s   o f   f ac e - co n ten v alid atio n .   Su ch   r ef lects  th in s tr u m en t's   d etailed   cu s to m izatio n ,   in clu d in g   q u alitativ q u esti o n s ,   th at  en h an ce s   its   ab ilit y   to   p r o v id e   in - d e p th   in s ig h ts   in to   s tu d en t   lear n in g   e x p er ie n ce s .   T h e   GE - APR OAc h   alig n s   well  with   th e   cr iter ia  f o r   c o n ten t,  s u ch   as item   ad eq u ac y ,   r elev a n ce ,   a n d   cl ar ity .     I n   co n t r ast,  i n s tr u m en ts   2   a n d   3 ,   wh ile  also   b ased   o n   C HE C MO   2 0   s .   2 0 1 3   an d   u s in g   4 - p o in t   L ik er s ca les,  ex h i b it  n o tab le  d if f er en ce s .   I n s tr u m e n 2 ,   wit h   a   v alid atio n   co e f f icien o f   0 . 9 1 2 ,   in clu d es   f ewe r   q u alitativ q u esti o n s   an d   lack s   d etailed   p r e - test   v alid atio n ,   f o cu s in g   p r im ar ily   o n   th r ee   L ca teg o r ies.  I n s tr u m en 3   h as  u n clea r   v ali d atio n   p r o ce d u r es  an d   n o   p r e - test   d ata,   with   s o m d if f er en c es  in   item   wo r d in g   an d   in ter p r etatio n .   B o th   in s tr u m en ts   u s s im ilar   L ik er s c ales  an d   NA  o p tio n s ,   b u th e ir   in ter p r etatio n s   o f   s co r es  d if f er   s ig n if ica n tly   f r o m   GE - APR OAc h .   T h p r o p o s ed   in s tr u m en t’ s   co m p r eh e n s iv d esig n   a n d   h ig h   r eliab ilit y   h ig h lig h its   s u p e r io r   alig n m en t   with   C HE o u t co m es  an d   its   ef f ec tiv e   d is cr i m in atio n   o f   lear n in g   o u tco m es a cr o s s   d if f e r en t d o m ain s ,   co m p ar e d   with   th at  o f   wh at   [ 1 1 ] ,   [ 1 2 ]   em p l o y ed .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   4 Au g u s t   20 25 2 5 3 9 - 2 5 5 4   2544   T ab le   1 .   Similar ities   an d   d if f e r en ce s   b etwe en   th GE - APR OAc h   an d   o t h er   in s tr u m e n ts   I n st r u me n t   1   ( G E - A P R O A c h )   I n st r u me n t   2   [ 1 1 ]   I n st r u me n t   2   [ 1 1 ]   F r a mew o r k   a n d   d e s i g n :   b a se d   o n   C H ED   C M O   2 0   s .   2 0 1 3 ,   i t   i n c l u d e 1 9   i t e ms   p l u s   6   o p e n - e n d e d   q u e s t i o n s.  I t   u n d e r w e n t   e x t e n si v e   v a l i d a t i o n   p r o c e d u r e w i t h   a n   a l p h a   c o e f f i c i e n t   o f   0 . 9 5 9 ,   d e m o n st r a t i n g   h i g h   i n t e r n a l   r e l i a b i l i t y .   F r a mew o r k   a n d   d e s i g n :   a l s o   b a s e d   on  C H ED   C M O   2 0   s.   2 0 1 3 ,   t h i i n s t r u men t   i n c l u d e s   1 9   i t e ms   a n d   2   o p e n - e n d e d   q u e st i o n s.  V a l i d a t i o n   p r o c e d u r e   i s   d e s c r i b e d   w i t h   a n   a l p h a   c o e f f i c i e n t   o f   0 . 9 1 2 ,   b u t   d e t a i l s a r e   s p a r se .   F r a mew o r k   a n d   d e si g n :   b a se d   o n   C H ED   C M O   2 0   s.  2 0 1 3 ,   i t   i n c l u d e 1 9   i t e m a n d   1   o p e n - e n d e d   q u e st i o n .   V a l i d a t i o n   i u n c l e a r ,   w i t h   n o   st a t i st i c a l   r e s u l t p r o v i d e d ,   a n d   5   i n t e r n a l   e x p e r t s   i n v o l v e d .   Pre - t e st   a n d   s c a l e :   p r e - t e st e d   w i t h   8 4   st u d e n t s   a n d   s h o w h i g h   i n t e r n a l   c o n si s t e n c y   ( α= 0 . 9 4 9 ) .   U t i l i z e s   a   4 - p o i n t   Li k e r t   s c a l e   w i t h o u t   a   " n o t   a p p l i c a b l e ( N A )   o p t i o n .   Pre - t e st   a n d   s c a l e :   p r e - t e st e d   w i t h   1 1 4   st u d e n t s   b u t   l a c k s   v a l i d a t i o n   o n   p r e - t e st   r e su l t s.   U ses  a   4 - p o i n t   L i k e r t   sca l e   w i t h   a   N A = 0   o p t i o n .   Pre - t e st   a n d   sc a l e :   n o   p r e - t e s t   r e p o r t e d .   U ses   a 4 - p o i n t   Li k e r t   sc a l e   w i t h   a   N A   o p t i o n .   C u s t o mi z a t i o n   a n d   r e v i si o n :   c u s t o mi z e d   f o r   c l a r i t y ,   c u l t u r a l   s e n s i t i v i t y ,   a n d   e f f i c i e n c y ,   a n d   r e v i s e d   b a se d   o n   e x p e r t   f e e d b a c k .   R e s u l t f r o 5   c o u r ses  u n d e r   t h e   a r t s   a n d   h u ma n i t i e d o ma i n   sh o w   l e a r n i n g   o u t c o me s   ( LO s)   w e r e   a c h i e v e d   a t   g r e a t   e x t e n t   ( X = 3 . 6 9 ) .   C u s t o mi z a t i o n   a n d   r e v i si o n :   r e p h r a se C H ED   o u t c o me s,  mai n t a i n i n g   f i d e l i t y   b u t   w i t h   s o me  o mi ss i o n s .   P e r s o n a l   p r o n o u n a r e   u s e d   i n   s o m e   i t e ms  ( n = 7 ) .   R e s u l t s h o w   t h e   M A TWO R LD   c o u r se   u n d e r   t h e   m a t h ,   sc i e n c e ,   a n d   t e c h n o l o g y   d o m a i n   a c h i e v e d   o u t c o m e s   a t   a   g r e a t   e x t e n t   ( X = 3 . 2 2 ;   N = 1 , 5 7 2 ) .   C u s t o mi z a t i o n   a n d   r e v i si o n :   w o r d e d   1 2   LO s   d i f f e r e n t l y   w h i l e   ma i n t a i n i n g   f i d e l i t y   t o   C H ED ,   t h o u g h   so m e   o mi ssi o n s   a r e   e v i d e n t .   P e r so n a l   p r o n o u n a r e   u se d   i n   so m e   i t e ms   ( n = 7 ) .   R e s u l t s i n d i c a t e   t h e   B I B C H U R   c o u r se   u n d e r   t h e   p h i l o so p h y   a n d   so c i a l   sci e n c e   d o m a i n   a c h i e v e d   o u t c o mes   a t   a   g r e a t   e x t e n t   ( X = 3 . 3 3 ;   N = 1 7 6 ) .   F o c u s:   1 9   LO s   a n d   e m p h a si z e s   d e t a i l e d   i n d i c a t o r a n d   p r o v i d e e x a m p l e f o r   e a c h   i t e m,  e n h a n c i n g   t h e   s p e c i f i c i t y   o f   a ssessm e n t .   F o c u s :   i n t e r p r e t a t i o n   i n a r r o w e d   t o   t h r e e   LO   c a t e g o r i e s,  p o t e n t i a l l y   l i mi t i n g   t h e   b r e a d t h   o f   t h e   a ss e ssm e n t .   F e w   o p e n - e n d e d   q u e st i o n s   F o c u s :   a l s o   f o c u se d   o n   t h r e e   LO   c a t e g o r i e s ,   si mi l a r   t o   i n s t r u m e n t   2 .   I n c l u d e d   o n l y   1   o p e n   e n d e d   q u e st i o n       G iv en   th at  th GE - APR OAc h   u s es  4 - p o in t   L ik er s ca le,   i n ter p r eted   i n   f iv r an g es  with   s in g le  f r ee d o m   o f   ch o ice  o f   r esp o n s e   an d   0 . 6   in ter v al,   it  s ets  h ig h er   s tan d ar d   o f   e x p ec tatio n   th a n   its   p r ed ec ess o r ( s )   with   s u ch   s ca le  o f   in ter p r etati o n ,   as   Sp ad y   [ 4 ]   p o s its .   On   th e   ass u m p tio n   th at  all  r esp o n s es  ar r elev an t a n d   n o   n o ap p licab le   ca te g o r y   is   n ee d ed ,   th GE - APR OAc h   p r o v es  to   b m o r ef f ec tiv e   to o f o r   d etailed   an d   p r ec is ass es s m en t.  B y   o m itti n g   th n o ap p licab le   ca teg o r y   an d   s tar tin g   its   s ca le  at  1 . 0 0 ,   it   en s u r es  th at   ev er y   r esp o n s is   clas s if ied   in to   r elev an ca teg o r ies,  s tr ea m lin in g   th ev alu atio n   p r o ce s s .   I ts   f in ely   s eg m en ted   ca teg o r ies s u ch   as  at  m o d er ate  ex ten t,   at  h ig h   ex te n t,   an d   at  g r ea ex ten t allo f o r   n u an ce d   in ter p r etatio n   o f   v a r y in g   d eg r ee s   o f   ap p licab ilit y .   T h h ig h er   th r esh o ld   f o r   t h at  g r e at  ex ten t   ca teg o r y   ( s tar tin g   at  3 . 4 4 )   en s u r es  th at  o n ly   r esp o n s es  with   s ig n if ican d eg r ee   o f   r elev an ce   ar in clu d ed ,   wh ich   en h an ce s   th p r ec is io n   o f   h ig h - ap p licab ilit y   ass ess m en ts .   On   th o th er   h an d ,   th in ter p r etatio n   o f   s co r es  s h ar ed   in   p r ev io u s   s tu d ies   [ 1 1 ] ,   [ 1 2 ]   in clu d es  n o ap p licab le   ca teg o r y   an d   h as  b r o ad e r   class if icatio n s   lik to   v er y   s lig h ex ten t   an d   t o   s lig h ex ten t W h ile  th is   ap p r o ac h   co v e r s   wid r an g o f   s co r es,  it  m ay   in tr o d u ce   u n n ec ess ar y   co m p l ex ity   an d   lack   th f in er   g r a n u lar ity   n ee d ed   f o r   d etailed   an aly s is .   T h th r esh o l d   f o r   h ig h   ap p licab ilit y   in   th e ir   m ea s u r s tar ts   at   3 . 3 0 ,   en c o m p ass in g   wid er   r an g o f   s co r es  an d   p o ten tiall y   d ilu tin g   th d is tin ctio n   b etwe en   h ig h   lev els  o f   p er ce iv ed   o u tco m es  ac h iev e m en t.  Ov er all,   th is   m ay   b e   s u itab le  f o r   g e n er al  ass ess m en ts   b u lack s   t h e   p r ec is io n   o f   t h GE - APR OAc h   wh ich   o f f er s   a   m o r p r ec is an d   s tr ea m lin ed   ev alu atio n   o f   r elev an ce ,   m a k in g   it m o r p r e f er ab le  f o r   d etailed   an aly s is   wh er all  r esp o n s es a r r elev an t a n d   n u an ce d   in s ig h ts   ar r eq u ir ed .         4 . 2 .     E x pert   v a lid a t io n r esu lt s   Data   in   T ab le   2   in d icate s   a   h ig h   lev el   o f   p er ce i v ed   e f f ec tiv en ess   o f   th e   GE - APR OAc h   item   co n s tr u cts  as  as s ess ed   b y   ex p er ju d g es,  with   m o s item s   ca teg o r ized   as  o u ts tan d in g.   R eliab ilit y   s co r es  ar e   u n if o r m ly   h ig h   at  4 . 0 0   ac r o s s   all   lear n in g   o u tco m es,  r e f lectin g   r o b u s co n s is ten cy   in   th m ea s u r es.  Similar ly ,   v alid ity   s co r es  ar p r ed o m i n an tly   4 . 0 0 ,   t h o u g h   f ew  o u tco m es  s u ch   as  L O5 ,   L O8 ,   an d   L O9   s h o s lig h tly   lo wer   v alid ity ,   i n d i ca tin g   m in o r   a r ea s   f o r   im p r o v em en t.   C lar ity   s co r es,   h o wev er ,   v ar y   m o r s ig n if ican tly ,   with   s o m o u tc o m es  s co r in g   as  lo as  3 . 5 0 ,   s u g g esti n g   th at  wh ile  m o s item s   ar clea r ,   th er is   r o o m   f o r   en h a n cin g   clar ity   in   ce r tain   ar ea s .   Ov er all,   th m ea n   s co r o f   3 . 8 0   r ef lects  g en er ally   h ig h   lev el  o f   r eliab ilit y ,   v alid ity ,   an d   clar it y   ac r o s s   all  lear n in g   o u tco m e s .   T h C r o n b ac h s   alp h v alu o f   0 . 9 5 9   s u p p o r ts   ex ce llen in ter n al  co n s is ten cy ,   an d   th in d iv id u al  alp h a   v alu es  f o r   ea ch   cr iter i o n   f u r th er   r ei n f o r c th e   r eliab ilit y   o f   th ass ess m en i tem s .   T h o b s er v ed   ag r ee m en is   g r ea ter   th an   th ex p ec ted   ( P o =0 . 8 0 7 > 0 . 2 5 0 )   wh ich   in d icate s   th at  th r esu lts   ar r eliab le  an d   n o d u to   r an d o m   c h an ce ,   a d d in g   t o   th cr ed ib ilit y   o f   th e   ass es s m en t.  C o n s is ten cy   in   h ig h er   in ter r ate r   ag r ee m e n in d icate s   r eliab ilit y   o f   th GE - APR OAc h   as   an   in s tr u m en t to   m ea s u r e   lear n in g   o u tco m es a ch iev em en t   [ 2 8 ] ,   [ 3 2 ] ,   [ 4 9 ] .       Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         GE - A P R OA ch :   a n   OB E d iz ed   s u r ve in s tr u men t o n   Gen E d   o u tco mes a ch ieve men … ( R o d r ig o   C .   R ivera )   2545   T ab le  2.   I n ter r ater   a g r ee m en o n   GE - APR OAc h   q u an titativ e   item   co n s tr u cts   I t e ms   R e l i a b i l i t y   sco r e   V a l i d i t y   sc o r e   C l a r i t y   sco r e     Le a s t   e x t e n t   S o me  e x t e n t   M o d e r a t e   e x t e n t   G r e a t   e x t e n t   α   P o   k   S C V - I   I n t e r p r e t a t i o n   LO 1   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 2   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 3   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 4   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 5   4 . 0 0   3 . 7 5   3 . 5 0   3 . 7 5   0   0   4   8   0 . 9 5 3   0 . 6 6 7   0 . 5 5 6   1 . 0 0   O u t s t a n d i n g   LO 6   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 7   3 . 7 5   3 . 7 5   3 . 7 5   3 . 7 5   0   0   4   8   0 . 9 5 3   0 . 6 6 7   0 . 5 5 6   1 . 0 0   O u t s t a n d i n g   LO 8   3 . 5 0   3 . 5 0   3 . 5 0   3 . 5 0   0   3   1   8   0 . 9 6 3   0 . 6 6 7   0 . 5 5 6   0 . 7 5   V e r y   sat i sf a c t o r y   LO 9   3 . 5 0   3 . 5 0   3 . 5 0   3 . 5 0   0   3   0   9   0 . 9 5 9   0 . 7 5 0   0 . 6 6 7   1 . 0 0   V e r y   sat i sf a c t o r y   LO 1 0   4 . 0 0   3 . 7 5   3 . 7 5   3 . 8 3   0   0   2   10   0 . 9 5 4   0 . 8 3 3   0 . 7 7 8   1 . 0 0   O u t s t a n d i n g   LO 1 1   3 . 7 5   3 . 7 5   3 . 7 5   3 . 7 5   0   0   3   9   0 . 9 5 3   0 . 7 5 0   0 . 6 6 7   1 . 0 0   O u t s t a n d i n g   LO 1 2   4 . 0 0   4 . 0 0   4 . 0 0   4 . 0 0   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 1 3   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 1 4   3 . 7 5   3 . 7 5   3 . 5 0   3 . 6 7   0   0   5   7   0 . 9 5 5   0 . 5 8 3   0 . 4 4 4   1 . 0 0   O u t s t a n d i n g   LO 1 5   3 . 7 5   4 . 0 0   3 . 5 0   3 . 7 5   0   0   3   9   0 . 9 5 3   0 . 7 5 0   0 . 6 6 7   1 . 0 0   O u t s t a n d i n g   LO 1 6   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 1 7   3 . 5 0   3 . 5 0   3 . 5 0   3 . 5 0   0   0   6   6   0 . 9 5 9   0 . 5 0 0   0 . 3 3 3   1 . 0 0   V e r y   sat i sf a c t o r y   LO 1 8   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   LO 1 9   4 . 0 0   4 . 0 0   3 . 7 5   3 . 9 2   0   0   1   11   0 . 9 5 8   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   A l l   i t e ms   3 . 8 7   3 . 8 6   3 . 6 8   3 . 8 0   0   6   38   1 8 4   0 . 9 5 9   0 . 8 0 7   0 . 7 4 3   0 . 9 8   O u t s t a n d i n g   Α   0 . 7 7 7   0 . 7 9 1   0 . 9 2 6   0 . 8 9 0   0 . 0 0   0 . 0 3   0 . 1 8   0 . 8 1   0 . 2 5 0 = ( P e )   p r o b a b i l i t y   o f   c h a n c e   a g r e e me n t *       Data   in   T ab le   3   d em o n s tr ates  th at  o p e n - en d ed   q u esti o n   item s   in   th e   GE - APR OAc h   d is p lay   a   g en er ally   s tr o n g   p er f o r m an ce ,   with   th m ajo r ity   ca teg o r ized   as  o u ts tan d in g   o r   v er y   s atis f ac to r y ,   as  r ate d   b y   ex p e r ju d g es.  Sp ec if ically ,   Q1 ,   Q2 ,   an d   Q6   ar r ated   o u ts tan d i ng,   in d icatin g   h i g h   r eliab ilit y ,   v alid ity ,   an d   clar ity .   T h ese  item s   h a v h ig h   s co r es  ac r o s s   all  cr iter ia,   with   r eliab ilit y   an d   v alid ity   s c o r es  r ea ch in g   4 . 0 0   an d   clar ity   s co r es  also   b ei n g   s tr o n g .   No ta b ly ,   Q 6   s tan d s   o u with   p e r f ec s co r es  in   r elia b ilit y ,   v alid ity ,   an d   clar ity ,   r ef lectin g   ex ce p tio n al  q u ality .   Me an   s co r es  ac r o s s   a ll  item s   ar 3 . 6 7   f o r   r eliab ilit y ,   3 . 8 8   f o r   v alid ity ,   an d   3 . 5 8   f o r   clar ity ,   r esu ltin g   in   an   o v e r all  av er ag o f   3 . 8 0 .   T h ese  f ig u r es  s u g g est  th at,   o n   av er ag e,   th item s   ar v alid   an d   r eliab le,   t h o u g h   th er is   s o m e   v ar iab ilit y   in   clar ity .   T h e   C r o n b ac h s   alp h a   ( α =0 . 9 5 6 )   f o r   t h e   o v er all  d ataset  d em o n s tr ates e x ce llen t in ter n al  co n s is ten cy .   I n d iv id u al  α   v alu es f o r   r eliab ilit y   ( 0 . 7 3 8 ) ,   v alid ity   ( 0 . 7 3 3 ) ,   an d   clar ity   ( 0 . 8 0 9 )   al s o   r ef lect  g o o d   c o n s is ten cy ,   th o u g h   th cla r ity   s co r es  ar s lig h tly   lo wer .   As  o n r ater   o b s er v e d     Th ere  a r s o me  items  th a a r co n s tr u cted   in   a   less   co n cise  ma n n er.  P lea s imp r o ve   th e   cla r ity  o a ll  th e   items.  Ma ke   it   mo r co n cise  b tr yin g   to   s ep a r a te   s o me  items  in to   tw o .   Lo o a t   s o me  w o r d s   th a h a ve   mo r u n d ers ta n d a b le  mea n in g   fo r   th s tu d en ts .   S o me  items  a r e   to o   w o r d y,   s o   p lea s ch ec it a s   w ell.     T ab le  3 .   I n ter r ater   a g r ee m en o n   GE - APR OAc h   q u alitativ q u esti o n s   I t e ms   R e l i a b i l i t y   sco r e   V a l i d i t y   sco r e   C l a r i t y   sco r e     LE   ( 1 )   SE   ( 2 )   ME   ( 3 )   GE   ( 4 )   α   P o     S C V - I   I n t e r p r e t a t i o n   Q1   3 . 7 5   4 . 0 0   3 . 7 5   3 . 8 3   0   0   2   10   0 . 9 2 5   0 . 8 3 3   0 . 7 7 8   1 . 0 0   O u t s t a n d i n g   Q2   4 . 0 0   4 . 0 0   3 . 5 0   3 . 8 3   0   0   1   11   0 . 9 3 1   0 . 9 1 7   0 . 8 8 9   1 . 0 0   O u t s t a n d i n g   Q3   3 . 5 0   3 . 7 5   3 . 2 5   3 . 5 0   0   0   7   5   0 . 9 6 6   0 . 5 8 3   0 . 4 4 4   1 . 0 0   V e r y   sat i sf a c t o r y   Q4   3 . 2 5   3 . 7 5   3 . 5 0   3 . 5 0   0   1   4   7   0 . 9 3 7   0 . 5 8 3   0 . 4 4 4   0 . 7 5   V e r y   sat i sf a c t o r y   Q5   3 . 5 0   3 . 7 5   3 . 5 0   3 . 5 8   0   0   5   7   0 . 9 3 8   0 . 5 8 3   0 . 4 4 4   1 . 0 0   V e r y   sat i sf a c t o r y   Q6   4 . 0 0   4 . 0 0   4 . 0 0   4 . 0 0   0   0   0   12   0 . 9 4 4   1 . 0 0 0   1 . 0 0 0   1 . 0 0   O u t s t a n d i n g   A l l   i t e m s   3 . 6 7   3 . 8 8   3 . 5 8   3 . 8 0   0   1   19   52   0 . 9 5 6   0 . 7 5 0   0 . 6 0 9   0 . 9 5   O u t s t a n d i n g   α   0 . 7 3 8   0 . 7 3 3   0 . 8 0 9   0 . 8 2 5   0 . 0 0 0   0 . 0 1 4   0 . 2 6 4   0 . 7 2 2   =   ( P e )   P r o b a b i l i t y   o f   c h a n c e   a g r e e me n t *       I tem s   Q3 ,   Q4 ,   an d   Q5   ar e   c ateg o r ized   as  v er y   s atis f ac t o r y ,   s h o win g   s o m e   v ar ia b ilit y   in   th eir   s co r es.  T h ese  item s   h av s lig h tly   lo wer   r eliab ilit y   an d   v ali d ity   s co r es  co m p a r ed   to   t h o u ts tan d in g   item s ,   an d   th eir   clar it y   s co r es  also   r ef lect  s o m r o o m   f o r   im p r o v em en t.  T h v ar iab ilit y   i n   th ese  item s   s co r es   s u g g ests   th at  wh ile  th e y   ar e   g en er ally   e f f ec tiv e,   th er e   is   p o ten tial  f o r   en h an ce m en t   in   ter m s   o f   r eliab ilit y ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   4 Au g u s t   20 25 2 5 3 9 - 2 5 5 4   2546   v alid ity ,   an d   clar ity .   T h in ter r ater   ag r ee m e n is   g r ea ter   th a n   th ex p ec ted   ( P o =0 . 7 5 0 >0 . 2 5 0 )   wh ich   i n d icate s   th at  th r esu lts   ar r eliab le,   ad d in g   t o   th e   cr ed i b ilit y   o f   th e   a s s es s m en in d icatin g   t h at  th e   o b s er v ed   ag r ee m e n in   th d ata  is   s ig n if ican t a n d   n o t d u to   r an d o m   ch a n ce .     T h wh o le  i n s tr u m en was  f u r th er   r ated   b y   ex p e r ts   g u id e d   b y   t h cr iter ia  o f   a   g o o d   q u esti o n n air e   id en tifie d   in   p r ev io u s   s tu d ies   [ 5 0 ] ,   [ 5 1 ] .   B ased   o n   th e   d ata   p r esen ted   in   T ab le   4 ,   th e   ev al u atio n   r ev ea ls   th at  m o s cr iter ia  ar r ated   as  o u ts tan d in g ,   in d icatin g   h ig h   q u ali ty   ac r o s s   th b o ar d .   Sp ec if ical ly ,   cr iter ia  s u ch   as   r elev an ce ,   clar ity ,   i n tellig ib ilit y ,   lay o u t,   ef f icien cy ,   r eliab ilit y ,   an d   et h ics  all  ac h iev e d   a v er ag s co r es o f   4 . 0   o r   h ig h er ,   with   s tr o n g   o b s er v ed   ag r ee m en s co r es  o f   1 . 0 0 .   T h o v er all  o b s er v e d   ag r ee m e n f o r   all  cr iter ia  is   0 . 6 9 ,   ca teg o r ize d   as  s tr o n g ,   an d   t h ex p ec ted   p r o b a b ilit y   o f   c h an ce   a g r ee m e n ( P o = 0 . 6 9 0 > 0 . 2 0 0 ) .   T h is   d em o n s tr ates  h ig h   lev el  o f   co n s en s u s   am o n g   ev alu at o r s   an d   u n d e r s co r es  th ef f ec tiv en ess   o f   th item s   ac r o s s   cr iter ia.       T ab le  4 .   Ov e r - all  q u ality   ass ess m en t o f   GE - APR OAc h   in s tr u m en t       C o n v er s ely ,   cr iter ia   s u ch   as   d ep th ,   c o n s is ten cy ,   m o tiv atio n ,   an d   a d ap tab ilit y   r ec eiv ed   av er ag s co r es  o f   3 . 6 ,   f allin g   in to   th m o d e r ate   o r   v er y   s atis f ac to r y   ca teg o r ies.  T h ese  cr iter ia  s h o wed   lo wer   a g r ee m en t   lev els,  with   s co r es  r an g in g   f r o m   k =0 . 3 8   to   0 . 5 0 ,   s u g g est in g   s o m v ar iab ilit y   in   ev al u ato r   o p in io n s   a n d   in d icatin g   a r ea s   f o r   p o ten tial  i m p r o v e m en t.   On e v alu ato r   n o ted ,   t h in s tr u m en is   a p p r o p r iate  to   th e   lev el  o f   co m p r eh e n s io n   o f   th tar g et  r e s p o n d en ts . ”  An o t h er   s u p p o r ts   th is ,   s ay in g :     I t i s   a   g o o d   th in g   th a t m o s t o f   th items a r va lid   en o u g h . ”    S in ce   th e   g o a is   to   m a ke   th i s   in s tr u men s ta n d a r d iz ed ,   p il o t - test   th is   in s tr u men w ith   a   n u mb er  o f stu d en ts   w h o   a r n o p a r t o f   th s tu d y .     R esu lts   s h o w ed   th at  GE - APR OAc h   h as  attr ib u tes  o f   g o o d   in s tr u m e n b ei n g   i n f o r m ed   b y   a   well - d ef in e d   d o m ain   wh ich   p r o v i d es  “a   wo r k in g   k n o wled g o f   th p h e n o m en o n   u n d er   s tu d y ,   s p ec if y   th b o u n d ar ies  o f   th e   d o m ain ,   a n d   ea s th p r o ce s s   o f   item   g en e r atio n   a n d   co n ten t   v alid atio n ”  [ 5 2 ] .     4. 3 .     GE - AP RO Ach  pre - t est  re s ults    Pre - test in g   is   n ec ess ar y   to   v al id ate  th ef f ec tiv en ess   o f   an   in s tr u m en t,  to   ass ess   it  th ex ten o f   h o w   q u esti o n s   r ef lect  th e   d o m ai n   b ein g   s tu d ied ,   an d   h o w   th o s q u esti o n s   p r o d u ce   r esp o n s es  [ 5 2 ] .   T a b le  5   p r esen ts   th p ilo test   s co r es  ac r o s s   f iv GE   s u b jects  ( N =8 1 )   u n d e r   t h co m m u n icatio n   liter atu r with in   th ar ts   an d   h u m an ities   d o m ain .   T h o v e r all  av er ag r eliab ilit y   s co r f o r   all  L Os  is   α =0 . 9 4 9 ,   in d ic atin g   h ig h   in ter n al  co n s is ten cy   in   s tu d en t’ s   r atin g s   ac r o s s   th cr iter ia.   T h is   s u g g ests   th at  th r esp o n s es  f r o m   p r e - test   r esp o n d en ts   ar co n s is ten tly   d ep en d ab le  a cr o s s   item s ,   with   s ev er al  L Os   d em o n s tr atin g   s tr o n g   r eliab il ity ,   in clu d in g   L O6   ( α =0 . 8 0 9 5 ) ,   L O1 3   ( α = 0 . 8 2 1 4 ) ,   an d   L O3   ( α =0 . 7 7 3 8 ) .     Usi n g   ANOV f o r   in d e p en d en m ea s u r es,  th e   F - r atio   o f   9 . 8 6   with   a   p - v alu < 0 . 0 0 0 0 1   i n d icate s   s ig n if ican t r esu lt ( p <0 . 0 5 ) .   T h is   lead s   to   r ejec tin g   H0 1 ,   wh ich   p o s its   n o   d if f er e n ce   in   s tu d e n t sco r es a cr o s s   GE   class es  ( d =0 ) .   R esu lts   s h o th at  th i n s tr u m en t   ef f ec tiv el y   d if f er en tiates  b etwe en   g r o u p   s co r es  with in   th e   s am k n o wled g d o m ain .   T h s tan d ar d   d ev iatio n s   r an g e   f r o m   0 . 0 5 3   to   0 . 2 1 7 ,   r e f lectin g   h ig h   in ter n al   r eliab ilit y .   Ad d itio n ally ,   p r e - test   r esu lts   r ev ea ex ce llen in ter n al  r eliab ilit y   ( α =0 . 9 4 9 ) ,   s tr o n g   o b s er v e d   ag r ee m en t   ( P o =0 . 7 3 8 6 ) ,   an d   s u b s tan tial  in ter - r ater   ag r e em en ( k =0 . 6 7 3 ) ,   co n f ir m in g   th e   in s tr u m en t' s   co n s is ten cy   in   m ea s u r em e n t.   Acr o s s   item s ,   th is   in ter r ater   ag r ee m e n s h o ws  h ig h e r   r eliab ilit y   o f   t h in s tr u m en t,  ef f icien tly   m ea s u r in g   v ar ian ce   in   s co r es with   co n s is ten cy   [ 5 3 ] .   C r i t e r i a   P   ( 1 . 0 )   NI   ( 2 . 0 )   S   ( 3 . 0 )   VS   ( 4 . 0 )   O   ( 5 . 0 )     X   O b serv e d   q u a l i ty   P o     A g r e e m e n t   R e l e v a n c e   0   0   0   0   4   4   4 . 0   O   1 . 0 0   1 . 0 0   S t r o n g   D e p t h   0   0   0   2   2   4   3 . 6   O   0 . 5 0   0 . 3 8   M o d e r a t e   S t r u c t u r e   0   0   0   3   1   4   3 . 4   VS   0 . 7 5   0 . 6 9   S t r o n g   C l a r i t y   0   0   0   1   3   4   3 . 8   O   0 . 7 5   0 . 6 9   S t r o n g   C o n si s t e n c y   0   0   0   2   2   4   3 . 6   O   0 . 5 0   0 . 3 8   M o d e r a t e   I n t e l l i g i b i l i t y   0   0   0   1   3   4   3 . 8   O   0 . 7 5   0 . 6 9   S t r o n g   La y o u t   0   0   0   1   3   4   3 . 8   O   0 . 7 5   0 . 6 9   S t r o n g   Ef f i c i e n c y   0   0   1   0   3   4   3 . 6   O   0 . 7 5   0 . 6 9   S t r o n g   M o t i v a t i o n   0   0   0   2   2   4   3 . 6   O   0 . 5 0   0 . 3 8   M o d e r a t e   R e l i a b i l i t y   0   0   0   1   3   4   3 . 8   O   0 . 7 5   0 . 6 9   S t r o n g   A d a p t a b i l i t y   0   0   0   2   2   4   3 . 6   O   0 . 5 0   0 . 3 8   M o d e r a t e   Et h i c s   0   0   0   1   3   4   3 . 8   O   0 . 7 5   0 . 6 9   S t r o n g   O b serv e d   a g r e e me n t   0 . 0 0   0 . 0 0   0 . 0 2   0 . 3 3   0 . 6 5   1 . 0   3 . 7   O u t s t a n d i n g   0 . 6 9   0 . 6 1   S t r o n g   P e = 0 . 2 0 0   ( e x p e c t e d   p r o b a b i l i t y   a g r e e men t ) P = p o o r ,   N I = n e e d s   i m p r o v e m e n t ,   S = s a t i sf a c t o r y ,   V S = v e r y   sat i sf a c t o r y ,   O = o u t s t a n d i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         GE - A P R OA ch :   a n   OB E d iz ed   s u r ve in s tr u men t o n   Gen E d   o u tco mes a ch ieve men … ( R o d r ig o   C .   R ivera )   2547   T ab le  5 .   Pre - test   r esu lts   u s in g   GE - APR OAc h   ac r o s s   NGE C   ar ts   an d   h u m an ities   co u r s es   LO s   G E1   G E2   G E3   G E4   G E5     α   P o   k   LO 1   3 . 8 8   3 . 5 9   3 . 8 1   3 . 5 0   3 . 3 0   3 . 6 1   0 . 9 4 7   0 . 7 1 4 3   0 . 6 4 3   LO 2   3 . 8 8   3 . 5 9   3 . 8 3   3 . 5 0   3 . 3 0   3 . 6 2   0 . 9 4 7   0 . 7 1 4 3   0 . 6 4 3   LO 3   3 . 8 8   3 . 7 6   3 . 7 8   3 . 6 7   3 . 5 0   3 . 7 2   0 . 9 4 5   0 . 7 7 3 8   0 . 7 1 7   LO 4   3 . 7 5   3 . 8 2   3 . 8 6   3 . 4 2   3 . 6 0   3 . 6 9   0 . 9 4 5   0 . 7 9 7 6   0 . 7 4 7   LO 5   3 . 5 0   3 . 5 9   3 . 7 8   3 . 1 7   3 . 3 0   3 . 4 7   0 . 9 4 6   0 . 6 6 6 7   0 . 5 8 3   LO 6   3 . 7 5   3 . 5 9   3 . 8 9   3 . 7 5   3 . 7 0   3 . 7 4   0 . 9 4 7   0 . 8 0 9 5   0 . 7 6 2   LO 7   3 . 7 5   3 . 4 7   3 . 6 9   3 . 7 5   3 . 8 0   3 . 6 9   0 . 9 4 6   0 . 7 1 4 3   0 . 6 4 3   LO 8   3 . 6 3   3 . 7 1   3 . 8 1   3 . 2 5   3 . 5 0   3 . 5 8   0 . 9 4 7   0 . 7 0 2 4   0 . 6 2 8   LO 9   3 . 6 3   3 . 7 1   3 . 7 8   3 . 5 8   3 . 6 0   3 . 6 6   0 . 9 4 4   0 . 7 3 8 1   0 . 6 7 3   LO 1 0   3 . 6 3   3 . 5 9   3 . 8 3   3 . 2 5   3 . 7 8   3 . 6 1   0 . 9 4 5   0 . 7 2 6 2   0 . 6 5 8   LO 1 1   3 . 7 5   3 . 5 3   3 . 8 1   3 . 6 7   3 . 7 8   3 . 7 1   0 . 9 4 7   0 . 7 2 6 2   0 . 6 5 8   LO 1 2   3 . 7 5   3 . 5 9   3 . 7 8   3 . 9 2   3 . 5 0   3 . 7 1   0 . 9 4 7   0 . 7 3 8 1   0 . 6 7 3   LO 1 3   3 . 8 8   3 . 7 1   3 . 8 6   3 . 7 5   3 . 8 0   3 . 8 0   0 . 9 4 5   0 . 8 2 1 4   0 . 7 7 7   LO 1 4   3 . 8 8   3 . 5 3   3 . 6 9   3 . 4 2   3 . 6 0   3 . 6 2   0 . 9 4 6   0 . 6 9 0 5   0 . 6 1 3   LO 1 5   3 . 5 0   3 . 6 5   3 . 8 3   3 . 6 7   3 . 7 0   3 . 6 7   0 . 9 4 6   0 . 7 7 3 8   0 . 7 1 7   LO 1 6   3 . 7 5   3 . 7 6   3 . 8 0   3 . 7 5   3 . 7 0   3 . 7 5   0 . 9 4 7   0 . 7 8 5 7   0 . 7 3 2   LO 1 7   3 . 8 8   3 . 7 1   3 . 8 1   3 . 5 0   3 . 7 0   3 . 7 2   0 . 9 4 6   0 . 7 6 1 9   0 . 7 0 2   LO 1 8   3 . 5 0   3 . 4 7   3 . 7 2   3 . 1 7   3 . 7 0   3 . 5 1   0 . 9 4 4   0 . 6 5 4 8   0 . 5 6 8   LO 1 9   3 . 7 5   3 . 5 9   3 . 7 8   3 . 5 0   3 . 4 0   3 . 6 0   0 . 9 5 4   0 . 7 1 4 3   0 . 6 4 3   M e a n   3 . 7 3   3 . 6 3   3 . 8 0   3 . 5 4   3 . 5 9   3 . 6 6   0 . 9 4 9   0 . 7 3 8 6   0 . 6 7 3       T h d ata  in   T ab le  6   h ig h lig h t s   th at  m o s o u tco m es  h av h i g h   r eliab ilit y   an d   s ig n if ica n ag r ee m en t,   alth o u g h   s o m v a r iatio n s   ar p r esen t.  Giv en   t h o u ts tan d in g   ex p e r ts   ev alu atio n   o f   th GE - APR OAc h ,   th lo wer   s co r es  with   h ig h   ag r ee m en am o n g   s tu d en r esp o n d en ts   r ef lect  th er is   n o m u c h   ev id en ce   th at  th e y   wer m et  at  g r ea ter   d eg r ee .   L o s co r es  d esp ite  clea r   co n s tr u cts  ca n   o f ten   b attr ib u te d   to   p e r ce p tio n s   o f   r elev an ce ,   alig n m e n t,  p r ac tic al  u tili ty ,   an d   ex p ec tatio n s .   I f   r esp o n d en ts   ag r ee   th at  ce r tain   L Os  ar les s   im p ac tf u l,  ch allen g i n g ,   o r   well - alig n ed   with   co u r s g o als ,   th is   co n s en s u s   ca n   lead   to   lo wer   r atin g s .   T h e   r eliab ilit y   o f   an   i n s tr u m en t   to   d if f er en tiate  h ig h   an d   lo w   r atin g s   in d icate s   its   ef f icac y   to   in f o r m   f u tu r e   in s tr u ctio n al  ad ju s tm en ts .         T ab le  6 .   Pair ed   s p lit  g r o u p   co m p ar is o n   o f   p r e - test   s co r es u s in g   th GE - APR OAc h   LO s   T r e a t me n t   g r o u p   1   T r e a t me n t   g r o u p   2   D i f f   ( T2 - T 1 )   D e v   ( D i f f - M)   S q .   D e v   LO 1   3 . 6 6   3 . 6 7   0 . 0 1   - 0 . 0 5   0   LO 2   3 . 6 6   3 . 6 9   0 . 0 3   - 0 . 0 3   0   LO 3   3 . 7 4   3 . 7 1   - 0 . 0 3   - 0 . 0 9   0 . 0 1   LO 4   3 . 6 8   3 . 8 3   0 . 1 5   0 . 0 9   0 . 0 1   LO 5   3 . 6 1   3 . 5 7   - 0 . 0 4   - 0 . 1   0 . 0 1   LO 6   3 . 7 1   3 . 8 1   0 . 1   0 . 0 4   0   LO 7   3 . 6 8   3 . 6 9   0 . 0 1   - 0 . 0 5   0   LO 8   3 . 6 3   3 . 6 9   0 . 0 6   0   0   LO 9   3 . 6 3   3 . 7 4   0 . 1 1   0 . 0 5   0   LO 1 0   3 . 6 2   3 . 7 6   0 . 1 4   0 . 0 8   0 . 0 1   LO 1 1   3 . 6 8   3 . 7 3   0 . 0 5   - 0 . 0 1   0   LO 1 2   3 . 7 6   3 . 6 9   - 0 . 0 7   - 0 . 1 3   0 . 0 2   LO 1 3   3 . 7 4   3 . 8 6   0 . 1 2   0 . 0 6   0   LO 1 4   3 . 5 8   3 . 6 7   0 . 0 9   0 . 0 3   0   LO 1 5   3 . 6 6   3 . 7 6   0 . 1   0 . 0 4   0   LO 1 6   3 . 7 6   3 . 8 0   0 . 0 4   - 0 . 0 2   0   LO 1 7   3 . 7 6   3 . 7 9   0 . 0 3   - 0 . 0 3   0   LO 1 8   3 . 4 7   3 . 6 4   0 . 1 7   0 . 1 1   0 . 0 1   LO 1 9   3 . 5 8   3 . 7 1   0 . 1 3   0 . 0 7   0   O v e r a l l   3 . 6 6   3 . 7 3   M :   0 . 0 6     S :   0 . 0 8       p air - wis co m p ar is o n   o f   s c o r es  ( N =8 0 )   o f   s p lit  g r o u p s   r e v ea led   th at   tr ea tm en t g r o u p   2   ( 3 . 7 3 )   r ate d   th co u r s o u tco m es  ac h iev e m en h i g h er   th an   tr ea tm en t   g r o u p   1   ( 3 . 6 6 ) ,   with   m ea n   d if f er en ce   o f   0 . 0 6   a n d   a   s tan d ar d   d e v iatio n   o f   0 . 0 8 .   two - tailed   t - tes y ield ed   t - v al u o f   - 4 . 2 9   an d   p - v alu e   o f   0 . 0 0 0 4 4   to   r ejec th e   n u ll  h y p o th esis   th at  GE - APR OAc h   is   n o s en s itiv to   d if f e r en tiate  s co r es  b etwe en   th s p lit - g r o u p   tak in g   t h e   s am co u r s ( 1 = 2 ) .   R esu lts   co n f ir m   t h at  th ese  d if f e r en ce s   ar s tatis tically   s ig n if ican an d   n o d u to   c h an ce .   T h is   an aly s is   d em o n s tr ates  t h at  th GE - APR O Ach   in s tr u m en ef f ec tiv ely   d is cr im in ates  b etwe en   s tu d en r atin g s   o f   o u tco m es  ac h iev e m en with in   th s am class ,   in d icatin g   its   r eliab ilit y   an d   ef f ec tiv en ess   in   m ea s u r in g   co n s is ten cy   in   p er f o r m an ce .   “E f f ec tiv d is cr im in atin g   f i n e n ess   is   ass o ciate d   with   b o th   a   h ig h   e x p ec ted   d if f e r en ce   o r   s t ee p   s lo p e,   an d   s m all  er r o r   v ar ian ce   [ 5 4 ] .   Ov er all ,   t h d ata  s u p p o r ts   th at  th i n s tr u m en c o n s is ten tly   m ea s u r es   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   14 ,   No .   4 Au g u s t   20 25 2 5 3 9 - 2 5 5 4   2548   p er f o r m an ce   r elate d   to   m ee tin g   lear n in g   o u tco m es,  as   ev id en ce d   b y   th l o m ea n   d if f er en ce s   an d   s tan d ar d   d ev iatio n s   ( M= 0 . 0 6 ,   S=0 . 0 8 ) .   T h s tr o n g   s tatis tical  s ig n if ican ce   an d   l o v ar ian ce   s u g g est th at  wh ile  th er ar e   s o m v ar iatio n s   in   r atin g s ,   th in s tr u m en r eliab ly   ca p tu r es   th co n s is ten cy   o f   o u tco m es  ac h iev em en with in   g r o u p s   p er   c o u r s e.   C o m p ar in g   th ese  r esu lts   with   s im ilar   in s tr u m en ts   co u ld   f u r th e r   v alid a te  th f in d in g s   an d   r ein f o r ce   t h GE - APR OAc h s   r eliab ilit y   an d   d is cr im in ativ e   p o wer .     4 . 4 .   Co nv er g ent   a nd   dis cr im ina nt  v a lid it y   bet wee n e x is t ing   ins t rum ent s   I n   T ab le  7 ,   s co r es  f r o m   th t h r ee   s tu d ies  r ep r esen p ictu r o f   h o th C HE m an d at ed   lear n in g   o u tco m es  ar e   m et  ac r o s s   th t h r ee   GE   k n o wled g d o m ain s ,   at  th s am c o lleg e.   I n ter p r eta tio n s   wer b ased   o n   th GE - APR OAc h s   d escr ip tiv in ter p r etatio n   u s in g   a   4 - p o in L ik er s ca le.   B r ac k eted   in t er p r etatio n s   at  th last   r o r ef lect  h o th th r ee   s tu d ies  in ter p r eted   th eir   s u r v ey   r esu lts .   W h en   co m p ar ed   to   ea ch   r esear ch er s   s tan d ar d s ,   th e   ea r lier   in s tr u m e n ts   [ 1 1 ] ,   [ 1 2 ]   s ee m   to   b r in g   h ig h er   v alu atio n s   in   th eir   in ter p r etatio n ,   w h ile  th GE - APR OAc h   is   co n s is ten with   ex is tin g   n o r m ativ in ter p r etatio n .   Data   f o r   T 1   ( N= 8 4 )   r ef lects  s tu d en ts   ap p r ec iatio n   o f   th GE   c o u r s e s   an d   elec tiv es a s   to   th ex ten t   o f   o u tco m es a ch iev em e n t.   T h in s tr u m en ac h iev ed   h ig h   s co r es  ac r o s s   th r ee   tar g et  co m p eten c y   ca teg o r ies,  with   ar ts   an d   h u m an ities   o u tco m e s   r ef lecti n g   s u p er io r   p er f o r m a n ce   co m p ar ed   to   p er s o n al  an d   civ ic  r esp o n s ib ilit ies.   I n tellectu al  co m p eten ce   was  ac h iev ed   at  h ig h   ex te n in   ar ts   an d   h u m an ities ,   co n tr asti n g   with   th m o d er ate   ex ten o b s er v ed   in   p r e v io u s   s tu d ies  ( m ath   an d   n atu r al  s cien ce   an d   s o cial  s cien ce   d o m ain s ) .   Pra ctica s k ill s   wer r ated   h ig h ly   i n   T 2   an d   ar ts   an d   h u m a n ities   b u o n ly   m o d er ately   in   T 1 .   T h ese   in ter p r et atio n s   ar b ased   o n   th GE - APR OAc h   s tan d ar d s ,   wh ich   b etter   alig n   with   C HE QA  s tan d ar d s   co m p ar e d   to   ea r lier   s ca les.  Dis tr ib u tio n   o f   s co r es  in   T 1   s h ar es  s im ilar   p atter n   with   T b u n o th at  o f   T 3 ,   wh ic h   eith er   i m p lies   n u an ce s   in   q u ality   o f   i n s tr u ctio n   o r   lim itatio n s   in   th in s tr u m en ts   u s ed .         T ab le  7 .   GE - APR OAc h   p r e - te s t a n d   ac tu al  ev alu atio n   r esu lts   o f   two   o t h er   in s tr u m e n ts   Lo s   T a r g e t   c o m p e t e n c i e s   T 1   T 2   T 3     I n t e r p r e t a t i o n   LO 1   M u l t i l i t e r a c i e s   3 . 6 7   3 . 2 3   3 . 3 2   3 . 3 9   H i g h   e x t e n t   LO 2   C o mm u n i c a t i o n   3 . 6 8   3 . 1 4   3 . 1 2   3 . 2 9   M o d e r a t e   e x t e n t   LO 3   I n t e g r a t i v e   t h i n k i n g   3 . 7 4   3 . 3 4   3 . 3 7   3 . 4 8   H i g h   e x t e n t   LO 4   I n n o v a t i v e   t h i n k i n g   3 . 7 5   3 . 2 9   3 . 3 9   3 . 4 6   H i g h   e x t e n t   LO 5   A n a l y t i c a l   t h i n k i n g   3 . 5 7   3 . 1 6   3 . 3 4   3 . 3 2   M o d e r a t e   e x t e n t   C C 1   I n t e l l e c t u a l   c o mp e t e n c e   3 . 6 2   3 . 2 3   3 . 3 1   3 . 3 9   H i g h   e x t e n t   LO 6   S o c i a l   a w a r e n e ss   3 . 7 7   3 . 6 4   3 . 1 5   3 . 5 1   H i g h   e x t e n t   LO 7   R e f l e c t i v e   t h i n k i n g   3 . 6 8   3 . 5 1   3 . 1 8   3 . 4 6   H i g h   e x t e n t   LO 8   G l o b a l   p e r sp e c t i v e   3 . 6 4   3 . 3 2   3 . 0 3   3 . 3 1   M o d e r a t e   e x t e n t   LO 9   S e n se   o f   b e i n g   F i l i p i n o   3 . 6 8   3 . 2 5   2 . 8 4   3 . 2 5   M o d e r a t e   e x t e n t   LO 1 0   Et h i c a l   r e a s o n i n g   3 . 6 7   3 . 4 3   3 . 2 2   3 . 4 2   H i g h   e x t e n t   LO 1 1   M o r a l   r e sp o n si b i l i t y   3 . 7 0   3 . 5 4   3 . 0 5   3 . 4 3   H i g h   e x t e n t   LO 1 2   A r t i st i c   e x p r e ss i o n   3 . 7 0   3 . 3 9   3 . 2 0   3 . 4 3   H i g h   e x t e n t   LO 1 3   R e s p e c t i n g   o t h e r s   3 . 8 1   3 . 5 6   2 . 9 8   3 . 4 5   H i g h   e x t e n t   LO 1 4   S o c i a l   r e s p o n si v e n e ss   3 . 6 2   3 . 3 8   3 . 0 7   3 . 3 6   H i g h   e x t e n t   C C 2   C i v i c   r e s p o n s i b i l i t i e s   3 . 6 8   3 . 4 5   3 . 0 8   3 . 4 0   H i g h   e x t e n t   LO 1 5   C o l l a b o r a t i o n   3 . 7 3   3 . 2 2   3 . 3 5   3 . 4 1   H i g h   e x t e nt   LO 1 6   I n f o r ma t i o n / D i g i t a l   l i t e r a c y   3 . 7 7   3 . 3 9   3 . 3 9   3 . 5 1   H i g h   e x t e n t   LO 1 7   D i g i t a l   f l u e n c y   3 . 7 4   3 . 2 8   3 . 3 1   3 . 4 4   H i g h   e x t e n t   LO 1 8   P r o b l e m - s o l v i n g   3 . 5 7   3 . 3 2   3 . 4 0   3 . 4 1   H i g h   e x t e n t   LO 1 9   P r o f e ssi o n a l   r e a d i n e ss   3 . 6 5   3 . 3 3   3 . 3 9   3 . 4 4   H i g h   e x t e n t   C C 3   P r a c t i c a l   s k i l l s   3 . 6 0   3 . 3 3   3 . 3 9   3 . 4 4   G r e a t   e x t e n t   M e a n   a n d   i n t e r p r e t a t i o n s   3 . 6 6   [ G E]   3 . 3 5   [ G E]   3 . 2 2   [ M E]   3 . 3 9   H i g h   e x t e n t   T 1 GE - A P R O A c h ,   T 2 :   i n s t r u m e n t   1 ,   T 3 :   i n s t r u me n t   3       ANOV an aly s is   co n f ir m ed   s ig n if ican t v ar iab ilit y   i n   s co r es   ac r o s s   k n o wled g d o m ain s ,   w ith   F - r atio   v alu o f   5 8 . 0 8 5 4 9   an d   a   p - v alu < 0 . 0 0 0 0 1 ,   ef f ec tiv ely   r ejec tin g   th n u ll  h y p o th esis   th at  GE - APR OAc h   is   as   s en s itiv to   y ield s   s im ilar   r es u lts   as  i ts   p r ed ec ess o r s   ( T 1 =T 2 =T 3 ) .   T h s tan d ar d   d e v iatio n s   d em o n s tr ate  th at  GE - APR OAc h   ( S 1 =0 . 0 6 5 )   o f f er s   g r ea ter   r eliab ilit y   in   d is tin g u is h in g   item   s co r es  th an   o th er   in s tr u m en ts   (S 2 =0 . 1 3   an d   S 3 =0 . 1 8 ) .   Sig n if i ca n t d if f er en ce s   wer o b s er v e d   b etwe en   GE - APR OAc h   an d   ea r lier   in s tr u m en ts   ( HSD  T 1 =0 . 3 ,   Q= 9 . 9 4 ,   p = 0 . 0 0 0 0 0 < 0 . 0 5 T 1 =0 . 4 4 ,   Q= 1 4 . 4 6 ,   p = 0 . 0 0 0 0 0 < 0 . 0 5 ) ,   h ig h lig h tin g   its   s u p e r io r   d is cr im in ativ p o wer .   I ca n   b in f er r e d   f r o m   th d ata  t h a th GE - APR OAc h   in s tr u m en ex h ib its   s tr o n g   in ter n al  co n s is ten cy   an d   ef f ec t iv d is cr im in ativ p o wer ,   d is tin g u is h in g   its elf   f r o m   p r ev io u s   in s tr u m en ts .   Ov e r a ll ,   c o m p a r ed   w it h   tw o   o t h e r   i n s t r u m e n ts ,   t h e   GE - A PR OAc h   wh ic h   was   p i lo t   tes ted   in   f i v e   d i f f er e n t   c o u r s es   h as   a b ilit y   t o   m ea s u r e   lea r n i n g   o u t c o m es   a cr o s s   v a r i o u s   k n o wl ed g e   d o m ain s   a n d   ali g n s   wi th   co n s t r u ct   v a li d it y   p r in ci p l es,   wh e r e   c o n v er g e n t   v ali d it y   is   d e m o n s tr ate d   t h r o u g h   its   ali g n m en t   wit h   o t h e r   th e o r e tic all y   r el at ed   m ea s u r es   [ 5 5 ] ,   a n d   d is c r i m i n a n v ali d i ty   is   s h o w n   b y   i ts   d if f e r en tia t io n   f r o m   u n r e lat e d   Evaluation Warning : The document was created with Spire.PDF for Python.