I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   14 ,   No .   6 Dec em b er   20 25 ,   p p .   4 3 0 7 ~ 4 3 1 9   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 14 i 6 . 3 3 3 7 0           4307       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Co ntent  va lidity o a n inno v a tive be ha v io r rubric  for   po ly technic  e ng ineering  stud ents       No Ais y a h Che  Der a s id 1 ,   A ede  H a t ib M us t a a m a l @ J a m a l 1 ,   No rna zira   Su ha iro m 1 ,   H a ry   Su s wa nto 2   1 D e p a r t me n t   o f   A d v a n c e d   Te c h n i c a l   a n d   V o c a t i o n a l   Ed u c a t i o n   a n d   Tr a i n i n g ,   F a c u l t y   o f   E d u c a t i o n a l   S c i e n c e s   a n d   Te c h n o l o g y ,   U n i v e r si t i   Te k n o l o g i   M a l a y si a ,   S k u d a i ,   M a l a y si a   2 D e p a r t me n t   o f   El e c t r i c a l   a n d   I n f o r mat i c s E n g i n e e r i n g ,   F a c u l t y   o f   E n g i n e e r i n g ,   U n i v e r s i t a s Ne g e r i   M a l a n g ,   M a l a n g ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Oct   24 2 0 2 4   R ev is ed   May   9 2 0 2 5   Acc ep ted   J u l   28 2 0 2 5       In   e n g in e e rin g   e d u c a ti o n ,   f o ste rin g   in n o v a ti v e   b e h a v i o rs  is  c ru c ial  fo r   p re p a rin g   stu d e n ts  to   tac k le  c o m p lex ,   re a l - wo rl d   c h a ll e n g e s.  De v e lo p i n g   a n   a ss e ss m e n to o o ru b ric  th a a c c u ra tely   m e a su re in n o v a ti v e   b e h a v io is   e ss e n ti a to   p ro v id e   e d u c a to rs  with   t h e   m e a n to   s y ste m a ti c a ll y   e v a lu a te   stu d e n ts   in n o v a ti v e   p o ten ti a l.   T h is  a rti c le  m a in l y   f o c u se o n   a ss e ss in g   t h e   c o n ten v a li d i ty   o th e   in n o v a ti v e   b e h a v i o a ss e ss m e n ru b ric ,   wh ich   is  d e sig n e d   t o   m e a su re   t h e   i n n o v a t iv e   b e h a v i o o e n g i n e e rin g   stu d e n ts.  T h e   ru b ric wa s d e sig n e d   a ro u n d   t h re e   c o re   d ime n sio n s:  p r o b lem   re c o g n i ti o n ,   id e a   g e n e ra ti o n ,   a n d   id e a   imp lem e n tatio n .   C o n te n v a li d it y   wa a ss e ss e d   u si n g   th e   it e m - lev e c o n ten v a li d i ty   i n d e x   (I - CVI ) ,   sc a le - lev e c o n ten v a li d it y   in d e x   (S - CVI),  a n d   m o d ifi e d   k a p p a   sta ti stic.  Ex p e rt  e v a lu a ti o n re su lt e d   i n   a   fin a 3 5 - it e m   ru b ric,  with   a n   o v e ra ll   S - CVI  o 0 . 8 5 ,   i n d ica ti n g   h i g h   c o n ten t   v a li d it y .   Item with   I - CVI  v a l u e b e lo 0 . 7 0   we re   e it h e re v ise d   o r   re m o v e d   to   e n s u re   re lev a n c e   a n d   c larity .   Th e   st u d y   h ig h li g h ts  t h e   imp o rtan c e   o e x p e rt  j u d g m e n i n   t h e   v a li d a ti o n   p ro c e ss   a n d   u n d e rsc o re t h e   u t il i ty   o b o t h   I - CVI  a n d   k a p p a   in   re fin i n g   a ss e ss m e n to o ls.  F u t u re   re se a rc h   wil fo c u o n   c o n stru c t   a n d   c rit e rio n   v a li d a ti o n ,   a we ll   a p ra c ti c a a p p li c a ti o n   a c ro ss   d iv e rse   e d u c a ti o n a c o n tex ts.   K ey w o r d s :   Ass es s m en t r u b r ic   C o n ten t v alid ity   I - C VI   I n n o v ativ b eh a v io r   Kap p s tatis tic   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   No r   Ais y ah   C h Der asid   Dep ar tm en t o f   Ad v an ce d   T ec h n ical  an d   V o ca tio n al  E d u ca tio n   an d   T r ain in g   Facu lty   o f   E d u ca tio n al  Scien c es a n d   T ec h n o lo g y ,   Un iv er s iti   T ek n o lo g i M alay s ia   8 1 3 1 0   Sk u d ai,   J o h o r ,   Ma lay s ia   E m ail: n o r aisy ah ch e d er asid @ g m ail. co m       1.   I NT RO D UCT I O N   I n   th e   f ield   o f   ed u ca tio n al   ev alu atio n ,   esp ec ially   in   p o ly tech n ic   en g i n ee r in g   p r o g r am s ,   th e   im p o r tan ce   o f   ef f ec tiv ass ess m en to o ls   ca n n o b o v er s tated .   I n   e n g in ee r in g   e d u ca tio n ,   f o s ter in g   in n o v ativ e   b eh av io r s   is   cr u cial  f o r   p r ep a r in g   s tu d en ts   to   tack le  c o m p l ex ,   r ea l - wo r l d   ch allen g es.  As   in d u s tr ies  p r o g r ess   an d   tech n o lo g y   a d v an ce s   r a p i d ly ,   th e   ab ilit y   to   th in k   cr ea ti v ely   an d   ex ec u te  in n o v ativ e   s o lu tio n s   b ec o m es  m o r ess en tial.  No n eth eless ,   c o n v en tio n al  ass ess m en m eth o d s   f r eq u en tly   f ail  to   ad eq u atel y   r ef lect  s tu d en ts   in n o v ativ e   s k ills .   Ma n y   ex is tin g   in s tr u m e n ts   r ely   h ea v ily   o n   s elf - p er ce p tio n ,   w h ich   ca n   in tr o d u ce   b ias  an d   u n d er m i n th v alid it y   o f   ass e s s m en ts   [ 1 ] [ 2 ].   T h r el ia n c o n   s elf - r e p o r te d   m e as u r es  f o r   ass ess in g   i n n o v at iv b e h av io r   ca n   le ad   t o   s ig n i f ic a n t   d is c r ep an ci es  b etw ee n   p e r c ei v e d   an d   ac t u a c o m p et en cies .   Pre v i o u s   r ese a r c h es   [ 3 ] [ 4 ]   in d i ca t t h a s el f - ass ess m e n ts   a r e   o f t en   in f l u en ce d   b y   co g n it iv b ias es,   s u ch   as  o v er co n f i d e n c o r   la ck   o f   awa r e n ess   o f   o n e lim i tat io n s .   T h is   s i tu ati o n   cr ea tes  p r ess i n g   n e ed   f o r   m o r o b je cti v ass ess m e n to o ls   t h at   ca n   r el ia b l y   ev al u a te   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   6 Dec em b er   20 25 :   4 3 0 7 - 4 3 1 9   4308   in n o v ati v e   b e h a v i o r   i n   e n g in e er i n g   s t u d e n ts .   W it h o u t   s u c h   t o o ls ,   e d u c at o r s   m a y   s t r u g g l t o   i d e n ti f y   s tu d en ts   tr u e   c ap ab ili ties ,   p o t en tial l y   h i n d e r i n g   t h e ir   d e v el o p m e n t   a n d   p r e p ar ed n ess   f o r   f u t u r e   c h alle n g es.   Pre v io u s   s tu d ies  [ 5 ] [ 6 ]   u n d e r s co r th e   s ig n if ican ce   o f   u tili zin g   s tr u ctu r e d   ass ess m en in s tr u m en ts   s u ch   as  r u b r ics  to   b o o s th c o n s is ten cy   an d   ac cu r ac y   o f   ev alu atio n s .   Oth er   r esear c h   [ 7 ] [ 8 ]   em p h asize  th at   r u b r ics  o f f er   e x p licit  cr iter ia  th at  aid   b o th   s tu d en ts   an d   in s tr u cto r s   in   u n d er s tan d in g   ex p ec tatio n s ,   th u s   m in im izin g   s u b jectiv ity   in   g r a d in g .   Ad d itio n ally ,   Pan ad e r o   et  a l.  [ 9 ]   d is co v e r ed   th at  r u b r i cs  h av e   b e n ef icial  ef f ec o n   s tu d e n p er f o r m a n c b y   en c o u r a g in g   s elf - r e g u lat io n   an d   m o r d ef in ed   g o al  s e ttin g .   R u b r ics  h av b ee n   d em o n s tr ated   to   s u p p o r t   f o r m ativ ass ess m en p r ac tic es,  en ab lin g   s tu d en ts   to   tr ac k   th eir   p r o g r ess   an d   en h an ce   th eir   wo r k   b ased   o n   t ar g eted   f ee d b ac k   [ 10 ].   W ell - s tr u ctu r ed   r u b r ics  ar es s en tial  f o r   ev al u atin g   i n tr icate   s k ills   lik in n o v ati o n   a n d   c r e ativ ity ,   as  th ey   o f f er   clea r   an d   o b s er v a b le  s tan d ar d s   f o r   ass ess m en t.   T h ese  to o ls   f ac ilit ate   o b jectiv ev alu atio n   an d   en h an ce   th lear n in g   ex p er ie n ce   b y   alig n in g   ass ess m en wit h   ed u ca tio n al  g o als.  R esear ch   b y   Nav ar r ete  [ 11 d esig n ed   r u b r ics  f o r   ca p s to n e   p r o jects  in   en g in ee r in g ,   wh ich   im p r o v ed   s tu d en t   p er f o r m a n c an d   alig n e d   with   ac cr ed itatio n   s tan d a r d s .   I n   a d d itio n ,   r esear ch   h as  s h o wn   th at  r eliab le   an d   v alid   ass ess m en to o ls   ca n   ef f ec tiv ely   e v alu ate  i n n o v ativ th in k in g .   s tu d y   d e v elo p e d   f iv e - f ac to r   m o d el   with   2 5   e lem en ts   to   m ea s u r in n o v ativ th i n k in g   i n   v o ca ti o n al  s tu d en ts ,   d em o n s tr atin g   s tr o n g   v alid ity   an d   r eliab ilit y   [ 12 ] .   R u b r ics  ca n   b r id g th g a p   b etwe en   s u b jectiv s elf - ass e s s m en an d   o b jectiv ev alu atio n   b y   ar tic u latin g   o b s er v a b le  b eh av io r s   ass o ciate d   with   in n o v ativ th in k in g .   T o   ad d r ess   th id en tifie d   g ap s   in   ass ess in g   in n o v ativ b e h av io r   am o n g   en g in ee r in g   s tu d en ts ,   th is   s tu d y   p r o p o s es th d ev el o p m e n t o f   co m p r e h en s iv r u b r ic  s p ec if ically   d esig n ed   f o r   th is   p u r p o s e.   Dev elo p in g   an   ass ess m en to o o r   r u b r ic  t h at  ac cu r ately   m ea s u r es  in n o v ativ b e h av io r   is   ess en tial  to   p r o v id e d u ca to r s   with   th m ea n s   to   s y s tem atica lly   ev alu ate  s tu d en ts   in n o v a tiv p o ten tial.  I n n o v atio n   is   co m p lex   s k ill  [ 13 th at  in clu d es  cr ea tiv ity ,   p r o b l em - s o lv in g ,   cr itical  th in k in g ,   an d   ap p ly in g   k n o wled g i n   o r ig in al  way s .   T h is   r u b r ic  aim s   to   p r o v id r o b u s f r am ewo r k   f o r   ev alu atin g   s tu d en p er f o r m a n ce   o b jectiv ely   b y   u tili zin g   a   m u lti - d im en s io n al  ap p r o ac h   t h at  in clu d es  b o th   q u alitativ an d   q u an titativ m ea s u r es.  W ith o u s tan d ar d ized   way   to   ass ess   th ese  q u alities ,   ed u ca to r s   m ay   s tr u g g le  to   id e n tify   an d   n u r tu r th in n o v ati v p o ten tial  with in   th eir   s tu d en ts .   T h p r o p o s ed   r u b r ic  will  allo ed u ca to r s   to   s y s tem atica lly   ev alu ate  th o u t co m es  o f   s tu d en ts   in n o v ativ p r o jects  an d   th p r o ce s s es  th ey   em p lo y ,   f o c u s in g   o n   cr iter ia  s u ch   as  o r ig i n a th o u g h t,  p r o b lem   r ec o g n itio n ,   id ea   g en er atio n ,   an d   im p lem en tatio n .   B y   co n c en tr atin g   o n   th ese  d im en s io n s ,   ed u ca to r s   ca n   g ain   d ee p er   in s ig h ts   in to   h o s tu d e n ts   ap p r o ac h   ch allen g es a n d   g en er ate  n ew  id ea s .   T h r u b r ic  will  u n d er g o   r i g o r o u s   co n te n v alid ity   p r o ce s s   i n v o lv in g   ex p er r e v iews  to   en s u r th at  it  a c c u r a t e l y   r e f l e c ts   t h e   c o n s t r u c t   o f   i n n o v a t i v e   b e h a v i o r .   C o n t e n t   v a l i d i t y   is   t h e   d e g r e e   t o   w h i c h   a n   a s s e s s m e n i n s t r u m e n a c c u r a t el y   r e f l ec ts   t h e   c o n s t r u c t .   I t   ai m s   t o   m ea s u r e   is   a   f o u n d a t i o n a e l e m en t   i n   e n s u r i n g   t h at  e d u c a t i o n a l   e v al u a t i o n s   a r r e li a b l e   a n d   m e a n i n g f u l .   T h is   p r o c e s s   wi l i n c l u d s o li c i ti n g   f e ed b a c k   f r o m   f a c u l t y   m e m b e r s   a n d   i n d u s t r y   p r o f e s s io n a l s   t o   a l i g n   t h e   r u b r i c   wi t h   c u r r e n t   s t a n d a r d s   a n d   e x p e c t ati o n s   i n   e n g i n e e r i n g   e d u c a t i o n .   As   h i g h li g h t e d   i n   ex i s t i n g   l i te r a t u r e ,   c o n t e n t   v a li d i t y   is   c r u c ia l   f o r   t h e   r e li a b i li t y   o f   i n s t r u m e n t s   a n d   t h e   o v e r a l l   q u a l i t y   o f   e d u c a ti o n a l   a s s e s s m e n ts   [ 1 4 ] ,   [ 15 ] .   I n d e e d ,   F e r r a z   a n d   P e r e i r a - G u i zz o   [ 16 h ig h lig h ted   th at  co n ten t   v alid ity   is   cr u cial   f o r   en s u r in g   th at  ass ess m en item s   ar r elev a n an d   r e p r ese n tativ o f   th ta r g et  co n s tr u cts,  s u ch   as  tr an s f er ab l s k ills   in   en g i n ee r in g   s tu d en ts .   T h is   s tu d y   f o cu s es  o n   d ev elo p in g   b e h av io r   r u b r ic  s p ec if ically   tailo r ed   f o r   p o ly tec h n ic  en g i n ee r in g   s tu d en ts ,   aim in g   to   en h an ce   th ass es s m en o f   in n o v ativ b eh av i o r s   th at  ar i n cr ea s in g ly   v ital in   t o d ay s   d y n am ic  tech n o l o g ical  lan d s ca p e .   T h is   s tu d y   o f f er s   n o v el  s o lu tio n   to   th e   lack   o f   r eliab le   in s tr u m en ts   f o r   ev alu atin g   i n n o v ativ b eh av io r   i n   en g in ee r in g   s tu d e n ts   b y   d ev elo p in g   an d   v alid at in g   an   in d iv i d u ally   tailo r ed   r u b r ic  d esig n ed   f o r   Ma lay s ian   p o ly tech n ic  e n g in ee r in g   e d u ca tio n .   Un lik e   ex i s tin g   ass ess m en to o ls ,   th is   r u b r ic   is   u n iq u ely   g r o u n d ed   in   estab lis h ed   co n ten v alid ity   p r in cip les  an d   s p ec if ically   d esig n ed   to   ca p tu r th d is tin ct  d im en s io n s   o f   in n o v ativ b e h av io r   r ele v an to   tech n ical  an d   v o ca tio n al  ed u ca tio n .   T h n o v elty   o f   th is   s tu d y   lies   in   it s   in teg r ated   m eth o d o lo g ical  ap p r o ac h ,   wh ic h   co m b in es  b o th   q u alitativ ex p er r ev iews  an d   q u an titativ em p ir ical  test in g   to   en s u r th e   in s tr u m en t s   r eliab ilit y   an d   v alid ity .   T h is   d u al - v alid atio n   p r o ce s s   r ep r esen ts   r ig o r o u s   an d   co m p r eh en s iv e   s tr ateg y   th at   is   r ar ely   ap p lied   in   s im ilar   ed u ca tio n al  ass ess m en to o ls .   B y   d o in g   s o ,   th s tu d y   n o o n ly   ad d r ess es  s ig n if ican g ap   in   th liter atu r b u t   also   co n tr ib u tes  a   p r ac tical,   ac ad em ically   s o u n d   in s tr u m en t   th at  ca n   b a d o p t ed   ac r o s s   p o ly tech n ic  in s titu tio n s .   T h e   v alid ate d   r u b r ic  o f f er s   n ew   in s ig h ts   in to   h o s tr u ctu r ed   b e h av io r al  ass ess m en ca n   en h an ce   s tu d en en g a g em en t,   cr ea tiv ity ,   an d   i n n o v atio n   s k il ls   in   en g in ee r in g   e d u ca tio n ,   u ltima tely   s u p p o r tin g   m o r e f f ec tiv teac h in g   an d   lear n in g   p r ac tices in   lin with   2 1 s t - ce n tu r y   co m p ete n cy   d e m an d s .   T h is   ar ticle  m ain ly   f o c u s es  o n   ass ess in g   th co n ten v alid it y   o f   th e   in n o v ativ b e h av io r   ass es s m en t   r u b r ic ,   wh ic h   is   d esig n ed   t o   m ea s u r th in n o v ativ b eh av io r   o f   e n g in ee r i n g   s tu d e n ts .   Fo llo win g   th o r o u g h   co n ten v alid ity   p r o ce s s   an d   i n co r p o r atin g   e x p er f ee d b ac k ,   all  ac ce p ted   item s   will  b u tili ze d   to   d ev elo p   a   co m p r eh e n s iv r u b r ic  f o r   ev al u atin g   in n o v ativ e   b eh a v io r   in   th is   co n tex t.  T h s p ec if ic  tec h n iq u es  em p lo y ed   in   th item   d ev elo p m en t,  wh ic h   in clu d es  co n d u ctin g   liter atu r r ev iews,  co n s u ltin g   ex p e r ts ,   an d   an aly zin g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       C o n ten t v a lid ity  o f a n   in n o va ti ve   b eh a vio r   r u b r ic  fo r   p o lytec h n ic  en g i n ee r in g   …  ( N o r   A is ya h   C h Dera s id )   4309   m etad ata,   as  well  a s   th f u n d a m en tal  d im en s io n s   th at  u n d er p in   th eir   d esig n   an d   f u n ctio n a lity ,   f all  o u ts id th s co p o f   t h is   p ap er .   co m p r e h en s iv an aly s is   o f   th ese  asp e cts  wo u ld   r eq u ir s ep ar ate  i n v esti g atio n ,   g i v en   th eir   co m p lex ity   an d   i m p o r ta n ce   in   u n d er s tan d in g   th o v e r all  n atu r o f   th item s   in   q u esti o n .   I n s tead ,   th e   ar ticle  s ee k s   to   co n f ir m   th at  th in s tr u m en cr ea ted   is   b o t h   v alid   an d   r elia b le,   with o u t   elab o r atin g   o n   th e   s p ec if ics o f   h o th c o n s tr u ct s   wer o r ig in ally   d e v elo p e d .       2.   M E T H O D   2 . 1 .     T he  inn o v a t iv beha v io ins t rum ent s   T h s tu d y   aim ed   to   m ea s u r in n o v ativ b eh av i o r   lev els  am o n g   en g in ee r in g   s tu d en ts   in   p o ly tech n ics   th r o u g h   th in n o v ativ b e h av i o r   ass ess m en r u b r ic .   T h m ai n   to o f o r   th is   s tu d y   is   an   an a ly tical  r u b r ic.   T h is   s co r in g   s y s tem   allo ws  lectu r er s   to   ev alu ate  s tu d en ts   wo r k   ag ain s d ef in ed   cr iter ia.   T h cr ea tio n   o f   th is   to o l   was  b ased   o n   in s ig h ts   f r o m   t h lear n in g   o u tco m es  f o u n d   i n   th c o m p il atio n   o f   lear n i n g   o u tco m e   r ef er e n ce s   an d   th e   lear n i n g   tax o n o m y   ( J PP KK,   2 0 1 9 ) ,   ad h e r in g   to   th Ma la y s ian   Po ly t ec h n ic  Stan d a r d s   ( My POLY Stan d ar d s )   estab lis h ed   b y   th Dep ar tm e n o f   Po ly tech n ic  E d u ca tio n   ( DPE) ,   Min is tr y   o f   E d u ca tio n   ( MO E ) ,   alo n g s id r esear ch   f r o m   p ast  jo u r n al  ar ticles  f o cu s ed   o n   in n o v ativ e   b e h av io r s .   th o r o u g h   ex am in atio n   o f   th ese  d o c u m e n ts   an d   a   liter atu r r ev iew  wa s   u n d er tak e n   to   p in p o in t   th i n n o v ativ e   b eh a v io r co n ten d o m ai n .   T h r o u g h   m et ad ata  an aly s is   an d   th g r o u n d ed   th eo r y   m eth o d ,   th r esear c h er   p in p o in ted   th r ee   k ey   co m p o n en ts   o f   in n o v ativ b eh av io r p r o b lem   r ec o g n it io n ,   id ea   g en er atio n ,   an d   id e im p lem en tatio n .   T ab le  1   s h o ws h o item s   ar d is tr ib u ted   ac r o s s   th in s tr u m e n t.   E x p er p an els  wer e   co n s u lted   to   ass ess   th in s tr u m en t’ s   c o m p r eh en s iv e   co v e r ag e   o f   th e   co n s tr u ct  it  is   d esig n ed   t o   m ea s u r e,   b y   r e v iewin g   th e   lis o f   item s .   E x p er ts   ar e   task ed   with   ass ess in g   4 6   item s   u s in g   a   r elev an ce   s ca le  t h at  r a n g es  f r o m   1   to   4   ( 1   in d icate s   n o t   r el ev an t,  2   s ig n if ies  s o m ewh at  r elev an t,  3   r e p r esen ts   q u ite  r elev an t,  an d   4   d e n o tes  h ig h ly   r elev a n t ) ,   as   s h o wn   in   T ab le  2 .   T h ese  item s   ar ca teg o r ized   in to   t h r ee   p r im ar y   co n s tr u cts:   p r o b lem   r ec o g n itio n ,   id ea   g en er atio n ,   an d   id ea   im p lem en tatio n .   P r o b lem   r ec o g n itio n   em p h asizes  s tu d en t’ s   ab ilit y   to   id en tify   an d   ar ticu late  p r o b lem s   ef f ec tiv ely .   I d ea   g en er atio n   ev alu ates  a   s tu d en t’ s   cr ea tiv ity   a n d   ca p ac ity   to   p r o d u ce   v ia b le  s o lu tio n s ,   wh ile  id ea   im p lem e n tatio n   m ea s u r es  h o well   s tu d en ts   ca n   co n v er t id ea s   in to   ac tio n ab le  p lan s .       T ab le  1 .   L is t o f   item   d is tr ib u tio n   D i me n si o n s   S u b - d i m e n s i o n s   To t a l   o f   i t e ms   P r o b l e m   r e c o g n i t i o n   P r o b l e m f i n d i n g   6   F a c t   f i n d i n g   5   P r o b l e d e f i n i t i o n   5   I d e a   g e n e r a t i o n   I d e a   e x p l o r a t i o n   8   S o l u t i o n   e v a l u a t i o n   8   I d e a   i m p l e me n t a t i o n   A c t i o n   p l a n   7   P r o t o t y p i n g   7   O v e r a l l     46       2 . 2 .     I dentif ica t io n o f   v a lid a t io n pa nels   E x p er ts   ar e   h ig h ly   k n o wled g ea b le  an d   s k illed   in d iv i d u a ls   wh o   h a v e x ten s iv e x p e r tis in   a   p ar ticu lar   f ield ,   allo win g   th e m   to   p r o v id v al u ab le  in s ig h ts   an d   s o lu tio n s   with in   th at  d o m ain   [ 17 ] ,   [ 18 ] .   Dete r m in in g   th o p tim al  n u m b er   o f   ex p e r ts   f o r   p an el  s tu d ies  v ar ies  s ig n if ican tly   ac r o s s   th liter atu r e,   r ef lectin g   d if f er e n m eth o d o lo g ical  ap p r o ac h es  an d   c o n tex t u al  n ee d s .   Am ir za d eh   et  a l.   [ 15 ]   ad v o ca tes  f o r   m in im u m   o f   f iv e   ex p er ts   to   ac h iev r eliab le  co n s en s u s ,   e m p h asizin g   th n ee d   f o r   d iv e r s p er s p ec tiv es  to   r ed u ce   b ias.  C o n v er s ely ,   t h at  th r ee   ex p er ts   m ay   b s u f f icie n f o r   s p ec ialized   to p ics  [ 19 ] ,   [ 20 ] .   Nev e r th eless ,   th L awsh co n ten t v alid atio n   m eth o d   ju s t n ee d s   f o u r   ex p e r ts   at  th v er y   least.  R esear ch   b y   [ 21 ] ,   [ 22 ]   s u g g est  f lex ib le  r an g o f   3   to   10   ex p er ts   p er   ca teg o r y   to   b ala n ce   in clu s iv ity   with   m an ag ea b ilit y .   Ov er all,   th id ea l   ex p er p a n el  s ize  is   in f lu en c ed   b y   t o p ic  co m p lex ity ,   ex p er av ailab ilit y ,   an d   s tu d y   o b jectiv es,  g en er ally   r ec o m m en d in g   at   least  6   an d   n o   m o r th a n   10   ex p e r ts   f o r   ef f ec tiv co n ten v alid atio n .   T h er ef o r e,   th ei g h ex p er ts   in   th is   s tu d y   ar e   b ased   o n   th eir   p r o f ess io n al  an d   f ield   ex p er ts ,   r esp ec tiv ely .     Pro f ess io n al  ex p er ts   ty p ically   h av th n ec ess ar y   jo b   e x p er i en ce   an d   ex p er tis to   co llab o r ate  o n   th e   s tu d y ,   as  well  as  k n o wled g o f   th r esear ch   f ield ,   p u b licatio n s   o n   th s u b ject,   an d   p r esen tatio n s   at  n atio n al   o r   wo r ld wid s em in ar s   [ 23 ] [ 25 ] .   T h ese  ex p er ts   ass is in   d eter m in in g   t h d e g r ee   to   wh ich   th in s tr u m en t   was   d esig n ed   with   p s y ch o m etr ic  test in g   to   b co n s id er ed   [ 26 ] .   T h cr iter ia  u s ed   to   s elec t   th ex p er ts   wer e   co m p u ls o r y   to   h a v at  least  1 0   y ea r s   o f   wo r k in g   e x p er i en ce .   E x p e r ts   wer also   ch o s en   b ased   o n   th ei r   ex p er ien ce   s u p er v is in g   f in al - y ea r   s tu d en t   p r o jects  an d   th eir   k n o wled g o f   th e   p r o d u ct  d esig n   p r o ce s s ,   in n o v atio n ,   a n d   d esig n   th i n k i n g .   E ac h   e x p er t   p an el   co m p r i s es  f ac u lty   m em b e r s   f r o m   d if f er en in s titu tio n s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   6 Dec em b er   20 25 :   4 3 0 7 - 4 3 1 9   4310   ev alu ated   b ased   o n   th eir   q u ali f icatio n s .   Fu r th er m o r e ,   ex p er t s   in   cu r r icu lu m   d ev el o p m en t,  in s tr u m en d esig n ,   an d   p s y ch o m etr ics  wer ch o s en   to   p ar ticip ate  in   th s tu d y s   ex p er p a n el.   T h is   o p in io n   th at  th ch o s en   ex p er ts   o u g h to   b e   s p ec ialis ts   in   b o th   th s u b ject  f ield   an d   in s tr u m e n d e v elo p m e n was  r ein f o r ce d   b y   ad d itio n al  r esear ch es   [ 27 ] ,   [ 28 ] .   T h ese  e x p er ts   wer e   s e lecte d   d u e   to   th eir   d iv e r s b ac k g r o u n d s   a n d   ex p er ien ce s ,   g u ar an teein g   w ell - r o u n d ed   v iew  o n   th e   to p ic.   T h ey   c o n tr ib u te  to   r e f in in g   th s tu d y s   item   lis t   b y   p r o v id i n g   in s ig h ts   o n   th e   m o s r elev an t,  n ec ess ar y ,   o r   e f f ec tiv item s .   T h is   m a y   in v o lv s u g g esti n g   n ew  item s   to   in clu d e,   r ec o m m e n d i n g   th r em o v al  o f   less   r elev a n o n es,  o r   m o d if y in g   ex is tin g   item s   to   im p r o v clar ity   an d   ef f ec tiv en ess .   T h lis t o f   ex p er t p a n els   ex p er tis e   an d   y ea r s   o f   ex p er ien ce   a r s h o wn   in   T a b le  3 .       T ab le  2 .   C o n ten v alid atio n   f o r m   Ju d g m e n t s   H o w   r e l e v a n t   i t h i i t e m?   1   2   3   4   P r o b l e r e c o g n i t i o n   P r o b l e f i n d i n g   1.   A n a l y z e   e mp a t h y   ( u n d e r st a n d   f e e l i n g   o f   a n o t h e r )   o n   u s e r s   n e e d s           2.   S e l e c t   p r o mi s i n g   p r o sp e c t s wi t h   r e l e v a n t   j u s t i f i c a t i o n           3.   R e c o g n i z e   u n d e r l y i n g   i ss u e t h a t   ma y   n o t   b e   i m me d i a t e l y   a p p a r e n t           4.   D i st i n g u i s h   b e t w e e n   s y m p t o ms  a n d   r o o t   c a u ses   o f   p r o b l e ms           5.   I d e n t i f y i n g   i ssu e s,  c h a n g e s,  a n d   c h a n c e s fo r   i m p r o v e m e n t           6.   S e l e c t   p r o b l e ms   w o r t h   i n v e st i g a t i n g           F a c t   f i n d i n g   7.   G a t h e r   r e l e v a n t   d a t a   t o   u n d e r st a n d   t h e   p r o b l e c o n t e x t           8.   A n a l y z e   e x i st i n g   i n f o r ma t i o n   t o   i d e n t i f y   g a p s           9.   S u mm a r i z e   f i n d i n g i n   a   c l e a r   a n d   c o n c i se  m a n n e r           1 0 .   Ev a l u a t e   t h e   c r e d i b i l i t y   o f   s o u r c e s w h e n   c o l l e c t i n g   f a c t s           1 1 .   C o n s u l t   st a k e h o l d e r s t o   g a i n   d i f f e r e n t   p e r s p e c t i v e s   o n   t h e   p r o b l e m           P r o b l e d e f i n i t i o n   1 2 .   D e v e l o p   a   c o n c i se ,   m e a s u r a b l e ,   a n d   s y st e ma t i c   o b j e c t i v e s           1 3 .   C o n st r u c t   d e t a i l e d   p r o b l e m   st a t e m e n t           1 4 .   D e mo n st r a t e   i n n o v a t i v e   so l u t i o n   a p p r o a c h   f o r   c o n t i n u a l   i m p r o v e m e n t           1 5 .   A n a l y z e   t h e   p r o b l e a n d   f u l l y   d e scr i b e   t h e   p r o b l e i n   o w n   w o r d s           1 6 .   R e l a t e   t h e   p r o b l e t o   a   r e a l - w o r l d   n e e d           I d e a   g e n e r a t i o n   I d e a   e x p l o r a t i o n   1 7 .   G e n e r a t e s   a   w i d e   r a n g e   o f   d i v e r se  a n d   u n c o n v e n t i o n a l   i d e a b e f o r e   n a r r o w i n g   d o w n   t h e   o p t i o n s           1 8 .   D e mo n st r a t e s   sk i l l   i n   se l e c t i n g   a   sma l l e r   n u m b e r   o f   p r o mi s i n g   s o l u t i o n s fo r   f u r t h e r   e v a l u a t i o n   a n d   d e v e l o p me n t           1 9 .   B r a i n st o r m m u l t i p l e   so l u t i o n s t o   a   g i v e n   p r o b l e m           2 0 .   R e c o r d   a l l   g e n e r a t e d   i d e a s wi t h o u t   i m med i a t e   j u d g me n t           2 1 .   I d e n t i f y   p o t e n t i a l   b a r r i e r t o   i d e a   g e n e r a t i o n   a n d   a d d r e ss  t h e m           2 2 .   En c o u r a g e   u n c o n v e n t i o n a l   t h i n k i n g   d u r i n g   i d e a   g e n e r a t i o n   sess i o n s           2 3 .   C o l l a b o r a t e   w i t h   p e e r s t o   e x p a n d   i d e a   g e n e r a t i o n   e f f o r t s           2 4 .   U t i l i z e   f e e d b a c k   f r o o t h e r s t o   e n h a n c e   i d e a   e x p l o r a t i o n           S o l u t i o n   e v a l u a t i o n   2 5 .   A ssess  t h e   f e a s i b i l i t y   o f   p r o p o se d   s o l u t i o n s           2 6 .   C o m p a r e   p o t e n t i a l   s o l u t i o n s   a g a i n s t   e st a b l i sh e d   c r i t e r i a           2 7 .   A n a l y z e   r i sk s   a ss o c i a t e d   w i t h   e a c h   s o l u t i o n   o p t i o n           2 8 .   U se  d e c i si o n - m a k i n g   f r a mew o r k s   t o   g u i d e   e v a l u a t i o n s           2 9 .   S e e k   i n p u t   f r o m   e x p e r t s   w h e n   e v a l u a t i n g   s o l u t i o n s           3 0 .   P r i o r i t i z e   s o l u t i o n s   b a se d   o n   e f f e c t i v e n e ss   a n d   e f f i c i e n c y           3 1 .   D e v e l o p   a   p r o s   a n d   c o n s l i st   f o r   e a c h   p o t e n t i a l   s o l u t i o n           3 2 .   D o c u me n t   t h e   r a t i o n a l e   f o r   s e l e c t i n g   s p e c i f i c   s o l u t i o n s           I d e a   i m p l e me n t a t i o n   A c t i o n   p l a n   3 3 .   Ex p l a i n   c l e a r   p r o s p e c t   o f   s o l u t i o n s   t o   a c h i e v e   g o a l i n   w e l l - d e f i n e d   s t e p s           3 4 .   D e v e l o p   a   s t e p - by - st e p   a c t i o n   p l a n   f o r   i m p l e me n t i n g   a   s o l u t i o n           3 5 .   I d e n t i f y   n e c e ss a r y   r e so u r c e s f o r   su c c e ssf u l   i m p l e me n t a t i o n           3 6 .   A ssi g n   t i m e l i n e ss f o r   e a c h   t a sk   i n   t h e   p l a n           3 7 .   Ex p l a i n   c l e a r   p r o s p e c t   o f   s o l u t i o n s   t o   a c h i e v e   g o a l   i n   w e l l - d e f i n e d   s t e p s           3 8 .   C o mm u n i c a t e   t h e   a c t i o n   p l a n   c l e a r l y   t o   a l l   st a k e h o l d e r s i n v o l v e d           3 9 .   R e v i e w   a n d   a d j u st   t h e   a c t i o n   p l a n   a n e e d e d   b a se d   o n   f e e d b a c k           P r o t o t y p i n g   4 0 .   C r e a t e   a   p r o t o t y p e   o r   m o d e l   o f   t h e   p r o p o se d   so l u t i o n           4 1 .   Te st   t h e   p r o t o t y p e   u n d e r   r e a l - w o r l d   c o n d i t i o n t o   g a t h e r   d a t a           4 2 .   D o c u me n t   l e sso n l e a r n e d   d u r i n g   t h e   p r o t o t y p i n g   p r o c e ss           4 3 .   S o l i c i t   f e e d b a c k   o n   t h e   p r o t o t y p e   f r o m u s e r s a n d   st a k e h o l d e r s           4 4 .   R e f i n e   t h e   p r o t o t y p e   b a s e d   o n   t e s t i n g   r e su l t a n d   f e e d b a c k   r e c e i v e d           4 5 .   P r e sen t   f i n d i n g s fr o m   p r o t o t y p i n g   e f f o r t t o   r e l e v a n t   s t a k e h o l d e r s           4 6 .   P r e p a r e   f o r   f u l l - sca l e   i m p l e me n t a t i o n   b a s e d   o n   p r o t o t y p e   i n s i g h t s               2 . 3 .     Sa m pli ng   o f   ex pert   pa nels   I n   th is   s tu d y ,   ex p e r ts   wer d elib er ately   s elec ted   b ased   o n   th eir   r elev an t   ex p er tis in   th d o m ain   co n s tr u cts  o f   th e   in s tr u m en t.   T h er ef o r e,   p u r p o s iv s am p li n g   was  em p lo y ed   in   th is   s tu d y .   Fo llo win g   th eir   co n s en to   p ar ticip ate,   t h ey   we r s en ap p o in tm en t   letter s   an d   v alid atio n   m ater ials   th r o u g h   em ail.   T h e   ex p er ts   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       C o n ten t v a lid ity  o f a n   in n o va ti ve   b eh a vio r   r u b r ic  fo r   p o lytec h n ic  en g i n ee r in g   …  ( N o r   A is ya h   C h Dera s id )   4311   in v o lv ed   i n   th s tu d y   wer wi d ely   d is p er s ed   g e o g r ap h ically ,   s o   an   o n lin a p p r o ac h   was  u tili ze d   to   ca r r y   o u th ev alu atio n   a n d   v alid atio n   p r o ce s s es.  T h i n s tr u m en t   co n s is ts   o f   4 6   item s ,   an d   ea c h   p an el  o f   ex p er ts   was  g iv en   1 4   d a y s   to   r ev iew  an d   v alid ate  th item s   to   s tr ea m lin th p r o ce d u r e.     W h en   ev alu atin g   th in n o v at iv b eh av io r   r u b r ic,   it   i s   im p o r tan to   co n s id er   h o well  th r u b r i c   item s   r ef lect  th s p ec if ic   ch ar ac ter is tics   an d   co m p ete n cies  r elev an to   th c o n ten t   ar ea   [ 7 ] ,   [ 29 ] .   T h d etailed   in s tr u ctio n s   g iv en   to   t h ev alu ato r s   wer cr u cial  in   g u i d in g   th em   t h r o u g h   th is   p r o c ess .   T h ey   ca r ef u lly   r ev iewe d   ea ch   r u b r ic  item   to   ass ess   it s   alig n m en with   t h b eh av i o r s   an d   s k ills   im p o r tan f o r   in n o v ativ e   th in k in g   an d   p r o b lem - s o lv in g   in   th at  f ield .   Fo cu s in g   o n   m a k in g   ea ch   r u b r ic  item   r elev a n an d   ea s y   to   s co r im p r o v es  its   p r ac ticality .   E x p er ts   ar en co u r ag ed   to   c h ec k   i f   ea ch   item   ac c u r ately   r ef lects  im p o r tan t   asp ec ts   o f   in n o v ativ b eh a v io r   in   t h eir   s p ec if ic  f ield .   T h is   en s u r es th at  th item s   ar b ased   o n   th eo r y   an d   ap p licab le  in   r ea l - life   s itu atio n s ,   m ak in g   th e   r u b r ic  m o r r elev an t to   ac t u al  p r ac tices [ 3 0 ].       T ab le  3 .   E x p er ts   p an el  lis t   C o d e   Ex p e r t i se   C u r r e n t   i n st i t u t i o n s   Ex p e r i e n c e   ( y e a r s )   E1   A   d o c t o r a t e   h o l d e r :   r u b r i c   d e v e l o p m e n t   f o r   p r o d u c t   d e s i g n   i n n o v a t i o n   i n   f i e l d   o f   t e c h n i c a l   a n d   v o c a t i o n a l   e d u c a t i o n .   D e p u t y   D i r e c t o r   o f   t h e   I n n o v a t i o n   U n i t   a t   t h e   D e p a r t me n t   o f   P o l y t e c h n i c   E d u c a t i o n   a n d   C o m mu n i t y   C o l l e g e .   18   E2   A   l e c t u r e r :   c u r r e n t l y   t e a c h i n g ,   s u p e r v i si n g ,   a n d   a ssess i n g   s t u d e n t s’   f i n a l - y e a r   p r o j e c t s .   D e p a r t me n t   o f   M e c h a n i c a l   E n g i n e e r i n g ,   i n   p o l y t e c h n i c .   17   E3   A   l e c t u r e r :   c u r r e n t l y   t e a c h i n g ,   s u p e r v i si n g ,   a n d   a ssess i n g   s t u d e n t s’   f i n a l - y e a r   p r o j e c t s .   D e p a r t me n t   o f   M e c h a n i c a l   E n g i n e e r i n g ,   i n   p o l y t e c h n i c .   16   E4   A   l e c t u r e r :   c u r r e n t l y   t e a c h i n g ,   s u p e r v i si n g ,   a n d   a ssess i n g   s t u d e n t s’   f i n a l - y e a r   p r o j e c t s .   D e p a r t me n t   o f   El e c t r i c a l   En g i n e e r i n g ,   i n   p o l y t e c h n i c .   15   E5   A   l e c t u r e r :   c u r r e n t l y   t e a c h i n g ,   s u p e r v i si n g ,   a n d   a ssess i n g   s t u d e n t s’   f i n a l - y e a r   p r o j e c t s .   D e p a r t me n t   o f   C i v i l   En g i n e e r i n g ,   i n   p o l y t e c h n i c .   15   E6   A   d o c t o r a t e   h o l d e r   a n d   l e c t u r e r :   f a c i l i t a t i n g   i n d u st r y   c o l l a b o r a t i o n   a n d   i n n o v a t i o n   c o m p e t i t i o n s,   p a r t i c u l a r l y   i n   i n n o v a t i o n - d r i v e n   f i e l d s.   H e a d   o f   t h e   u n i t   o f   r e se a r c h ,   i n n o v a t i o n ,   a n d   c o mm e r c i a l i z a t i o n   i n   p o l y t e c h n i c .   18   E7   A   d o c t o r a t e   h o l d e r p sy c h o m e t r i c a n d   e d u c a t i o n a l   mea s u r e me n t   w i t h   e x p e r t i se  i n   r u b r i c   d e v e l o p me n t .   S e n i o r   l e c t u r e r   i n   p u b l i c   u n i v e r si t y .   18   E8   A   c i v i l   e n g i n e e r i n g   l e c t u r e r   w i t h   e x t e n d e d   e x p e r i e n c e   i n   c u r r i c u l u d e v e l o p me n t   a n d   st u d e n t   a ssessm e n t .   H e a d   o f   st u d e n t   p r o j e c t s,   u n i t   o f   r e s e a r c h ,   i n n o v a t i o n ,   a n d   c o mm e r c i a l i z a t i o n ,   i n   p o l y t e c h n i c .   18       2 . 4 .     Q ua ntif ic a t io n o f   co nte nt  v a lid it y   T h is   s ec tio n   o u tlin es  th m e th o d s   u s ed   to   q u an tif y   co n te n v alid ity   f o r   th in n o v ativ e   b eh av io r   ass es s m en r u b r ic  d ev elo p ed   f o r   p o ly tec h n ic  en g in ee r in g   s tu d en ts .   T h q u an tific atio n   in v o lv e d   two   k ey   m etr ics:   th co n ten v alid ity   in d ex   ( C VI )   an d   k ap p a   s tat is tics ,   wh ich   to g eth er   p r o v id co m p r eh e n s iv ev alu atio n   o f   item   r elev a n ce   a n d   ex p er t a g r ee m en t.     2 . 4 . 1 .   Co nte nt  v a lid it y   ind ex   T h co n ten v alid ity   o f   an   in s tr u m en ca n   b d eter m in ed   b y   co n s u ltin g   p an el  o f   ex p er ts   f o r   th eir   p er s p ec tiv es.   T h C VI   ap p r o ac h   is   th m o s u s ed   m eth o d   to   ass es s   co n ten v alid ity   b y   m an y   r esear ch er s ,   in clu d in g   t h o s in   s tu d ies  [ 3 1 ] [3 3 ].   C VI   m ea s u r es  ag r ee m en am o n g   ex p e r ts   o n   item s   r elev an ce .   T h C VI   ca n   b ev alu ate d   eith er   at  th in d iv id u al  item - lev el  c o n ten v alid ity   in d ex   (I - C VI )   o r   f o r   t h en tire   s ca le - lev el   co n ten v alid ity   in d ex   (S - C VI ) .   T h I - C VI   ca lcu lates  th p er ce n ta g o f   e x p er ts   wh o   co n s id er   a n   item   r elev an t,  wh ile  th S - C VI   is   d eter m in ed   b y   tak in g   th av e r a g o f   all  th e   I - C VI s   f o r   t h item s   in   th s ca le.   T h e   m ain   g o al  o f   t h C VI   is   to   t h o r o u g h ly   ass ess   h o ef f ec tiv ely   th item s ,   as  g r o u p ,   c ap tu r th e   in ten d e d   co n s tr u ct.   T o   elim in ate  th p o s s ib ilit y   o f   n eu tr al  r esp o n s es,  4 - p o in s ca le  is   u til ized ,   co n s is tin g   o f   th r atin g s 1 =n o r ele v an t,  2 =so m ewh at  r elev an t,  3 =q u ite  r ele v an t,  an d   4 =h i g h ly   r ele v an t.  B ef o r ca lcu latin g   th e   C VI ,   it  is   e s s en tial  to   r ef o r m at  th r elev an ce   r atin g s   b y   ass ig n in g   v alu o f   1   t o   s co r es  o f   3   o r   4 ,   a n d   v alu e   o f   0   to   s co r es  o f   1   o r   2 .   T h ca lcu latio n   o f   th C VI   in d ices,  as  p r esen ted   i n   T ab le   4 ,   is   e x em p lifie d   b y   d ata   p r o v id e d   in   T a b le  5   ( r esu lts ) .   C VI   v alu e,   wh ich   r an g es  f r o m   0   to   1 ,   i n d icate s   th s tr en g th   o f   co n te n v alid ity ,   with   h ig h er   v alu es   d en o tin g   b etter   v alid ity .   T h m in im u m   ac ce p ta b le  S - C VI   is   an y   v alu b etwe en   0 . 8 0   to   0 . 9 0   [ 1 8 ] ,   [ 3 4 ] ,   [ 3 5 ] .   Acc o r d in g   to   p r ev io u s   s tu d i es   [3 6 ] ,   [ 3 7 ] ,   it  is   r ec o m m e n d ed   th at   ju d g es  s h o u ld   h av at  least  an   8 0 %   ag r ee m en f o r   n ewly   d ev elo p ed   in s tr u m en ts .   T h u s ,   th e   ev alu atio n   cr iter ia  f o r   ea ch   ite m   ar as:  an   I - C VI   g r ea ter   th an   0 . 7 9   s ig n if ies  th at  th item   i s   d ee m ed   s u itab le.   Sh o u ld   th I - C VI   f all  with in   t h r an g o f   0 . 7 0   t o   0 . 7 9 ,   t h item   n ec ess itates  r e v is io n .   An   I - C VI   b elo 0 . 7 0   lead s   to   th item   b ein g   r e m o v ed .   Sev er al  s tu d ies   [ 3 7 ] ,   [ 3 8 ]   r ec o m m en d ed   s ettin g   th e   I - C VI   at  1 . 0 0   f o r   ca s es  in v o lv in g   f iv e   o r   f ewe r   ju d g es.  I n   c o n tr ast,  th e     I - C VI   s h o u ld   n o f all  b elo 0 . 7 8   f o r   s tu d ies  with   6   o r   m o r ex p er ts .   Ho wev er ,   t h I - C VI   s h o u ld   b at  least   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   6 Dec em b er   20 25 :   4 3 0 7 - 4 3 1 9   4312   0 . 7 8   f o r   r esear ch   in v o lv in g   s ix   o r   m o r e x p er ts .   T h is   m eth o d ical  ap p r o ac h   n o o n ly   in cr ea s es  th r ig o r   o f   th e   ev alu atio n   b u t a ls o   lay s   o u t a   d ef in itiv g u i d f o r   r ef in i n g   th in s tr u m en t in   r esp o n s to   ex p er t c r itiq u es.       T ab le  4 .   C VI   c alcu latio n   [ 2 0 ] ,   [ 3 6 ]   C V I   i n d i c e s   D e f i n i t i o n   F o r mu l a   I - C V I     Th e   p r o p o r t i o n   o f   c o n t e n t   e x p e r t s   g i v i n g   i t e a   r e l e v a n c e   r a t i n g   3   o r   4 .   I - C V I = ( a g r e e d   i t e m) / ( n u mb e r   o f   e x p e r t )   S - C V I / A v e   ( sca l e - l e v e l   c o n t e n t   v a l i d i t y   i n d e x   b a se d   o n   t h e   a v e r a g e   me t h o d )   Th e   a v e r a g e   o f   t h e   I - C V I   sco r e f o r   a l l   i t e ms  o n   t h e   sca l e   o r   t h e   a v e r a g e   o f   p r o p o r t i o n   r e l e v a n c e   j u d g e d   b y   a l l   e x p e r t s.  Th e   p r o p o r t i o n   r e l e v a n t   i t h e   a v e r a g e   o f   r e l e v a n c e   r a t i n g   b y   i n d i v i d u a l   e x p e r t .   S - C V I / A v e = ( su o f   I - C V I   sco r e s) / ( n u mb e r   o f   i t e m)   S - C V I / A v e = ( su m   o f   p r o p o r t i o n   r e l e v a n c e   r a t i n g ) / ( n u m b e r   o f   e x p e r t )       T ab le  5 .   I n ter p r etatio n   o f   k ap p s tatis tic  co ef f icien t   [ 1 8 ] ,   [ 3 6 ]   K a p p a   v a l u e s   I n t e r p r e t a t i o n   0 . 7 4   a n d   a b o v e   Ex c e l l e n t   0 . 6   t o   0 . 7 4   G o o d   0 . 4 0   t o   0 . 5 9   F a i r       2 . 4 . 2 .   K a pp a   T h C VI   is   wid ely   u s ed   m eth o d   f o r   e v alu atin g   c o n te n v alid ity .   Ho we v er ,   it  o v e r lo o k s   th e   p o ten tial f o r   ch a n ce   ag r ee m e n t to   in f lu en ce   th o u tco m es.  T o   ad d r ess   th is   lim itatio n ,   it i s   a d v is ab le  to   em p lo y   b o th   t h C VI   a n d   th m u lti - r a ter   k ap p s tatis tic  in   c o n ten v alid ity   r esear ch   [ 39 ] .   T h e   k a p p s tatis tic,   u n lik e   th C VI ,   co m p en s ates  f o r   ch a n ce   ag r ee m e n t,  p o in h i g h lig h ted   in   p r ev io u s   r esear ch   [ 40 ] ,   [ 41 ] .   As  an   in d ex   m ea s u r in g   th a g r ee m en t a m o n g   r ater s   an d   ad ju s tin g   f o r   ch a n ce ,   th k a p p s tatis tic  o f f er s   cr u cial  in s ig h ts   in to   th ex ten t o f   ag r ee m e n t th at  s u r p ass es m er ch an ce ,   m ak in g   it a n   ess en tial c o m p lem en t to   th C VI .   First,  it  is   n ec ess ar y   to   d eter m in th p r o b a b ilit y   o f   r a n d o m   co n co r d an ce   f o r   ev er y   item   t o   d eter m in e   th m o d if ied   k ap p s tatis tic.   T h is   is   d o n u s in g   th e   ( 1 )     PC = [ N ! / A !   ( N A ) ! ] 5N     ( 1 )     h er e ,   r ep r esen ts   th to tal  n u m b er   o f   ex p er ts   in   th p a n e l,  wh ile  d en o tes  th n u m b er   o f   p a n elis ts   wh o   b eliev th item   is   r elev an t.  A f ter   ca lcu latin g   th I - C VI   f o r   ea ch   item   in   th in s tr u m en t,  t h k ap p v alu was  o b tain ed   u s in g   th ( 2 ) :     K = ( I C VI Pc ) / ( 1 Pc )   ( 2 )     wh er e ,   p r o b a b ilit y   o f   ch an ce   a g r ee m en t ( Pc )   r ep r esen ts   th n u m er ical  v alu es o f   th Pc   an d   I - C VI   s ig n if ies th e   C VI   f o r   ea ch   item .   T h k a p p a   ev alu atio n   cr iter ia  class if y   v al u es a s   s ee n   in   T ab le  5 .       3.   RE SU L T S AN D I SCU SS I O N   T h f in d in g s   o f   th is   s tu d y   p r o v id s ig n if ican in s ig h ts   in to   th d ev elo p m e n an d   v alid at io n   o f   th in n o v ativ b e h av io r   ass ess m e n r u b r ic  f o r   p o l y tech n ic  en g in ee r in g   s tu d en ts .   T h a n aly s is   o f   th C VI   an d   m o d if ied   k ap p a   s tatis tics   r ev ea led   th r ee   cr itical  d im en s io n s   o f   in n o v ativ b e h av io r :   p r o b le m   r ec o g n itio n ,   id ea   g en er atio n ,   an d   i d ea   im p le m e n tatio n ,   e n co m p ass in g   t o tal  o f   4 6   ass ess m en item s .   No ta b ly ,   th e   cu m u lativ S - C VI   f o r   th r u b r ic   was  estab lis h ed   at  0 . 8 5 ,   i n d icatin g   a   h i g h   lev el  o f   c o n ten v alid ity   as  ass ess ed   b y   ex p er t   p an els.   T h av er a g S - C VI   s co r es  f o r   th d im en s io n s   o f   p r o b lem   r ec o g n itio n ,   id ea   g e n er atio n ,   a n d   id ea   im p lem en tatio n   in   in n o v ativ b eh av io r   wer 0 . 8 3 ,   r ef e r   to   T ab le  6 ;   0 . 8 0 ,   r ef e r   to   T ab le  7 ;   an d   0 . 9 1 r ef er   t o   T ab le  8 ,   r esp ec tiv ely .   T h e   r esu lts   d em o n s tr ated   th at  m o s item s   with in   th d im en s io n s   e x h ib ited   s tr o n g   ex p er t   co n s en s u s ,   with   I - C VI   v alu es  p r ed o m i n an tly   a b o v e   th ac ce p tab le  th r esh o l d   o f   0 . 7 0 .   Fo r   all  item s   ac r o s s   th e   th r ee   d im en s io n s ,   th I - C VI   v alu es  v ar ied   b etwe en   0 . 3 8   a n d   1 .   A n y   item   d is p lay in g   a n   I - C VI   b elo 0 . 7   s u g g ests   th n ec ess ity   f o r   r ef i n em en t.   Acc o r d in g   to   T ab le  6 ,   1 3   o u t   o f   1 6   item s   in   th p r o b lem   r ec o g n itio n   d im e n s io n   m et  th s tan d ar d ,   wh ile  1 0   o u t   o f   1 6   item s   in   th id ea   g en er atio n   d im en s io n   wer d ee m e d   ap p r o p r iate ,   as   s ee n   in   T ab le   7 .   T h e   an aly s is   p r esen ted   in   T ab le   8   in d icate s   th at   m o s o f   th e   ass ess ed   item s   in   id ea   im p le m e n tatio n   d e m o n s tr ate   p er f ec ag r ee m en b ey o n d   c h a n ce ,   as  ev id en ce d   b y   n i n o u t   o f   f o u r teen   item s   ac h iev in g   b o th   an   I - C VI   an d     k ap p a   s tatis tic  o f   1 . 0 0 .   Ho w ev er ,   s ev er al   item s   ac r o s s   all  d im en s io n s   f ell  b elo t h is   th r esh o ld ,   n ec ess itatin g   r ef in em en o r   r em o v al  to   en h an ce   th r u b r ic s   o v er all  ef f ec tiv en ess   [ 1 8 ] .   T h is   h ig h lig h ts   cr itical  asp ec o f   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       C o n ten t v a lid ity  o f a n   in n o va ti ve   b eh a vio r   r u b r ic  fo r   p o lytec h n ic  en g i n ee r in g   …  ( N o r   A is ya h   C h Dera s id )   4313   th v alid atio n   p r o ce s s n o o n l y   d o es  it  co n f ir m   wh ich   item s   ar r elev an t,  b u it  also   id en ti f ies  th o s th at  m ay   co m p r o m is th in teg r ity   o f   th ass ess m en to o l.  T h I - C VI   an d   k a p p s co r es  p la y   cr itical  r o le  in   th e   r ef in em en o f   ass ess m en t item s   in   d ev elo p in g   r u b r ic  f o r   in n o v ativ b eh av io r .       T ab le  6 .   R atin g s   f o r   p r o b lem   r ec o g n itio n   d im en s io n   o f   en g in ee r in g   s tu d en ts   in n o v ativ e   b e h av io r   I t e ms   E1   E2   E3   E4   E5   E6   E7   E8   Ex p e r t s   A g r e e   I - C V I   Pc   K   1   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   2   -   X   -   X   X   X   -   X   8   5   0 . 6 3   0 . 2 1 8 7 5 0   0 . 5 2   3   X   X   X   X   X   -   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   4   X   -   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   5   X   X   X   X   X   X   X   -   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   6   X   -   -   X   -   -   X   -   8   3   0 . 3 8   0 . 2 1 8 7 5 0   0 . 2 0   7   X   -   X   X   -   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   8   X   -   X   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   9   X   X   -   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   10   X   X   X   X   X   X   X   -   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   11   -   X   X   X   -   X   -   -   8   4   0 . 5 0   0 . 2 7 3 4 3 8   0 . 3 1   12   X   X   -   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   13   X   X   -   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   14   X   X   -   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   15   X   -   X   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   16   X   X   X   X   X   X   X   -   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   N o t e :   S - C V I   ( a v e r a g e ) = 0 . 8 3   ( a c c e p t e d ) .   I - C V I = i t e c o n t e n t   v a l i d i t y   i n d e x ;   P c = p r o b a b i l i t y   o f   c h a n c e   a g r e e me n t ;   S - C V I = sca l e   c o n t e n t   v a l i d i t y   i n d e x .       T ab le  7 R atin g s   f o r   id ea   g e n e r atio n   d im en s io n   o f   e n g in ee r in g   s tu d en ts   in n o v ativ b eh av i o r   I t e ms   E1   E2   E3   E4   E5   E6   E7   E8   Ex p e r t s   A g r e e   I - C V I   Pc   K   17   X   X   -   X   X   X   X   -   8   6   0 . 7 5   0 . 1 0 9 3 7 5   0 . 7 2   18   X   X   -   X   X   X   X   -   8   6   0 . 7 5   0 . 1 0 9 3 7 5   0 . 7 2   19   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   20   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   21   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   22   -   -   -   X   X   -   X   X   8   3   0 . 3 8   0 . 2 1 8 7 5 0   0 . 2 0   23   -   X   -   X   X   X   -   -   8   5   0 . 6 3   0 . 2 1 8 7 5 0   0 . 5 2   24   X   X   X   X   -   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   25   X   X   X   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   26   X   X   X   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   27   X   X   X   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   28   X   X   -   X   -   -   X   -   8   4   0 . 5 0   0 . 2 7 3 4 3 8   0 . 3 1   29   -   X   -   -   -   X   X   -   8   3   0 . 3 8   0 . 2 1 8 7 5 0   0 . 2 0   30   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   31   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   32   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   N o t e :   S - C V I   ( a v e r a g e ) = 0 . 8 0   ( a c c e p t e d ) .   I - C V I = i t e c o n t e n t   v a l i d i t y   i n d e x ;   P c = p r o b a b i l i t y   o f   c h a n c e   a g r e e me n t ;   S - C V I = sca l e   c o n t e n t   v a l i d i t y   i n d e x .       T ab le  8 .   R atin g s   f o r   id ea   im p l em en tatio n   d im e n s io n   o f   en g i n ee r in g   s tu d e n ts   in n o v ativ b eh av io r   I t e ms   E1   E2   E3   E4   E5   E6   E7   E8   Ex p e r t s   A g r e e   I - C V I   Pc   K   33   X   X   X   X   -   X   X   -   8   6   0 . 7 5   0 . 1 0 9 3 7 5   0 . 7 2   34   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   35   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   36   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   37   X   X   X   X   -   -   -   X   8   5   0 . 6 3   0 . 2 1 8 7 5 0   0 . 5 2   38   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   39   X   X   X   -   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   40   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   41   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   42   X   X   -   X   X   X   -   -   8   5   0 . 6 3   0 . 2 1 8 7 5 0   0 . 5 2   43   -   X   X   X   X   X   X   X   8   7   0 . 8 8   0 . 0 3 1 2 5 0   0 . 8 7   44   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   45   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   46   X   X   X   X   X   X   X   X   8   8   1 . 0 0   0 . 0 0 3 9 0 6   1 . 0 0   N o t e :   S - C V I   ( a v e r a g e ) = 0 . 9 0   ( a c c e p t e d ) .   I - C V I = i t e c o n t e n t   v a l i d i t y   i n d e x ;   P c = p r o b a b i l i t y   o f   c h a n c e   a g r e e me n t ;   S - C V I = sca l e   c o n t e n t   v a l i d i t y   i n d e x .       T h I - C VI   p r o v id es  clea r   m etr ic  f o r   d eter m in in g   item   r ele v an ce   b ased   o n   e x p er c o n s en s u s ,   wh ile   k ap p a   s co r es e v alu ate  th r eliab ilit y   o f   th at  co n s en s u s   b ey o n d   ch an ce   ag r ee m e n t [ 42 ] .   T o g eth er ,   th ese  m etr ics  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   6 Dec em b er   20 25 :   4 3 0 7 - 4 3 1 9   4314   g u id r esear c h er s   in   m ak in g   i n f o r m e d   d ec is io n s   a b o u w h ich   item s   to   r etain ,   r ev is e,   o r   r em o v e,   u ltima tely   lead in g   to   m o r v alid   an d   r eliab le  ass es s m en to o f o r   m ea s u r in g   in n o v ativ b eh av io r   am o n g   p o ly tech n ic  en g in ee r in g   s tu d en ts .   T h is   r ig o r o u s   r ef in em en p r o ce s s   is   ess en tial  f o r   en s u r in g   th at  th r u b r ic  ac c u r atel y   ca p tu r es  th e   m u ltifa ce ted   n atu r o f   in n o v atio n   a n d   e f f ec tiv el y   s u p p o r ts   ed u ca tio n al   o b jecti v es  in   e n g in ee r i n g   ed u ca tio n   [ 4 3 ] [ 44 ].   I tem s   with   an   I - C VI   o f   1 . 0 0   ( item s   1 ,   4 ,   9 ,   an d   1 4 )   also   h av e   k ap p a   v alu e   o f   1 . 0 0 ,   in d icatin g   p er f ec a g r ee m en t   b ey o n d   ch an ce .   Ho wev e r ,   i tem   6   h as  v er y   l o k a p p v alu ( 0 . 2 0 )   d u to   b o th   its   lo w     I - C VI   an d   h ig h er   ch an ce   ag r e em en t.   T h k ap p a   s tatis tic  f o r   m o s item s   was  with in   th r a n g o f   0 . 2 0   to   1 .   T h e   ev alu atio n   o f   t h r u b r ic  r ev ea l ed   s ig n if ican t in s ig h ts   r eg ar d i n g   its   co n ten t v alid ity ,   p a r ticu lar ly   with in   th id ea   g en er atio n   d im en s io n .   Ou o f   1 6   item s   ass ess ed ,   1 0   d em o n s tr ated   s tr o n g   r elev an ce   with   I - C VI   v alu es  ab o v e   0 . 7 9   a n d   f av o r ab le  k a p p s tati s tics ,   in d icatin g   h ig h   lev el  o f   ex p er t   co n s en s u s .   Ho wev e r ,   6   item s   ( 1 7 ,   1 8 ,   2 2 ,   2 3 ,   2 8 ,   an d   2 9 )   ex h i b ited   lo wer   I - C VI   s co r es  r an g in g   f r o m   0 . 3 8   to   0 . 7 5 ,   n ec ess itatin g   f u r th er   r ev is io n s .   No tab ly ,   3   o f   th ese  item s   h ad   k ap p s tatis tics   s ig n if ican tly   b elo 0 . 4 ,   s u g g esti n g   th at  t h eir   in clu s io n   co u l d   co m p r o m is th o v er all  v alid ity   o f   th e   r u b r ic.   T h S - C VI   f o r   th is   d im en s io n   was  ac ce p tab le  b u h ig h lig h ted   p o ten tial  is s u es  d u to   th p r esen ce   o f   s ev er al  lo w - s co r in g   item s .   h ig h er   S - C VI   in d icate s   t h at  th r u b r ic  ef f e ctiv ely   ca p tu r es  th e   in ten d e d   co n s tr u cts  o f   in n o v ativ e   b eh a v io r h o wev er ,   p r o b lem atic   item s   ca n   d etr ac f r o m   th is   o v er all  m ea s u r [ 4 5 ] .   T h f in d in g s   u n d e r s co r t h i m p o r tan ce   o f   m ain tain i n g   h ig h   s tan d ar d s   f o r   item   in clu s io n   to   e n s u r t h at  th e   r u b r ic  r e m ain s   r eliab le  to o l f o r   ass ess in g   in n o v ativ b e h av i o r   in   en g in ee r in g   s tu d en ts .   T h an aly s is   also   r e v ea led   th a item s   with   h ig h   I - C VI   s co r e s ,   b u lo w   k ap p a   v alu es  war r a n f u r th er   s cr u tin y .   Su ch   d is cr ep an cies  s u g g est  th at  wh ile  th er m a y   b ag r ee m en o n   an   item s   r elev an ce   am o n g   ex p er ts ,   th is   co n s en s u s   m ig h n o r ef lect  g en u in alig n m e n with   th co n s tr u ct  b ein g   m e asu r ed   as  h ig h lig h ted   by   p r ev io u s   r esear ch   [4 6 ] [ 4 7 ] .   T h is   d u al   ass ess m en u s in g   b o th   I - C VI   an d   k a p p a   s tatis tics   is   cr u cial  f o r   r ef in in g   t h r u b r ic  an d   en s u r in g   th at  it a cc u r ately   r ef lects in n o v ativ b e h av io r s .   B ased   o n   th ese  f in d in g s ,   9   ite m s   ( 2 ,   6,   1 1 ,   2 2 ,   2 3 ,   2 8 ,   2 9 ,   3 7 ,   an d   4 2 )   wer e   u ltima tely   r e m o v ed   f r o m   th in s tr u m en t   d u e   to   in s u f f ici en ex p e r s u p p o r ( less   th an   8 0 co n s en s u s ) .   T h is   d ec is io n   is   cr itical  b ec au s r etain in g   item s   lac k in g   r o b u s v alid atio n   c o u ld   lead   to   i n ac cu r ac ies  in   m ea s u r in g   s t u d en ts   in n o v ativ e   ca p ab ilit ies.  T h r em o v al  p r o ce s s   h ig h lig h ts   th n ec ess ity   o f   r ig o r o u s   v alid atio n   f r a m e wo r k   th at  p r io r itizes   ex p er ju d g m en t   an d   s tatis tica an aly s is   to   en h an ce   co n te n v alid ity .   T h e   u n d er ly in g   r ea s o n   f o r   th eir   r em o v al   is   th at  item s   lack in g   s u p p o r f r o m   at  least  8 0 o f   e x p er ts   c o u ld   lead   to   in ac cu r ac ies  o r   ir r elev an d ata  in   th e   in s tr u m en t,  co m p r o m is in g   its   o v er all  co n te n t v alid ity   [ 2 0 ] [ 4 8 ].     Ad d itio n ally ,   m o d if icatio n s   wer m ad e   to   s ev er al  item s   b ased   o n   ex p e r r ec o m m en d atio n s   to   im p r o v e   clar ity   an d   r e d u ce   r e d u n d a n cy .   R esear ch   b y   L o r en zo - Sev a n d   Fer r an d o   [ 49 ]   e m p h asized   th at   it  is   cr u cial  to   m in im ize  r ed u n d an cy   wh ile  m ain tain in g   r eliab ilit y   in   th d e v elo p m e n o f   th e   in s tr u m en t.  T h u s ,   I za h   et  a l.  [5 0 ]   r ec o m m en d ed   m eth o d s   s u ch   as  item   an aly s is   an d   o p tim izatio n   ca n   m in im i ze   r ed u n d an cy   a n d   im p r o v e   h o m o g en eity ,   en s u r in g   th at  test s   ar b o th   r eliab le   an d   e f f icien t.  Fo r   in s tan ce ,   item   1 7   ( g e n er ates  a   wid r an g o f   d iv er s an d   u n co n v e n tio n al  id ea s   b ef o r n ar r o win g   d o wn   th o p ti o n s )   an d   item   1 8   ( d em o n s tr ates  s k ill  in   s elec t in g   s m aller   n u m b er   o f   p r o m is in g   s o lu tio n s   f o r   f u r th er   ev alu atio n   an d   d ev elo p m e n t)   wer co m b i n ed   af ter   ex p er ts   n o ted   th eir   s im ilar   co n ten t.  T h is   s tr ea m lin in g   p r o ce s s   is   es s en tial   f o r   en s u r i n g   th at  ea c h   item   d i s tin ctly   ass es s es  s p ec if ic  as p ec o f   in n o v ativ e   b eh a v io r   w ith o u o v e r lap   [ 5 1 ] .   Desp ite  r ec eiv in g   f av o r ab le   C VI   s co r e,   item   3 3   ( e x p lain   cl ea r   p r o s p ec t o f   s o lu tio n s   to   ac h iev g o als in   well - d ef in ed   s tep s )   was f lag g ed   b y   ex p er t f ee d b ac k .   T h is   s u g g ests   th at  th item   m ay   n o t a lig n   w ell  with   th o v er all  co n s tr u ct  o r   c o u ld   b r e d u n d a n t w ith in   th co n tex t o f   t h ass ess m en t to o l.   Ov er all,   th iter ativ p r o ce s s   o f   item   r e f in em en a n d   e x p er t   v alid atio n   d em o n s tr ates  co m m itm en to   m eth o d o lo g ical  r ig o r   in   d ev elo p in g   an   ef f ec tiv e   ass ess m en to o l.   T h e   f i n al  3 5 - item   r u b r ic  r e p r esen ts     v alid ated   m ea s u r ca p ab le   o f   ac c u r ately   ass ess in g   in n o v ativ b eh a v io r   am o n g   p o ly t ec h n ic  en g in ee r in g   s tu d en ts ,   as  s h o wn   in   T ab le   9 .   B y   em p lo y in g   b o th   I - C VI   an d   k ap p a   an aly s es  th r o u g h o u th is   p r o ce s s ,     th s tu d y   en s u r es  th at  th r u b r ic  n o o n ly   alig n s   with   th eo r etica co n s tr u cts  b u al s o   m ee ts   p r ac tical     v alid atio n   s tan d ar d s .   T h is   co m b in ed   s tr ateg y   im p r o v es  th e   r eliab ilit y   an d   u s ab ilit y   o f   th r u b r ic  in   d if f er e n t   co n tex ts   [ 5 2 ] [ 5 3 ].       T ab le  9.   Su m m a r y   o f   item   am en d m en ts   D i me n si o n s   I t e n u mb e r   To t a l   n u m b e r   i t e ms   R e ma i n   R e v i s e   ( c o m b i n e )   R e m o v e   P r o b l e m   r e c o g n i t i o n   1,   3,   4,   6,   7,   8,   9,   1 0 ,   1 2 ,   1 3 ,   1 4 ,   1 5 ,   16     2,   5,   11   13   I d e a   g e n e r a t i o n   1 9 ,   2 0 ,   2 1 ,   2 4 ,   2 5 ,   2 6 ,   2 7 ,   3 0 ,   3 1 ,   32   1 7   a n d   18   2 2 ,   2 3 ,   2 8 ,   29   11   I d e a   i m p l e me n t a t i o n   3 4 ,   3 5 ,   3 6 ,   3 8 ,   3 9 ,   4 0 ,   4 1 ,   4 3 ,   4 4 ,   4 5 ,   46     3 3 ,   3 7 ,   42   11   To t a l   r e ma i n i n g   i t e ms   35     Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       C o n ten t v a lid ity  o f a n   in n o va ti ve   b eh a vio r   r u b r ic  fo r   p o lytec h n ic  en g i n ee r in g   …  ( N o r   A is ya h   C h Dera s id )   4315   C o n tex tu ally ,   th ese  f in d in g s   alig n   with   ex is tin g   liter atu r em p h asizin g   th im p o r tan ce   o f   s tr u ctu r ed   r u b r ics in   ed u ca tio n al  ass ess m en ts .   Pre v io u s   s tu d ies h av in d icate d   th at  tr ad itio n al  s elf - r e p o r ted   m ea s u r es c an   in tr o d u ce   s ig n if ican b iases ,   u n d er m i n in g   t h v alid ity   o f   ev alu atio n s   [ 5 4 ] [ 5 5 ] .   B y   e m p lo y in g   r ig o r o u s   v alid atio n   p r o ce s s   [ 5 6 ] in v o lv in g   ex p er r e v iew  an d   s tatis ti ca an aly s is ,   th i s   s tu d y   ad d r ess es  th ese   co n ce r n s ,   p r o v id i n g   m o r o b jectiv f r a m ewo r k   f o r   ass ess in g   in n o v ati v b eh a v io r s   in   en g in ee r in g   s tu d en ts .   T h i m p lic ati o n s   o f   t h es f i n d in g s   a r p r o f o u n d   f o r   b o t h   e d u c at o r s   a n d   s t u d e n ts .   Fo r   e d u ca t o r s ,   th e   v al id at ed   r u b r ic   s e r v es   as   a   r el iab le   t o o f o r   e v al u at in g   s t u d e n t   p er f o r m an ce   i n   in n o v at iv b eh av io r ,   f o s te r i n g   a   m o r e   s y s te m at ic  a p p r o a ch   t o   ass ess m e n t h at  a li g n s   wit h   e d u ca ti o n al  g o a ls .   I t   all o ws   i n s tr u ct o r s   t o   p r o v i d tar g ete d   f e e d b ac k   b ase d   o n   s p e ci f ic   c r it er ia ,   u lti m a tel y   e n h an ci n g   te ac h i n g   p r ac tic es  an d   s u p p o r t in g   s tu d en t   lea r n i n g   o u tc o m es.   F o r   s t u d e n ts ,   u n d e r s ta n d i n g   h o th ei r   in n o v ati v e   c a p a b il iti es  ar ass ess e d   ca n   p r o m o t e   s elf - r e f le cti o n   a n d   e n c o u r a g e   t h e m   t o   e n g a g e   m o r d ee p l y   w ith   t h ei r   le ar n i n g   p r o c ess es .   S u p p o r ti n g   lit er at u r e   r ei n f o r ce s   t h ese  f i n d i n g s ,   Y u s o p   et  a l .   [5 7 ]   h i g h li g h ts   t h a c l ea r   ass ess m e n t   c r it er ia  ar ess en t ial   f o r   p r o m o ti n g   s tu d e n en g ag em e n a n d   i m p r o v i n g   lea r n i n g   o u t c o m es.  T r a n s p a r e n ass ess m e n ts   e v al u at e   s tu d e n a b ili ties   a n d   in f o r m   t ea c h i n g   m et h o d s ,   p r o v i d i n g   f ee d b a ck   t h at   im p r o v e s   in s t r u c ti o n   a n d   s u p p o r ts   l ea r n in g .   F u r th e r m o r e ,   B r o o k h a r t   et   a l.   [5 8 ]   d is c u s s es   t h at   u s i n g   r u b r i cs  in   h i g h e r   e d u ca ti o n   b o o s ts   s t u d e n t   m o ti v ati o n   an d   a ca d e m ic   p e r f o r m a n c e.   I als o   p r o v i d es  c o n s tr u cti v e   f ee d b a ck   a n d   i n c r e ases   in te r est   i n   s ci en ti f ic   li te r at u r e.   Ad d itio n ally ,   th is   r esear ch   h ig h lig h ts   th im p o r tan ce   o f   o n g o in g   en h an ce m e n o f   ass es s m en in s tr u m en ts .   T h d etec tio n   an d   elim in atio n   o f   item s   with   lo I - C VI   s co r es  n o o n ly   s im p lifie s   th r u b r ic  b u t   also   g u ar an tees  th at  it  s tay s   co n ce n tr ate d   o n   ev alu atin g   p er tin en c o n s tr u cts.  T h is   p r o ce s s   o f   iter ativ e   r ef in em en t   is   cr u cial  f o r   u p h o ld in g   h ig h   s tan d ar d s   in   e d u c atio n al  ev alu atio n s   an d   m ak i n g   ce r tain   th at   th ey   tr u ly   r ep r esen s tu d en ts   ab il ities   [ 59 ] .   T o   s u m   u p ,   th is   s tu d y   m ak es  s u b s tan tial  c o n tr ib u tio n   to   th e   d is cu s s io n   s u r r o u n d in g   th e   ev alu atio n   o f   i n n o v ativ b e h av io r   in   e n g in ee r i n g   e d u ca tio n   b y   in tr o d u cin g     v alid ated   to o th at  im p r o v es   b o th   teac h in g   m eth o d s   an d   s tu d en in v o l v em en t.  As  in d u s tr ies  p r o g r ess iv ely   s ee k   g r ad u ates  ca p ab le  o f   cr e ativ th in k in g   an d   th a p p licat io n   o f   in n o v ativ s o lu tio n s ,   r e s o u r ce s   s u ch   as  th e   in n o v ativ b eh av i o r   ass ess m e n t r u b r ic   will b ess en tial in   eq u ip p in g   s tu d en ts   f o r   u p c o m in g   ch allen g es.       4.   CO NCLU SI O N   T h is   s tu d y   aim ed   to   a d d r ess   th cr itical  n ee d   f o r   ef f ec tiv e   m ea s u r em en to o ls   in   ass ess in g   in n o v ativ e   b eh av io r   am o n g   p o ly tech n ic   en g in ee r i n g   s tu d e n ts .   T h e   f in d in g s   co n f ir m   th at  th e   d e v elo p ed   in n o v ativ b eh av io r   ass ess m en r u b r ic  is   v alid   an d   r eliab le  in s tr u m e n f o r   ev al u atin g   k e y   d im e n s io n s   o f   in n o v atio n p r o b lem   r ec o g n itio n ,   id ea   g e n er atio n ,   an d   id ea   im p lem en t atio n .   T h e   r ig o r o u s   co n ten t   v alid atio n   p r o ce s s ,   wh ich   in clu d ed   e x p er r e v ie ws  an d   s tatis t ical  an aly s es  u s in g   th I - C VI   an d   k ap p a   s tat is tics ,   d em o n s tr ated   s tr o n g   e x p er t   co n s en s u s   o n   t h r elev a n ce   o f   m o s item s ,   with   an   o v er all   S - C VI   o f   0 . 8 5   in d icatin g   h ig h   co n ten v alid ity .   B y   em p l o y i n g   r o b u s v ali d atio n   p r o ce s s   u s in g   S - C VI ,   I - C VI ,   an d   k ap p a   a n aly s is ,   we  en s u r ed   t h at  th e   item s   s elec ted   f o r   th e   r u b r ic  alig n   with   e x p e r co n s en s u s   a n d   r ef lect  th e   ess en tial  co m p o n en ts   o f   th in n o v ativ e   b eh a v io r   c o n s tr u ct.   T h e   r esu lts   alig n   wi th   th ex p ec tatio n s   s et  f o r th   in   th in tr o d u ctio n ,   em p h asizin g   th im p o r tan ce   o f   s tr u ctu r ed   r u b r ics  in   en h an cin g   ass ess m en q u ality   an d   r ed u ci n g   b iases   ass o ciate d   with   s elf - r ep o r ted   m ea s u r es.  B y   s y s tem atica ll y   ev alu atin g   s tu d en ts   in n o v ativ ca p ab ilit ies  th r o u g h   clea r   cr iter ia,   th is   r u b r ic  n o o n ly   s u p p o r ts   ed u ca to r s   in   id en tify in g   an d   n u r tu r in g   s tu d en ts   p o ten tial  b u also   f o s ter s   an   en v i r o n m en co n d u civ e   to   cr ea tiv ity   a n d   p r o b le m - s o lv in g .   Fu r t h er m o r e,   th iter ativ e   p r o ce s s   o f   r ef in in g   item s   b ased   o n   ex p er f ee d b ac k   u n d er s c o r es  th c o m m itm en t   to   m et h o d o lo g ical   r ig o r   in   d ev elo p in g   ass ess m en to o ls .   T h r em o v al  o f   n in item s   th a d id   n o m ee t h estab lis h ed   v alid ity   th r esh o ld s   en s u r es  th at  th f in al  r u b r ic   r em ain s   f o cu s ed   a n d   ef f ec tiv e.   T h is   ca r ef u cu r atio n   e n h an ce s   th o v e r all  r eliab ilit y   o f   th e   in s tr u m en t,   t h er eb y   co n tr ib u tin g   to   its   p r a ctica ap p licatio n   in   e d u ca tio n al  s ettin g s .   Mo v in g   f o r war d ,   o n ce   th is   r u b r ic  is   f in alize d   th r o u g h   ad d itio n al  p h ases   lik f ac v alid atio n ,   cr iter io n   v alid atio n ,   an d   p r ac tical  test in g ,   it  is   ex p ec te d   to   p r o v i d ed u ca to r s   with   a   clea r ,   f o c u s ed ,   an d   co m p r eh e n s iv to o l.  T h is   to o l   will  b v ital  f o r   ev al u atin g   t h d if f er e n d im en s io n s   o f   in n o v ativ b eh av io r   in   s tu d e n ts ,   en s u r in g   t h at  th e   ev alu atio n   is   ac cu r ate  an d   a lig n ed   with   th s p ec if ic  g o a ls   o f   ed u ca tio n al  p r o g r am s   aim ed   at  f o s ter in g   in n o v atio n .   L o o k in g   a h ea d ,   th f in d in g s   f r o m   t h is   s tu d y   p av th way   f o r   f u tu r e   r esear ch   i n to   th e   ap p licatio n   an d   ef f ec tiv e n ess   o f   th r u b r ic   ac r o s s   d iv er s en g in ee r in g   c o n tex ts .   Fu r th er   s tu d ies  co u ld   e x p lo r e   h o t h is   ass ess m en to o in f lu en ce s   s tu d en lear n in g   o u tc o m es  an d   en g ag em e n in   i n n o v ativ p r o jects.  Ad d itio n ally ,   e x p an d i n g   its   u s to   o th er   ed u ca tio n al  in s titu tio n s   co u ld   p r o v id v alu ab le  in s ig h ts   in t o   its   ad ap tab ilit y   an d   ef f ec ti v en ess   in   m ea s u r in g   in n o v ati v b eh av i o r   b ey o n d   p o ly tech n ic   s ettin g s .   Desp ite  th p r o m is in g   r esu lts ,   th i s   s tu d y   h as   s o m lim itatio n s   th at  s h o u ld   b e   ac k n o wled g e d .   Firstl y ,   r ely in g   o n   ex p er ju d g m en f o r   co n ten v alid atio n   in tr o d u ce s   th p o ten tial  f o r   s u b jectiv b ias.  E v en   th o u g h   e f f o r ts   wer e   m ad e   to   en s u r e   d iv er s p an el   o f   ex p er ts ,   th e   o p in io n s   o f   a   lim ited   n u m b er   o f   e v alu ato r s   m ay   n o t   f u lly   ca p tu r e   all  p e r s p ec tiv es.  Ad d itio n ally ,   wh ile  th e   S - C VI ,   I - C VI ,   an d   k a p p a   an aly s es  p r o v id s tr o n g   s tatis t ical  s u p p o r f o r   co n te n v alid ity ,   th ey   d o   n o ad d r ess   o th er   asp ec ts   o f   v alid ity ,   s u ch   as  cr iter io n - r elate d   v alid ity ,   f ac e   v alid ity ,   an d   r elia b ilit y   test in g .   T h e   s tu d y   was  lim ited   to   c o n ten t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   14 ,   No .   6 Dec em b er   20 25 :   4 3 0 7 - 4 3 1 9   4316   v alid atio n ,   s o   th to o h as  y et  to   b test ed   f o r   h o well  it  m ea s u r es  in n o v ativ b eh av io r   in   p r ac tice.   Fu r th er m o r e ,   th to o was  d ev elo p ed   s p ec if ically   f o r   p o ly t ec h n ic  en g in ee r i n g   s tu d en ts ,   wh ich   m ay   lim it  its   g en er aliza b ilit y   to   o th e r   d is ci p lin es  o r   e d u ca tio n al  s ettin g s .   T h c o n s tr u cts  o f   in n o v ativ e   b eh av io r p r o b lem   r ec o g n itio n ,   id ea   g e n er atio n ,   an d   id ea   im p lem e n tatio n   m a y   m an if est  d if f er e n tly   ac r o s s   f ield s ,   wh ich   co u ld   r eq u ir a d ju s tm en ts   to   th e   to o l s   co n ten an d   s tr u ctu r e.   Ad d itio n ally ,   th elim in atio n   o f   c er tain   item s ,   wh ile   s tatis t ically   ju s tifie d ,   m ig h r esu lt  in   o m itti n g   p o ten tially   im p o r tan asp ec ts   o f   in n o v ativ b eh av io r   th at  wer e   n o t c ap tu r e d   b y   th r etain e d   it em s .     Fu tu r r esear ch   s h o u ld   f o cu s   o n   v alid atin g   th t o o in   r e al - wo r ld   s ettin g s   to   ass ess   it s   p r ac tical   ap p licab ilit y   an d   en s u r co n s tr u ct  v alid ity .   I m p lem e n tin g   t h to o in   d iv er s ed u ca tio n a in s titu tio n s ,   b o th   with in   an d   b ey o n d   p o ly tech n ic  co n tex ts ,   will  h elp   d eter m in its   g en er aliza b ilit y   an d   r eliab ilit y   ac r o s s   d if f er en p o p u latio n s .   Fu r th e r   s tu d ies  co u ld   ex p lo r w h eth er   th cu r r en c o n s tr u cts  o f   i n n o v ativ b eh a v io r   a r e   s u f f icien o r   if   ad d itio n al  d im en s io n s ,   s u ch   as  co llab o r atio n   o r   ad ap tab ilit y ,   m u s b in teg r ated   in to   th to o l.   I n   ad d itio n ,   f u tu r r esear ch   s h o u ld   co n s id er   co n d u ctin g   t h r u b r ic  alo n g s id ex is tin g   in n o v atio n   ass ess m en t   to o ls   in   th s am p o p u latio n   to   co m p a r th eir   r esu lts .   T h is   co u ld   in clu d e   an aly zin g   h o well  th r u b r ic   p er f o r m s   r elativ to   estab lis h ed   cr ea tiv ity   o r   in n o v atio n   m ea s u r es  r eg ar d in g   r eliab ilit y ,   ea s o f   u s e,   an d   co m p r eh e n s iv en ess .   Gath er in g   f ee d b ac k   f r o m   ed u ca to r s   o n   t h r u b r ic s   p r ac ticality   an d   im p ac t is en co u r ag e d .   C o n d u ctin g   s u r v e y s   to   ass ess   its   ea s o f   u s an d   clar ity   will  p r o v id e   in s ig h ts   in t o   im p r o v in g   it  as  a   class r o o m   ass es s m en to o l.  B y   p r o p o s in g   th ese  f u tu r s tu d ies,  th e   p ap er   ca n   h ig h li g h clea r   p ath   f o r   f u r th er   d ev elo p m e n an d   r e f in em en t   o f   th r u b r ic.   T h ese  s tu d ie s   will  n o o n ly   s tr en g t h en   t h th eo r etica an d   em p ir ical  f o u n d atio n   o f   th e   to o b u t   also   e x ten d   its   ap p lica b ilit y ,   m ak in g   it   r o b u s t   an d   v er s atile  in s tr u m en f o r   ass ess in g   in n o v ativ b eh a v io r   in   v a r io u s   ed u ca tio n al   an d   p r o f ess io n al  co n tex ts .   I n   s u m m ar y ,   th is   r esear ch   n o o n ly   f ills   cr itical  g ap   in   en g in ee r i n g   ed u ca tio n   ass ess m en b u also   o f f er s   r o b u s f r am ewo r k   f o r   ev alu atin g   in n o v ativ b eh av i o r s   th at  ar ess en tial  f o r   s u cc ess   in   to d ay s   d y n am ic  tec h n o lo g ical  lan d s ca p e.   T h im p licatio n s   o f   th is   s tu d y   ex ten d   b ey o n d   im m ed iat ed u ca tio n al  p r ac tices,  co n t r ib u tin g   to   b r o a d er   d is cu s s io n s   o n   q u ality   ass u r an ce   an d   ac co u n tab ilit y   in   h ig h e r   ed u ca tio n .       ACK NO WL E DG M E N T S   T h au th o r s   s in ce r ely   th an k   th Min is tr y   o f   Hig h er   E d u c atio n   Ma lay s ia  an d   th Dep ar tm en o f   Po ly tech n ic  a n d   C o m m u n ity   C o lleg E d u ca tio n   f o r   t h eir   s u p p o r an d   f ac ilit atio n   th r o u g h o u th is   s tu d y .   Sin ce r g r atitu d e   is   h er eb y   ex p r ess ed   to   th esteem ed   lectu r er s   an d   ac ad em ic   ex p er ts   f r o m   v ar io u s   p o ly tech n ics  a n d   in s titu tio n s   a f f iliated   with   th Min is tr y   o f   Hig h er   E d u ca tio n .   T h eir   in v al u ab le  ex p er tis an d   p r o f o u n d   in s ig h ts ,   as  p an el  m em b er s   d u r in g   th co n ten v al id atio n   p r o ce s s   o f   th in n o v ati v b eh av io r   r u b r ic,   wer p iv o tal  in   th e   s u cc ess f u l c u lm in atio n   o f   th is   r esear ch   e n d ea v o r .       F UNDING   I NF O R M A T I O N   T h au th o r s   wo u ld   lik to   e x p r ess   o u r   s in ce r ap p r ec iati o n   to   th Ma lay s ia  Min is tr y   o f   Hig h er   E d u ca tio n   f o r   th e   f in a n cial  s u p p o r p r o v id e d   u n d e r   th e   Fu n d am en tal  R esear ch   Gr an Sc h em ( FR GS  R ef FR GS /1 /2 0 2 3 /SS 1 0 7 /UT M/0 2 /1 4 )   with   Un iv er s iti T ek n o lo g i   Ma lay s ia  Vo t.N o :5 F6 3 9 .       AUTHO CO NT RI B UT I O NS ST A T E M E N T )   T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   No r   Ais y ah   C h Der asid                               Aed Hatib   Mu s ta’ am al  @   J am al                               No r n az ir Su h air o m                               Har y   Su s wan to                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.