I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   15 ,   No .   3 J u n e   20 26 ,   p p .   2249 ~ 2 2 6 0   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 15 i 3 . 3 9 0 4 1           2249       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Ev a lua ting  g a mified learning  st ra te g ies in    interne o things - ba sed so ft wa re  en g ineering  educati o n       Am neh Sha ba n 1 Ara Al  T a wil 2   1 D e p a r t me n t   o f   S o f t w a r e   En g i n e e r i n g ,   F a c u l t y   o f   I n f o r ma t i o n   Te c h n o l o g y ,   A p p l i e d   S c i e n c e   P r i v a t e   U n i v e r si t y ,   A mm a n ,   J o r d a n   2 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   F a c u l t y   o f   I n f o r ma t i o n   Te c h n o l o g y ,   A p p l i e d   S c i e n c e   P r i v a t e   U n i v e r si t y ,   A m man ,   J o r d a n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   9 2 0 2 6   R ev is ed   Ma y   5 2 0 2 6   Acc ep ted   Ma y   7 2 0 2 6       Th is  st u d y   e x a m in e t h e   e ffe c ti v e n e ss   o g a m ifi e d   f o rm a ti v e   a ss e ss m e n   in   u n d e rg ra d u a te  in ter n e o t h in g (Io T)  e d u c a ti o n ,   fo c u sin g   o n   h o w     c o n ten c o m p lex it y   a n d   q u e stio n   fo rm a in fl u e n c e   stu d e n p e rfo rm a n c e .     q u a si - e x p e rime n tal  c o m p a ra ti v e   d e sig n   wa e m p lo y e d ,   a d m in ist e rin g   two   g a m ifi e d   q u izz e to   7 5   u n d e rg ra d u a te  stu d e n ts  e n ro ll e d   in   two   I o T - re late d   c o u rse De v Op fo Io (n = 4 1 )   a n d   h u m a n   c o m p u ter  in tera c ti o n   in   I o T   (n = 3 4 d u ri n g   s p rin g   2 0 2 5 .   T h e   g a m ifi e d   p latfo rm   i n c o rp o ra t e d   v isu a l   fe e d b a c k ,   p ro g re ss   in d ica to rs,   a n d   i n tera c ti v e   c o m p o n e n ts.   Re su lt re v e a led   sta ti stica ll y   sig n if ica n d iffere n c e in   stu d e n p e rfo rm a n c e   b e t we e n   th e     two   q u iz  c o n d it i o n s,   with   h u m a n c o m p u ter  i n terfa c e   (HCI)  stu d e n ts   su b sta n ti a ll y   o u tp e rf o rm in g   D e v Op stu d e n ts.  Qu e stio n - lev e l   a n a ly sis   fu rth e i n d ica ted   t h a fil l - in - th e - b lan k   f o rm a ts  imp a ired   p e rfo rm a n c e   m o re   th a n   m u lt i p le - c h o ice   f o rm a ts,  a n d   a   p ro n o u n c e d   c e il in g   e ffe c wa o b se rv e d   in   th e   HCI  a ss e ss m e n t.   Th e se   fin d in g su g g e st  th a g a m ifi c a ti o n   e ffe c ti v e n e ss   is  c o n ti n g e n o n   a li g n m e n b e twe e n   c o n ten c o m p lex it y ,   q u e stio n   f o rm a t,   a n d   stu d e n ts   p rio k n o wle d g e .   E d u c a to rs   a re   a d v ise d   to   c a li b ra te  a ss e ss m e n d iffi c u lt y   a n d   q u e stio n   t y p e c a re fu ll y   w h e n   d e sig n i n g   g a m ifi e d   lea rn in g   e x p e ri e n c e s in   t e c h n ica e d u c a ti o n .   K ey w o r d s :   Fo r m ativ ass ess m en t   Gam if icatio n   I n ter n et  o f   th in g s   e d u ca tio n   L ea r n in g   a n aly tics   Stu d en t e n g a g em en t   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ar ar   Al  T awil   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   Facu lty   o f   I n f o r m atio n   T ec h n o lo g y ,   Ap p lied   Scien ce   P r iv ate  Un iv er s ity   Am m an ,   J o r d a n   E m ail: a r _ altawil@ asu . ed u . jo       1.   I NT RO D UCT I O N   I n   th last   d ec ad e,   g am if icat io n   h as  g ain ed   co n s id er ab le  tr ac tio n   in   en g in ee r i n g   an d   c o m p u tin g   ed u ca tio n   as  a   m ea n s   o f   im p r o v in g   en g ag em e n an d   m o tiv atio n   in   c h allen g in g   tech n ical  d is cip lin es  [ 1 ] .     T h ad d itio n   o f   g am elem e n t s   in   n o n - g am e   s itu atio n s   is   r ef er r ed   t o   as  g a m if icatio n .   Acc o r d in g   to   a   s tu d y   b y   m o d ellin g   lear n er   r esp o n s es  in   s o f twar en g in ee r in g   [ 2 ] ,   a d d in g   g am elem en ts   lik r o l e - p lay s   h ad   g o o d   im p ac o n   co g n itiv s k ills ,   p r o b lem - s o lv in g   an d   k n o wled g o f   th s u b ject  d o m ain .   Desp ite  th ese  b en ef its ,     it  m ay   n o b ef f ec tiv in   all  l ea r n er   p o p u latio n s   o r   ac ad e m ic  co n tex ts ,   with   v ar i o u s   s tu d ie s   r ep o r tin g   v a r y in g   ef f ec ts ,   d ep e n d in g   o n   th c h ar ac ter is tics   o f   s tu d en ts   an d   th co m p lex ities   o f   co u r s es  [ 3 ] .   T h m ea s u r em e n o f   s u s tain ab le  im p ac o f   g am if ie d   in ter v e n tio n s   o n   lear n in g   o u tco m es  is   s till   o p en   m eth o d o lo g ical  c h allen g e   [ 4 ] .   C o n ce r n s   lik th ese  ar esp ec ially   im p o r tan wh en   we  lo o k   at  r ap id ly   e v o lv in g   tech n ical  d o m ain s   lik in ter n et  o f   th in g s   ( I o T )   an d   Dev Op s   wh ich   h av m o r ab s tr ac co n ce p ts ,   h ar d war e - s o f t war d ep en d en cies  an d   c o n tin u o u s   in teg r atio n   a n d   c o n tin u o u s   d eliv e r y / co n tin u o u s   d e p lo y m e n ( C I /C D)   p i p elin co m p lex ities   [ 5 ] .   C o n f r o n tin g   th ese  o b s tacle s   s ee m s   to   r eq u ir n o v el  te ac h in g   m eth o d s ,   wh ich   lin k   t h eo r y   a n d   p r ac tical  ap p licatio n   wh ile  m ain tain in g   s tu d en t e n g ag e m en t th r o u g h o u t th lear n in g   p r o ce s s   [ 5 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 2 4 9 - 2 2 6 0   2250   T h d o m ain   o f   I o T   co m p r is in g   em b ed d ed   s y s tem s ,   s en s o r   n etwo r k s ,   clo u d ,   co m p u tin g ,   an d   d ata   an aly tics   r eq u ir e   in teg r ativ e   u n d er s tan d in g   in v o lv in g   n u m b er   o f   d is cip lin es   [ 6 ] .   I n   th s am way ,   s tu d en ts   ab ilit y   to   in ter n alize   co n tin u o u s   in teg r atio n   wo r k f lo ws  a n d   in f r astru ctu r a u to m atio n ,   wh ich   is   h ar d   to   ac h iev v ia  lectu r es,  is   cr itical  in   Dev Op s   ed u ca tio n   [ 5 ] .   As  cu r r icu la  ar e   u n a b le  to   k ee p   p ac with   r a p id l y   ad v an cin g   tech n o lo g y ,   t h n ee d   f o r   e x p er ien tial  a d ap tiv e   lea r n in g   to   r ed u ce   co n ce p tu al  c o m p lex ity   will g r o w,   with o u lo s in g   th e   atten tio n   o f   th lear n er   [ 4 ] .   T h aim - o r ien ted   ed u ca tio n al  m eth o d s   h elp   to   tr i g g er   t h e   in tr in s ic  m o tiv ato r s   s u ch   as  ac h iev em en t,  co m p etitio n ,   an d   team wo r k   [ 5 ]   an d   th is   ca n   b ac h iev ed   th r o u g h   g am e - b ased   lear n i n g .   T h u s o f   elem en ts   lik p o in ts ,   b ad g es,  an d   lead er b o a r d s   h av b ee n   s h o wn   to   en h a n ce   co n tin u o u s   m o tiv atio n   in   s o f t war en g in ee r in g   co u r s es   [ 5 ] .   Ho wev er ,   th er e’ s   n o m u ch   em p ir ical  ev id e n ce   r eg ar d in g   th eir   ef f ec tiv en ess   in   I o T   a n d   Dev Op s   d o m ain s   in   p ar ticu lar   [ 7 ] .   T h e   f o r m ativ ass es s m en t p lay s   an   im p o r tan r o le  in   co n tin u o u s   f ee d b ac k   o f   s tu d e n ts   an d   m o n ito r in g   lear n in g   [ 8 ] .   E x p e r ien tial  ass es s m en ts   en h an ce   lear n in g   wh ile   d eter m in in g   s tu d en ts   c o m p r e h en s io n   o f   cu r r ic u lar   p r o v is io n s .   Als o ,   th r o u g h   lear n in g   an aly tics   tech n iq u es,  f ac u lty   m em b er s   ca n   s y s tem atica lly   co llect  an d   a n aly ze   d ata  f r o m   t h s tu d en ts   in ter ac tio n s ,   s u ch   as  r esp o n s tim es,  attem p p atter n s ,   an d   a cc u r ac y   lev els,  to   id en tify   ar e as  o f   d if f ic u lty   th at  ca n   tr ig g er   ad a p tiv less o n s   [ 9 ] .   T h is   an aly s is   estab lis h es   r elatio n s h ip   b etwe en   g am i f ied   b eh av io r s   an d   lear n in g   o u tco m es,  th u s   in cr e asin g   th v alid ity   a n d   r esp o n s iv en ess   o f   ass ess m en d esig n   [ 10 ] .   No n eth eless ,   th m ajo r ity   o f   cu r r en s tu d ies  f o cu s   o n   th g am if icatio n   ef f ec o n   th g en er al  en g ag em e n m etr ics  an d   d o   n o t   lo o k   r ig o r o u s ly   at  h o th c o m p lex ity   o f   th co n ten t a n d   t h ty p o f   q u esti o n s   in ter ac t a n d   af f ec t th o u tco m e   o f   g am if ied   ass ess m en in   a   s p ec if ic  ar ea   o f   en g in ee r in g   [ 11 ] .   T h is   g ap   is   p ar ticu lar ly   s ig n if ican in   I o T   an d   Dev Op s   ed u ca tio n ,   wh er th tig h tly   co u p led   h a r d war e - s o f twar e - n etwo r k   s tack   an d   th v ar ied   co g n itiv e   d em an d s   o f   d if f er en t   to p ic  a r e as  m ay   s u b s tan tially   m o d er ate   g am if icatio n   ef f ec tiv en ess .   T h is   s tu d y   ad d r ess es   th is   g ap   b y   e m p ir ically   co m p ar in g   g am if ied   f o r m ativ as s ess m en ts   ac r o s s   t wo   I o T - r el ated   u n d e r g r a d u ate  co u r s es  o f   d if f er in g   co m p le x ity   lev els,  u s in g   lear n i n g   an al y tics   to   ex am in h o co n te n d if f icu lty ,   q u esti o n   ty p e,   an d   ass ess m en f o r m at  jo in tly   in f lu en ce   s tu d en p e r f o r m an ce   an d   en g a g em en t.  T h n o v elty   o f   th is   wo r k   lies   in   its   co n tex t - s p ec if ic  f o cu s   o n   I o T   an d   Dev Op s   c u r r icu la,   its   in teg r atio n   o f   f in e - g r ain e d   lear n in g   an aly tics   with   g am if ied   ass ess m en t,  an d   its   ex p licit  in v e s tig atio n   o f   wh eth e r   g am if ic atio n   atten u ates  o r   am p lifie s   p er f o r m a n ce   d if f er e n ce s   ac r o s s   s tu d en ts   o f   v ar y in g   ab ilit y   lev els.   T h er ef o r e ,   th i s   s tu d y   is   g u id ed   b y   th f o llo win g   r esear ch   q u esti o n s   an d   co r r esp o n d in g   h y p o th e s es:     H o d o es  g am if ied   ass ess m en im p ac t   s tu d en t   lear n in g   o u tco m es  ac r o s s   I o T - r elate d   co u r s es  with   d if f er en t c o n ten t c o m p lex ity   l ev els?   ( R Q1 )     W h at  is   th r elatio n s h ip   b et wee n   q u esti o n   d if f icu lty   a n d   s tu d en p er f o r m a n ce   in   g am if ied   ass ess m en t   en v ir o n m en ts ?   ( R Q2 )     H o d o es  q u esti o n   ty p e   ( m u ltip le - ch o ice  v s .   f ill - in - th e - b lan k   v s .   o p en - e n d ed )   af f ec r esp o n s ac cu r ac y   in   g am if ied   ass ess m en ts ?   ( R Q3 )     D o es  g am if icatio n   r ed u ce   p e r f o r m a n ce   v ar iab ilit y   am o n g   s tu d en ts   o f   v ar y in g   a b ilit y   lev els,  th er eb y   p r o m o tin g   m o r eq u itab le  lear n in g   o u tco m es?   ( R Q4 )     A   p o s itiv ass o ciatio n   ex is t s   b etwe en   g am if ied   f o r m ativ as s ess m en en g ag em en an d   lear n in g   o u tc o m es,  with   th s tr o n g est g ain s   o cc u r r in g   at  m o d er ate  co m p lex ity   le v els   ( H1 ) .     H ig h er   to p ic  c o m p lex ity   is   ass o ciate d   with   lo wer   r esp o n s a cc u r ac y ,   t h o u g h   th is   r elatio n s h ip   is   atten u ated   with in   g am if ied   en v ir o n m en ts   th r o u g h   in c r ea s ed   attem p ts   an d   tim e - on - task   ( H2 ) .     M u ltip le - ch o ice  item s   y ield   h ig h er   m ea n   ac c u r ac y   an d   s h o r ter   r esp o n s tim es  th an   f ill - in - th e - b la n k   a n d   o p en - e n d ed   item s ,   wh ile  o p e n - en d e d   item s   d em o n s tr ate  g r ea ter   d is cr im in ato r y   p o we r   f o r   h ig h er - o r d er   u n d er s tan d i n g   ( H3 ) .     P er f o r m an ce   v ar iab ilit y   b etwe en   lo wer -   a n d   h ig h e r - ac h iev i n g   s tu d en ts   is   r ed u ce d   in   g am if ied   ass ess m en t   s ettin g s ,   in d icatin g   n ar r o win g   o f   ac h iev em en g ap s   r elativ e   to   n o n - g am if ie d   co n te x ts   ( H4 ) .       2.   L I T E R AT U RE   R E VI E W   2 . 1 .     T heo re t ica f o un da t io ns   o f   g a m if ica t io n   Sch o lar s   lin k   g am if icatio n   with   v ar io u s   estab lis h ed   th eo r ies  th at  e x p lain s   its   m o tiv atio n al   m ec h an is m .   Acc o r d in g   to   th e   s elf - d eter m in atio n   th eo r y   ( SDT) ,   g am if icatio n   s tim u lates  in tr in s ic  m o tiv atio n   b y   s atis f y in g   th th r ee   b asic  p s y ch o lo g ical  n ee d s au to n o m y ,   co m p eten ce ,   a n d   r elat ed n ess   [ 12 ] ,   [ 13 ]   I n   g am if ied   lear n in g   en v ir o n m en ts ,   s p ec if ic  g am elem en ts   a r in ten tio n ally   alig n ed   with   t h ese  n ee d s ,   s u ch   as  p r o g r ess   in d icato r s   an d   p o i n ts   wh ich   p r o v id f ee d b ac k   o n   co m p eten ce ,   b r an ch in g   lear n in g   p ath way s   f o r   au to n o m y ,   a n d   lea d er b o a r d s   an d   c o llab o r ativ e   ch allen g e s   f o r   r elate d n ess   [ 14 ] [ 16 ] .   W h en   th o u g h tf u lly   d esig n ed ,   g am if ied   in ter v en ti o n s   h a v th e   p o ten tial  to   m ak d o n b o r in g   lea r n in g   task s   m o r r ewa r d in g   a n d   s u s tain   lear n er   p er s is ten ce   [ 17 ] .   T h ese  m o tiv atio n al  c o n s tr u c ts   ar f u r th er   o p er atio n alize d   t o   r elate   to   tan g ib le   m ea s u r es  o f   s u cc ess ,   s u ch   as  b ad g es  an d   e x p er ien ce   p o in ts ,   wh ich   ar lin k ed   t o   lear n er s   in ter n al  g o als  an d   f ee d b ac k   a b o u p er f o r m an ce   [ 18 ] [ 19 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   g a mified   lea r n in g   s tr a teg ies in   in tern et  o f th in g s - b a s ed   s o ftw a r en g in ee r in g     ( A mn eh   S h a b a n )   2251   C o g n itiv lo ad   th eo r y   ca n   b s ee n   as  co m p lem en tar y   a p p r o ac h   in   wh ich   th e   m en tal  ef f o r r eq u ir ed   to   en g ag i n   lear n in g   task   is   m an ag ed .   I n   th tec h n ical  en v ir o n m e n ts   in co r p o r ated   in to   g am es,  th in co r r ec t   a d j u s t m e n t   o f   l e v e ls   o f   c h a l l e n g e s   o r   u n k n o w n   q u e s t i o n   f o r m a t   l e a d s   t o   a n   e x t r a n e o u s   c o g n i t i v e   l o a d   b e i n g   i m p o s e d   o n   t h e   s t u d e n ts ,   w h i ch   c a n   e r a d i c a te   t h e   m o t i v a ti o n a l   a d v a n t a g e   o f   t h e   g a m e - li k e   e l e m e n ts   t h a w e r i n t e n d e d   b y   t h e   d e v e l o p e r s   [ 5 ] .   F l o w   t h e o r y   a d d s   t o   t h e   f r a m e w o r k   w i t h   a n   o p t i m a l   p s y c h o l o g i c a l   s t a t e ,   w h i c h   o c c u r s   w h e n   t as k   d i f f i c u lt y   m a t c h e s   l e a r n e r   s k i l l   l e v e l   [ 20 ] .   I n   c o m b i n a t i o n ,   t h e   t h r e e   t h e o r e t i c a l   p e r s p e c ti v e s   e x p l i c i tl y   e m p l o y e d   SD T c o g n i t i v e   l o a d   t h e o r y   a n d   f l o w   t h e o r y p r o p o s e   a   c o n c e p t u a l i z at i o n   t o   u n d e r s t a n d   h o g am if icatio n   in f l u en ce s   th co m p lex ity   o f   th co n ten t a n d   th d esig n   o f   ass ess m en ts   in   tec h n ical  ed u ca tio n .     2 . 2 .     G a m if ic a t io n a nd   s t ud ent   m o t iv a t io n in hig her  educa t io n   Acr o s s   th d if f er e n co n tex ts   o f   h ig h er   ed u ca tio n ,   t h er is   co n s is ten lin k   b etwe en   g am if ie d   lear n in g   s tr ateg ies  an d   an   in cr ea s in   s tu d en m o tiv atio n   an d   en g ag em en t   [ 14 ] [ 21 ] .   R esear ch   h as  s h o wn   th at  g am elem en ts   s u ch   as  p o in ts ,   b ad g es,  an d   lead er b o ar d s   eli cit  co m p etitiv an d   co o p er ati v d r iv es,  an d   th is   in cr ea s ed   tim e - on - task   a n d   p e r s is ten ce   [ 22 ] .   m eta - an aly s is   o f   g am if icatio n   s tu d ies  f u r th er   co n f ir m e d   th a t   g am e - b ased   in te r v en tio n s   co n s is ten tly   y ield   p o s itiv ef f ec ts   o n   lear n in g   o u tco m es  an d   s tu d en en g ag em e n t   ac r o s s   d iv er s ed u ca tio n al  s ettin g s   [ 2 3 ] .   s y s tem atic  r ev iew  b y   J ar am illo - Me d iav illa  et  a l .   [ 2 4 ]   co n f ir m e d   p o s itiv ass o ciatio n s   b etwe en   g am if icatio n   an d   ac a d em ic  m o tiv atio n   ac r o s s   d is cip lin es.  T o   f u r t h er   s u p p o r t   th ef f icac y   o f   g am if icatio n ,   Hellín   et  a l .   [ 14 ]   r ep o r h o u n iv er s ity   s tu d en ts   p er ce iv ed   g am if ie d   en v ir o n m en ts   to   p r o v id g r ea ter   v alu in   t h eir   lear n i n g .   Similar ly ,   s tu d en ts   also   f elt  th at  g am if ied   en v ir o n m en ts   en h a n ce d   th eir   in tr in s ic  m o tiv atio n .   Gam if i ca tio n   im p lem en tatio n   lead s   to   an   in c r ea s in   m o tiv atio n ,   en g a g em en t,  an d   ac h iev em en [ 15 ] .   W ijay et  a l .   [ 16 ]   s im ilar ly   n o ted   im p r o v em en ts   in   s cien ce .   Acc o r d in g   to   s y s tem atic  r ev iew  o f   h i g h   s ch o o l   an d   h ig h e r   e d u ca tio n s   g am if ie d   s tr ateg ies  [ 21 ] ,   g am if icatio n   lead s   to   th r ig h p r esen ce   o f   m o tiv atio n   as  lo n g   as  it  is   co n s id er ate  o f   co u r s o b jectiv es  an d   s tu d en ts   ex p ec tatio n s   an d   g o a ls .     2 . 3 .     G a m if ic a t io n in Io T   a nd   s o f t wa re   eng ineering   educ a t io n   Alth o u g h   th e   ev id en c b ase  f o r   g am if icatio n   i n   h ig h er   ed u ca tio n   is   g r o win g ,   we  k n o litt le  ab o u its   u s in   tech n ically   co m p lex   ar ea s   lik I o T   an d   Dev Op s   [ 2 5 ] .   Pas r esear ch   s tu d ies  o n   s o f twar en g in ee r in g   ed u ca tio n   h a v m ain ly   ex a m in ed   g en e r ic  en g ag e m en m etr ics  with o u s tr o n g   lin k   b etwe en   g am if ied   in ter ac tio n s   an d   d o m ain - s p ec i f ic  co m p eten cies  o r   lear n i n g   o u tco m es   [ 2 5 ] .   Alh am m a d   a n d   Mo r e n o   [ 2 5 ]   d id     s y s tem atic  m ap p in g   o f   g a m if icatio n   in   s o f twar en g i n ee r in g   ed u ca tio n   an d   i d en tifi ed   co n tin u in g   g ap   b etwe en   r ep o r ted   b en ef its   in   en g ag em e n an d   tech n ical  k n o wled g ac q u is itio n .   Ng an d u   et  a l .   [ 5 ]   s im ilar ly   p o in ted   o u th at  th s o f twar en g in ee r in g   g am if icatio n   liter atu r ap p ea r s   to   d is p r o p o r tio n ately   f o cu s   o n   th m o r s u r f ac e   asp ec ts   o f   en g a g in g   s tu d en ts   an d   d ev elo p in g   s k ills .   T h ed u ca tio n   o f   I o T   a n d   Dev Op s   h as  its   o w n   u n iq u e   s e o f   ch allen g es   u n lik e   o t h er   co m p u tin g   f ield s .   T h m u lti - lay er   C I /C wo r k f lo ws  at  th ce n ter   o f   Dev Op s   in v o lv tig h co u p lin g   o f   th h a r d war e - s o f twar e - n etwo r k   s tack   in   I o T   wh ich   is   d if f icu lt  t o   d ev elo p   b y   m er el y   u s in g   tr a d itio n al  ass es s m en f o r m ats   [ 5 ] [ 6 ] .   Go r d illo   an d   L ó p ez - Fer n án d ez   [ 1 ]   s h o we d   th at  ac tiv lear n in g   i n ter v en tio n s   in   s o f twar en g in ee r i n g   ed u ca tio n   h ad   s ig n i f ican tly   b etter   o u tco m es  th an   tr a d itio n al  lectu r es,  in d icatin g   th a g am if icatio n   h as   p o ten tial  in   th ese  tech n ically   d em an d in g   co n te x ts .   E m p ir i ca ass es s m en ts   in   en g in ee r in g   ed u ca tio n   h av e   f u r th er   co n f i r m ed   t h at  g am if i ca tio n   ca n   y ield   m ea s u r a b le  i m p r o v e m en ts   in   b o th   lear n in g   p er f o r m a n ce   an d   s tu d en en g a g em en w h en   a p p r o p r iately   d esig n e d   [ 2 6 ] .   N o n eth eless ,   ac co r d i n g   to   r ese ar ch er s ,   p e n etr atin g   ass es s m en m u s b ca r r ie d   o u in   o r d er   t o   ju d g wh et h er   g am if icatio n   ca n   im p r o v t h tr an s f er   o f   co m p lex   p r o b lem - s o lv in g   s k ill an d   p r ac tical  k n o wled g in   I o T   a n d   De v Op s   s p ec if ically   [ 22 ] [ 2 7 ] .     2 . 4 .     Ass ess m ent   f o rma t s   a n d g a m if ied le a rning   T h f o r m   o f   ass ess m en item s   was  f o u n d   to   b s ig n if ican m o d er atin g   f ac to r   in   g a m if ied   lear n in g .   Mu ltip le - ch o ice  q u esti o n s   ( M C Qs)  ar o f ten   co m p atib le  with   th f ast f ee d b ac k   c y cles o f   g am if ied   s y s tem s ,   as   th s y s tem   ca n   q u ick ly   r ein f o r ce   s co r es  an d   m o v th u s er   f o r war d   [ 5 ] .   Op en - r esp o n s ty p es  lik f ill - in - th e - b lan k   an d   o p en - en d e d   q u esti o n s   p lace   an   in cr ea s ed   co g n itiv lo ad   o n   u s er s   d u to   t h r eq u ir em e n o f   r ec allin g ,   r ath e r   th an   r ec o g n i zin g   in f o r m atio n ,   wh ich   m a y   also   in ter f er with   th e   m o tiv atio n al  f lo o f   th g am if ied   ass ess m en t   [ 20 ] .   Ac co r d in g   to   W illi g   et  a l .   [ 2 8 ] ,   wh ich   ty p e   o f   q u esti o n   s tu d en ts   ar ask ed   im p ac ts   h o en g ag e d   s tu d en ts   ar in   th co n tex o f   g am if icatio n   an d   clin ical  ed u ca tio n .   I f   th e   q u esti o n   was  n o r elev an to   th m ec h a n ics  o f   t h g am if icatio n ,   it  d ec r ea s ed   p er f o r m an ce   r ath e r   th an   im p r o v in g   it.  Mo r e o v er ,   th r ewa r d   s y s tem   m u s b b alan ce d item s   th at  ar to o   ea s y   lo s th eir   d iag n o s tic  v alu e,   wh ile  item s   th at  ar e   to o   d i f f icu lt  m ay   ca u s f r u s tr atio n   an d   lack   o f   i n v o lv e m en t ,   esp ec ially   with   h ig h   c o g n iti v lo ad s   [ 5 ].   I n   th is   r eg ar d ,   AI - g en e r ated   f ee d b ac k   h as  r ec en tly   b ee n   p r o p o s ed   as  p r o m is in g   m ec h an is m   to   en h an ce   th q u ality   an d   tim elin ess   o f   ass ess m en t f ee d b ac k   in   tech n o l o g y - e n h an c ed   lear n in g   en v ir o n m e n ts   [ 2 9 ] .   Alth o u g h   m u ch   h as  b ee n   wr it ten   ab o u g am if icatio n   in   e d u ca tio n ,   th er ar e   s till   cr u cial  g ap s .   Mo s o f   th ex is tin g   s tu d ies  in v esti g ate  g am if icatio n   in   g en er al  o r   in tr o d u ctio n   co m p u tin g   co u r s es.  T h er ar n o Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 2 4 9 - 2 2 6 0   2252   m an y   s tu d ies  co n ce r n i n g   s p ec if ic  tech n ical  d o m ain s   lik I o T   an d   Dev Op s   [2 5 ] .   Seco n d ,   t h er h av b ee n   f ew  s tu d ies  th at  s y s tem atica l ly   in v esti g ate  th in ter ac tio n s   th at  co n ten co m p lex ity   h a s   o n   g am if icatio n   ef f ec tiv en ess   an d   h o q u esti o n   f o r m at  m o d er ates  g am if ie d   ass es s m en in   tech n ical  ed u ca tio n   [ 5 ] [ 20 ] .   Fu r th er m o r e ,   f in e - g r ain ed   lea r n in g   an aly tics   s u ch   as  th r esp o n s tim e,   attem p p atter n   an d   q u esti o n - wis ac cu r ac y   h av e   n o b ee n   s u f f ic ien tly   ch ar ac ter ize d   in   ter m s   o f   g a m if icatio n   e f f ec tiv en ess   in   an   I o T   ed u ca tio n   co n tex t   [ 11 ] .   T h e   f o u r th   is s u r elate d   to   eq u ity   o u tco m es  i. e. ,   wh eth er   g am i f icatio n   r ed u ce s   o r   ex ac er b ates   p er f o r m an ce   d if f er en ce s   ac r o s s   s tu d en ts   o f   d if f er en a b ilit y   lev els  h as  n o r ec eiv ed   m u ch   atten tio n   i n   en g in ee r in g   ed u ca tio n .   T h is   r esear ch   tack les  th ese  v o id s   h ea d - o n   with   an   em p ir ical  co m p ar ativ s tu d y   o f   g am if ied   f o r m ativ ass ess m en t a cr o s s   2   I o T - r elate d   co u r s es o f   d if f e r en t c o n ten t c o m p lex ities .       3.   RE S E ARCH   M E T H O D   3 . 1 .     Resea rc d esig n   Utilizin g   q u asi - ex p e r im en t al  co m p ar ativ e   d esig n ,   th is   s tu d y   will  ex am i n wh eth e r   a   g am if ied   f o r m ativ ass ess m en is   ef f ec t iv f o r   two   u n d er g r ad u ate  I o T - r elate d   co u r s es  o f   d if f er i n g   c o n ten co m p lex ity .   I n   s p r in g   2 0 2 5 ,   two   d if f e r en t   g am if ied   q u izze s   wer r u n   with   d is tin ct  g r o u p s   o f   s tu d e n ts   u s in g   b etwe en - s u b jects  co m p ar is o n   ap p r o ac h .   T h d esig n   u s ed   was  d u t o   th r ee   co m p lem en tar y   th eo r i es.  First,  SDT   wa s   u s ed   to   u n d e r s tan d   h o g a m if icatio n   m ec h a n ics  ca n   a d d r ess   th p s y c h o lo g ical  n ee d s   o f   s t u d en ts   with   r esp ec t   to   au to n o m y ,   c o m p eten ce   an d   r elate d n ess .   Seco n d ,   co g n itiv lo ad   th e o r y   was  u s ef u in   u n d er s tan d i n g   h o w   th ty p a n d   lev el   o f   c o n ten d if f icu lty   ca n   in f l u en ce   lea r n er   p e r f o r m an ce   u n d e r   ass ess m en co n d itio n s .   Fin ally ,   th f lo th eo r y   was   u s ed   to   ev alu ate  th b alan c o f   ch allen g e - s k ill  in   g a m if ied   en v ir o n m en t.     B y   m ea n s   o f   th ese  f r am ewo r k s ,   m u ltid im en s io n al  ex am i n atio n   o f   b o th   m o tiv atio n al  a n d   co g n itiv asp ec ts   o f   g am if ie d   ass ess m en t w as p o s s ib le.     3 . 2 .     P a rt icipa nts   T h s tu d y   in clu d ed   7 5   u n d e r g r ad u ate  s tu d en ts   ( 4 1   Dev Op s   f o r   I o T   an d   3 4   h u m an co m p u ter   in ter f ac ( HC I )   in   I o T   s tu d e n ts )   f r o m   m e d iu m - s ized   u n i v er s ity   th at  o f f er s   a   d e d icate d   I o T   s p ec ializatio n   tr ac k .   Un d er g r ad u ate  s tu d en t s   f r o m   f ield s   o f   c o m p u ter   s cien ce ,   s o f twar en g in ee r in g ,   an d   in f o r m atio n   tech n o lo g y   ( I T )   wer p ar tic ip an ts .   Stu d en ts   en r o lled   in to   th co u r s th r o u g h   co n v en ien ce   s am p lin g .     T h in clu s io n   cr iter ia   s tip u lated   th at   s tu d en h ad   to i )   en r o ll  in   th e   I o T   s p ec ializatio n   tr ac k ;   ii )   r e g is ter   in   o n e   o f   th two   tar g et  co u r s es  in   s p r in g   2 0 2 5 ;   an d   iii )   co m p lete  th g am if ied   q u iz  as  p ar o f   th c o u r s e.     W ex clu d ed   s tu d en ts   th at  d id   n o s u b m it  o r   d i d   n o c o n s en t   to   th r esear ch .   All  p ar ticip an ts   co n s en ted   to   th e   s tu d y   an d   all  d ata  co llectio n   was  an o n y m o u s   with   p s eu d o n y m o u s   id en tifie r s   in   u s e.   Dem o g r ap h ic  f ac to r s   s u ch   as  g en d e r   wer n o s y s tem atica lly   an aly ze d   in   th is   s tu d y h o we v er ,   p r io r   r esear ch   s u g g ests   th at  g en d er   m ay   m o d er ate  g am if ie d   lear n i n g   o u tc o m es in   co m p u tin g   ed u ca tio n   [ 3 0 ] .     3 . 3 .     Co urs d escript io ns   T h Dev Op s   f o r   I o T   co u r s e d u ca ted   s tu d e n ts   ab o u ad v an c ed   s o f twar e n g in ee r i n g   p r ac ti ce s   f o r   t h d ev elo p m e n an d   d ep lo y m en t   o f   c o m p lex   I o T   ar c h itectu r es  co v er in g   th e   u s o f   C I /C p ip elin es,  o v er - th e - air   ( OT A)   u p d ates,  co n tain er izat io n ,   in f r astru ctu r as  co d e,   s ec u r ity   in teg r atio n .   As  p er   B lo o m s   tax o n o m y ,   ap p licatio n   an d   an aly s is - lev el  co m p eten cies w er em p h asized   in   th co u r s an d   s tu d en ts   h ad   to   in teg r ate  th eir   k n o wled g i n   h ar d war e,   s o f tw ar e,   an d   n etwo r k .   T h HC I   in   I o T   co u r s f o cu s ed   o n   d esig n in g   u s er   in ter f ac es  an d   ex p e r ien ce s   f o r   I o T   s y s te m s .   I in clu d ed   ac ce s s ib ilit y ,   v o ice - en ab le d   in ter f ac es,  g est u r r ec o g n itio n   a n d   u n iv er s al  d esig n .   T h e   co u r s was  h ea v ily   weig h ted   to   k n o wled g an d   co m p r eh e n s io n   l ev el  o b jectiv es  a n d   s elec ted   h ig h er   o r d er   th in k i n g   task s ,   alo n g   with   m o r c o n cr ete  co n ten s tu d e n ts   alr ea d y   i n ter ac with   th r o u g h   tech n o lo g y .     3 . 4 .     I ns t rum ent s   T h two   q u izze s   u s ed   g a m if ied   lear n in g   ap p licatio n   th at  was  co m m er cial  o f f - t h e - s h el f   an d   h ad   p o in s co r in g ,   v is u aliza tio n   o f   p r o g r ess   in   r ea tim e,   au to m atic  f ee d b ac k   o n   s u b m is s io n   an d   tim war n in g s .   W d is ab led   th lead er b o ar d   f ea tu r to   av o id   s o cial  co m p ar is o n   an x iety .   T h e   p latf o r m   co u ld   b ac ce s s ed   f r o m   a n y   d e v ice  o n   s tan d ar d   web   b r o wser s   with   b asic c o m p u ter   liter ac y .   T h Dev Op s   q u iz  co n s is ted   o f   ten   q u esti o n s ,   o f   wh ich   n i n wer m u ltip le - ch o ice  ( with   f o u r   o p tio n s   ea ch )   wh ich   in v o lv e d   r ec o g n i zin g   C I /C p r ac tices,   Dev Op s   to o ls ,   an d   co n tain er izatio n   co n ce p ts ,   an d   o n e   f ill - in - th e - b lan k   wh ic h   r e q u ir e d   r ec all  o f   tech n ical  ter m s .   T h HC I   q u iz   co n s is ted   o f   elev e n   q u esti o n s ,   ten   o f   wh ich   wer e   m u ltip le   ch o ice   c o v er in g   ar ea s   s u ch   as   th d ef i n itio n   o f   HC I   a n d   p r i n cip les  o f   ac ce s s ib ilit y ,   an d   th in ter ac tio n   m o d alities   o f   t h I o T .   T h f i n al  wo r d   clo u d   q u esti o n   was  an   o p en - en d ed   q u esti o n   th at  ask ed   s tu d en ts   wh at  th ey   alr ea d y   k n ew  ab o u th b en ef its   r elate d   to   g estu r r ec o g n itio n .   T h e   in s tr u cto r s   en s u r ed   th at  th q u iz  c o n ten ts   co r r esp o n d ed   with   co u r s lear n in g   o b jectiv es.  Du to   r eso u r ce   co n s tr ain ts ,   we  co u ld   n o t g et  th e x p er p an el  r e v iew,   wh ich   is   lim itatio n   o f   th e   s tu d y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   g a mified   lea r n in g   s tr a teg ies in   in tern et  o f th in g s - b a s ed   s o ftw a r en g in ee r in g     ( A mn eh   S h a b a n )   2253   3 . 5 .     P r o ce du re   T h q u izze s   wer co n d u cted   d u r in g   s ch ed u led   class es  in   co m p u ter   lab s   with   tech n ical  s u p p o r at  th e   u n iv er s ity .   Stu d en ts   wer e   g iv en   b r ief   s tan d a r d ized   in s tr u ct io n s   o n   th e   q u iz   f o r m at,   n av ig atio n ,   a n d   tim e.   Stu d en ts   d id   n o h av s p ec i f ic  tim lim it;  th u s ,   th ey   wer ass es s ed   u n d er   s im ilar   co n d itio n s   at  th eir   o wn   p ac e.   Du to   th f ir s t - r esp o n s co m m itm en d esig n   o f   th p latf o r m ,   s tu d en ts   co u ld   n o r ev is it  th s u b m itted   q u esti o n s .   T h f o r m ativ e   ass ess m en cr iter ia  f o r   b o th   q u i zz es  co n tr ib u ted   to   s tu d e n ts   f in al  co u r s g r a d es  p r o v id i n g   en o u g h   m o tiv atio n a l in ce n tiv with o u h ig h - s tak e s   an x iety .     3 . 6 .     Da t a   c o llect io n   T h p latf o r m   r ec o r d ed   i n d iv id u al  s tu d en p er f o r m a n ce   an d   e n g ag em e n d ata  au to m atica lly .   T h to tal   s co r o b tain ed   b y   th r esp o n d en ts   in   th q u iz,   ex p r ess ed   as  p er ce n tag o f   th q u esti o n s   an s wer ed   co r r ec tly was  t h m ai n   o u t c o m m ea s u r e.   Ot h e r   m e as u r es  w er th p e r - q u est i o n   a cc u r ac y   ( co r r e ct/i n co r r ec t/ u n att em p t ) ,   tim e - on - task   p er   q u esti o n   ( in   s ec o n d s ,   f r o m   d is p lay   t o   s u b m is s io n ) ,   co m p letio n   r ates,  an d   r esp o n s s eq u en ce   p atter n s .   Deta ils   f o r   in d iv i d u al  q u esti o n s   ( m ea n   a cc u r ac y ,   m ea n   co m p letio n   tim e) ,   as  well  as  d is tr ac to r   s elec tio n   s tatis tics   f o r   MCQs ,   wer ex p o r te d   in   f o r m at  s u it ab le  f o r   a n aly s is .     3 . 7 .     Va ri a bles   T h co u r s co n d itio n   ( Dev Op s   v s .   HC I )   s er v ed   as  th m ain   in d ep en d e n v ar iab le,   ac tin g   as  p r o x y   f o r   c o n ten t   co m p lex ity .   T h e   s ec o n d   in d ep e n d en t   v ar ia b les  q u esti o n   ty p ( m u ltip le - ch o ic e,   f ill - in - th e - b lan k ,   o p en - e n d ed )   an d   q u esti o n - lev el  d if f icu lty   o p er atio n alize d   a cc o r d in g   to   em p ir ical  ac c u r ac y   r ates.  I n   ter m s   o f   b o th   th o u tco m a n d   p r ed ict iv m ea s u r es,  “tim o n   task   f u n ctio n e d   as  th at.   T h o v er all  q u iz  s co r e,   th e   p r o p o r tio n   o f   ac cu r ate  r esp o n s es  p er   q u esti o n ,   p er f o r m an ce   v ar ia b ilit y   ( co ef f icien o f   v a r iatio n   o r   C V= σ ×1 0 0 ) ,   an d   p ass   r ate  ( r atio   o f   s tu d en ts   wh o   s co r e d   6 0 ar s tu d en ts   wh o   f ail   th q u iz  was  o u r   d ep en d e n t v ar iab les).     3 . 8 .     Da t a   a na ly s is   Data   an aly s is   was  co n d u cted   u s in g   Py th o n   3 . x   with   N u m Py ,   Pan d as,  SciPy ,   an d   Ma tp lo tli b   lib r ar ies.  Statis t ical  s ig n if ican ce   was set   at  α =0 . 0 5   f o r   all  test s .     3 . 8 . 1 .   Descript iv s t a t is t ics   C en tr al  ten d en cy   an d   d is p er s io n   wer ch ar ac ter ized   th r o u g h   m ea n   ( μ ) ,   m ed ia n   ( M) ,   s tan d ar d   d ev iatio n   ( σ ) ,   v a r ian ce   ( σ ² ) ,   r a n g e,   in ter q u ar tile  r a n g ( I QR ) ,   an d   s tan d a r d   er r o r   ( SE) .   Dis tr ib u tio n   p r o p er ties   wer ass es s ed   v ia  s k ewn ess   an d   k u r to s is   co ef f icien ts .   T h CV   was  ca lcu lated   as   in   ( 1 ) .   Pas s   r ates  wer e   d eter m in ed   as th p er ce n ta g o f   s tu d en ts   ac h iev in g   s co r es ≥   6 0 %.        =   (   /   )   ×   100   ( 1 )     3 . 8 . 2 .   No rma lity   a nd   ho mo g eneit y   t ests   Dis tr ib u tio n al  n o r m ality   was  ev alu ated   u s in g   th Sh ap ir o - W ilk   tes t,  u n d er   th n u ll  h y p o th esis   th at   d ata  f o llo n o r m al  d is tr ib u t io n .   Var ian ce   h o m o g e n eity   b e twee n   g r o u p s   was  ass es s ed   u s in g   L ev en e’ s   test ,   test in g   H₀:  σ ²₁= σ ²₂.     3 . 8 . 3 .   I nfe re ntia s t a t is t ics   Me a n   d if f e r en ce s   b et wee n   q u i co n d it io n s   w er e x a m i n e d   u s in g   t h e   i n d e p e n d e n t   s a m p les   t - test   i n   ( 2 ) .   T h M a n n - W h it n e y   U   t est  p r o v i d e d   n o n - p a r a m et r i v a li d at io n .   E f f ec s i ze   was  q u a n t if ie d   u s i n g   C o h en s   d     in   ( 3 ) ,   wh er th p o o le d   s t a n d ar d   d e v i ati o n   is   i n   ( 4 ) .   C o n f id en ce   in te r v als   ( C I )   ( 9 5 % )   w er c o n s t r u ct ed   u s in g   th e   t - d is t r i b u ti o n .       =   (     )   /   ( ²₁ /   +   ²₂ / )     ( 2 )       =   (     )   /   ₒₒ ₗₑᵈ   ( 3 )     ₒₒ ₗₑ   =   [ ( ( 1 ) ²₁   +   ( 1 ) ²₂ )   /   ( + 2 ) ]   ( 4 )     3 . 8 . 4 .   Q ues t io n - lev el  a na ly s is   T o   u n d er s tan d   th item   lev el  d if f icu lties ,   ac cu r ac y   r ates  an d   m ea n   co m p letio n   tim es  wer an aly ze d   ac r o s s   all  q u esti o n s .   T o   ex am in th e   r elatio n s h ip   b etwe en   t im o n   task   a n d   r esp o n s e   ac c u r ac y ,   Pear s o n s   r   an d   Sp ea r m an s   p   co e f f icien t s   wer ca lcu lated   co m p ar is o n   ac r o s s   th d if f er en ty p es  o f   q u esti o n s   was  d o n e   u s in g   s tr atif ied   an aly s is .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 2 4 9 - 2 2 6 0   2254   3 . 9 .     M et ho do lo g ic a l im it a t io ns   I is   i m p o r t an t o   n o t t h e   v ar i o u s   l im ita ti o n s   o f   th r es e ar ch   d esi g n .   T h e   f in d i n g s   m ay   n o t   b g e n e r a liz a b le   t o   o t h e r   i n s ti tu ti o n s   o w in g   t o   t h e   co n v e n i e n ce   s a m p li n g   a p p r o a ch .   T h e   tw o   co u r s e   g r o u p s   we r e   n o o n l y   d i f f e r e n t   i n   t h e   c o m p le x it y   o f   c o n te n t ,   b u als o   i n s t r u c to r ,   t ea ch in g   m et h o d o l o g y ,   a n d   s tu d en t   b a ck g r o u n d ,   w h ic h   i n t r o d u c es   u n m an ag ea b l e   c o n f o u n d s .   D u e   t o   n o   p r e - t est   m ea s u r e   o f   k n o wle d g e,   it   p r ev e n ts   u s   f r o m   a ttr ib u t in g   ca u s es   f o r   d i f f er e n ce s   i n   p e r f o r m a n ce   s p ec i f ic all y   to   g am if ica ti o n .   F u r t h e r m o r e ,   d u t o   th e   lim i te d   d em o g r ap h ic   i n f o r m ati o n   co lle cte d ,   i was   n o t   p o s s ib l t o   a n al y ze   t h e   d at b y   g e n d e r   o r   ac a d e m ic   y ea r .       4.   RE SU L T S AN D I SCU SS I O N   T h is   p ar co m p ar es  th g a m if ied   q u iz  o u tco m es  o f   two   I o T   u n d er g r ad u ate  co u r s es.  Statis tica l   an aly s es  d etec ted   s ig n if ican d if f er en ce s   in   s tu d en s co r es  o n   th Dev Op s   an d   HC I   ass ess m en ts ,   wh ich   we  d is cu s s   in   r elatio n   to   g am if icat io n   d esig n   a n d   co n ten t c o m p le x ity .     4 . 1 .     Descript iv s t a t is t ics a nd   perf o rm a nce  o v er v iew   T h Dev Op s   q u iz   was  co m p l eted   b y   4 1   s tu d e n ts   an d   th e   HC I   q u iz  b y   3 4   s tu d en ts .   As  in d icate d   in   T ab le  1 ,   th m ea n   r ate  d if f e r e n ce   was  h ig h ly   s ig n if ican t.  T h av er ag s co r o n   th Dev Op s   test   wa s   4 8 . 5 4 %   ( SD= 2 5 . 1 6 ,   SE= 3 . 9 3 )   a n d   t h e   s c o r es   r a n g e d   f r o m   0 %   to   9 0 wi th   a   p ass   s c o r e   o f   4 1 . 4 6 %.   T h e   d is t r i b u ti o n   was  m o d er ately   p o s itiv ely   s k ewe d   ( 0 . 1 7 )   a n d   p laty k u r tic  ( k u r to s is = - 0 . 8 9 ) ,   in d icatin g   r elativ ely   f lat  s p r ea d   with   f ew  ex tr em es.  C o n v er s ely ,   th av er ag s co r f o r   th HC I   q u iz  was  s ig n if ican tly   h ig h   at  9 6 . 7 6 %   ( SD=1 4 . 0 8 ,   SE= 2 . 4 2 ) ,   with   s co r es  b ein g   b etwe en   20%   an d   100%   an d   p ass   p er ce n ta g o f   9 7 . 0 6 %.   T h e   d is tr ib u tio n   was  v er y   n eg ativ ely   s k ewe d   ( −4 . 9 8 ) ,   in d icati v o f   co n s id er a b le  ce ilin g   ef f ec wh er m o s s tu d en ts   s co r ed   n e a r l y   p e r f e c t l y .   Fig u r 1   s h o ws  d i s t r i b u t i o n a l   d i f f e r e n c e s   i n   f r e q u e n c y   h i s to g r a m s .   I n   p a n el  A,   we  s h o th at  th d is tr ib u tio n   o f   Dev Op s   is   r o u g h ly   n o r m al  an d   ce n ter   n ea r   th 6 0 th r es h o ld .   I n   co n t r ast,  in   p an el  B   h ea v y   c o n ce n t r atio n   f o r   HC I   ab o v e   9 0 % sh o ws th at  3 1   o f   3 4   s tu d e n ts   s co r ab o v th is   lev el .       T ab le  1 .   Descr ip tiv s tatis tics   f o r   Dev Op s   an d   HC I   q u izze s   S t a t i st i c   D e v O p s   H C I   N   41   34   M e a n   4 8 . 5 4 %   9 6 . 7 6 %   M e d i a n   5 0 . 0 0 %   1 0 0 . 0 0 %   S t a n d a r d   d e v i a t i o n   2 5 . 1 6   1 4 . 0 8   V a r i a n c e   6 3 2 . 8 3   1 9 8 . 3 1   M i n i m u m   0 . 0 0 %   2 0 . 0 0 %   M a x i m u m   9 0 . 0 0 %   1 0 0 . 0 0 %   R a n g e   9 0 . 0 0 %   8 0 . 0 0 %   Q 1   ( 2 5 t h   p e r c e n t i l e )   3 0 . 0 0 %   9 0 . 0 0 %   Q 3   ( 7 5 t h   p e r c e n t i l e )   7 0 . 0 0 %   1 0 0 . 0 0 %   I Q R   4 0 . 0 0 %   1 0 . 0 0 %   S k e w n e ss   0 . 1 7   4 . 9 8   K u r t o si s   0 . 8 9   2 4 . 2 2   CV   5 1 . 8 4 %   1 4 . 5 5 %   SE   3 . 9 3   2 . 4 2   P a ss rat e   ( 6 0 %)   4 1 . 4 6 %   9 7 . 0 6 %         N o t e :   d a s h e d   l i n e   mar k i n g   t h e   6 0 p a ss t h r e s h o l d     Fig u r 1 .   Fre q u en cy   h is to g r a m s   f o r   Dev Op s   ( p an el  A)   an d   HC I   ( p an el  B )   s co r es   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   g a mified   lea r n in g   s tr a teg ies in   in tern et  o f th in g s - b a s ed   s o ftw a r en g in ee r in g     ( A mn eh   S h a b a n )   2255   T h CI   o f   th e   Dev Op s   an d   HC I   m ea n s   wer e   f o u n d   to   b [ 4 0 . 6 0 ,   5 6 . 4 8 ]   an d   [ 9 1 . 8 5 ,   1 0 1 . 6 8 ]   r esp ec tiv ely .   T h er was  a   s m a ll  o v er lap   b etwe en   th e   m ea n   CI   wh ich   s u g g ests   th at  th er e   co u ld   b s u b s tan tial   d if f er en ce s   at  t h p o p u latio n   l ev el as  s h o wn   i n   T ab le   2 .   T h h ig h er   CV   f o r   De v Op s   ( 5 1 . 8 4 %)  co m p ar ed   to   HC I   ( 1 4 . 5 5 %)  s h o ws  th at   th s co r es  in   t h Dev Op s   c o n d itio n   ex h ib it  m o r h eter o g e n eity   th an   th HC I   co n d itio n .   As  s h o wn   in   Fig u r 2 ,   b ar   ch ar with   9 5 co n f id en ce   in ter v al  er r o r   b ar s   in d icate s   th at  th d if f er en ce   b etwe en   th two   c o n d itio n s   is   4 8 . 2 3   p er ce n tag p o in ts .       T ab le  2 .   Me an   co m p a r is o n   with   9 5 CI   Q u i z   M e a n   Sd   Se   C I   l o w e r   C I   u p p e r   N   D e v O p s   4 8 . 5 4 %   2 5 . 1 6   3 . 9 3   4 0 . 6 0 %   5 6 . 4 8 %   41   H C I   9 6 . 7 6 %   1 4 . 0 8   2 . 4 2   9 1 . 8 5 %   1 0 1 . 6 8 %   34   D i f f e r e n c e   4 8 . 2 3 %   N / A   N / A   N / A   N / A   N / A         N o n - o v e r l a p p i n g   e r r o r   b a r s c o n f i r m s t a t i s t i c a l l y   s i g n i f i c a n t   d i f f e r e n c e s     Fig u r 2 .   Me an   s co r co m p ar i s o n   with   9 5 CI .   Dev Op s   m e an : 4 8 . 5 4 % ( C I : 4 0 . 6 0 5 6 . 4 8 %);    HC I   m ea n : 9 6 . 7 6 % ( C I : 9 1 . 8 5 1 0 1 . 6 8 %)       4 . 2 .     I nfe re ntia l st a t is t ica l a n a ly s is   Ass u m p tio n s   ab o u d is tr ib u tio n   wer test ed   b ef o r co m p ar i n g   m ea n s .   T h Sh ap ir o - W ilk   test   s h o wed   th at  th Dev Op s   s co r ca n   b e   ass u m ed   to   b e   n o r m al  ( W =0 . 9 5 8 ,   p =0 . 1 3 7 ) .   T h e   HC I   s co r was  s ig n if ican tly   n o n o r m ally   d is tr ib u te d   ( W =0 . 2 4 8 ,   p <0 . 0 0 1 ) ,   co n s is ten with   th ce ilin g   ef f ec f o u n d   in   th d escr ip tiv an aly s es,  as  s h o wn   in   T ab le  3 .   L ev e n e’ s   test   f o r   h o m o g en eity   o f   v a r ian ce   o f   th e   th r ee   g r o u p s   r e v ea ls     s ig n if ican t v io latio n   o f   th e   a s s u m p tio n   ( F=2 7 . 4 1 ,   p <0 . 0 0 1 )   as sh o wn   in   T ab le  4 .   T o   s u p p o r in f e r en ce s ,   p a r am etr ic  an aly s is   an d   n o n - p ar am etr ic  an aly s is   wer u s ed .   T h e   t - test   f o r   in d ep en d en s am p les  in d icate d   s tatis tically   s ig n if ican d if f er en ce   i n   g r o u p   m ea n s   ( t=− 9 . 9 5 ,   p <0 . 0 0 1 ) ,   wit h     m ea n   d if f er en ce   o f   4 8 . 2 3   p er ce n tag p o in ts   in   f av o r   o f   th HC I   co n d itio n .   T h Ma n n - W h itn ey   test   co n f ir m e d   th at  th p er f o r m an c d if f er ed   with o u t a n y   ass u m p tio n s   o n   th d is tr ib u tio n   ( U= 4 2 . 5 ,   p < 0 . 0 0 1 ) .   Acc o r d in g   to   th e   r ep o r t,  C o h e n s   d =2 . 3 1   was  s u b s tan tially   g r ea ter   th an   th s tan d a r d   o f   a   la r g ef f ec s ize  wh ich   is   eq u al   to   o r   g r ea ter   th an   0 . 8 .   T h u s ,   th e   an aly s is   d en o tes  s u b s tan ce   an d   s u g g ests   p r ac tical  s ig n if ican ce .   As  s h o wn   i n   Fig u r 3 ,   b o th   th e   b o x   p l o ts   in   p a n el  an d   th v io lin   p lo ts   in   p an el  B   in d icate   th e   d is tr ib u tio n   o f   th two   q u iz  s co r es.  T h b o x   p lo t sh o ws lar g e   I QR ,   Q1 =3 0 %,  Q3 =7 0 % a n d   m ed ian   at  5 0 %.   Ma n y   o u tlier s   ar also   v is ib le  o n   th lef t.   T h e   HC I   b o x   p l o r ev ea ls   a   n ar r o I QR   clo s to   1 0 0 %   with   n o tch es  tig h tly   clu s ter ed .   Vio lin   p lo ts   s h o th co m p lete  p r o b a b ilit y   d en s ity   o f   th d is tr ib u tio n s .     T h Dev Op s   v io lin   is   b r o ad   a n d   ap p r o x im atel y   s y m m etr ic  wh ile  th HC I   v io lin   is   h ea v il y   p ea k e d   at  1 0 0 %.  T h is   co n f ir m s   th o b s er v ed   ce ilin g   ef f ec t.       T ab le  3 .   No r m ality   test s   ( Sh ap ir o - W ilk )   Q u i z   Te st   S t a t i st i c   P - v a l u e   N o r mal   A l p h a   D e v O p s   S h a p i r o - W i l k   0 . 9 5 8 3   0 . 1 3 6 6   Y e s   0 . 0 5   H C I   S h a p i r o - W i l k   0 . 2 4 8 2   < 0 . 0 0 1   No   0 . 0 5   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 2 4 9 - 2 2 6 0   2256   T ab le  4 .   I n f er e n tial statis tic s   Te st   S t a t i st i c   P - v a l u e   I n t e r p r e t a t i o n   I n d e p e n d e n t   t - t e s t   9 . 9 5 3   < 0 . 0 0 1   S i g n i f i c a n t   M a n n - W h i t n e y   U   4 2 . 5   < 0 . 0 0 1   S i g n i f i c a n t   Le v e n e s t e st   ( V a r i a n c e )   2 7 . 4 0 9   < 0 . 0 0 1   U n e q u a l   v a r i a n c e s   Ef f e c t   si z e   ( C o h e n d )   2 . 3 0 9   N / A   La r g e         N o t e :   R e d   d i a mo n d i n d i c a t e   g r o u p   m e a n s     Fig u r 3 .   Sco r e   d is tr ib u tio n s   f o r   Dev Op s   an d   HC I   q u izze s : b o x   p l o ts   ( p an el   A)   a n d   v io lin   p lo ts   ( p an el  B)       4 . 3 .     Q ues t io n - lev el  perf o rma nce  a na ly s is   I n s ig h ts   in to   th e   d if f ic u lty   a n d   p r o f icien c y   ar ea s   f o r   b o t h   q u izze s   c o u ld   b o b tain ed   th r o u g h   an aly s is .   T ab le  5   p r o v i d es  ac cu r ate  q u esti o n s   an d   tim in g   o f   th Dev Op s   q u iz.   T h a cc u r ac y   r ates  wer b etwe en   4 1 a n d   6 6 %,  with   m ea n   co m p letio n   tim o f   1 5 . 4 4   s ec o n d s   p er   q u esti o n .   T h is   item   ( Q1 0 ) ,     th s in g le  f ill - in - th e - b lan k   ite m   p er f o r m ed   s ig n if ican tly   w o r s e,   with   7 co r r ec with   m e an   tim to   c o m p lete  was  8 5   s ec o n d s ,   wh ic h   was   th h ig h est  o f   all  item s .   T h is   item   o f   a   Dev Op s   q u iz  was  r esp o n s ib le  f o r     s ig n if ican d r o p   in   o v e r all  s co r es.  T h is   in d icate s   th at  o p en - r esp o n s ty p is   p ar ticu lar ly   ch allen g in g   in   g am if ied   tech n ical  ass ess m en t c o n tex ts .       T ab le  5 .   Dev Op s   q u esti o n - lev el  p er f o r m an ce   Q u e st i o n   A c c u r a c y   ( %)   A v g   t i me  ( s e c )   Ty p e   C o r r e c t   I n c o r r e c t   Q1   4 1 . 0   12   M u l t i p l e   c h o i c e   17   22   Q2   5 1 . 0   12   M u l t i p l e   c h o i c e   21   17   Q3   5 4 . 0   22   M u l t i p l e   c h o i c e   22   17   Q4   5 1 . 0   17   M u l t i p l e   c h o i c e   21   17   Q5   5 9 . 0   12   M u l t i p l e   c h o i c e   24   14   Q6   5 1 . 0   12   M u l t i p l e   c h o i c e   21   16   Q7   4 4 . 0   19   M u l t i p l e   c h o i c e   18   20   Q8   6 6 . 0   15   M u l t i p l e   c h o i c e   27   11   Q9   6 1 . 0   18   M u l t i p l e   c h o i c e   25   12   Q 1 0   7 . 0   85   F i l l - in - t h e - b l a n k   3   36       T h d ata  o f   HC I   q u esti o n   is   s h o wn   in   T ab le  6 .   T h p er f o r m an ce   o n   ea ch   item   was  co n s is ten tly   s u b s tan tial,  with   ac cu r ac ies  f o r   ea ch   m u ltip le - ch o ice  r an g i n g   f r o m   9 4 to   1 0 0 an d   a   m ea n   tim o f   2 3 . 5 0   s ec o n d s .   T h h ig h er   a v er ag co m p letio n   tim o n   Dev Op s   m u ltip le - ch o ice  item s   in d icate s   th at  s tu d en ts   wer en g ag ed   in   th item s ,   n o ju s g u ess in g .   All  3 4   s tu d e n ts   p r o v id ed   p er f ec tly   ac cu r ate  an s wer s   to   Q2 ,   ac h iev i n g   1 0 0 ac cu r ac y .   T h o p en - e n d ed   wo r d   clo u d   q u esti o n   ( Q1 1 )   h a d   9 4 ac cu r ac y ,   ta k in g   o n   av e r ag 5 3   s ec o n d s   to   co m p lete.   T h is   s h o ws  th at  en g ag in g   alter n ativ e   q u esti o n   f o r m ats  ca n   wo r k   well  if   th ey   ar well - d esig n ed   an d   ar s u itab le  to   t h co u r s e.   T h p er f o r m an ce   b y   t y p o f   q u esti o n   o n   ea c h   q u iz  is   s u m m ar ized   in   T ab le  7 .   Av er a g ac cu r ac y   f o r   th Dev Op s   m u ltip le - ch o ice  i tem   was  5 3 . 1 1 wh ile  HC I   was  9 6 . 7 0 %.  T h f ill  in   th e   b lan k   item   r elate d   to   Dev Op s   ( 7 % a cc u r ac y )   p e r f o r m ed   m u ch   wo r s th an   th wo r d   clo u d   item   r elate d   to   HC I   ( 9 4 % a cc u r ac y ) .   T h is   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   g a mified   lea r n in g   s tr a teg ies in   in tern et  o f th in g s - b a s ed   s o ftw a r en g in ee r in g     ( A mn eh   S h a b a n )   2257   s u g g ests   th at  q u esti o n   f o r m at  i n ter ac ts   with   co n ten co m p lex ity   an d   s tu d e n p r ep a r atio n .   I t d o es  n o m ea n   o n q u esti o n s   is   m o r e   d if f icu lt   th an   an o t h er   in   is o latio n .   Fig u r 4   c o m p ar es  q u esti o n - lev el   a cc u r ac y   o n   t h two   q u izze s   v is u ally .   T h p er s is ten tly   elev ated   HC I   b ar s   ju x tap o s ed   with   th f lu ctu atin g   D ev Op s   b ar s   clea r ly   h ig h lig h th s ig n if ican d ip   o b s er v ed   at  Q1 0   ( f ill - in - th e - b la n k ) ,   r ea f f ir m in g   th n e g ativ in f lu en ce   o f   o p en - r esp o n s f o r m at  u n d er   co n d iti o n s   o f   h i g h   co n ten t c o m p lex it y .       T ab le  6 .   HC I   q u esti o n - lev el  p er f o r m a n ce   Q u e st i o n   A c c u r a c y   ( %)   A v g   t i me  ( s e c )   Ty p e   C o r r e c t   I n c o r r e c t   Q1   9 4 . 0   15   M u l t i p l e   c h o i c e   32   0   Q2   1 0 0 . 0   20   M u l t i p l e   c h o i c e   34   0   Q3   9 7 . 0   21   M u l t i p l e   c h o i c e   33   1   Q4   9 7 . 0   17   M u l t i p l e   c h o i c e   33   0   Q5   9 7 . 0   23   M u l t i p l e   c h o i c e   33   0   Q6   9 7 . 0   27   M u l t i p l e   c h o i c e   33   0   Q7   9 7 . 0   44   M u l t i p l e   c h o i c e   33   0   Q8   9 4 . 0   20   M u l t i p l e   c h o i c e   32   0   Q9   9 7 . 0   25   M u l t i p l e   c h o i c e   33   0   Q 1 0   9 7 . 0   23   M u l t i p l e   c h o i c e   33   0   Q 1 1   9 4 . 0   53   W o r d   c l o u d   0   0       T ab le  7 .   Qu esti o n   t y p an al y s is   Q u i z   Q u e st i o n   t y p e   N   q u e st i o n s   M e a n   a c c u r a c y   ( %)   M e a n   t i me  ( s e c )   D e v O p s   M u l t i p l e   c h o i c e   9   5 3 . 1 1 %   1 5 . 4 4   D e v O p s   F i l l - in - t h e - b l a n k   1   7 . 0 0 %   8 5 . 0 0   H C I   M u l t i p l e   c h o i c e   10   9 6 . 7 0 %   2 3 . 5 0   H C I   W o r d   c l o u d   1   9 4 . 0 0 %   5 3 . 0 0           Fig u r 4 Qu esti o n - lev el  ac cu r ac y   f o r   Dev Op s   ( Q1 Q1 0 )   an d   HC I   ( Q1 Q1 1 ) ,   h ig h lig h tin g   Q1 0   f ill - in - th e - b lan k   p e r f o r m an ce   an d   th H C I   ce ilin g   ef f ec t       4 . 4 .     Rela t io ns hip   bet wee n t i m inv estm ent   a nd   a cc ura c y   T h co r r elatio n   a n aly s es  o f   m ea n   tim o n   task   an d   r esp o n s ac cu r ac y   ar e   d em o n s tr ated   i n   T ab le   8 .   T h er was  a   s tatis tically   s ig n i f ican n eg ativ e   Pear s o n   co r r el atio n   f o r   th e   Dev Op s   q u iz  ( r = - 0 . 8 7 2 ,   p =0 . 0 0 1 ) .   T h is   m ea n s   th at  as  th tim t o   co m p lete   q u esti o n   in cr ea s es,  th ac cu r ac y   d ec r ea s es.  T h is   p atter n   in d icate s   h o th e x ten d ed   r esp o n s tim r ef lects  th d i f f icu lty ,   th co g n itiv s tr u g g le  an d   n o d elib er atio n .     T h Sp ea r m an   co r r elatio n   ( ρ =− 0 . 1 5 8 ,   p = 0 . 6 6 2 )   was  n o s ig n if ican wh ich   in d icate d   n o n - m o n o to n ic  r elatio n s h ip   lik ely   d u to   th e   o u tlier   f ill - in - th e - b lan k   item   ( Q 1 0 )   s h o wn   in   Fig u r e   4 .   T h e   r e l a t i o n s h i p s   b et w e e n   p u n c t u a l i t y   a n d   H C I   q u i z   s c o r e   a s   a s s e s s e d   b y   P e a r s o n   ( r = - 0 . 2 2 1 ,   p = 0 . 5 1 3 )   a n d   S p e a r m a n   c o r r e l a ti o n   ( ρ = 0 . 0 2 7 ,   p = 0 . 9 3 8 )   w e r e   n o t   s t a t is tic a l l y   s i g n i f i c a n t .   T h e   c e il i n g   e f f e c t   h a s   ca u s e d   t h a p p a r e n t   a b s e n c e   o f   a   t i m e - a c cu r a c y   r e l a t i o n s h i p   i n   a   H C I   t ask .   B e c a u s e   m o s t   s t u d e n ts   a c h i ev e d   a   m a x i m u m   o r   n ea r - m ax im u m   s co r n o   m att er   h o q u ick ly   th ey   r esp o n d e d ,   th er was  litt le   v ar iatio n   in   th ac cu r ac y   s co r es  an d ,   th er e f o r e,   n o   m ea n in g f u r elatio n s h ip s   co u ld   b d etec te d   as sh o wn   in   Fig u r es 2 - 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 2 4 9 - 2 2 6 0   2258   T ab le  8 .   C o r r elatio n   an aly s is : tim v s .   ac cu r ac y   Q u i z   C o r r e l a t i o n   t y p e   C o e f f i c i e n t   P - v a l u e   S i g n i f i c a n t   D e v O p s   P e a r so n   0 . 8 7 1 7   0 . 0 0 1 0   Y e s   D e v O p s   S p e a r m a n   0 . 1 5 8 3   0 . 6 6 2 4   No   H C I   P e a r so n   0 . 2 2 1 4   0 . 5 1 2 9   No   H C I   S p e a r m a n   0 . 0 2 6 8   0 . 9 3 7 7   No       4 . 5 .     Dis cus s io n a nd   im pli ca t io ns   T h is   s tu d y   r ev ea led   th at  g a m if ied   ass ess m en d o es  n o y ield   th s am lear n i n g   o u tc o m in   I o T   co u r s es  o f   d if f er en t   co n te n c o m p lex ity .   T h e r was  a   p e r f o r m an ce   g ap   o f   4 8 . 2 3   p e r ce n tag ( C o h en s   d =2 . 3 1 )   b etwe en   th Dev Op s   an d   HC I   co n d itio n s ,   s u g g esti n g   th at  co n ten co m p lex ity   is   s tr o n g   m o d er atin g   f ac t o r   o f   g am if icatio n   ef f ec tiv en ess .   T h f in d in g s   d is p r o v e   th at  g am if icatio n   ca n   ac as  m o tiv atio n al  in ter v en tio n   f o r   all  s tu d en ts ,   an d   ca ll f o r   co n te x t - s en s itiv ass es s m en t d esig n   in   tech n ical  ed u ca tio n .   T h b etter   p er f o r m an ce   o f   HC I   s tu d en ts   ca n   b attr ib u ted   to   th r elativ ely   co n cr ete,   h u m an - ce n ter ed   co n ten o f   t h HC I   s u b ject.   T h co n ce p ts   o f   HC I   a r p u lled   f r o m   s tu d e n ts   ev er y d ay   ex p e r ien ce s   with   tech n o lo g y   in ter f ac es  to   h elp   s tu d en ts   ac tiv ate  th eir   p r io r   k n o wled g e.   I n   co n tr ast,  th De v Op s   co n ten n ee d s   ab s tr ac m u lti - d o m ai n   k n o wl ed g f r o m   C I /C p ip elin es,  co n tain er izatio n ,   an d   in f r astr u ctu r au t o m atio n - ar ea s   wh er s tu d en ts   h ad   h ig h   v ar ian ce   in   th eir   p r io r   k n o wled g an d   th eir   p r ep ar atio n ,   as sh o wn   in   th wid e   d is tr ib u tio n   o f   s co r es  i n   Fig u r 1 .   T h p er f o r m an ce   d if f er en ce   co u ld   h a v b ee n   d r iv en   b y   in s tr u ctio n   q u ality   an d   s tu d en p r ep ar ati o n ,   a n d   n o g am if icatio n .   T h o s s tu d en ts   m ay   h av m o r c o n ten f am iliar ity   an d   s elf - ef f icac y   r eg a r d in g   t h task ,   allo win g   th em   to   b e n ef it  m o r f u lly   f r o m   th g am if ie d   p latf o r m s   m o tiv atio n a l   af f o r d a n ce s .   T h r estricte d   v a r ian ce   o f   HC I   s co r es  as  s h o wn   in   Fig u r 3 ,   is   s u p p o r tiv o f   th is   in ter p r etatio n   to g eth er   with   th f ac t th at  th co h o r t a p p ea r e d   to   m aster   th ass es s ed   m ater ial  p r io r   to   b ein g   ass ess ed .   T h way   q u esti o n s   ar f r am ed   m o d e r ates  th e   o u tco m es.  T h e   f ill - in - th e - b lan k   item   o n   Dev Op s   ( Q1 0 )   p er f o r m ed   f ar   wo r s th a n   th e   m u ltip le - ch o ice  item s   ( 7 v s .   41 6 6 co r r ec t)   wh ich   is   in   ac co r d an ce   with   th eo r izin g   d er iv e d   f r o m   co g n itiv lo ad   t h eo r y ,   wh ich   p r ed icts   th at  o p en - r esp o n s item s   im p o s a   g r ea ter   ex tr an eo u s   co g n itiv lo ad   a s   th ey   r eq u ir r ec all  an d   ac tiv g en er atio n   in   tim e - p r ess u r ed   g am if ied   en v ir o n m en ts .   C o n v er s ely ,   o p en - en d e d   f o r m ats  ca n   h el p   k e ep   s tu d en en g ag em e n h ig h   with o u in cr ea s in g   co g n itiv lo a d   wh en   th m ate r ial  is   n eith er   to o   ea s y   n o r   to o   d if f icu lt,  an d   w h en   d esig n e d   with   th r elev a n lear n in g   g o al  in   m in d .   T h ese  f in d in g s   h a v s ig n if ica n im p licatio n s   f o r   t h d esig n   o f   g am if ied   ass ess m en ts   in   tech n ical  ed u ca tio n .   I n s tr u ct o r s   s h o u ld   ca lib r ate  th co m p lex ity   o f   q u esti o n s   ac co r d in g   to   th lev el  o f   k n o wled g e   ex p ec ted   o f   th s tu d en ts   s o   th a t th g am if icatio n   m ec h an is m s   ca n   ac tu ally   wo r k   as m o tiv ato r   s u p p o r ts   an d   n o t   ju s as  a   s o u r ce   o f   f r u s tr atio n .   T h s tr o n g   n eg ativ co r r elatio n   o f   tim an d   ac cu r ac y   f o r   th e   Dev Op s   co n d itio n   (r= - 0 . 8 7 2 ,   p =0 . 0 0 1 )   s u g g ests   th at  th u s o f   ad ap tiv d if f ic u lty   m ec h a n is m s ,   s u ch   as  h in s y s tem s   o r   tier ed   s ca f f o ld in g ,   co u ld   en h a n ce   th lear n in g   ex p er ie n ce   r em ar k a b ly   in   h ig h - c o m p lex ity   g a m if i ed   co n tex ts .   On   th o th er   h an d ,   th e   ce ilin g   ef f ec t   ex h ib ite d   in   th e   HC I   as  s h o wn   in   Fig u r e   1 ,   s h o ws  th at   it  is   n o t   d iag n o s tic   b eh av io r   to   u s to o   ea s y   an   ass ess m en t,  as   th r ed u ce d   v ar ia n ce   in   s co r es  lim it s   th ab ilit y   to   d if f er en tiate  th m aster y   lev el  o f   s tu d en ts .   A n   ef f ec tiv g am if ied   ass ess m en ts   co u ld   y ield   d is tr ib u tio n s   s h o win g   b o th   h ig h   s co r es a n d   en o u g h   s ca tter   f o r   m ea n in g f u l p ed a g o g ical  d ec is io n s .       5.   CO NCLU SI O N   T h is   r esear ch   ex am in e d   g am i f ied   f o r m ativ ass ess m en ac r o s s   two   I o T   u n d er g r ad u ate  co u r s es  o f   v ar y in g   co n ten c o m p lex ity .   Fin d in g s   in d icate   th at  g am i f icatio n   y ield s   in co n s is ten o u tc o m es  d ep en d in g   o n   co n tex t.  C o n te n co m p lex ity ,   q u esti o n   f o r m at,   an d   in s tr u ctio n al  p r e p ar atio n   wer id e n tifie d   as  cr itical   m o d er atin g   f ac to r s .   R esu lts   s h o wed   th at  h ig h e r   co n ten co m p lex ity   n eg ativ ely   im p ac ts   s tu d en p er f o r m an ce ,   as  ev id en ce d   b y   l o s co r es  o n   tech n ical  Dev Op s   item s .   Op en - r esp o n s f o r m ats  p r o v ed   u n s u itab le  f o r   h ig h - co m p lex ity   co n ten t,   wh ile  m u ltip le - ch o ice  an d   wo r d   clo u d   f o r m ats  p r o d u ce d   b etter   o u tco m es.  Gam if icatio n   alo n d id   n o r ed u ce   p er f o r m an ce   v ar ia b ilit y   with o u ad eq u ate  p r io r   k n o wled g e .   E f f ec tiv g am if ie d   ass es s m en r eq u ir es  ca r ef u ca lib r atio n   o f   d if f icu lty ,   q u esti o n   f o r m at,   a n d   in s tr u ctio n al  alig n m en t.  E d u ca to r s   s h o u ld   in co r p o r ate  ad ap tiv e   f ea tu r es  s u ch   as  h in s y s te m s   an d   p r o g r ess iv s ca f f o l d in g ,   p ar tic u lar ly   in   tech n ically   d em an d in g   co u r s es.  Stu d y   lim itatio n s   in clu d e   co n v en ien ce   s am p lin g ,   u n co n tr o lled   co n f o u n d s ,   ab s en ce   o f   p r e - test in g ,   a n d   s m all  s in g le - s em ester   s am p le.   Fu tu r e   r esear ch   s h o u l d   em p lo y   co n tr o lled   ex p er im en ts ,   ad ap tiv d if f ic u lty   alg o r ith m s ,   lo n g itu d in a d esig n s ,   an d   q u alitativ m eth o d s   to   b etter   u n d er s tan d   lea r n er   e x p er ien ce   an d   eq u ity   in   g a m if ied   tech n ical  ed u ca tio n .         Evaluation Warning : The document was created with Spire.PDF for Python.