I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   15 ,   No .   4 ,  A u g u s t   20 26 ,   p p .   2 8 6 1 ~ 2 8 7 3   I SS N:  2 2 5 2 - 8 8 2 2 ,  DOI : 1 0 . 1 1 5 9 1 / ijer e . v 15 i 4 . 3 9 2 2 8           2861       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   Rethinki ng  com p uter - ba sed  e x a mina tions  in  hig her   educa tion:  psy cho lo g ica l,  tec hnica l,  a nd p eda g o g ica l challeng es from  students ’  lea rnin g  ex peri ence and   fut ure  dire ctions       Ahm a d Adna n Alz y o ud 1 ,   E m a n M o ha mm a d Q ud a h 2   1 D e p a r t me n t   of   E - Le a r n i n g   C e n t r e   a n d   O p e n   E d u c a t i o n a l   R e so u r c e s ,   Y a r m o u k   U n i v e r s i t y ,  I r b i d ,   Jo r d a n   2 D e p a r t me n t   of   E n g l i sh ,   Y a r mo u k   U n i v e r si t y ,   I r b i d ,   Jo r d a n       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   25 ,  2 0 2 6   R ev is ed   J u l   4 ,  2 0 2 6   Acc ep ted   J u l   10 ,  2 0 2 6       Th e   sw ift   a d o p ti o n   o f   c o m p u t e r - b a se d   e x a m in a ti o n s  (CBEs)   in   h ig h e r   e d u c a ti o n   h a s  re v o lu ti o n ize d   a ss e ss m e n t  m e th o d s;  n o n e t h e les s,  th e re   is  a   lac k   o f  th o ro u g h   re se a rc h   in v e s ti g a ti n g   th e   p sy c h o lo g ica l,   tec h n ica l,   a n d   p e d a g o g ica l  e x p e rien c e s  o f  st u d e n ts  u si n g   t h e se   sy ste m s.  Th i s  re se a rc h   e x p lo re s  t h e   v a rio u s  c h a ll e n g e s  a ss o c iate d   with   CBEs  a t  Ya rm o u k   Un iv e rsity   a n d   a ss e ss e s  th e ir  in flu e n c e   o n   st u d e n ts’  lea rn i n g   e x p e rien c e s.     A  c ro ss - se c ti o n a l  q u a n ti tativ e   su rv e y   wa s  c o n d u c ted   a m o n g   5 4 5   u n d e r g ra d u a te  stu d e n ts  fro m   v a rio u s  a c a d e m ic  field s  d u rin g   th e   first  se m e ste r  o f  th e   2 0 2 5 – 2 0 2 6   a c a d e m ic  y e a r.   Bo th   d e sc rip ti v e   a n d   in fe re n ti a l   a n a ly se s  we re   p e rfo rm e d   to   e v a lu a te  stu d e n ts’  p e rc e p ti o n s.  Re se a rc h   sh o w s   a   m o d e ra te  lev e l   o f   a c c e p tan c e   f o r  CBEs,   b u t   n o tab le   wo rries   re m a in .   T h e   m a in   so u rc e   o f  stre ss   wa s  f o u n d   to   b e   tec h n ica l  re li a b il i ty ,   o ften   o v e rsh a d o win g   wo rries   a b o u t  e d u c a ti o n a l  c o n ten t.   Th e   o n e - wa y   n a v ig a ti o n   a sp e c t  wa s  re c o g n ize d   a s  a   si g n ifi c a n t  o b sta c le,  w h ich   re stricte d   stu d e n ts ’   a b il it y   t o   re v iew   a n sw e rs  a n d   a d d e d   to   c o g n i ti v e   stra in   a n d   h a sty   d e c isio n - m a k in g .   F u rt h e rm o re ,   a   sig n ifi c a n t  g a p   i n   fe e d b a c k   wa s  n o ted ,   a s  stu d e n ts   m o stly   v iew e d   th e   sy ste m   a s  a   t o o l  f o r  g ra d in g   ra th e r  th a n   a   re s o u rc e   fo r   o n g o i n g   lea rn i n g .   Th e   re se a rc h   fin d s  t h a t  su c c e ss fu l  d ig it a l  a ss e ss m e n t   n e c e ss it a tes   n o t  ju st  o p e ra ti o n a l   e ffe c ti v e n e ss   b u t  a lso   a d a p tab l e   d e sig n ,   a li g n m e n t  wit h   p e d a g o g ica l  g o a l s,  a n d   v a l u a b le  fe e d b a c k   sy ste m s.  P ra c ti c a l   imp li c a ti o n s  i n v o l v e   re th i n k i n g   n a v ig a ti o n   e lem e n ts,  imp ro v in g   tec h n ica l   su p p o rt,   a n d   o ffe rin g   f o c u se d   trai n in g   fo r   fa c u lt y .   K ey w o r d s :   C o m p u ter - b ased   e x am in atio n s   Dig ital a s s e s s m en t   E d u ca tio n al  tech n o lo g y   Fo r m ativ e  f ee d b ac k   Hig h er   ed u ca tio n   ass ess m en t   Stu d en t e x p er ie n ce   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   E m an   Mo h a m m ad   Qu d ah   Dep ar tm en t o f   E n g lis h ,   Yar m o u k   Un iv e r s ity   Sh af iq   I r s h id at  Stre et,   I r b id ,   J o r d an   E m ail:  E m an 9 1 q u d a h @ g m ail. co m       1.   I NT RO D UCT I O N   R ec en tly ,   th e  co n ce p t  o f   ass es s m en t  in   h ig h er   ed u ca tio n   h as  u n d er g o n e  a  s ig n if ica n t  tr an s f o r m atio n   with   th e  ad v en t  o f   co m p u ter - b ased   ex am in atio n s   ( C B E s ) .   T h ese  d ig ital  ass e s s m en t  m et h o d s   h av e  ass u m ed   a   s ig n if ican t  r o le  in   ed u ca ti o n al   in s titu tio n s ,   r ef lectin g   t h e  e m er g en ce   o f   tec h n o lo g y   a n d   t h e  n ee d   to   e n h an ce   ef f icien cy ,   ac ce s s ib ilit y ,   an d   s tu d en t  ev alu atio n .   C B E s ,   wh ich   in v o lv e  h av in g   a n d   ass ess in g   ex am s   th r o u g h   co m p u ter s   o r   d i g ital  p latf o r m s ,   ex ten d   d ir ec t  f ee d b ac k   an d   i n clu d e  d i f f er en t   ty p es  o f   ass ess m en t  f o r m ats  th at  ca n   h elp   s tu d en ts   u n d er s tan d   th eir   s k ills .   Hig h er   e d u ca tio n ’ s   q u ick   d ig ital  tr a n s f o r m ati o n   h as  d r asti ca lly   ch an g ed   s tu d e n t  in v o lv e m en t  m o d els  an d   ev alu atio n   p r o ce d u r es  [ 1 ] .   T h is   d ig ital  tr an s f o r m atio n   h as  b r o u g h t  ab o u t b o th   m ajo r   s tr u ctu r al  c o n s tr ain ts   an d   p o ten tial f o r   in n o v atio n   in   J o r d an ian   h ig h er   ed u ca tio n   [ 2 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   4 ,  Au g u s t   20 26 :   2 8 6 1 - 2 8 7 3   2862   Ho wev er ,   in c o r p o r atin g   a  n e w  m eth o d   in to   t h e  ed u ca tio n al  p r o ce s s   ca n n o t  b e   with o u t  ch allen g es.   Ma n y   s tu d ies  co n d u cted   o v er   th e  p ast  f ew  y ea r s   h av e  y ield ed   p r o m is in g   r esu lts   r eg ar d in g   C B E s   an d   th eir   im p ac t  o n   b o th   s tu d en ts   an d   ass ess m en ts ;  h o wev er ,   s ev er al  is s u es  p er s is t.  Star tin g   with   p s y ch o lo g ical  ch allen g es,  s tu d en ts   s till   s u f f er   f r o m   p s y ch o lo g ical  s tr ess   an d   p r ess u r e  b ef o r e  a n y   o n lin e  ex am s ,   wh ich   n eg ativ ely   af f ec ts   th eir   p er f o r m an ce   [ 3 ] .   W h ile  th e  tech n ica l  ch allen g es  am o n g   s tu d en ts   v ar y   f r o m   p r o b lem s   with   in ter n et  co n n ec tio n ,   o r   p r o b lem s   with   th e  s o f twar e  o f   d ev ices  u s ed   in   ex am s ,   to   th e   illi ter ac y   o f   s o m e  s tu d en ts   in   u s in g   co m p u ter s   [ 4 ] .   I t   is   n o ted   th at  C B E s   h av e  ac h iev ed   th e  d esire d   c o u r s e   o b jectiv es  [ 5 ] .   T h e   u s ef u ln ess   o f   o n lin e   ass ess m e n ts   in   ed u ca tio n   is   lar g el y   d ep en d en t o n   h o w  well  th ey   ar e  i m p lem en ted   [ 6 ] .   T h e  q u alitativ e  s h if t  b etwe en   tech n ical  ex am s   an d   co m p u t er - b ased   ex am s   is   n o t  n ew,   b u t  d u e  to   C OVI D - 1 9 ,   in ter est  in   it  h as  in cr ea s ed .   Pap er - b ased   ex am s   r ely   o n   v is u al  an d   p h y s ical  co n tact  f r o m   s tu d en ts   an d   allo w  t h em   m o r e   f lex ib i lity   in   d ea lin g   with   t h e  co n t en t  [ 7 ] .   Ass ess m en t  m eth o d s   h av e   v ar ied   f r o m   tr ad itio n al  m eth o d s   to   alter n at iv e  an d ,   last ly ,   to   d ig ital a s s es s m en ts   [ 8 ] .     T h is   s tu d y   s ig n if ican tly   ad v a n ce s   th e  d is cip lin e  b y   s h if tin g   th e  f o cu s   f r o m   wid esp r ea d   a d o p tio n   o f   tech n o lo g y   to   a  m o r e  in - d ep t h ,   m u ltifa ce ted   u n d er s tan d in g   o f   C B E   ex p e r ien ce s .   T h is   s t u d y   is   in n o v ativ e   b ec au s e  it  tak es  an   in teg r ated   ap p r o ac h ,   ev alu atin g   p ed ag o g ical,   p s y ch o lo g ical,   an d   tech n ical  elem en ts   all  a t   o n ce   in s tead   o f   ex am in i n g   ass ess m en t  to o ls   s ep ar ately .   I n   c o n tr ast  to   p r ev io u s   r esear ch ,   t h is   s tu d y   ex a m in es  h o w  ce r tain   s y s tem   d esig n   p o licies — lik e  n av ig atio n   r estrictio n s — ac t  as  cr u cial  elem en ts   af f ec tin g   s tu d en t  s tr ess   an d   ac ad em ic  p er f o r m a n ce .   Ad d itio n ally ,   th e  ex te n s iv e  em p ir ical  d ata  f r o m   a   v ar i ed   s am p le  o f   m o r e   th an   5 4 0   s tu d en ts   f r o m   Yar m o u k   Un iv e r s ity ’ s   s cien tific   an d   h u m a n ities   d iv is io n s   h ig h lig h ts   th e  o r ig in ality .   T h is   o f f er s   a  c o m p lete  f r am ewo r k   th at  b r id g es  th e   g ap   b etwe en   in s titu tio n al  p o licies   an d   th e   g en u in e  p s y ch o lo g ical  an d   tech n ical   r ea liti es  o f   s tu d en ts ,   as  w ell  as  a  s tr o n g ,   lo ca lized   v iewp o in t  o n   d i g ital  ass es s m en t in   ch an g in g   ed u ca tio n al  co n tex ts .   Desp ite  p r ev io u s   s tu d ies  an d   r ec o m m en d atio n s   o n   c o m p u ter - b ased   ex am s ,   s tu d e n ts   s till   s u f f er   f r o m   th ese  ty p es  o f   ex am s ,   wh eth er   p s y ch o lo g ically ,   tech n icall y ,   o r   ed u ca tio n ally .   T h is   s tu d y   wo r k s   to war d   r ec o n s id er in g   th e  r ea s o n s   an d   wh at  s tu d en ts   ca n   d is co v er   s o   th at  th is   ty p e  o f   ex am   ca n   b e  d ev el o p ed   in   a   m an n er   th at  s u its   ed u ca tio n al  an d   teac h in g   o b jectiv es.   T h is   s tu d y   aim s   to :  i)   ex p lo r e  p s y c h o lo g ical,   tech n ical,   an d   p ed ag o g ical  c h allen g es ;   ii )   in v esti g ate   s tu d en ts ’   lear n in g   ex p er ien ce s   with   C B E s ;   an d   iii)   s u g g est  f u t u r e  d ir ec tio n s   f o r   im p r o v em en t.  W h ile  th e  s tu d y   will a n s wer   th e  f o llo win g   q u esti o n s :   −   W h at  ar e  th e  p s y ch o l o g ical  ch allen g es st u d en ts   f ac e  d u r i n g   C B E s ?   −   W h at  tech n ical  is s u es d elay   th e  ef f ec tiv en ess   o f   C B E s ?   −   Ho w  d o   p e d ag o g ical  ap p r o ac h es in f lu en ce   s tu d en ts '   ex p er ien ce s   with   C B E s ?       2.   CO M P UT E R - B AS E D  E X A M I NA T I O N S   2 . 1 .     Def ini t io n a nd   t y pes   o f   CB E S   T h e  ed u ca tio n al  p r o ce s s   h as  ev o lv ed   r ap id ly   a n d   s ig n if ica n tly   o v er   t h e  p ast  f ew  y ea r s   d u e  to   th e   C OVI D - 1 9   p an d em ic,   w h ich   h as  f o r ce d   e d u ca tio n al   in s titu tio n s   to   q u ick l y   a d ap t  to   s u p p o r t  d is tan ce   lear n in g   [ 9 ] .   Fu r th e r m o r e ,   th e  r ec e n t  s p r ea d   o f   ar tific ial  in tellig en ce   to o ls   an d   tech n o lo g ical  ad v a n ce m en ts   r eq u ir es  k ee p in g   p ac e  with   t h is   r ev o lu t io n   in   t h e  m o s t  ef f icien t  an d   r ap id   way s   [ 1 0 ] .   Desp ite  th e  ab o v e,   th e   p r o ce s s   o f   r em o te  ass ess m en t  is   n o t  n ew;  ed u ca tio n al  in s titu tio n s   h av e   r elied   o n   r e m o te  ass ess m en t  o f   th eir   s tu d en ts   in   v ar io u s   way s ,   s u c h   as  u s in g   Mo o d le  p latf o r m s   an d   c o m p u t er ized   ass ess m en ts .   Fam o r o ti  [ 1 1 ]   d escr ib ed   C B E   as  a  s y s tem atic  p r o ce s s   f o r   g ath er in g   in f o r m atio n   an d   p r o v id i n g   f ee d b ac k   th at  d escr ib es  th e  lear n i n g   p r o ce d u r e,   i n clu d in g   lear n er s '   p er ce p tio n   an d   o u tco m es;  th er ef o r e,   lea r n er s   will  b e   ef f ec tiv ely   en g a g ed   in   th e   lear n in g   p r o ce s s .   An o th er   d ef in itio n   o f   C B E s   r ef er s   to   th e  ass es s m en t  ap p r o ac h   wh er e  s tu d en ts   u s e   co m p u ter s   to   a n s wer   q u esti o n s   p r esen ted   o n   s cr ee n   [ 1 2 ] .   C B E   ca n   b e  class if ied   in to   s ev er al  ca teg o r ies  b ased   o n   a cc ess ib ilit y ,   d esig n ,   ass ess m e n t,  tim in g ,   q u esti o n   ty p e,   an d   p r o cto r in g .   T h ese  ca teg o r ies  ca n   o v er lap   f o r   a   s in g le   ex am .   Acc ess ib ilit y   class if ied   ex am s   co u ld   b e  an   o n lin e  ex a m   lik e   T OE FL  iB T   o r   an   o f f lin e  e x a m   lik e  th e   I C DL   ex am .   Ad a p tiv e  C B E s   ty p es  ar e  eith er   ad ap tiv e  o r   f ix e d   ex am s ; f ix ed   ex am s   ar e  d esig n ed   in   ad v an ce   an d   p r esen ted   to   all  s tu d en ts   in   a  r a n d o m   o r   o r d er ed   o r d er ,   wh ile  th e  ad ap tiv e  ex am s ,   o n   t h e  o th e r   h a n d ,   ar e  e x am s   wh er e  th e  n at u r e  o f   th e  q u esti o n s   ad ap ts   an d   th e  d if f icu lty   lev el  ch an g es  b ased   o n   th e  ex a m in ee ' s   p er f o r m an ce ,   lik e  th e  GR E   an d   GM AT   ex am s   [ 1 3 ] .   Fin ally ,   ex am s   ca n   b e  d i v id ed   ac c o r d in g   to   tim i n g   in to   tim e d   ex am s   an d   o p e n - tim e  ex am s   [ 1 4 ] .     2 . 2 .     Adv a nt a g es a nd   dis a dv a nta g es o f   CB E S   R esear ch   in d icate s   m an y   ch al len g es  f ac ed   b y   t h e  CBE   p r o ce s s .   R e s ea r ch ,   s u r v ey s ,   an d   in s tr u cto r   r ep o r ts   h av e  s h o wn   a  s ig n if i ca n t  in cr ea s e  in   r ep o r te d   ch ea tin g   attem p ts ,   h ig h   in itial  co s t,  an d   tech n ical   lim itatio n s   lik e  p o o r   c o n n ec tio n s   an d   p o wer   is s u es  [ 1 5 ] .   W ell - d esig n ed   o n lin e  e v alu atio n   s y s tem s   ca n   im p r o v e   o p e n n ess ,   ac co u n ta b ilit y ,   an d   f air n ess   wh ile  lo wer in g   p o ten tial  f o r   ac a d em i c  m is co n d u ct   [ 1 6 ] .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         R eth in kin g   c o mp u ter - b a s ed   e xa min a tio n s   in   h i g h er e d u c a tio n   …   ( A h ma d   A d n a n   A lZyo u d )   2863   Mo s t  o f   th e   p r o b lem s   f o u n d   c an   b e   f ix ed ,   an d   r esear c h er s   r ec o m m en d   u s in g   C B E s   af ter   an y   p r o b lem s   h av e   b ee n   f ix e d   b y   b alan cin g   th e  ad v an tag es a n d   d is ad v an tag es [ 1 7 ] .     2 . 3 .     P s y cho lo g ica l  cha lleng e s :   s t re s s ,   perc ept io n,  a nd   dig it a l r ea din ess   B icca r d   et  a l.   [ 9 ]   d is cu s s ed   s t u d en ts ’   p s y ch o l o g ical  co n ce r n s   in   an   o n lin e  ass ess m en t  en v ir o n m e n t;   th eir   r esu lts   s u p p o r t  th r ee   p r e d o m in an t  asp ec ts   r aised   b y   s tu d en ts :  d ig ital  ac ce s s ,   wh ich   d escr ib es  th e  lack   o f   s u itab le  d ev ices,  d ata,   an d   co n n ec tiv ity ,   u s ab ilit y   o f   th e  ex a m in atio n   s y s tem   in ter f ac e,   an d   th e  d u r atio n   o f   th e  ex am .   T h ese  th r ee   is s u es  cr ea te  p s y ch o lo g ical  ch allen g es  f o r   s tu d en ts   to   u s e  C B E   ef f ec t iv ely .   Acc o r d in g   to   p r ev io u s   r esear ch ,   tech n ical   am b ig u ity   an d   p er f o r m a n c e  m o n ito r in g   in   d ig ital  ex a m   s itu atio n s   m ay   ex ac er b ate  c o g n itiv e   d is tr ess   [ 1 8 ] .   T h e   p er ce p tio n   o f   f air n ess   an d   tr u s t  is   an o th er   is s u e,   p ar ticu lar ly   with   th e   ad v en t o f   AI - ass is ted   p r o cto r i n g   s y s tem s   [ 1 9 ] .     2 . 4 .     T ec hn ica l  cha lleng es:  in f ra s t ruct ure,   s ec urit y ,   a nd   priv a cy   Du r in g   test s ,   s tu d en ts   r e p o r te d   s ev er al  tech n o lo g ical  p r o b le m s   th at  g r ea tly   af f ec t  t h eir   p e r f o r m a n ce ,   s u ch   as  s er v er   d is co n n ec tio n s ,   u n p r ed ictab le  elec tr icity   s u p p lies ,   an d   co m p u ter   m alf u n ctio n s   [ 1 7 ] .   T h ese   d if f icu lties   f r eq u en tly   r esu lt  in   m is s ed   d ea d lin es  an d   u n f in is h ed   s u b m is s io n s .   Ad d itio n ally ,   Fan ir an   et   a l.   [ 2 0 ]   talk ed   ab o u t  tech n ical  c h allen g es  th at  ev e n   tech n o lo g icall y   p r o f icien t  s tu d en ts   h av e,   li k e  s lu g g is h   in ter n et   s p ee d s   an d   co n n ec tiv ity   is s u es  th at  im p ed e  ad v a n ce m en t  d u r in g   C B E s .   Ad d itio n ally ,   p o o r ly   d esig n e d   u s er   in ter f ac es a n d   b r o k e n   g r a p h ics   m ig h t m ak e   it d if f icu lt f o r   s tu d en ts   to   en g a g e  with   test   item s .     2 . 5 .     P eda g o g ic a l  cha lleng es:  a s s ess m ent   des ig n a nd   educ a t io na l v a lid it y   Sig n if ican t  p ed a g o g ical   g ap s   i n   C B E s   wer e  f o u n d   b y   Sh r ai m   [ 2 1 ] ,   w h o   p o in ted   o u t  th at  m an y   o n lin e   ass es s m en ts   h av e  p o o r   d esig n   an d   p r io r itize  m em o r izatio n   an d   f ac tu al  r ec all  o v er   c r itical  co m p r eh e n s io n   o r   an aly s is .   T h is   is   s o m etim es  ca u s ed   b y   th e   u s e  o f   co n s tr ain ed   q u esti o n   f o r m ats,  s u ch   as  m u ltip le - ch o ice   an d   tr u e - f alse  q u esti o n s ,   wh ich   m ig h t  n o t  s u f f icien tly   s h o w  h i g h er - o r d e r   th in k i n g   ab ilit ies.  Sh r aim   [ 2 1 ]   s u g g ests   ch an g in g   th e  em p h asis   f r o m   s tr ictly   s u m m ativ e  g r ad i n g   to   f o r m ativ e  ass ess m en t  an d   b r o a d en in g   th e   r an g e  o f   ass es s m en t  tech n iq u es,  s u ch   as  em p lo y in g   e - p o r tf o lio s   an d   p r esen tatio n s ,   in   o r d er   to   a llay   th ese  wo r r ies.  E f f ec tiv e  d i g ital  ev alu atio n   m u s t  u ltima tely   p r o m o te   d ee p e r   co g n itiv e   en g ag em en t   an d   b e   in   lin e   with   lo n g - ter m   lear n in g   o b jectiv es [ 2 2 ] .       3.   L I T E R AT U RE   R E VI E W   B aso p i  et  a l.   [ 1 7 ]   d is cu s s ed   th e  ch allen g es  o f   co n d u ctin g   C B E s   in   I n d o n esian   h ig h   s ch o o ls .   Sin ce   2 0 1 4 ,   th e   I n d o n esian   g o v e r n m en t  h as  im p lem en ted   b o th   C B E   an d   tr ad itio n al  p a p er - b ased   test s   f o r   th e   n atio n al  ex am in atio n ,   wh ich   is   a  s tan d ar d ized   ev alu atio n   s y s tem   ad m in is ter ed   f r o m   ju n io r   to   s en io r   h ig h   s ch o o l  lev els  in   I n d o n esia.  T h is   s tu d y   aim s   to   ex p lo r e  t h e  ch allen g es  en co u n ter ed   b y   s tu d en ts   in   th ese   ex am in atio n   f o r m ats.  A  q u alit ativ e  r esear ch   d esig n   was  em p lo y ed ,   u tili zin g   s em i - s tr u ctu r ed   in ter v iews  with   s ix   h ig h - s ch o o l  g r ad u ates  as  p ar ticip an ts .   T h e  f in d in g s   in d icate   th at  C B E   p o s es  th r ee   p r im ar y   ch allen g es:  lim ited   f am iliar ity   with   co m p u ter   h ar d war e ,   h eig h ten e d   a n x iety   d u e   to   t h e  v is ib le  co u n td o wn   tim er ,   an d   co n ce r n s   ab o u t  p o ten tial  tech n ical  f ailu r es  th at  co u ld   d is r u p t  th e  ex am in atio n   p r o ce s s .   I n   co n tr ast,  tr ad itio n al   ex am s   ar e  ass o ciate d   with   is s u es  s u ch   as  p o o r   p r in t  q u ality   o f   test   p ap er s ,   d if f ic u lties   in   ac cu r ately   s h ad in g   Op tical  Ma r k   R ec o g n itio n   ( OM R )   an s wer   s h ee ts ,   an d   ti m e - m an ag em e n t  p r ess u r es  lead in g   to   s tr ess   an d   r u s h ed   r esp o n s es.  T h e  s tu d y   c o n clu d es  th at  b o th   C B E   an d   t r ad itio n al  f o r m ats  p r esen t  d is tin ct  o b s tacle s   th at   ca n   h in d er   s tu d e n ts ’   o p ti m al  p er f o r m an ce .   T h ese  i n s ig h ts   co n tr ib u te   to   im p r o v in g   th e  d esig n ,   im p lem en tatio n ,   a n d   f air n ess   o f   n atio n al  e x am in atio n s   in   I n d o n esia,  as d is cu s s ed   f u r th er   in   th is   p ap er .   Un iv er s ity   s tu d en ts ’   o p in io n s   o f   o n lin e  test s   an d   e - p r o cto r in g   s y s tem s   wer e  ex am in ed   in   p r ev io u s   s tu d y   b y   T er b lan ch e   et  a l.   [ 2 3 ] .   Acc o r d in g   to   th eir   f in d in g s ,   s tu d en ts   v o ice d   wo r r ies  ab o u t   p r iv ac y ,   in c r ea s ed   an x iety ,   tech n o l o g ical  r eliab ilit y ,   an d   th e  f air n ess   o f   r em o t e  p r o cto r in g   tech n o lo g y ,   ev en   wh ile  th ey   p r aised   th e  f lex ib ilit y   an d   c o n v e n ien ce   o f   o n lin e  e x am s .   T h e  s tu d y   s u g g ested   th at  in   o r d er   t o   in cr ea s e  s tu d en ts ’   ac ce p tan ce   an d   tr u s t  in   co m p u ter - b ased   ex a m s ,   ass ess m en t   d esig n   s h o u l d   b e  im p r o v ed ,   tech n ical  s u p p o r t   s h o u ld   b e  im p r o v ed ,   a n d   p r o ct o r in g   s y s tem s   s h o u ld   b e  m ad e   m o r e  tr a n s p ar en t .   B icca r d   et  a l.   [ 9 ]   s tu d ied   th e   im p ac t  o f   u s in g   o n lin e  e x a m s   o n   u n d er g r ad u ate  s tu d en t s   in   So u th   Af r ica.   T h e y   s u r v ey ed   B ac h elo r   o f   E d u ca tio n   s tu d en ts   a n d   Po s t  Gr ad u ate  C er tific ate  in   E d u ca tio n   s tu d en ts ,   an d   th ey   r ec eiv ed   2 8 5 8   r esp o n s es  to   th eir   s u r v ey .   T h eir   r esu lts   in d icate   th e  p r iv ileg es  o f   u s in g   o n lin e   ass es s m en t  to o ls ,   lik e:  f lex ib ilit y   an d   co n v en ien ce   b y   tak i n g   th e  ex am   f r o m   h o m e,   s av in g   th e  ef f o r t  an d   ex p en s e  o f   tr av elin g   to   ex am   h alls .   Als o ,   o n lin e  ass e s s m en t   to o ls   p r o v id e  a  f am iliar   en v ir o n m en t  th r o u g h   th e   av ailab ilit y   o f   a   co m f o r tab le  l o ca tio n ,   r e d u cin g   s tr ess   an d   a n x iety   co m p ar ed   to   tr a d itio n al   ex am s ,   an d   f in ally ,   th ey   s av e  tim e.   Yet,   alth o u g h   s tu d en ts   r esp o n d ed   p o s itiv ely   to   th e  p r o ce d u r e  o f   o n lin e  ass ess m en t,  th ey   h ad   f ew  co n ce r n s ,   i n clu d in g   tech n ical  is s u es ,   lik e  u n s tab le  in ter n et  co n n ec tio n s ,   p o wer   o u t ag es,  an d   p r o b lem s   with   th e  ex am   p latf o r m   its elf .   Oth er   is s u es  th e  s tu d en ts   h ig h lig h t  ar e  t h e  ch ea tin g   an d   lack   o f   i n teg r ity ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   4 ,  Au g u s t   20 26 :   2 8 6 1 - 2 8 7 3   2864   p s y ch o lo g ical  s tr ess   r aised   b y   tech n ical  co n ce r n s ,   d if f icu lty   in   ass es s in g   ce r tain   s k ill s   o n lin e,   an d   th e  in eq u ality   wh er e  n o t a ll st u d e n ts   h av e  co m p u ter s   o r   a  h ig h - q u ality   in ter n et  c o n n ec tio n .   Mo n s u r at  et  a l.   [ 2 4 ]   s tu d ied   t h e  s tu d en ts ’   p er s p ec tiv e  o n   u s in g   CBE   an d   th e  ch allen g es  th ey   h ad .   T h ey   u s ed   a  s tr atif ied   s am p li n g   tech n iq u e,   co n s is tin g   o f   8 0 0   u n iv er s ity   s tu d en ts   f r o m   d if f er en t  d e p ar tm en ts   an d   u n i v er s ities ,   an d   r esear c h   d ata  co llected   u s in g   a  s u r v ey   en titl ed   co m p u ter - b ased   t est  ( C B T )   m o d e  o f   ex am in atio n   q u esti o n n air e .   Fi n al  r esu lts   r ef lect  a   p o s itiv e  co m p u ter ized   ex am in atio n   e x p er ien ce ;  it  was  f o u n d   th at  th is   ap p r o ac h   r ed u ce s   th e  p r in ted   p ap er s   an d   an s wer   b o o k lets ,   s av in g   ex am   ad m i n is tr atio n   tim e  an d   ef f o r t.  T h e  ch allen g es  r aised   b y   ap p ly in g   CBE   ar e:  th e  in s u f f icien t  C B T   ce n ter s ,   in ter r u p ted   p o wer   s u p p ly ,   ir r eg u lar   tim etab le,   a n d   in s u f f icien t  I C T   o f f icer s .   T h e   c o n clu s io n   co n s id er ed   u s in g   th e  C B T   m o d e  o f   ex am in atio n   i n   th e  u n iv er s ity   as  an   ef f ec tiv e  a p p r o ac h ,   an d   r ec o m m en d s   co n tin u o u s   u s e  o f   th is   ex am in atio n   m o d e.   Har ley   et  a l.   [ 2 5 ]   co m p ar ed   i n   th eir   r esear ch   b etwe en   th e  tr ad itio n al  an d   CBE   o n   a  s a m p le  o f   7 4   u n d er g r ad u ate  s tu d en ts   in   t h e  Un iv er s ity   o f   Alb er ta’ s   eth ical  co m m ittee.   R esear ch   p r o ce d u r es  f o llo w   ap p ly in g   f iv e - p o in t  L ik er t  s ca le  s u r v ey   o n   two   d if f e r en t  s tu d en ts   s ets,  o n e  s tu d y   th e  co u r s e  an d   h ad   tr ad itio n al  ex am ,   wh ile  test   s a m p le  h ad   co m p u ter ized   ex am .   A ls o ,   th e  s am p le  ask ed   to   d e s cr ib e  th e  p h y s ical  en v ir o n m en t  an d   th eir   f in al  r e s u lts   s h o wed   th at  d u r i n g   th e   c o m p u ter ized   ex am s ,   s tu d e n ts   h ad   f ewe r   n eg ativ e   em o tio n s   co m p a r in g   t o   tr ad iti o n   ex am s ,   f em ales’   s tu d en ts   r ep o r ted   h ig h er   r etr o s p ec tiv e  n eg ativ e  em o tio n s .   Sh r aim   [ 2 1 ]   ex a m in ed   th e  C B E s   f r o m   th e  v iewp o in t  o f   th e  s tu d en ts .   I n   o r d er   to   in v esti g ate  cu r r en t   o n lin e  test in g   m eth o d s ,   s h e  p o lled   3 4 2   u n d er g r ad u ate  s tu d en ts   at  Pales tin e  T ec h n ical  Un iv er s ity – Kad o o r ie .  T h e  s tu d y   lo o k ed   at  o n lin e  ev alu atio n s '   in s tr u ctio n al  v alu e,   v alid ity ,   r eliab ilit y ,   af f ec tiv e  elem en ts ,   p r ac ticality ,   an d   s ec u r ity .   T h e  r esu lts   s h o wed   th at  p u p ils   f av o r ed   o n lin e  ass ess m en ts   o v er   co n v en tio n al  p ap er - b ased   ex am s .   I n   ter m s   o f   g r a d in g   ef f icien cy   a n d   d ep en d ab ilit y ,   C B E s   p er f o r m ed   b etter ,   s av in g   tim e,   ef f o r t,   an d   m o n e y .   Ho wev er ,   s tu d e n ts   also   m en tio n ed   a  n u m b er   o f   d if f icu lties ,   esp ec ially   with   r eg ar d   to   s ec u r ity ,   v alid ity ,   an d   f air n ess .   T h e  s tu d y   f u r th er   s u g g ests   th at  elec tr o n ic  ex am i n atio n s   ar e   m o r e  s u itab le  f o r   f o r m ativ e   ass es s m en ts ,   em p h asizin g   lear n in g   p r o g r ess   r ath er   th an   s u m m ativ e  ev alu atio n .   Ultim ately ,   th e  s u cc ess f u l   ad o p tio n   o f   o n lin e  ex a m s   d ep en d s   o n   th eir   ca r ef u l  d esi g n   to   en s u r e  v alid ity ,   r eliab ilit y ,   s ec u r ity ,   an d   f lex ib ilit y .   Prio r   s tu d ies  h av e   also   lo o k e d   at   h o w   u n iv er s ity   s tu d en ts   in ter ac t  with   co m p u t er - b ased   a n d   o n lin e   ass es s m en t  en v ir o n m en ts ,   e m p h asizin g   h o w  t h ese  s y s tem s   af f ec t   s tu d en ts '   p er f o r m an ce ,   en g a g em en t,   an d   s atis f ac tio n   [ 2 1 ] .   Sch er er   et  a l.   [ 4 ]   d is cu s s ed   in   th eir   s tu d y   a  r o b u s t  an d   co m p r eh e n s iv e  test   o f   th e  te ch n o lo g y   ac ce p tan ce   m o d el   ( T AM )   in   a n   ed u ca tio n al  c o n tex t   b y   ex a m in in g   t h e  k e y   f ac to r s   d r iv in g   teac h er s '   ad o p tio n   o f   d i g ital  tech n o l o g y   in   th ei r   teac h in g   p r ac tices.  Usi n g   ad v an ce d   s tatis tical  m eth o d s ,   s p ec if ically   m eta - an aly tic  s tr u ctu r al  eq u atio n   m o d elin g   ( MA SEM ) ,   th e  r esear ch er s   co llected   an d   s y n th esiz ed   1 2 4   co r r elatio n   m atr ices  f r o m   1 1 4   em p ir ical   T AM   s tu d ies  ( N= 3 4 , 3 5 7   teac h er s )   an d   test ed   th e  f it  o f   th e  T AM   an d   its   v er s io n s .   T h e  r esu lts   co n f ir m ed   th e  s tr o n g   an d   p o s itiv e  im p ac t  o f   b o th   p e r ce iv ed   u s ef u l n ess   an d   ea s e  o f   u s e   o n   teac h er s '   in ten tio n   to   u s e  d ig ital  tech n o lo g y .   T h e   s tu d y   also   h ig h lig h te d   s ev er al  ex ter n al  f ac t o r s   in f lu en cin g   tech n o l o g y   u s e  in   ed u ca tio n ,   s u c h   as in s titu tio n al  s u p p o r t,  tr ai n in g ,   a n d   e x p er ie n ce .   T AM ,   wh ich   c r ea ted   b y   Dav i s   [ 2 6 ] ,   s er v es  as  th e   f o u n d atio n   f o r   th is   in v esti g atio n .   T AM   is   wid ely   ac k n o wled g e d   as  o n e   o f   th e  m o s t  im p o r ta n t  f r a m ewo r k s   f o r   co m p r e h en d in g   h o w  p eo p l e  ad o p t  an d   u tili ze   n ew  tech n o lo g y ,   esp ec ially   i n   ed u ca tio n al  c o n tex ts .   Acc o r d in g   to   T AM ,   t h er e  ar e  two   m ain   elem en ts   th at  in f lu en ce   a  s tu d en t' s   ac ce p tan ce   o f   C B E s .   Firs t,  p er ce iv ed   ea s e  o f   u s e   ( PEOU ) ,   t h i s   is   th e   d eg r ee   to   wh ich   a   s tu d en t  th in k s   u s in g   th e  elec tr o n ic  ex am   p latf o r m   wo u l d   b e  s im p le  an d   ea s y .   Acc o r d in g   to   th is   s tu d y ,   PEOU   is   clo s ely   r elate d   to   th e  “ tec h n ical  ch allen g es ” .   Fo r   ex am p le,   r estricte d   f ea tu r es  lik e  “ o n e - way   n av i g atio n ”   m ak e  th e  s y s tem   s ee m   less   u s er - f r ien d ly ,   w h ich   r aises   s tu d en ts '   tech n ical  an x iety   a n d   d ec r ea s es  th eir   ac ce p tan ce   o f   it  o v er all .   Seco n d ly ,   p er ce i v ed   u s ef u ln ess   ( PU) ,   t h is   is   d ef in ed   as  th e  d eg r ee   to   wh ich   a  s tu d en t   b eliev es  th at  th e   C B E   s y s tem   will  en h an ce   t h eir   ac ad e m ic  p er f o r m a n ce   o r   lear n in g   ex p er i en ce .   T h is   r elate s   to   th e  “ p e d ag o g ical  ch allen g es ”   o b s er v ed   in   th e  r esu lts ;  wh en   im m ed iate  f ee d b ac k   is   m is s in g ,   o r   e x am   d esig n s   ar e  p o o r ,   s tu d en ts   p e r ce iv e  th e   tech n o lo g y   as less   u s ef u l,  wh i ch   n eg ativ ely   im p ac ts   th eir   en g ag em en t [ 2 7 ] .       4.   M E T H O D   4 .1 .    Resea rc h  des ig n a nd   pro ce du re   T h is   r esear ch   u tili ze d   a  cr o s s - s ec tio n al  d escr ip tiv e  q u an titativ e  ap p r o ac h   to   in v esti g at e  s tu d en ts ’   v iews  o n   C B E s   at  Yar m o u k   Un iv er s ity .   T h e   s tu d y   was  o r g an ized   c h r o n o lo g ically   as:  i n itially ,   a  th o r o u g h   ex am in atio n   o f   t h e  liter atu r e   was  d o n e   to   d eter m in e  t h e   m ain   ch allen g es  ( p s y c h o lo g ical,   tech n ical,   an d   ed u ca tio n al) .   Seco n d ,   a  p ilo t   s tu d y   was  u s ed   to   c r ea te  an d   v alid ate   th e  s u r v ey   in s tr u m en t.   T h ir d ,   th e   u n iv er s ity   g r an ted   o f f icial  et h ical  ap p r o v al.   L astl y ,   t o   g u ar an tee  th at  p a r ticip an ts   h ad   n e w  ex p er ien ce s   with   th e  C B E   s y s tem ,   d ata  co llecti o n   was  d o n e  d u r in g   th e  m id te r m   p er io d   o f   th e  f ir s t  s em este r   o f   th e  2 0 2 5 – 2 0 2 6   ac ad em ic  y ea r .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         R eth in kin g   c o mp u ter - b a s ed   e xa min a tio n s   in   h i g h er e d u c a tio n   …   ( A h ma d   A d n a n   A lZyo u d )   2865   4 .2 .     P o pu la t io n a nd   s a m ple   T h e  r esear ch   p o p u latio n   co m p r is es  all  u n d er g r a d u ate  an d   g r ad u ate  s tu d en ts   at  Yar m o u k   Un iv er s ity .   C o n v en ien ce   s am p lin g   was  u s ed   to   s elec t  a  s am p le  o f   5 4 5   s tu d en ts   b ec au s e  it  was  f ea s ib le  to   r ea ch   a  wid e  r an g e  o f   f ac u lties   d u r in g   th e   in ten s iv e  ex am   p er io d .   C o ch r an ' s   f o r m u la,   wh ic h   s tates  th at  f o r   a  p o p u latio n   lar g er   th a n   2 0 , 0 0 0   s tu d en ts ,   at   least  3 7 7   p a r ticip an ts   ar e   n ee d ed   to   ac h ie v e  a   9 5 %  c o n f i d e n ce   lev el   with   a   5 %  m ar g in   o f   er r o r ,   p r o v id es  s tatis tical  ju s tific at io n   f o r   th is   s am p le  s ize.   T h is   cu to f f   is   g r ea t ly   ex ce ed ed   b y   o u r   s am p le  o f   5 4 5   p e o p le,   g u a r a n teein g   s tr o n g   d ata  r e p r esen t ativ en ess   an d   tr u s two r th y   an a ly s is .   Acc o r d in g   to   d em o g r a p h ic  s tatis tics ,   6 7 . 2 %  o f   th e  s am p le  wer e  f em ale,   an d   3 2 . 8 %  wer e  m ale,   an d   th e  m ajo r ity   ( 6 7 . 0 %)  wer e  b etwe en   th e  a g es  o f   1 8   an d   2 0 .   T h e  s am p le  c o m p r is ed   s tu d en ts   f r o m   b o th   s cien ti f ic  an d   h u m an ities   s u b jects th r o u g h o u t a ll a ca d e m ic  y ea r s .     4 .3 .     I ns t rum ent   dev elo pm en t   Data   wer e  g ath er ed   th r o u g h   a  s tr u ctu r ed   s u r v ey   cr ea te d   to   ev alu ate  s tu d en ts '   ex p er ien ce s   with   C B E s .   T h e  d ev ice   was  m ad e  u p   o f   th r ee   p ar ts .   F ir s tly ,   d em o g r a p h ic   d etails  ( g en d e r ,   ag e ,   d e p ar tm en t,  ac ad em ic  y ea r ,   ed u ca tio n al  lev el) .   Seco n d ly ,   p r im ar y   s ca le  item s   ass ess in g   p s y ch o lo g ical,   tec h n ical,   an d   p ed ag o g ical  d if f icu lties   u s in g   a  f iv e - p o in t  L ik er t  s ca le  ( 1 =stro n g ly   d is ag r ee   to   5 =stro n g l y   ag r ee ) .   T h ir d ly ,   q u esti o n s   th at   in v ite  d etailed   r esp o n s es  to   g ath er   q u alitativ e  in s ig h ts   ab o u t  s tu d en ts ’   v iews  an d   r ec o m m en d atio n s .   T h e   co m p leted   in s tr u m en t  co n s is t ed   o f   3 2   item s   ca teg o r ized   in to   th r ee   ar ea s :  m en tal,   tech n ical,   an d   ed u ca tio n a l   o b s tacle s .     4 .4 .     Va lid it y   a nd   re lia bil it y   4 . 4 . 1 .   Co ns t ruct   v a lid it y   T h e  item - to tal  c o r r elatio n   c o ef f icien ts   f o r   ea c h   d o m ain   wer e  ca lcu lated   to   ev alu at e  co n s tr u ct   v alid ity .   C o r r elatio n   co ef f icien ts   v ar ied   b etwe en   0 . 3 8   an d   0 . 8 7 ,   all  s tatis tically   s ig n if ican t  at  th e  0 . 0 5   an d   0 . 0 1   th r esh o ld s .   T h ese  f in d i n g s   s h o w  th at  ev er y   item   was  s u itab ly   m atch ed   with   its   co r r esp o n d in g   co n s tr u cts,   an d   n o   item s   wer e  elim in ated .     4 .5 .    Relia bil it y   R eliab ilit y   was  ev alu ated   with   a  p ilo t  g r o u p   o f   2 0   s tu d e n ts   s ep ar ate  f r o m   th e  p r im ar y   s tu d y   s am p le   v ia  a  test - r etest  m eth o d   ca r r ied   o u t  o v er   a  two - wee k   p er io d .   T wo   r eliab ilit y   m etr ic s   wer e  co m p u ted :   Pear s o n ’ s   co r r elatio n   co ef f ic ien t  ( in d ex   o f   s tab ilit y ) ,   C r o n b ac h ’ s  alp h a  ( co n s is ten cy   with in ) ,   v alu es  o f   C r o n b ac h ’ s  alp h a  v ar ied   f r o m   0 . 8 2   to   0 . 8 6   ac r o s s   d if f er e n t  d o m ain s ,   0 . 8 9   f o r   th e  co m p lete  to o l.  Pear s o n ’ s   s tab ilit y   co ef f icien ts   v ar ied   f r o m   0 . 8 8   to   0 . 9 0   th r o u g h o u t  d o m ain s ,   0 . 9 1   f o r   th e  co m p lete   in s tr u m en t.  T h ese  v alu es  r ef lect  s tr o n g   i n ter n al  c o n s is ten cy   an d   s ig n if ican t   s tab ilit y ,   af f ir m in g   th e   in s tr u m en t' s   r eliab ilit y   f o r   th e   p r esen t stu d y .     4 .6 .    Da t a   a na ly s is   m et ho d   SP SS   ( v . 2 6 )   was  u s ed   to   an aly ze   th e  co llected   d ata  to   m ee t  th e  r esear ch   o b jectiv es.  T h e  s tati s tical  tech n iq u es  lis ted   wer e  u s ed :  i )   ANOV A  to   f in d   s ig n if ican t  d if f er en ce s   b ased   o n   d em o g r ap h ic  v ar iab les;     ii )   C r o n b ac h ’ s  alp h a   an d   Pear s o n   co r r elatio n   to   co n f ir m   th e   to o l' s   p s y ch o m etr ic  q u alities ;  an d   iii )   d escr ip tiv e   s tatis t ics,  s u ch   as  f r eq u en cies,  p er ce n tag es,  m ea n s ,   an d   s tan d ar d   d e v iatio n s ,   to   d escr ib e  th e  s am p le  an d   r an k   th e  o b s tacle s .       5.   RE SU L T S   5 .1 .    St a t is t ica l  s t a nd a rd   T h e  p ar ticip a n ts ’   r esp o n s es  wer e  in ter p r ete d   u s in g   a  5 - p o in t  L ik er t   s ca le  ( ag r ee = 4 ,   d is ag r ee = 2 ,   s ev er ely   d is ag r ee = 1 ,   n eu t r al = 3 ,   an d   s tr o n g l y   ag r ee = 5 ) .   T h e   m ea n   s co r es  wer e  d iv id ed   in to   th r ee   g r o u p s   f o r   an aly s is   u s in g   a  s p ec if ic  s ca le:  lo w  ( 1 . 0 0 – 2 . 3 3 ) ,   m o d er ate  ( 2 . 3 4 – 3 . 6 7 ) ,   an d   h ig h   ( 3 . 6 8 – 5 . 0 0 ) .   T h is   class if icatio n   was  co m p u ted   u s in g   th e  in ter v al  e q u atio n .   B y   d ed u ctin g   th e   lo wer   lim it  ( 1 )   f r o m   th e  u p p e r     lim it  ( 5 )   an d   d iv i d in g   th e   r esu lt  b y   th e  n u m b er   o f   g r o u p s   ( 3 ) ,   th e   in ter v al   o f   1 . 3 3   was  f o u n d .   B y   ad d in g   th is   tim e  f r am e  to   t h e  en d   o f   ea c h   ca teg o r y ,   th e  s tu d y   en s u r e d   a   co n s is ten t  an d   o b jectiv e  s tan d ar d   f o r   ev alu atin g   th e  ed u ca tio n al,   p s y ch o l o g ical ,   an d   tech n ical  ch allen g es.     5 .2 .    Va lid it y   o f   t he  s urv ey   T o   ass ess   th e  co n s tr u ct   v alid i ty   o f   th e   C B E   s k ills   s ca le,   th e  co r r elatio n   c o ef f icien ts   b etwe en   ea c h   item   an d   t h e  to tal  s co r e  o f   its   co r r esp o n d in g   s k ill  wer e   ca lcu lated .   T h ese  c o ef f icien ts   in d icate   th e  ex te n t  t o   wh ich   ea ch   item   co n t r ib u tes  to   m ea s u r i n g   th e   o v er all  co n s tr u ct.   T h e   r esu lts   s h o wed   t h at  th e  c o r r elatio n   co ef f icien ts   r a n g ed   f r o m   0 . 3 8   to   0 . 8 7 ,   all   o f   wh ich   wer e   s tatis tically   s ig n if ican t.  T h is   d e m o n s tr ates  th at  all   item s   o n   th e  s ca le  ar e  ap p r o p r iate  an d   ef f ec tiv el y   m ea s u r e  th e  in ten d ed   c o n s tr u cts.   T ab le  1   d is p lay s   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   4 ,  Au g u s t   20 26 :   2 8 6 1 - 2 8 7 3   2866   o u tco m es o f   th e  an aly s is   o n   co n s tr u ct  v alid ity .   C o r r elatio n   co ef f icien ts   f o r   ea ch   item   ag ain s t th e  to tal  s co r e  o f   its   r esp ec tiv e  d o m ain   wer e   co m p u ted   to   ass ess   h o w  well   ea ch   item   r ef lects  th e   in ten d e d   co n s tr u ct.   No n e  o f   th e  item s   wer e  r em o v ed   f r o m   th e  s ca le  b ec au s e  it  i s   ev id en t  f r o m   th e  tab le  th at  all  co r r elatio n   co ef f icien ts   ar e   ad eq u ate  a n d   s tatis tically   s ig n if ican t.  T h is   s tr o n g   v alid ity   at test s   to   th e  r esear ch   in s tr u m e n t ’ s   s u itab ilit y   f o r   ass es s in g   th e  s tu d y   s am p le' s   i n ten d ed   p s y ch o lo g ical  an d   p e d ag o g ical  f ac t o r s .       T ab le  1 .   C o r r elatio n   co ef f icien ts   b etwe en   item s   an d   th e  to ta l sco r e  f o r   ea c h   s k ill   P sy c h o l o g i c a l   c h a l l e n g e s   Te c h n i c a l   c h a l l e n g e s   P e d a g o g i c a l   c h a l l e n g e s   I t e m #   R   W i t h   a   t o t a l   sc o r e   o f   s k i l l   I t e m #   R   W i t h   a   t o t a l   sc o r e   o f   s k i l l   I t e m #   R   W i t h   a   t o t a l   sc o r e   o f   s k i l l   1   0 . 8 7 ( * * )   12   0 . 4 4 ( * )   23   0 . 4 0 ( * )   2   0 . 8 5 ( * * )   13   0 . 5 1 ( * * )   24   0 . 6 7 ( * * )   3   0 . 8 5 ( * * )   14   0 . 3 8 ( * )   25   0 . 6 3 ( * * )   4   0 . 7 6 ( * * )   15   0 . 5 6 ( * * )   26   0 . 8 2 ( * * )   5   0 . 8 2 ( * * )   16   0 . 5 6 ( * * )   27   0 . 6 1 ( * * )   6   0 . 7 6 ( * * )   17   0 . 3 9 ( * )   28   0 . 6 4 ( * * )   7   0 . 6 9 ( * * )   18   0 . 6 1 ( * * )   29   0 . 8 3 ( * * )   8   0 . 6 5 ( * * )   19   0 . 5 1 ( * * )   30   0 . 7 5 ( * * )   9   0 . 6 3 ( * * )   20   0 . 6 3 ( * * )   31   0 . 4 0 ( * )   10   0 . 5 1 ( * * )   21   0 . 4 4 ( * )   32   0 . 6 9 ( * * )   11   0 . 6 7 ( * * )   22   0 . 6 7 ( * * )       N o t e :   * C o r r e l a t i o n   i s s i g n i f i c a n t   a t   t h e   0 . 0 5   l e v e l ,   a n d   c o r r e l a t i o n   i s s i g n i f i c a n t   a t   t h e   0 . 0 1   l e v e l   ( 2 - t a i l e d ) .       5 .3 .     Relia bil it y   o f   t he  re s ea r ch  ins t rum ent   T h e  test - r etest  ap p r o ac h   was  u s ed   to   p ilo t  th e  r esear ch   in s tr u m en t  ( q u esti o n n air e)   o n   a  s am p le  o f     2 0   s tu d en ts   wh o   wer e  n o t  p ar t  o f   th e  ac tu al  s tu d y   s am p le  in   o r d er   to   ass ess   th e  r eli ab ilit y   o f   in ter n a l   co n s is ten cy   an d   th e  s tab ilit y   in d ex   f o r   th e  in s tr u m en t  an d   its   d o m ain s .   Ov er   th e  co u r s e  o f   two   wee k s ,   th e  r esear ch er   g av e  th e  q u esti o n n air e  to   th e  p ilo t  s am p le  twice.   T h e  f o llo win g   m etr ics  wer e  th en   u s ed   to   d eter m in e  th e   r eliab ilit y .   F ir s t,  Pear s o n ’ s   co r r elatio n   co e f f ic ien t,  wh ich   s h o ws  h o w  s tab le  th e  in s tr u m en t  was  o v er   th e   co u r s e  o f   t h e  two   a d m in is tr atio n s .   Seco n d ,   d ep en d in g   o n   th e  in itial  ad m in is tr atio n ,   C r o n b ac h ’ s  alp h a   is   u s ed   to   s h o w  th e  in ter n al   co n s is ten cy   o f   th e  q u esti o n n air e  item s .     5 .4 .   Ana ly s is   a nd   inte rpre t a t io n   T h e  s tab ilit y   in d e x   ( Pear s o n )   f o r   th e   d o m ain s   in   T ab le   2   v ar ied   f r o m   0 . 8 8   to   0 . 9 0 ,   with   a  to tal  o f   0 . 9 1 ,   s u g g esti n g   s tr o n g   s ta b ilit y   d u r in g   th e  two   ad m i n is tr atio n s .   Fu r th er m o r e,   th e   d o m ain s '   in ter n al  co n s is ten cy   ( C r o n b ac h ' s   alp h a)   r an g ed   f r o m   0 . 8 2   to   0 . 8 6 ,   wh ile  th e  in s tr u m en t' s   o v er all  C r o n b ac h ' s   alp h a  was   0 . 8 7 ,   s u g g esti n g   s tr o n g   in te r - i tem   d ep en d ab ilit y .   T h ese  f in d in g s   s u p p o r t   th e  co n clu s io n   th at  th e  r esear ch   t o o l   is   tr u s two r th y   an d   a p p r o p r iate  f o r   th e  c u r r e n t in v esti g atio n .       T ab le   2.   Pear s o n ’ s   co r r elatio n   co ef f icien t  an d   C r o n b ac h ’ s   al p h a  f o r   th e  d o m ain s   D o ma i n   C r o n b a c h ’ s  a l p h a   S t a b i l i t y   i n d e x   P sy c h o l o g i c a l   c h a l l e n g e s   0 . 8 4   0 . 8 8   Te c h n i c a l   c h a l l e n g e s   0 . 8 6   0 . 9 0   P e d a g o g i c a l   c h a l l e n g e s   0 . 8 2   0 . 8 9   N o t e :   c o r r e l a t i o n   i s   si g n i f i c a n t   a t   t h e   0 . 0 1   l e v e l   ( 2 - t a i l e d ) .       5 .5 .    Relia bil it y   o f   t he  re s ea r ch  ins t rum ent   T o   d eter m i n e  th e   r eliab ilit y   o f   in te r n al  co n s is ten cy   an d   th e  s tab ilit y   in d ex   f o r   th e  r esear ch   in s tr u m en t  ( q u esti o n n air e )   ac r o s s   its   d o m ain s   a n d   t o tal  s co r e,   th e   in s tr u m en t   was  p ilo ted   o n   a   s am p le  o f   2 0   s tu d en ts   o u ts id e  th e  ac tu al  s tu d y   s am p le  u s in g   th e  test - r etest  m eth o d .   T h e  q u esti o n n air e  was  ad m in is ter ed   twice  to   th e  p ilo t  s am p le  o v er   a  p er io d   o f   two   wee k s .   T h e  r eliab ilit y   was  ca lcu lated   u s in g   th e  f o llo win g   m ea s u r es:  i)   Pear s o n ’ s   co r r el atio n   co ef f icien t,  to   in d icate   th e  s tab ilit y   o f   th e   in s tr u m en t  ac r o s s   th e  two   ad m in is tr atio n s ;   ii)   C r o n b ac h ’ s   alp h a   to   in d icate   th e  in ter n al  co n s is ten cy   o f   th e  q u esti o n n a ir e  item s   b ased   o n   t h e   f i r s t   a d m i n is t r at i o n .   T a b le   3   d i s p l a y s   t h e   r e l i a b il i t y   a s s es s m e n t   o f   t h e   r es e a r c h   t o o l ,   e m p l o y i n g   th e  P e a r s o n   c o r r e l a t i o n   c o e f f i ci e n t   a n d   C r o n b a c h ’ s   a l p h a   to   ev alu ate  th e  s tab ilit y   an d   in ter n al  co n s is ten cy   o f   th e   s u r v ey .   T ab le  3   s h o ws  th at  th e  s tab ilit y   in d ex   ( Pear s o n )   f o r   th e  d o m ain s   r an g ed   f r o m   0 . 8 8   to   0 . 9 0 ,   an d   was   0 . 9 1   f o r   th e  to tal  s co r e.   T h e  in ter n al  co n s is ten cy   ( C r o n b ac h ’ s   alp h a)   f o r   th e  d o m ain s   r a n g ed   f r o m   0 . 8 2   to   0 . 8 6 ,   an d   was  0 . 8 9   f o r   th e  to t al  s co r e.   T h ese  co ef f icien ts   in d icate   th at  th e   r esear ch   i n s tr u m en t  is   r eliab le  a n d   s u itab le  f o r   u s e  in   t h is   s tu d y .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         R eth in kin g   c o mp u ter - b a s ed   e xa min a tio n s   in   h i g h er e d u c a tio n   …   ( A h ma d   A d n a n   A lZyo u d )   2867   T ab le  3 .   Pear s o n ’ s   co r r elatio n   co ef f icien t  an d   C r o n b ac h ’ s   al p h a  f o r   d o m ain s   an d   t o tal  s co r e   D o ma i n   C r o n b a c h   a l p h a   S t a b i l i t y   i n d e x   P sy c h o l o g i c a l   c h a l l e n g e s   0 . 8 4   0 . 8 8 * *   Te c h n i c a l   c h a l l e n g e s   0 . 8 6   0 . 9 0 * *   P e d a g o g i c a l   c h a l l e n g e s   0 . 8 2   0 . 8 9 * *   O v e r a l l   0 . 8 9   0 . 9 1 * *   * * C o r r e l a t i o n   i s si g n i f i c a n t   a t   t h e   0 . 0 1   l e v e l   ( 2 - t a i l e d ) .       5 .6 .     Study   s a m ple   T ab le  4   p r esen ts   th e  s am p le   d is tr ib u tio n   o f   t h e  s tu d y   p ar ticip an ts   ac r o s s   s ev er al  d em o g r ap h ic   ch ar ac ter is tics .   T h e  m ajo r ity   o f   th e  s am p le  wer e  f em ale   s tu d en ts   ( 6 7 . 2 %)  co m p ar ed   to   m ales  ( 3 2 . 8 %).   R eg ar d in g   a g e,   m o s t  p ar ticip a n ts   wer e  b etwe en   1 8   a n d   2 0   y ea r s   o ld   ( 6 7 . 0 %),   f o llo wed   b y   th o s e  a g ed   2 1 – 2 3   ( 2 6 . 1 %),   2 4 – 2 6   ( 2 . 9 %),   a n d   m o r e  th an   2 6   ( 4 . 0 %).   I n   ter m s   o f   f ac u lty   af f iliatio n ,   s lig h tly   m o r e  th a n   h alf   o f   th e  s tu d en ts   ( 5 4 . 7 %)  b elo n g ed   to   s cien tific   f ac u lties ,   wh ile  4 5 . 3 %  wer e   f r o m   h u m an ities   f ac u lties .   T h e  ac ad em ic  y ea r   d is tr ib u tio n   s h o ws  th at  th e  lar g est  g r o u p   wa s   f ir s t - y ea r   s tu d e n ts   ( 3 4 . 5 %),   f o llo wed   b y   s ec o n d - y ea r   ( 2 7 . 3 %),   th ir d - y ea r   ( 1 9 . 6 %),   an d   f o u r th - y ea r   o r   h ig h er   ( 1 8 . 5 %).   Fin ally ,   th e  m ajo r ity   o f   p ar ticip an ts   wer e  u n d er g r ad u ates  ( 9 7 . 1 %) ,   with   a  s m all  p r o p o r tio n   b e in g   g r a d u ate  s tu d en ts   ( 2 . 9 %) .   T h is   d is tr ib u tio n   p r o v id es  a  clea r   o v er v iew  o f   th e  d em o g r ap h ic  p r o f ile  o f   th e  s tu d y   s am p le.   Ho w  f r eq u en tly   d o   y o u   tak e  CBE ?  Un d er s tan d in g   t h e  f r e q u en c y   o f   tak in g   CBE   h elp s   g au g e  s tu d en ts ’   r eg u la r   ex p o s u r e  to   d ig i tal  ass es s m en ts .   As  p r esen ted   in   T ab le  5 ,   m o s t  s tu d en ts   r ep o r ted   ta k in g   CBE   o f ten   ( 4 4 . 6 %)  o r   o cc asio n ally   ( 3 2 . 8 %),   wh ile  a  s m aller   p er ce n tag e  r ep o r ted   tak in g   th em   v er y   o f ten   ( 1 7 . 6 %)  o r   r a r ely   ( 5 . 0 %).   T h is   s u g g ests   th at  th e   s am p le  g en er ally   h as  f r eq u e n t  ex p er ien ce   with   c o m p u te r - b a s ed   ass es s m en ts .   Do   y o u   h a v e   an y   s p ec ial  n ee d s   o r   d is ab ilit ies  th at  m ay   af f ec t  y o u r   e x am   ex p e r ien ce ?  I d en ti f y in g   s tu d e n ts   with   s p ec ial  n ee d s   is   ess en tia l  f o r   u n d er s tan d i n g   p o ten tial c h alle n g es in   d ig ital e x am   s ettin g s .       T ab le  4 .   Sam p le  d is tr ib u tio n   F r e q u e n c y   P e r c e n t a g e   ( %)   V a l i d   p e r c e n t a g e   ( %)   G e n d e r   F e mal e   3 6 6   6 7 . 2       M a l e   1 7 9   3 2 . 8   A g e   18 – 20   3 6 5   6 7 . 0       21 – 23   1 4 2   2 6 . 1       24 – 26   16   2 . 9       M o r e   t h a n   2 6   22   4 . 0   F a c u l t y   S c i e n t i f i c   2 9 8   5 4 . 7       H u ma n i t i e s   2 4 7   4 5 . 3   A c a d e mi c   y e a r   1 st     1 8 8   3 4 . 5       2 n d     1 4 9   2 7 . 3       3 r d     1 0 7   1 9 . 6       4 t h   o r   m o r e   1 0 1   1 8 . 5   A c a d e mi c   l e v e l   U n d e r g r a d u a t e   5 2 9   9 7 . 1       G r a d u a t e     16   2 . 9       To t a l   5 4 5   1 0 0 . 0       T ab le  5 .   Fre q u en cy   o f   tak i n g   C B E s   F r e q u e n c y   l e v e l   F r e q u e n c y   P e r c e n t a g e   ( %)   O f t e n   2 4 3   4 4 . 6   V e r y   o f t e n   96   1 7 . 6   O c c a s i o n a l l y   1 7 9   3 2 . 8   R a r e l y   27   5 . 0   To t a l   5 4 5   1 0 0 . 0       T ab le  6   s h o ws  th at  th e  m ajo r i ty   o f   s tu d en ts   ( 9 4 . 7 %)  r ep o r te d   h av in g   n o   s p ec ial  n ee d s   o r   d is ab ilit ie s   th at  co u ld   af f ec t  t h eir   ex am   ex p er ien ce ,   w h ile  a  s m all  p r o p o r tio n   ( 5 . 3 %)  in d icate d   th at  th ey   d id .   T h is   in d icate s   th at  o n ly   a  m in o r ity   o f   th e  s am p le  m ay   r eq u ir e  a cc o m m o d atio n s   f o r   d ig ital  ex am s .   W h at  i s   y o u r   lev el  o f   c o m p u ter   s k ills ?  Ass ess in g   s tu d en ts ’   co m p u ter   s k ills   p r o v id es  in s ig h t  i n to   th ei r   p r e p ar ed n ess   f o r   d ig ital a s s ess m en t s .   I t  ca n   b e  o b s er v ed   f r o m   T ab l e  7   th at  m o s t  s tu d en ts   r ep o r ted   h av in g   in ter m ed iate  co m p u ter   s k ills   ( 5 8 . 5 %),   f o llo we d   b y   ad v an c ed   s k ills   ( 2 4 . 0 %)   an d   b eg i n n er   s k ills   ( 1 7 . 4 %).   T h ese  f i n d i n g s   s u g g est  th at  t h e  s am p le  is   g en er ally   ca p ab le  o f   h an d lin g   C B E s ,   th o u g h   s o m e  m ay   b en ef it  f r o m   ad d itio n al  s u p p o r t  o r   g u id an ce .   T o   a n s wer   th e  f ir s t   r esear ch   q u esti o n ,   th e  m ea n s   an d   s tan d ar d   d e v iatio n s   o f   th e  p s y ch o lo g ical   ch allen g es f ac ed   b y   s tu d en ts   d u r in g   C B E s   wer e  ca lcu lated ,   a s   p r esen ted   in   T ab le  8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   4 ,  Au g u s t   20 26 :   2 8 6 1 - 2 8 7 3   2868   T ab le  6 .   Pre s en ce   o f   s p ec ial  n ee d s   o r   d is ab ilit ies af f ec tin g   e x am   ex p e r ien ce   R e s p o n se   F r e q u e n c y   P e r c e n t a g e   ( %)   No   5 1 6   9 4 . 7   Y e s   29   5 . 3   To t a l   5 4 5   1 0 0 . 0       T ab le  7 .   Stu d e n ts ’   lev el  o f   c o m p u ter   s k ills   S t u d e n t s ’   l e v e l   F r e q u e n c y   P e r c e n t a g e   ( %)   A d v a n c e d   1 3 1   2 4 . 0   I n t e r med i a t e   3 1 9   5 8 . 5   B e g i n n e r   95   1 7 . 4   To t a l   5 4 5   1 0 0 . 0       T ab le  8   p r esen ts   th e  m ea n s   an d   s tan d ar d   d ev iatio n s   o f   s tu d en ts ’   p s y ch o lo g ical  ch allen g es  d u r in g   C B E s .   T h e  h ig h est  m ea n   wa s   r ep o r ted   f o r   th e  item   “T ec h n ical  is s u es  in cr ea s e  m y   s tr ess   d u r in g   ex am s ”   ( M= 3 . 7 3 ,   SD=1 . 3 9 ) ,   i n d icatin g   th at  tech n ical  p r o b lem s   ar e  th e  m o s t  s tr ess f u l  f ac to r   f o r   s tu d en ts .   C o n v er s ely ,   th e  lo west  m ea n   was  o b s er v e d   f o r   th e  item s   “I   f ee l  m o r e  a n x io u s   d u r in g   co m p u ter - b ase d   ex am s   th an   p ap er - b ased   o n es”  an d   “T h e  lack   o f   h u m an   in ter ac tio n   m ak es  co m p u ter - b ased   ex a m s   f ee l  m o r e  is o latin g ”  ( M= 2 . 5 0 ,   SD=1 . 4 4   an d   1 . 3 7 ,   r esp ec tiv e ly ) ,   s u g g esti n g   th at  an x iety   a n d   s o cial  is o latio n   ar e  m o d e r ately   ex p er ien ce d .   Ov er all,   th e   av er a g e  m ea n   ac r o s s   all  item s   was  2 . 9 8   ( SD=0 . 8 6 ) ,   r ef lectin g   a   m o d e r ate  lev el  o f   p s y ch o lo g ical   ch allen g es a m o n g   p ar ticip a n ts   d u r in g   C B E s .       T ab le  8 .   Me an s   an d   s tan d ar d   d ev iatio n s   o f   p s y c h o lo g ical  c h a llen g es d u r in g   C B E s   R a n k   N   I t e m   M e a n   S t d .   D e v i a t i o n   D e g r e e   o f   a g r e e me n t   1   2   Te c h n i c a l   i ss u e s   i n c r e a se   my   st r e ss   d u r i n g   e x a ms .   3 . 7 3   1 . 3 9   H i g h   2   4   I   w o r r y   a b o u t   a c c i d e n t a l l y   l o si n g   m y   a n sw e r s   o r   p r o g r e ss .   3 . 4 5   1 . 4 3   M o d e r a t e   3   5   I   e x p e r i e n c e   a   f e a r   o f   “ t e c h n i c a l   f a i l u r e ”   ( e . g . ,   f r e e z i n g ,   d i s c o n n e c t i o n )   e v e n   b e f o r e   st a r t i n g   t h e   e x a m .   3 . 4 1   1 . 4 7   M o d e r a t e   4   10   I   f e e l   mo r e   c o n f i d e n t   i n   c o m p u t e r - b a s e d   e x a ms    3 . 2 2   1 . 4 1   M o d e r a t e   5   7   Th e   v i su a l   d e s i g n   ( c o l o r s,  f o n t   si z e ,   l a y o u t )   o f   t h e   e x a m  i n t e r f a c e   a f f e c t s   my   c o mf o r t   a n d   c o n c e n t r a t i o n .   2 . 8 9   1 . 4 7   M o d e r a t e   6   6   I   f i n d   i t   d i f f i c u l t   t o   m a i n t a i n   t i m e   a w a r e n e ss  d u r i n g   c o m p u t e r - b a s e d   e x a ms.   2 . 7 7   1 . 4 7   M o d e r a t e   7   9   Th e   c o u n t d o w n   t i mer  o n   t h e   scr e e n   i n c r e a se s m y   s t r e ss  l e v e l s.   2 . 7 3   1 . 4 9   M o d e r a t e   8   3   I   f i n d   i t   d i f f i c u l t   t o   c o n c e n t r a t e   i n   c o mp u t e r - b a se d   e x a ms.   2 . 6 1   1 . 4 1   M o d e r a t e   9   1   I   f e e l   mo r e   a n x i o u s  d u r i n g   c o m p u t e r - b a se d   e x a ms  t h a n   p a p e r - b a s e d   o n e s.   2 . 5 0   1 . 4 4   M o d e r a t e   9   8   Th e   l a c k   o f   h u m a n   i n t e r a c t i o n   ma k e s  c o m p u t e r - b a s e d   e x a ms   f e e l   m o r e   i so l a t i n g .   2 . 5 0   1 . 3 7   M o d e r a t e       P sy c h o l o g i c a l   c h a l l e n g e s   2 . 9 8   0 . 8 6   M o d e r a t e   N o t e :   r a n k e d   i n   d e sc e n d i n g   o r d e r       T o   an s wer   th e  s ec o n d   r esear c h   q u esti o n ,   th e  s tu d y   c o m p u ted   th e  m ea n s   an d   s tan d ar d   d ev iatio n s   f o r   th e  item s   r elate d   to   tech n ical  ch allen g es.  T h ese  item s   r ep r esen t  d if f er en t  tech n ical  f ac t o r s   th at  m ay   h in d er   s tu d en ts ’   p er f o r m a n ce   a n d   e x p er ien ce   d u r in g   C B E s .   T h e  r esu lts   ar e   p r esen ted   in   T ab le  3 ,   r a n k ed   in   d escen d in g   o r d er   ac co r d in g   to   th eir   m ea n   s co r es.   As  s h o wn   in   T ab le  9 ,   th e  ite m   “On e - way   n av ig atio n   lim it s   m y   ab ilit y   to   r ev iew  an d   i m p r o v e  m y   an s wer s ”  r ec eiv ed   th e  h ig h es t  m ea n   s co r e  ( M= 4 . 5 4 ,   SD=1 . 0 2 ) ,   in d icatin g   th at  th is   is   th e  m o s t  s ig n if ican t  tech n ical  b ar r ier   f ac ed   b y   s tu d en ts   d u r in g   C B E s .   C o n v er s ely ,   th e  lo west  m ea n   s co r e  wa s   o b s er v ed   f o r   th e  item   “T h e  e x am   p latf o r m   is   n o t   u s er - f r ie n d ly   o r   in tu itiv e”   ( M= 2 . 2 2 ,   SD=1 . 1 6 ) ,   s u g g esti n g   th at  g e n er al   p latf o r m   u s ab ilit y   is   a  less   cr i tical  is s u e.   Ov er all,   th e  av er a g e  m ea n   ac r o s s   all  tech n ical  ch allen g e  item s   was   3 . 2 7   ( SD=0 . 4 3 ) ,   r ef lectin g   a  m o d er ate  lev el  o f   tech n ical  d i f f icu lties   en co u n ter e d   b y   s tu d en ts .   T h ese  f in d in g s   h ig h lig h t  th at  n a v ig atio n   c o n s tr ain ts   an d   tim e  r estrictio n s   ar e  th e  m o s t  im p ac tf u l  tech n ical  is s u es,  wh ile   g en er al  s y s tem   u s ab ilit y   an d   s u p p o r t a r e  co m p ar ativ ely   less   p r o b lem atic.   T o   an s wer   th e  th ir d   r esear ch   q u esti o n ,   th e  s tu d y   ca lcu lated   t h e  m ea n s   an d   s tan d a r d   d e v iatio n s   f o r   th e   item s   r elate d   to   p ed a g o g ical   f ac to r s .   T h ese  item s   r e f lect  d if f e r en t  asp ec ts   o f   teac h in g   an d   ass ess m en t  p r ac tices  th at  m ay   af f ec t   s tu d en ts ’   p er f o r m an ce ,   e n g ag e m e n t,  an d   p er ce p tio n   d u r in g   C B E s .   T h e  r esu lts   ar e  p r esen ted   in   T a b le  4 ,   r an k e d   i n   d escen d in g   o r d er   ac co r d in g   to   th eir   m ea n   s co r es.     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2         R eth in kin g   c o mp u ter - b a s ed   e xa min a tio n s   in   h i g h er e d u c a tio n   …   ( A h ma d   A d n a n   A lZyo u d )   2869   T ab le  9 .   Me an s   an d   s tan d ar d   d ev iatio n s   o f   tech n ical  ch allen g es a f f ec tin g   C B E s   R a n k   N   I t e m   M e a n   S t d .   D e v i a t i o n   D e g r e e   o f   a g r e e me n t   1   22   O n e - w a y   n a v i g a t i o n   l i mi t s m y   a b i l i t y   t o   r e v i e w   a n d   i m p r o v e   my   a n sw e r s.   4 . 5 4   1 . 0 2   H i g h   2   21   S e t t i n g   a   f i x e d   t i me   f o r   e a c h   q u e st i o n   p r e v e n t s  m e   f r o m  t h i n k i n g   c a r e f u l l y   a b o u t   d i f f i c u l t   q u e st i o n s.   3 . 8 8   1 . 3 8   H i g h   3   11   Th e   e x a m   sy s t e ms   a r e   e a sy   t o   n a v i g a t e   a n d   u se.   3 . 6 0   1 . 2 8   M o d e r a t e   4   17   I   f e e l   mo r e   i n   c o n t r o l   o f   m y   e x a m  p r o c e ss  w h e n   u s i n g   p e r so n a l   d e v i c e s   ( e . g . ,   l a p t o p ,   t a b l e t ) .   3 . 5 4   1 . 2 7   M o d e r a t e   5   16   I   t r u st   t h a t   t h e   s y st e m r e c o r d s  my   a n s w e r s a c c u r a t e l y .   3 . 3 9   1 . 2 6   M o d e r a t e   6   15   Th e   c o m p u t e r   l a b   o r   t e s t i n g   e n v i r o n me n t   i s  e r g o n o m i c a l l y   c o mf o r t a b l e   ( e . g . ,   l i g h t i n g ,   s e a t i n g ,   t e m p e r a t u r e ) .   3 . 3 3   1 . 3 6   M o d e r a t e   7   13   Te c h n i c a l   su p p o r t   i s   a v a i l a b l e   w h e n   i s su e s   o c c u r .   3 . 3 1   1 . 2 3   M o d e r a t e   8   12   Th e   sy s t e m   s o me t i m e s fr e e z e s   o r   c r a s h e s  d u r i n g   e x a ms .   3 . 2 1   1 . 2 6   M o d e r a t e   9   14   I   w o r r y   t h a t   my   e x a m   mi g h t   n o t   b e   s u b mi t t e d   su c c e ssf u l l y .   2 . 9 7   1 . 4 5   M o d e r a t e   10   18   Th e   sy s t e m  d e si g n   su p p o r t s  st u d e n t s  w i t h   d i f f e r e n t   a b i l i t i e s  ( e . g . ,   v i s u a l   o r   mo t o r   l i m i t a t i o n s) .   2 . 9 1   1 . 2 2   M o d e r a t e   11   20   I n t e r n e t   c o n n e c t i o n   i ss u e s  h a v e   i n t e r r u p t e d   m y   e x a m  a t   l e a st   o n c e .   2 . 4 0   1 . 4 7   M o d e r a t e   12   19   Th e   e x a m   p l a t f o r m  i s  n o t   u s e r - f r i e n d l y   o r   i n t u i t i v e .   2 . 2 2   1 . 1 6   Lo w       Te c h n i c a l   c h a l l e n g e s   3 . 2 7   0 . 4 3   M o d e r a t e       As  s h o wn   in   T ab le   10 ,   th e  ite m   “I   p r ef er   ex am s   th at  p r o v id e  au to m ated   f ee d b ac k   im m e d i ately   af ter   s u b m is s io n ”  r ec eiv ed   th e  h ig h est  m ea n   s co r e  ( M= 4 . 0 0 ,   SD=1 . 1 4 ) ,   i n d icatin g   th at  s tu d en ts   h ig h ly   v alu e   im m ed iate  f ee d b ac k   a n d   p lay s   a  s ig n if ican t  r o le  in   th eir   ex a m   ex p e r ien ce .   C o n v er s ely ,   th e   lo west  m ea n   s co r e   was  o b s er v ed   f o r   th e   item   “I   r ec eiv e   u s ef u l   f ee d b ac k   af ter   tak in g   c o m p u te r - b ased   ex am s ”  ( M= 2 . 8 3 ,   SD=1 . 3 2 ) ,   s u g g esti n g   th at  p o s t - ex am   f ee d b ac k   is   p er ce iv e d   as  les s   im p ac tf u l.   Ov er all,   th e  av er ag e  m ea n   ac r o s s   all  p ed ag o g ical  f ac to r   item s   was  3 . 2 8   ( SD=0 . 6 6 ) ,   r ef lectin g   a  m o d er ate  in f lu e n ce   o f   p ed a g o g ical  ap p r o ac h es  o n   s tu d en ts ’   ex p er ien ce s   with   C B E s .   T h ese   f in d in g s   in d icate   th at  f ac to r s   s u ch   as  im m ed iate   f ee d b ac k ,   tr an s p a r en cy   in   g r a d in g ,   an d   ex am   f o r m at  s ig n if i ca n tly   s h ap e   s tu d en ts ’   e n g ag e m en t  an d   p e r ce p tio n   d u r in g   co m p u ter - b ased   ass ess m en ts .       T ab le  10 .   Me a n s   an d   s tan d a r d   d ev iatio n s   o f   p ed ag o g ical  f ac t o r s   af f ec tin g   s tu d e n ts ’   ex p e r ien ce s   with   C B E s   R a n k   N   I t e m   M e a n   S t d .   D e v i a t i o n   D e g r e e   o f   a g r e e me n t   1   32   I   p r e f e r   e x a ms  t h a t   p r o v i d e   a u t o mat e d   f e e d b a c k   i mm e d i a t e l y   a f t e r   su b mi ss i o n .   4 . 0 0   1 . 1 4   H i g h   2   30   I   f e e l   t h e   s y s t e m’ s  g r a d i n g   p r o c e ss  i s  t r a n s p a r e n t   a n d   f a i r .   3 . 5 8   1 . 2 9   M o d e r a t e   3   27   C o m p u t e r - b a s e d   e x a ms   e n c o u r a g e   me  t o   f o c u s   o n   s p e e d   m o r e   t h a n   u n d e r s t a n d i n g .   3 . 5 0   1 . 3 1   M o d e r a t e   4   28   Th e   f o r ma t   ( M C Q s,  d r a g - a n d - d r o p ,   t y p i n g )   a f f e c t s  h o w   I   t h i n k   a n d   so l v e   p r o b l e ms.   3 . 2 3   1 . 2 7   M o d e r a t e   5   26   I   p r e f e r   c o mp u t e r - b a s e d   e x a ms  o v e r   t r a d i t i o n a l   p a p e r   e x a ms.   3 . 2 2   1 . 5 2   M o d e r a t e   6   31   C o m p u t e r - b a s e d   e x a ms   o f t e n   t e st   me mo r y   r a t h e r   t h a n   u n d e r s t a n d i n g .   3 . 1 6   1 . 3 0   M o d e r a t e   7   23   C o m p u t e r - b a s e d   e x a ms   r e f l e c t   t h e   a c t u a l   l e a r n i n g   o u t c o mes   o f   my   c o u r s e .   3 . 1 5   1 . 1 9   M o d e r a t e   7   29   I   l e a r n   b e t t e r   w h e n   I   k n o w   t h e   e x a m  w i l l   b e   c o m p u t e r - b a s e d .   3 . 1 5   1 . 3 4   M o d e r a t e   9   24   Th e   f o r ma t   o f   c o m p u t e r - b a s e d   e x a ms   h e l p s   me  t h i n k   c r i t i c a l l y .   2 . 9 5   1 . 2 5   M o d e r a t e   10   25   I   r e c e i v e   u sef u l   f e e d b a c k   a f t e r   t a k i n g   c o m p u t e r - b a s e d   e x a ms .   2 . 8 3   1 . 3 2   M o d e r a t e       P e d a g o g i c a l   c h a l l e n g e s   3 . 2 8   0 . 6 6   M o d e r a t e       6.   DIS CU SS I O N   6 .1 .     I nte rpre t ing   s t ud ent   a cc ept a nce  t hro ug h  T AM   T h e  cu r r en t  r esu lts   s h o w  th at   Yar m o u k   Un iv e r s ity   h as  a   m o d er ate  le v el  o f   g e n er al  ac ce p tan ce   o f   C B E s ,   th is   ap p r o v al   s ee m s   c o n d itio n al   r ath er   th a n   u n co n d itio n al.   T h e  f i n d in g s   im p ly   th at  PEOU   is   n o t   n ec ess ar ily   an   is s u e  at   th e  i n ter f ac e  lev el   wh en   an aly ze d   u s in g   th e  T AM .   Acc o r d in g   to   s tu d en t  r ep o r ts ,   th e   p latf o r m   is   ty p ically   ea s y   to   u s e,   d em o n s tr atin g   a  s u f f icie n t  lev el  o f   d ig ital  liter ac y   a n d   tech n o l o g ical  to o l   k n o wled g e.   Ho wev e r ,   it  a p p ea r s   th at  ex ter n al  in s titu tio n al  co n s tr ain ts   im p air   PU  an d   in d ir ec tly   r e d u ce   b eh av io r al  i n ten tio n   t o   f u lly   ac ce p t  C B E s   d u e  to   th e  s u b s tan tial  s tr ess   as s o ciate d   with   tech n ical  in s tab ilit y   an d   r estrictiv e  n av i g atio n   laws.   T h is   co n clu s io n   is   co n s is ten t  with   th e  th o r o u g h   T AM   v ali d atio n   ca r r ied   o u t  b y   Sch er er   et  a l.   [ 4 ] ,  wh ich   s h o wed   th at  tech n o lo g y   ad o p tio n   is   s ig n if ican tly   in f lu en ce d   b y   ex ter n al  f ac to r s   in clu d in g   s y s tem   d ep en d a b ilit y   an d   in s titu tio n al   s u p p o r t.  I n   th e  cu r r en t stu d y ,   s y s tem ic  d esig n   f laws th at  u n d er m in e  co n f id en ce   in   th e  ass es s m en t  en v ir o n m e n t  ar e  th e  p r o b lem   r at h er   th an   s tu d en ts '   in ca p ac ity   to   u s e  tech n o lo g y .   T h er ef o r e,   th e  r esu lts   g o   b ey o n d   T AM   b y   h ig h lig h tin g   h o w  r eg u lato r y   lim itatio n s   in co r p o r ated   in to   d ig ital  s y s tem s   ca n   ac t a s   o u ts id e  f ac to r s   af f ec tin g   PEOU .    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   15 ,   No .   4 ,  Au g u s t   20 26 :   2 8 6 1 - 2 8 7 3   2870   6 .2 .     T ec hn ica l  a nx iet y   a s   a   c o nte x t ua lized  ph eno m eno n   I n   alig n m en t  with   p r ev i o u s   s tu d ies   [ 9 ] ,   [ 1 7 ] ,   tech n ical  i n s tab ilit y   s u r f ac ed   as  a  s ig n if ica n t  ca u s e  o f   an x iety .   L i k e  in   I n d o n esia  an d   So u t h   Af r ica,   s tu d en ts   wer e  an x io u s   a b o u t   s y s tem   f ailu r es,  i n ter n et   co n n ec tiv ity   is s u es,  an d   p o we r   o u tag es.  I n   co n tr ast  to   B aso p i  et  a l.   [ 1 7 ] ,   w h er e  an x iety   a r o s e  p ar tly   f r o m   a   lack   o f   f am iliar ity   with   h ar d war e,   s tu d en ts   at  Yar m o u k   Un iv er s ity   ex h ib ited   m o d er at e  to   ad v an ce d   I C T   co m p eten cies.  T h is   s u g g ests   t h at  th e  an x iety   o b s er v e d   in   th e  p r esen t  s tu d y   s tem s   f r o m   wo r r ies  ab o u t  s y s tem   r eliab ilit y   r ath er   th an   f r o m   d i g ital  illi ter ac y .   T h is   d if f er en c e  is   s ig n if ican t.  I t  in d icate s   a  ch an g e  in   c o n tex t   f r o m   “a n x iety   o v e r   ad ap tin g   t o   tech n o lo g y ”  to   “a n x iety   r e g ar d in g   tr u s t  in   s y s tem s . ”  I n   o th er   ter m s ,   s tu d en ts   ar en ' t  af r aid   o f   th e  c o m p u te r — th ey   ar e  a f r aid   o f   in s titu tio n al  wea k n ess es.  T h is   s u b tlety   en h an ce s   th e   liter atu r e  b y   r ec o g n izin g   tr u s t  in   in f r astru ctu r e  as  a  s p ec if ic  p s y ch o lo g ical  m e d iato r   in   C B E   ac ce p tan ce .   T h is   im p lies   th at  co n ce r n s   ab o u t  s y s tem   d ep en d a b ilit y ,   n o t  d ig it al  illi ter ac y ,   ar e  th e  s o u r ce   o f   th e  an x iety   s ee n   in   th is   s tu d y .   Ad d itio n ally ,   s tu d en ts '   p er ce p tio n s   an d   r esp o n s es  to   th ese  d ig ital  s tr ess o r s   ar e  m ed iated   b y   th eir   tech n ical  s elf - ef f icac y   [ 2 8 ] .     6 .3 .     T he  o ne - wa y   na v ig a t i o n pa ra do x :   a   peda g o g ic a l c o n s t ra int   T h e  k ey   co n tr i b u tio n   o f   t h is   r esear ch   is   r ec o g n izin g   o n e - way   n av ig atio n   as  th e  m o s t  s ig n if ican t   p er ce iv ed   o b s tacle .   Alth o u g h   ea r lier   s tu d ies  [ 2 6 ]   f o cu s ed   o n   s ec u r ity ,   f air n ess ,   an d   lo g is tical  i s s u es,  n o n e  id en tifie d   n av ig atio n   r ig id ity   as  a  k ey   s o u r ce   o f   s tr ess .   T h is   d is co v er y   im p lies   a  teac h in g   co n tr ad ictio n :  r u les  im p lem en ted   to   d eter   c h ea tin g   m ig h t  u n in te n tio n ally   r aise  co g n itiv e  s tr ess   an d   wea k en   m etac o g n itiv e   ap p r o ac h es.  T h e  lack   o f   o p p o r tu n ity   to   r ev iew  an d   e d it  r esp o n s es  in ter f er es  with   th e  r ef lectiv e  th in k in g   p r o ce s s es  ess en tial  f o r   ass ess m en t  in   h ig h e r   ed u ca tio n .   W h ile  Har ley   et  a l.   [ 2 5 ]   o b s er v e d   th at  c o m p u ter ized   ex am s   elicited   f ewe r   n e g ativ e  em o tio n s   th a n   tr ad itio n al  o n es,  th e  c u r r en t   r esu lts   s u g g est  th at  em o tio n al   r ea ctio n s   m ig h t  d if f er   b ased   o n   s y s tem   s etu p   r ath er   th an   f o r m at  alo n e.   T h er ef o r e,   it  is   n o t  th e  d ig ital  f o r m at   th at  ca u s es st r ess ,   b u t th e  lim itin g   ex am   s tr u ct u r e  in co r p o r ated   with in   it.     6 .4 .    T he  f ee db a ck   g a p:  m is s ed  f o rm a t iv e  po t ent ia l   T h e  co n tr ast  b etwe en   s tu d en t s ’   s tr o n g   cr av i n g   f o r   p r o m p t  f ee d b ac k   a n d   th ei r   d is ap p o i n tm en t  with   ex is tin g   f ee d b ac k   m eth o d s   r ev ea ls   an   o v er lo o k e d   ed u ca tio n al  ch an ce .   Fan ir an   et  a l.   [ 2 0 ]   h ig h lig h ted   th at   o n lin e  ass ess m en ts   ar e  esp ec i ally   b en ef icial   f o r   f o r m ativ e   o b jectiv es.  No n eth eless ,   th e   e x is tin g   ex ec u tio n   at  Yar m o u k   Un iv er s ity   s ee m s   m ain ly   s u m m ativ e .   T h is   u n d er u s e  d im in is h es  th e   ed u ca tio n al  v al u e  o f   C B E s ,   tu r n in g   t h em   in to   m er e  ad m in is tr ativ e  g r ad in g   to o ls   in s tead   o f   in s tr u m en ts   th at  en h a n ce   lear n in g .   T h is   “ f ee d b ac k   g ap ”   s ig n if ies  a  s y s tem ic  in ef f icien cy   in   t h e  im p lem en tatio n   o f   d ig ita l  ass es s m en ts .   T h e  tech n o lo g ical  o p p o r tu n ities   ar e  p r esen t,  b u t th eir   ed u ca tio n a l in co r p o r atio n   is   s till   n o t f u lly   r ea lized .   Alth o u g h   th er e  ar e  tech n o lo g ical  o p p o r tu n ities ,   th eir   in teg r atio n   in to   ed u ca tio n   h as  n o t  y et  r ea ch e d   its   f u ll  p o ten tial.   Fu r th er m o r e ,   in c o r p o r atin g   A I - ass is ted   p r o cto r in g   s o lu tio n s   n ec ess itates  s tr ik in g   a  ca r ef u l  b alan ce   b etwe en   test   s ec u r ity   an d   ex am in ee s '   p s y ch o lo g ical  h ea lth   [ 2 9 ] .     6 . 5 .    Co nte x t ua lizing   f ind ing s   wit hin   dev elo pi ng   educa t io na l sy s t em s   I n   co n tr ast  to   r esear ch   ca r r ie d   o u t  in   m o r e  tech n o lo g icall y   s tab le  s ettin g s   ( e. g . ,   So u th   Af r ica  o r   C an ad a) ,   th e  s itu atio n   in   J o r d an   s h o ws  in f r astru ctu r al   v ar iab ilit y .   W o r r ies  ab o u t  p o wer   s u p p ly ,   s er v er   d ep en d a b ilit y ,   an d   o r g a n izatio n al  r ea d in ess   in cr ea s e  s tu d en t s '   an x iety .   T h u s ,   th e  ac ce p tan ce   o f   C B E s   in   th is   co n tex t  s h o u l d   b e  u n d e r s to o d   with in   wid er   in s titu tio n al   p r ep ar e d n ess   f r am ewo r k s .   T h e  ac ce p tan ce   o f   tech n o lo g y   is   in s ep ar ab le  f r o m   tr u s t  in   in f r astru ctu r e.   I n s tead   o f   co n ce n tr atin g   o n ly   o n   m em o r izatio n - b ased   ev alu atio n ,   ef f ec tiv e  d ig ital  ass ess m en t  d es ig n   s h o u ld   s u p p o r t  d ee p er   lear n in g   an d   b e  in   lin e  with   lo n g - ter m   lear n in g   o u tco m es [ 2 7 ] .     6 . 6 .     I m ple m ent a t io ns   o f   t he  s t ud y   T h e  s tu d y ' s   co n clu s io n s   h av e   s ig n if ican t  r a m if icatio n s   f o r   u n iv er s ities   th at  ar e   p r o g r ess iv ely   u s in g   CBT .   T o   g u ar an tee  th e  s u c ce s s f u l  im p lem en tatio n   o f   d ig ital  ex am in atio n s ,   u n iv e r s ities   s h o u ld   m ak e  in v estme n ts   in   d ep en d ab le  I T   in f r astru ctu r e  an d   o f f er   ad eq u ate  tech n ical  s u p p o r t.  T o   h e lp   s tu d en ts   ac q u ir e   ac cu s to m ed   to   co m p u ter - b ased   test in g   en v ir o n m en ts   an d   less en   ex am   a n x iety ,   ed u ca tio n al   in s titu tio n s   s h o u ld   also   p r o v id e  tr ai n in g   s ess io n s   an d   m o c k   ex am s .   Fro m   a  p ed ag o g ical   s tan d p o i n t,  r at h er   th an   co n ce n tr atin g   o n ly   o n   f ac tu al  m em o r y ,   teac h er s   s h o u ld   cr ea te  test s   th at  ac cu r ately   g au g e  h ig h e r - o r d er   th in k in g   ab ilit ies.  Stu d en ts '   ac ce p tan ce   o f   C B E s   an d   th e  g en er al  ef f icac y   o f   d i g ital  ass es s m en t  m eth o d s   in   h i g h er   ed u ca tio n   ca n   b o th   b e   im p r o v ed   b y   ad d r ess in g   th e  tech n o lo g ical  an d   p s y ch o lo g ical  is s u es r aised   b y   th is   s tu d y .     6 . 7 .     T heo re t ica l c o ntr ibu t io n   B y   ex p an d in g   th e  T AM ,   th is   s tu d y   g r ea tly   ex ten d s   th e  p r esen t  th eo r etica l  u n d er s ta n d in g   o f   tech n o lo g y   ac ce p tan ce   in   ed u ca tio n .   T r ad itio n al  m o d els  em p h asize  “ ea s e  o f   u s e ”   an d   “ u s ef u ln ess , ”   b u t  th is   Evaluation Warning : The document was created with Spire.PDF for Python.