I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   10 ,   No .   2 ,  J u n e   2 021 ,   p p .   553 ~ 5 6 8   I SS N:  2 2 5 2 - 8 8 2 2 ,  DOI : 1 0 . 1 1 5 9 1 / ijer e . v 1 0 i 2 . 2 1 0 0 8          553       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   Using  onlin e mul t iple choice  questi o ns with  m ultiple   a tt empts :  A cas e f o r s elf - dir ecte d l ea rning  am o ng  t ertiary  stu de nts       Ng   Wen  L ee 1 ,   Wa n No o r  F a ra h Wa n Sha m s ud di n 2 ,   L im   Chia   Wei 3 ,   M u ha m m a d Nur  Adili n  M o hd   Anua rdi 4 ,   Cha n  Swee  H eng 5 ,   Ain Na dzim a h Abdu lla h 6   1, 2, 3 Ce n tre  o f  Li b e ra l  Arts an d   La n g u a g e s,  INTI  I n tern a ti o n a l  Un iv e rsity ,   M a lay sia   4 In fo rm a ti o n   S c ien c e   a n d   E n g i n e e rin g ,   S h i b a u ra   I n stit u te  o f  Tec h n o lo g y ,   Ja p a n   5, 6 S c h o o l  o f  E d u c a ti o n ,   Tay l o r’s  Un iv e rsity ,   M a lay sia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   8 ,   2 0 20   R ev is ed   Mar   4 ,   2 0 21   Acc ep ted   Ap r   9 ,   2 0 21       Crit icism s  o n   m u lt ip le   c h o ice   q u e stio n s   (M CQs )  in c lu d e   th e   p o ss ib il it y   o f   stu d e n ts  a n sw e rin g   M CQs   c o rre c tl y   b y   g u e ss in g ,   a n d   M CQs   g e n e ra ll y   a re   sa id   to   fa ll   s h o rt   in   c u lt iv a ti n g   i n d e p e n d e n t   lea rn i n g   s k il ls,   su c h   a s  tak i n g   c h a rg e   o f  th e ir  lea rn in g   g o a ls.  Co u n terin g   th e se   c o m m o n   c o n c e rn s,  th is  re se a rc h   u se d   o n li n e   M CQ  e x e rc i se s  with   m u lt ip le  a tt e m p ts  t o   i n v e stig a te  th e   e x p e rien c e s  th a t   d r o v e   st u d e n ts  to   b e c o m e   se lf - d irec ted   lea rn e rs.  In   th i s   re se a rc h ,   6 0   st u d e n ts  c o m p lete d   two   se ts  o f  o n li n e   M CQ   e x e r c ise s  wit h  m u lt ip le   a tt e m p ts  o u tsi d e   o f   c las sro o m   ti m e   f o r   six   we e k s  c o n se c u ti v e ly .   Bo th   f o c u s  g ro u p   in ter v iew s  a n d   a n   o n li n e   su rv e y   we re   c o n d u c ted   to   in v e stig a te  t h e   e x p e rien c e s  o f  u sin g   o n li n e   M C Q  e x e rc ise   wit h   m u lt i p le  a tt e m p ts  in   re latio n   to   t h e   d e v e lo p m e n t  o f  se lf - d irec ted   lea rn in g   ( S DL).   T h e   fin d i n g s  o f  th e   stu d y   s h o we d   t h a t  th e   c rit icism s  m a y   b e   u n fo u n d e d .   Da ta  lea d s  to   t h e   c o n c lu si o n   t h a t  t h e   m a jo rit y   o f   t h e   stu d e n ts   d o   n o t  ju st  try   to   g u e ss   a t  th e   c o rre c t  a n sw e rs.  R a th e r,   m a n y   o f   t h e m   a tt e m p ted   th e   o n li n e   M CQ  e x e rc ise s  m o re   th a n   o n c e   to   imp r o v e   t h e m se lv e s  in d ica ti n g   th a t  th e y   we re   in tere ste d   in   se lf - lea rn in g .   S tu d e n ts   a lso   re p o rted   th a t   th e y   u ti li se d   se a rc h   a n d   in q u ir y   sk il ls  t h a t  c lea rly   sh o we d   m o ti v a ted   in i ti a ti v e s  to   p lan   h o w  t o   o v e rc o m e   th e ir   we a k n e ss e s  b y   i n d e p e n d e n t ly   lo o k i n g   f o r  re lev a n t   re so u rc e s,  d e term in e   th e ir  o wn   lea rn in g   g o a ls,  a n d   e v a l u a te  th e ir  o wn   lea rn in g   p e rfo rm a n c e   a s  a   firm   i n d ica to r  o f  S DL  d e v e lo p m e n t.   B a se d   o n   th e   fin d i n g s,  th is  st u d y   is  a b le  to   r e fu te  th e   c laim   th a t  M CQs   a re   u n a b le  t o   c u lt iv a te i n d e p e n d e n t   lea rn in g   s k i ll s.   K ey w o r d s :   L ea r n in g   s k ill   Mu ltip le  attem p ts   Mu ltip le  ch o ice  q u esti o n s   On lin e  lear n in g   f o r   lea r n in g   E n g lis h   Self - d ir ec ted   lear n in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ng   W en   L ee   C en tr e  o f   L ib er al  Ar ts   an d   L a n g u ag es   I NT I   I n ter n atio n al  Un iv e r s ity   Per s iar an   Per d an a  B B N,   Pu tr a  Nilai,   7 1 8 0 0   Nilai,   Neg er i  Sem b ilan ,   Ma lay s ia   E m ail:  wen leen g @ y m ail. co m       1.   I NT RO D UCT I O N   T h e  u s e  o f   L ea r n in g   Ma n a g e m en t  Sy s tem   ( L MS)   s u ch   as   Mo o d le  an d   B lack b o ar d   h as  in cr ea s ed   r ap id ly   [ 1 ]   in   tan d em   with   th e   g r o wth   o f   tech n o lo g y   u s e  in   th e  class r o o m .   Star ted   as  an   o n lin e  s o f twar e  th at  o n ly   en ab les  e d u ca to r s   to   s h a r e  co u r s e  lectu r es   t o   s tu d e n ts ,   L MS  h as  ev o lv ed   to   b ec o m e   an   en v ir o n m en t  th at  s u p p o r ts   f lex i b le,   p e r s o n alize d   an d   co llab o r ativ e  lear n in g   [ 2 ] .   A  b r o a d   r a n g e  o f   to o ls   ar e  n o w  a v ailab le  in   d if f er en t   L MS,   in clu d in g   d is cu s s io n   b o ar d ,   wik i,   b lo g ,   f i ll  in   th e  b lan k s ,   a n d   m u lt ip l e  ch o ice  q u esti o n s   ( MCQs ) ,   to   n am e  a  f ew.   At  th e  u n iv er s ity ,   m u ch   en co u r ag e m en t  is   g iv en   f o r   in clu s io n   o f   tech n o lo g y   as  p ar t   o f   th e  teac h in g   an d   lear n in g   to o ls .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   10 ,   No .   2 ,  J u n e  2 0 2 1 :   5 5 3   -   5 6 8   554   Giv en   th e  en v ir o n m e n t,  r esear ch er s   d o   h a v e  ac c ess   to   a  v ar ie ty   o f   L MS.   Af ter   m u c h   ex p l o r ato r y   u s e,   th e  r esear ch er s   o f   th is   s tu d y   h ad   in itially   tr ied   o u t   an   in f o r m al  u s e  o f   MCQs   with   m u ltip le  attem p ts .   I t  was  o b s er v ed   th at  s tu d en ts   s ee m   t o   b e  g en er ally   m o r e  m o tiv ate d   in   th eir   lear n in g .   T h is   o b s er v atio n   led   to   th e   em b ar k in g   o f   a   s tr u ctu r e d   r esear ch   in v esti g atio n   th at   to o k   o n   th e   f o r m al   in co r p o r atio n   o f   th e   u s e  o f   MCQs   with   m u ltip le  attem p ts   in to   a n   E n g lis h   lan g u ag e   co u r s e  at  th e  u n i v er s ity   with   a  v iew  th at  L MS  h ad   b ee n   f r eq u e n tly   cr iticized   f o r   b ei n g   u s e d   in ef f ec tiv el y   [ 3 ] .   W ith   t h is   id en tific atio n   o f   a  r esear c h   g ap ,   th e  o b jectiv e   was  f o r m u lated   to   u s e  th e   M C Qs  with   m u ltip le  attem p ts   as  a  lear n in g   s tr ateg y .   T h e   s p ec if ic  aim   was  to   id en tify   th e   ex ten t   th e  o n lin e   MCQs   with   m u ltip le  attem p ts   was  ab le  to   m o tiv ate   s tu d en t s   to   ca r r y   o u t  s elf - s tu d y   an d   e n g ag e   in   s elf - d ir ec t ed   lear n in g   ( SD L).     T h is   r esear ch   is   co n s id er ed   s i g n if ican t  i n   co n t r ib u tin g   to   t h e  s tate  o f   k n o wled g e   co n ce r n i n g   th e   u s e  o f   MCQs .   I t  is   also   p r o v id in g   em p ir ical  d ata  o n   a n   o n lin e  lear n in g   ex p e r ien ce   t h at  co u ld   s h o w  im p r o v ed   lear n in g   a n d   p e r f o r m an ce   as  s u cc ess f u l  o u tco m es   o f   th e  im p lem en tatio n   o f   a  teac h i n g   s tr ateg y   in   a n   E n g lis h   lan g u ag e  c o u r s e.   Mu ltip le  ch o ice  q u esti o n s   ( MCQs )   h av e  b ee n   wid ely   u s ed   in   b o th   p ap e r - b ased   a n d   o n lin e   ass es s m en ts   f o r   s ev er al  r ea s o n s .   T h ey   ar e   ec o n o m ical  an d   ti m e  ef f icien t.  E d u ca to r s   ca n   in clu d e  a  b r o ad   r an g e  o f   to p ics  in   a  s in g le  test   u s i n g   MCQs   [ 4 ] – [ 7 ] .   Pap er - b ased   MCQ s   ca n   b e  m ar k ed   q u ick ly   u s in g   au to m atic   s ca n n er s   o r   m ar k er s   with   m i n im al  tr ain in g   [ 8 ] ,   a n d   o n lin e  MCQs   ca n   also   b e  m a r k ed   au to m atica lly ;  th u s   s av in g   tim e  s p en t  o n   m a r k in g   [ 9 ] ,   [ 1 0 ] .   An o th e r   k ey   f ea tu r e  o f   MCQs   is   th eir   o b jectiv e  n atu r e  wh ich   p u r p o r ted ly   av o id s   b ias;   h en c e  co n tr ib u tin g   to   g r ea te r   r elia b ilit y   an d   s tan d a r d izatio n   [4 ] ,   [ 5 ] ,   [ 7 ] ,   [ 8 ] ,   [ 1 1 ] .  Du e  to   th ese  ad v an tag es,  MCQs   h av e  o f ten   b ee n   u s ed   to   e v alu ate  th e  ab ilit y   o f   lar g e  n u m b er s   o f   s tu d en ts   with in   a  s h o r t p er i o d   o f   tim e .   Desp ite  th ese  s tr o n g   p o in ts ,   s o m e  ed u ca to r s   v iew  MCQs   n eg ativ ely .     On e  o f   t h e  cr iticis m s   lev elle d   at  MCQs   is   th e  in h er en t  wea k n ess   o f   g u ess in g   at   th e  r i g h t  a n s wer .   As  a  r esu lt,  th e  ab ilit y   as  test ed   b y   MCQs   is   s u b ject  to   d o u b t .   T h e  p o s s ib ilit y   o f   an s wer i n g   MCQs   co r r ec tly   th r o u g h   g u ess in g   is   in d ee d   a  r ec o g n is ed   wea k n ess   [ 5 ] .   B esid es,  MCQ s   h av e  o f ten   b ee n   cr iticized   f o r   o n ly   ev alu atin g   lo wer   lev el  co g n iti v e  s k ills   an d   test in g   k n o wled g e  o f   is o lated   f ac ts   [ 4 ] .   Su ch   MCQs   ar e  s aid   to   en co u r a g e  s tu d en ts   to   m em o r i ze   f ac ts ,   th er eb y   s h o win g   litt le  ap p licatio n   o f   k n o wled g e  g ai n ed .   T h u s ,   s tu d en ts   ar e  n o t  tr ain ed   to   a p p ly   wh at  th ey   h av e  lear n e d   in   n o v el  s itu atio n s ,   b u t  o n ly   h av e   to   r ec all  s p ec if ic,   in d ep en d en t  f ac ts   to   a n s wer   th e  test s   [ 7 ] .   T h e   ab ili ty   to   r ec all  k n o wled g e  ( i.e . ,   k n o wl ed g e/r em em b e r )   is   co n s id er ed   th e   lo west lev el  o f   th e  co g n itiv e  s k ills   d ef in e d   in   B lo o m ’ s   tax o n o m y   [ 1 2 ] ,   [ 1 3 ] .    Ho wev er ,   it   is   u n d en iab le   th at   r em em b er in g   b asic  k n o wled g e  f r o m   ea c h   f ield   o f   s tu d y   is   o f   ex tr em e   im p o r tan ce   f o r   s tu d en ts   wh o   ar e  lear n in g   n o v ices  in   th eir   r esp ec tiv e  f ield s .   Kn o wled g e,   wh ich   is   at  th e   b ase   o f   B lo o m ’ s   tax o n o m y ,   is   co n s id er ed   as  th e   ab ilit y   t o   g ath e r   “th e  h a r d   c o r e  o f   fa cts  o r   i n fo r ma tio n   in   ea c h   f ield   o f  kn o w led g e”   [ 1 3 ,   p .   6 3 ] .   Facts  m u s t  b e  u s ed   to   ex ch an g e  in f o r m atio n ,   an d   B lo o m ,   et  a l.   [ 1 3 ]   p o in ted   o u t  th at  th ese   f ac ts   f o r m   th e  b asic  elem en ts   th at  s tu d en ts   m u s t  r em em b er   i n   o r d er   to   b e   well  v er s ed   in   th eir   f ie ld s .     So m e  r esear ch   h as  co n ten d ed   th at  MCQs   ar e  n o t  o n l y   s u it ab le  f o r   ev alu ati n g   f ir s t  lev el   co g n itiv e   s k ills   ( k n o wled g e/r em em b er ) ,   b u t  also   th e  n e x t  two   lev e ls   o f   co g n itiv e  s k ills ,   co m p r eh en s io n /u n d e r s tan d   an d   ap p licatio n /ap p ly   [ 1 4 ] ,   [ 1 5 ] .   Oth er s   h av e  ev e n   af f ir m ed   t h at  MCQs   ca n   co m p eten tl y   ass es s   th e  f ir s t  f o u r   co g n itiv e  s k ill  lev els,  in clu d in g   an aly s is /an aly s e  [ 1 6 ] ,   [ 1 7 ] .   I n   s h o r t,  th e  lev el  o f   co g n itiv e  s k ills   MC Qs  ca n   ass es s   is   n o t lim ited   to   o n ly   th e  f ir s t le v el,   k n o wled g e/r em e m b er .     Mo r eo v er ,   s tu d e n ts   h av e   b ee n   f o u n d   to   h a v e  p o s itiv e  attitu d e s   ab o u t   an s wer in g   MCQs   th at  ar e  g iv e n   as  f o r m ativ e   ass es s m en ts   b ef o r e  s u m m ativ e   ass ess m en ts ,   s u ch   as  in   class   p r o g r ess   test s   o r   ex er cises .   T o   s itu ate  th e  u s e  o f   MCQ s   in   th is   s tu d y ,   th er e  is   a  n ee d   to   u n d er s tan d   th e   d if f e r en ce s   b etwe en   s u m m ativ e  an d   f o r m ativ e  ass ess m en ts   u s in g   th is   ap p r o ac h .   Mc Ken n a  [ 1 8 ]   ass er ts   th at  MC Qs  s h o u ld   n o t  b e  u s ed   i n   s u m m ativ e  ass ess m en ts .   Sco u l ler   [ 1 9 ]   as we ll a s   C o b b ,   et  a l.   [ 2 0 ]   c o n clu d e d   th at  wh e n   MCQs   wer e  o n ly   u s ed   as  s u m m ativ e  ass es s m en ts ,   th e  s tu d en ts   em p lo y ed   m o s tly   s u r f ac e   lear n i n g   s tr ateg ies.  I n   a d d itio n ,   th e  s tu d e n ts   o n ly   aim ed   to   co m p lete  th e  c o u r s e  s u cc ess f u lly   b y   r o te  m em o r izatio n   o f   c o n ce p ts   an d   k n o wled g e  [ 2 0 ] .   C o b b ,   a t  el.   [ 2 0 ]   th en   c o n clu d ed   t h at  th e  h ig h - s tak es  s u m m ativ e   ass ess m en ts   u s in g   MCQs   ap p ea r ed   t o   p r ess u r e  s tu d en ts   to   r eso r t   to   t h e  u s e  o f   s u r f ac e   lear n in g   s tr ateg ies.  W h ile  th ese  wea k n ess es  ar e  r ec o g n is ed   in   th e   u s e  o f   MCQs   in   s u m m ativ e  test in g ,   th is   r esear ch   h o wev er ,   ad o p ts   a  f o r m ativ e  o r ien tatio n   in   th e  u s e  o f   MCQs .   Stu d en ts   ar e  n o t   p u t  i n   a  s u m m ativ e  test   s itu atio n   an d   t h e  allo wan ce   o f   m u ltip le  atte m p ts   is   a  s ig n if ican t  f ea tu r e  th at  p o in ts   to   p o s itiv e  i m p ac t in   cu ltiv atin g   in d ep e n d en t a n d   s elf - p ac e d   lear n i n g .     Dalz iel  an d   Gaz za r d   [2 1]   r ep o r ted   th at   wh en   o n lin e   MCQs   wer e  p r o v id ed   to   s tu d e n ts   f o r   p r ac tice  b ef o r e   f o r m al  ass ess m en ts ,   th ey   h ad   r esp o n d ed   p o s itiv ely .   R esp o n s es  f r o m   s tu d en t   ev alu atio n s   in d icate d   t h at  b o th   s elf - teac h i n g   a n d   s elf - test in g   to o k   p lace   wh en   s tu d en ts   an s wer   o n li n e  MCQs   as  f o r m ativ e  ass ess m en ts .   T h u s ,   Dalz iel  an d   Gaz za r d   [ 2 1 ]   ass er ted   th at  o n lin e  MCQ  p r ac tice  b ef o r e  f o r m al  ass ess m en ts   en co u r ag es   s tu d en ts   to   s elf - lear n   an d   h as  th e  p o ten tial  to   ac tiv e ly   en g ag e  s tu d en ts .   C o llis   an d   B o u r g u ig n o n   [ 2 2 ]   als o   p r esen ted   s im ilar   f in d in g s .   W h en   o n lin e  MCQ  ex e r cises   wer e  g iv e n   as  f o r m ativ e   ass ess m en ts ,   m an y   s tu d en ts   r eg ar d e d   th em   as a   way   to   h elp   th em s elv es to   u n d er s tan d   th e  co u r s e  m ater ial  an d   m aster   r elev an t to p ics.  Su ch   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin e  mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s e  fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   555   f in d in g s   also   r ev ea l   th at  o n li n e  MCQ  ex er cises   b ef o r e   y e ar   en d   test s   o r   ex am s   p r o v id e   a  p o s itiv e  lear n in g   en v ir o n m en t  f o r   s tu d en ts   an d   it  im p lies   th at  M C Q  te s ts   d o   h elp   to   cu ltiv ate  h ab its   th at  r eq u ir e  in d e p en d e n t   lear n in g   as  th ey   e v alu ate  th ei r   test   p er f o r m a n ce .   T h is   b r in g s   u s   to   th e  co r e  is s u e  o f   s elf - d ir ec ted   lear n in g   in   th is   r esea r ch .   I n   h is   b o o k ,   Kn o wles d ef in es self - d ir ec ted   lear n in g   ( SDL)   as:      …  a   p r o ce s s   in   w h ich   in d ivid u a ls   t a ke   th e  in itia tive,   w ith   o r   w ith o u t  th e  h elp   o f  o th ers ,   in   d ia g n o s in g   th eir  le a r n in g   n ee d s ,   fo r mu la tin g   lea r n in g   g o a ls ,   id en tifyin g   h u ma n   a n d   m a teri a l  r eso u r ce s   fo r   lea r n in g ,   ch o o s in g   a n d   imp leme n ti n g   a p p r o p r ia te  lea r n in g   s tr a teg ies,  a n d   ev a lu a tin g   le a r n in g   o u tco mes   [ 2 3 ,   p .   1 8 ] .     He  em p h asizes  th at  SDL  d o e s   n o t  m ea n   “lea r n in g   in   is o lat io n ”.   On   th e  co n tr a r y ,   S DL   o f ten   tak es  p lace   with   th e  h elp   o f   “tea c h er s ,   tu to r s ,   m en to r s ,   r eso u r ce   p eo p le,   a n d   p ee r s ”  [ 2 3 ] .   B r o c k ett  a n d   Hiem s tr a  [ 2 4 ]   c o n tin u e  th at  teac h er s   in   SDL  en v ir o n m e n ts   s h o u ld   n o t  ac t  o n ly   as  in f o r m atio n   p r o v id er s ,   b u t  also   as   f ac ilit ato r s   th at   m an a g e  th e   teac h in g - lea r n in g   p r o ce s s .   Fo r   in s tan ce ,   f ac ilit ato r s   ca n   u s e  s u p p o r tiv e   in s tr u ctio n al  d ev ices to   m ai n tain   s tu d en ts ’   in ter est in   a  p a r ticu lar   s u b ject  m atter .     Fu r th er m o r e ,   lear n er s ’   attitu d es  ar e  also   an   im p o r tan t  asp e ct  o f   SDL.   Kn o wles  [ 2 3 ,   p .   2 1 ]   ex p lain s   th at  wh en   s tu d en ts   g o   th r o u g h   th e  p r o ce s s   o f   lear n in g ,   t h eir   m o tiv atio n   to   s tu d y   co m es  f r o m   “e x ter n al   r ewa r d s   an d   p u n is h m en ts , ”  in clu d in g   “g r ad es,  d ip lo m as,  a war d s ,   d eg r ee s ,   an d   f ea r   o f   f a ilu r e . ”   Self - d ir e c ted   lear n er s ’   m o tiv atio n   t o   s tu d y   o f te n   co m es  f r o m   “i n ter n al  in ce n tiv es”,   in cl u d in g   “th e  n ee d   f o r   esteem   ( esp ec ially   s elf - esteem ) ,   th e  d esire   to   ac h iev e,   th e  u r g e  to   g r o w,   th e  s atis f ac tio n   o f   ac co m p lis h m en t,  th e  n ee d   to   k n o w  s o m et h in g   s p ec if ic,   a n d   cu r i o s i ty ”  [ 2 3 ,   p .   2 1 ] .    T h e  im p o r tan ce   o f   lean er s ’   attitu d es  in   SDL  i s   al s o   s ee n   in   th e  Per s o n al  R esp o n s ib ilit y   Or ien tatio n   ( PR O)   m o d el  o f   SDL  i n tr o d u c ed   b y   B r o ck ett   an d   Hiem s tr a  [ 2 5 ] .   I n   th e   PR O  m o d el,   p er s o n al  r esp o n s ib ilit y   is   th e  s tar tin g   p o in t  o f   SDL.   T h e y   [ 2 5 ]   ar g u e   th at  th e  p o te n tial  o f   an   in d iv id u al’ s   s elf - d ir ec tio n   is   d eter m in ed   b y   h is   o r   h e r   ab ilit ies  an d   willin g n ess   to   tak e   co n tr o l  o f   h i s   o r   h er   o wn   lear n in g .   Hen ce ,   lear n er   attitu d e   co n s tit u tes  a  k ey   cr iter io n   in   SDL.   Ad d itio n ally ,   Gar r is o n   [ 2 6 ]   n o ted   th at  ce r tain   co g n itiv e   an d   m etac o g n itiv e   s k ills   ar e  also   v ital  in   SDL,   wh ich   h e  claim s   ar e  n o t  ad d r ess ed   clea r ly   in   th e  PR O  m o d el.   He  clar if ies  th at  s elf - d ir ec t ed   lear n er s   g o   in t o   a  p r o ce s s   o f   d ev elo p i n g   th e ir   lear n in g   s tr ateg ie s   an d   awa r en ess   as  well  a s   ab ilit ies  to   th in k   a b o u t   th in k i n g .   I n   o th er   wo r d s ,   s elf - d ir ec ted   lear n er s   a r e  r esp o n s ib le  f o r   s elf - m o n ito r in g   th eir   lear n in g   p r o ce s s ,   ev alu at in g   th e   o u tc o m es,  an d   co n s tr u ctin g   p lan s   t o   ac h ie v e  th e   in te n d ed   o u tco m es  as  ex am p les  o f   th e  co m p lex   u s e  o f   co g n itiv e  an d   m etac o g n itiv e  s k ills .   I n   lin e  wi th   th is   ar g u m en t,  B r o ck ett  an d   Hiem s tr a  [ 2 7 ]   u p d ated   th e  P R O  m o d el  to   th e  Per s on - Pro ce s s - C o n tex t  ( PP C )   m o d el.   Un d er   th e  ‘ p er s o n ’   elem en t  o f   th e  m o d el,   th e y   [ 2 7 ]   attest  th at  cr itical  r e f lectio n   is   o n e   o f   th e  c h ar ac ter is tics   o f   s elf - d ir ec ted   lear n er s .   T h is   m ea n s   th at   in   th e  PP C   m o d el,   SDL   le ar n er s   ar e  d ir ec te d   to   r ef lect   cr itically   o n   th eir   o w n   lear n in g   p r o c ess   b ef o r e  an d   af ter   co n s tr u ctin g   a   lear n in g   p la n   o r   im p lem en tin g   a   lear n in g   s ty le.     Nico l  [ 9 ]   p r o p o s es  th e  u s e  o f   o n lin e  MCQs   as  a  s u p p o r t  t o   d ev elo p   lear n e r s ’   au to n o m y   an d   s elf - r eg u latio n .   Nico l  an d   Ma cFar lan e - Dick   [ 2 8 ,   p .   2 0 3 ]   e x p lai n   th at  o n e  o f   th e  p r in cip les  t h at  f ac ilit a t es  s elf - r eg u latio n   is   it  ca n   “e n co u r a g e  p o s itiv e  m o tiv atio n   an d   s elf - esteem ”.   Stu d en t  m o tiv atio n   an d   s elf - esteem   ca n   b e  en h an ce d   b y   u s in g   “lo w - s tak es  ass e s s m en t  task s ”  th at  ar e  d esig n ed   to   f o c u s   o n   s tu d en ts ’   p r o g r ess   an d   ac h iev em en t  r ath er   th an   u s in g   “h ig h - s tak es  s u m m ativ e   ass ess m en t  task s ”  th at  f o cu s   s o lely   o n   f in al   m ar k s   [ 2 8 ,   p .   2 1 2 ] .   A  lo w - s tak es  f o r m ativ e  task   will  en ab le  s tu d en ts   to   f o cu s   m o r e  o n   lear n in g   g o als  r ath er   th an   f in al  m ar k s .   I n   th is   way ,   ed u c ato r s   ca n   i n f lu en ce   th e   way s   s tu d en ts   p er ce i v e  t h e   lear n i n g   c o n tex t,  as   Par is   an d   T u r n er   [ 2 9 ]   a r g u e ,   s tu d en ts ’   m o tiv atio n   is   co n s tr u cted   b y   s tu d en ts   th em s elv es  b ased   o n   th e ir   o wn   ap p r aisal  o f   th e  lear n in g   c o n tex t.   T h er e f o r e,   s tu d en ts   ca n   b e  led   to   p e r ce iv e  a   n o v el  lear n in g   c o n te x t ,   s u ch   as  lin k in g   MCQs   to   an   ed u ca tio n al  g o a l,  lik e  s elf - r eg u latio n .   B y   g i v in g   MCQs   in   ass e s s in g   th e  co m p letio n   o f   lo w - s tak es  f o r m ativ e  task s   th at  co u ld   h av e  a  b ea r in g   o n   th e  f in al  s u m m ativ e  ass ess m en t s ,   MCQs   b ec o m e  m u ch   m o r e  im p ac tf u l  o n   s tu d en ts ’   l ea r n in g   ex p e r ien ce .   Similar ly ,   Ab r eu ,   Sil v a,   a n d   G o m es  [ 3 0 ]   f o u n d   th at  MCQs   in cr ea s e  s tu d en ts ’   m o tiv atio n   an d   p er f o r m a n ce .   Stu d en ts   in   th eir   s tu d y   r ep o r ted   th at  MCQs   en ab led   th em   to   g et  h ig h er   s co r es  n o t  b ec au s e  th ey   co u ld   g u ess   th e  an s wer s ,   b u t  b ec au s e  th ey   c o u ld   r ef lect  o n   an d   lear n   ab o u t  th e  to p ics   b etter .   T h u s ,   s tu d en ts   co u ld   ex am in e  ea ch   M C Q  o p tio n   an d   th in k   d ee p er   ab o u t  ea ch   o f   th e   co n ce p ts   in v o l v ed .   Hen ce ,   Ab r eu ,   Sil v a,   an d   Go m es  [ 3 0 ]   co n clu d e d   th at  MCQ  in cr ea s ed   s tu d en ts ’   s atis f ac tio n   r eg ar d in g   t h eir   o w n   lear n in g   ex p e r ien ce .   T h e  p r ev io u s   r esear ch   p r o v id ed   an   im p etu s   in to   f u r t h er   in v e s tig atio n   o f   SDL  an d   u s e  o f   o n lin e   MCQs   f o r   lan g u ag e  s tu d en ts   in   a  u n iv er s ity .   On e  o f   th e  lear n in g   g o als  o f   th e  u n iv er s ity   is   to   im b ib e  in   s tu d en ts   th e  n ee d   to   th in k   cr itically ,   an d   also   to   d ev elo p   g r ea ter   s elf - in d ep en d e n ce   as  th ey   tr an s it  f r o m   s ch o o l   to   t e r tiar y   in s titu tio n .   T h is   o b j ec tiv e  is   v er y   m u c h   in   lin e   with   th e  Ma lay s ia  E d u ca tio n   B lu ep r in t  2 0 1 5 – 2 0 2 5   ( Hig h er   E d u ca tio n ) ,   wh ich   s tates  th at  o n e  f o cu s   o f   a  h ig h er   l ea r n in g   i n s titu tio n   ( HL I )   is   “d ev elo p in g   s tu d en ts   to   b ec o m e  m o r e  in d ep en d en t t h in k er s   an d   s elf - lear n er s ”  [ 3 1 ,   p .   2 ] .    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   10 ,   No .   2 ,  J u n e  2 0 2 1 :   5 5 3   -   5 6 8   556   I n   o r d e r   to   en s u r e  th at  s tu d e n ts   b ec o m e  s u cc ess f u l  in d ep en d en t  lear n e r s   an d   th in k e r s ,   u n iv er s ity   s tu d en ts   s h o u ld   b e  ex p o s ed   t o   ed u ca tio n al  g o als  s u ch   as  s elf - d ir ec ted   lear n in g   ( SDL) .   R az ali,   Xu an ,   an d   Sam ad   [ 3 2 ,   p .   7 5 ]   ar g u e  th at  S DL   s tr ateg ies  s h o u ld   b e  in clu d ed   in   th e  o v er all  ed u ca tio n al  p r o ce s s   b ec au s e  th e   “tea ch er - led   co n te x t”  is   in s u f f icien t  f o r   s tu d en ts   to   b ec o m e  au to n o m o u s   lear n e r s .   Als o ,   R az ali,   Xu an ,   an d   Sam ad   [ 3 2 ]   u r g e  th at  tr ad itio n al  ed u ca tio n al  o r   p ap er - b ase d   f o r m ats  b e  m in im ized   i n   u s e  as  th ese  m eth o d s   hi n d er   th e  p o ten tial  o f   s elf - d ir ec ted   lear n er s .   Fu r th e r m o r e,   as  SDL  ap p r o ac h es  a r e  i n co r p o r ated   with in   s y llab u s es,  task s ,   less o n s   an d   ac tiv ities ,   “d ep en d e n t  lear n er s   ( co u ld )   f in d   a   s tar tin g   p o in t   to   g r asp   au t o n o m o u s   lear n in g ”  [ 3 2 ,   p p .   7 5 - 76] .   T h is   r esear ch   tak es  o n   th e   in s titu tio n al  an d   e d u ca to r s ’   ch allen g e   o f   p r o v id in g   s tu d en ts   with   o p p o r tu n ities   o r   m u lt i p le  atte m p ts   to   d ev elo p   SDL  t h r o u g h   wee k ly   e - lear n in g   task s .   W h ile  th e  t o p ics  co v er ed   in   th ese  wee k ly   e - lea r n in g   task s   wer e  co n n ec ted   with   th e   to p ics  s tu d en ts   lear n ed   in   class ,   s tu d en ts   h ad   to   tak e   ch ar g e  o f   th eir   o wn   lear n in g   p r o ce s s es  o u ts id e  o f   class r o o m   tim e.   T h is   r esear ch   aim s   to   lo o k   at  h o w  o n lin e   MCQ  ex er cises   p r o v id ed   to   s tu d en ts   as  wee k ly   e - lea r n in g   task s   o u ts id e  o f   class r o o m   tim e  ca n   p r o m o te  SD L   am o n g   u n i v er s ity   s tu d en ts .   T o   g u i d e  th e   r esear ch ,   th e   f o llo win g   r esear ch   q u esti o n   was  f o r m u lated :  T o   w h at   ex ten t  d o   o n lin e  MCQs   wit h   m u ltip le  attem p ts   p r o m o te   s elf - d ir ec ted   lear n in g   ( SDL)   am o n g   u n i v er s ity   s tu d en ts ?       2.   RE S E ARCH   M E T H O D   I n   th e   u n iv er s ity   wh e r e  th e   r e s ea r ch   was  co n d u cted ,   th er e   wer e  6 5 0 0   s tu d en ts   wer e   tak i n g   v ar io u s   co u r s es  ( i.e . ,   E n g lis h ,   Ma th e m atics,  E n g in ee r in g ,   B u s in ess ,   E co n o m ics,  Ps y ch o lo g y ,   Ma r k etin g ) .   T h ey   wer e   p r o v id e d   with   d if f er e n t  ty p es   o f   o n lin e  ex e r cises   th r o u g h   th e  B lack b o ar d   L ea r n i n g   M an ag em en t  Sy s tem   ( L MS)   o n   a  wee k ly   b asis ,   s u ch   as  MCQs ,   f ill  in   th e  b la n k s ,   d is cu s s in g   a  p ar ticu l a r   to p ic  u s in g   d is cu s s io n   f o r u m ,   cr ea tin g   b lo g   p ag es,  an d   co llab o r atin g   to   m a n ag e  wik i p ag es.   I n   J u n e  2 0 1 9   s em ester ,   two   cl ass es  o f   a  co m p u ls o r y   E n g lis h   co u r s e  ( i.e . ,   Fu n d a m en tals   o f   E n g lis h )   wer e  o p en e d .   T h e r e  wer e   6 0   s tu d en ts   en r o lled   in   t h is   co u r s e ,   39  o f   th em   wer e  Dip lo m a  in   B u s in ess   s tu d en ts   an d   2 1   o f   th em   wer e   Dip lo m a  in   Acc o u n tin g   s tu d e n ts .   T h ese  6 0   s tu d en ts   wer e  p r o v i d e d   with   two   s ets  o f   o n lin e  MCQ  ex er cises   th r o u g h   th e  B lack b o ar d   L MS  ev er y   wee k   f o r   s ix   wee k s   c o n s ec u tiv ely   f r o m   J u n e  2 0 1 9   to   J u ly   2 0 1 9.   T h e  co u r s e  s tr u ctu r e  o f   th is   co m p u ls o r y   E n g lis h   co u r s e  wa s   ap p r o v ed   b y   Ma lay s ian   Qu a lific atio n s   Ag en cy   ( MQ A) .   T h e  allo ca tio n   o f   m ar k s   o f   th is   p ar tic u lar   c o u r s e  is   s h o wn   in   T ab le  1 .   An y   ch an g es  m ad e  t o   th e  allo ca tio n   o f   m ar k s   n ee d   to   b e  ap p r o v ed   b y   MQ A.   As  s u ch ,   th e  o n lin e  MCQ  ex er cise s   d o   n o t  ca r r y   a n y   m ar k s   s o   as n o t to   d is tu r b   th e  s tated   MQ A  d o cu m en t.       T ab le  1 .   Fu n d am en tals   o f   E n g lis h ’ s   ass e s s m en t m eth o d s   an d   ty p es   M e t h o d   Ty p e s   W e i g h t a g e   ( %)   C o n t i n u o u s a ss e ssm e n t   A ssi g n me n t   1     10   A ssi g n me n t   2   10   Te st   1     15   Te st   2     15   O r a l   p r e se n t a t i o n     10   S u mm a t i v e   a ss e ssm e n t   F i n a l   e x a mi n a t i o n     40       T h e  s tated   lear n in g   o u tco m e s   o f   th is   co u r s e  in clu d e d   th e  ab ilit ies  to   co n s tr u ct  s en te n ce s   u s in g   co r r ec t  ten s es,  r ea d   an d   i d en tify   m ain   id ea s   an d   s u p p o r ti n g   d etai ls ,   an d   b ein g   ab le  to   lis ten   an d   r esp o n d   ap p r o p r iately .   Hen ce ,   th e  p r o v id ed   o n lin e  MCQ  ex er cises   r an g ed   f r o m   g r am m a r   p r ac tices  an d   r ea d in g   co m p r eh e n s io n   to   lis ten in g   p r ac tices,  as  s h o wn   in   T ab le  2 .   E ac h   o f   th e  o n lin e   MCQ  ex er cises   wa s   lin k ed   to   a  p ar ticu la r   lear n i n g   o u tco m e  o f   th e  co u r s e.   T o   illu s tr ate  ea ch   o f   th e  o n lin e   MCQ e x er cises   s tated   in   T ab le  2 ,   s o m e  ex am p le  item s   ar e  attac h ed   in   Ap p en d ix   A.   I n   an s wer in g   all  th ese  MCQs ,   s tu d en ts   h av e  to   ap p ly   g r am m ar   r u les,  r e ad in g   s k ills   an d   lis ten in g   s k ills .   T h is   s tu d y   is   n o t d esig n ed   with   a  v iew  to   test   a  d if f e r e n ce   b etwe en   th e o r etica l a n d   p r ac tical  ex er cises .                 Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin e  mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s e  fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   557   T ab le  2 .   On lin e  MCQ e x er cis es p r o v id ed   to   s tu d en ts   W e e k   P r o v i d e d   o n l i n e   M C Q   e x e r c i ses   To t a l   n u m b e r   o f   q u e st i o n s   1   P a r t s  o f   s p e e c h     30     Li st e n i n g   pr a c t i c e   20   2   S u b j e c t - v e r b   a g r e e me n t     30     P r e sen t   s i mp l e   a n d   p r e se n t   c o n t i n u o u s   t e n ses     30   3   M o d e l   v e r b s :   M u s t ,   n e e d   t o ,   h a v e   t o ,   a n d   s h o u l d     30     P a st   s i m p l e   a n d   p a st   c o n t i n u o u s  t e n se s    30   4   P a st   s i m p l e   a n d   p r e se n t   p e r f e c t   t e n ses     30     M u l t i w o r d   v e r b s    30   5   R e a d i n g   c o m p r e h e n si o n     20     G o i n g   t o ,   p r e s e n t   c o n t i n u o u s t e n se  a n d   v e r b s a b o u t   f u t u r e   p l a n s     30   6   R e p o r t e d   s p e e c h     30     C o n d i t i o n a l s     30       B ef o r e  th e  s tu d en ts   p u r s u e  th e   co u r s e,   th ey   wer e  t o ld   th at  th e  s co r es  o f   th ese  o n lin e  MCQ  ex er cises   wo u ld   n o t   co n tr i b u te  to   t h eir   f in al  co u r s ewo r k   m a r k s .   T h e  m ain   p u r p o s e  o f   th e   ex er ci s es  was  to   p r o v id e   o p p o r tu n ities   f o r   s tu d e n ts   to   u n d er s tan d   an d   a p p ly   wh at  t h ey   h a d   lear n ed   in   class .   T h er ef o r e,   th e  e x er cises   wer e  o n ly   a v ailab le  to   s tu d en ts   o n   B lack b o ar d   L MS  af te r   th e  to p ics  h ad   b ee n   tau g h t  in   class .   Stu d en ts   th en   h ad   to   c o m p lete  two   s ets  o f   o n lin e  MCQ  ex er cises   o u ts id e  o f   class r o o m   tim e   o n   a  we ek ly   b asis .   Fo r   ea ch   MC Q  g r am m ar   p r ac tice,   th e  q u esti o n s   wer e  ar r a n g ed   in   a n   o r d er   o f   d if f ic u lty   to   h elp   s t u d en ts   to   r e v i s e  th e  g r am m ar   r u les  lear n ed   to   ea s e  p r o g r ess iv e  lear n in g .   T h is   s tag ed   ap p r o ac h   also   h o p e d   to   b r in g   s tu d en ts   awa y   f r o m   a  test   tak in g   m en tality .   F o r   lis ten in g   an d   r ea d in g   p r ac tices,  th e  s et  o f   q u esti o n s   wer e  ar r an g e d   ac co r d i n g   to   th e  s eq u en ce   o f   th e  in f o r m a tio n   p r o v id ed   in   th e  p o d ca s ts   an d   r ea d i n g   tex ts   to   f ac ilit ate  s tu d en ts   in   ar r iv in g   at  th e  an s wer s .   Fo r   ea ch   s et  o f   o n lin e  MCQ   ex er cises ,   ea ch   s tu d en t  was   allo wed   th r ee   attem p ts   to   co m p lete  th e  ex er cises .   No   m atter   h o w  m a n y   tim es  ea ch   s tu d en t  to o k   to   co m p le te  ea ch   s et  o f   MCQ  e x er cises ,   th e  s co r e  r ec o r d e d   was  th e  s co r e  o f   th e   f in al  attem p t.  T h ey   wer e  allo wed   to   r ef er   t o   s lid es  o r   n o tes   p r o v id ed   as  well  as  s ea r ch   f o r   m o r e  in f o r m atio n   o n lin e  wh en   t h ey   wer e  d o in g   th e  o n lin e  MCQ  ex er cises .   Ho wev er ,   th e  c o r r ec t   an s wer s   f o r   all  th e  q u esti o n s   wer e  o n ly   r e v ea led   af ter   t h e  d u e  d ates  f o r   s u b m is s io n .   As  a  r esu lt,  s tu d en ts   wer e  n o t a b le  to   m em o r ize  a n s wer s   o r   co p y   f r o m   ea ch   o th er   with   th e  v iew  o f   g ettin g   co r r ec t a n s wer s .     2 . 1 .   I ns t rum ent   a nd   m et ho d    T o   elicit  d ata,   th is   r esear ch   em p lo y ed   an   e x p lo r ato r y   s eq u en tial  d esig n ,   wh er e  q u alita tiv e  d ata   co llectio n   u s ed   f o cu s   g r o u p   in ter v iews,  u p o n   wh ich   th e  d ata   was  an aly s ed .   T h is   wa s   f o llo w ed   b y   q u an titativ e  d ata  co llectio n   in   th e  f o r m   o f   a  s u r v ey   q u esti o n n air e.   T h er ea f ter ,   th e  r esp o n s e s   to   th e  s u r v ey   q u esti o n n air e   wer e  an aly s ed   an d   au g m en ted   b y   th e  q u alitativ e  d ata.   Af ter   s tu d en ts   h ad   co m p leted   1 2   o n lin e  MCQ  ex er cises   in   s ix   wee k s ,   th e  f ir s t  s tag e  o f   th e   ex p lo r ato r y   s eq u e n tial  d esig n   was  ca r r ied   o u t.  C r eswell  an d   C lar k   [ 3 3 ]   claim   th at  ad o p t in g   an   ex p lo r ato r y   s eq u en tial  d esig n   en ab les  r es ea r ch er s   to   g en e r alize   q u alita tiv e  r esu lts   co llected   f r o m   th e  f ir s t  s tag e  b e f o r e   ap p ly in g   it  to   a  b ig g er   s am p l e  in   th e  s ec o n d   s tag e.   Hen ce ,   in   o r d er   to   co llect  s u f f icien t  d ata  th at  is   n eith er   b iased   n o r   m is lead in g ,   b u t  ca n   b e  g e n er alize d   later ,   th is   r esear ch   in ter v iewe d   alm o s t  h alf   o f   th e  to tal  n u m b e r   o f   p ar ticip an ts   in v o lv ed .   T h ir t y - th r ee   ( 3 3 )   o u t  o f   6 0   s tu d en t s   wer e  r an d o m ly   s elec ted   to   p ar ticip ate  in   f o cu s   g r o u p   in ter v iews.   B ef o r e  em b ar k in g   o n   th is   p r o ject,   th e  r esear ch er s   o b s er v ed   th at,   in   co m p ar is o n   to   s tu d e n ts   tak in g   o th er   E n g lis h   co u r s es,  s tu d en t s   wh o   to o k   th e  co u r s e,   Fu n d a m en tals   o f   E n g lis h ,   s ee m ed   to   b e  m o r e  m o tiv ated   to   s elf - s tu d y   u s in g   th e  e x er c is es  p r o v id ed   o n   B lack b o ar d   L MS.   W h ile  s tu d en ts   tak in g   Fu n d am en tals   o f   E n g lis h   co u r s e  wer e  p r o v i d ed   with   two   s e ts   o f   o n lin e  MC Q  ex er cises   th r o u g h   th e  B lack b o ar d   ( L MS)   o n   a  wee k ly   b asis ,   s tu d en ts   tak in g   o th er   E n g lis h   co u r s es  wer e  p r o v id ed   with   a  r a n g e  o f   ex er ci s es  in   th e  f o r m   o f   d is cu s s io n   b o ar d ,   b lo g ,   an d   wik i  th r o u g h   B lack b o ar d   L MS  o n   a   wee k ly   b asis .   Du e   to   t h is   d if f e r en ce ,   r esear ch er s   wo u l d   lik e   to   f in d   o u t   to   wh at  e x ten t  a n d   h o w   t h e  o n lin e  MCQ  ex e r cises   p r o v id ed   h av e   d r i v en   s tu d en ts   to   b e  m o tiv ated   o r   h av e  tak en   th e  in itiativ e  to   s elf - s tu d y .   Kr u eg e r   an d   C asey   [ 3 4 ]   pos tu late  th at   f o cu s   g r o u p   i n ter v iews  ca n   h elp   r esear ch er s   to   u n d er s tan d   s u b ject  m atter   th at  is   r elat ed   to   b e h av io u r   o r   m o tiv atio n .   Als o ,   f o cu s   g r o u p   in ter v iews  s h o u ld   b e  em p l o y ed   wh en   r esear c h er s   ar e  lo o k in g   f o r   f ee lin g s ,   id ea s ,   p er ce p tio n s   o r   o p in io n s   p eo p l e  h av e   ab o u t  a   p ar ticu la r   p r ac tice,   p r o g r am   o r   id ea   [ 3 4 ] .   T h u s ,   in   o r d er   to   ex p lo r e  h o w  th e  o n lin e  MCQ  ex er cises   m o tiv ated   s tu d en ts   to   ex p er ien ce   s elf - s tu d y ,   th e  r e s ea r ch er s   b eg an   b y   q u alitativ ely   ex p l o r in g   th is   p h en o m e n o n   i n   d e p th   th r o u g h   f o cu s   g r o u p   in ter v iews.  I n   o th er   wo r d s ,   f o c u s   g r o u p   in ter v iews  en ab le   r esear ch er s   to   co llect  q u alitativ e  d at a  wh ich   wh en   g en e r alize d   ca n   also   b e   h elp f u l   f o r   d ev elo p in g   a  q u esti o n n air e  th at  ca n   b e  ap p lied   to   a  b ig g er   s am p le  in   an o th er   s tag e  o f   d a ta  co llectio n .   W ith   th is   af f ir m atio n ,   th is   r esear ch   e m p lo y ed   f o cu s   g r o u p   in ter v iews a s   a  m eth o d   o f   d ata  co llect io n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   10 ,   No .   2 ,  J u n e  2 0 2 1 :   5 5 3   -   5 6 8   558   I n   “De cid in g   o n   th e   n u m b er   o f   g r o u p s ”,   Mo r g an   [ 3 5 ]   m en tio n ed   th at   th e  ty p ical  n u m b e r   o f   f o c u s   g r o u p s   is   b etwe en   t h r ee   a n d   f iv e.   Mo r e   im p o r tan tly ,   Hen n i n k ,   Kaiser ,   a n d   W eb er   [ 3 6 ]   f o u n d   t h at  f o u r   f o c u s   g r o u p s   ar e  s u f f icien t  to   id e n tity   th e  r a n g e   o f   is s u es  p r esen t.  T h u s ,   in   th is   r esear ch ,   f o u r   f o cu s   g r o u p   in ter v iews  w er e  co n d u cted .   Sin ce   th e  g r o u p   s ize  r ec o m m en d ed   b y   Mo r g an   [ 3 7 ]   in   “De ci d in g   o n   g r o u p   s ize”   is   b etwe en   s ix   an d   ten   p ar ti c ip an ts ,   th e  3 3   p a r ticip an ts   wer e  d iv id ed   in t o   f o u r   g r o u p s   ac co r d in g   t o   th e   r ec o m m en d ed   g r o u p   s ize.   T h e   n u m b e r   o f   p ar ticip an ts   in   ea c h   o f   th ese  f o cu s   g r o u p   in ter v ie ws  wer e  eig h t,  ten ,   s ix   an d   n in e  r esp ec tiv ely .   T h e  g r o u p   s ize  was n o t c o n tr o lled   as th e  s tu d e n ts   ch o o s e  th e  tim e  f o r   th e  in ter v iews  b ased   o n   a  s ch e d u le  g i v en .   E ac h   f o cu s   g r o u p   i n ter v iew  u s ed   a  s em i - s tr u ctu r ed   q u esti o n in g   ap p r o ac h .   B ef o r e   ea ch   f o cu s   g r o u p   in ter v iew,   p ar ticip an ts   wer e  p r o v id e d   a  b r ief   e x p lan atio n   ab o u t  th e  r esear ch .   Mo d er at o r s   em p h a s ized   th at   th er e  wer e  n o   r ig h t  o r   w r o n g   an s wer s   to   th e  q u esti o n s   a s k ed ,   all  o p in i o n s ,   p er s p ec tiv es,  an d   id ea s   wer e   ap p r ec iated .   Als o ,   m o d e r ato r s   r ea s s u r ed   th at  all  i n f o r m atio n   was  k ep t  co n f id en tial.  All  th e  f o u r   f o c u s   g r o u p   in ter v iews  u s ed   th e  s am e  in ter v i ew  g u id e  ( Ap p e n d ix   B ) ,   wh ich   was  cr ea ted   f o llo win g   th e  g u id elin es  p r o p o s ed   b y   Kr u e g er   an d   C as ey   [ 3 4 ]   i n   F o cu s   Gro u p s :   A   P r a ctica l  Gu id e  fo r   A p p lied   R esea r ch   as  well  a s   R u b in   an d   R u b in   [ 3 8 ]   in   Qu a l ita tive  I n terview in g :   Th e  A r t o f H ea r in g   Da ta .    Du r in g   th e   f o c u s   g r o u p   in te r v iews,  p ar ticip an ts   wer e  as k ed   to   c o m m en t   o n   a n d   d is cu s s   th eir   ex p er ien ce s   as  th e y   p r ac ticed   wh at  th ey   h ad   lear n ed   in   th e  class r o o m   b y   co m p letin g   o n li n e  MCQ  ex er cises   with   m u ltip le  attem p ts   o u ts id e  o f   class r o o m   tim e   u s in g   B lack b o ar d   L MS.   Par t icip a n ts   wer e  en co u r ag e d   to   p r o v id e  ex a m p les  to   s u p p o r t  o r   v alid ate  th eir   s tatem en ts .   As  m en tio n ed   b y   Kr u eg er   an d   C asey   [ 3 4 ] ,   f o cu s   g r o u p   in ter v iew  th at  h as  a  f o cu s ed   d is cu s s io n   p lace s   th e  atten tio n   o n   u n d er s tan d i n g   th e  p ar ticip an ts ’   th o u g h ts ,   co m m en ts   an d   f ee lin g s ,   an d   th e  m o d e r a t o r   d o es  n o t  p r ess u r e  th e  g r o u p   to   co m e  to   an   ag r ee m en t.   T h u s ,   in   all  f o u r   f o c u s   g r o u p   in ter v iews,  p ar ticip an ts   wer e  en co u r a g ed   to   s h ar e  th eir   ex p er ien ce s   with   ea ch   o th er .   Fo r   ex am p le,   p ar ticip a n ts   wh o   h ad   t o tally   d if f e r en t  e x p er ien ce s   wer e  en c o u r a g ed   to   v o ice  th eir   v iews.  At  th e  en d   o f   ea c h   f o cu s   g r o u p   in ter v iew,   r esear ch er s   s u m m ar ized   th e  s tatem en ts   m ad e   b y   p a r ticip an ts   an d   allo wed   p ar ticip an ts   to   r ev is e  th e  s u m m ar ies  f o r   ac cu r ac y .   T h ey   ca n   also   clar if y   t h eir   s tatem en ts   o r   p r o v id e   ad d itio n al  r elev an t  in f o r m atio n .   E x clu d in g   th e  am o u n t  o f   tim e  tak en   to   ex p lain   th e  p r o ce d u r e  an d   co llect   d em o g r a p h ic  in f o r m atio n ,   ea c h   f o cu s   g r o u p   in ter v iew  to o k   a b o u t a n   h o u r .   Af ter   an aly s in g   th e  q u alitativ e  d ata,   r esear ch er s   d e v elo p   a   q u esti o n n air e  b ased   o n   th e  q u alitativ e  r esu l ts .   T h en ,   an   o n lin e  s u r v ey   was  ad m in is tr ated   to   f u r t h er   v alid ate  th e  f in d in g s   o f   t h e  in ter v iews.  T h e   s u r v ey   was  c o n d u cted   p r in ci p ally   to   d eter m in e   s tu d en ts ’   SDL  r ea d in ess   in   r elatio n   t o   th e  e x p er ien ce   o f   co m p letin g   th e  o n lin e   MCQ  ex er cises   p r o v i d ed .   Fo r   e x am p le,   s o m e   o f   th e  q u esti o n s   as k ed   wer e   “I   u s u ally   tak e  th e  f ir s t  attem p t  o f   th e  MCQ  ex er cise s   as   a  s elf - ev al u atio n   o f   m y   cu r r en t  u n d er s tan d in g   o f   th e  to p ics   co v er ed   in   th e  MCQ  ex er cise s ”,   “I   co m p lete  th e  MCQ  ex er cises   b ec au s e  I   W ANT   to ,   n o t  b ec au s e  I   HAV E   to ”,   an d   “I   s ee   th e  s co r es  I   g et  f r o m   th e  MCQ  ex er cises   a s   m y   lear n in g   p r o g r ess . ”   Stu d en ts   co m p leted   th e  o n lin e  q u esti o n n air e   with   r e s p o n s es  o n   a  f i v e - p o in t  L ik e r t  s ca le  r an g in g   f r o m   s tr o n g ly   d is ag r ee   “1 ”   to   s tr o n g ly   ag r ee   “5 ”  in   J u ly   2 0 1 9 .   T ab le  3   s u m m a r is es th e  d es ig n   o f   t h e  s tu d y .         T ab le  3 .   R esear ch   d esig n   R e se a r c h   q u e st i o n   I n st r u me n t   D a t a   a n a l y s i s   To   w h a t   e x t e n t   d o   o n l i n e   M C Q s w i t h   mu l t i p l e   a t t e m p t s   p r o mo t e   se l f - d i r e c t e d   l e a r n i n g   ( S D L)   a m o n g   st u d e n t s ?   O n l i n e   s u r v e y   q u e s t i o n n a i r e   P a r t   1 :   D e mo g r a p h i c   i n f o r m a t i o n   P a r t   2 :   S D L   r e a d i n e ss  ( A d a p t e d   f r o m  [ 3 9 ] ,   [ 4 0 ] )   P e r c e n t a g e,  m e a n s,   st a n d a r d   d e v i a t i o n ,   t - t e st   F o c u s  g r o u p   i n t e r v i e w   Th e m a t i c   a n a l y s i s       2 . 1 . 1 .   Relia bil it y   o f   t he  s urv e y   qu estio nn a ire   T o   en s u r e  in ter n al  c o n s is ten cy   o f   th e  s u r v e y   q u esti o n n air e   item s ,   C r o n b ac h   Alp h a  was  ca lcu lated .   An   in d ex   o f   0 . 9 7   was  o b tain e d .   Acc o r d in g   to   Fra e n k el,   W al len ,   an d   Hy u n   [ 4 1 ] ,   a   C r o n b ac h   Alp h a   r ea d in g   o f   an   in s tr u m en t  h as  to   b e  h ig h e r   th an   0 . 7 0   to   b e  co n s id er ed   as  r eliab le.   Sin ce   th e  C r o n b ac h   Alp h a  r ea d in g   is   0 . 9 7 ,   it su g g ests   th at  th e  s u r v e y   q u esti o n n ai r e  is   h ig h ly   r eliab le.       2 . 1 . 2 .   SDL   re a din es s   cut - o f f   po ints    T h is   s tu d y   em p lo y ed   a  f iv e - p o in t  L ik e r t  Scale  in   th e  s u r v ey .   I n   o r d e r   to   r e p o r t  t h e  r esu lts   m ea n in g f u lly ,   cu t   o f f   p o i n ts   f o r   SDL  wer e  d eter m in ed .   A  s i m p le  g u id elin e  o f   u s in g   a  m id - p o in t  r esp o n s e  was  u s ed   r esu ltin g   in   s ettin g   th e  b en ch m a r k s   at   th e  m id   s co r e  o f   3 . 0 0 .   As  s h o wn   in   Fig u r e  1 ,   item s   with   m ea n s   ab o v e  3 . 0 0   will  b e  co n s id er e d   as  h av in g   h ig h   SDL  r ea d in ess ,   wh er ea s   item s   with   m ea n s   b elo w  3 . 0 0   will  b e   co n s id er ed   as  h a v in g   lo w  SD L   r ea d in ess .   T h e  b i n ar y   d iv is io n   allo ws  f o r   a   r an g e   o f   s co r e s   f r o m   1 . 0 0   to   2 . 9 9   as in d icato r s   o f   lo w  SDL  r ea d i n ess ,   wh ile  3 . 0 0   an d   ab o v e  wi ll in d icate   a  r an g e   o f   h ig h   SD L   r ea d in ess .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin e  mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s e  fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   559           H i g h   S D L  r e a d i n e ss   1 . 0 0   2 . 0 0   3 . 0 0   4 . 0 0   5 . 0 0   Lo w   S D L   r e a d i n e ss             Fig u r e  1 .   C u t - o f f   p o in t u s ed   to   d eter m in e  SDL  r ea d i n e ss        3.   RE SU L T S AN D  D I SCU SS I O N   R esu lts   f r o m   th e  o n lin e  s u r v e y   ar e   tab u lated   in   T a b le  4 .   Fro m   T ab le  4 ,   it   is   ev id en t   th at  th e  m ea n s   o f   all  2 0   item s   ar e  a b o v e   th e  cu t - o f f   p o in t  o f   3 . 0 0   ex ce p t  I tem s   1 0   an d   1 2 .   T h is   is   also   r ef le cted   in   th e  o v er all   m ea n   o f   th e   i tem s   wh ich   is   3 . 3 8 .   T h is   s u g g ests   th at  t h e  o n li n e  MCQ  q u esti o n s   in   g e n er al   wer e  e n co u r a g in g   s tu d en ts   to   b e  s elf - d ir ec ted   lear n er s .   Stan d ar d   d ev iatio n s   wer e  n ar r o w  wh ic h   r ev ea le d   s tab ilit y   in   r esp o n s es.        T ab le  4 .   Descr ip tiv e  an al y s is   o f   s u r v e y   item s   ( N= 6 0 )   I t e m   S t r o n g l y   d i s a g r e e   D i sag r e e   N o t   su r e   A g r e e   S t r o n g l y   a g r e e   M e a n   S t a n d a r d   d e v i a t i o n   I   a l w a y s  d o   a n   i n t e r n e t   se a r c h   t o   f i n d   o u t   t h e   mea n i n g s   o f   t h e   w o r d s   t h a t   I   d o   n o t   u n d e r st a n d   w h e n   I   a m  d o i n g   t h e   M C Q   e x e r c i ses   o n   B l a c k b o a r d .   1 4 . 5 5 %   1 5 . 4 5 %   3 . 6 4 %   4 5 . 4 5%   2 0 . 9 1 %   3 . 4 3   1 . 3 5   W h e n   I   d o   n o t   k n o w   w h a t   t h e   a n sw e r   o f   a   M C Q   i s,   I   u su a l l y   d o   a n   i n t e r n e t   se a r c h / r e a d   g r a mm a r   n o t e s   b e f o r e   a n sw e r i n g   t h e   q u e s t i o n .   6 . 3 6 %   1 7 . 2 7 %   1 8 . 1 8 %   3 7 . 2 7   2 0 . 9 1 %   3 . 4 9   1 . 1 8   Th e   mai n   r e a so n   I   d o   t h e   M C Q   e x e r c i ses  i s  b e c a u s e   I   w a n t   t o .   I t   i s  n o t   b e c a u s e   I   w a n t   t o   a v o i d   f e e l i n g   g u i l t y   o r   b e i n g   p u n i s h e d .     3 . 6 4 %   1 2 . 7 3 %   3 8 . 1 8 %   3 2 . 7 3 %   1 2 . 7 3 %   3 . 3 8   0 . 9 8   I   h a v e   d o n e   m o st   o f   t h e   M C Q   e x e r c i ses   o n   B l a c k b o a r d   m o r e   t h a n   o n c e .   1 0 . 9 1 %   1 6 . 3 6 %   1 0 . 9 1 %   3 3 . 6 4 %   2 8 . 1 8 %   3 . 5 2   1 . 3 4   I   u su a l l y   t a k e   t h e   f i r st   a t t e mp t   o f   t h e   M C Q   e x e r c i ses   a s  a   s e l f - e v a l u a t i o n   o f   m y   c u r r e n t   u n d e r st a n d i n g   o f   t h e   t o p i c s c o v e r e d   i n   t h e   M C Q   e x e r c i ses.     1 0 . 9 1 %   1 6 . 3 6 %   1 2 . 7 3 %   3 8 . 1 8 %   2 1 . 8 2 %   3 . 4 4   1 . 2 9   I   u su a l l y   se t   a   t a r g e t   b e f o r e   st a r t i n g   t o   d o   t h e   M C Q   e x e r c i s e s.    1 4 . 5 5 %   1 6 . 3 6 %   2 3 . 6 4 %   2 7 . 2 7%   1 8 . 1 8 %   3 . 1 8   1 . 3 1   W h e n   m y   m a r k s   a r e   l o w e r   t h a n   I   e x p e c t e d ,   I   o f t e n   r e a d   g r a m mar  n o t e s / sl i d e s  b e f o r e / w h e n   I   d o   t h e   M C Q   e x e r c i ses  o n   B l a c k b o a r d   a g a i n .   1 4 . 5 5 %   1 2 . 7 3 %   5 . 4 5 %   4 0 %   2 7 . 2 7 %   3 . 5 3   1 . 3 9   W h e n   m y   mar k s a r e   l o w e r   t h a n   I   e x p e c t e d ,   I   u s u a l l y   d o   a n   i n t e r n e t   s e a r c h   t o   g e t   a   b e t t e r   u n d e r st a n d i n g   o f   t h e   t o p i c s   c o v e r e d   i n   t h e   M C Q   e x e r c i s e s  o n   B l a c k b o a r d .   5 . 4 5 %   1 6 . 3 6 %   1 9 . 0 9 %   3 5 . 4 5 %   2 3 . 6 4 %   3 . 5 5   1 . 1 7   I   a l w a y s  t r y   m y   b e st   t o   g e t   h i g h e r   mark s  i n   t h e   sec o n d   a n d / o r   t h i r d   a t t e mp t .   1 8 . 1 8 %   3 . 6 4 %   7 . 2 7 %   3 7 . 2 7 %   3 3 . 6 4 %   3. 65   1 . 4 4   W h e n   m y   a n sw e r   i s  w r o n g ,   I   d o n ’ t   w a n t   a n   e x p l a n a t i o n / f e e d b a c k   t o   b e   p r o v i d e d   b y   l e c t u r e r s   o r   t h e   B l a c k b o a r d   L M S .     3 2 . 7 3 %   2 4 . 5 5 %   1 5 . 4 5 %   1 2 . 7 2 %   1 4 . 5 5 %   2 . 5 2   1 . 4 2   I   e n j o y   f i n d i n g   o u t   a n sw e r s   a n d   e x p l a n a t i o n s   f o r   t h e   M C Q   t h a t   I   h a v e   a n sw e r e d   w r o n g l y .     9 . 0 9 %   1 2 . 7 3 %   2 1 . 8 2 %   3 6 . 3 6 %   2 0 %   3 . 4 5   1 . 2 0   I   d o n ’ t   a l w a y s   d e p e n d   o n   l e c t u r e r s   t o   e x p l a i n   t h i n g s   t h a t   I   d o   n o t   u n d e r st a n d .     1 2 . 7 3 %   3 0 . 9 1 %   3 2 . 7 3 %   1 1 . 8 2 %   1 1 . 8 2 %   2 . 7 9   1 . 1 7   I   f r e q u e n t l y   d o   e x t r a   r e a d i n g   b e c a u se   I   a m i n t e r e s t e d   t o   f i n d   o u t   t h e   c o r r e c t   a n sw e r s.   9 . 0 9 %   1 4 . 5 5 %   2 9 . 0 9 %   3 6 . 3 6 %   1 0 . 9 1 %   3 . 2 5   1 . 1 2   I   a l w a y s  d o   e x t r a   r e a d i n g   t o   e n h a n c e   my   u n d e r s t a n d i n g   o n   t h e   t o p i c s  c o v e r e d   i n   t h e   M C Q   e x e r c i s e s.    5 . 4 5 %   2 1 . 8 2 %   2 6 . 3 6 %   3 7 . 2 7 %   9 . 0 9 %   3 . 2 3   1 . 0 6   I  a l w a y s   m o t i v a t e   m y se l f   t o   d o   b e t t e r   i n   t h e   sec o n d   o r   t h i r d   a t t e m p t .   1 8 . 1 8 %   5 . 4 5 %   1 1 . 8 2 %   4 3 . 6 4 %   2 0 . 9 1 %   3 . 4 4   1 . 3 6   I   v i e w   t h e   p r o b l e ms  I   f a c e   w h e n   d o i n g   t h e   M C Q   e x e r c i s e s  a s  p e r s o n a l   c h a l l e n g e s   t h a t   I   c a n   o v e r c o me.     1 0 . 9 1 %   9 . 0 9 %   2 0 %   4 6 . 3 6 %   1 3 . 6 4 %   3 . 4 3   1 . 1 6   I   c o mp l e t e   t h e   M C Q   e x e r c i ses  b e c a u se  I   W A N T  t o ,   n o t   b e c a u se  I   H A V E   t o .     9 . 0 9 %   9 . 0 9 %   1 8 . 1 8 %   3 9 . 0 9 %   2 4 . 5 5 %   3 . 6 1   1 . 2 0   I   w a n t   t o   r e c e i v e   n o t i f i c a t i o n s  w h e n   M C Q   e x e r c i s e s   a r e   p r o v i d e d .   I   d o   n o t   w a n t   t o   m i ss  t h e   M C Q   e x e r c i s e s  p r o v i d e d .     1 2 . 7 3 %   9 . 0 9 %   5 . 4 5 %   3 4 . 5 5 %   3 8 . 1 8 %   3 . 7 6   1 . 3 7   I   see   t h e   sc o r e s  I   g e t   f r o m t h e   M C Q   e x e r c i ses  a s  m y   l e a r n i n g   p r o g r e ss.     1 0 . 9 1 %   1 0 . 9 1 %   5 . 4 5 %   4 4 . 5 5 %   2 8 . 1 8 %   3 . 6 8   1 . 2 8   I   see   t h e   c o n n e c t i o n s   b e t w e e n   t h e   M C Q   e x e r c i ses   I   d o   a n d   m y   f u t u r e   s t u d i e s  o r   o c c u p a t i o n s.    9 . 0 9 %   1 9 . 0 9 %   2 6 . 3 6 %   3 3 . 6 4 %   1 1 . 8 2 %   3 . 2 0   1 . 1 5   O v e r a l l   mea n   3 . 3 8       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   10 ,   No .   2 ,  J u n e  2 0 2 1 :   5 5 3   -   5 6 8   560   T h e  2 0   item s   u s ed   in   th is   s tu d y   ca n   b e  ca teg o r is ed   in to   two   d o m ain s :  L ea r n er s ’   C h ar ac ter i s tics   ( L C )   an d   T ea ch in g   an d   L ea r n in g   ( T L )   f ea tu r es.  Similar   ca teg o r is a tio n   was  also   f o u n d   i n   Sto ck d ale’ s   [ 3 9 ]   r esear ch .   Acc o r d in g   to   B r o ck ett  an d   Hiem s tr a  [ 2 5 ] ,   b o t h   L C   an d   T L   ar e  im p o r tan t  co n s tr u cts  to   d em o n s tr ate  s elf - d ir ec tio n .   T h e  item s   f o r   L C   s u g g est  lear n er s ’   b elie f s ,   ch ar a cter is tics   an d   attitu d es  in   r elatio n   to   tak in g   o wn   r esp o n s ib ilit y   to war d s   th e  lea r n in g   p r o ce s s .   T L   item s   d em o n s tr ate  lear n er s ’   ag r ee m en t  with   th e  p r o ce s s   o f   o r g an izin g ,   ex ec u tin g   an d   e v a lu atin g   th e  lear n in g   p r o ce s s   [ 3 9 ] .   T h e  item s   u n d er   L C   ar e  I tem   3 ,   1 7 ,   1 9   an d   2 0 ,   wh er ea s   th e  r em ain in g   ite m s   ar e  u n d er   T L .   T h e  m ea n s   f o r   b o th   d o m ain s   wer e  ca lcu lated   an d   t - test   was   d o n e  to   f in d   t h e  s ig n if ican t d i f f er en ce   b etwe en   th e  two   d o m a in s .   T ab le  5   s h o ws  th at  th e  m ea n   o f   L C   is   3 . 4 6 8 2   wh er ea s   th e   m ea n   o f   T L   is   s lig h tly   lo wer   wh ich   is   3 . 3 5 3 4 .   T o   f in d   th e  s ig n if ic an t  d if f e r en ce   b etwe en   th e   t wo   d o m ai n s ,   a  two - s am p le  t - test   with   u n eq u al  v ar ian ce s   ( α =0 . 0 5 )   was  co n d u cted .   T h e  t - test   in d icate s   th at  t h er e  is   n o   s ig n if ican t  d if f e r en ce   b etwe en   th e  two   co m p o n en ts   ( t( 6 ) =0 . 8 5 0 4 ,   p = 0 . 4 2 7 7 ) .   T h is   s h o ws  th at  o n e  d o m ain   is   n o t  m o r e  d o m in a n t  th an   th e  o th er   in   ter m s   o f   its   r elatio n s h ip   with   s elf - d ir ec ted   lear n in g .       T ab le  5 .   T - test   r esu lts     LC   TL   M e a n     3 . 4 6 8 2   3 . 3 5 3 4   V a r i a n c e     0 . 0 4 8 3   0 . 0 9 8 3   P   0 . 4 2 7 7         Fro m   th e  r esu lts   o f   th e   cu r r e n t  s tu d y ,   we  c o u ld   s u r m is e  th a t  th e  u s e  o f   o n lin e  MCQ  ex er cises   with   m u ltip le  attem p ts   ar e  ab le  to :   1 )   Mo tiv ate  s tu d e n ts   to   tak e  r esp o n s ib ilit y   o f   th ei r   lear n in g   p r o ce s s ;   2 )   Dr i v e   s tu d en ts   to   b r id g e  th e   g ap   b et wee n   th eir   p e r ce iv ed   ch allen g es  an d   th eir   o wn   a b ilit ies ;   3 )   Pro m p t  s tu d en ts   to   m o n ito r   th eir   lear n in g   p r o g r ess   an d   g en er ate  s u itab le  lear n in g   s tr ateg ies ;   an d   4 )   E n co u r ag e  s tu d e n ts   to   b ec o m e  ac tiv e   lear n e r s .   T h e   c o n clu s io n s   en a b le  th e   r esear c h er s   to   m ak e  s ev e r al  c laim s   t h at  MCQs   ca n   h elp   to   d ev elo p   s elf - d ir ec ted   lear n in g   in   a  m ea n in g f u l  an d   co n s tr u ctiv e  m an n er   f ar   b ey o n d   th e  co n f in es  o f   th e   m er e  attain m en t o f   k n o wled g e   as a   co g n itiv e  p r o ce s s .     3 . 1 .   O nli ne  M CQ   ex er cises   wit h   m ultiple  a t t em pts  m o t iv a t e   s t ud ent s   t o   t a k e   re s po ns ibi lity   o f   t hei r   lea rning   pro ce s s   I tem s   th at  h av e   h ig h   SDL  m e an   s co r es  in clu d e  I tem s   1 ,   2 ,   4 ,   5 ,   7 ,   8 ,   9 ,   1 1 ,   1 5 ,   1 6 ,   1 7 ,   1 8   an d   1 9 .   T h e  m ea n   s co r es  o f   th ese  item s   r ef lecte d   th at  wh en   s tu d en ts   wer e  d o in g   th e  o n lin e  MC Q  ex er cises ,   m o s t  o f   th em   wer e  p r a cticin g   to   b e  s e lf - d ir ec ted   lea r n er s .   Fo r   ex am p le,   I tem   1 8 ,   wh ich   h ad   th e  h ig h est  m ea n   s co r e   ( M= 3 . 7 6 ) ,   r ev ea le d   th at  m o s t   o f   th e  s tu d en ts   d id   n o t  wan t   to   m is s   o u t  o n   th e  p r ac tice  o f   d o in g   t h e  o n lin e  MCQ  ex er cises .   T h is   wa s   f u r th er   s u p p o r ted   in   th e  in ter v ie w  wh en   a  n u m b er   o f   p ar ticip an ts   ex p r ess ed   th eir   co n ce r n   ab o u t  m is s in g   o u t   th e  g iv e n   o n lin e   MCQ  ex er c is es.  I n   th e   f o c u s   g r o u p   in t er v iew,   o n e  o f   t h e   p ar ticip an ts   s aid :     “I  d o n ’ t  g et   n o tifi ca t io n s   o n   my  p h o n e.   R eg u la r ly  I   h a ve   to   c h ec k  it  if  th e   lectu r er  h a s   s ta r t ed   th e  q u iz   o r   n o t.”      An o th er   s tu d en t  co m m e n ted   i n   th e  f o c u s   g r o u p   in te r v iew :     “T h e  time  o f  th e  M C Qs  ca n   e xten d   o r   n o t?   I   s o metime s   d o   a s s ig n men t  u n til  I   fo r g et  th e  ti me  a lr ea d y,   I   mi s s   th e  q u esti o n s . ”      As  s ta ted ,   s tu d en ts   wer e  awa r e  th at  th e  s co r es   o f   th e  o n lin e  MCQ  ex er cises   wer e  n o t  tak en   in to   ac co u n t  i n   th e   f in al   co u r s ewo r k   m a r k s .   W ith   th is   p r em is e,   we  co u ld   in f er   th at  s tu d e n ts   wer e  n o t   lik ely   to   b e   wo r r ied   ab o u t  lo s in g   m ar k s   if   t h ey   h ad   o v e r lo o k e d   th e  o n lin e  MCQ  ex er cises .   T h e  f in d in g   clea r ly   s h o ws  th at  m o s t  o f   th e  s tu d en ts   wer e  en t h u s iast ic  ab o u t  p u ttin g   wh at  th ey   h ad   lear n e d   in   class   in to   f ir m   p r ac tice.   T h is   is   f u r th er   r ei n f o r ce d   b y   th e  m ea n   s co r es o f   I tem s   9   ( M= 3 . 6 5 )   a n d   I tem   1 7   ( M= 3 . 6 1 ) .   R esu lts   f o r   I tem   9   r ev ea le d   th at  th e  o n lin e   MCQ  ex er cis es  with   m u ltip le  attem p ts   h ad   m o tiv ated   s tu d e n ts   to   b e  h ig h   ac h iev er s   b y   g ettin g   h ig h er   s co r es  th r o u g h   th eir   s ec o n d   a n d /o r   th ir d   attem p ts .   T h is   r esu lt  co r r esp o n d s   with   Ab r eu ,   Sil v a,   an d   Go m es’s  [ 3 0 ]   f in d in g   th at  MCQs   ca n   b e  a   m o t iv atio n al  f ac to r   f o r   s tu d en ts .   Ab r eu ,   Sil v a,   an d   Go m es  [ 3 0 ]   r ep o r ted   th at  th eir   s tu d e n ts   d elin ea ted   MCQs   h a d   en ab led   th em   to   in c r ea s e  th eir   o w n   s atis f ac tio n   lev els   r eg ar d in g   th eir   o w n   lear n i n g ,   wh ich   in   tu r n   en a b led   th e m   to   g et  h ig h er   s co r es.  Ab r eu ,   Sil v a,   an d   Go m es  [ 3 0 ]   th en   co n clu d ed   th at  MCQs   co u ld   in cr ea s e  s tu d en ts ’   p e r f o r m an ce   an d   m o tiv atio n   lev els.   L ik ewise,   I tem   1 7   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin e  mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s e  fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   561   s h o ws  th at  m o s t  s tu d en ts   co m p leted   th e  o n lin e  MCQ  ex er ci s es  n o t  b ec au s e  th ese  ex er cises   wer e  d esig n ated   as  h o m ewo r k ,   b u t  b ec au s e  th ey   wan ted   to   lear n ,   an d   th ey   v iewe d   th e  ex e r cises   as  o p p o r tu n ities   to   p r ac tic e   wh at  th ey   h ad   lear n e d .   I n   o t h er   wo r d s ,   I tem   1 7   s ig n if ies  th at  th e   o n lin e  M C Q  ex e r c is es  with   m u ltip le  attem p ts   wer e  ab le  to   in f lu e n c e  s tu d en ts   to   willin g ly   tak e  ch ar g e  o f   th eir   lear n i n g   p r o ce s s .     3 . 2 .   O nli ne  M CQ   ex er cise s   wit h  m ultiple  a t t em pts  driv e  s t ud ent s   t o   bridg e   t he  g a p  bet wee n  t heir   perc eiv ed  cha lleng es a nd   t he ir  o wn a bil it ies   Mo r eo v er ,   I tem   1 9   also   h as  a  m ea n   s co r e  ( M= 3 . 6 8 )   in d icatin g   h ig h   SDL  r ea d in ess .   T h is   i tem   co u ld   m ea n   th at  m a n y   s tu d en ts   v ie wed   th e  s co r es  th e y   g o t  f r o m   th e  o n lin e  MCQ  ex er cises   as  r ef lecti o n s   o f   th eir   o wn   lear n in g   p r o g r ess .   T h is   r esu lt  r ef lecte d   th at  s tu d en ts   wer e  ev alu atin g   th eir   o wn   p e r f o r m a n ce   u s in g   th e  o n lin e  MCQ  ex er cises .   Su r p r is in g ly ,   I tem   5 ,   with   a  m ea n   s co r e  o f   3 . 4 4 ,   s h o ws  th at  s t u d en ts   h ad   alr ea d y   s tar ted   to   ev alu ate  th eir   p er f o r m an ce   as  th ey   en g ag ed   with   t h eir   f ir s t  attem p t  f o r   ea ch   s et  o f   th e  o n lin e  MCQ  ex er cises .   T h is   in d icate s   th at   m an y   o f   th ese  s tu d en ts   to o k   th e  f ir s t  attem p t   o f   th e   MCQ  ex er cises   as  a  s elf - ev alu atio n   o f   th eir   cu r r en t  u n d er s tan d in g   o f   th e  to p ics  co v er ed   in   th e  ex er cises .   I t  co u ld   also   b e  s aid   th at   s tu d en ts   wh o   o b tain ed   lo w  s co r es  wer e  m o tiv ated   to   im p r o v e  r ath er   th an   b e   af f ec ted   b y   a   n eg ativ e   s elf - ev alu atio n   o f   t h eir   a b ilit ies.  I tem   1 5   ( M= 3 . 4 4 )   r ev ea ls   t h at  wh en   s tu d en ts   d id   n o t  d o   well   in   th e   f ir s t  attem p t,   th e y   wo u ld   tr y   t o   d o   b etter   i n   th e   s ec o n d   an d   th ir d   attem p ts .   Stu d en ts   ev e n   c o m m en te d   d u r in g   th e   f o c u s   g r o u p   in ter v iews  th at  th e  th r ee   attem p ts   g iv en   wer e  n o t  en o u g h .   On e  o f   th e  s tu d en ts   co m m en ted :   “T h e  B la ck b o a r d   ex ercis es  ca n   o n l y  d o   th r ee   times,  n o t   en o u g h . ”  An o th er   s tu d en t  s u g g ested :  “S erio u s ly ,  r ea lly   n o t e n o u g h .   F ive  t imes la . ”   An o th er   s tu d e n t e v en   s u g g ested :  “Un limited   is   b etter.”   As  s tu d en ts   r ep ea ted   th e   s am e  o n lin e   MCQ  ex er cises ,   s tu d e n ts   lear n ed   f r o m   th ei r   o w n   m i s tak es  an d   f elt  m o r e  co n f id en t  wh e n   th ey   g o t  h ig h e r   s co r es.  Nico l  [ 9 ]   e x p lain s   th at  as  s tu d en ts   ar e  g iv en   o p p o r tu n ities   to   d o   MC Qs  r ep ea ted ly ,   t h e  s tu d en ts   ar e  g iv en   c h an ce s   t o   clo s e  th e  g ap   b etwe en   c u r r en t  a n d   d esire d   p er f o r m an ce .   I n   o t h er   w o r d s ,   o n lin e  MCQs   with   m u ltip le  at tem p ts   allo w  s tu d en ts   t o   b r id g e  th e   g ap   b etwe en   th eir   p er ce i v ed   c h allen g es  a n d   th eir   p er ce iv e d   a b ilit ies.  I n d ir ec tly ,   th is   s itu atio n   also   d r i v es  s tu d en ts   to   ta k e  in itiativ es  in   th eir   lear n in g   p r o ce s s .   I tem   1 6 ,   with   a  m ea n   s co r e  o f   3 . 4 3 ,   d is clo s es  th at  s tu d en ts   v iewe d   th e  o n lin e  MCQ  ex er cises   a s   a   p er s o n al  ch allen g e  th at  th ey   co u ld   tak e  o n .   As  s tu d en ts   wer e  g iv en   m u ltip le   attem p ts   to   an s wer   th e  s am e   o n lin e  MCQ  ex er cise s ,   th ey   r ea lized   th at  g ettin g   h ig h er   s co r es  was   in   th eir   h an d s .   T h ey   o n ly   n ee d e d   to   lear n   f r o m   th eir   o w n   m is tak es a n d   p r ac tice  a  f ew   tim es m o r e  to   g et  h ig h er   s co r es.   W h eth er   th ey   wan ted   to   d o   t h e  o n l in e  MCQ  ex e r cises   m o r e  th an   o n ce   t o   g et  a   b etter   u n d er s tan d in g   o f   t h e  to p ics  co v er ed   a n d   o b tain   h i g h er   s co r es  s o lely   d e p en d e d   o n   wh eth er   th ey   wer e  willin g   to   s p en d   tim e  an d   ef f o r t  in to   d o in g   th e  s ec o n d   a n d   th ir d   attem p ts .   Fro m   th e  r e s u lts ,   it  co u ld   b e  s u r m is ed   th a t  s tu d en ts   wer e  ab le  to   g au g e   wh at  th ey   h ad   to   lear n   u s in g   th eir   o wn   in itiativ es.     3 . 3 .   O nli ne  M CQ   ex er cises   wit h  m ultiple  a t t e m pts  pro m pt   s t ud ent s   t o   m o nit o r  t heir  le a r nin g   pro g re s s   a nd   g ener a t e  s uita ble le a rning   s t ra t eg ies    Fu r th er m o r e ,   I tem   8 ,   wh ic h   y i eld ed   a  m ea n   s co r e  o f   3 . 5 5 ,   r e f lects  th at  wh en   s tu d en ts   o b tain ed   lo wer   s co r es  th an   th ey   ex p ec ted ,   th ey   u s u ally   d id   a n   in ter n et  s e ar ch   to   g et  a  b etter   u n d e r s tan d in g   o f   th e  to p ics  co v er ed   in   th e   o n lin e   MCQ  e x er cises .   Similar ly ,   I tem   7   ( M =3 . 5 3 )   in d icate s   th at  wh e n   th e  s tu d en ts   o b tain ed   s co r es  th at  wer e  l o wer   th a n   w h at  th ey   ex p ec te d ,   th e y   o f ten   r ea d   n o tes  o r   s lid es  b ef o r e  o r   wh en   th e y   d i d   th e   o n lin e  MCQ  ex er cises   ag ain .   Du r in g   th e   f o c u s   g r o u p   i n ter v iew,   a  n u m b e r   o f   p a r ticip an ts   s h ar ed   a  s im ilar   ex p er ien ce   m e n tio n e d   b y   t h is   p ar ticip an t:     Wh en   I   s ee   th e  ma r ks,  if  i t  is   t o o   lo w ,   . . .   I   w ill  tr y  a g a in .   B u t  b efo r e  I   tr y,   I   w il l  d o   r ev is io n ,   s ee   fir s t.  A n d   w h en ev er  I   d o   B la ck b o a r d   ex ercis es,  I   w ill  p u t   my  n o tes b esid e  it.  Wh e n   I   d o n ’ t  kn o w ,   I   w ill ch ec k.       T h ese  r em a r k s   s h o w   th at  o n li n e  MCQ  ex er cises ,   wh ich   allo w  s tu d en ts   to   s ee   th eir   s co r e s   in s tan tly   af ter   th ey   h av e   co m p leted   ea ch   ex er cise,  m o tiv ate  th em   t o   r ep ea t  t h e  ex e r cises   in   o r d er   to   o b tain   h ig h er   s co r es.  Mo r e  i m p o r ta n tly ,   t h e  au to - g r a d ed   an d   in s tan t  r esu lt   f ea tu r es  o f   o n lin e  MCQ  ex er c is es   also   cr ea ted   a  lear n in g   en v ir o n m en t  th at  lea d s   s tu d en ts   to   cr itically   r ef lect  o n   th eir   o wn   lear n in g .   Gar r is o n   [ 2 6 ]   em p h asizes   th e  im p o r tan ce   o f   co g n itiv e  a n d   m etac o g n itiv e  p r o ce s s es  in   SDL.   Gar r is o n   [ 2 6 ]   e x p lain s   b o th   co g n itiv e  an d   m etac o g n itiv e  p r o ce s s es  ar e   m an if ested   as  s e lf - m o n ito r i n g   r esp o n s ib ilit y .   Self - m o n it o r in g   r esp o n s ib ilit y   in d icate s   th e  n ee d   t o   co n s tr u ct   m ea n in g   th r o u g h   cr itical  r ef le ctio n   [ 2 6 ] .   A s   s tu d en ts   tak e   u p   th e   r esp o n s ib ilit y   o f   m o n ito r in g   th eir   o wn   lear n in g   p r o ce s s es,  th ey   ar e  ab le   to   r ef lect  cr itically   o n   th ese  p r o ce s s es,  ev alu ate   th eir   r esu lts   an d   g en er ate  n e w  ap p r o ac h es  to   ac h iev e  tar g eted   r esu lts   [ 2 6 ] .  T h e  o p p o r tu n ity   o f   ca r r y in g   o u t   in ter n et  s ea r ch es  to   g et  a  b et ter   u n d er s tan d in g   o f   th e  to p ics  co v er ed   in   th e   o n lin e  MC Q  ex er cises   o r   r ea d   n o tes  o r   s lid es  to   g et  h ig h er   s co r es  in   th eir   n ex t   attem p ts   a t  th e  e x er cises   also   in d icat e d   th at  s tu d en ts   wer e   ac tu all y  s elf - ev alu atin g   th eir   r esu lts .   I n   th e   ev en t,   th ey   wer e  o b v i o u s ly   u s in g   v a r io u s   a p p r o ac h es  to   ac h iev e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   10 ,   No .   2 ,  J u n e  2 0 2 1 :   5 5 3   -   5 6 8   562   th e  r esu lts   th ey   tar g eted .   T h is   tr an s lates  in to   p r o m p tin g   s tu d en ts   to   cr itically   r ef lect  o n   th e  r esu lts   th ey   h av e  ac h iev ed   a n d   a d o p te d   lear n i n g   s tr ateg ie s   th at  b ef it   th e  task .   B ased   o n   t h eir   cr itical  r e f lectio n s ,   s tu d en ts   th en   lik ely   co n s tr u cted   o r   c h an g e d   th eir   lear n i n g   p la n s   an d   att em p ted   th e  e x er cises   ag ain   t o   ac h iev e  e x p ec ted   o u tco m es.    As a  r esu lt,  m o s t  s tu d en ts   co m p leted   th e  o n lin e  MCQ e x er cises   m o r e   th an   o n ce ,   as sh o wn   b y   I tem   4 ,   wh ich   h as  a  m ea n   s co r e   o f   3 . 5 2 .   T h e  r esu lt  f o r   I tem   4   n ee d s   to   b e  co n s id er e d   in   r elatio n   to   I tem   3 ,   wh ic h   h as   a  lo w  m ea n   s co r e  o f   2 . 6 2 .   T h e  r esu lt  o f   I tem   3   r ev ea ls   th at   th e  r ea s o n   m o s t  s tu d en ts   co m p leted   th e  o n lin e   MCQ  ex er cises   was  n o t  b ec au s e  th ey   f elt  g u ilty   o r   s ca r ed   o f   b ein g   p u n is h ed .   T h e  f in d in g s   co n f ir m e d   th at  th e   o n lin e  MCQ  ex er cises   with   m u ltip le  attem p ts   h ad   en c o u r ag ed   s tu d en ts   to   cr itically   r e f l ec t  o n   th eir   lear n in g   p r o ce s s   an d   d o   th e   ex er cises   m o r e  t h an   o n ce .   T h e   ex er cise s   th u s   also   en c o u r a g ed   s tu d e n ts   to   b ec o m e   s elf - d ir ec ted   lear n er s .   T h is   r esear c h   co n f ir m s   Do u g las,  W ils o n ,   an d   E n n is ’ s   [ 1 4 ,   p .   1 1 1 ]   a r g u m en t  th at  MCQs   ar e   a  h elp f u l to o l in   d e v elo p in g   s tu d en ts ’   ab ilit ies to   “m o n ito r ,   m an ag e,   a n d   s elf - d ir ec t t h eir   l ea r n in g ”.       3 . 4 .   O nli ne  M CQ   ex er cises   wit h  m ultiple a t t em pts e nco ura g e s   s t ud ent s   t o   beco m e  a c t iv e  l ea rner s   Sin ce   th e  MCQ  ex er cises   wer e  p r o v id e d   u s in g   a n   o n lin e  p la tf o r m ,   B lack b o a r d   L MS,   s tu d en ts ’   SDL   lear n in g   s ty les  ar e  f o u n d   to   b e  clo s ely   co n n ec ted   with   t h eir   tech n o lo g ical  s k ills .   T h e  ef f ec ts   o f   th e   o n lin e   lear n in g   e n v ir o n m en t  o n   s tu d en ts ’   lear n in g   s t y les  ar e  clea r ly   s h o wn   th r o u g h   I tem s   1   an d   2 .   I tem   1 ,   with   a   m ea n   s co r e  o f   3 . 4 3 ,   in d icate s   th at  s tu d en ts   alwa y s   p er f o r m e d   in ter n et  s ea r ch es  to   f i n d   th e  m ea n in g s   o f   w o r d s   th at  th ey   d id   n o t  u n d e r s tan d   in   th e  MCQ  ex er cises .   T h is   w as  co r r o b o r ated   in   co m m en ts   c o llected   d u r in g   th e   f o cu s   g r o u p   in ter v iews.  On e   o f   th e   s tu d en ts   co m m en ted :  “I  ca n   c o p y   th e  w o r d   a n d   g o o g le  it  t o   fin d   th e   mea n in g . ”   L ik ewise,   I tem   2 ,   with   a  h ig h er   m ea n   s co r e  o f   3 . 4 9 ,   r ef lect s   th at  wh en   s tu d en ts   d id   n o t  k n o w  wh at  th e  an s wer   f o r   a   MCQ,  th ey   u s u ally   d id   an   in ter n et  s ea r c h   o r   r ea d   n o tes  b e f o r e   an s wer i n g   th e   q u esti o n .   Fo r   in s tan ce ,   d u r in g   th e  f o cu s   g r o u p   in ter v iew,   a  s tu d e n t  s aid ,   “W h en   I   mee t  s o meth in g   I   d o n ’ t  k n o w ,   I   ca n   Yo u Tu b e  to   lea r n   it.”  Simila r ly ,   an o th e r   s t u d en t  s aid ,   “W h en   I   d o n ’ t  u n d ers ta n d ,   I   ca n   s ea r ch   it  o n   th e  in tern et  immed ia tely. ”   T h ese  f in d in g s   s h o w  th at  wh e n   s tu d en ts   eq u ip p ed   with   r elev an t  tech n o l o g ical  s k ills ,   ar e  e m p lace d   i n   an   o n lin e  lear n in g   en v ir o n m e n t,  th ey   tak e   th e  i n itiativ e  to   teac h   th em s e lv es.  T h is   s u p p o r ts   Gen g ,   L aw,   an d   Niu ’ s   [ 4 2 ]   claim   th at  in   a  b len d ed   lear n in g   e n v ir o n m e n t,  th e  tech n o l o g y   r ea d in ess   o f   s tu d en ts   h as  a   n o ticea b le  im p ac t  o n   th eir   l ea r n in g   p r esen ce .   An o th er   f e atu r e  o f   th e  o n lin e  MCQ  ex er cises   th at  d r iv es   s tu d en ts   to   tak e  th e  i n itiativ e  to   teac h   th em s elv es  is   th e  estab lis h in g   o f   an   o p en - b o o k   lea r n in g   e n v i r o n m en t .   Ho n ey   an d   Ma r s h all  [ 4 3 ]   f in d   th at  MCQs   f ac ilit ate  in q u ir y - b ased   lear n i n g ,   s u p p o r t  s tu d en t  lear n in g ,   an d   en co u r a g e  s tu d e n ts   to   b ec o m e   ac tiv e  lear n er s .   I t  ap p ea r s   th at  wh en   MCQs   ar e  g iv e n   a n   o p en - b o o k   lear n in g  en v ir o n m en t,  s tu d en ts   ar e  m o tiv ated   to   lo o k   f o r   an s wer s   b y   r ea d in g   n o tes  o r   p er f o r m in g   in ter n et  s ea r ch es.   Nico l  [ 9 ]   d elin ea tes  th at  s u c h   s itu atio n s   allo w  s tu d en ts   to   s elf - ass ess   an d   s elf - co r r ec t.  T o g eth er   with   th e   av ailab ilit y   o f   m u ltip le   attem p ts ,   th e  o n lin e  MCQ  e x er cises   th u s   allo w  s tu d e n ts   to   b r id g e  th e  g ap   b etwe e n   th eir   in itial  r esu lts   an d   t h eir   ta r g eted   r esu lts   as  well  as  b etwe en   th eir   p er ce p tio n s   o f   t h eir   o wn   ab ilit ies  an d   th e   r elea s in g   o f   th eir   ac tu al  p o ten tials .   T h is   f ea tu r e  o f   o n lin e  MCQ  ex er cise s   w ith   m u ltip le  attem p t s   i s   al s o   cr u cial  in   en s u r in g   s tu d en ts   e n jo y   d o in g   th e  ex er cises .   T h i s   s itu atio n   is   r ef lecte d   th r o u g h   I tem   1 1 ,   w h ich   y ield ed   a  m ea n   s co r e  o f   3 . 4 5 .   Stu d en ts   en jo y ed   f in d in g   an s wer s   an d   ex p lan atio n s   f o r   th e  MCQs   th at  th ey   h ad   an s wer ed   wr o n g ly .   W h en   s tu d en ts   f in d   s u ch   SDL  ac tiv ities   en jo y ab le   an d   s atis f y in g ,   t h ey   ar e   m o tiv ated   to   b ec o m e  b etter   s elf - d ir ec ted   le ar n er s .         4.   CO NCLU SI O N   T h is   r esear ch   p r o v id ed   e m p ir i ca l  ev i d en ce   th at  o n lin e  MCQ  ex er cises   with   m u ltip le  attem p ts   h elp   to   p r o m o te  s elf - d ir ec te d   lear n in g   ( SDL) .   I n   th is   r esear ch ,   th e  s co r es  o f   all  th e  p r o v id e d   o n li n e  MCQ  ex er cises   with   m u ltip le  attem p ts   d id   n o t  co n tr ib u te   to   s tu d e n ts ’   co u r s ewo r k   m a r k s .   T h ese  o n lin e   M C Q  ex er cises   wer e  o n ly   h o m ew o r k   f o r   s tu d en ts   to   r ea lis e  wh at  th ey   h ad   lear n ed   in   class   in to   p r ac tice  o u ts id e  o f   class r o o m   tim e.   W h ile  th e  m ea n   s co r es  wer e   n o t  s ig n if ican tly   h ig h   ( 4 . 0 0   a n d   ab o v e )   th e   r esu lts   n o n eth eles s ,   in d icate   th at  th e   s tu d en ts   p er ce iv ed   th e  ef f o r t  a s   cr ea tin g   a  p o s itiv e  lear n in g   clim ate.   T h ey   h ad   en th u s iast ically   r ev is ed   o n   th e   to p ics  co v er ed   in   t h e  ex er cises   an d   tr ied   to   o b tain   h i g h er   s co r es  b y   d o in g   th e  s am e  s ets  o f   o n lin e  MCQs   m o r e   th an   o n ce .   Stu d e n ts   wer e  m o t iv ated   to   m a k e  u s e  o f   t h ese  o n lin e  MCQ  ex er cises   as  o p p o r tu n ities   to   en h a n ce   th eir   u n d er s tan d in g   o f   th e   to p ics  tau g h t  in   class .   Fu r th er m o r e,   th e   au to - g r ad e d   an d   in s tan t  r esu lt  f ea tu r es  o f   th e  o n lin e  MCQ  ex er cises   with   m u ltip le  attem p ts   also   d r o v e  s tu d e n ts   to   cr itically   r ef lect  o n   th eir   o wn   lear n in g   p r o ce s s .   T h ey   s elf - m o n ito r ed   th eir   lear n in g   p r o ce s s   b y   e v alu atin g   th eir   r e s u lts   a n d   g en er atin g   n ew  ap p r o ac h es  to   ac h iev e  th e  r esu lts   th ey   tar g eted .   Sin ce   s tu d en ts   h ad   m u ltip le  attem p ts   to   a r r iv e  at  th e  tar g eted   s co r es,  th ey   wer e  less   l ik ely   t o   b e   af f ec ted   b y   th ei r   in itial  l o w  g r a d es  an d   b e   d em o tiv ate d .   On   th e   co n tr a r y ,   s tu d en ts ’   r esil ien ce   was  m o r e  lik ely   to   b e   s tr en g th en e d .   Als o ,   as  s tu d en ts   o b tain e d   b etter   r esu lts   in   th e  s ec o n d   Evaluation Warning : The document was created with Spire.PDF for Python.