I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   10 ,   No .   2 J u n e   2 021 ,   p p .   553 ~ 5 6 8   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 1 0 i 2 . 2 1 0 0 8          553       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Using  onlin e mul t iple choice  questi o ns with  m ultiple   a tt empts A cas e f o r s elf - dir ecte d l ea rning  am o ng  t ertiary  stu de nts       Ng   Wen  L ee 1 ,   Wa n No o F a ra h Wa n Sha m s ud di n 2 ,   L im   Chia   Wei 3 ,   M u ha m m a d Nur  Adili M o hd   Anua rdi 4 ,   Cha Swee  H eng 5 ,   Ain Na dzim a h Abdu lla h 6   1, 2, 3 Ce n tre  o Li b e ra Arts an d   La n g u a g e s,  INTI  I n tern a ti o n a Un iv e rsity ,   M a lay sia   4 In fo rm a ti o n   S c ien c e   a n d   E n g i n e e rin g ,   S h i b a u ra   I n stit u te  o Tec h n o lo g y ,   Ja p a n   5, 6 S c h o o o E d u c a ti o n ,   Tay l o r’s  Un iv e rsity ,   M a lay sia       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   8 ,   2 0 20   R ev is ed   Mar   4 ,   2 0 21   Acc ep ted   Ap r   9 ,   2 0 21       Crit icism o n   m u lt ip le   c h o ice   q u e stio n s   (M CQs in c lu d e   th e   p o ss ib il it y   o f   stu d e n ts  a n sw e rin g   M CQs   c o rre c tl y   b y   g u e ss in g ,   a n d   M CQs   g e n e ra ll y   a re   sa id   to   fa ll   s h o rt   in   c u lt iv a ti n g   i n d e p e n d e n t   lea rn i n g   s k il ls,   su c h   a tak i n g   c h a rg e   o th e ir  lea rn in g   g o a ls.  Co u n terin g   th e se   c o m m o n   c o n c e rn s,  th is  re se a rc h   u se d   o n li n e   M CQ  e x e rc i se with   m u lt ip le  a tt e m p ts  t o   i n v e stig a te  th e   e x p e rien c e th a t   d r o v e   st u d e n ts  to   b e c o m e   se lf - d irec ted   lea rn e rs.  In   th i s   re se a rc h ,   6 0   st u d e n ts  c o m p lete d   two   se ts  o o n li n e   M CQ   e x e r c ise wit m u lt ip le   a tt e m p ts  o u tsi d e   o f   c las sro o m   ti m e   f o r   six   we e k c o n se c u ti v e ly .   Bo th   f o c u g ro u p   in ter v iew a n d   a n   o n li n e   su rv e y   we re   c o n d u c ted   to   in v e stig a te  t h e   e x p e rien c e o u sin g   o n li n e   M C e x e rc ise   wit h   m u lt i p le  a tt e m p ts  in   re latio n   to   t h e   d e v e lo p m e n o se lf - d irec ted   lea rn in g   ( S DL).   T h e   fin d i n g o th e   stu d y   s h o we d   t h a th e   c rit icism m a y   b e   u n fo u n d e d .   Da ta  lea d to   t h e   c o n c lu si o n   t h a t h e   m a jo rit y   o f   t h e   stu d e n ts   d o   n o ju st  try   to   g u e ss   a th e   c o rre c a n sw e rs.  R a th e r,   m a n y   o f   t h e m   a tt e m p ted   th e   o n li n e   M CQ  e x e rc ise m o re   th a n   o n c e   to   imp r o v e   t h e m se lv e in d ica ti n g   th a th e y   we re   in tere ste d   in   se lf - lea rn in g .   S tu d e n ts   a lso   re p o rted   th a t   th e y   u ti li se d   se a rc h   a n d   in q u ir y   sk il ls  t h a c lea rly   sh o we d   m o ti v a ted   in i ti a ti v e to   p lan   h o t o   o v e rc o m e   th e ir   we a k n e ss e b y   i n d e p e n d e n t ly   lo o k i n g   f o re lev a n t   re so u rc e s,  d e term in e   th e ir  o wn   lea rn in g   g o a ls,  a n d   e v a l u a te  th e ir  o wn   lea rn in g   p e rfo rm a n c e   a a   firm   i n d ica to o S DL  d e v e lo p m e n t.   B a se d   o n   th e   fin d i n g s,  th is  st u d y   is  a b le  to   r e fu te  th e   c laim   th a M CQs   a re   u n a b le  t o   c u lt iv a te i n d e p e n d e n t   lea rn in g   s k i ll s.   K ey w o r d s :   L ea r n in g   s k ill   Mu ltip le  attem p ts   Mu ltip le  ch o ice  q u esti o n s   On lin lear n in g   f o r   lea r n in g   E n g lis h   Self - d ir ec ted   lear n in g   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ng   W en   L ee   C en tr o f   L ib er al  Ar ts   an d   L a n g u ag es   I NT I   I n ter n atio n al  Un iv e r s ity   Per s iar an   Per d an B B N,   Pu tr Nilai,   7 1 8 0 0   Nilai,   Neg er Sem b ilan ,   Ma lay s ia   E m ail:  wen leen g @ y m ail. co m       1.   I NT RO D UCT I O N   T h u s o f   L ea r n in g   Ma n a g e m en Sy s tem   ( L MS)   s u ch   as   Mo o d le  an d   B lack b o ar d   h as  in cr ea s ed   r ap id ly   [ 1 ]   in   tan d em   with   th e   g r o wth   o f   tech n o lo g y   u s in   th class r o o m .   Star ted   as  an   o n lin s o f twar th at  o n ly   en ab les  e d u ca to r s   to   s h a r co u r s lectu r es   t o   s tu d e n ts ,   L MS  h as  ev o lv ed   to   b ec o m e   an   en v ir o n m en th at  s u p p o r ts   f lex i b le,   p e r s o n alize d   an d   co llab o r ativ lear n in g   [ 2 ] .   b r o a d   r a n g o f   to o ls   ar n o a v ailab le  in   d if f er en t   L MS,   in clu d in g   d is cu s s io n   b o ar d ,   wik i,   b lo g ,   f i ll  in   th b lan k s ,   a n d   m u lt ip l ch o ice  q u esti o n s   ( MCQs ) ,   to   n am f ew.   At  th u n iv er s ity ,   m u ch   en co u r ag e m en is   g iv en   f o r   in clu s io n   o f   tech n o lo g y   as  p ar t   o f   th teac h in g   an d   lear n in g   to o ls .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 5 3   -   5 6 8   554   Giv en   th en v ir o n m e n t,  r esear ch er s   d o   h a v ac c ess   to   v ar ie ty   o f   L MS.   Af ter   m u c h   ex p l o r ato r y   u s e,   th r esear ch er s   o f   th is   s tu d y   h ad   in itially   tr ied   o u t   an   in f o r m al  u s o f   MCQs   with   m u ltip le  attem p ts .   I was  o b s er v ed   th at  s tu d en ts   s ee m   t o   b g en er ally   m o r m o tiv ate d   in   th eir   lear n in g .   T h is   o b s er v atio n   led   to   th e   em b ar k in g   o f   a   s tr u ctu r e d   r esear ch   in v esti g atio n   th at   to o k   o n   th e   f o r m al   in co r p o r atio n   o f   th e   u s o f   MCQs   with   m u ltip le  attem p ts   in to   a n   E n g lis h   lan g u ag e   co u r s at  th u n i v er s ity   with   v iew  th at  L MS  h ad   b ee n   f r eq u e n tly   cr iticized   f o r   b ei n g   u s e d   in ef f ec tiv el y   [ 3 ] .   W ith   t h is   id en tific atio n   o f   r esear c h   g ap ,   th o b jectiv e   was  f o r m u lated   to   u s th e   M C Qs  with   m u ltip le  attem p ts   as  lear n in g   s tr ateg y .   T h e   s p ec if ic  aim   was  to   id en tify   th e   ex ten t   th o n lin e   MCQs   with   m u ltip le  attem p ts   was  ab le  to   m o tiv ate   s tu d en t s   to   ca r r y   o u s elf - s tu d y   an d   e n g ag e   in   s elf - d ir ec t ed   lear n in g   ( SD L).     T h is   r esear ch   is   co n s id er ed   s i g n if ican i n   co n t r ib u tin g   to   t h s tate  o f   k n o wled g e   co n ce r n i n g   th e   u s o f   MCQs .   I is   also   p r o v id in g   em p ir ical  d ata  o n   a n   o n lin lear n in g   ex p e r ien ce   t h at  co u ld   s h o im p r o v ed   lear n in g   a n d   p e r f o r m an ce   as  s u cc ess f u o u tco m es   o f   th im p lem en tatio n   o f   teac h i n g   s tr ateg y   in   a n   E n g lis h   lan g u ag c o u r s e.   Mu ltip le  ch o ice  q u esti o n s   ( MCQs )   h av b ee n   wid ely   u s ed   in   b o th   p ap e r - b ased   a n d   o n lin e   ass es s m en ts   f o r   s ev er al  r ea s o n s .   T h ey   ar e   ec o n o m ical  an d   ti m ef f icien t.  E d u ca to r s   ca n   in clu d b r o ad   r an g o f   to p ics  in   s in g le  test   u s i n g   MCQs   [ 4 ] [ 7 ] .   Pap er - b ased   MCQ s   ca n   b m ar k ed   q u ick ly   u s in g   au to m atic   s ca n n er s   o r   m ar k er s   with   m i n im al  tr ain in g   [ 8 ] ,   a n d   o n lin MCQs   ca n   also   b m a r k ed   au to m atica lly th u s   s av in g   tim s p en o n   m a r k in g   [ 9 ] ,   [ 1 0 ] .   An o th e r   k ey   f ea tu r o f   MCQs   is   th eir   o b jectiv n atu r wh ich   p u r p o r ted ly   av o id s   b ias;   h en c co n tr ib u tin g   to   g r ea te r   r elia b ilit y   an d   s tan d a r d izatio n   [4 ] ,   [ 5 ] ,   [ 7 ] ,   [ 8 ] ,   [ 1 1 ] Du to   th ese  ad v an tag es,  MCQs   h av o f ten   b ee n   u s ed   to   e v alu ate  th ab ilit y   o f   lar g n u m b er s   o f   s tu d en ts   with in   s h o r t p er i o d   o f   tim e .   Desp ite  th ese  s tr o n g   p o in ts ,   s o m ed u ca to r s   v iew  MCQs   n eg ativ ely .     On o f   t h cr iticis m s   lev elle d   at  MCQs   is   th in h er en wea k n ess   o f   g u ess in g   at   th r i g h a n s wer .   As  r esu lt,  th ab ilit y   as  test ed   b y   MCQs   is   s u b ject  to   d o u b t .   T h p o s s ib ilit y   o f   an s wer i n g   MCQs   co r r ec tly   th r o u g h   g u ess in g   is   in d ee d   r ec o g n is ed   wea k n ess   [ 5 ] .   B esid es,  MCQ s   h av o f ten   b ee n   cr iticized   f o r   o n ly   ev alu atin g   lo wer   lev el  co g n iti v s k ills   an d   test in g   k n o wled g o f   is o lated   f ac ts   [ 4 ] .   Su ch   MCQs   ar s aid   to   en co u r a g s tu d en ts   to   m em o r i ze   f ac ts ,   th er eb y   s h o win g   litt le  ap p licatio n   o f   k n o wled g g ai n ed .   T h u s ,   s tu d en ts   ar n o tr ain ed   to   a p p ly   wh at  th ey   h av lear n e d   in   n o v el  s itu atio n s ,   b u o n ly   h av e   to   r ec all  s p ec if ic,   in d ep en d en f ac ts   to   a n s wer   th test s   [ 7 ] .   T h e   ab ili ty   to   r ec all  k n o wled g ( i.e . ,   k n o wl ed g e/r em em b e r )   is   co n s id er ed   th e   lo west lev el  o f   th co g n itiv s k ills   d ef in e d   in   B lo o m s   tax o n o m y   [ 1 2 ] ,   [ 1 3 ]   Ho wev er ,   it   is   u n d en iab le   th at   r em em b er in g   b asic  k n o wled g f r o m   ea c h   f ield   o f   s tu d y   is   o f   ex tr em e   im p o r tan ce   f o r   s tu d en ts   wh o   ar lear n in g   n o v ices  in   th eir   r esp ec tiv f ield s .   Kn o wled g e,   wh ich   is   at  th e   b ase   o f   B lo o m s   tax o n o m y ,   is   co n s id er ed   as  th e   ab ilit y   t o   g ath e r   “th h a r d   c o r o f   fa cts  o r   i n fo r ma tio n   in   ea c h   f ield   o kn o w led g e”   [ 1 3 ,   p .   6 3 ] .   Facts  m u s b u s ed   to   ex ch an g in f o r m atio n ,   an d   B lo o m ,   et  a l.   [ 1 3 ]   p o in ted   o u th at  th ese   f ac ts   f o r m   th b asic  elem en ts   th at  s tu d en ts   m u s r em em b er   i n   o r d er   to   b e   well  v er s ed   in   th eir   f ie ld s .     So m r esear ch   h as  co n ten d ed   th at  MCQs   ar n o o n l y   s u it ab le  f o r   ev alu ati n g   f ir s lev el   co g n itiv e   s k ills   ( k n o wled g e/r em em b er ) ,   b u also   th n e x two   lev e ls   o f   co g n itiv s k ills ,   co m p r eh en s io n /u n d e r s tan d   an d   ap p licatio n /ap p ly   [ 1 4 ] ,   [ 1 5 ] .   Oth er s   h av ev e n   af f ir m ed   t h at  MCQs   ca n   co m p eten tl y   ass es s   th f ir s f o u r   co g n itiv s k ill  lev els,  in clu d in g   an aly s is /an aly s [ 1 6 ] ,   [ 1 7 ] .   I n   s h o r t,  th lev el  o f   co g n itiv s k ills   MC Qs  ca n   ass es s   is   n o t lim ited   to   o n ly   th f ir s t le v el,   k n o wled g e/r em e m b er .     Mo r eo v er ,   s tu d e n ts   h av e   b ee n   f o u n d   to   h a v p o s itiv attitu d e s   ab o u t   an s wer in g   MCQs   th at  ar g iv e n   as  f o r m ativ e   ass es s m en ts   b ef o r s u m m ativ e   ass ess m en ts ,   s u ch   as  in   class   p r o g r ess   test s   o r   ex er cises .   T o   s itu ate  th u s o f   MCQ s   in   th is   s tu d y ,   th er is   n ee d   to   u n d er s tan d   th e   d if f e r en ce s   b etwe en   s u m m ativ an d   f o r m ativ ass ess m en ts   u s in g   th is   ap p r o ac h .   Mc Ken n [ 1 8 ]   ass er ts   th at  MC Qs  s h o u ld   n o b u s ed   i n   s u m m ativ ass ess m en ts .   Sco u l ler   [ 1 9 ]   as we ll a s   C o b b ,   et  a l.   [ 2 0 ]   c o n clu d e d   th at  wh e n   MCQs   wer o n ly   u s ed   as  s u m m ativ ass es s m en ts ,   th s tu d en ts   em p lo y ed   m o s tly   s u r f ac e   lear n i n g   s tr ateg ies.  I n   a d d itio n ,   th s tu d e n ts   o n ly   aim ed   to   co m p lete  th c o u r s s u cc ess f u lly   b y   r o te  m em o r izatio n   o f   c o n ce p ts   an d   k n o wled g [ 2 0 ] .   C o b b ,   a el.   [ 2 0 ]   th en   c o n clu d ed   t h at  th h ig h - s tak es  s u m m ativ e   ass ess m en ts   u s in g   MCQs   ap p ea r ed   t o   p r ess u r s tu d en ts   to   r eso r t   to   t h u s o f   s u r f ac e   lear n in g   s tr ateg ies.  W h ile  th ese  wea k n ess es  ar r ec o g n is ed   in   th e   u s o f   MCQs   in   s u m m ativ test in g ,   th is   r esear ch   h o wev er ,   ad o p ts   f o r m ativ o r ien tatio n   in   th u s o f   MCQs .   Stu d en ts   ar n o t   p u i n   s u m m ativ test   s itu atio n   an d   t h allo wan ce   o f   m u ltip le  atte m p ts   is   s ig n if ican f ea tu r th at  p o in ts   to   p o s itiv i m p ac t in   cu ltiv atin g   in d ep e n d en t a n d   s elf - p ac e d   lear n i n g .     Dalz iel  an d   Gaz za r d   [2 1]   r ep o r ted   th at   wh en   o n lin e   MCQs   wer p r o v id ed   to   s tu d e n ts   f o r   p r ac tice  b ef o r e   f o r m al  ass ess m en ts ,   th ey   h ad   r esp o n d ed   p o s itiv ely .   R esp o n s es  f r o m   s tu d en t   ev alu atio n s   in d icate d   t h at  b o th   s elf - teac h i n g   a n d   s elf - test in g   to o k   p lace   wh en   s tu d en ts   an s wer   o n li n MCQs   as  f o r m ativ ass ess m en ts .   T h u s ,   Dalz iel  an d   Gaz za r d   [ 2 1 ]   ass er ted   th at  o n lin MCQ  p r ac tice  b ef o r f o r m al  ass ess m en ts   en co u r ag es   s tu d en ts   to   s elf - lear n   an d   h as  th p o ten tial  to   ac tiv e ly   en g ag s tu d en ts .   C o llis   an d   B o u r g u ig n o n   [ 2 2 ]   als o   p r esen ted   s im ilar   f in d in g s .   W h en   o n lin MCQ  ex e r cises   wer g iv e n   as  f o r m ativ e   ass ess m en ts ,   m an y   s tu d en ts   r eg ar d e d   th em   as a   way   to   h elp   th em s elv es to   u n d er s tan d   th co u r s m ater ial  an d   m aster   r elev an t to p ics.  Su ch   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   555   f in d in g s   also   r ev ea l   th at  o n li n MCQ  ex er cises   b ef o r e   y e ar   en d   test s   o r   ex am s   p r o v id e   p o s itiv lear n in g   en v ir o n m en f o r   s tu d en ts   an d   it  im p lies   th at  M C te s ts   d o   h elp   to   cu ltiv ate  h ab its   th at  r eq u ir in d e p en d e n t   lear n in g   as  th ey   e v alu ate  th ei r   test   p er f o r m a n ce .   T h is   b r in g s   u s   to   th co r is s u o f   s elf - d ir ec ted   lear n in g   in   th is   r esea r ch .   I n   h is   b o o k ,   Kn o wles d ef in es self - d ir ec ted   lear n in g   ( SDL)   as:      …  a   p r o ce s s   in   w h ich   in d ivid u a ls   t a ke   th in itia tive,   w ith   o r   w ith o u th h elp   o o th ers ,   in   d ia g n o s in g   th eir  le a r n in g   n ee d s ,   fo r mu la tin g   lea r n in g   g o a ls ,   id en tifyin g   h u ma n   a n d   m a teri a r eso u r ce s   fo r   lea r n in g ,   ch o o s in g   a n d   imp leme n ti n g   a p p r o p r ia te  lea r n in g   s tr a teg ies,  a n d   ev a lu a tin g   le a r n in g   o u tco mes   [ 2 3 ,   p .   1 8 ] .     He  em p h asizes  th at  SDL  d o e s   n o m ea n   “lea r n in g   in   is o lat io n ”.   On   th co n tr a r y ,   S DL   o f ten   tak es  p lace   with   th h elp   o f   “tea c h er s ,   tu to r s ,   m en to r s ,   r eso u r ce   p eo p le,   a n d   p ee r s ”  [ 2 3 ] .   B r o c k ett  a n d   Hiem s tr [ 2 4 ]   c o n tin u th at  teac h er s   in   SDL  en v ir o n m e n ts   s h o u ld   n o ac o n ly   as  in f o r m atio n   p r o v id er s ,   b u also   as   f ac ilit ato r s   th at   m an a g th e   teac h in g - lea r n in g   p r o ce s s .   Fo r   in s tan ce ,   f ac ilit ato r s   ca n   u s s u p p o r tiv e   in s tr u ctio n al  d ev ices to   m ai n tain   s tu d en ts   in ter est in   p a r ticu lar   s u b ject  m atter .     Fu r th er m o r e ,   lear n er s   attitu d es  ar also   an   im p o r tan asp e ct  o f   SDL.   Kn o wles  [ 2 3 ,   p .   2 1 ]   ex p lain s   th at  wh en   s tu d en ts   g o   th r o u g h   th p r o ce s s   o f   lear n in g ,   t h eir   m o tiv atio n   to   s tu d y   co m es  f r o m   “e x ter n al   r ewa r d s   an d   p u n is h m en ts , ”  in clu d in g   “g r ad es,  d ip lo m as,  a war d s ,   d eg r ee s ,   an d   f ea r   o f   f a ilu r e .   Self - d ir e c ted   lear n er s   m o tiv atio n   t o   s tu d y   o f te n   co m es  f r o m   “i n ter n al  in ce n tiv es”,   in cl u d in g   “th n ee d   f o r   esteem   ( esp ec ially   s elf - esteem ) ,   th d esire   to   ac h iev e,   th u r g to   g r o w,   th s atis f ac tio n   o f   ac co m p lis h m en t,  th n ee d   to   k n o s o m et h in g   s p ec if ic,   a n d   cu r i o s i ty ”  [ 2 3 ,   p .   2 1 ]   T h im p o r tan ce   o f   lean er s   attitu d es  in   SDL  i s   al s o   s ee n   in   th Per s o n al  R esp o n s ib ilit y   Or ien tatio n   ( PR O)   m o d el  o f   SDL  i n tr o d u c ed   b y   B r o ck ett   an d   Hiem s tr [ 2 5 ] .   I n   th e   PR m o d el,   p er s o n al  r esp o n s ib ilit y   is   th s tar tin g   p o in o f   SDL.   T h e y   [ 2 5 ]   ar g u e   th at  th p o te n tial  o f   an   in d iv id u al’ s   s elf - d ir ec tio n   is   d eter m in ed   b y   h is   o r   h e r   ab ilit ies  an d   willin g n ess   to   tak e   co n tr o o f   h i s   o r   h er   o wn   lear n in g .   Hen ce ,   lear n er   attitu d e   co n s tit u tes  k ey   cr iter io n   in   SDL.   Ad d itio n ally ,   Gar r is o n   [ 2 6 ]   n o ted   th at  ce r tain   co g n itiv e   an d   m etac o g n itiv e   s k ills   ar also   v ital  in   SDL,   wh ich   h claim s   ar n o ad d r ess ed   clea r ly   in   th PR m o d el.   He  clar if ies  th at  s elf - d ir ec t ed   lear n er s   g o   in t o   p r o ce s s   o f   d ev elo p i n g   th e ir   lear n in g   s tr ateg ie s   an d   awa r en ess   as  well  a s   ab ilit ies  to   th in k   a b o u t   th in k i n g .   I n   o th er   wo r d s ,   s elf - d ir ec ted   lear n er s   a r r esp o n s ib le  f o r   s elf - m o n ito r in g   th eir   lear n in g   p r o ce s s ,   ev alu at in g   th e   o u tc o m es,  an d   co n s tr u ctin g   p lan s   t o   ac h ie v th e   in te n d ed   o u tco m es  as  ex am p les  o f   th co m p lex   u s o f   co g n itiv an d   m etac o g n itiv s k ills .   I n   lin wi th   th is   ar g u m en t,  B r o ck ett  an d   Hiem s tr [ 2 7 ]   u p d ated   th P R m o d el  to   th Per s on - Pro ce s s - C o n tex ( PP C )   m o d el.   Un d er   th p er s o n   elem en o f   th m o d el,   th e y   [ 2 7 ]   attest  th at  cr itical  r e f lectio n   is   o n e   o f   th c h ar ac ter is tics   o f   s elf - d ir ec ted   lear n er s .   T h is   m ea n s   th at   in   th PP C   m o d el,   SDL   le ar n er s   ar d ir ec te d   to   r ef lect   cr itically   o n   th eir   o w n   lear n in g   p r o c ess   b ef o r an d   af ter   co n s tr u ctin g   a   lear n in g   p la n   o r   im p lem en tin g   a   lear n in g   s ty le.     Nico [ 9 ]   p r o p o s es  th u s o f   o n lin MCQs   as  s u p p o r t o   d ev elo p   lear n e r s   au to n o m y   an d   s elf - r eg u latio n .   Nico an d   Ma cFar lan e - Dick   [ 2 8 ,   p .   2 0 3 ]   e x p lai n   th at  o n o f   th p r in cip les  t h at  f ac ilit a t es  s elf - r eg u latio n   is   it  ca n   “e n co u r a g p o s itiv m o tiv atio n   an d   s elf - esteem ”.   Stu d en m o tiv atio n   an d   s elf - esteem   ca n   b en h an ce d   b y   u s in g   “lo w - s tak es  ass e s s m en task s ”  th at  ar d esig n ed   to   f o c u s   o n   s tu d en ts   p r o g r ess   an d   ac h iev em en r ath er   th an   u s in g   “h ig h - s tak es  s u m m ativ e   ass ess m en task s ”  th at  f o cu s   s o lely   o n   f in al   m ar k s   [ 2 8 ,   p .   2 1 2 ] .   lo w - s tak es  f o r m ativ task   will  en ab le  s tu d en ts   to   f o cu s   m o r o n   lear n in g   g o als  r ath er   th an   f in al  m ar k s .   I n   th is   way ,   ed u c ato r s   ca n   i n f lu en ce   th e   way s   s tu d en ts   p er ce i v t h e   lear n i n g   c o n tex t,  as   Par is   an d   T u r n er   [ 2 9 ]   a r g u e ,   s tu d en ts   m o tiv atio n   is   co n s tr u cted   b y   s tu d en ts   th em s elv es  b ased   o n   th e ir   o wn   ap p r aisal  o f   th lear n in g   c o n tex t.   T h er e f o r e,   s tu d en ts   ca n   b led   to   p e r ce iv a   n o v el  lear n in g   c o n te x t ,   s u ch   as  lin k in g   MCQs   to   an   ed u ca tio n al  g o a l,  lik s elf - r eg u latio n .   B y   g i v in g   MCQs   in   ass e s s in g   th co m p letio n   o f   lo w - s tak es  f o r m ativ task s   th at  co u ld   h av b ea r in g   o n   th f in al  s u m m ativ ass ess m en t s ,   MCQs   b ec o m m u ch   m o r im p ac tf u o n   s tu d en ts   l ea r n in g   ex p e r ien ce .   Similar ly ,   Ab r eu ,   Sil v a,   a n d   G o m es  [ 3 0 ]   f o u n d   th at  MCQs   in cr ea s s tu d en ts   m o tiv atio n   an d   p er f o r m a n ce .   Stu d en ts   in   th eir   s tu d y   r ep o r ted   th at  MCQs   en ab led   th em   to   g et  h ig h er   s co r es  n o b ec au s th ey   co u ld   g u ess   th an s wer s ,   b u b ec au s th ey   c o u ld   r ef lect  o n   an d   lear n   ab o u th to p ics   b etter .   T h u s ,   s tu d en ts   co u ld   ex am in ea ch   M C o p tio n   an d   th in k   d ee p er   ab o u ea ch   o f   th e   co n ce p ts   in v o l v ed .   Hen ce ,   Ab r eu ,   Sil v a,   an d   Go m es  [ 3 0 ]   co n clu d e d   th at  MCQ  in cr ea s ed   s tu d en ts   s atis f ac tio n   r eg ar d in g   t h eir   o w n   lear n in g   ex p e r ien ce .   T h p r ev io u s   r esear ch   p r o v id ed   an   im p etu s   in to   f u r t h er   in v e s tig atio n   o f   SDL  an d   u s o f   o n lin e   MCQs   f o r   lan g u ag s tu d en ts   in   u n iv er s ity .   On o f   th lear n in g   g o als  o f   th u n iv er s ity   is   to   im b ib in   s tu d en ts   th n ee d   to   th in k   cr itically ,   an d   also   to   d ev elo p   g r ea ter   s elf - in d ep en d e n ce   as  th ey   tr an s it  f r o m   s ch o o l   to   t e r tiar y   in s titu tio n .   T h is   o b j ec tiv is   v er y   m u c h   in   lin e   with   th Ma lay s ia  E d u ca tio n   B lu ep r in 2 0 1 5 2 0 2 5   ( Hig h er   E d u ca tio n ) ,   wh ich   s tates  th at  o n f o cu s   o f   h ig h er   l ea r n in g   i n s titu tio n   ( HL I )   is   “d ev elo p in g   s tu d en ts   to   b ec o m m o r in d ep en d en t t h in k er s   an d   s elf - lear n er s ”  [ 3 1 ,   p .   2 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 5 3   -   5 6 8   556   I n   o r d e r   to   en s u r th at  s tu d e n ts   b ec o m s u cc ess f u in d ep en d en lear n e r s   an d   th in k e r s ,   u n iv er s ity   s tu d en ts   s h o u ld   b ex p o s ed   t o   ed u ca tio n al  g o als  s u ch   as  s elf - d ir ec ted   lear n in g   ( SDL) .   R az ali,   Xu an ,   an d   Sam ad   [ 3 2 ,   p .   7 5 ]   ar g u th at  S DL   s tr ateg ies  s h o u ld   b in clu d ed   in   th o v er all  ed u ca tio n al  p r o ce s s   b ec au s th e   “tea ch er - led   co n te x t”  is   in s u f f icien f o r   s tu d en ts   to   b ec o m au to n o m o u s   lear n e r s .   Als o ,   R az ali,   Xu an ,   an d   Sam ad   [ 3 2 ]   u r g th at  tr ad itio n al  ed u ca tio n al  o r   p ap er - b ase d   f o r m ats  b m in im ized   i n   u s as  th ese  m eth o d s   hi n d er   th p o ten tial  o f   s elf - d ir ec ted   lear n er s .   Fu r th e r m o r e,   as  SDL  ap p r o ac h es  a r i n co r p o r ated   with in   s y llab u s es,  task s ,   less o n s   an d   ac tiv ities ,   “d ep en d e n lear n er s   ( co u ld )   f in d   a   s tar tin g   p o in t   to   g r asp   au t o n o m o u s   lear n in g ”  [ 3 2 ,   p p .   7 5 - 76] .   T h is   r esear ch   tak es  o n   th e   in s titu tio n al  an d   e d u ca to r s   ch allen g e   o f   p r o v id in g   s tu d en ts   with   o p p o r tu n ities   o r   m u lt i p le  atte m p ts   to   d ev elo p   SDL  t h r o u g h   wee k ly   e - lear n in g   task s .   W h ile  th t o p ics  co v er ed   in   th ese  wee k ly   e - lea r n in g   task s   wer co n n ec ted   with   th e   to p ics  s tu d en ts   lear n ed   in   class ,   s tu d en ts   h ad   to   tak e   ch ar g o f   th eir   o wn   lear n in g   p r o ce s s es  o u ts id o f   class r o o m   tim e.   T h is   r esear ch   aim s   to   lo o k   at  h o o n lin e   MCQ  ex er cises   p r o v id ed   to   s tu d en ts   as  wee k ly   e - lea r n in g   task s   o u ts id o f   class r o o m   tim ca n   p r o m o te  SD L   am o n g   u n i v er s ity   s tu d en ts .   T o   g u i d th e   r esear ch ,   th e   f o llo win g   r esear ch   q u esti o n   was  f o r m u lated T o   w h at   ex ten d o   o n lin MCQs   wit h   m u ltip le  attem p ts   p r o m o te   s elf - d ir ec ted   lear n in g   ( SDL)   am o n g   u n i v er s ity   s tu d en ts ?       2.   RE S E ARCH   M E T H O D   I n   th e   u n iv er s ity   wh e r th e   r e s ea r ch   was  co n d u cted ,   th er e   wer 6 5 0 0   s tu d en ts   wer e   tak i n g   v ar io u s   co u r s es  ( i.e . ,   E n g lis h ,   Ma th e m atics,  E n g in ee r in g ,   B u s in ess ,   E co n o m ics,  Ps y ch o lo g y ,   Ma r k etin g ) .   T h ey   wer e   p r o v id e d   with   d if f er e n ty p es   o f   o n lin ex e r cises   th r o u g h   th B lack b o ar d   L ea r n i n g   M an ag em en Sy s tem   ( L MS)   o n   wee k ly   b asis ,   s u ch   as  MCQs ,   f ill  in   th b la n k s ,   d is cu s s in g   p ar ticu l a r   to p ic  u s in g   d is cu s s io n   f o r u m ,   cr ea tin g   b lo g   p ag es,  an d   co llab o r atin g   to   m a n ag wik i p ag es.   I n   J u n 2 0 1 9   s em ester ,   two   cl ass es  o f   co m p u ls o r y   E n g lis h   co u r s ( i.e . ,   Fu n d a m en tals   o f   E n g lis h )   wer o p en e d .   T h e r wer e   6 0   s tu d en ts   en r o lled   in   t h is   co u r s e ,   39  o f   th em   wer Dip lo m in   B u s in ess   s tu d en ts   an d   2 1   o f   th em   wer e   Dip lo m in   Acc o u n tin g   s tu d e n ts .   T h ese  6 0   s tu d en ts   wer p r o v i d e d   with   two   s ets  o f   o n lin MCQ  ex er cises   th r o u g h   th B lack b o ar d   L MS  ev er y   wee k   f o r   s ix   wee k s   c o n s ec u tiv ely   f r o m   J u n 2 0 1 9   to   J u ly   2 0 1 9.   T h co u r s s tr u ctu r o f   th is   co m p u ls o r y   E n g lis h   co u r s wa s   ap p r o v ed   b y   Ma lay s ian   Qu a lific atio n s   Ag en cy   ( MQ A) .   T h allo ca tio n   o f   m ar k s   o f   th is   p ar tic u lar   c o u r s is   s h o wn   in   T ab le  1 .   An y   ch an g es  m ad t o   th allo ca tio n   o f   m ar k s   n ee d   to   b ap p r o v ed   b y   MQ A.   As  s u ch ,   th o n lin MCQ  ex er cise s   d o   n o ca r r y   a n y   m ar k s   s o   as n o t to   d is tu r b   th s tated   MQ d o cu m en t.       T ab le  1 .   Fu n d am en tals   o f   E n g lis h s   ass e s s m en t m eth o d s   an d   ty p es   M e t h o d   Ty p e s   W e i g h t a g e   ( %)   C o n t i n u o u s a ss e ssm e n t   A ssi g n me n t   1     10   A ssi g n me n t   2   10   Te st   1     15   Te st   2     15   O r a l   p r e se n t a t i o n     10   S u mm a t i v e   a ss e ssm e n t   F i n a l   e x a mi n a t i o n     40       T h s tated   lear n in g   o u tco m e s   o f   th is   co u r s in clu d e d   th ab ilit ies  to   co n s tr u ct  s en te n ce s   u s in g   co r r ec ten s es,  r ea d   an d   i d en tify   m ain   id ea s   an d   s u p p o r ti n g   d etai ls ,   an d   b ein g   ab le  to   lis ten   an d   r esp o n d   ap p r o p r iately .   Hen ce ,   th p r o v id ed   o n lin MCQ  ex er cises   r an g ed   f r o m   g r am m a r   p r ac tices  an d   r ea d in g   co m p r eh e n s io n   to   lis ten in g   p r ac tices,  as  s h o wn   in   T ab le  2 .   E ac h   o f   th o n lin e   MCQ  ex er cises   wa s   lin k ed   to   p ar ticu la r   lear n i n g   o u tco m o f   th co u r s e.   T o   illu s tr ate  ea ch   o f   th o n lin e   MCQ e x er cises   s tated   in   T ab le  2 ,   s o m ex am p le  item s   ar attac h ed   in   Ap p en d ix   A.   I n   an s wer in g   all  th ese  MCQs ,   s tu d en ts   h av to   ap p ly   g r am m ar   r u les,  r e ad in g   s k ills   an d   lis ten in g   s k ills .   T h is   s tu d y   is   n o t d esig n ed   with   v iew  to   test   d if f e r e n ce   b etwe en   th e o r etica l a n d   p r ac tical  ex er cises .                 Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   557   T ab le  2 .   On lin MCQ e x er cis es p r o v id ed   to   s tu d en ts   W e e k   P r o v i d e d   o n l i n e   M C Q   e x e r c i ses   To t a l   n u m b e r   o f   q u e st i o n s   1   P a r t o f   s p e e c h     30     Li st e n i n g   pr a c t i c e   20   2   S u b j e c t - v e r b   a g r e e me n t     30     P r e sen t   s i mp l e   a n d   p r e se n t   c o n t i n u o u s   t e n ses     30   3   M o d e l   v e r b s :   M u s t ,   n e e d   t o ,   h a v e   t o ,   a n d   s h o u l d     30     P a st   s i m p l e   a n d   p a st   c o n t i n u o u t e n se   30   4   P a st   s i m p l e   a n d   p r e se n t   p e r f e c t   t e n ses     30     M u l t i w o r d   v e r b   30   5   R e a d i n g   c o m p r e h e n si o n     20     G o i n g   t o ,   p r e s e n t   c o n t i n u o u s t e n se  a n d   v e r b s a b o u t   f u t u r e   p l a n s     30   6   R e p o r t e d   s p e e c h     30     C o n d i t i o n a l s     30       B ef o r th s tu d en ts   p u r s u th e   co u r s e,   th ey   wer t o ld   th at  th s co r es  o f   th ese  o n lin MCQ  ex er cises   wo u ld   n o t   co n tr i b u te  to   t h eir   f in al  co u r s ewo r k   m a r k s .   T h m ain   p u r p o s o f   th e   ex er ci s es  was  to   p r o v id e   o p p o r tu n ities   f o r   s tu d e n ts   to   u n d er s tan d   an d   a p p ly   wh at  t h ey   h a d   lear n ed   in   class .   T h er ef o r e,   th e x er cises   wer o n ly   a v ailab le  to   s tu d en ts   o n   B lack b o ar d   L MS  af te r   th to p ics  h ad   b ee n   tau g h in   class .   Stu d en ts   th en   h ad   to   c o m p lete  two   s ets  o f   o n lin MCQ  ex er cises   o u ts id o f   class r o o m   tim e   o n   we ek ly   b asis .   Fo r   ea ch   MC g r am m ar   p r ac tice,   th q u esti o n s   wer ar r a n g ed   in   a n   o r d er   o f   d if f ic u lty   to   h elp   s t u d en ts   to   r e v i s th g r am m ar   r u les  lear n ed   to   ea s p r o g r ess iv lear n in g .   T h is   s tag ed   ap p r o ac h   also   h o p e d   to   b r in g   s tu d en ts   awa y   f r o m   test   tak in g   m en tality .   F o r   lis ten in g   an d   r ea d in g   p r ac tices,  th s et  o f   q u esti o n s   wer ar r an g e d   ac co r d i n g   to   th s eq u en ce   o f   th in f o r m a tio n   p r o v id ed   in   th p o d ca s ts   an d   r ea d i n g   tex ts   to   f ac ilit ate  s tu d en ts   in   ar r iv in g   at  th an s wer s .   Fo r   ea ch   s et  o f   o n lin MCQ   ex er cises ,   ea ch   s tu d en was   allo wed   th r ee   attem p ts   to   co m p lete  th ex er cises .   No   m atter   h o m a n y   tim es  ea ch   s tu d en to o k   to   co m p le te  ea ch   s et  o f   MCQ  e x er cises ,   th s co r r ec o r d e d   was  th s co r o f   th e   f in al  attem p t.  T h ey   wer allo wed   to   r ef er   t o   s lid es  o r   n o tes   p r o v id ed   as  well  as  s ea r ch   f o r   m o r in f o r m atio n   o n lin wh en   t h ey   wer d o in g   th o n lin MCQ  ex er cises .   Ho wev er ,   th c o r r ec t   an s wer s   f o r   all  th q u esti o n s   wer o n ly   r e v ea led   af ter   t h d u d ates  f o r   s u b m is s io n .   As  r esu lt,  s tu d en ts   wer n o t a b le  to   m em o r ize  a n s wer s   o r   co p y   f r o m   ea ch   o th er   with   th v iew  o f   g ettin g   co r r ec t a n s wer s .     2 . 1 .   I ns t rum ent   a nd   m et ho   T o   elicit  d ata,   th is   r esear ch   em p lo y ed   an   e x p lo r ato r y   s eq u en tial  d esig n ,   wh er q u alita tiv d ata   co llectio n   u s ed   f o cu s   g r o u p   in ter v iews,  u p o n   wh ich   th d ata   was  an aly s ed .   T h is   wa s   f o llo w ed   b y   q u an titativ d ata  co llectio n   in   th f o r m   o f   s u r v ey   q u esti o n n air e.   T h er ea f ter ,   th r esp o n s e s   to   th s u r v ey   q u esti o n n air e   wer an aly s ed   an d   au g m en ted   b y   th q u alitativ d ata.   Af ter   s tu d en ts   h ad   co m p leted   1 2   o n lin MCQ  ex er cises   in   s ix   wee k s ,   th f ir s s tag o f   th e   ex p lo r ato r y   s eq u e n tial  d esig n   was  ca r r ied   o u t.  C r eswell  an d   C lar k   [ 3 3 ]   claim   th at  ad o p t in g   an   ex p lo r ato r y   s eq u en tial  d esig n   en ab les  r es ea r ch er s   to   g en e r alize   q u alita tiv r esu lts   co llected   f r o m   th f ir s s tag b e f o r e   ap p ly in g   it  to   b ig g er   s am p l in   th s ec o n d   s tag e.   Hen ce ,   in   o r d er   to   co llect  s u f f icien d ata  th at  is   n eith er   b iased   n o r   m is lead in g ,   b u ca n   b g e n er alize d   later ,   th is   r esear ch   in ter v iewe d   alm o s h alf   o f   th to tal  n u m b e r   o f   p ar ticip an ts   in v o lv ed .   T h ir t y - th r ee   ( 3 3 )   o u o f   6 0   s tu d en t s   wer r an d o m ly   s elec ted   to   p ar ticip ate  in   f o cu s   g r o u p   in ter v iews.   B ef o r em b ar k in g   o n   th is   p r o ject,   th r esear ch er s   o b s er v ed   th at,   in   co m p ar is o n   to   s tu d e n ts   tak in g   o th er   E n g lis h   co u r s es,  s tu d en t s   wh o   to o k   th co u r s e,   Fu n d a m en tals   o f   E n g lis h ,   s ee m ed   to   b m o r m o tiv ated   to   s elf - s tu d y   u s in g   th e x er c is es  p r o v id ed   o n   B lack b o ar d   L MS.   W h ile  s tu d en ts   tak in g   Fu n d am en tals   o f   E n g lis h   co u r s wer p r o v i d ed   with   two   s e ts   o f   o n lin MC ex er cises   th r o u g h   th B lack b o ar d   ( L MS)   o n   wee k ly   b asis ,   s tu d en ts   tak in g   o th er   E n g lis h   co u r s es  wer p r o v id ed   with   r a n g o f   ex er ci s es  in   th f o r m   o f   d is cu s s io n   b o ar d ,   b lo g ,   an d   wik th r o u g h   B lack b o ar d   L MS  o n   a   wee k ly   b asis .   Du e   to   t h is   d if f e r en ce ,   r esear ch er s   wo u l d   lik e   to   f in d   o u t   to   wh at  e x ten a n d   h o w   t h o n lin MCQ  ex e r cises   p r o v id ed   h av e   d r i v en   s tu d en ts   to   b m o tiv ated   o r   h av tak en   th in itiativ to   s elf - s tu d y .   Kr u eg e r   an d   C asey   [ 3 4 ]   pos tu late  th at   f o cu s   g r o u p   i n ter v iews  ca n   h elp   r esear ch er s   to   u n d er s tan d   s u b ject  m atter   th at  is   r elat ed   to   b e h av io u r   o r   m o tiv atio n .   Als o ,   f o cu s   g r o u p   in ter v iews  s h o u ld   b em p l o y ed   wh en   r esear c h er s   ar lo o k in g   f o r   f ee lin g s ,   id ea s ,   p er ce p tio n s   o r   o p in io n s   p eo p l h av e   ab o u a   p ar ticu la r   p r ac tice,   p r o g r am   o r   id ea   [ 3 4 ] .   T h u s ,   in   o r d er   to   ex p lo r h o th o n lin MCQ  ex er cises   m o tiv ated   s tu d en ts   to   ex p er ien ce   s elf - s tu d y ,   th r e s ea r ch er s   b eg an   b y   q u alitativ ely   ex p l o r in g   th is   p h en o m e n o n   i n   d e p th   th r o u g h   f o cu s   g r o u p   in ter v iews.  I n   o th er   wo r d s ,   f o c u s   g r o u p   in ter v iews  en ab le   r esear ch er s   to   co llect  q u alitativ d at wh ich   wh en   g en e r alize d   ca n   also   b e   h elp f u l   f o r   d ev elo p in g   q u esti o n n air th at  ca n   b ap p lied   to   b ig g er   s am p le  in   an o th er   s tag o f   d a ta  co llectio n .   W ith   th is   af f ir m atio n ,   th is   r esear ch   e m p lo y ed   f o cu s   g r o u p   in ter v iews a s   m eth o d   o f   d ata  co llect io n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 5 3   -   5 6 8   558   I n   “De cid in g   o n   th e   n u m b er   o f   g r o u p s ”,   Mo r g an   [ 3 5 ]   m en tio n ed   th at   th ty p ical  n u m b e r   o f   f o c u s   g r o u p s   is   b etwe en   t h r ee   a n d   f iv e.   Mo r e   im p o r tan tly ,   Hen n i n k ,   Kaiser ,   a n d   W eb er   [ 3 6 ]   f o u n d   t h at  f o u r   f o c u s   g r o u p s   ar s u f f icien to   id e n tity   th r a n g e   o f   is s u es  p r esen t.  T h u s ,   in   th is   r esear ch ,   f o u r   f o cu s   g r o u p   in ter v iews  w er co n d u cted .   Sin ce   th g r o u p   s ize  r ec o m m en d ed   b y   Mo r g an   [ 3 7 ]   in   “De ci d in g   o n   g r o u p   s ize”   is   b etwe en   s ix   an d   ten   p ar ti c ip an ts ,   th 3 3   p a r ticip an ts   wer d iv id ed   in t o   f o u r   g r o u p s   ac co r d in g   t o   th e   r ec o m m en d ed   g r o u p   s ize.   T h e   n u m b e r   o f   p ar ticip an ts   in   ea c h   o f   th ese  f o cu s   g r o u p   in ter v ie ws  wer eig h t,  ten ,   s ix   an d   n in r esp ec tiv ely .   T h g r o u p   s ize  was n o t c o n tr o lled   as th s tu d e n ts   ch o o s th tim f o r   th in ter v iews  b ased   o n   s ch e d u le  g i v en .   E ac h   f o cu s   g r o u p   i n ter v iew  u s ed   s em i - s tr u ctu r ed   q u esti o n in g   ap p r o ac h .   B ef o r e   ea ch   f o cu s   g r o u p   in ter v iew,   p ar ticip an ts   wer p r o v id e d   b r ief   e x p lan atio n   ab o u th r esear ch .   Mo d er at o r s   em p h a s ized   th at   th er wer n o   r ig h o r   w r o n g   an s wer s   to   th q u esti o n s   a s k ed ,   all  o p in i o n s ,   p er s p ec tiv es,  an d   id ea s   wer e   ap p r ec iated .   Als o ,   m o d e r ato r s   r ea s s u r ed   th at  all  i n f o r m atio n   was  k ep co n f id en tial.  All  th f o u r   f o c u s   g r o u p   in ter v iews  u s ed   th s am in ter v i ew  g u id ( Ap p e n d ix   B ) ,   wh ich   was  cr ea ted   f o llo win g   th g u id elin es  p r o p o s ed   b y   Kr u e g er   an d   C as ey   [ 3 4 ]   i n   F o cu s   Gro u p s :   A   P r a ctica Gu id fo r   A p p lied   R esea r ch   as  well  a s   R u b in   an d   R u b in   [ 3 8 ]   in   Qu a l ita tive  I n terview in g :   Th A r t o f H ea r in g   Da ta   Du r in g   th e   f o c u s   g r o u p   in te r v iews,  p ar ticip an ts   wer as k ed   to   c o m m en t   o n   a n d   d is cu s s   th eir   ex p er ien ce s   as  th e y   p r ac ticed   wh at  th ey   h ad   lear n ed   in   th class r o o m   b y   co m p letin g   o n li n MCQ  ex er cises   with   m u ltip le  attem p ts   o u ts id o f   class r o o m   tim e   u s in g   B lack b o ar d   L MS.   Par t icip a n ts   wer en co u r ag e d   to   p r o v id ex a m p les  to   s u p p o r o r   v alid ate  th eir   s tatem en ts .   As  m en tio n ed   b y   Kr u eg er   an d   C asey   [ 3 4 ] ,   f o cu s   g r o u p   in ter v iew  th at  h as  f o cu s ed   d is cu s s io n   p lace s   th atten tio n   o n   u n d er s tan d i n g   th p ar ticip an ts   th o u g h ts ,   co m m en ts   an d   f ee lin g s ,   an d   th m o d e r a t o r   d o es  n o p r ess u r th g r o u p   to   co m to   an   ag r ee m en t.   T h u s ,   in   all  f o u r   f o c u s   g r o u p   in ter v iews,  p ar ticip an ts   wer en co u r a g ed   to   s h ar th eir   ex p er ien ce s   with   ea ch   o th er .   Fo r   ex am p le,   p ar ticip a n ts   wh o   h ad   t o tally   d if f e r en e x p er ien ce s   wer en c o u r a g ed   to   v o ice  th eir   v iews.  At  th en d   o f   ea c h   f o cu s   g r o u p   in ter v iew,   r esear ch er s   s u m m ar ized   th s tatem en ts   m ad e   b y   p a r ticip an ts   an d   allo wed   p ar ticip an ts   to   r ev is th s u m m ar ies  f o r   ac cu r ac y .   T h ey   ca n   also   clar if y   t h eir   s tatem en ts   o r   p r o v id e   ad d itio n al  r elev an in f o r m atio n .   E x clu d in g   th am o u n o f   tim tak en   to   ex p lain   th p r o ce d u r an d   co llect   d em o g r a p h ic  in f o r m atio n ,   ea c h   f o cu s   g r o u p   in ter v iew  to o k   a b o u t a n   h o u r .   Af ter   an aly s in g   th q u alitativ d ata,   r esear ch er s   d e v elo p   a   q u esti o n n air b ased   o n   th q u alitativ r esu l ts .   T h en ,   an   o n lin s u r v ey   was  ad m in is tr ated   to   f u r t h er   v alid ate  th f in d in g s   o f   t h in ter v iews.  T h e   s u r v ey   was  c o n d u cted   p r in ci p ally   to   d eter m in e   s tu d en ts   SDL  r ea d in ess   in   r elatio n   t o   th e x p er ien ce   o f   co m p letin g   th o n lin e   MCQ  ex er cises   p r o v i d ed .   Fo r   e x am p le,   s o m e   o f   th q u esti o n s   as k ed   wer e   “I   u s u ally   tak th f ir s attem p o f   th MCQ  ex er cise s   as   s elf - ev al u atio n   o f   m y   cu r r en u n d er s tan d in g   o f   th to p ics   co v er ed   in   th MCQ  ex er cise s ”,   “I   co m p lete  th MCQ  ex er cises   b ec au s I   W ANT   to ,   n o b ec au s I   HAV E   to ”,   an d   “I   s ee   th s co r es  I   g et  f r o m   th MCQ  ex er cises   a s   m y   lear n in g   p r o g r ess .   Stu d en ts   co m p leted   th o n lin q u esti o n n air e   with   r e s p o n s es  o n   f i v e - p o in L ik e r s ca le  r an g in g   f r o m   s tr o n g ly   d is ag r ee   “1   to   s tr o n g ly   ag r ee   “5 ”  in   J u ly   2 0 1 9 .   T ab le  3   s u m m a r is es th d es ig n   o f   t h s tu d y .         T ab le  3 .   R esear ch   d esig n   R e se a r c h   q u e st i o n   I n st r u me n t   D a t a   a n a l y s i s   To   w h a t   e x t e n t   d o   o n l i n e   M C Q s w i t h   mu l t i p l e   a t t e m p t s   p r o mo t e   se l f - d i r e c t e d   l e a r n i n g   ( S D L)   a m o n g   st u d e n t s ?   O n l i n e   s u r v e y   q u e s t i o n n a i r e   P a r t   1 :   D e mo g r a p h i c   i n f o r m a t i o n   P a r t   2 :   S D L   r e a d i n e ss  ( A d a p t e d   f r o [ 3 9 ] ,   [ 4 0 ] )   P e r c e n t a g e,  m e a n s,   st a n d a r d   d e v i a t i o n ,   t - t e st   F o c u g r o u p   i n t e r v i e w   Th e m a t i c   a n a l y s i s       2 . 1 . 1 .   Relia bil it y   o f   t he  s urv e y   qu estio nn a ire   T o   en s u r in ter n al  c o n s is ten cy   o f   th s u r v e y   q u esti o n n air e   item s ,   C r o n b ac h   Alp h was  ca lcu lated .   An   in d ex   o f   0 . 9 7   was  o b tain e d .   Acc o r d in g   to   Fra e n k el,   W al len ,   an d   Hy u n   [ 4 1 ] ,   a   C r o n b ac h   Alp h a   r ea d in g   o f   an   in s tr u m en h as  to   b h ig h e r   th an   0 . 7 0   to   b co n s id er ed   as  r eliab le.   Sin ce   th C r o n b ac h   Alp h r ea d in g   is   0 . 9 7 ,   it su g g ests   th at  th s u r v e y   q u esti o n n ai r is   h ig h ly   r eliab le.       2 . 1 . 2 .   SDL   re a din es s   cut - o f f   po ints    T h is   s tu d y   em p lo y ed   f iv e - p o in L ik e r Scale  in   th s u r v ey .   I n   o r d e r   to   r e p o r t h r esu lts   m ea n in g f u lly ,   cu t   o f f   p o i n ts   f o r   SDL  wer d eter m in ed .   s i m p le  g u id elin o f   u s in g   m id - p o in r esp o n s was  u s ed   r esu ltin g   in   s ettin g   th b en ch m a r k s   at   th m id   s co r o f   3 . 0 0 .   As  s h o wn   in   Fig u r 1 ,   item s   with   m ea n s   ab o v 3 . 0 0   will  b co n s id er e d   as  h av in g   h ig h   SDL  r ea d in ess ,   wh er ea s   item s   with   m ea n s   b elo 3 . 0 0   will  b e   co n s id er ed   as  h a v in g   lo SD L   r ea d in ess .   T h b i n ar y   d iv is io n   allo ws  f o r   a   r an g e   o f   s co r e s   f r o m   1 . 0 0   to   2 . 9 9   as in d icato r s   o f   lo SDL  r ea d i n ess ,   wh ile  3 . 0 0   an d   ab o v wi ll in d icate   r an g e   o f   h ig h   SD L   r ea d in ess .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   559           H i g h   S D r e a d i n e ss   1 . 0 0   2 . 0 0   3 . 0 0   4 . 0 0   5 . 0 0   Lo w   S D L   r e a d i n e ss             Fig u r 1 .   C u t - o f f   p o in t u s ed   to   d eter m in SDL  r ea d i n e ss        3.   RE SU L T S AN D I SCU SS I O N   R esu lts   f r o m   th o n lin s u r v e y   ar e   tab u lated   in   T a b le  4 .   Fro m   T ab le  4 ,   it   is   ev id en t   th at  th m ea n s   o f   all  2 0   item s   ar a b o v e   th cu t - o f f   p o in o f   3 . 0 0   ex ce p I tem s   1 0   an d   1 2 .   T h is   is   also   r ef le cted   in   th o v er all   m ea n   o f   th e   i tem s   wh ich   is   3 . 3 8 .   T h is   s u g g ests   th at  t h o n li n MCQ  q u esti o n s   in   g e n er al   wer e n co u r a g in g   s tu d en ts   to   b s elf - d ir ec ted   lear n er s .   Stan d ar d   d ev iatio n s   wer n ar r o wh ic h   r ev ea le d   s tab ilit y   in   r esp o n s es.        T ab le  4 .   Descr ip tiv an al y s is   o f   s u r v e y   item s   ( N= 6 0 )   I t e m   S t r o n g l y   d i s a g r e e   D i sag r e e   N o t   su r e   A g r e e   S t r o n g l y   a g r e e   M e a n   S t a n d a r d   d e v i a t i o n   I   a l w a y d o   a n   i n t e r n e t   se a r c h   t o   f i n d   o u t   t h e   mea n i n g s   o f   t h e   w o r d s   t h a t   I   d o   n o t   u n d e r st a n d   w h e n   I   a d o i n g   t h e   M C Q   e x e r c i ses   o n   B l a c k b o a r d .   1 4 . 5 5 %   1 5 . 4 5 %   3 . 6 4 %   4 5 . 4 5%   2 0 . 9 1 %   3 . 4 3   1 . 3 5   W h e n   I   d o   n o t   k n o w   w h a t   t h e   a n sw e r   o f   a   M C Q   i s,   I   u su a l l y   d o   a n   i n t e r n e t   se a r c h / r e a d   g r a mm a r   n o t e s   b e f o r e   a n sw e r i n g   t h e   q u e s t i o n .   6 . 3 6 %   1 7 . 2 7 %   1 8 . 1 8 %   3 7 . 2 7   2 0 . 9 1 %   3 . 4 9   1 . 1 8   Th e   mai n   r e a so n   I   d o   t h e   M C Q   e x e r c i ses  i b e c a u s e   I   w a n t   t o .   I t   i n o t   b e c a u s e   I   w a n t   t o   a v o i d   f e e l i n g   g u i l t y   o r   b e i n g   p u n i s h e d .     3 . 6 4 %   1 2 . 7 3 %   3 8 . 1 8 %   3 2 . 7 3 %   1 2 . 7 3 %   3 . 3 8   0 . 9 8   I   h a v e   d o n e   m o st   o f   t h e   M C Q   e x e r c i ses   o n   B l a c k b o a r d   m o r e   t h a n   o n c e .   1 0 . 9 1 %   1 6 . 3 6 %   1 0 . 9 1 %   3 3 . 6 4 %   2 8 . 1 8 %   3 . 5 2   1 . 3 4   I   u su a l l y   t a k e   t h e   f i r st   a t t e mp t   o f   t h e   M C Q   e x e r c i ses   a a   s e l f - e v a l u a t i o n   o f   m y   c u r r e n t   u n d e r st a n d i n g   o f   t h e   t o p i c s c o v e r e d   i n   t h e   M C Q   e x e r c i ses.     1 0 . 9 1 %   1 6 . 3 6 %   1 2 . 7 3 %   3 8 . 1 8 %   2 1 . 8 2 %   3 . 4 4   1 . 2 9   I   u su a l l y   se t   a   t a r g e t   b e f o r e   st a r t i n g   t o   d o   t h e   M C Q   e x e r c i s e s.    1 4 . 5 5 %   1 6 . 3 6 %   2 3 . 6 4 %   2 7 . 2 7%   1 8 . 1 8 %   3 . 1 8   1 . 3 1   W h e n   m y   m a r k s   a r e   l o w e r   t h a n   I   e x p e c t e d ,   I   o f t e n   r e a d   g r a m mar  n o t e s / sl i d e b e f o r e / w h e n   I   d o   t h e   M C Q   e x e r c i ses  o n   B l a c k b o a r d   a g a i n .   1 4 . 5 5 %   1 2 . 7 3 %   5 . 4 5 %   4 0 %   2 7 . 2 7 %   3 . 5 3   1 . 3 9   W h e n   m y   mar k s a r e   l o w e r   t h a n   I   e x p e c t e d ,   I   u s u a l l y   d o   a n   i n t e r n e t   s e a r c h   t o   g e t   a   b e t t e r   u n d e r st a n d i n g   o f   t h e   t o p i c s   c o v e r e d   i n   t h e   M C Q   e x e r c i s e o n   B l a c k b o a r d .   5 . 4 5 %   1 6 . 3 6 %   1 9 . 0 9 %   3 5 . 4 5 %   2 3 . 6 4 %   3 . 5 5   1 . 1 7   I   a l w a y t r y   m y   b e st   t o   g e t   h i g h e r   mark i n   t h e   sec o n d   a n d / o r   t h i r d   a t t e mp t .   1 8 . 1 8 %   3 . 6 4 %   7 . 2 7 %   3 7 . 2 7 %   3 3 . 6 4 %   3. 65   1 . 4 4   W h e n   m y   a n sw e r   i w r o n g ,   I   d o n t   w a n t   a n   e x p l a n a t i o n / f e e d b a c k   t o   b e   p r o v i d e d   b y   l e c t u r e r s   o r   t h e   B l a c k b o a r d   L M S .     3 2 . 7 3 %   2 4 . 5 5 %   1 5 . 4 5 %   1 2 . 7 2 %   1 4 . 5 5 %   2 . 5 2   1 . 4 2   I   e n j o y   f i n d i n g   o u t   a n sw e r s   a n d   e x p l a n a t i o n s   f o r   t h e   M C Q   t h a t   I   h a v e   a n sw e r e d   w r o n g l y .     9 . 0 9 %   1 2 . 7 3 %   2 1 . 8 2 %   3 6 . 3 6 %   2 0 %   3 . 4 5   1 . 2 0   I   d o n t   a l w a y s   d e p e n d   o n   l e c t u r e r s   t o   e x p l a i n   t h i n g s   t h a t   I   d o   n o t   u n d e r st a n d .     1 2 . 7 3 %   3 0 . 9 1 %   3 2 . 7 3 %   1 1 . 8 2 %   1 1 . 8 2 %   2 . 7 9   1 . 1 7   I   f r e q u e n t l y   d o   e x t r a   r e a d i n g   b e c a u se   I   a m i n t e r e s t e d   t o   f i n d   o u t   t h e   c o r r e c t   a n sw e r s.   9 . 0 9 %   1 4 . 5 5 %   2 9 . 0 9 %   3 6 . 3 6 %   1 0 . 9 1 %   3 . 2 5   1 . 1 2   I   a l w a y d o   e x t r a   r e a d i n g   t o   e n h a n c e   my   u n d e r s t a n d i n g   o n   t h e   t o p i c c o v e r e d   i n   t h e   M C Q   e x e r c i s e s.    5 . 4 5 %   2 1 . 8 2 %   2 6 . 3 6 %   3 7 . 2 7 %   9 . 0 9 %   3 . 2 3   1 . 0 6   a l w a y s   m o t i v a t e   m y se l f   t o   d o   b e t t e r   i n   t h e   sec o n d   o r   t h i r d   a t t e m p t .   1 8 . 1 8 %   5 . 4 5 %   1 1 . 8 2 %   4 3 . 6 4 %   2 0 . 9 1 %   3 . 4 4   1 . 3 6   I   v i e w   t h e   p r o b l e ms  I   f a c e   w h e n   d o i n g   t h e   M C Q   e x e r c i s e a p e r s o n a l   c h a l l e n g e s   t h a t   I   c a n   o v e r c o me.     1 0 . 9 1 %   9 . 0 9 %   2 0 %   4 6 . 3 6 %   1 3 . 6 4 %   3 . 4 3   1 . 1 6   I   c o mp l e t e   t h e   M C Q   e x e r c i ses  b e c a u se  I   W A N t o ,   n o t   b e c a u se  I   H A V E   t o .     9 . 0 9 %   9 . 0 9 %   1 8 . 1 8 %   3 9 . 0 9 %   2 4 . 5 5 %   3 . 6 1   1 . 2 0   I   w a n t   t o   r e c e i v e   n o t i f i c a t i o n w h e n   M C Q   e x e r c i s e s   a r e   p r o v i d e d .   I   d o   n o t   w a n t   t o   m i ss  t h e   M C Q   e x e r c i s e p r o v i d e d .     1 2 . 7 3 %   9 . 0 9 %   5 . 4 5 %   3 4 . 5 5 %   3 8 . 1 8 %   3 . 7 6   1 . 3 7   I   see   t h e   sc o r e I   g e t   f r o m t h e   M C Q   e x e r c i ses  a m y   l e a r n i n g   p r o g r e ss.     1 0 . 9 1 %   1 0 . 9 1 %   5 . 4 5 %   4 4 . 5 5 %   2 8 . 1 8 %   3 . 6 8   1 . 2 8   I   see   t h e   c o n n e c t i o n s   b e t w e e n   t h e   M C Q   e x e r c i ses   I   d o   a n d   m y   f u t u r e   s t u d i e o r   o c c u p a t i o n s.    9 . 0 9 %   1 9 . 0 9 %   2 6 . 3 6 %   3 3 . 6 4 %   1 1 . 8 2 %   3 . 2 0   1 . 1 5   O v e r a l l   mea n   3 . 3 8       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 5 3   -   5 6 8   560   T h 2 0   item s   u s ed   in   th is   s tu d y   ca n   b ca teg o r is ed   in to   two   d o m ain s L ea r n er s   C h ar ac ter i s tics   ( L C )   an d   T ea ch in g   an d   L ea r n in g   ( T L )   f ea tu r es.  Similar   ca teg o r is a tio n   was  also   f o u n d   i n   Sto ck d ale’ s   [ 3 9 ]   r esear ch .   Acc o r d in g   to   B r o ck ett  an d   Hiem s tr [ 2 5 ] ,   b o t h   L C   an d   T L   ar im p o r tan co n s tr u cts  to   d em o n s tr ate  s elf - d ir ec tio n .   T h item s   f o r   L C   s u g g est  lear n er s   b elie f s ,   ch ar a cter is tics   an d   attitu d es  in   r elatio n   to   tak in g   o wn   r esp o n s ib ilit y   to war d s   th lea r n in g   p r o ce s s .   T L   item s   d em o n s tr ate  lear n er s   ag r ee m en with   th p r o ce s s   o f   o r g an izin g ,   ex ec u tin g   an d   e v a lu atin g   th lear n in g   p r o ce s s   [ 3 9 ] .   T h item s   u n d er   L C   ar I tem   3 ,   1 7 ,   1 9   an d   2 0 ,   wh er ea s   th r em ain in g   ite m s   ar u n d er   T L .   T h m ea n s   f o r   b o th   d o m ain s   wer ca lcu lated   an d   t - test   was   d o n to   f in d   t h s ig n if ican t d i f f er en ce   b etwe en   th two   d o m a in s .   T ab le  5   s h o ws  th at  th m ea n   o f   L C   is   3 . 4 6 8 2   wh er ea s   th e   m ea n   o f   T L   is   s lig h tly   lo wer   wh ich   is   3 . 3 5 3 4 .   T o   f in d   th s ig n if ic an d if f e r en ce   b etwe en   th e   t wo   d o m ai n s ,   two - s am p le  t - test   with   u n eq u al  v ar ian ce s   ( α =0 . 0 5 )   was  co n d u cted .   T h t - test   in d icate s   th at  t h er is   n o   s ig n if ican d if f e r en ce   b etwe en   th two   co m p o n en ts   ( t( 6 ) =0 . 8 5 0 4 ,   p = 0 . 4 2 7 7 ) .   T h is   s h o ws  th at  o n d o m ain   is   n o m o r d o m in a n th an   th o th er   in   ter m s   o f   its   r elatio n s h ip   with   s elf - d ir ec ted   lear n in g .       T ab le  5 .   T - test   r esu lts     LC   TL   M e a n     3 . 4 6 8 2   3 . 3 5 3 4   V a r i a n c e     0 . 0 4 8 3   0 . 0 9 8 3   P   0 . 4 2 7 7         Fro m   th r esu lts   o f   th e   cu r r e n s tu d y ,   we  c o u ld   s u r m is th a th u s o f   o n lin MCQ  ex er cises   with   m u ltip le  attem p ts   ar ab le  to :   1 )   Mo tiv ate  s tu d e n ts   to   tak r esp o n s ib ilit y   o f   th ei r   lear n in g   p r o ce s s ;   2 )   Dr i v e   s tu d en ts   to   b r id g th e   g ap   b et wee n   th eir   p e r ce iv ed   ch allen g es  an d   th eir   o wn   a b ilit ies ;   3 )   Pro m p s tu d en ts   to   m o n ito r   th eir   lear n in g   p r o g r ess   an d   g en er ate  s u itab le  lear n in g   s tr ateg ies ;   an d   4 )   E n co u r ag s tu d e n ts   to   b ec o m ac tiv e   lear n e r s .   T h e   c o n clu s io n s   en a b le  th e   r esear c h er s   to   m ak s ev e r al  c laim s   t h at  MCQs   ca n   h elp   to   d ev elo p   s elf - d ir ec ted   lear n in g   in   m ea n in g f u an d   co n s tr u ctiv m an n er   f ar   b ey o n d   th co n f in es  o f   th e   m er attain m en t o f   k n o wled g e   as a   co g n itiv p r o ce s s .     3 . 1 .   O nli ne  M CQ   ex er cises   wit h   m ultiple  a t t em pts  m o t iv a t e   s t ud ent s   t o   t a k e   re s po ns ibi lity   o f   t hei r   lea rning   pro ce s s   I tem s   th at  h av e   h ig h   SDL  m e an   s co r es  in clu d I tem s   1 ,   2 ,   4 ,   5 ,   7 ,   8 ,   9 ,   1 1 ,   1 5 ,   1 6 ,   1 7 ,   1 8   an d   1 9 .   T h m ea n   s co r es  o f   th ese  item s   r ef lecte d   th at  wh en   s tu d en ts   wer d o in g   th o n lin MC ex er cises ,   m o s o f   th em   wer p r a cticin g   to   b s e lf - d ir ec ted   lea r n er s .   Fo r   ex am p le,   I tem   1 8 ,   wh ich   h ad   th h ig h est  m ea n   s co r e   ( M= 3 . 7 6 ) ,   r ev ea le d   th at  m o s t   o f   th s tu d en ts   d id   n o wan t   to   m is s   o u o n   th p r ac tice  o f   d o in g   t h o n lin MCQ  ex er cises .   T h is   wa s   f u r th er   s u p p o r ted   in   th in ter v ie wh en   n u m b er   o f   p ar ticip an ts   ex p r ess ed   th eir   co n ce r n   ab o u m is s in g   o u t   th g iv e n   o n lin e   MCQ  ex er c is es.  I n   th e   f o c u s   g r o u p   in t er v iew,   o n o f   t h e   p ar ticip an ts   s aid :     “I  d o n g et   n o tifi ca t io n s   o n   my  p h o n e.   R eg u la r ly  I   h a ve   to   c h ec it  if  th e   lectu r er  h a s   s ta r t ed   th q u iz   o r   n o t.”      An o th er   s tu d en co m m e n ted   i n   th f o c u s   g r o u p   in te r v iew :     “T h time  o th M C Qs  ca n   e xten d   o r   n o t?   I   s o metime s   d o   a s s ig n men u n til  I   fo r g et  th ti me  a lr ea d y,   I   mi s s   th q u esti o n s . ”      As  s ta ted ,   s tu d en ts   wer awa r th at  th s co r es   o f   th o n lin MCQ  ex er cises   wer n o tak en   in to   ac co u n i n   th e   f in al   co u r s ewo r k   m a r k s .   W ith   th is   p r em is e,   we  co u ld   in f er   th at  s tu d e n ts   wer n o t   lik ely   to   b e   wo r r ied   ab o u lo s in g   m ar k s   if   t h ey   h ad   o v e r lo o k e d   th o n lin MCQ  ex er cises .   T h f in d in g   clea r ly   s h o ws  th at  m o s o f   th s tu d en ts   wer en t h u s iast ic  ab o u p u ttin g   wh at  th ey   h ad   lear n e d   in   class   in to   f ir m   p r ac tice.   T h is   is   f u r th er   r ei n f o r ce d   b y   th m ea n   s co r es o f   I tem s   9   ( M= 3 . 6 5 )   a n d   I tem   1 7   ( M= 3 . 6 1 ) .   R esu lts   f o r   I tem   9   r ev ea le d   th at  th o n lin e   MCQ  ex er cis es  with   m u ltip le  attem p ts   h ad   m o tiv ated   s tu d e n ts   to   b h ig h   ac h iev er s   b y   g ettin g   h ig h er   s co r es  th r o u g h   th eir   s ec o n d   a n d /o r   th ir d   attem p ts .   T h is   r esu lt  co r r esp o n d s   with   Ab r eu ,   Sil v a,   an d   Go m es’s  [ 3 0 ]   f in d in g   th at  MCQs   ca n   b a   m o t iv atio n al  f ac to r   f o r   s tu d en ts .   Ab r eu ,   Sil v a,   an d   Go m es  [ 3 0 ]   r ep o r ted   th at  th eir   s tu d e n ts   d elin ea ted   MCQs   h a d   en ab led   th em   to   in c r ea s th eir   o w n   s atis f ac tio n   lev els   r eg ar d in g   th eir   o w n   lear n i n g ,   wh ich   in   tu r n   en a b led   th e m   to   g et  h ig h er   s co r es.  Ab r eu ,   Sil v a,   an d   Go m es  [ 3 0 ]   th en   co n clu d ed   th at  MCQs   co u ld   in cr ea s s tu d en ts   p e r f o r m an ce   an d   m o tiv atio n   lev els.   L ik ewise,   I tem   1 7   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J E v al  &   R es E d u c     I SS N:  2252 - 8 8 2 2       Usi n g   o n lin mu lti p le  ch o ice  q u esti o n s   w ith   mu ltip le  a ttemp ts :   A   ca s fo r   s elf - d ir ec ted   …  ( N g   Wen   Lee )   561   s h o ws  th at  m o s s tu d en ts   co m p leted   th o n lin MCQ  ex er ci s es  n o b ec au s th ese  ex er cises   wer d esig n ated   as  h o m ewo r k ,   b u b ec au s th ey   wan ted   to   lear n ,   an d   th ey   v iewe d   th ex e r cises   as  o p p o r tu n ities   to   p r ac tic e   wh at  th ey   h ad   lear n e d .   I n   o t h er   wo r d s ,   I tem   1 7   s ig n if ies  th at  th e   o n lin M C ex e r c is es  with   m u ltip le  attem p ts   wer ab le  to   in f lu e n c s tu d en ts   to   willin g ly   tak ch ar g o f   th eir   lear n i n g   p r o ce s s .     3 . 2 .   O nli ne  M CQ   ex er cise s   wit m ultiple  a t t em pts  driv s t ud ent s   t o   bridg e   t he  g a bet wee t heir   perc eiv ed  cha lleng es a nd   t he ir  o wn a bil it ies   Mo r eo v er ,   I tem   1 9   also   h as  m ea n   s co r ( M= 3 . 6 8 )   in d icatin g   h ig h   SDL  r ea d in ess .   T h is   i tem   co u ld   m ea n   th at  m a n y   s tu d en ts   v ie wed   th s co r es  th e y   g o f r o m   th o n lin MCQ  ex er cises   as  r ef lecti o n s   o f   th eir   o wn   lear n in g   p r o g r ess .   T h is   r esu lt  r ef lecte d   th at  s tu d en ts   wer ev alu atin g   th eir   o wn   p e r f o r m a n ce   u s in g   th o n lin MCQ  ex er cises .   Su r p r is in g ly ,   I tem   5 ,   with   m ea n   s co r o f   3 . 4 4 ,   s h o ws  th at  s t u d en ts   h ad   alr ea d y   s tar ted   to   ev alu ate  th eir   p er f o r m an ce   as  th ey   en g ag ed   with   t h eir   f ir s attem p f o r   ea ch   s et  o f   th o n lin MCQ  ex er cises .   T h is   in d icate s   th at   m an y   o f   th ese  s tu d en ts   to o k   th f ir s attem p t   o f   th e   MCQ  ex er cises   as  s elf - ev alu atio n   o f   th eir   cu r r en u n d er s tan d in g   o f   th to p ics  co v er ed   in   th ex er cises .   I co u ld   also   b s aid   th at   s tu d en ts   wh o   o b tain ed   lo s co r es  wer m o tiv ated   to   im p r o v r ath er   th an   b e   af f ec ted   b y   a   n eg ativ e   s elf - ev alu atio n   o f   t h eir   a b ilit ies.  I tem   1 5   ( M= 3 . 4 4 )   r ev ea ls   t h at  wh en   s tu d en ts   d id   n o d o   well   in   th e   f ir s attem p t,   th e y   wo u ld   tr y   t o   d o   b etter   i n   th e   s ec o n d   an d   th ir d   attem p ts .   Stu d en ts   ev e n   c o m m en te d   d u r in g   th e   f o c u s   g r o u p   in ter v iews  th at  th th r ee   attem p ts   g iv en   wer n o en o u g h .   On o f   th s tu d en ts   co m m en ted :   “T h B la ck b o a r d   ex ercis es  ca n   o n l d o   th r ee   times,  n o t   en o u g h . ”  An o th er   s tu d en s u g g ested “S erio u s ly r ea lly   n o t e n o u g h .   F ive  t imes la .   An o th er   s tu d e n t e v en   s u g g ested “Un limited   is   b etter.”   As  s tu d en ts   r ep ea ted   th e   s am o n lin e   MCQ  ex er cises ,   s tu d e n ts   lear n ed   f r o m   th ei r   o w n   m i s tak es  an d   f elt  m o r co n f id en wh e n   th ey   g o h ig h e r   s co r es.  Nico [ 9 ]   e x p lain s   th at  as  s tu d en ts   ar g iv en   o p p o r tu n ities   to   d o   MC Qs  r ep ea ted ly ,   t h s tu d en ts   ar g iv en   c h an ce s   t o   clo s th g ap   b etwe en   c u r r en a n d   d esire d   p er f o r m an ce .   I n   o t h er   w o r d s ,   o n lin MCQs   with   m u ltip le  at tem p ts   allo s tu d en ts   t o   b r id g th e   g ap   b etwe en   th eir   p er ce i v ed   c h allen g es  a n d   th eir   p er ce iv e d   a b ilit ies.  I n d ir ec tly ,   th is   s itu atio n   also   d r i v es  s tu d en ts   to   ta k in itiativ es  in   th eir   lear n in g   p r o ce s s .   I tem   1 6 ,   with   m ea n   s co r o f   3 . 4 3 ,   d is clo s es  th at  s tu d en ts   v iewe d   th o n lin MCQ  ex er cises   a s   a   p er s o n al  ch allen g th at  th ey   co u ld   tak o n .   As  s tu d en ts   wer g iv en   m u ltip le   attem p ts   to   an s wer   th s am e   o n lin MCQ  ex er cise s ,   th ey   r ea lized   th at  g ettin g   h ig h er   s co r es  was   in   th eir   h an d s .   T h ey   o n ly   n ee d e d   to   lear n   f r o m   th eir   o w n   m is tak es a n d   p r ac tice  f ew   tim es m o r to   g et  h ig h er   s co r es.   W h eth er   th ey   wan ted   to   d o   t h o n l in MCQ  ex e r cises   m o r th an   o n ce   t o   g et  a   b etter   u n d er s tan d in g   o f   t h to p ics  co v er ed   a n d   o b tain   h i g h er   s co r es  s o lely   d e p en d e d   o n   wh eth er   th ey   wer willin g   to   s p en d   tim an d   ef f o r in to   d o in g   th s ec o n d   a n d   th ir d   attem p ts .   Fro m   th r e s u lts ,   it  co u ld   b s u r m is ed   th a s tu d en ts   wer ab le  to   g au g e   wh at  th ey   h ad   to   lear n   u s in g   th eir   o wn   in itiativ es.     3 . 3 .   O nli ne  M CQ   ex er cises   wit m ultiple  a t t e m pts  pro m pt   s t ud ent s   t o   m o nit o t heir  le a r nin g   pro g re s s   a nd   g ener a t s uita ble le a rning   s t ra t eg ies    Fu r th er m o r e ,   I tem   8 ,   wh ic h   y i eld ed   m ea n   s co r o f   3 . 5 5 ,   r e f lects  th at  wh en   s tu d en ts   o b tain ed   lo wer   s co r es  th an   th ey   ex p ec ted ,   th ey   u s u ally   d id   a n   in ter n et  s e ar ch   to   g et  b etter   u n d e r s tan d in g   o f   th to p ics  co v er ed   in   th e   o n lin e   MCQ  e x er cises .   Similar ly ,   I tem   7   ( M =3 . 5 3 )   in d icate s   th at  wh e n   th s tu d en ts   o b tain ed   s co r es  th at  wer l o wer   th a n   w h at  th ey   ex p ec te d ,   th e y   o f ten   r ea d   n o tes  o r   s lid es  b ef o r o r   wh en   th e y   d i d   th e   o n lin MCQ  ex er cises   ag ain .   Du r in g   th e   f o c u s   g r o u p   i n ter v iew,   n u m b e r   o f   p a r ticip an ts   s h ar ed   s im ilar   ex p er ien ce   m e n tio n e d   b y   t h is   p ar ticip an t:     Wh en   I   s ee   th ma r ks,  if  i is   t o o   lo w ,   . . .   I   w ill  tr a g a in .   B u b efo r I   tr y,   I   w il d o   r ev is io n ,   s ee   fir s t.  A n d   w h en ev er  I   d o   B la ck b o a r d   ex ercis es,  I   w ill  p u t   my  n o tes b esid it.  Wh e n   I   d o n kn o w ,   I   w ill ch ec k.       T h ese  r em a r k s   s h o w   th at  o n li n MCQ  ex er cises ,   wh ich   allo s tu d en ts   to   s ee   th eir   s co r e s   in s tan tly   af ter   th ey   h av e   co m p leted   ea ch   ex er cise,  m o tiv ate  th em   t o   r ep ea t h ex e r cises   in   o r d er   to   o b tain   h ig h er   s co r es.  Mo r i m p o r ta n tly ,   t h au to - g r a d ed   an d   in s tan r esu lt   f ea tu r es  o f   o n lin MCQ  ex er c is es   also   cr ea ted   lear n in g   en v ir o n m en th at  lea d s   s tu d en ts   to   cr itically   r ef lect  o n   th eir   o wn   lear n in g .   Gar r is o n   [ 2 6 ]   em p h asizes   th im p o r tan ce   o f   co g n itiv a n d   m etac o g n itiv p r o ce s s es  in   SDL.   Gar r is o n   [ 2 6 ]   e x p lain s   b o th   co g n itiv an d   m etac o g n itiv p r o ce s s es  ar e   m an if ested   as  s e lf - m o n ito r i n g   r esp o n s ib ilit y .   Self - m o n it o r in g   r esp o n s ib ilit y   in d icate s   th n ee d   t o   co n s tr u ct   m ea n in g   th r o u g h   cr itical  r ef le ctio n   [ 2 6 ] .   A s   s tu d en ts   tak e   u p   th e   r esp o n s ib ilit y   o f   m o n ito r in g   th eir   o wn   lear n in g   p r o ce s s es,  th ey   ar ab le   to   r ef lect  cr itically   o n   th ese  p r o ce s s es,  ev alu ate   th eir   r esu lts   an d   g en er ate  n e ap p r o ac h es  to   ac h iev tar g eted   r esu lts   [ 2 6 ] T h o p p o r tu n ity   o f   ca r r y in g   o u t   in ter n et  s ea r ch es  to   g et  b et ter   u n d er s tan d in g   o f   th to p ics  co v er ed   in   th e   o n lin MC ex er cises   o r   r ea d   n o tes  o r   s lid es  to   g et  h ig h er   s co r es  in   th eir   n ex t   attem p ts   a th e x er cises   also   in d icat e d   th at  s tu d en ts   wer e   ac tu all s elf - ev alu atin g   th eir   r esu lts .   I n   th e   ev en t,   th ey   wer o b v i o u s ly   u s in g   v a r io u s   a p p r o ac h es  to   ac h iev e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   10 ,   No .   2 J u n 2 0 2 1 :   5 5 3   -   5 6 8   562   th r esu lts   th ey   tar g eted .   T h is   tr an s lates  in to   p r o m p tin g   s tu d en ts   to   cr itically   r ef lect  o n   th r esu lts   th ey   h av ac h iev ed   a n d   a d o p te d   lear n i n g   s tr ateg ie s   th at  b ef it   th task .   B ased   o n   t h eir   cr itical  r e f lectio n s ,   s tu d en ts   th en   lik ely   co n s tr u cted   o r   c h an g e d   th eir   lear n i n g   p la n s   an d   att em p ted   th e x er cises   ag ain   t o   ac h iev e x p ec ted   o u tco m es.    As a  r esu lt,  m o s s tu d en ts   co m p leted   th o n lin MCQ e x er cises   m o r e   th an   o n ce ,   as sh o wn   b y   I tem   4 ,   wh ich   h as  m ea n   s co r e   o f   3 . 5 2 .   T h r esu lt  f o r   I tem   4   n ee d s   to   b co n s id er e d   in   r elatio n   to   I tem   3 ,   wh ic h   h as   lo m ea n   s co r o f   2 . 6 2 .   T h r esu lt  o f   I tem   3   r ev ea ls   th at   th r ea s o n   m o s s tu d en ts   co m p leted   th o n lin e   MCQ  ex er cises   was  n o b ec au s th ey   f elt  g u ilty   o r   s ca r ed   o f   b ein g   p u n is h ed .   T h f in d in g s   co n f ir m e d   th at  th e   o n lin MCQ  ex er cises   with   m u ltip le  attem p ts   h ad   en c o u r ag ed   s tu d en ts   to   cr itically   r e f l ec o n   th eir   lear n in g   p r o ce s s   an d   d o   th e   ex er cises   m o r t h an   o n ce .   T h e   ex er cise s   th u s   also   en c o u r a g ed   s tu d e n ts   to   b ec o m e   s elf - d ir ec ted   lear n er s .   T h is   r esear c h   co n f ir m s   Do u g las,  W ils o n ,   an d   E n n is s   [ 1 4 ,   p .   1 1 1 ]   a r g u m en th at  MCQs   ar e   h elp f u l to o l in   d e v elo p in g   s tu d en ts   ab ilit ies to   “m o n ito r ,   m an ag e,   a n d   s elf - d ir ec t t h eir   l ea r n in g ”.       3 . 4 .   O nli ne  M CQ   ex er cises   wit m ultiple a t t em pts e nco ura g e s   s t ud ent s   t o   beco m a c t iv l ea rner s   Sin ce   th MCQ  ex er cises   wer p r o v id e d   u s in g   a n   o n lin p la tf o r m ,   B lack b o a r d   L MS,   s tu d en ts   SDL   lear n in g   s ty les  ar f o u n d   to   b clo s ely   co n n ec ted   with   t h eir   tech n o lo g ical  s k ills .   T h ef f ec ts   o f   th e   o n lin e   lear n in g   e n v ir o n m en o n   s tu d en ts   lear n in g   s t y les  ar clea r ly   s h o wn   th r o u g h   I tem s   1   an d   2 .   I tem   1 ,   with   a   m ea n   s co r o f   3 . 4 3 ,   in d icate s   th at  s tu d en ts   alwa y s   p er f o r m e d   in ter n et  s ea r ch es  to   f i n d   th m ea n in g s   o f   w o r d s   th at  th ey   d id   n o u n d e r s tan d   in   th MCQ  ex er cises .   T h is   w as  co r r o b o r ated   in   co m m en ts   c o llected   d u r in g   th e   f o cu s   g r o u p   in ter v iews.  On e   o f   th e   s tu d en ts   co m m en ted “I  ca n   c o p y   th w o r d   a n d   g o o g le  it  t o   fin d   th e   mea n in g .   L ik ewise,   I tem   2 ,   with   h ig h er   m ea n   s co r o f   3 . 4 9 ,   r ef lect s   th at  wh en   s tu d en ts   d id   n o k n o wh at  th an s wer   f o r   a   MCQ,  th ey   u s u ally   d id   an   in ter n et  s ea r c h   o r   r ea d   n o tes  b e f o r e   an s wer i n g   th e   q u esti o n .   Fo r   in s tan ce ,   d u r in g   th f o cu s   g r o u p   in ter v iew,   s tu d e n s aid ,   “W h en   I   mee s o meth in g   I   d o n k n o w ,   I   ca n   Yo u Tu b to   lea r n   it.”  Simila r ly ,   an o th e r   s t u d en s aid ,   “W h en   I   d o n u n d ers ta n d ,   I   ca n   s ea r ch   it  o n   th in tern et  immed ia tely.   T h ese  f in d in g s   s h o th at  wh e n   s tu d en ts   eq u ip p ed   with   r elev an tech n o l o g ical  s k ills ,   ar e m p lace d   i n   an   o n lin lear n in g   en v ir o n m e n t,  th ey   tak e   th i n itiativ to   teac h   th em s e lv es.  T h is   s u p p o r ts   Gen g ,   L aw,   an d   Niu s   [ 4 2 ]   claim   th at  in   b len d ed   lear n in g   e n v ir o n m e n t,  th tech n o l o g y   r ea d in ess   o f   s tu d en ts   h as  a   n o ticea b le  im p ac o n   th eir   l ea r n in g   p r esen ce .   An o th er   f e atu r o f   th o n lin MCQ  ex er cises   th at  d r iv es   s tu d en ts   to   tak th i n itiativ to   teac h   th em s elv es  is   th estab lis h in g   o f   an   o p en - b o o k   lea r n in g   e n v i r o n m en t .   Ho n ey   an d   Ma r s h all  [ 4 3 ]   f in d   th at  MCQs   f ac ilit ate  in q u ir y - b ased   lear n i n g ,   s u p p o r s tu d en lear n in g ,   an d   en co u r a g s tu d e n ts   to   b ec o m e   ac tiv lear n er s .   I ap p ea r s   th at  wh en   MCQs   ar g iv e n   a n   o p en - b o o k   lear n in en v ir o n m en t,  s tu d en ts   ar m o tiv ated   to   lo o k   f o r   an s wer s   b y   r ea d in g   n o tes  o r   p er f o r m in g   in ter n et  s ea r ch es.   Nico [ 9 ]   d elin ea tes  th at  s u c h   s itu atio n s   allo s tu d en ts   to   s elf - ass ess   an d   s elf - co r r ec t.  T o g eth er   with   th e   av ailab ilit y   o f   m u ltip le   attem p ts ,   th o n lin MCQ  e x er cises   th u s   allo s tu d e n ts   to   b r id g th g ap   b etwe e n   th eir   in itial  r esu lts   an d   t h eir   ta r g eted   r esu lts   as  well  as  b etwe en   th eir   p er ce p tio n s   o f   t h eir   o wn   ab ilit ies  an d   th e   r elea s in g   o f   th eir   ac tu al  p o ten tials .   T h is   f ea tu r o f   o n lin MCQ  ex er cise s   w ith   m u ltip le  attem p t s   i s   al s o   cr u cial  in   en s u r in g   s tu d en ts   e n jo y   d o in g   th ex er cises .   T h i s   s itu atio n   is   r ef lecte d   th r o u g h   I tem   1 1 ,   w h ich   y ield ed   m ea n   s co r o f   3 . 4 5 .   Stu d en ts   en jo y ed   f in d in g   an s wer s   an d   ex p lan atio n s   f o r   th MCQs   th at  th ey   h ad   an s wer ed   wr o n g ly .   W h en   s tu d en ts   f in d   s u ch   SDL  ac tiv ities   en jo y ab le   an d   s atis f y in g ,   t h ey   ar e   m o tiv ated   to   b ec o m b etter   s elf - d ir ec ted   le ar n er s .         4.   CO NCLU SI O N   T h is   r esear ch   p r o v id ed   e m p ir i ca ev i d en ce   th at  o n lin MCQ  ex er cises   with   m u ltip le  attem p ts   h elp   to   p r o m o te  s elf - d ir ec te d   lear n in g   ( SDL) .   I n   th is   r esear ch ,   th s co r es  o f   all  th p r o v id e d   o n li n MCQ  ex er cises   with   m u ltip le  attem p ts   d id   n o co n tr ib u te   to   s tu d e n ts   co u r s ewo r k   m a r k s .   T h ese  o n lin e   M C ex er cises   wer o n ly   h o m ew o r k   f o r   s tu d en ts   to   r ea lis wh at  th ey   h ad   lear n ed   in   class   in to   p r ac tice  o u ts id o f   class r o o m   tim e.   W h ile  th m ea n   s co r es  wer e   n o s ig n if ican tly   h ig h   ( 4 . 0 0   a n d   ab o v e )   th e   r esu lts   n o n eth eles s ,   in d icate   th at  th e   s tu d en ts   p er ce iv ed   th ef f o r a s   cr ea tin g   p o s itiv lear n in g   clim ate.   T h ey   h ad   en th u s iast ically   r ev is ed   o n   th e   to p ics  co v er ed   in   t h ex er cises   an d   tr ied   to   o b tain   h i g h er   s co r es  b y   d o in g   th s am s ets  o f   o n lin MCQs   m o r e   th an   o n ce .   Stu d e n ts   wer m o t iv ated   to   m a k u s o f   t h ese  o n lin MCQ  ex er cises   as  o p p o r tu n ities   to   en h a n ce   th eir   u n d er s tan d in g   o f   th e   to p ics  tau g h in   class .   Fu r th er m o r e,   th e   au to - g r ad e d   an d   in s tan r esu lt  f ea tu r es  o f   th o n lin MCQ  ex er cises   with   m u ltip le  attem p ts   also   d r o v s tu d e n ts   to   cr itically   r ef lect  o n   th eir   o wn   lear n in g   p r o ce s s .   T h ey   s elf - m o n ito r ed   th eir   lear n in g   p r o ce s s   b y   e v alu atin g   th eir   r e s u lts   a n d   g en er atin g   n ew  ap p r o ac h es  to   ac h iev th r esu lts   th ey   tar g eted .   Sin ce   s tu d en ts   h ad   m u ltip le  attem p ts   to   a r r iv at  th tar g eted   s co r es,  th ey   wer less   l ik ely   t o   b e   af f ec ted   b y   th ei r   in itial  l o g r a d es  an d   b e   d em o tiv ate d .   On   th e   co n tr a r y ,   s tu d en ts   r esil ien ce   was  m o r lik ely   to   b e   s tr en g th en e d .   Als o ,   as  s tu d en ts   o b tain e d   b etter   r esu lts   in   th s ec o n d   Evaluation Warning : The document was created with Spire.PDF for Python.