I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   9 ,   No .   4 A u g u s t   201 9 ,   p p .   3 2 6 2 ~3 2 7 1   I SS N:  2 0 8 8 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v9 i 4 . p p 3 2 6 2 - 3271          3262       J o ur na l ho m ep a g e h ttp : //ia e s co r e . co m/ jo u r n a ls /in d ex . p h p / I JE C E   Predic ting  co g niti v e loa d in acquis i tion    o pro g ra m m ing   a bilities       So   Asa i 1 Dinh   T hi Do ng   P h uo ng 2 F u m i k o   H a ra da 3 H ir o m it s u Shi m a k a w a 4   1,   4 Rit s u m e ik a n   Un iv e rsit y ,   Ja p a n   2 P a ra c e T e c h n o lo g y   S o lu ti o n s C o . ,   L td ,   Vie tn a m   3 Co n n e c D o L td ,   Ja p a n       Art icle  I nfo     AB ST RAC T   A r ticle  his to r y:   R ec eiv ed   Ma r   2 ,   2 0 1 9   R ev i s ed   Ma r   2 9 ,   2 0 1 9   A cc ep ted   A p r   8 ,   2 0 1 9       In   th is  p a p e r,   w e   p ro p o se   a   m e th o d   t o   p re d ict  c o g n it iv e   lo a d   a n d   it f a c to rs   a ffe c ti n g   th e   lea rn in g   e ff icie n c y   in   p r o g ra m m in g   le a rn in g   f ro m   th e   lea rn in g   b e h a v io o f   lea rn e rs.  G e n e ra ll y ,   sin c e   th e   c o n c e p ts  o f   p ro g ra m m in g   a re   d if f icu lt   f o lea rn e rs,   so m e   o f   t h e m   su ffe in a p p ro p r iate   c o g n it iv e   lo a d   to   u n d e rsta n d   th e m .   A lt h o u g h   tea c h e rs  m u st  k e e p   c o g n it iv e   lo a d   o f   su c h   lea rn e rs  a p p ro p riate ,   i is  d if f i c u lt   f o th e m   to   f in d   lea rn e rs  w h o   h a in a p p r o p r iate   c o g n it iv e   lo a d   f r o m   a   larg e   n u m b e o f   le a rn e rs.   T o   f in d   lea rn e rs  w it h   in a p p r o p riate   c o g n it iv e   lo a d ,   w e   c o n stru c m o d e l s   w it h   th e   ra n d o m   f o re st  a l g o rit h m ,   u sin g   lea rn in g   b e h a v io c o ll e c ted   f ro m   l e a rn e rs   so lv in g   f il l - in - th e - b lan k   tes ts.   An   e x p e rime n sh o w th e   m o d e ls  c a n   d e tec c o g n it iv e   lo a d   f o IL  a n d   GL   a lo n g   w it h   th e ir  f a c to rs.   T e a c h e rs   m u st  a d d re ss   a d ju stm e n o c o g n it i v e   lo a d   o lea rn e rs.   T h is  re su lt   c lari f ies   th e   lea rn in g   f a c to rs  a ff e c ti n g   c o g n it iv e   lo a d   o f   lea rn e rs,  w h ich   e n a b les   tea c h e rs  to   a d d re ss   th e   a d ju stm e n w it h   sm a ll   b u rd e n s.   K ey w o r d s :   Data   m i n i n g   e - lear n i n g   Ma ch i n lear n i n g   P r o g r am m i n g   lear n i n g   Co p y rig h ©   2 0 1 9   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e   Al rig h ts re se rv e d .   C o r r e s p o nd ing   A uth o r :   So   A s a i,   R its u m ei k an   U n i v er s it y ,   Natio n al  C h u n g   C h e n g   Un i v er s it y ,   No j ih ig as h i 1 - 1 - 1 ,   Ku s at s u ,   S h ig a,   5 2 5 - 8 5 7 7 ,   J a p an .   E m ail:  asa i@ d e. is . r it s u m ei. ac . j p       1.   I NT RO D UCT I O N     E d u ca tio n al  i n s ti tu te s   to   teac h   in f o r m a tio n   tec h n o lo g y   p r o v id p r o g r a m m in g   e x er cise  c lass es  f o r   m an y   n o v ice  lear n er s .   No v ic lear n er s   m u s u n d er s tan d   m an y   ab s tr ac co n ce p ts   to   ac q u ir p r o g r am m i n g   ab ilit ies.  I is   d if f ic u lt  f o r   n o v i ce   lear n er s   b ec au s t h e y   h av n ev er   e x p er ien ce d   h o w   th co n ce p ts   ar r ea lized   o n   co m p u ter s .   T h er ar n o t a   f e w   lear n er s   to   d r o p   o u t [ 1 ] .   T h r ea s o n   w h y   lear n er s   c an n o u n d er s tan d   th e   s p ec i f ic  co n ce p ts   o f   p r o g r a m m i n g   i s   t h at  in ap p r o p r iate   co g n itiv lo ad   is   i m p o s ed   o n   th e m   [ 2 ] .   C o g n iti v lo ad   is   o n o f   th i m p o r tan ele m e n ts   to   co n s id er   in   o r d er   t o   p r o m o te   th lear n er s   to   u n d er s ta n d   th s p ec if ic  co n ce p ts .   C o g n iti v lo ad   is   clo s ely   in v o l v ed   in   ac q u is itio n   an d   f ix in g   o f   t h eir   p r o g r a m m i n g   s k i l ls .   L ea r n er s   ar m o r lik el y   to   ac q u ir p r o g r am m i n g   ab ilit ie s   i f   th e y   h av ap p r o p r iate  co g n iti v lo a d .   I is   n ec es s ar y   to   p a y   a tten t io n   s o   t h at  lear n er s   d o   n o h a v i n ap p r o p r iate  co g n i tiv e   lo ad .   Ho w e v er ,   ea c h   lear n er   h a s   it s   o w n   w a y   to   h av co g n iti v lo ad .   Usu al l y ,   i n   u s u al  e x er cise  class ,   o n o r   f e w   ed u ca tio n   s tu f f   teac h   m o r th a n   d ec ad es  o f   lear n er s .   I is   d if f ic u lt  f o r   teac h er s   to   f in d   le ar n er s   w h o   h a v i n ap p r o p r iate   co g n iti v lo ad .   T o   p r o v id lear n er s   w it h   p r ef er ab le  lear n i n g   en v ir o n m e n t ,   m a n y   m et h o d s   h av e   b ee n   p r o p o s ed   f o r   in s tr u ctio n a d esig n   [ 3 ] .   Kelle r   [ 4 ]   v alu es  m o ti v atio n   f o r   s u c h   en v ir o n m en t s . T h w o r k   in   [ 5 ]   lis ts   m o tiv at io n s   an d   s tr ate g ie s   i n   lear n i n g .   P h u o n g   [ 6 ]   r eg ar d s   th e m   as   f ac to r s   d eter m i n i n g   th e   lear n in g   b eh av io r   o f   ea c h   lear n er .   P h u o n g   p r o p o s es  d a ta  an al y s is   m et h o d   to   f ig u r o u th f ac to r s ,   to   d eter m in w h ich   s t u d en t s   s h o u ld   b s u p er v is ed . Ho w e v er ,   al m o s all  o f   th in s tr u ctio n al  d esi g n   m eth o d s   tr y   to   ex tr ac lear n er s   m e n tal  f ac to r s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       P r ed ictin g   co g n itive  lo a d   in   a cq u is itio n   o f p r o g r a mmin g   a b i liti es   ( S o   A s a i )   3263   s u c h   as   m o t iv atio n   to   e s tab li s h   s u cc e s s f u e n v ir o n m en t s   [ 7 ] .   E v en   h i g h l y   m o ti v ated   le ar n er s   n ee d   s u p p o r t   f r o m   t h eir   teac h er s   to   o v er co m d if f ic u ltie s   w h e n   th e y   s tr u g g le  w it h   d if f ic u lt  lear n in g   task s . A   s y s te m atic   m et h o d   is   n ec es s ar y   f o r   teac h e r s   to   d etec t le ar n er s   w i th   h i g h   co g n iti v lo ad .   T h is   p ap er   p r o p o s es  m e th o d   to   p r ed ict  f ac to r s   to   im p o s co g n iti v lo ad   o n   lear n e r s   th r o u g h   an al y s is   o f   lear n in g   b eh a v io r   th e y   s h o w   at  s o lv i n g   p r o g r am m in g   a s s i g n m e n t s .   T h er ar s ev er al  t y p e s   o f   co g n iti v lo ad   [ 8 ] .   T h m et h o d   lev er ag es  f i ll - in - t h e - b lan k   test   to   d eter m i n w h at  t y p e   o f   co g n iti v lo ad   lear n er s   h av e.   T o   d eter m in e   th t y p o f   co g n iti v lo ad ,   th m et h o d   g en er ate s   m o d el  o f   r an d o m   f o r est   an al y z in g   lear n i n g   b e h av io r   th e y   tak e   at  f i n d in g   co r r ec an s w er s   to   f ill   b lan k s   in   th p r o g r a m .   T h o u tp u o f   th m o d el  id e n ti f ie s   t h t y p e   o f   co g n iti v lo ad   o n   lear n e r s ,   w h ile   th e   i m p o r tan ce   o f   p r ed icto r   v ar iab les  in d icate s   i ts   f ac to r s .   T h is   clar i f ies  th s tate  a n d   f ac to r s   o f   co g n i tiv e   lo ad   o f   ea ch   lear n er .   T ea ch er s   ca n   ad d r ess   ad j u s t m e n t o f   t h ex ce s s i v co g n i tiv lo ad   o f   le ar n er s   in to   a n   ap p r o p r iate  s tate  w it h   m in i m a l e f f o r t.       2.   CO G NI T I VE   L O AD  I P R O G RAM M I NG   L E ARN I N G   2 . 1     Require m ent s   t o   o bta in pro g ra m m i ng   a bil it y   I n   o r d er   to   ac q u ir t h p r o g r a m m in g   ab ilit y ,   it   is   ess e n tia l   to   b ab le  to   r ea d   g i v en   p r o g r a m s   a n d   w r ite  ap p r o p r iate  p r o g r am s ,   u tili zi n g   co n ce p ts   s p ec if ic  to   p r o g r am m i n g   to   b u n d er s t o o d .   T o   ac h iev it,   lear n er s   ar r eq u ir ed   to   o r g a n ize  v ar io u s   k i n d s   o f   k n o w le d g o n   m a n y   co n ce p ts   alo n g   w it h   t h eir   u s a g es .   Ma n y   lear n er s   ca n n o s o lv p r o g r a m m in g   as s i g n m e n ts   b ec a u s o f   d if f ic u ltie s   o f   ab s tr ac t   co n ce p ts   an d   w a y s   to   u tili ze   t h e m   [ 9 ] .   L ea r n er s   w it h o u e n o u g h   u n d er s ta n d in g   o f   t h co n ce p ts   an d   th w a y s   d o   n o k n o w   w h at   p r o g r am   t h e y   s h o u ld   w r ite  wh en   t h e y   en g a g i n   ass ig n m e n ts .   E v en   i f   lear n er s   g r asp   p r o g r a m m i n g   co n ce p t an d   w a y s   to   u tili ze   t h e m ,   m a n y   o f   t h e m   ca n n o i m a g in e   a ctu al  b eh a v io r   o f   g i v en   p r o g r a m s .   T h o s lear n er s   ca n n o u n d er s ta n d   w h y   t h p r o g r a m s   b e h av i n   s p ec i f ied   wa y s .   S u c h   lear n er s   m a y   f a il  to   lear n   p r o g r a m m i n g ,   w h ic h   m a y   ca u s th e m   to   esc ap f r o m   p r o g r a m m in g   lear n i n g .   T ea ch er s   m u s f i n d   lear n e r s   w h o   ar e   li k el y   to   h av u n d er s tan d i n g   f ail u r es  t o   p r ev en th e m   f r o m   escap i n g .   I is   i n d is p en s ab le  to   id en tify   w h a i m p ed es   lear n er s   to   u n d er s tan d   p r o g r am m in g .     2 . 2 .     Co g nitiv lo a a f f ec t ing   lea rning   P eo p le  u s w o r k i n g   m e m o r y   w h e n   th i n k i n g   s o m et h i n g .   T h a m o u n o f   w o r k in g   m e m o r y   r ep r esen ts   th ca p ab ilit y   f o r   p r o ce s s   ab ilit ies  to   th i n k .   P eo p le  m u s p u m an y   ele m e n ts   o n   t h eir   w o r k i n g   m e m o r ie s   w h e n   th e y   lear n   n e w   t h i n g s .   Si n ce   th er ar i n d iv id u al  d i f f er en c es  i n   w o r k i n g   m e m o r y ,   t h al lo w ab le  a m o u n t   o f   lear n in g   v ar ie s .   W h en   t h s a m ele m en t s   ar r ep ea ted ly   p r o c ess ed   in   w o r k i n g   m e m o r y ,   th e y   ar o r g an ized   as   s ch e m a.   O n ce   ele m en ts   b ec o m e   s c h e m a,   lear n er s   ca n   u tili ze   th e m   w i th o u co g n iti v lo ad ,   b ec au s th e   ele m e n ts   h a v b ee n   o r g a n ized   w i th   its   u s a g e.   T h g o al  o f   le ar n in g   i s   t h at  lear n er s   g et  ab le   to   s o lv p r o b le m s   n ev er   s ee n   b ef o r w i th o u e f f o r b y   co m b i n in g   e le m e n t s   th e y   h av e   u n d er s to o d .   I n   o t h er   w o r d s ,   lear n i n g   m ea n s   to   co n s tr u ct  s c h e m i n to   w h ic h   ele m en ts   ar o r g an i ze d   alo n g   w it h   th eir   u s a g e.   C o g n iti v lo ad   af f ec ts   u n d er s tan d i n g   f ail u r ca u s e d   b y   d if f icu lties   i n   p r o g r a m m i n g     co n ce p ts   [ 2 ,   1 0 ] .   C o g n iti v l o ad   in d icate s   h o w   m u ch   w o r k in g   m e m o r y   is   as s ig n ed   to   task s   to   u n d er s ta n d   u n k n o w n   ite m s   a n d   to   u tili ze   ac q u ir ed   k n o w led g in   s o lv i n g   ass ig n m en ts   [ 1 1 ] .   T h co g n i tiv e   lo ad   th eo r y   class i f ies  u s a g o f   t h w o r k i n g   m e m o r y   i n to   th f o llo w i n g   t h r ee   t y p es [ 8 ,   1 2 ] .   I n tr in s ic  L o ad   ( I L ) :   I L   o cc u r s   d u to   t h in h er en d if f ic u lt y   o f   t h as s i g n m e n a g ain s a b ilit ies  o f   lear n er s .   I L   is   i m p o s ed   w h e n   lear n er s   e n g a g i n   p r o b le m   s o l v in g   u n d er   an   u n k n o w n   ite m   a n d   w a y s   o f   co n s id er atio n   u s i n g   i t.  T h is   lo ad   g ets h i g h ,   w h e n   lear n er s   f e el  ex ce s s iv d i f f icu lt y   f o r   th ass i g n m e n t,  b ec au s e   o f   th s m all  a m o u n t o f   th eir   wo r k in g   m e m o r y .   E x tr an eo u s   L o ad   ( E L ) :   E L   i s   ca u s ed   b y   s u r r o u n d i n g   lear n in g   e n v ir o n m e n t s   a n d   b r o u g h b y   t h p o o r   q u alit y   o f   teac h i n g   m ater ial s   a n d   lectu r e s   p r o v id ed   f o r   lear n er s .   T ea ch er s   ar r eq u ir ed   to   d esig n   t h m ater ials   an d   th lect u r es so   as to   r ed u c th is   lo ad .   Ger m an L o ad   ( GL ) :   GL   i s   r elate d   to   th s ch e m a tizatio n   o f   co n te n ts   to   b lear n ed .   T h i m p o s itio n   o f   G L   i m p lies   lear n er s   ar i n   th p r o ce s s   o f   o r g a n izi n g   g i v en   lear n i n g   co n te n ts   as  s ch e m ata.   L ea r n er s   ar e   en co u r ag ed   to   ex p er ien ce   t h i s   lo ad   [ 1 3 ] .   I f   it   is   an   id ea lear n i n g   s itu at i o n   t h at  lear n er s   co n ti n u e   to   ac q u ir n e w   k n o w led g e,   it   is   d es ir ab le  th at   co g n iti v lo ad   is   h ig h   i n   G L ,   in   w h ic h   k n o w led g i s   b ein g   s ch e m at ized ,   w h ile  it  s h o u ld   b lo w   i n   I L     an d   E L   [ 8 ] .   T h is   w o r k   r ef er s   to   it  as  an   ap p r o p r iate   s tate  o f   th co g n iti v lo ad .   T ea ch er s   m u s en d ea v o r   to   k ee p   co g n iti v lo ad   o f   lear n er s   an   ap p r o p r iate  s tate.   Ho w e v er ,   ev er y   lear n er   f ee ls   d i f f er en d if f icu lties   f o r   ea ch   o f   th g i v e n   lear n i n g   co n ten t.  T h er ar e   v ar io u s   lear n er s   w h o   h av d if f er en ef f ec ts   o f   less o n   d esig n   o f   p r o g r am m i n g   lect u r es/e x er cis es  co n d u cted   as  m a s s   clas s es.   I is   d if f ic u lt  to   esti m ate  t h e   co g n iti v lo ad   f o r   ea ch   lear n er .   E v en   m o r e,   it  is   n ea r l y   i m p o s s ib le  to   j u d g it  f r o m   t h ap p ea r an ce   o f   lear n er s   o n   th s p o d u r in g   th clas s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 A u g u s t 2 0 1 9   :   3 2 6 2   -   3 2 7 1   3264   2 . 3   E s t i m a t io n o f   co g n it iv lo a d   n u m b er   o f   r esear c h er s   h a v en g ag ed   in   w o r k s   t o   m ea s u r co g n it iv e   lo ad   [ 1 0 ,   1 4 ,   1 5 ] .   Sev er al  m et h o d s   ar p r o p o s ed   to   m ea s u r co g n iti v lo ad .   T h eir   u s e f u l n e s s   is   co n f ir m ed   in   v ar io u s   f ield s .   Mo r r is o n   et  al.   [ 1 6 ]   p r o p o s ed   m eth o d   to   m ea s u r co g n iti v lo ad   o f   lear n er s   in   t h p r o g r a m m i n g   class e s ,   w it h o u s e n s o r s .   He  e x ten d ed   th m eth o d   L ep p in k   e al.   [ 1 7 ]   estab lis h ed   f o r   s tati s tics   cla s s es  to   p r o g r am m i n g   lear n in g .   T h m et h o d   p r o v id es  lear n er s   w it h   s ev er al   q u e s tio n   ite m s .   E ac h   o f   th e   q u es tio n   ite m s   is   co r r elate d   to   f i g u r o u t   eit h er   o f   I L ,   E L   o r   G L .   Fo r   ea c h   q u e s tio n   ite m ,   lear n er s   p r esen t   t h eir   a n s w er s   b y   1 1 - s ca le.     T h L ep p in k s   m eth o d   as s es s es  co g n iti v lo ad   f o r   t h w h o l lear n i n g   p r o ce s s   in   th c lass ,   n o f ac to r s   ca u s i n g   it.  T h Mo r r is o n s   m e th o d   d o es n o t c lar if y   f ac to r s   o f   co g n iti v lo ad   o f   ea ch   lear n er ,   eith er .   Div id i n g   v is u al  i n f o r m atio n   an d   ch ar ac ter   in f o r m atio n   in   p r o g r am m i n g   class ,   Yo u s o o f   et  al.   [ 1 8 ]   p r o p o s ed   m eth o d   to   m ea s u r co g n iti v lo ad   f r o m   its   ac cu m u lat io n ,   to   r ed u ce   it.  T h is   m et h o d   m ai n l y   f o cu s es  o n   E L .   I d o es  n o f u l l y   co n s id er   I L   o r   G L ,   w h ic h   c o m e   f r o m   t h u ti lizatio n   o f   wo r k in g   m e m o r y   b y   lear n er s .   I i s   n ec es s ar y   to   c lar if y   es s en t ial  f ac to r s   o f   t h eir   u n d er s tan d i n g   f a ilu r e s ,   c o n s id er in g   lear n i n g   b eh av io r   w h ic h   ap p ea r s   f o r   e ac h   t y p o f   co g n iti v lo ad .   F r id m a n   et  al.   [ 1 9 ]   m ea s u r ed   th co g n iti v lo ad   d u r in g   d r iv i n g   v e h icle  w i th o u w ea r in g   a n y   s en s o r s .   T h is   w o r k   i n v e s ti g ates   th e   co g n iti v lo ad   i n   r ea l   ti m e,   f ee d in g   v id eo   d ata  o f   e y m o v e m e n t s   to   t h d ee p   lear n in g .   T h is   s tu d y   d o es  n o d i s ti n g u is h   t h th r ee   t y p es  o f   th co g n iti v lo ad .   I n   p r o g r a m m in g   lear n in g ,   it  i s   ess e n tial  to   d is cr i m i n ate  I L ,   E L ,   an d   G L .   Si n ce   I L   an d   E L   d ec r ea s e   lear n in g   e f f icien c y ,   t h e y   s h o u ld   b lo w .   Me a n w h ile,   h ig h   GL   i s   p r ef er ab le,   b ec au s it  i m p lies   t h lear n e r   is   w o r k i n g   o n   th e   s c h e m a tizatio n   o f   lear n i n g   ite m s .   I t   s h o u ld   b av o id ed   to   attac h   p h y s ical  s en s o r s   to   lear n er s ,   to   o b tain   co g n iti v lo ad   in   p r o g r a m m i n g   lear n i n g .   T h er ar m an y   lear n er s   in   t h cla s s .   I t b r in g s   h u g co s ts   to   attac h   s en s o r s   to   all  o f   th e m .   Sen s o r s   m a y   al s o   in f l u en ce   le ar n in g   e f f icien c y   i n ap p r o p r iatel y .   I n   ad d itio n   to   th i n v est ig at io n   o f   co g n i tiv lo ad   w it h o u t   s e n s o r s ,   i i s   n ec ess ar y   to   clar if y   w h a t   lear n i n g   b eh a v io r   d is tin g u is h es  t h th r ee   t y p e s   o f   co g n iti v lo ad   o f   lear n er s .   Fu r th er m o r e ,   t h eir   f ac to r s   s h o u ld   b id en tif ied   f o r   teac h er s   to   m a k t h e m   ap p r o p r iate.   A   co n tr ib u tio n   o f   o u r   wo r k   is   to   id en ti f y   f ac to r s   o f   co g n i tiv lo ad ,   as  w ell   as to   in v e s ti g ate  t h th r ee   t y p e s   o f   th co g n it iv lo ad   w it h o u t   s p ec if ic  s e n s o r s .       3.   P RE DIC T I N G   F ACTOR AF F E CT I N G   CO G NI T I V E   L O AD   3 . 1 .       M et ho o v er v ie w   Ou r   w o r k   ai m s   to   esti m ate   co g n it iv lo ad   f r o m   lear n i n g   b e h av io r s   at  s o l v i n g   p r o g r a m m i n g   ass i g n m e n ts ,   to   p r ed ict  ea ch   t y p e   o f   co g n iti v lo ad   alo n g   w it h   f ac to r s   ca u s i n g   it.  m e th o d   is   p r o p o s ed   to   p r ed ict  th co g n i tiv lo ad   alo n g   w it h   it s   f ac to r s   w h e n   lear n er s   s t u d y   p r o g r a m m i n g   w it h   p r o ce d u r al  lan g u ag e   lik C .   Fi g u r 1   illu s tr ates  t h m et h o d   o v er v ie w .   T o   tr ain   class i f icatio n   m o d els,  lear n i n g   b eh av io r   is   co llected   f r o m   lear n er s   a n s w er i n g   f ill - in - th e - b lan k   tes t s .   T h m eth o d   lets   th lear n er s   s p ec i f y   t h eir   co g n iti v lo ad   f o r   ea ch   as s i g n m e n w i th   t h q u e s tio n n air e s   e x p lain ed   i n   [ 1 6 ] .   I t tr ain s   m o d el s   o f   r an d o m   f o r es w it h   t h lear n in g   b eh av io r s   a n d   th co g n i tiv lo ad .   T h m o d els  o f   r a n d o m   f o r est  ex tr ac co r r esp o n d en ce s   b et w ee n   t h lear n in g   b eh av io r   an d   t h co g n itiv e   lo ad   o f   th e   lear n er s .   W h en   th e   l ea r n in g   b eh a v io r s   o f   n e w   le ar n er   ar p r o v id ed ,   th m o d el  p r ed icts   lear n er s   co g n iti v lo ad   alo n g   w i th   i ts   f ac to r s .   T h m et h o d   h elp s   t ea ch er s   to   co n f ir m   w h et h er   th n e w   lear n er s   i n   p r o g r am m i n g   lear n i n g   ar u n d er   ap p r o p r iate  co g n itiv lo a d .   T h teac h er s   ca n   also   ad d r ess   lear n er s   w it h   in a p p r o p r iate  co g n iti v lo ad .   T h e y   ca n   ta k m ea s u r es   to   ad j u s t t h eir   co g n iti v lo ad ,   tak i n g   it s   f ac to r s   in to   ac co u n t.           Fig u r 1 .   Ov er v ie w   o f   o u r   m et h o d   to   p r ed ict  f ac to r s   af f ec ti n g   co g n iti v lo ad       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       P r ed ictin g   co g n itive  lo a d   in   a cq u is itio n   o f p r o g r a mmin g   a b i liti es   ( S o   A s a i )   3265   3 . 2 .     Co llect ing   le a rning   beha v io r   W f o cu s   o n   lear n in g   b eh av io r   w h e n   lear n er s   a n s w er   ass ig n m e n ts   o f   f ill - in - t h e - b lan k   te s t.     Fill - in - t h e - b lan k   test   i s   f r eq u en tl y   u s ed   to   m ea s u r lear n e r s   u n d er s ta n d in g   in   p r o g r a m m i n g   cla s s es  [ 2 0 ] .   L ea r n er s   m u s f ill   co d f r a g m en ts   s u itab le  f o r   b lan k s ,   co n s i d er in g   co i n cid en ce   w it h   co d f r ag m e n ts   d is clo s ed   in   o th er   p ar ts   th an   b la n k s .   Fi ll - in - th e - b la n k   te s ts   r ev ea t h u n d er s ta n d in g   o f   lear n er s   b ec au s lear n er s   ar e   r eq u ested   to   r ea d   th d is clo s ed   co d f r ag m e n t,  u n d er s ta n d   th e m ,   an d   co n ce i v co d to   f ill  t h b lan k s .     I n   f ill - in - t h e - b la n k   test s ,   it is   l ess   li k el y   to   s p ec u late  a n s w er s   th an   i n   m u l tip le - c h o ice  test s   [ 2 1 ] .   Fill - in - t h e - b lan k   tes ts   ca n   e x a m i n lear n i n g   ac h i e v e m en ts .   An y   t y p es  o f   co g n i tiv lo a d   ar n o i m p o s ed   o n   lear n er s   w h o   h av e   ac q u ir ed   p r o g r a m m in g   ab ili ti es.  L ea r n er s   w h o   ar s c h e m ati zin g   lear n i n g   ite m s   h av e   h i g h   G L   b ec a u s t h e y   ar in   t h p r o ce s s   o f   ac q u ir i n g   p r o g r a m m i n g   ab il it y .   Hig h   I L   is   i m p o s ed   o n   lea r n er s   w h en   th e y   e n g a g a s s ig n m e n t s   w h o s s o l u tio n   its el f   is   h ar d   to   s ee k .   L ea r n er s   s ee m   to   h av h i g h   E L   b y   t h as s i g n m e n ts   w h ich   b r in g   u n n ec es s ar y   b u r d en s   s u c h   a s   s e n te n ce s   h ar d   to   r ea d .   Fil l - in - b lan k   te s ts ,   w h er th p ar ts   to   b an s w er e d   ar li m ited ,   ar u s e f u f o r   th m ea s u r e m e n t o f   t h co g n iti v lo ad   as  w ell  a s   t h u n d er s ta n d in g   le v el  o f   lear n er s .   W h en   a n s w er s   w h ich   lear n er s   h av e   co n v in ce d   co r r ec ar ju d g ed   to   b in co r r ec t,  th e y   co n s id er   t h e   r ea s o n s ,   co n s u m i n g   t h eir   w o r k in g   m e m o r y .   H ig h   I L   o cc u r s   in   th i s   ca s e.   R ec o g n izi n g   th ei r   s ch e m i s   w r o n g ,   lear n er s   r ec o n s tr u c an o th er   s ch e m a.   G L   g e ts   h i g h   in   t h r ec o n s tr u ct io n .   P r o p er   co g n itiv e   lo ad   o f   lear n er s   is   co llected ,   o n l y   if   lear n er s   ca n   r ec eiv th e   g r ad in g   r esu lt  o n   th e   s p o w h en   t h e y   s o l v f ill - in - t he - b lan k   test s .   I n   g e n er al  lear n i n g   w it h   f ill - in - th e - b lan k   test s ,   lear n er s   s u b m it  th eir   an s w er s   o n   t h s h ee t ,   w ith   t h eir   g r ad i n g   r esu lt s   f ed   b ac k   af ter   f e w   d a y s .   I is   n o e x p ec ted   p r o p e r   co g n iti v lo ad   ca n   b o b tain ed   w it h   th i s   lear n i n g   p r o ce d u r e.   T h m e th o d   p r o v id es a n   au to m atic  g r ad in g   s y s te m   [ 2 2 ] .   I t is i m p le m e n ted   as a   w eb   ap p lic atio n ,   w it h   w h ic h   lear n er s   ca n   g r ad th ei r   an s w er s   i n ter ac ti v el y .   T h s y s te m   g r ad es  an   a n s w er   lear n er   g i v es  f o r   ea ch   b lan k   o n   d e m a n d .   I n o tif ie s   th co r r ec tn ess   o f   th a n s wer   im m ed iatel y .   L ea r n er s   u s i n g   t h s y s te m   ar allo w ed   to   s u b m it t h eir   an s w e r s   m a n y   ti m e s   u n til t h eir   an s wer s   b ec o m co r r ec w i th i n   t h ti m li m it.   I n   o u r   m et h o d ,   o n test   co r r esp o n d s   to   th co d o f   p r o g r a m ,   p ar ts   o f   w h ic h   ar b lan k ed   o u t.   Mo r th an   o n tes ts   a r p r o v id ed   f o r   lear n er s .   A s   lear n i n g   b eh a v io r ,   th m et h o d   co llects  3   d ata  ite m s :   th co n s u m in g   ti m e,   c h an g h is to r ies   o f   an s w er s ,   a n d   t h e   n u m b er   o f   g r ad in g   d e m an d s .   Mo r co n cr etel y ,   th s y s te m   r ec o r d s   t h elap s e d   ti m f r o m   t h ti m p o in l ea r n er   s tar ts   s p ec if ic  test ,   ch r o n o lo g ical  l is o f   an s w er s   t h lear n er   s u b m its   f o r   ea ch   b lan k ,   a n d   t h n u m b e r   o f   g r ad in g   d e m a n d s   tr an s m i tted   to   th e   s y s te m ,   r esp ec tiv el y .   W f o cu s   o n   3   t y p e s   o f   p r ed icto r s   ex p lain ed   b elo w ,   to   d etec ea ch   t y p o f   c o g n iti v lo ad   alo n g   w it h   it s   f ac to r s .   A ll  o f   th p r ed icto r s   ca n   b d er iv ed   f r o m   t h lear n in g   b eh a v io r   th au to m atic  g r ad in g   s y s te m   f o r   f ill - in - th e - b la n k   te s ts   co lle ct.     Gr ad in g   r eq u es ts   L ea r n er s   ca n   ch ec k   w h et h er   th eir   an s w er s   ar co r r ec t   m a n y   t i m e s   f o r   ea ch   b lan k .   Hi g h   I L   m ea n s   lear n er s   h a v d if f ic u ltie s   to   f ill  b lan k s   in   t h test   b ec a u s e   th test   it s elf   i s   h ar d   to   th e m .   T h e y   h a v f e ca n d id ate  co d f r ag m e n t s   to   f i ll  th e   b lan k s .   W h e n   n o n o f   t h e m   w o r k s   w ell,   th e   lear n er s   h av e   n o t h i n g   to   d o .   T h er ef o r e,   w a s s u m e   t h at  s u ch   le ar n er s   d e m an d   to   g r ad r ar ely .   I n   t h m ea n ti m e,   lear n er s   w i th   h i g h   E L   m i g h f ail  to   u n d er s ta n d   w h at  th test   r eq u est s   o r   ev en   h o w   th e y   s h o u ld   u s th s y s te m ,   wh ich   lead s   t h e m   to   d o   n o th i n g .   T h s y s te m   allo w s   lear n er s   to   d e m a n d   to   g r ad as  m a n y   ti m es   as  t h e y   w a n t.  I ai m s   to   ca u s e   lear n er s   to   r ea ch   r ig h a n s w er s   af ter   ca r ef u co n s id er atio n .   T h m et h o d   co u n ts   t h n u m b er   o f   g r ad in g   f o r   ea ch   b lan k .   I d o es  n o co u n g r ad in g   w h e n   th co d f r ag m e n h as  n o b ee n   m o d if ied   f r o m   t h p r ev io u s   d e m a n d ,   ev en   i f   t h lear n er   d e m a n d s   to   g r ad e.     P ag tr an s itio n s   I n   f ill - in - b lan k   test s ,   teac h er s   p r o v id m u ltip le  as s ig n m e n ts   in   o n s es s io n   i n   o r d er   to   c o n f ir m   t h eir   u n d er s ta n d in g   f o r   v ar io u s   p r o g r a m m i n g   co n ce p ts .   L ea r n er s   ca n   s o l v ass ig n m en ts   i n   an   o r d er   o f   th eir   o wn   ch o ice.   T h e y   ca n   al s o   s w itch   t h e m   h alf w a y .   T h lear n er s   c h an g e   as s ig n m e n ts   to   o th er   o n e s   w h en   th e y   eith er   co m p lete  r i g h a n s w er s   f o r   all  b lan k s   o f   a n   ass i g n m e n o r   g iv u p   an s w er i n g   b ec au s th e y   ca n n o i m a g in e   an y   o t h er   an s w er .   T h m o r d if f ic u lt y   lear n er s   p er ce iv f o r   ass ig n m e n ts ,   t h m o r t h e y   tr an s it  a s s i g n m e n t s .   T r y in g   to   r ec o n s id er   p r ev io u s   ass i g n m e n ts ,   lear n er s   m o v e   b ac k   to   t h e m .   I n   o th er   ca s e,   lear n er s   m o v f o r w ar d   to   n e w   as s i g n m e n ts .   T h m et h o d   co u n ts   p a g tr an s itio n ,   d is ti n g u i s h i n g   t h n ex t   ass ig n m en t ,   th p r ev io u s   o n e,   an d   o n ah ea d   m o r th a n   t w o .     T im tr an s itio n s   f o r   co r r ec t a n s w er   r ate   W h en   a   lear n er   en g a g es   in   test ,   t h lear n er   r ep ea ts   to   s e n d   g r ad i n g   d e m a n d   a f ter   s p ec if y in g   a n   an s w er   f o r   ea ch   b lan k .   L et  t h e   co r r ec an s w er   r ate  as  th r atio   o f   b lan k s   t h e y   f i ll  w it h   co r r ec an s w er s   ag a in s t   all  th b lan k s .   As  w h o le,   l ea r n er s   in cr ea s t h eir   co r r ec an s w er   r ate,   as  th n u m b er   o f   g r ad in g   r eq u est   g r o w s .   L ea r n er s   w h o   h a v en o u g h   u n d er s ta n d in g   o f   t h te s ts   ca n   an s w er   all  o f   t h e m   e asil y .   T h eir   co r r ec an s w er   r ate  q u ick l y   r ea c h es  to   th f u ll  m ar k   o r   o n clo s to   it.  On   th o th er   h an d ,   lear n er s   w h o   lack   u n d er s ta n d in g   n ee d   lo n g   ti m to   f in d   co r r ec an s w er s   o r   g iv u p   to   f i n d   th e m .   I i s   ex p ec ted   th ti m e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 A u g u s t 2 0 1 9   :   3 2 6 2   -   3 2 7 1   3266   tr an s itio n   o f   t h co r r ec an s w er   r ate  p la y s   v ital  r o le  i n   d is cr i m in at in g   t h co g n iti v lo ad .   I n   o r d er   t o   r ep r esen th e   r o le  in   a n   i n te g r ated   w a y ,   t h m et h o d   q u an ti f i es  th e   ti m tr a n s itio n     f o r   ass i g n m e n   b y   t h e   f o llo w in g   eq u at io n :     = 1 2 ( + 1 ) ( 1 = 1 ) + ( ) ,     w h er   is   th n u m b er   o f   g r ad in g   d e m a n d s   o f   t h lear n er ,     is   th co r r ec an s w er   r ate  at  th th   g r ad in g ,     is   th elap s ed   ti m at  t h th   g r ad in g   f r o m   0 ,   an d     is   th d ea d lin o f   an s w er in g .   T h ti m is   e x clu d ed   w h ile   lear n er s   an s w er   ass ig n m en ts   o th er   th a n   ass ig n m en = 0   s tan d s   f o r   th s tate  at  th s t ar ti m o f   an s w er i n g ,   w h er 0 = 0   an d   0 = 0 .   T h e   q u an ti f icatio n   en ab les  u s   to   r ep r esen th ac cu m u latio n   o f   th e   co r r ec an s w er   r ate  o f   lear n er   o v er   th elap s ed   ti m e,   as  Fi g u r 2   s h o w s .   I n   t h ca s th a t   th co r r ec an s w er   r ate  r ea ch es  h ig h   ea r l y ,     g ets  lar g as  s h o w n   i n   Fig u r 2( a) .   On   th o th er   h an d ,   w h en   t h co r r ec t   an s w er   r ate  o f   lear n er   r e m ain s   lo w   f o r   lo n g   an s w er i n g   ti m e,     is   s m all  as  s h o w n   i n   Fi g u r 2 ( b ) .           Fig u r 2 .   E x a m p les o f   ti m tr an s it io n s   f o r   co r r ec t a n s w er   r ate       3. 3   I nv estig a t ing   c o g nitiv l o a d   T h m eth o d   u s es   th e   co g n iti v lo ad   m ea s u r e m e n q u e s tio n n air [ 1 6 ]   in   o r d er   to   in v est ig ate  t h r ee   t y p es  o f   t h co g n i tiv e   lo ad   o f   lear n er s .   Fo r   t h i n v esti g atio n ,   lear n er s   a n s w er   th e   q u e s tio n n air co n s is t in g   o f   1 0   q u esti o n s .   T h e y   ar cla s s i f ied   in to   3 ,   3 ,   a n d   4   q u esti o n s   co r r esp o n d in g   to   I L ,   E L ,   a n d   GL ,   r esp ec tiv e l y .     T o   clar if y   t h tar g et  o f   ea c h   q u e s tio n ,   q u ali f ier s   ar a d d ed   to   ea ch   s tate m e n o f   th co g n it iv e   lo ad   m ea s u r e m e n t   q u e s tio n n air i n   th e   m eth o d .   F ig u r 3   l is t s   u p   th q u esti o n s .   L ea r n er s   e v al u a te  ea ch   o f   th e m   b y   11 - s ca le.   A   lar g er   n u m b er   co r r esp o n d s   to   s tr o n g   a g r ee m en f o r   th e   q u es tio n .   W h e n   th s u m   o f   m ar k s   i n   q u esti o n s   co r r esp o n d in g   to   a   s p ec if ic  t y p o f   co g n iti v l o ad   is   lar g e,   its   d eg r ee   o f   t h lear n er   is   j u d g ed     to   b h ig h .           Fig u r 3 .   Qu es tio n s   o f   co g n i ti v lo ad   m ea s u r e m e n t q u e s tio n n air e       3. 4   I dentif y ing   co g nitiv lo a d w it h r a nd o m   f o re s t   T h m eth o d   g e n er ates   m o d el s   to   ass o ciate   c h ar ac ter is t ics  o f   lear n i n g   b eh a v io r   w it h   f ac to r s   o f   th e   co g n iti v lo ad   ev al u ated   b y   t h q u est io n n air e.   T h m o d els   f o u n d   o n   th r an d o m   f o r est  alg o r ith m .   P r ed icto r   v ar iab les  an d   r esp o n s v ar iab les  o f   t h m o d el s   ar th lear n in g   b e h av io r s   a n d   s p ec i f ic   t y p o f   co g n iti v e   lo ad ,   r esp ec tiv el y .   Mo d els  b ased   o n   th r an d o m   f o r est  a lg o r ith m   p r esen h o w   i m p o r tan ea ch   p r ed icto r   T h t o p i cs  co vere d   i n   t h a ct i vi t o f   so l vi n g   f i l l - i n - b l a n p ro b l em w ere  very   co m p l ex. T h a ct i vi t o f   so l vi n g   f i l l - i n - b l a n p ro b l em co vere d   p ro g ra m   co d t h a t   I   p erce i ved   a very   co m p l ex. T h a ct i vi t o f   so l vi n g   f i l l - i n - b l a n p ro b l em co vere d   co n cep t a n d   d ef i n i t i o n t h a t   I   p erce i ved   a very   co m p l ex. T h i n st ru ct i o n a n d / o exp l a n a t i o n o f   t h w eb si t d u ri n g   t h a ct i vi t w ere  very   u n cl ea r. T h i n st ru ct i o n a n d / o exp l a n a t i o n o f   t h w eb si t w ere,   i n   t erm o f   l ea rn i n g ,   very   i n ef f ect i ve. T h i n st ru ct i o n a n d / o exp l a n a t i o n o f   t h w eb si t w ere  f u l l   o f   u n cl ea l a n g u a g e. T h a ct i vi t o f   so l vi n g   f i l l - i n - b l a n p ro b l em rea l l en h a n ced   m u n d ers t a n d i n g   o f   t h t o p i cs  co vere d . T h e   a c t i v i t y   o f   s o l v i n g   f i l l - i n - b l a n k   p r o b l e m s   r e a l l y   e n h a n c e d   m y   k n o w l e d g e   a n d   u n d e r s t a n d i n g   o f   co m p u t i n g / p ro g ra m m i n g . T h a ct i vi t o f   so l vi n g   f i l l - i n - b l a n p ro b l em rea l l en h a n ced   m u n d ers t a n d i n g   o f   t h p ro g ra m   co d co vere d . T h a ct i vi t o f   so l vi n g   f i l l - i n - b l a n p ro b l em rea l l en h a n ced   m u n d ers t a n d i n g   o f   t h co n cep t a n d   d ef i n i t i o n s. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       P r ed ictin g   co g n itive  lo a d   in   a cq u is itio n   o f p r o g r a mmin g   a b i liti es   ( S o   A s a i )   3267   v ar iab le  is   i n   d etec ti n g   t ar g et  t y p o f   co g n iti v lo a d ,   w h ich   co n tr ib u te s   to   id e n ti f y in g   it s   f ac to r s .   An   in d i v id u a m o d el  is   g e n er ated   f o r   ea ch   o f   th r ee   t y p es  o f   co g n iti v lo ad   b ec au s o u r   w o r k   ai m s   to   clar i f y   f ac to r s   f o r   ea ch   o f   t h t h r ee   t y p es o f   th co g n iti v lo ad .   T h r an d o m   f o r est  al g o r ith m   co n s tr u ct s   m u l tit u d o f   d ec is io n   tr ee s   f r o m   r a n d o m l y   ch o s e n   p r ed icto r   v ar iab les  an d   p r o d u ce s   m o d el  class i f y in g   lear n er s   ac co r d in g   to   th d eg r ee   o f   co g n iti v lo ad   b y   m aj o r ity   v o tin g   o f   t h e   o u tp u t s   o f   t h o s d ec is io n   tr ee s .   E ac h   n o d o f   d ec is io n   tr ee   co m p o s in g   th e   m o d el   b is ec ts   s tate s   o f   lear n er s   s p ec if ied   w ith   t h p r ed icto r   v ar iab le,   f r o m   t h lear n in g   b eh av io r   in   s o l v i n g   f ill - in - th e - b la n k   te s t.  I is   d esi r ab le  th at  o n o f   t h d iv id ed   n o d es  in cl u d es  m o r l ea r n er s   o f   tar g et  t y p o f   co g n iti v e   lo ad .   Na m e l y ,   th e   i m p u r it y   in   ea ch   n o d o f   t h d ec is io n   tr ee   s h o u ld   b s m all .   T h i m p u r it y   i s   r ep r esen ted   b y   e n tr o p y   ( ) ,   w h ic h   is   ca lc u lated   w it h   th f o llo win g   eq u atio n :     ( ) = 2 = 1 ( )   lo g 2 ( )     T h d if f er en ce   o f   th e n tr o p y   af ter   th b r an c h   f r o m   t h o n b ef o r th b r an ch   s h o u ld   b s m all,   w h ic h   co r r esp o n d s   to   m a x i m izi n g   th in f o r m atio n   g ai n .   T h in f o r m atio n   g ai n   ( )   at  th n o d   is   o b tain ed   f r o m   th f o llo w i n g   eq u atio n :     ( ) = ( ) | | | | 2 = 1 ( )     E ac h   n o d is   d iv id ed   s o   as   t o   m i n i m ize  th e   i n f o r m atio n   g ain .   T o   p r ev en t   th e   d ec is io n   tr ee s   f r o m   o v er f itti n g ,   n o d es  w h o s i n f o r m atio n   g ai n   is   less   t h an   t h r esh o ld   v al u ar n o d iv id ed   an y m o r e,   r eg ar d ed   as  leav es.  L ea r n er s   m atc h i n g   t h b r a n ch i n g   co n d itio n   i n   th e ir   co g n i tiv e   lo ad   ar clas s i f i ed   in   ea c h   n o d e.   E v en t u all y ,   lear n er s   w i th   s p ec if ic  ch ar ac ter is tics   i n   le ar n in g   b eh a v io r   f all  i n to   e ac h   o f   lea f   n o d es.   T h ch ar ac ter is tics   co r r esp o n d   to   r esp o n s v ar iab le.   C o m b in at io n   o f   b r an c h i n g   co n d itio n s   alo n g   p at h   f r o m   t h r o o to   leaf   co r r esp o n d in g   to   h ig h   co g n iti v lo ad   r ev ea ls   f ac to r s   o f   lear n i n g   b e h av io r   w h ic h   af f ec th co g n iti v lo ad .   I n   th an a l y s is   u s i n g   r an d o m   f o r est,  lo o f   d ec is io n   tr ee s   ar u s ed   to   j u d g w h et h er   co g n iti v lo ad   is   i m p o s ed   o n   lear n er s .   I n   t h e   d eter m in a tio n   o f   s p ec if ied   t y p o f   th e   co g n iti v lo ad ,   th e   m o r f r eq u en t l y   a   s p ec if ic  p r ed icto r   v ar iab le  is   u s ed   o v er all  d ec is io n   tr ee s ,   th m o r i m p o r tan t h p r ed icto r   v ar iab le  g ets.   Mo d els  b ased   o n   r an d o m   f o r est  p r esen co n tr ib u t io n s   o f   ea c h   p r ed icto r   v ar iab le  to   th j u d g e m e n o f   co g n iti v e   lo ad   as th v ar iab le  i m p o r tan c e.     3. 5   P re dict ing   c o g nitiv lo a d o f   lea rner s   A   m o d el  is   co n s tr u cted   th r o u g h   tr ai n in g   d ata  co llected   f r o m   m a n y   lear n er s   s o lv in g   f i ll - in - th e - b lan k   test s   w i th   t h a u to m atic  g r ad i n g   s y s te m .   Ne w   lear n er s   also   s o lv f ill - in - th e - b lan k   te s ts   a s   th lear n er s   f o r   th e   tr ain i n g   d id .   T h eir   lear n i n g   b eh av io r   i s   ap p lied   to   th tr ai n ed   m o d els.  E ac h   co g n iti v lo ad   o f   th n e w   lear n er s   is   d eter m in ed   w it h   m aj o r it y   v o tes  b y   t h m o d els.  T ea ch er s   ar n o tif ied   o f   d etec ted   ty p o f   th co g n iti v lo ad   an d   lear n in g   b eh a v io r s   o f   t h lear n er .   W h en   I L   o r   E L   is   h ig h   o r   GL   is   lo w ,   th teac h er   s h o u ld   f o llo w   u p   th e   lear n er s   to   lead   th eir   co g n iti v e   lo ad   to   an   ap p r o p r iate  s tate.   Un d er   ap p r o p r iat s tates  o f   all  t y p es  o f   co g n i tiv lo ad ,   lear n er s   ca n   ac q u ir p r o g r am m in g   s k il ls   m o r e f f ec ti v el y .   I co n tr ib u tes  to   p r ev e n ti n g   lear n er s   f r o m   f aili n g   p r o g r a m m i n g   lea r n in g ,   s u p p r ess i n g   b u r d en s   o f   teac h er s .   T ea ch er s   ca n   u tili ze   s a v ed   ef f o r ts   to   p r ep ar e   b ett e r   lectu r es  to   p r o v id h ig h er   ed u ca tio n al  e f f ec ts .       4.   E XP E R I M E NT   4 . 1   O v er v ie w   An   ex p er i m e n w as  co n d u cte d   to   co n f ir m   w h eth er   t h m et h o d   id en tif ie s   f ac to r s   o f   co g n itiv lo ad .   T h p u r p o s o f   th is   ex p er i m en t is th f o llo w in g s :     C o llecti n g   d ataset s   o f   lear n in g   b eh av io r   o f   lear n er s   a n s w er i n g   f i ll - in - t h e - b lan k   test     Ver if y in g   m o d el s   o f   r an d o m   f o r est g en er ated   f r o m   th d atas ets   Su b j ec ts   ar Vietn a m ese  co ll eg s t u d en t s   w h o   ar lear n in g   p r o g r a m m in g   i n   C   an d   in f o r m at io n   tech n o lo g y .   T h e y   ar e   th e   s ec o n d   y ea r   co lle g e   s t u d en t s .   p r eli m in ar y   s u r v e y   co n f ir m ed   th e y   h a v alr ea d y   lear n ed   C   p r o g r a m m i n g   f o r   b eg in n er s .   At  th t i m o f   t h e x p er i m e n t,  t h er ar v ar io u s   s tu d en t s   i n   ter m s   o f   in ter est s   an d   ab ilit ies  to w ar d   C   p r o g r am m i n g .   T h m ater i als  in   th e x p er i m e n w er p r o v id ed   in   E n g li s h   b ec au s th p r eli m in ar y   s u r v e y   h a s   co n f ir m ed   m o s o f   th e m   ca n   u n d er s ta n d   E n g lis h   f air l y   w ell.   I n   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 A u g u s t 2 0 1 9   :   3 2 6 2   -   3 2 7 1   3268   ex p er i m e n t,  t h s u b j ec ts   s o lv e d   f iv a s s i g n m en t s   o f   f il l - in - t h e - b la n k   test s ,   w h er s ev er al  co d f r ag m e n t s   ar e   b lan k ed   o u t.  T ab le  1   s h o w s   t h ese  ass i g n m e n ts   a n d   th n u m b er   o f   th eir   b lan k s .   C o n ce p ts   o n   th lear n i n g   u n it s   ar g en er all y   d if f ic u lt   i n   p r o g r a m m in g   lear n in g   [ 2 3 ,   2 4 ] .   A s s ig n m en ts   r eg ar d i n g   t h co n ce p ts   ar ex p ec ted   to   r ev ea t h d i f f er e n ce   i n   u n d er s tan d i n g   o f   lear n er s .   T h ass i g n m e n ts   q u e s tio n i n g   t h co n c ep ts   w er c h o s en   s o   th at  u n b iased   d atasets   ca n   b o b tain ed .   T h q u alit y   o f   th ass ig n m e n ts   is   g u ar a n t ee d   b ec au s th ese  ass i g n m e n ts   ar ac t u all y   u s ed   in   p r o g r a m m i n g   cla s s e s   at  R it s u m ei k an   U n i v er s it y .   T h s u b j ec ts   u s w eb s i te  im p le m e n ted   th a u to m a tic  g r ad in g   s y s te m   f o r   f ill - in - t h e - b lan k   tes t   d escr ib ed   in   Sectio n   3 . 2 .   T h e y   ac ce s s   t h e x p er i m e n tal  w e b s ite  w ith   b r o w s er   th at  t h e y   u s u all y   u s e,   an d   lo g   in   w it h   u s er   I an d   p ass w o r d   g iv e n   in   ad v a n ce   to   s o lv ass i g n m e n ts .   T h e y   ca n   s o lv ass i g n m e n ts   i n   an y   o r d er .   T h ey   ca n   s w itc h   a n   a s s ig n m en to   a n o th er   o n   th e   w a y   w i th i n   th ti m li m it.  L ea r n in g   b eh a v io r   o f   s u b j ec ts   is   s to r ed   o n   th s er v er   w it h   as y n c h r o n o u s   co m m u n icatio n   o f   W eb   b ea co n   [ 2 5 ]   i m m ed iatel y   e v er y   ti m lear n er s   ta k p r ed ef i n ed   ac tio n s   s u c h   a s   p r ess i n g   b u t to n s   a n d   r elo ad in g   W eb   p ag es.  Af ter   t h ti m li m it   h as  elap s ed ,   t h e y   f i n is h   s o lv i n g   th a s s i g n m en t s .   T h e y   s u b s eq u en tl y   a n s w er   t h t w o   k in d s   o f   q u e s tio n n air es.   T h o n is   f o r   co g n iti v lo ad   m ea s u r e m e n t,  a n d   t h o t h er   is   f o r   as s ess in g   th e   d eg r ee   o f   d if f ic u lt y   f o r   ea ch   ass i g n m e n t.  T h e y   ev a lu ate  co g n i tiv lo ad   in   1 1 - s ca le,   w h ile   d if f ic u ltie s   f o r   ea ch   t h as s i g n m e n t s   in   5 - s ca le.       T ab le  1 .   A s s i g n m e n t s   o f   f ill - in - th e - b lan k   te s t in   t h e x p er i m en t   A ssi g n me n t   N o .   L e a r n i n g   u n i t s   N o .   o f   b l a n k s   F1   2 - d i me n si o n a l   a r r a y   3   F2   2 - d i me n si o n a l   a r r a y   7   F3   S t r u c t u r e ,   p o i n t e r ,   a n d   l i n k e d   l i st   7   F4   2 - d i me n si o n a l   a r r a y ,   a n d   f u n c t i o n   9   F5   S o r t i n g   a l g o r i t h m   8       4 . 2   Resul t   Data s ets  o f   lear n i n g   b e h av io r   ar o b tain ed   f r o m   5 4   s u b j ec ts .   3   s u b j ec ts   ar ex clu d ed   d u to   th e   in s u f f icien n u m b er   o f   lear n i n g   b eh a v io r .   T h p r o p o s ed   m e t h o d   co n s tr u cted   m o d el s   o f   r an d o m   f o r est   [ 2 6 ]   f o r   th 3   k i n d s   o f   co g n iti v lo ad   u s i n g   t h d ataset s .   T h m o d el   co n s tr u ct io n   r e v ea ls   i m p o r ta n t   v ar iab les  to   d etec I L ,   E L ,   a n d   G L .   T h i m p o r t a n v ar iab les   [ 2 7 ]   ar d eter m i n ed   b ased   o n   Gi n i n d ex   [ 2 8 ] .   P r ed icto r   an d   r esp o n s v ar iab les  f o r   tr ain i n g   w it h   r an d o m   f o r est ar f o llo win g s .     P r ed icto r   v ar iab le:  4 3   f ea tu r es   b ased   o n   th 3   k in d s   o f   lear n i n g   b e h av io r   d escr ib ed   in   Secti o n   3 . 2     R esp o n s v ar iab le : h i g h   o r   lo w   o f   I L ,   E L ,   a n d   GL   o b tain ed   f r o m   t h q u est io n n air e   T h d atasets   ar d iv id ed   in to   d ata  f o r   th m o d el  co n s tr u ctio n   an d   th v er i f icatio n .   I n   o r d e r   to   v er if y   th ac c u r ac y   o f   th e   d ec is io n   t r ee ,   w ad o p ted   6 - f o ld   cr o s s - v alid atio n   [ 2 9 ] .   T a b le  2   s h o ws   t h r es u lt s   o f   t h ac cu r ac y   w h ic h   r ep r ese n ts   th co r r ec r ate  o f   t h v er if icati o n   d ata  w it h   t h cr o s s - v alid at io n .   T h p r ed icto r   v ar iab les  ar ar r a n g ed   in   d esc en d in g   o r d er   o f   th e   av er a g o f   t h i m p o r tan ce .   W ch o o s e   t h to p   1 0   v ar iab les  o f   th e m .   T h to p   1 0   v ar iab les  an d   th eir   i m p o r tan ce   f o r   ea ch   co g n iti v lo ad   ar s h o w n   i n   T ab le s   3 4   an d   5 Var iab le  im p o r tan ce   m ea n s   h o w   m u c h   co n tr ib u tio n   to   th m o d el  o f   r an d o m   f o r est.  T h s u m   o f   t h e m   i s   1 .   T ab le  6   in d icate s   th d if f ic u lti es f o r   ea ch   as s ig n m e n t o b tain e d   b y   t h q u esti o n n a ir e.       T ab le  2 .   A cc u r ac ies o f   t h g e n er ated   m o d els   C o g n i t i v e   L o a d   T r a i n i n g   d a t a   T e st   d a t a   I n t r i n si c   0 . 9 0 7   0 . 7 4 0   Ex t r a n e o u s   0 . 8 7 0   0 . 5 3 7   G e r man e   0 . 9 4 4   0 . 8 7 0       T ab le  3 .   T h to p   1 0   im p o r tan v ar iab les f o r   I L   V a r i a b l e   I mp o r t a n c e   G r a d i n g   r e q u e st s   f o r   b l a n k   4   i n   F 4   0 . 0 7 4   G r a d i n g   r e q u e st s   f o r   b l a n k   1   i n   F 3   0 . 0 6 5   T i me   t r a n s i t i o n s fo r   F 3   0 . 0 5 9   T i me   t r a n s i t i o n s fo r   F 4   0 . 0 4 6   G r a d i n g   r e q u e st s   f o r   b l a n k   3   i n   F 4   0 . 0 4 5   T i me   t r a n s i t i o n s fo r   F 5   0 . 0 4 3   T i me   t r a n s i t i o n s fo r   F 1   0 . 0 3 9   G r a d i n g   r e q u e st s   f o r   b l a n k   5   i n   F 5   0 . 0 3 8   G r a d i n g   r e q u e st s   f o r   b l a n k   5   i n   F 4   0 . 0 3 8   G r a d i n g   r e q u e st s   f o r   b l a n k   5   i n   F 2   0 . 0 3 7     T ab le  4 .   T h to p   1 0   im p o r tan v ar iab les f o r   E L   V a r i a b l e   I mp o r t a n c e   T i me   t r a n s i t i o n s fo r   F 2   0 . 0 8 6   P a g e   t r a n s i t i o n t o   p r e v i o u s   0 . 0 7 7   G r a d i n g   r e q u e st s   f o r   b l a n k   3   i n   F 3   0 . 0 5 2   T i me   t r a n s i t i o n s fo r   F 3   0 . 0 5 0   S u m o f   p a g e   t r a n si t i o n s   0 . 0 4 6   G r a d i n g   r e q u e st s   f o r   b l a n k   5   i n   F 5   0 . 0 4 2   T i me   t r a n s i t i o n s fo r   F 1   0 . 0 4 1   G r a d i n g   r e q u e st s   f o r   b l a n k   1   i n   F 3   0 . 0 3 7   P a g e   t r a n s i t i o n t o   n e x t   0 . 0 3 7   G r a d i n g   r e q u e st s   f o r   b l a n k   3   i n   F 1   0 . 0 3 5     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       P r ed ictin g   co g n itive  lo a d   in   a cq u is itio n   o f p r o g r a mmin g   a b i liti es   ( S o   A s a i )   3269   T ab le  5 .   T h to p   1 0   im p o r tan v ar iab les f o r   G L   V a r i a b l e   I mp o r t a n c e   P a g e   t r a n s i t i o n t o   p r e v i o u s   0 . 1 1 6   G r a d i n g   r e q u e st s   f o r   b l a n k   1   i n   F 2   0 . 0 9 3   T i me   t r a n s i t i o n s fo r   F 4   0 . 0 7 6   G r a d i n g   r e q u e st s   f o r   b l a n k   3   i n   F1   0 . 0 7 0   T i me   t r a n s i t i o n s fo r   F 1   0 . 0 6 6   T i me   t r a n s i t i o n s fo r   F 2   0 . 0 4 9   T i me   t r a n s i t i o n s fo r   F 3   0 . 0 4 5   G r a d i n g   r e q u e st s   f o r   b l a n k   3   i n   F 4   0 . 0 4 3   G r a d i n g   r e q u e st s   f o r   b l a n k   3   i n   F 2   0 . 0 3 6   P a g e   t r a n s i t i o n a h e a d   mo r e   0 . 0 3 5       T ab le  6 .   E v alu atio n   o f   d i f f ic u l t y   lev e f o r   th a s s i g n m e n t s   A ssi g n me n t   N o .   M e a n   V a r i a n c e   F1   2 . 6 3   0 . 7 4   F2   3 . 1 4   0 . 7 4   F3   4 . 1 0   0 . 4 2   F4   3 . 8 7   0 . 5 8   F5   3 . 3 0   0 . 9 7       5.   I M P O RT ANT P RE D I CT O RS   T h is   s ec tio n   ass e s s es  t h u s e f u ln e s s   o f   t h m o d el  o f   r an d o m   f o r est  f o r   co g n i tiv lo ad   alo n g   w it h   th e   in f lu e n ce   o f   t h i m p o r tan v ar iab les  o n   th 3   ty p es  o f   co g n iti v lo ad   o f   th s u b j ec ts .   I also   d is cu s s es   m ea s u r es  teac h er s   s h o u ld   ad d r ess   ag a in s i n ap p r o p r iate  s tates  o f   co g n it iv lo ad .   I ca n   b s aid   th at   v ar iab le s   i m p o r tan to   d is ti n g u is h   s u b j ec ts   o f   h i g h   co g n itiv lo ad   f r o m   o n es  o f   lo w   co g n iti v lo ad   tak lar g el y   d i f f er en t   v alu e s   f o r   t h t w o   k i n d s   o f   s u b j ec ts .     I n tr in s ic  lo ad   Ma n y   o f   t h i m p o r tan v ar iab les  f o r   I L   ar v ar iab les  r elate d   to   ass ig n m e n F3   an d   F4 .   A s   s h o w n   i n   T ab le  6 ,   th s u b j ec ts   ev a lu ate d   F3   an d   F4   th m o s d i f f ic u lt   a m o n g   t h f iv e   ass ig n m en t s .   T h is   r esu lt  i m p lie s   th d if f ic u lt y   o f   as s ig n m e n ts   s tr o n g l y   in f l u e n ce s   to   d etec I L .   L et  u s   ch ec k   th co d f r ag m en ts   b la n k ed   o u i n   th as s i g n m e n ts .   T h i m p o r tan v ar iab les  ar t h n u m b er   o f   g r ad in g   r eq u e s ts   f o r   b lan k s ,   w h ic h   s h o u ld   b e   f illed   w it h   m u ltip le  s tate m e n t s   o r   v ar iab les  in   v alu s et tin g s .   S u b j ec ts   m u s s ee k   co r r ec an s w er   f o r   th e   b lan k s ,   co n s id er in g   th in f l u en ce   o n   o th er   p ar ts   o f   th p r o g r a m .   T h to p   1 0   v ar iab le s   in cl u d th ti m e   t r an s itio n s   f o r   co r r ec an s w er   r ate,   w h ic h   is   e x p lai n ed   in   Fi g u r 2 ,   f o r   th a s s i g n m e n t s   e x ce p f o r   F2 .   Si n ce   th is   lear n in g   b eh a v io r   in d icat es  h o w   s h o r s u b j ec ts   co u ld   h av an s w er ed   co r r ec tly ,   it  is   d ir ec tl y   lin k ed   w ith   th d if f i c u lt y   o f   t h ass ig n m en t.   T h ese  f ac ts   s u g g est  t h at  lear n er s   w i th   h i g h   I L   ex ce s s i v el y   c o n s u m w o r k in g   m e m o r y   to   I L   b ec au s th e y   e n g ag i n   t h ass i g n m e n t s   f o r   lo n g   ti m e.   O n   th o t h er   h an d ,   lear n er s   w it h   lo w   I L   c an   ea s il y   s o l v th e   ass i g n m e n i n   s h o r ti m e .   T ea ch er s   ca n   p r ed ict  I L   o f   lea r n er s ,   f o c u s i n g   o n   t h lear n i n g   b eh a v io r   ag ai n s t   ass i g n m e n ts   w i th   h i g h   d i f f ic u lt y .   T ea ch er s   ca n   m i tig a te  I L ,   p r o v id in g   ass ig n m en ts   o f   lo w   d if f ic u lt y   f o r   lear n er s   w it h   h i g h   I L .     Ger m an lo ad   T h m o s i m p o r ta n v ar iab le  is   th p a g tr an s itio n s   to   t h p r ev io u s   a s s i g n m en t.  T r an s itio n in g   to   t h e   p r ev io u s   as s ig n m en m ea n s   t h at  th s u b j ec ts   r etr y   to   s o lv t h ass i g n m e n t s .   I n   o u r   m et h o d ,   th s u b j ec ts   ca n   s o lv an y   as s i g n m e n ts   o f   f i ll - in - th e - b lan k   te s m a n y   ti m es  with i n   th t i m l i m it.  B ec au s s u b j ec ts   h av s o lv ed   th as s ig n m e n ts   r ep ea ted l y ,   it  s ee m s   th e y   ac h ie v ed   to   estab li s h   s c h e m r elate d   to   th b la n k   a n d   th co n te n ts   o f   th as s i g n m e n t.   T h n ex i m p o r tan v ar iab le s   ar r elate d   to   ass ig n m en t   F1 ,   F2 ,   an d   F4 .   T h co n ten ts   o f   t h e   ass i g n m e n ts   ar r elate d   to   li n ea r   alg eb r a.   T h e y   s h o u ld   b s o lv ed   u s i n g   2 - d i m e n s io n a ar r a y .   A ll  o f   t h s u b j ec ts   h av e   o b tain ed   s k il ls   o f   l in ea r   a lg eb r ca lc u latio n   b ef o r t h e y   lear n   p r o g r a m m in g .   T h e y   h av e   ac h iev ed   ea c h   s k ill  o f   p r o g r a m m in g   an d   li n ea r   alg eb r a   ca lcu latio n .   B ec au s th e y   n ee d   to   s o lv th e   ass i g n m e n ts   u s i n g   b o th   s k il ls   co n cu r r en tl y ,   t h a s s i g n m en t s   s ee m   to   r ev ea l   t h d if f er e n ce   in   s ch e m at izatio n   o f   p r o g r a m m in g   k n o w led g e.   On   t h o t h er   h an d ,   p r ed icto r   v ar iab les r elate d   to   as s i g n m e n F5   ar s m aller .   Ass i g n m e n t   F 5   is   s o l v ed   w it h   s o r tin g   alg o r it h m .   B ec a u s t h s o r ti n g   a lg o r it h m   is   u n k n o w n   f o r   m o s t o f   th s u b j ec ts ,   th e y   s h o w ed   lo w   GL   i n   th a s s i g n m en t   F5 .   T h er ef o r e,   in   o r d er   to   d etec GL   o n   lear n er s ,   it  i s   e f f ec tiv e   to   s o lv a s s i g n m en t s   u tili zi n g   k n o w led g lear n er s   h av alr ea d y   o b tain ed   o r   ass i g n m e n ts   s i m ilar   to   th lear n i n g   u n it.  I n   ad d itio n ,   lear n in g   b eh a v io r s   p r ed ictin g   GL   is   i m p o r ta n to   co n f ir m   h o w   m an y   lear n er s   h av b en ef ited   f r o m   th e   lear n in g   co n ten t s   an d   s u p er v i s io n .   I n   ca s th a f e w   lear n er s   h av b ee n   b en e f ited ,   teac h er s   s h o u ld   r ev ie w   t h e   lear n in g   co n te n t s   an d   s u p er v is io n ,   s o   th at  t h lear n er s   ca n   es tab lis h   s c h e m ata  f o r   p r o g r am m i n g   ab ilit ies.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I n t J   E lec  &   C o m p   E n g ,   Vo l.  9 ,   No .   4 A u g u s t 2 0 1 9   :   3 2 6 2   -   3 2 7 1   3 270     E x tr an eo u s   lo ad   T h m o d el  o f   r an d o m   f o r est  i n   o u r   ex p er i m e n d id   n o s h o w   s u f f icien ac cu r ac y   f o r   th t esti n g   d ata.   T h is   m ea n s   th m o d el  ca n n o t   p r ed ict  lear n er s   E L   f r o m   t h eir   lear n in g   b eh av io r s   i n   s o lv in g   a s s i g n m e n t s   o f   f ill - in - th e - b la n k   test .   I i s   d i f f i cu lt  to   f ig u r o u v ar iab les  o f   lear n in g   b e h av io r   to   d etec E L   b ec a u s e   th er e   ar v ar io u s   k in d s   o f   v ar ia b les  in   t h 1 0   im p o r tan v ar iab les.  T h ca u s o f   th r esu l is   co n s id er ed   th at  th s u b j ec ts   w er u n f a m iliar   w it h   th u s o f   th ex p er i m en ta w eb s ite  w h ic h   i m p le m e n ts   t h au to m atic  g r ad in g   s y s te m .   T h s u b j ec ts   h a v p r ac ticed   w it h   a   s i m p le  as s i g n m e n o f   f ill - in - t h e - b la n k   test   to   g r a s p   u s ag o f   t h w eb s i te.   Ho w e v er ,   it  m i g h n o b en o u g h .   As  an o t h er   ca u s e,   it  i s   also   co n ce iv ab le  t h at  lan g u a g u s ed   in   t h e   ex p er i m e n w a s   n o t th e   p r i m ar y   la n g u a g f o r   th s u b j ec ts .   M o s t o f   t h s u b j ec ts   u n d er s ta n d   E n g l is h .   Ho w ev er ,   it is   n o t e v er y d a y   la n g u a g es.  An s w er i n g   in   n o n - p r i m ar y   lan g u a g s ee m s   to   a f f ec t E L .   I n   o r d er   to   i m p r o v t h ac cu r ac y   o f   t h m o d el  to   d et ec E L ,   i is   n ec e s s ar y   to   p r o v id an   en v ir o n m e n w h er lear n er s   ar f a m i liar   w it h   lear n i n g   en v ir o n m en ts .   W s h o u ld   h a v e   th s u b j ec ts   to   b ac cu s to m ed   to   t h w eb s ite,   le ttin g   t h e m   tr y   t h a u to m atic  g r ad in g   s y s te m   m o r ti m es.  I t   is   al s o   r eq u ir ed   to   r ev is t h w eb s ite  to   b ea s y   t o   u s f o r   th lear n er s .   Ou r   m et h o d   d etec ts   co g n it iv lo ad   f r o m   lear n in g   b eh a v io r   w ith o u at ta ch i n g   an y   s e n s o r s   to   lear n er s .   I t c lar if ies   co g n iti v lo ad   o f   le ar n er s   at  a n   ea r l y   s ta g e,   av o id i n g   e x tr b u r d e n s   n o t o n l y   o n   t ea ch er s   b u t   also   o n   lear n er s .   I is   d i f f ic u lt  to   f in d   o u lear n er s   w h o   h av I L   o r   GL   i n ap p r o p r iately   w it h o u o u r   m et h o d .   T ea ch er s   ca n   ad d r ess   to   m ak ea c h   co g n iti v lo ad   o f   lear n er s   ap p r o p r iate  o n   lig h t b u r d en .       6.   CO NCLU SI O N   I n   th is   p ap er ,   w p r o p o s m o d els  to   d etec co g n i tiv e   lo ad   alo n g   w i th   its   f ac to r s ,   f o u n d in g   o n   th r an d o m   f o r est  al g o r ith m .   W also   d is cu s s   th u s e f u ln e s s   o f   th e   m o d els.  T h m o d els  ar co n s tr u cted   w i th   p r ed icto r   v ar iab les  r ep r esen ti n g   t h r ee   k in d s   o f   lear n in g   b e h av io r .   T h e y   ar e f f ec ti v to   d etec I L   a n d   G L .   T h lear n in g   b eh a v io r   d u r in g   s o l v i n g   d i f f icu lt  as s i g n m e n ts   is   u s e f u to   d etec I L .   I is   e f f ec t iv in   t h e   de tectio n   o f   GL   to   an al y ze   lear n in g   b eh a v io r   o f   lear n er s   en g ag i n g   in   as s i g n m e n ts   t h e y   h a v alr ea d y   lear n ed .   On   th o t h er   h an d ,   E L   ca n   b d etec ted   if   w i m p r o v e   th u s ab ili t y   o f   t h au to m a tic  g r ad in g   s y s te m .   T ea ch er s   ca n   f i n d   lear n er s   w h o   h av i n ap p r o p r iate  c o g n itiv e   lo ad   ea r ly   b ec au s th p r o p o s ed   m e th o d   clar if ie s   co g n iti v lo ad   o f   lear n er s   f r o m   lear n i n g   b eh av io r .   I n   th e   f u tu r e,   w elab o r atel y   clar i f y   th ac c u r ac y   o f   lear n er s   co g n i tiv lo ad   an d   it s   f ac to r s ,   ex te n d i n g   ar ea s   o f   le ar n in g   co n te n ts .       RE F E R E NC E S   [1 ]   J.  Be n n e d se n   a n d   M .   E.   Ca sp e rs e n ,   F a il u re   ra tes   i n   i n tr o d u c to r y   p ro g ra m m in g ,   S IGCS Bu ll . ,   v o l.   3 9 ,   n o .   2 ,   p p .   3 2 - 3 6 ,   Ju n .   2 0 0 7 .   [2 ]   M .   Ok a m o to   a n d   H.  Kita,  s tu d y   o n o v ice m i ss tep in   sh a k y o - st y le   lea rn in g   o c o m p u ter  p ro g ra m m in g ,     in   M e mo irs o th e   c e n ter   f o r e d u c a ti o n a l   re se a rc h   a n d   tr a in in g ,   sh i g a   u n ive rs it y   2 2 ,   p p .   4 9 - 53 2 0 1 4   [3 ]   R.   A .   Re ise a n d   J.  V .   De m p se y ,   T re n d a n d   issu e i n   i n stru c ti o n a d e sig n   a n d   tec h n o l o g y ,   3 rd   e d .   Ne w   Yo rk :   P e a so n ,   2 0 1 2 .     [4 ]   J.  M .   Ke ll e r,   M o ti v a ti o n a d e sig n   f o lea rn in g   a n d   p e rf o r m a n c e ,   th e   a rc m o d e a p p ro a c h ,   Ne w   Yo rk   S p rin g e r,   2 0 1 0 .     [5 ]   P.   P in tri c h A   m a n u a f o th e   u se   o f   th e   m o ti v a ted   stra teg ie f o lea rn in g   q u e stio n n a ire  (m slq ) ,   A n n   A rb o r:  Na ti o n a Ce n ter f o Re se a rc h   to   I m p ro v e   P o stse c o n d a ry   T e a c h in g L e a rn in g ,   1 9 9 0 .     [6 ]   D.  T .   D.  P h u o n g   a n d   H.   S h im a k a w a ,   G ra sp in g   m o ti v a ti o n   a n d   stra teg y   o f   c u rre n stu d e n ts  re f e rrin g   to   p a st  p ro g ra m m in g   c o u rse ,   IEE J   T ra n sa c ti o n o n   Fu n d a me n t a ls a n d   M a ter ia ls ( A) ,   v o l.   1 3 6 ,   n o .   1 2 ,   p p .   7 8 7 - 7 9 6 ,   2 0 1 6 .     [7 ]   R.   G a g n é ,   W .   W a g e r,   K.  G o las ,   a n d   J.  Ke ll e r,   P ri n c ip les   o f   in st ru c ti o n a d e sig n ,   5 th   e d .   Be lm o n t:   W a d sw o rth     P u b . ,   2 0 0 5 .     [8 ]   J.  S w e ll e r,   El e m e n in tera c ti v it y   a n d   in tri n sic ,   e x tran e o u s,  a n d   g e rm a n e   c o g n it iv e   lo a d ,   Ed u c a ti o n a Psy c h o lo g y   Rev iew ,   v o l.   2 2 ,   n o .   2 ,   p p .   1 2 3 - 1 3 8 ,   2 0 1 0 .     [9 ]   S .   S h u h id a n ,   M .   Ha m il to n ,   a n d   D.  D’So u z a ,   Un d e rsta n d in g   n o v ice   p ro g ra m m e d iff icu lt ies   v ia  g u id e d   lea rn in g ,   in   Pro c e e d in g o th e   1 6 th   a n n u a jo i n c o n fer e n c e   o n   in n o v a ti o n   a n d   tec h n o l o g y   in   c o m p u ter   sc ien c e   e d u c a ti o n p p .   2 1 3 - 217 2 0 1 1 .   [1 0 ]   J.  S w e ll e r,   P .   A y re s,  a n d   S .   Ka ly u g a ,   Co g n it iv e   lo a d   t h e o ry ,   S p rin g e r ,   2 0 1 1 .     [1 1 ]   W .   S c h n o tz  a n d   C.   rsc h n e r,   re c o n sid e ra ti o n   o f   c o g n it iv e   lo a d   th e o ry ,   Ed u c a ti o n a Psy c h o l o g y   Rev iew   v o l.   1 9 ,   n o .   4 ,   p p .   4 6 9 - 5 0 8 ,   De c .   2 0 0 7 .   [1 2 ]   K.  E.   De L e e u w   a n d   R.   E.   M a y e r,   A   c o m p a riso n   o f   th re e   m e a su re o f   c o g n it iv e   lo a d Ev id e n c e   f o se p a r a b le  m e a su re o f   in tri n sic ,   e x tran e o u s,  a n d   g e r m a n e   lo a d ,   J o u rn a o Ed u c a ti o n a Psy c h o lo g y ,   v o l.   1 0 0 ,   p p .   2 2 3 - 2 3 4 ,   F e b .   2 0 0 8 .     [1 3 ]   J.  S w e ll e r,   J.  v a n   M e rrien b o e r,   a n d   F .   P a a s,  Co g n i ti v e   a rc h it e c tu re   a n d   in str u c ti o n a d e sig n ,   Ed u c a ti o n a l   Psy c h o lo g y   Rev iew ,   v o l.   1 0 ,   n o .   3 ,   p p .   2 5 1 - 2 9 6 ,   S e p .   1 9 9 8 .   [1 4 ]   E.   Ha a p a lain e n ,   S .   Kim ,   J.  F .   F o rli z z i,   a n d   A .   K.  De y ,   P sy c h o - p h y sio lo g ica m e a su re f o a s se ss in g   c o g n it iv e   lo a d ,   i n   Pro c e e d i n g o f   t h e   1 2 th   a c m i n ter n a ti o n a c o n fer e n c e   o n   u b i q u it o u s   c o mp u ti n g ,   p p .   3 0 1 - 3 1 0 2 0 1 0 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E lec  &   C o m p   E n g     I SS N:  2 0 8 8 - 8708       P r ed ictin g   co g n itive  lo a d   in   a cq u is itio n   o f p r o g r a mmin g   a b i liti es   ( S o   A s a i )   3271   [1 5 ]   F .   P a a s,  J.  T u o v in e n ,   H.  T a b b e rs,  a n d   P .   W .   v a n   Ge rv e n ,   Co g n it iv e   lo a d   m e a su re m e n a a   m e a n to   a d v a n c e   c o g n it iv e   lo a d   t h e o ry ,   Ed u c a t io n a Psy c h o l o g ist ,   v o l .   3 8 ,   n o .   1 ,   p p .   6 3 - 7 1 ,   Ja n .   2 0 0 3 .     [1 6 ]   B.   B.   M o rris o n ,   B.   Do r n ,   a n d   M .   G u z d ial,   M e a su rin g   c o g n it iv e   lo a d   in   in tro d u c to ry   c s:  A d a p tatio n   o f   a n   in stru m e n t,   in   ICE ’1 4   p ro c e e d in g o t h e   ten t h   a n n u a c o n fer e n c e   o n   i n ter n a ti o n a c o mp u ti n g   e d u c a ti o n   re se a rc h ,   p p .   1 3 1 - 1 3 8 2 0 1 4   [1 7 ]   J.  Lep p in k ,   F .   P a a s,  C.   P .   M .   V a n   d e V leu ten ,   T .   V a n   G o g ,   a n d   J.  J.  G .   V a n   M e rriën b o e r,   De v e lo p m e n o f   a n   in stru m e n f o m e a su rin g   d iff e r e n ty p e s   o c o g n it iv e   lo a d ,   Beh a v io Res e a rc h   M e th o d s ,   v o l.   4 5 ,   n o .   4 ,   p p .   1 0 5 8 - 1 0 7 2 ,   De c .   2 0 1 3 .   [1 8 ]   M .   Yo u so o f ,   M .   S a p iy a n ,   a n d   a n d   Kh a ja  Ka m a lu d d in ,   M e a su ri n g   c o g n it iv e   lo a d - a   so l u ti o n   t o   e a se   lea rn in g   o p ro g ra m m in g ,   W o rld   Aca d e my   o S c ien c e ,   E n g in e e rin g   a n d   T e c h n o lo g y   In ter n a ti o n a J o u r n a l   o f   Co mp u ter   a n d   S y ste ms   En g i n e e rin g ,   v o l.   1 ,   n o .   2 ,   p p .   3 2 - 3 5 ,   2 0 0 7 .     [1 9 ]   L.   F rid m a n ,   B.   Re ime r,   B.   M e h le r,   a n d   W .   T .   F re e m a n ,   Co g n it iv e   lo a d   e stim a ti o n   in   th e   w il d ,   in   Pro c e e d in g o f   th e   2 0 1 8   c h c o n fer e n c e   o n   h u ma n   fa c t o rs   in   c o mp u ti n g   sy ste ms ,   p p .   6 5 2 :1 - 6 5 2 :9 ,   2 0 1 8 .   [2 0 ]   K.  Ch a n g ,   B.   Ch iao ,   S .   Ch e n ,   a n d   R.   Hs iao ,   A   p ro g ra m m in g   le a rn in g   s y ste m   f o b e g in n e rs    a   c o m p letio n   stra teg y   a p p ro a c h ,   I EE T r a n s a c ti o n s o n   Ed u c a ti o n ,   v o l.   4 3 ,   n o .   2 ,   p p .   2 1 1 - 2 2 0 ,   M a y   2 0 0 0 .     [2 1 ]   R.   M e d a w e la,  D.  Ra tn a y a k e ,   W.   A b e y a sin g h e ,   R.   Ja y a sin g h e ,   a n d   K.  M a ra m b e ,   Eff e c ti v e n e ss   o f   ‘f il in   th e   b lan k s’  o v e m u l ti p le  c h o ice   q u e stio n i n   a ss e ss in g   f in a y e a d e n tal  u n d e rg ra d u a tes ,   Ed u c a c n   M é d ica ,   v o l.   1 9 ,   n o .   2 ,   p p .   7 2 - 7 6 ,   2 0 1 8 .   [2 2 ]   S .   A s a a n d   H.  S h im a k a wa ,   A u t o m a ti c   sc o rin g   s y ste m   o f   f il l - in - th e - b lan k   tes ts  to   m e a su re   p ro g ra m m in g   s k il ls,”   in   Pro c .   Of  t h e   6 t h   t h e   in ter n a ti o n a c o n fer e n c e   o n   in f o rm a ti o n   tec h n o l o g y   a n d   it a p p li c a t io n s ,   p p .   2 3 - 29 ,   2 0 1 7 .   [2 3 ]   E.   L a h ti n e n ,   K.  A la - M u tk a ,   a n d   H. - M .   rv in e n ,   A   stu d y   o f   th e   d i ff icu lt ies   o n o v ice   p ro g ra m m e rs,”   in   Pro c e e d in g o th e   1 0 t h   a n n u a sig c se   c o n fer e n c e   o n   in n o v a ti o n   a n d   tec h n o l o g y   in   c o mp u ter   sc ien c e   e d u c a ti o n ,   p p .   1 4 - 18 2 0 0 5 .   [2 4 ]   I.   M il n e   a n d   G .   Ro w e ,   Diff ic u lt ies   i n   lea r n i n g   a n d   tea c h in g   p ro g ra m m in g V iew o f   stu d e n ts  a n d   tu t o rs,”   Ed u c a ti o n   a n d   In f o rm a ti o n   T e c h n o lo g ies ,   v o l.   7 ,   n o .   1 ,   p p .   5 5 - 6 6 ,   M a r.   2 0 0 2 .   [2 5 ]   J.  C.   S ip i o r,   B.   T .   W a rd ,   a n d   R.   A .   M e n d o z a ,   On li n e   p riv a c y   c o n c e rn a ss o c iate d   w it h   c o o k ies ,   f l a sh   c o o k ies ,   a n d   w e b   b e a c o n s,”   J o u rn a o f   In ter n e t   Co mm e rc e ,   v o l.   1 0 ,   n o .   1 ,   p p .   1 - 1 6 ,   2 0 1 1 .     [2 6 ]   J.  Ha n ,   M .   Ka m b e r,   a n d   J.  P e i,   D a ta   mi n i n g ,   c o n c e p t   a n d   tec h n i q u e s ,   3 rd   e d .   W a lt h a m M o rg a n   Ka u fm a n n ,   2 0 1 0 .     [2 7 ]   T .   Ha stie,  R.   T ib sh iran i,   a n d   J.   F ried m a n ,   T h e   e le m e n o f   st a ti stica lea rn in g Da ta  m in in g ,   in f e re n c e ,   a n d   p re d ictio n ,   2 n d   e d .   S p r in g e r,   2 0 0 9 .     [2 8 ]   K.  P .   M u rp h y ,   M a c h in e   lea rn in g ,   a   p ro b a b il isti c   p e rsp e c ti v e ,”   Ca m b rid g e M I T   P re ss ,   2 0 1 0 .     [2 9 ]   T .   M .   M it c h e ll ,   M a c h in e   lea rn in g ,”   Ne w   Yo rk M c G ra w - Hill ,   1 9 9 7 .           Evaluation Warning : The document was created with Spire.PDF for Python.