I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in Ed uca t io n ( I J E RE )   Vo l.   9 ,   No .   3 ,  Sep tem b er   2020 ,   p p .   572 ~ 582   I SS N:  2 2 5 2 - 8822 ,  DOI : 1 0 . 1 1 5 9 1 / i j er e . v9 i 3 . 2 0 4 8 2        572       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   A   n ew  learning   m o del  o f  so ft w a re e ng ineering  in    v o ca tiona l educatio n         Dic k y   No f ria ns y a h 1 ,   G a nef ri 2 ,   Ridw a n 3     1 De p a rtme n t  o f   In f o rm a ti o n   S y ste m ,   S T M IK  T rig u n a   Dh a rm a ,   In d o n e sia     2, 3 F a c u lt y   o f   En g in e e rin g ,   Un iv e rsitas   Ne g e ri  P a d a n g ,   In d o n e sia       Art icle  I n fo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J an   1 5 ,   2 0 2 0   R ev i s ed   Ma y   3 0 ,   2 0 2 0   A cc ep ted   J u l   20 ,   2 0 2 0       T h is  re se a rc h   f o c u se d   o n   th e   d e v e lo p m e n t  a   n e w   le a rn in g   m o d e l   in   V o c a ti o n a l   Ed u c a ti o n   t o   a n sw e r  th e   c h a ll e n g e s  o f   th is   In d u strial   Re v o lu ti o n   4 . 0   e ra .   T h e   p r o b lem   id e n ti f ied   w a s  th e   lac k   o f   lea rn in g   o u tco m e s,  e sp e c iall y   su b jec ts  o rien te d   to   so f tw a re   e n g in e e rin g   f o r  in f o r m a ti o n   s y ste m s  stu d e n ts    in   p a rt icu lar  a n d   o th e r  c o m p u ter  sc ien c e   se e n   in   t h e   p h e n o m e n o n   o f     th e   in a b il it y   o f   stu d e n ts  t o   p ro d u c e   in telli g e n t  s y ste m s.   F ro m   a   se ries   o f  v a li d it y ,   p ra c ti c a li t y ,   a n d   e ff e c ti v e n e ss   tes t  re su lt s,  u se   c o n ten t  v a li d it y   w it h   A i k e n ' V   a n d   c o n s tr u c t  v a li d it y   w it h   CF A   (Co n f ir m a to r y   F a c to r  A n a l y sis)   sta tes   th a t  t h e   m o d e l   re su lt i n g   f ro m   th is  st u d y   is  sta ted ,   v a li d ,   p r a c ti c a l  a n d  e ffe c ti v e .   T h is  stu d y   a lso   p ro d u c e d   a   n e w   lea rn in g   m o d e l  w it h   f iv e   sy n ta x e s,   n a m e l y   (1 )  De f in e   P ro b lem   a n d   De sig n   a   P lan   P r o jec t ,   ( 2 )  I n tera c ti o n   w it h   S u p p o rt   S y ste m ,   (3 )  Cre a te  a   P r o jec t,   (4 )   Ke e p   c o n tr o l  a n d   M o n i to ri n g   P r o jec t,   (4 )  Yie l d   a n d   A ss e ss m e n t   o f   P r o jec t.   A n d   b a se d   o n   t h e   tes t  o f     th e   v a li d it y   o f   th e   s y n tax   o f   th is m o d e l  sta ted   g o o d n e ss - of - f it   o r  v a li d .   K ey w o r d s :   A r ti f icial  i n tel lig e n ce   I n telli g en t tu to r i n g   s y s te m   L ea r n i n g   m a n a g e m en t  s y s te m   Ne w   lear n i n g   m o d el   P r o j ec t b ased   lear n in g   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Dick y   No f r ia n s y ah ,   D ep ar t m en t o f   I n f o r m atio n   S y s te m ,   ST MI K  T r ig u n a  D h ar m a ,   J l.  A b d u l H ar is   Nas u tio n ,   Me d an ,   Su m ate r a  Utar a,   2 0 1 2 2 ,   I n d o n esia.    E m ail:  d ic k y n o f r ia n s y a h @ y m ail. co m       1.   I NT RO D UCT I O N     T h e  w o r ld   is   cu r r e n tl y   i n   an   e r a  o f   tech n o lo g ica l  d is r u p tio n ,   an d   d ig ital  liter ac y   ca lled   t h e   I n d u s tr ial   R ev o l u tio n   4 . 0 .   On e  f ac to r   s tu d e n ts   m u s t  h a v e  is   cr itical  th in k i n g   [1 ,   2] .   T h e  h allm ar k   o f   t h is   er a  is     th e  ex te n s iv e  a n d   s tr u ct u r ed   u s e  o f   i n f o r m atio n   an d   co m m u n ica tio n   tec h n o lo g y   ( I C T )   in   asp ec ts   o f   h u m a n   lif e  s u ch   a s   s o cial,   ec o n o m ic   an d   ed u ca tio n al  asp ec ts .   T h e  p r o ce s s   o f   d ig itizatio n ,   h u m an   a n d   co m p u ter   in ter ac tio n ,   au to m atic  ex c h a n g e  o f   d ata  an d   c o m m u n icatio n ,   th e  d is to r tio n   o f   v ar io u s   h u m a n   ac tiv ities ,   an d   th e  u s e  o f   i n f o r m atio n   tec h n o lo g y   to o ls   i n   t h e  f ield   o f   s cie n ce   a n d   tech n o lo g y   ( s cie n ce   an d   tech n o lo g y )   ar e   ch ar ac ter is tic  i n   th i s   er a.   I n   th is   co n d itio n ,   th e  co u n tr y   n e ed s   to   is s u e  s tr ate g ic  p o licies   in   d ea lin g   w it h   it,   in cl u d in g   I n d o n es ia  [ 3 ] .   T h e  cu r r en t  g o v er n m e n t   th r o u g h   t h e  Mi n i s tr y   o f   T ec h n o lo g y   R esear c h   a n d   Hi g h er   E d u ca tio n   ap p ea led   to   th e  lead er s   o f   h i g h er   ed u ca tio n ,   esp ec iall y   in   v o ca tio n al  ed u ca tio n   an d   tr a in i n g   to   i n n o v ate,   in cl u d in g   cu r r ic u lu m   r ec o n s t r u ctio n .   T w o   th i n g s   w er e  ta r g eted   in   th is   r ec o n s tr u ctio n   p r o ce s s   in clu d i n g     ( a)   g iv i n g   s t u d en ts   b r o ad er   s k i lls   o r   co m p ete n cies  s u c h   as c o d in g ,   b ig   d ata  a n al y s is ,   a n d   ar tif icial  i n tel lig e n ce ,   ( b )   ch an g in g   t h e  l ea r n in g   p r o ce s s   f ac e  to   f ac e  i n to   b len d ed   l ea r n in g   a n d   f u ll y   o n lin e   lear n i n g   as  a  n e w   f o r m a t   o f   th e  lear n in g   p r o ce s s .   B esid es  th e  lear n i n g   p r o ce s s ,   th er e  ar e  ch allen g e s   an d   o p p o r tu n itie s   f r o m     th e  d ev elo p m en t   o f   v o ca tio n a l  ed u ca tio n   in   I n d o n es ia,   esp e ciall y   i n   t h e  f ield   o f   i n f o r m ati o n   an d   tec h n o lo g y .   T h er e  ar e  t w o   tech n ical  c h al len g e s ,   n a m e l y :   ( a)   tech n o lo g ical  d ev e lo p m en t  an d   e x p o n en tial  d ata  s u c h   a s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       A   n ew lea r n in g   mo d el  o f so ftw a r e  en g in ee r in g   in   vo ca tio n a l  ed u ca tio n   ( Dick y  N o fr ia n s ya h )   573   tech n ical  s k ill s ,   an a l y t ical  s k ills ,   e f f ic ien c y   i n   ad o p tin g   d ata,   co d in g   s k il ls ,   a n d   th e  ab ilit y   to   u n d er s t an d   in f o r m atio n   tec h n o lo g y ,   a n d   ( b )   f o s ter in g   co llab o r ativ e  w o r k   s u ch   as  b ei n g   ab le  to   w o r k   in   tea m s ,     h av i n g   v ir tu al   co m m u n icat io n   s k ill s ,   h a v e  s k i lls   i n   t h e  f ield   o f   lear n i n g   m ed ia,   an d   th e  ab ilit y   to   h av e   co o p er ativ e  s k ill s   [ 4 ] .   T h e  s u b s tan ce   o f   2 1 s t - ce n tu r y   lear n i n g   [ 5 ] ,   th r ee   s k i lls   b ec o m e  t h e  tar g et  o f   lear n i n g   co n ten t,   n a m e l y :   ( a)   s k ills   a n d   i n n o v ati o n   lear n i n g   s o   t h at  s tu d e n ts   h a v e  cr itical  t h i n k in g   s k ills ,   co m m u n icat io n   s k i lls ,   co llab o r ativ e  ab ilit ies,  an d   h av e  cr ea tiv it y ,   ( b )   d ig ital  l it er ac y   s k ill s   w h ic h   i n cl u d e  li ter ac y   in f o r m a tio n ,   m ed ia,   in f o r m a tio n   a n d   co m m u n icat io n   tec h n o lo g y ,   a n d   ( c)   ca r ee r   an d   lif e  s k i lls   w h ic h   i n clu d e  f le x ib ilit y ,   in itiat iv e,   p r o d u ctiv it y ,   an d   ad ap tab ilit y .   C h r o n o s y s te m   m u s t  b e  ab le  to   in teg r ate  s ev e r al  elem e n t s ,   b o th   p h y s i ca l,  d ig i tal  a n d   b io lo g ic al   [ 6 ] .   T h ese  ele m e n ts   ca n   b e  u s ed   as   a  p ar t  to   s tr e n g t h en   th e   p r o ce s s   o f     d ig ital  liter ac y ,   s o cial  li ter ac y ,   an d   tech n o lo g ical  li ter ac y .   T h ese  ef f o r ts   w er e  m ad e  to   p r o v id e  ad d ed   v alu e  an d   co m p etiti v en e s s   f o r   v o ca ti o n al  ed u ca tio n   g r ad u ates i n   t h e  in d u s tr ial  r ev o lu tio n   4 . 0 .     T h e  lear n in g   o u tco m e s   o f   a  lear n in g   co u r s e  b ec o m e  a  b en ch m ar k   o f   s u cc ess   o f   th e  l ec tu r er   i n   d eliv er in g   teac h i n g   m ater ial.   Fo r m   r elate d   to   lear n i n g   o u tc o m e s ,   esp ec iall y   t h o s e  o b tai n ed   f r o m   al u m n i   an d   s tu d e n ts   m aj o r in g   in   co m p u t er   s cien ce   an d   i n f o r m atio n   s y s tem s   th at   ar e  o r   h a v e  co m p leted   th eir   f i n al  p r o j ec t  s u c h   as   a  t h esi s .   B ased   o n   t h e  p r eli m in ar y   s u r v e y   d ata,   t h e  a v er ag e  s t u d en t  w h o   g ets   a  g o o d   g r ad e  h as     th e  ab ilit y   at   lev e l - 2   ( u n d er s ta n d in g )   b ased   o n   th e  B lo o m 's  t ax o n o m y .   T h is   is   r e f lecte d   d u e  to   th e  in ab ilit y   o f   s tu d e n ts   to   an al y ze   p r o b le m s ,   co m b i n e  r elate d   elem e n t s ,   en co d e,   an d   d ev elo p   s o f t w ar e.   W h er ea s   it  is   ex p ec ted   th at  lear n i n g   o u tco m es  w il l  b e  at  least  lev el  4   ( an al y s is )   u p   to   lev el  6   ( cr ea tio n s )   r elev a n t  to     th e  I n d o n e s ia n   Natio n al  Q u ali f icatio n   Fra m e w o r k   w h ic h   p la ce s   g r ad u ate s   o f   Gr ad e  6   g r ad u ates  ( a n   a n al y s t) .   T h er e  ar e  2   f ac to r s   th at  ca u s e  th e   ab ilit y   o f   s tu d e n ts   a t  th is   lev e l  b ased   o n   t h e  i n iti al  id en ti f icatio n   o f     th e  p r o b lem ,   in cl u d i n g   ( 1 )   th e  f ac to r   o f   th e  s u b s ta n ce   o f   teac h in g   m a ter ial.   B ased   o n   th e  ab o v e  co n d itio n s ,   asp ec ts   o f   co m p eten c y   ac h ie v ed   b y   s tu d e n ts   at  th i s   ti m e  ar e  o n l y   li m ited   to   asp ec ts   o f   k n o w led g e  s u ch   as   m at h e m a tical  co m p eten c ies  an d   g en er al  s k ill s   asp ec ts   s u c h   as  co m p eten cie s   f r o m   p r o ce s s in g   d a ta  in f o r m atio n .   W h ile  o th er   asp ec ts   o f   s k ill s   s u c h   as  co m p eten cies  in   s o f t w ar e  en g i n ee r in g   an d   co m p ete n cies  i n   s m ar t s y s te m s   ar e  n o t a ch ie v e d   [ 7 ] .   B ased   o n   th e  co n d itio n s   ab o v e,   in n o v a tio n   o r   ef f o r ts   to   s y n ch r o n ize  th e  u n d er s ta n d i n g   o f   alg o r ith m s   an d   tr an s late  t h e m   i n   s o u r c e  co d e  ar e  n ee d ed   to   i m p r o v e  s t u d en t  co m p eten c y   a n d   lear n in g   ab ilit y .     So m e  r esear c h   i s   d o n e  b y   u s in g   s ev er al   co n ce p ts   a n d   ap p r o ac h es  in   lear n i n g   al g o r ith m s   s u ch   as  ac tiv e   lear n in g .   B ased   o n   th i s   ac ti v e  lear n in g   ap p r o ac h ,   th e  r e s u lts   o f   lear n i n g   al g o r ith m s   b y   ad o p tin g   m at h e m atica l   co n ce p ts   an d   ca lc u l u s   ar e  b ett er   th an   o t h er   ap p r o ac h es   [ 8 ] .   I n   ad d itio n ,   in   t h e  co n tex t  o f   h o w   to   u n d er s tan d   th e  b asics   o f   co m p u ter   p r o g r a m m i n g   ca n   b e  d o n e  b y   s ev er al  m e th o d s ,   in c lu d i n g   r ec itatio n   m e th o d s .     T h is   r ec itatio n   m eth o d   is   a  m eth o d   th at  m a k es  t h e  lear n er   as  a  f ac il itato r   an d   g iv e s   th e  task   to   s tu d e n ts   t o   lear n   s o m et h i n g   i n d ep en d en tl y   a n d   r ep o r t   h o w   th e  r es u lts   a r e  [ 9 ] .   I n   a d d itio n ,   th er e  h av e  b ee n   s ev er al  ef f o r ts   th at  h av e  b ee n   m ad e,   in c lu d i n g   h o w   to   b u ild   a  lear n i n g   m an a g e m e n t  s y s te m   i n   lear n i n g   t h e  s tr u ct u r e  o f   alg o r ith m s   a n d   p r o g r a m m in g   [ 1 0 ] .   On e  i n n o v atio n   in   i m p r o v i n g   t h e  r es u lts   o f   t h e  lear n in g   p r o ce s s   i s  t h e  ap p licatio n   o f   ar ti f icial   in telli g e n ce .   Utilizatio n   o f   ar tif icial  i n telli g e n ce   is   ex p ec ted   to   b e  ab le   to   c o n v e y   i n f o r m atio n   an d   b e     a  s o lu tio n   f o r   th e  ap p licatio n   o f   cy b er s ec u r i t y .   I n   ad d itio n ,   b y   ap p ly i n g   ar tif icial  i n telli g en ce   w ill  p r o v id e  ad d ed   v alu e  f r o m   s ev er al  asp ec ts   o f   lear n i n g ,   i n clu d i n g   th e  tu to r in g   p r o ce s s ,   in d ep en d en t  lear n i n g ,   te s tin g ,   an d   co m p u ter ized   te s ti n g   [ 1 1 ] .   T h e  p r o b lem s   t h at  ar is e  t o d ay   in   t h e  m id s t  o f   s o ciet y   an d   th e  w o r ld   o f   ed u ca tio n   ar e  tec h n o lo g ical   d is tu r b an c e s   i n   ed u ca t io n .   T h e  p r o b lem   o f   tech n o lo g ical  d is t u r b an ce s   i s   d ev elo p in g   s o   t h at  t h er e  n ee d   to   b e  s tr ateg ie s   an d   i n n o v ati v e  ef f o r ts   t h at  ar e  ab le  to   an s wer   th ese  c h alle n g es.   On e  o f   t h e  ef f o r ts   m ad e  in   ad o p tin g   tec h n o lo g y   a n d   ar tif ic ial   in telli g e n ce   in   ed u c a tio n   [ 1 2 ] .   Du r in g   th i s   ti m e  t h e  u s e  o f   in f o r m at io n   an d   co m m u n icatio n   tech n o lo g y   ( I C T )   in   th e  f ield   o f   lear n in g   f o cu s es  o n   h o w   t o   co n v e y   i n f o r m at io n   an d   in ter ac tio n s   b etw ee n   s tu d e n ts   an d   teac h er s   s u ch   as  th e  d esig n   o f   L MS   ( L ea r n in g   Ma n a g e m en t   S y s te m ) .   T h e  e x is tin g   L M S  d o es  n o t  ap p l y   ar tific ial  i n telli g e n ce   i n   it  t o   o p tim ize  lear n i n g   o u tco m e s .   I n   th i s   s t u d y   w il l  b e  d ev elo p ed   in   ad d i tio n   to   L MS  as  a  s u p p o r t  s y s te m   to   co n v e y   in f o r m at io n ,   b u t  t h er e  is   also   a  co m p u ter - b ased   t est  an d   m ac h i n e  lear n i n g   in   it.  C o m p u ter - B ased   T ests   ar e  co n s tr u cted   to   ass i s t   teac h er s   i n   co n d u ct in g   as s ess m en ts ,   an d   m ac h in e  lear n i n g   ar e  u s ed   to   ass is t  i n   tu to r in g   al g o r ith m   lear n i n g   [ 1 3 ] .   T h e  cu r r en t  lear n in g   I n tel lig e n t  T u to r in g   S y s te m   a n d   ar tif ic ial  in telli g en ce   ar e  v er y   m u ch   n ee d ed   in   lear n in g   in   i m p r o v i n g   lear n i n g   o u tco m es  in   th i s   d i g itali za tio n   er a.   I n te lli g en t   T u to r in g   S y s te m   ca n   b e   in ter p r eted   as  a  co m p u ter   ap p licatio n   t h at  ca n   m i m ic  o r   d u p l icate   w h at  h u m a n s   d o .   I n   t h e  i n telli g e n t  t u to r in g   s y s te m ,   t h er e  ar e  f i v e   ele m e n ts   o r   co m p o n e n t s   i n clu d i n g   th e  ex p er t  m o d el,   s t u d en t  m o d el,   in s tr u cto r   m o d el   an d   u s er   in ter f ac e  [ 1 2 ] .   I n telli g en t  T u to r in g   S y s te m   ca n   b e  u s ed   f o r   v ar io u s   ac ti v itie s ,   es p ec iall y   in   lear n i n g .   Am o n g   t h e m   ar e  P h o to s h o p   lear n in g   [ 1 4 ] .   B esid es  th at,   th e r e  is   also   lear n in g   C r y p to g r ap h y   Da ta  E n cr y p tio n   Stan d ar d   ( DE S)  w it h   t h e  c o n ce p t  o f   a n   i n telli g e n t  t u t o r in g   s y s te m ,   an d   t h e  r e s u l ts   o f   th i s   lear n i n g     ar e  g o o d   [ 1 5 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   3 ,  Sep tem b er   2 0 2 0 :   5 7 2   -   582   574   P r o j ec t - B ased   L ea r n in g   Mo d el  is   a  co n s tr u c t  b ased   lear n in g   m o d el.   W h i le  b ased   o n   cu r r en t   co n d itio n s ,   t h e  th eo r y   o f   lea r n in g   ad o p ted   is   co n s tr u cti v i s m .   T h e  w ea k n e s s   t h at  ex i s t s   in   p r o j ec t - b ased   lear n in g   s o   f ar   is   th at   m o s t  s tu d en t s   ca r r y   o u t  i n s tr u ctio n s   b ased   o n   t h e  p r o j ec t  p lan   [ 1 6 ] .   I n   an   e f f o r t  to   i m p r o v e  th e  q u a lit y   o f   lear n in g ,   a  lo t  o f   r esear ch   a n d   r esear ch   th a t  tr ies  to   ad o p t  t ec h n o lo g y   i n   th i s   co n s tr u cted   m o d el,   as  w ell  as  a  co m b i n atio n   o f   p r o j ec t - b ased   lear n in g   w i th   s o cial  m ed ia.   Fro m   th i s   r esear ch ,   it  ca n   b e  s ee n   th at  th er e  is   an   in cr ea s e  in   lear n in g   o u tco m es  f r o m   t h o s e  o n l y   i m p le m en ti n g   p r o j ec t - b ased   lear n in g   ad o p tin g   tech n o lo g ie s   s u c h   as  s o cial  m ed ia  [ 1 7 ] .   Fro m   t h e  co g n iti v e  asp ec t  it  tu r n s   o u t  th a t  p r o j ec t - b ased   lear n in g   t h at  ad o p ts   tec h n o lo g y   in   lear n i n g ,   it  t u r n s   o u t  t h at  t h e  v alu e   o f   t h e  e x p e r i m en tal  g r o u p   an d     th e  co n tr o l  g r o u p   th at  ad o p ts   C AL   ( C o m p u ter   A s s is ted   L e ar n in g )   [ 1 8 ]   o r   c o m p u ter   ass i s ted   test   ar e  b etter   th an   t h o s e  th a t  d o   n o t  im p le m en t   [ 1 8 ,   19] .   Fro m   th e s e  6   s y n tax e s   o f   P jB L   th en   d ev e lo p ed   to   R s - P j B L   ( R eso u r ce   S h ar in g - P r o j ec t  B a s ed   L ea r n in g )   w h er e  th i s   m o d el  w ith   7   s y n ta x es  [ 2 0 ] .   T h e  a p p r o ac h   ad o p ted   in   lear n in g   t h e  in d u s tr ial  r e v o l u tio n   4 . 0   th er e  ar e  s ev er al  co n ce p ts   in c lu d i n g   o n lin e  lear n in g ,   co llab o r atio n ,   cr ea tiv it y ,   th e  t h eo r y   o f   co n n e ctiv it y ,   an d   t h e  h e u ta g o g y   ap p r o ac h   [ 2 1 ] .        2.   RE S E ARCH   M E T H O D    T h e  m eth o d   u s ed   in   th is   r esea r ch   is   t h e  r esear c h   a n d   d ev elo p m e n t  ( R & D)   m o d el  B o r g   a n d   Gall  an d   co n tin u ed   ex p er i m e n tat io n .   T h e  d ev elo p m e n t  m o d el  i n   th i s   s tu d y   co n d u cted   th r o u g h   s e v er al   s tag es  s tar tin g   f r o m   th e  co n ce p t u al  m o d el  p h ase,   th eo r etica l  m o d els,   th en   h y p o t h etica l  m o d el s ,   an d   f in al  m o d els .     T h e  d ev elo p m e n t  o f   t h e  m o d el  in   t h i s   s t u d y   is   ca l led   th e  P r o j ec t  B ased   L ea r n in g   Mo d el  in to   t h e  DI C K Y   Le ar n i n g   Mo d el  b ased   o n   th e  I n telli g en t  T u to r in g   S y s te m .   T h e  d ev elo p m e n t  m e th o d   in   t h i s   r esear ch   r ef er s   to   th e  R & D  s ta g e  m o d el  w h ic h   B o r g   an d   Gall  M o d el.   T h e   d ev elo p m e n t  r esear ch   p r o ce d u r e  ab o v e  ca n   b e   s i m p li f ied   b y   f i v e   m a in   s tep s   as  s h o w n   i n   Fi g u r e  1 .   T a b l e  1   s h o w s   t h e  s ta g es  o f   th e  p r o ce d u r e  f o r   d ev elo p in g   a  DI C KY  L ea r n i n g   Mo d el  b as ed   o n   th e  I n telli g e n t T u to r in g   S y s te m .           Fig u r e  1 .   P h ase  o f   d ev elo p in g   lear n in g   m o d el           P h a s e   1 : C o n d u c t   A n a l y s i s   o f   P r o d u c t     D e v e l o p e d P h a s e   2 : D e v e l o p i n g   I n i t i a l   P r o d u c t P h a s e   3 : E x p e r t   V a l i d a t i o n   a n d   R e v i s i o n P h a s e   4 : S m a l l   S c a l e   F i e l d   T r i a l   a n d   P r o d u c t   R e v i s i o n P h a s e   5 : L a r g e - S c a l e   T r i a l s   a n d   F i n a l   P r o d u c t Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       A   n ew lea r n in g   mo d el  o f so ftw a r e  en g in ee r in g   in   vo ca tio n a l  ed u ca tio n   ( Dick y  N o fr ia n s ya h )   575   T ab le  1 .   A citiv i ties   o f   d e v e lo p in g   DI C KY   lear n in g   m o d el   P h a se s   A c t i v i t i e s   C o n d u c t   A n a l y si s o f   P r o d u c t s  d e v e l o p e d   I n   P h a se   I   ( A n a l y si s )   i n   t h i s  D e v e l o p me n t   P r o c e d u r e ,   t h e r e   a r e   se v e r a l   t h i n g s  d o n e ,   i n c l u d i n g   p r o b l e m  a n a l y si s,  n e e d s  a n a l y si s  ( b o t h   i n   t e r ms  o f   l e a r n i n g   a n d   so f t w a r e   d e si g n   i n   su p p o r t i n g   t h e   l e a r n i n g   p r o c e ss) .   A n d     D e v e l o p i n g   I n i t i a l   P r o d u c t s   I n   P h a se   I I ,   t h e   d e v e l o p me n t   o f   l e a r n i n g   i s  a f f i l i a t e d   w i t h   t h e   sy st e m  d e si g n   o n   t h e   d e v e l o p me n t   o f   l e a r n i n g   d e v i c e s.    Ex p e r t   V a l i d a t i o n   a n d   R e v i si o n   A t   t h i s  s t a g e ,   n a me l y   t h e   v a l i d a t i o n   b y   e x p e r t s  o f   t h e   p r o d u c t   b e i n g   d e v e l o p e d .   T h e   de t a i l s  o f   t h e   a c t i v i t i e s  c a r r i e d   o u t   i n   st a g e s  a r e :   a .   F G D   ( F o c u s  G r o u p   D i s c u ss i o n ) :   i s   a   f o c u s  g r o u p   d i s c u ssi o n   w h e r e   sci e n t i f i c   d i sc u ssi o n   i s  u se d   f o r   se v e r a l   t h i n g s,  n a me l y :   1 .   d i g g i n g   i n - d e p t h   i n f o r mat i o n   a b o u t   t h e   i n i t i a l   p r o d u c t   d e v e l o p e d   i n   t h e   f o r m  o f   t h e   D I C K Y   M o d e l   a n d   l e a r n i n g   t o o l s,  2 .   d e v e l o p i n g   r e se a r c h   h y p o t h e se s,  3 .   c o l l e c t i n g   d a t a   n e e d e d   t o   d e v e l o p   p r o d u c t s  i n   t h e   f o r m  o f   c o n st r u c t i v e   su g g e st i o n s   a n d   c r i t i c i sms .   T h e   n u m b e r   o f   e x p e r t s  a n d   v a l i d a t o r s  i s  6   i n   e a c h   p h a se   c o n s i st i n g   o f   p r o f e sso r s   a n d   e x p e r t s   i n   t h e   f i e l d   o f   V o c a t i o n a l   a n d   o t h e r s.   T h e r e   a r e   ma n y   c r i t e r i a   u se d   i n   v a l i d a t i n g   t h e   c o n st r u c t   o f   l e a r n i n g   mo d e l   sy n t a x .   F o r   S y n t a x   1   t h e r e   a r e   8   e v a l u a t i o n   c r i t e r i a ,   S y n t a x   2   t h e r e   a r e   1 2   e v a l u a t i o n   c r i t e r i a ,   S y n t a x   3   t h e r e   a r e   1 1   e v a l u a t i o n   c r i t e r i a ,   S y n t a x   4   t h e r e   a r e   1 0   e v a l u a t i o n   c r i t e r i a ,   a n d   S y n t a x   5   t h e r e   a r e   8   e v a l u a t i o n   c r i t e r i a .   A l l   i n d i c a t o r s  a r e   p r o c e sse d   u s i n g   t h e   c o n c e p t   o f   C o n f i r man t o r y   F a c t o r   A n a l y si s (CFA ) .   S mal l   S c a l e   F i e l d   T r i a l s a n d   P r o d u c t   R e v i si o n s   A t   t h i s st a g e ,   t h e   i n i t i a l   t e st i n g   a n d   i n t e g r a t i o n   a r e   d o n e .   T h e   a c t i v i t y   c a r r i e d   o u t   i s sm a l l - sca l e   i n i t i a l   t e st i n g   i n v o l v i n g   r e se a r c h   su b j e c t s  a n d   i n t e g r a t i n g   l e a r n i n g   p r o d u c t s  a t   w w w . l e a r n i n g mc d a . c o m.  T h e   p r e - t e st   i s   t o   p r o v i d e   a   p r e l i mi n a r y   t e st   t o   se e   t h e   c o g n i t i v e   v a l u e   o f   so f t w a r e   e n g i n e e r i n g   st u d e n t s  i n   u n d e r st a n d i n g   a   me t h o d   i n   a   d e c i si o n   su p p o r t   sy st e m .  I n   a d d i t i o n ,   a t   t h i s  st a g e ,   t h e   v a l i d i t y ,   p r a c t i c a l i t y   a n d   e f f e c t i v e n e ss  o f   t h e   D I C K Y   L e a r n i n g   M o d e l   b a se d   o n   t h e   I n t e l l i g e n t   T u t o r i n g   S y st e m  w i t h   a   s t a t i s t i c a l   a p p r o a c h .   T h e   n u m b e r   o f   samp l e s  i n   t h i s p h a se   a r e   2 1   st u d e n t s  m a j o r i n g   i n   S o f t w a r e   a n d   I n f o r mat i c s E n g i n e e r i n g .    L a r g e - sca l e   T r i a l s  a n d   F i n a l   P r o d u c t s   T h e r e   a r e   s e v e r a l   t h i n g s  d o n e   a t   t h i s   st a g e ,   n a me l y :   t h e   f i n a l   e v a l u a t i o n   a f t e r   a   l a r g e - sca l e   t r i a l   a n d   t h e   d i sse mi n a t i o n   p h a se .   T h e   n u m b e r   o f   sam p l e s  i n   t h i s   p h a se   w e r e   3 2   st u d e n t s   ma j o r i n g   i n   I n f o r mat i c s  E n g i n e e r i n g   w h i c h   w e r e   d i v i d e d   i n t o   2   c l a sse s  n a me l y   c o n t r o l   a n d   e x p e r i me n t   c l a sse s.   T h e   c o n t r o l   c l a ss  i s  a   c l a ss   t h a t   a d o p t s  a   P r o j e c t   B a se d   L e a r n i n g   mo d e l   w h i l e   t h e   Ex p e r i me n t   C l a ss   i s  a   c l a ss  t h a t   a d o p t s   t h e   D I C K Y   L e a r n i n g   mo d e l .   A t   t h i s   s t a g e ,   t h e   f i n a l   e v a l u a t i o n   i s   c a r r i e d   o u t   b y   c o n d u c t i n g   a   F o c u s  G r o u p   D i scu ssi o n   b e f o r e   t h e   p r o d u c t   p r o d u c e d   w i l l   b e   d i sse mi n a t e d .   T h e   p r o d u c t   t h a t   h a s  b e e n   e v a l u a t e d   i s t h e   r e su l t   o f   r e se a r c h   a n d   d e v e l o p me n t   o f   t h e   D I C K Y   L e a r n i n g   M o d e l   b a se d   o n   t h e   I n t e l l i g e n t   T u t o r i n g   S y st e m.        3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .   Ra t io na lity   Vo ca tio n al  o r   v o ca tio n al  tec h n o lo g y   ed u ca tio n   i s   id en tifie d   as  ed u ca t io n   t h at  p r ep ar es  lea r n er s   to   b e   ab le  to   w o r k .   Ne w   c h alle n g e s   in   t h e  w o r ld   o f   v o ca tio n a l  tech n o lo g y   ed u ca tio n   o r   v o ca tio n al  ar e  r elate d   to   s u p p o r tin g   f ac il ities   a n d   in f r as tr u ctu r e.   T h e  ab ilit ies  a n d   s k i l ls   th at  m u s t  b e  ac h iev ed   b y   u n iv er s it y   g r ad u ates,   esp ec iall y   i n f o r m atics,  h av e  b ee n   r eg u lated   [ 7 ] .   On e  o f   th e  ef f o r t s   th at   ar e   ex p ec ted   is   to   in cr ea s e  th e  le v el  o f   lear n in g   ab ilit y   f r o m   lev el  2   to   lev el  3   to   6   ac co r d in g   to   th e  s tr ateg y   b ased   o n   ta x o n o m y   b l o o m .     3 . 2 .   P hil o s o py   T h e  DI C KY  L ea r n i n g   Mo d el  is   a  d ev elo p m en t  o f   th e  R es o u r ce   Sh ar in g   Mo d el  -   B len d ed   Pro j ec t  B ased   L ea r n in g   [2 0 ,  2 2 ] .   I n   t h at  s t u d y ,   it  w as  s ee n   th a t  th e r e  w as  a  co m b in a tio n   o f   clas s r o o m   lear n i n g   an d     th e  u s e  o f   co m p u ter   tec h n o lo g y .   I n   th e  i n d u s tr ial  r ev o l u tio n   er a ,   o f   co u r s e,   tech n o lo g ic al  d ev ices  s u c h   as   s m ar tp h o n es  a n d   t h e  Mo b ile  I n s ta n t  Me s s a g in g   ( MI M)   a p p licatio n   an d   o th er   s o cial  m ed ia  ar e  u s ed   as   lear n in g   m ed ia   [ 2 3 - 25] .   N o t  o n l y   lear n i n g   m ed ia,   b u t  th e  in d u s tr ial  r ev o lu tio n   4 . 0   also   r esu lted   in   a  ch an g e   f r o m   t h e  p r ev io u s   lear n i n g   co n ce p t  o f   P ed ag o g y   an d   An d r ag o g y   to   Heu tag o g y   [ 2 6 ] .   Heu tag o g y   is   an   ap p r o ac h   th at  r eq u ir es  lear n in g   f o r   s el f - d ir ec t  lear n in g   b y   u t ilizin g   m ater ial  th at  i s   in   t h e  l ea r n in g   m ed ia  [ 2 7 ] .  I n   th is   DI C KY  m o d el,   th e  n a tu r e  o f   h eu ta g o g y   w i ll  b e  s ee n   in   S y n ta x   2 ,   n am el y   I n ter a ctio n   w it h   s u p p o r t   S y s te m .   I n   th i s   s y n tax ,   it  i n v o lv es  t h e  p r o ce s s   o f   i m p o r ti n g   all  in f o r m atio n   an d   in s tr u c tio n s   f o r   i m p le m e n ti n g   lear n in g ,   esp ec iall y   in   t h e  f iel d   o f   s o f t w ar e  en g in ee r i n g .   Sel f - d ir ec t  lear n in g   ca n   al s o   b e  a  s o lu tio n   to   in cr ea s e   lear n er   cr ea tiv it y   in   u n d er s tan d in g   t h e  m a ter ial  b ein g   tau g h t   [ 2 8 ] .    I n   On to lo g y   Asp ec t,  DI C KY  lea r n in g   m o d el  is   a  lear n in g   m o d el  th at  ad o p ts   an   ar tif icial  in telli g e n ce   ap p r o ac h   to   th e  t h eo r y   o f   lear n in g   co n n ec tiv it y .   I n   t h e  E p is t e m o lo g ical   A s p ec t,  t h e  DI C K Y  lear n i n g   m o d el  is   a  lear n in g   m o d el  t h at  p u t s   f o r w ar d   th e  co n ce p t o f   r en e w i n g   th e  ex is ti n g   m o d el ,   n a m el y   p r o j ec t - b ased   lear n in g   an d   R S - B P L   i n to   a  n e w   m o d el .   An d   in   t h e  asp ec t o f   ax io lo g y ,   th e  DI C KY  lear n i n g   m o d el  is   a  co m b in a tio n   o f   lear n in g   t h eo r y ,   lear n i n g   m ed i a,   an d   p r ev io u s   lear n i n g   m o d els.  Fro m   th e s e  th r ee   asp ec ts   a n d   b ased   o n   test in g   th e  v alid i t y   o f   u s i n g   C o n f ir m ato r y   Facto r   An al y s is   an d   o th er   test s ,   th e  DI C KY  L ea r n i n g   Mo d el  is   a  n e w   lear n in g   m o d el,   esp ec iall y   i n   t h e  f ie ld   o f   s o f t w ar e  e n g in ee r i n g .     Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   3 ,  Sep tem b er   2 0 2 0 :   5 7 2   -   582   576   3 . 3 .   Sy nta x   B ased   o n   th e  r atio n ale  a n d   t h eo r etica l  f o u n d atio n   t h at  s u p p o r ts   th e  DI C KY   m o d el  b a s ed   o n   t h e  I n telli g en t  T u to r in g   S y s te m ,   a   n e w   lear n i n g   m o d el  is   d ev elo p ed   th at  in teg r ate s   P r o j ec t - B ased   L ea r n i n g   an d   I n telli g en t  T u to r in g   S y s te m .   T h e  b asis   f o r   th i n k in g   DI C K Y  m o d els  b ased   o n   I n te lli g en t  T u to r in g   S y s te m   i s   r ef er r in g   to   s e v er al  f ac to r s ,   n a m el y :  1 )   B l o o m 's  T ax o n o m y ,   2 )   P r ev io u s   L ea r n i n g   Mo d els  ( P r o j ec t - B ased   L ea r n i n g ,   R e s o u r ce   P r o j ec t - B ased   L ea r n in g   a n d   B len d ed   L e ar n in g ,   3 )   I n ter ac ti v it y ,   a n d   4 )   L ea r n in g   s t y le  a n d   5 )   Dev elo p m e n t o f   I C T   o n   E d u ca tio n   [ 2 9 ] .   So m e  i n d icato r s   o f   co g n iti v e  lear n in g   ar e:  e m p h asiz in g   t h e   w a y s   a  p er s o n   u s es  h i s   m i n d   to   lear n ,   r e m e m b er ,   an d   u s e  t h e  k n o wled g e  th at   h a s   b ee n   o b tain ed   an d   s to r ed   in   h is   m i n d   ef f e ctiv el y .   I n   e s s e n ce ,   v er b al  o r   v is u al  lear n in g   t h at   u n d er lies   o b s er v atio n s   t h at  i n v o l v e  all  th e  s en s es  s a v es  a   lo n g er   i m p r es s io n     an d   cr ea tes  a  s en s atio n   t h at  leav es  an   i m p r i n t  o n   s t u d en t s .   I n   co n s tr u c tiv is m   lear n i n g   w h e r e  th e  in d icato r s   ar e   th e  r ec o n s tr u ct io n   o f   k n o w le d g e,   th e  d is co v er y   p r o ce s s ,   s tu d en t - ce n tr ed ,   th e  ex is te n ce   o f   s o cial  in ter ac tio n   an d   r ef lect io n .   So cial   m ed ia  attit u d e  is   o n e  o f   i m p o r tan t  t h i n g   i n   v o ca tio n al  ed u c atio n   s tu d e n t   [ 3 0 ] .    T h e  f o llo w i n g   is   a  co m p ar i s o n   o r   co m p ar ativ e  s t u d y   b et w e en   th e  s y n ta x   o f   P r o j ec t  B ase d   L ea r n i n g ,   B le n d ed   L ea r n i n g   an d   t h e  s y n ta x   o f   t h e   DI C KY  Mo d el  b ased   o n   th e  I n telli g e n t T u to r in g   S y s te m   a s   s h o w n   in   T ab le  2 .   T ab le   2   clea r ly   s h o w   t h e   v is ib le  s y n ta x   co m p ar is o n s   o f   b o th   th e  P r o j ec t - B ased   L ea r n i n g   m o d el,     th e  P r o j ec t - B ased   L ea r n in g   Mo d el  an d   th e  DI C KY  Mo d el  b ased   o n   th e  I n telli g en t   T u to r in g   S y s te m .     T h e  f o llo w i n g   is   t h e  d ev elo p m e n t  co n ce p t  o f   th e  p r ev io u s   m o d el  s o   th at  th e  DI C K Y  m o d el  b ased   o n     th e  I n te llig e n t  T u to r in g   S y s te m   is   f o r m ed ,   as  s h o w n   i n   t h e  Fig u r e  2 .   Fig u r e  3   s h o w s   th e  elab o r atio n   b et w ee n   th e  lear n i n g   m o d el  an d   th e  le ar n in g   m ed ia.   T h e  f o llo w i n g   is   th e  d ev elo p m e n t  co n ce p t  o f   th e  p r ev io u s   m o d el   s o   th at  t h e  DI C KY  L ea r n in g   Mo d el  b ased   o n   th e  I n telli g en t   T u to r in g   S y s te m   is   f o r m ed ,   as sh o w n   i n   Fi g u r e  3 .       T ab le  2 .   C o m p ar ativ e  s tu d y   o f   m o d el  s y n ta x   P r o j e c t - B a se d   L e a r n i n g   M o d e l   R e so u r c e   S h a r i n g   -   B l e n d e d   P r o j e c t   B a se d   L e a r n i n g   M o d e l   T h e   D I C K Y ’ s  L e a r n i n g   M o d e l   b a se d   o n     t h e   I n t e l l i g e n t   T u t o r i n g   S y st e m.   1 .   S t a r t   w i t h   t h e   e sse n t i a l   q u e st i o n   1 .   A n a l y si s o f   N e e d   A ss e ssm e n t   T e a c h e r   a n d   L e a r n e r   1 .   D e f i n e   P r o b l e m a n d   D e si g n   a   p l a n   P r o j e c t   2 .   D e si g n   a   p l a n   f o r   t h e   P r o j e c t   2 .   D e si g n   a n d   D e v e l o p me n t   o f   h a r d w a r e   2 .   I n t e r a c t i o n   w i t h   su p p o r t   sy st e m   3 .   C r e a t e   a   s c h e d u l e   3 .   D e si g n   a n d   D e v e l o p me n t   o f   S o f t w a r e   3 .   C r e a t e   a   P r o j e c t   4 .   M o n i t o r i n g   4 .   D e v e l o p me n t   o f   sy st e m   4 .   K e e p   C o n t r o l   a n d   M o n i t o r i n g   P r o j e c t   5 .   A sse st   t h e   O u t c o me   5 .   P r o j e c t   A ssi st a n c e   a n d   T r a i n i n g   5 .   Y i e l d   a n d   A sse ssm e n t   P r o j e c t   6 .   Ev a l u a t e   t h e   e x p e r i e n c e   6 .   D i sse mi n a t i o n   p r o j e c t       7 .   A sse ssm e n t   o f   o u t c o me             Fig u r e  2 .   E llab o r atio n   o f   lear n in g   m o d el,   lear n i n g   m ed ia  an d   DI C KY’ s   s y n tax e s       Sy nta x   1 :   Def ine pro ble m   a n d desi g n a   pla n pro j ec t   I n   th is   s y n tax ,   t h er e  ar e  a  n u m b er   o f   th in g s   to   d o   o n   th e  co n ce p t   o f   th is   n e w   lear n i n g   m o d el,   n a m el y :   ( 1 )   L ec tu r er :  P r o v id e  in f o r m a tio n   to   ea ch   s t u d en t  h o w   th e  m ec h a n i s m   in   t h e  lear n i n g   p r o ce s s   o f   th e  co u r s e   an d   ( 2 )   L ec tu r er s   an d   S tu d e n ts :  B ased   o n   th e  d escr ip tio n   o f   th e  i n f o r m atio n   ab o v e,   s tu d en ts   ar e  as k ed   to   d esig n   P r o j ec t  p lan s   eith er   m an u all y   o r   u s in g   s o f t w ar e  s u ch   a s   Mic r o s o f t  P r o j ec ts   th at  ar e  b ased   o n   th e   o b j ec tiv es o f   b u i ld in g   a  s y s te m .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       A   n ew lea r n in g   mo d el  o f so ftw a r e  en g in ee r in g   in   vo ca tio n a l  ed u ca tio n   ( Dick y  N o fr ia n s ya h )   577   Sy nta x   2 :   I nte ra ct io n su pp o rt   s y s t e m   I n   th is   s y n tax ,   t h e  p atter n   o f   in ter ac tio n   t h at  is   ca r r ied   o u t  is   r elate d   to   th e  u s e  o f   I T S  ( I n telli g e n t   T u to r in g   S y s te m )   in   ter m s   o f   im p le m e n ti n g   lear n i n g ,   n a m el y .   ( 1 )   Stu d en ts   v is it  th i s   I T S  an d   ( 2 )   Stu d en t :  Fin d i n g   i n f o r m atio n   ab o u t  m a ter ial  an d   u s i n g   I T S a s   to o ls   to   s elf - d ir ec t le ar n i n g .     Sy nta x   3 :   Cre a t ing   a   pro j ec t   I n   th i s   s y n ta x ,   th i s   is   to   ac tu a lize  all  asp ec ts   o f   th e  ele m e n ts   o f   s y n ta x   1   an d   s y n ta x   2   to   cr ea tin g     p r o j ec t   s o f t w ar e .     Sy nta x   4 :   K ee p c o ntr o l a nd   m o n it o ring   pro j ec t   I n   th i s   s y n ta x ,   an   i n itia l  ev alu atio n   a n d   s tep p in g   s to n e   f o r   en ter p r is e  p r o j ec t  d ev elo p m e n t  i n   ac co r d an ce   w it h   p r ed eter m i n e d   P r o j ec t p lan s .       Sy nta x   5 :   Yield a nd   a s s es s ment  o f   pro j ec t   I n   t h e  s y n tax   o f   th i s   lear n i n g   m o d el,   th er e  ar e  a   n u m b e r   o f   t h in g s   d o n e  i n cl u d in g   t h e  s tu d e n t   s u b m itti n g   th e  P r o j ec t  r esu lts   to   th e  lectu r er   af ter   a  f i n al  t est  is   co n d u cted   o n   th e  p r e v i o u s   s y n tax   t h e n   th e   lectu r er   co n d u ct s   a  f i n al  ev a lu atio n   to   p r o v id e  a  f in al  as s es s m en t o f   t h e  r esu l ts   ac h iev ed   b y   th e  s tu d e n t.           Fig u r e  3 .   T h eo r itic o f   DI C KY   lear n in g   m o d el       3 . 4 .   Va lid a t io n o f   t he  DICK Y  lea rning   m o del ba s e d o n inte lli g ent   t uto ring   s y s t e m   Af ter   co n d u cti n g   a  Fo cu s   G r o u p   Dis cu s s io n ,   a  r esear ch   an d   d ata  s ea r ch   w as  co n d u ct ed   to   test   w h et h er   th e  DI C KY  lear n in g   m o d el  b ased   o n   th e  I n tel lig en t  T u to r in g   S y s te m   w as  m a d e  v alid   o r   in v alid .     T h e  f o llo w i n g   i s   a  p ictu r e  o f   th e  co n s tr u ct  v alid atio n   o f   S y n t a x   I   to   S y n tax   V  f r o m   th e  DI C KY  lear n i n g   m o d el  b ased   o n   th e  I n telli g e n t  T u to r in g   S y s te m   w h ic h   is   s ee n   in   Fig u r e  4   to   Fig u r e  8 .   A   m o d el  th at  is   d ec lar ed   f it  o r   in   o th er   w o r d s   g o o d n es s - of - f i t  m o d els  m u s t  m ee t  s ev er al  a s p ec ts   o f   a s s ess m e n t,  n a m el y :    ( a)   C h i - S q u ar e  i s   n o t  s ig n i f ic an t  ( o r   clo s e  to   ze r o ) ,   ( b )   T h e  v alu e  o f   T h e  P - Val u e  m u s t   b e  m o r e  t h an   0 . 0 5     ( >  0 . 0 5 ) ,   ( c )   th e  v alu e  o f   th e  R SME A   ( R o o t  Me an   Sq u ar e  E r r o r   o f   A p p r o x i m atio n )   m u s t  b e  less   th an   0 . 0 5   ( <0 . 0 5 )   [ 3 1 ] .  Fig u r e  4   to   Fi g u r e  8   s tate   t h e  v al u e   o f   R S M E A   =  0 . 0 0 0 .   B ased   o n   th e  a n al y s i s   o f   th e   d ata  in   Fig u r e  4   to   Fig u r e  8   co n f ir m   t h at  th e  co n s tr u ct  v al id it y   v al u es c an   b e  g r o u p ed   o r   class if ie d   as v alid   o r   f it.   D I C K Y   L e a r n i n g   M o d e l M o d e l   S y n t a x e s : 1 .   D e f i n e   P r o b l e m   a n d   D e s i g n   a   P l a n   P r o j e c t 2 .   I n t e r a c t i o n   w i t h   S u p p o r t   S y s t e m 3 .   C r e a t e   a   P r o j e c t 4 .   K e e p   C o n t r o l   a n d   M o n i t o r i n g   P r o j e c t 5 .   Y i e l d   a n d   A s s e s m e n t   P r o j e c t I m p a c t s   o f   L e a r n i n g   M o d e l L e a r n i n g   P r o c e s s : G r o u p   D i s c u s s i o n   a t   c l a s s r o o m B l e n d e d   L e a r n i n g L e a r n i n g   M e d i a L e a r n i n g   M a n a g e m e n t   S y s t e m L e a r n i n g   T h e o r y 1 . C o n s t r u c t i v i s m   L e a r n i n g   T h e o r y 2 .   C o n n e c t i v i s m   L e a r n i n g   T h e o r y A p p r o a c h H e u t a g o g y ( S e l f   D i r e c t e d   L e a r n i n g ) S u p p o r t   S y s t e m 1 .   D I C K Y   L e a r n i n g   M o d e l   B o o k   B a s e d   o n   I T S 2 .   M o d e l   U s a g e   G u i d e 3 .   M a n u a l   B o o k   o n   I T S   ( L e c t u r e r ) 4 .   M a n u a l   B o o k   o n   I T S   ( S t u d e n t ) 5 .   L e a r n i n g   M e d i a   i n   t h e   F o r m   o f   I T S S o c i a l   S y s t e m : 1 .   T e a m w o r k 2 .   M u l t i - d i r e c t i o n I n s t r u c t i o n a l   I m p a c t : 1 .   I m p r o v e d   A c h i e v e m e n t   f r o m   t h e   A f f e c t i v e ,   C o g n i t i v e   a n d   P s y c h o m o t o r   s i d e 2 .   I m p r o v e d   A t t i t u d e   L e a r n i n g A c c o m p a n i m e n t   I m p a c t : 1 .   C o m p e t e n c e   i n   S o f t w a r e   E n g i n e e r i n g 2 .   I n c r e a s e d   L e a r n i n g   A b i l i t y   f r o m   L e v e l   2   t o   L e v e l   4   b a s e d   o n   B l o o m ' s   T a x o n o m y Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   3 ,  Sep tem b er   2 0 2 0 :   5 7 2   -   582   578       Fig u r e  4 .   C F A   o f   sy n ta x   I       Fig u r e  5 .   C F A   o f   sy n ta x   I I       Fig u r e  6 .   C F A   o f   s y n ta x   I I I           Fig u r e  7 .   C F A   o f   sy n ta x   I V       Fig u r e  8 .   C F A   o f   s y n ta x   V       3 . 5 .   P ra ct ica lity   t est  f ro m   D I CK Y  lea rning   m o del ba s ed  o n i nte llig ent   t uto ring   s y s t e m   I n   m ea s u r i n g   t h e  p r ac ticalit y   o f   th e  DI C KY  L ea r n i n g   Mo d el  B ased   o n   I n tellig e n t  T u to r in g   S y s te m   in   ter m s   o f   v ar io u s   a s p ec ts   is   s h o w n   i n   T ab le  3 .       T ab le  3 .   Su m m ar y   o f   te s t p r ac ticalit y   o f   DI C KY  lear n i n g   m o d el  b ased   o n   in tellig e n t t u to r in g   s y s te m   No   Ev a l u a t o r   A ss e ssm e n t   o f   I n d i c a t o r   I n d i c a t o r   I   I n d i c a t o r   I I   I n d i c a t o r   I I I   1   Ev a l u a t o r   I   5   5   5   2   Ev a l u a t o r   I I   5   3   4   3   Ev a l u a t o r   I I I   4   4   4   4   Ev a l u a t o r   I V   4   5   5   5   Ev a l u a t o r   V   5   5   5   G r a n d   T o t a l   24   23   22   A v e r a g e   4 . 8   4 . 6   4 . 4   P e r c e n t a g e   ( %)   9 6 %   9 2%   8 8 %   * N o t e   V e r y   p r a c t i c a l   V e r y   p r a c t i c a l   V e r y   p r a c t i c a l       3 . 6 .   E f ec t iv eness   te st   3 . 6 . 1 .   L i m it ed  ef f ec t iv eness   t e s t   Af ter   m ea s u r i n g   a n d   test in g   th e  r esu lt s   o f   th e  v alid it y   o f   th e  m o d el  an d   o th er   p r o d u cts,  th en   d o in g     a  lim ited   tr ial  o f   b o th   th e  p r e - test   an d   p o s t - te s t  p r o c ess es,  th e  s tep   th at  m u s t  b e  d o n e  is   t o   test     th e  ef f ec ti v e n ess .   B ased   o n   th e  r esu lts   o f   d ata  an al y s i s   o f   th e  li m ited   tr ial  class es  co n d u cted   in   th e  p r ev io u s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       A   n ew lea r n in g   mo d el  o f so ftw a r e  en g in ee r in g   in   vo ca tio n a l  ed u ca tio n   ( Dick y  N o fr ia n s ya h )   579   p h ase,   th e  g ai n   s co r e  v alu e  ca n   b e  o b tain ed   b et w ee n   p r e - test   an d   p o s t - test   cla s s e s .   T h e  f o l lo w i n g   ar e     th e  r esu lt s   o f   th e  an al y s is   o f   t h e  p r e - test   an d   p o s t - te s t  d ata  an d   th e  g ai n   s co r e  as  s h o w n   i n   T ab le   4 .   Fig u r e  9   s h o w s   a  v i s u a lizatio n   o f   t h e  d if f er e n ce   in   th e  a v er ag e  v al u e  o f   th e  p r e - test   an d   p o s t - te s t   ca n   b e  s ee n   in   th e   h is to g r a m .  B ased   o n   Fi g u r e  9 ,   it   ca n   b e  s ee n   d if f er e n ce s   i n   lear n in g   o u tco m es  b et w ee n   p r e - test   a n d   p o s t - tes t   class es  o f   co u r s es  in   d ec is io n   s u p p o r t  s y s te m s .   T h u s ,   it  ca n   b e  s tated   an d   co n clu d ed   th at  th e  tr ea t m e n t  o r   tr ea t m e n t  o f   th e  DI C KY  L ea r n in g   Mo d el  th at  ad o p ts   th e  I n telli g en t  T u to r in g   S y s te m   i s   m o r e  ef f ec ti v e  to   i m p r o v e  lear n i n g   o u tco m e s .       T ab le  4 .   P o s t - test   an a l y s is   r es u lts   f r o m   li m i ted   tr ial  class   d at a   R e sp o n d e n t s   Pre - T e st   P o st - T e st   G a p   R e sp o n d e n t s   P r e t e st   P o st   G a p   1   65   70   5   12   50   70   20   2   70   80   10   13   70   80   10   3   55   90   35   14   40   70   30   4   40   90   50   15   50   85   35   5   35   60   25   16   50   85   35   6   60   80   20   17   30   90   60   7   70   80   10   18   40   80   40   8   50   90   40   19   40   95   55   9   40   95   55   20   45   80   35   10   40   85   45   21   50   80   30   11   70   70   0           T o t a l   1 0 6 0   1 7 0 5   6 4 5           A v e r a g e   5 0 . 4 8   8 1 . 1 9   3 0 . 7 1           G r a n d   T o t a l   1 0 6 0   1 7 0 5   6 4 5                   Fig u r e  9 .   P o s t - test   h is to g r a m   o f   li m ited   tr ial  class   d ata       3 . 6 . 2 .   E x pa nd ed  ef f ec t iv eness   t est   T ab le  5   s h o w s   th e   co m p ar is o n   r esu lt s   b et w ee n   t h e  co n tr o l  cl ass   an d   t h e  ex p er i m e n tal  clas s   b ased   o n   th e  p r e - test   an d   p o s t - tes t  v alu e s .  B ased   o n   th e  d ata  d escr ip tio n   p r esen ted   b o th ,   th e  DI C KY  lear n in g   m o d el   b ased   o n   I n tellig e n t T u to r in g   S y s te m   i s   ef f ec ti v e   to   i m p r o v e   s tu d en t le ar n i n g   o u tco m e s .       T ab le  5 .   R esu lts   o f   i m p r o v e m en t o f   s t u d en t le ar n i n g   o u tco m es b et w ee n   t h e  co n tr o l c lass     an d   th e  ex p er i m e n tal  clas s   No   V a l u e   C o n t r o l   C l a ss   Ex p e r i me n t a l   C l a ss   1   Pre - t e st   60 . 313   61 . 093   2   P o st - t e st   74 . 219   79 . 687   G a i n   S c o re   13 . 906   18 . 594       3 . 7 .   T est  re qu ire m ent s   f ro m   a na l y s is   3 . 7 . 1 .   No r m a lity   t est   T h e  n o r m ali t y   te s t  p r o ce s s   is   ca r r ied   o u t  w it h   s ev er al   ap p r o ac h es  an d   r u les.  I n   t h is   s tu d y ,     th e  S h ap ir o   W ilk   s tatis tica l  ap p r o ac h   w a s   u s ed   w it h   a  s i g n if ica n ce   lev el  o f   0 . 0 5 ;   it  is   s h o w n   in   T ab le  6   an d   T ab le   7 .   B ased   o n   T ab le  6   an d   T ab le  7 ,   ca n   b e  s ee n   ab o v e  w it h   t h e  S h ap ir o   W ilk   ap p r o a c h ,   th e  s i g n i f ica n ce   v alu e  i s   0 . 4 6 3 ,   w h ic h   m ea n s   it  is   g r ea ter   th an   0 . 0 5 .   I t   m ea n s   th a t  th e  lear n i n g   o u tco m es   o f   th e  d ata  h av e  a  n o r m al  d is tr ib u tio n .     Evaluation Warning : The document was created with Spire.PDF for Python.
                   I SS N :   2252 - 8822   I n t.  J .   E v al .   &   R es .   E d u c .  Vo l.   9 ,   No .   3 ,  Sep tem b er   2 0 2 0 :   5 7 2   -   582   580   T ab le  6 .   P r e - test   r esu lt s   i m p r o v ed   s tu d e n t le ar n i n g   o u tco m es   C l a ss   K o l mo g o r o v - S mi r n o v   S h a p i r o - W i l k   S t a t i st i c   Df   S i g .   S t a t i st i c   Df   S i g .   V a l u e   C o n t r o l   . 2 1 9   32   . 2 0 0   . 8 3 5   . 3 2   . 4 6 3   Ex p e r i me n t a l   . 2 2 8   32   . 2 0 0   . 8 3 3   . 3 2   . 4 2 3       T ab le  7 .   P o s t - test   r es u lts   i m p r o v ed   s tu d en t le ar n i n g   o u tco m es   C l a ss   K o l mo g o r o v - S mi r n o v   S h a p i r o - W i l k   S t a t i st i c   Df   S i g .   S t a t i st i c   Df   S i g .   V a l u e   C o n t r o l   . 2 2 2   32   . 2 0 3   .8 55   . 3 2   . 4 4 5   Ex p e r i me n t a l   . 1 6 8   32   . 1 2 2   . 9 2 8   . 3 2   . 4 1 4       3 . 7 . 2 .   H o m o g eneit y   t es t   Ho m o g e n eit y   te s ti n g   o r   test in g   p r o ce s s   o f   a  s tu d y   is   co n d u cted   to   f in d   o u t  w h et h er   s o m e   in d icato r s   o r   v ar ian ce s   o f   ea ch   d ata  s a m p le  o r   p o p u latio n   ar e  d ec lar ed   h o m o g en eo u s   o r   n o t.   T h e   f o llo w i n g   ar e  th e  h o m o g en eit y   te s t  r es u lts   f r o m   th e  P r e - T est  v al u es  f o r   b o th   th e  co n tr o l  an d   e x p er i m e n t  cl ass es,  p r ese n ted   i n   th e  T ab le   8   an d   T ab le   9 .   B as ed   o n   T a b le  8   an d   T ab le  9 ,   it   s h o w s   th e  s i g n i f ica n t  v al u e  o f   th e  p r e - test   v al u e   b o th   f r o m   t h e  co n tr o l   cla s s   an d   th e  e x p er i m e n tal  c lass   t h at  i s   0 . 1 2 8   an d   0 . 1 6 5 ,   w h ic h   m ea n s   it  i s   g r ea ter   th a n   0 . 0 5 .   B ased   o n   th ese  r es u lts ,   it  s h o w s   t h at  t h e  v ar ia n ce   o f   th e  p o p u latio n   d ata  is   h o m o g en eo u s   a n d   ca n   b e  u s ed   f o r   f u r t h er   test i n g .       T ab le   8 .   Ho m o g e n eit y   test   o f   p r e test   v alu e s   i n   b o th   co n tr o l a n d   ex p er i m e n t c las s e s   L e v e n e   S t a t i st i c   Df1   Df2   S i g .   2 . 3 7 6   1   62   . 1 2 8     T ab le   9 .   Ho m o g e n eit y   test   o f   p o s t - test   v al u es i n   b o th   co n tr o l a n d   ex p er i m e n t c las s e s   L e v e n e   S t a t i st i c   Df1   Df2   S i g .   6 . 2 8 0   1   62   . 1 6 5         3 . 7 . 3 .   T - T est   T h e  d if f er en t  test   p r o ce s s es  o f   t h e  p r e - test   r e s u l ts   f r o m   b o th   th e  co n tr o l  class   a n d   t h e  ex p er im e n ta l  class   ca n   b e  s ee n   f r o m   T ab le  1 0   an d   T a b le  1 1 .   B ased   o n   T ab le  1 0   an d   T ab le   1 1 ,   it  s h o w s   th e  As y m p   v al u e.   Sig .   ( 2 - tailed )   w h ich   i s   0 . 0 1 0 .         T ab le  1 0 .   T - T est  f r o m   p r e - t est   r esu lts   o f   co n tr o l a n d   ex p er i m en t c las s es   C l a ss   N   M e a n   R a n k   S u m o f   R a n k s   V a l u e   Pre - t e st   ( C o n t r o l   C l a ss)   32   2 1 . 4 7   6 8 7 . 0 0   Pre - t e st   ( Ex p e r i me n t a l   C l a ss)   32   4 3 . 5 3   1 3 9 3 . 0 0   T o t a l   64       M a n n - W h i t n e y   U   1 5 9 . 0 0 0       W i l c o x o n   W   6 8 7 . 0 0 0       Z   - 4 . 9 1 0       A s y mp . S i g .   ( 2 - t a i l e d )   . 0 0 0           T ab le  1 1 .   T - T est  f r o m   p o s t - te s t r esu lt s   o f   co n tr o l a n d   ex p er i m en t c lass e s   C l a ss   N   M e a n   R a n k   S u m o f   R a n k s   V a l u e   P o st - t e st   ( C o n t r o l   C l a ss)   32   2 1 . 4 7   6 8 7 . 0 0   P o st - t e st   ( Ex p e r i me n t a l   C l a ss)   32   4 3 . 5 3   1 3 9 3 . 0 0   T o t a l   64       M a n n - W h i t n e y   U   3 2 5 . 5 0 0       W i l c o x o n   W   8 5 3 . 5 0 0       Z   - 2 . 5 7 3       A s y mp . S i g .   ( 2 - t a i l e d )   . 0 1 0           An a ly s is   o f   lea rning   o utc o m es f ro m   a f f ec t iv e  persp ec t iv es   T ab le   12   s h o w s   d i f f er en ce s   i n   lear n i n g   o u tco m es  i n   t h e  a f f ec tiv e  d o m ain .  T ab le  12   in f o r m s   th e   r esu lt s   o r   th e  av er a g e  v al u e  b ased   o n   af f ec tiv e  v al u es  b o t h   in   th e  co n tr o l  class ,   w it h   a n   av er a g e  v al u e  o f   7 8 . 5 9 5   w h ile  t h e  ex p er i m en tal   class   p s y c h o m o to r   av er a g e  v a lu e   is   8 2 . 3 4 5 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       A   n ew lea r n in g   mo d el  o f so ftw a r e  en g in ee r in g   in   vo ca tio n a l  ed u ca tio n   ( Dick y  N o fr ia n s ya h )   581   T ab le   12 .   Dif f er en ce s   i n   lear n i n g   o u tco m e s   in   t h e  af f ec t iv e  d o m a in   No   A ss e ssm e n t   A sp e c t s   C o n t r o l   C l a s s   Ex p e r i me n t a l   C l a ss   A f f e c t i v e   S c o r e   D i f f e r e n c e s   P e r c e n t a g e   ( %)   1   D i sci p l i n e   7 2 . 5   8 4 . 3 8   1 1 . 8 8   1 4 . 0 8   2   C o mm i t me n t   80   8 2 . 5   2 . 5   2 . 9 6   3   R e sp o n s i b l e   8 1 . 2 5   85   3 . 7 5   4 . 4 4   4   C o mm u n i c a t i o n   7 6 . 2 5   8 1 . 2 5   5   5 . 9 3   5   C o n f i d e n c e   7 9 . 3 8   7 9 . 3 8   0   0 . 0 0   6   I n t e r e st   t o   l e a r n   75   8 6 . 2 5   1 1 . 2 5   1 3 . 3 3   7   C r i t i c a l   8 5 . 6 3   80   - 5 . 6 3   - 6 . 6 7   8   C r e a t i v e   7 8 . 7 5   80   1 . 2 5   1 . 4 8   T o t a l   6 2 8 . 7 6   6 5 8 . 7 6   30         Ana ly s is   o f   lea rning   o utc o m es f ro m   a   ps y cho m o t o r  pers pect iv e   Fro m   th e  p s y c h o m o to r   asp ec t,  2   th in g s   ar e  m ea s u r ed ,   n a m el y :  ( 1 )   P r o j ec t  So f t w ar e  W o r k   Flo w   a n d   ( 2 )   C o m p ete n c y   T est  R es u lt s .   B ased   o n   th e  t w o   in s tr u m e n ts   th e  f o llo w i n g   is   a n   e x p la n atio n   a s   s h o w n   i n   T ab le   1 3 .   B ased   o n   th e  T ab le   13,   s h o w s   t h e  r esu lts   o r   th e  av er ag e  v al u e  b ased   o n   p s y ch o m o to r   v alu es  b o th   in   th e  co n tr o l  class   w it h   an   av er ag e   v al u e  o f   8 0 . 0 8   w h i le  in   t h e  ex p er i m e n tal  clas s ,   th e  av er ag e  p s y ch o m o to r   v alu e  i s   8 5 . 7 8 .       T ab le  1 3.   R esu lt  o f   lear n i n g   o u tco m e  f r o m   a  p s y ch o m o to r   p er s p ec tiv e   R e sp o n d e n t   C o n t r o l   Ex p e r i me n t a l   I mp r o v e   %   R e sp o n d e n t   C o n t r o l   Ex p e r i me n t a l   I mp r o v e   %   1   7 7 . 5   8 2 . 5   5   6 . 0 6 1   17   8 2 . 5   8 2 . 5   0   0 . 0 0 0   2   7 7 . 5   8 2 . 5   5   6 . 0 6 1   18   7 7 . 5   9 2 . 5   15   1 6 . 2 1 6   3   8 2 . 5   8 7 . 5   5   5 . 7 1 4   19   8 2 . 5   90   7 . 5   8 . 3 3 3   4   80   8 2 . 5   2 . 5   3 . 0 3 0   20   8 2 . 5   8 2 . 5   0   0 . 0 0 0   5   80   8 2 . 5   2 . 5   3 . 0 3 0   21   8 2 . 5   8 2 . 5   0   0 . 0 0 0   6   7 2 . 5   80   7 . 5   9 . 3 7 5   22   8 2 . 5   8 7 . 5   5   5 . 7 1 4   7   7 2 . 5   9 2 . 5   20   2 1 . 6 2 2   23   8 2 . 5   8 2 . 5   0   0 . 0 0 0   8   8 2 . 5   85   2 . 5   2 . 9 4 1   24   7 7 . 5   8 2 . 5   5   6 . 0 6 1   9   7 7 . 5   85   7 . 5   8 . 8 2 4   25   8 2 . 5   85   2 . 5   2 . 9 4 1   10   7 7 . 5   9 2 . 5   15   1 6 . 2 1 6   26   8 2 . 5   8 7 . 5   5   5 . 7 1 4   11   7 7 . 5   8 2 . 5   5   6 . 0 6 1   27   8 2 . 5   90   7 . 5   8 . 3 3 3   12   8 2 . 5   85   2 . 5   2 . 9 4 1   28   80   85   5   5 . 8 8 2   13   8 2 . 5   9 2 . 5   10   1 0 . 8 1 1   29   8 2 . 5   8 2 . 5   0   0 . 0 0 0   14   8 2 . 5   8 7 . 5   5   5 . 7 1 4   30   8 2 . 5   90   7 . 5   8 . 3 3 3   15   7 7 . 5   80   2 . 5   3 . 1 2 5   31   8 2 . 5   90   7 . 5   8 . 3 3 3   16   7 7 . 5   8 2 . 5   5   6 . 0 6 1   32   7 7 . 5   90   1 2 . 5   1 3 . 8 8 9   T o t a l   2 5 6 2 . 5   2 7 4 5   1 8 2 . 5   2 0 7 . 3 4   A v e r a g e   8 0 . 0 8   8 5 . 7 8   5 . 7 0   6 . 4 8       4.   CO NCLU SI O N    Af ter   co n d u cti n g   t h e  r esear c h ,   t h er e  ar e  co n cl u s io n s   f r o m   th i s   s tu d y :  ( a )   B ased   o n   th e   r esu lt s   o f   test i n g   t h e  v alid it y   o f   th e  DI C KY  L ea r n i n g   Mo d el ,   it  is   d ec lar ed   v alid   b ased   o n   s ev er al  asp ec ts   o f   v alid it y   b o th   f r o m   t h e  asp ec t  o f   co n t en t  v al id it y   a n d   th e  co n s tr u c t  th at  ad o p ts   A i k e n ' V  an d   C o n f ir m ato r y   Facto r   An al y s i s .   ( b )   B ased   o n   th e  r esu lt s   o f   p r ac ticalit y   te s ti n g   o f   r elate d   ele m en t s   i n   th e  DI C KY  L ea r n in g   m o d el  w h ic h   co n s i s ts   o f   p r ac ticalit y   test   r esu lts   i s   d ec lar ed   " Ver y   P r ac tical" .   ( c )   B ased   o n   th e  r esu lt s   o f   te s ti n g   t h e   ef f ec tiv e n e s s   as s o ciate d   w it h   th e  co n tr o l  clas s   a n d   th e  e x p er i m en tal  clas s ,   DI C KY  L ea r n in g   Mo d el  ca n   b e   d ec lar ed   ef f ec tiv e  b ased   o n   t h e  t - test   ( li m ited   te s t) .       ACK NO WL E D G E M E NT S    W e  ar e  v er y   g r ate f u l   to   Fac u lt y   o f   E n g i n ee r in g ,   U n i v er s itas   Ne g er i  P ad an g   f o r   all   s u p p o r t  in   co m p let in g   t h is   r esear c h .       RE F E R E NC E S     [1 ]   T .   M .   T .   Ng u y ễ n   a n d   T .   T .   L .   N g u y ễ n ,   " In f lu e n c e   o f   e x p li c it   h ig h e r - o rd e r  t h in k i n g   sk il ls  in stru c ti o n   o n   st u d e n ts’   lea rn in g   o f   li n g u isti c s,"   T h in k .   S k i .   Cre a t . ,   v o l.   2 6 ,   n o .   3 ,   p p .   1 1 3 - 1 2 7 ,   De c   2 0 1 7 .   [2 ]   S .   Y.  Öz e lçi  a n d   G .   Ç a lı ş k a n ,   " W h a t  is  c rit ica l  th in k in g ?   A  lo n g it u d in a l  st u d y   w it h   tea c h e r  c a n d id a tes , "   In ter n a t io n a l  J o u rn a l  o f  Ev a lu a ti o n   a n d   Res e a rc h   i n   E d u c a ti o n   ( IJ ER E) ,   v o l.   8 ,   n o .   3 ,   p p .   4 9 5 - 5 0 9 ,   2 0 1 9 .   Evaluation Warning : The document was created with Spire.PDF for Python.