I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in Ed uca t io n ( I J E RE )   Vo l.   9 ,   No .   2 J u n e   2020 ,   p p .   415 ~ 4 2 0   I SS N:  2 2 5 2 - 8822 DOI : 1 0 . 1 1 5 9 1 / i j er e . v9 i 2 . 2 0 5 3 1          415       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Project  brie e ff ec ts on creativ e  t hin k ing  s k i lls  a m o ng     lo w - a bility pre - se rv ice   phy sics  t ea chers         H a bib i 1 M un dil a rt o 2 J u m a di   J u m a di 3 ,   Sy if a ul G u mm a h 4 ,   Su k a ini l A hza n 5 Dw i Sa bd a   B ud i P ra s et y a 6   1, 2, 3 De p a rtm e n o f   P h y sic s E d u c a ti o n ,   Yo g y a k a rta S tate   Un iv e rsit y ,   In d o n e sia   4, 5, 6 P h y sic s E d u c a ti o n ,   U n iv e rsitas   M a n d a li k a ,   In d o n e sia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   Feb   1 1 ,   2 0 2 0   R ev i s ed   Ma r   2 1 ,   2 0 2 0   A cc ep ted   Ma y   1 ,   2 0 2 0       Cre a ti v e   th in k in g   is  h ig h - o rd e t h in k in g   th a is  n o e a sy   to   sti m u late   w it h   c o n v e n ti o n a lea rn i n g ,   e sp e c iall y   to   so lv e   c o m p lex   p h y sic p ro b lem s .   Ho w e v e r,   th e   lea rn in g   stra teg y   c h o se n   m u st  b e   in   a c c o rd a n c e   w it h     th e   tea c h in g   m a teria ls  a n d   stu d e n ts  c h a ra c teristics .   Cre a ti v e   th in k in g   is  v e r y   im p o rtan e sp e c ially   f o lo w - a b il it y   c h a ra c teristic  in   so lv in g   c o m p li c a ted   p h y sic p ro b lem s;  th e re f o re ,   it   n e e d to   b e   tri g g e re d   b y   stu d e n t - c e n tere d   lea rn in g   stra teg ies   su c h   a p ro j e c b rief s.  T h is  re se a rc h   wa t o   a n a ly z e     th e   e ff e c o f   p ro jec b rief   lea rn in g   o n   c re a ti v e   th in k in g   sk il ls  (CrT S o   lo w - a b il it y   p re - se r v ice   p h y sic s   th e a c e rs.  S a m p le   w as   s e lec ted   u sin g   p u r p o siv e   sa m p li n g   ( 9 7   p e o p le )   in   t h e   i n it ial   se m e st e p re - se rv ice   p h y sic s   tea c h e rs  w h ich   c o n siste d   o f   th re e   c las se A   (3 2   p e o p le),   ( 3 5   p e o p le),   a n d     (3 0   p e o p le) Da ta  c o l lec ti o n   t h ro u g h   e ss a y   tes ts  o n   v ib ra ti o n   a n d   w a v e   m a teria a n d   a d ju ste d   a c c o rd in g   to   th e   CrT S - Kim   in d ica to r s .   Th e   re su lt sh o w   th a th e   p ro jec b ri e f   h a a   p o siti v e   e ff e c o n   c re a ti v e   th in k in g   sk il ls.  T h e   h ig h e st  e ff e c o n   th e   f lu e n c y   in d ica to h a a n   a v e ra g e   o f   1 5 . 7   c o m p a re d   to   t h e   lec tu re   stra teg y ,   a w e ll   a th e   m ix tu re   w it h   a n   a v e ra g e   o 9 . 8 9 ,   a n d     th e   lo w e st o n   t h e   o r ig in a li ty   in d ic a to r .   K ey w o r d s :   C r ea tiv t h i n k in g   s k ill s   L o w   ab ilit y   P r e - s er v ice  teac h er s   P r o j ec t b r ief   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Hab ib i,    Dep ar te m en t o f   P h y s ics E d u c atio n ,   Yo g y a k ar ta  State  U n i v er s it y ,     J l.  C o lo m b o   No . 1 ,   Kar an g   Ma lan g ,   Dep o k ,   S le m a n ,   D. I . Y.   5 5 2 8 1 ,   I n d o n esia.   E m ail:  h ab ib i.2 0 1 6 @ s tu d en t. u n y . ac . id       1.   I NT RO D UCT I O N     Mo s o f   th p r e - s er v ice  p h y s ics  teac h er s   in   s tate  u n iv er s ities   ar m o r q u ali f ied   th a n   p r iv ate   u n i v er s i ties ,   esp ec iall y   i n   I n d o n esia  [ 1 ] .   I t   w a s   b ec au s th p ass in g   g r ad at  s tate  u n i v er s i ties   w a s   h i g h er   an d   m o r co m p etiti v e.   I n   2 0 1 9 ,   t h Mi n is tr y   o f   Hi g h e r   E d u ca t io n   h a s   ti g h ten ed   t h ad m is s i o n   p r o ce s s   at  s tate   u n i v er s i ties .   T h is   ca u s es  as   m an y   a s   2 3 o f   7 1 4 , 6 5 2   s tu d en ts   ac ce p ted   i n to   s tate  u n i v er s ities .   St u d en t s   w h o   d o   n o m ee th r eq u ir e m en t s   au to m at icall y   e n r o lled   in   p r iv ate  u n i v er s itie s   ar th en   ca te g o r ized   as  lo w - ab ilit y   s tu d e n ts .   T h is   ca s is   u n iq u b ec au s it  ca n   a f f ec t   s t u d en i n ter est  a n d   lear n i n g   ab ilit y   i n   th lect u r p r o ce s s   [ 2 ] ,   u n - co n f id e n ce   [ 3 ] ,   lo w   m o tiv a tio n   [ 4 ] ,   an d   u n i n ter es ted   in   lear n in g   [ 5 ] .   Ho w e v er ,   in   t h t h eo r y   o f     th ed u ca tio n   p r o ce s s ,   it  is   th ed u ca to r ' s   ch al len g to   cr ea te  an   in ter esti n g ,   ef f ec ti v an d   en j o y ab le  lear n i n g   at m o s p h er [ 6 ] .   T h er ef o r e,   e d u ca to r s   m u s b ab le  to   in cr ea s lear n in g   ac tiv ities   an d   m o tiv a tio n   b y   u s in g   lear n in g   s tr ate g ie s   th at  ar m o tiv ati n g   an d   lear n er - ce n ter ed   [ 7 ] .   On o f   t h s t u d en t - ce n ter ed   lear n in g   s tr ate g ies  i s   p r o j ec t - b ased   lear n in g   ( P j B L )   [ 8 ] .   Pj B L   h a s   t w o   t y p es,  n a m el y   p r o j ec b r ief   an d   f u ll.  I n   lect u r es,  t h ap p licatio n   o f   b r ief   p r o j ec ts   is   co n s id er ed   b ec au s it  is   o f   s h o r d u r atio n .   T h i s   s tr ate g y   h as  h ad   p o s itiv e   i m p ac o n   i m p r o v i n g   cr it ical  an d   cr ea t iv t h i n k i n g   s k ill s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   2 J u n 2 0 2 0 :   4 1 5   -   4 2 0   416   ( C r T s )   [ 9 ] .   P r ev io u s   r esear ch   h as   p r esen ted   v ar io u s   p o s iti v e f f ec ts   o f   p r o j ec t - b ased   lear n in g   ap p licatio n s .   So m o f   th e   r ep r esen tati v es,  Do p p elt  [ 1 0 ]   f o u n d   t h at  lear n e r s   h a v p r ac ticed   d o cu m e n ti n g   cr ea ti v p r o ce s s es,   tea m w o r k ,   an d   r ef lect io n .   I n   ad d itio n ,   to   p r o m o te   cr ea tiv it y   a n d   p r o b lem   s o l v in g   [ 1 1 ] ,   s tr en g th e n   s el f - co n f id e n ce   [ 1 2 ] ,   im p r o v lear n in g   ac h ie v e m en t   [ 1 3 ] ,   an d   in cr ea s lear n i n g   m o ti v atio n   [ 1 4 ] .   A laca p ın ar   [ 1 5 ]   s tates   t h at  p r o j ec lear n in g   ca n   in f l u e n ce   th o r ig in al it y   o f   lear n er s '   t h i n k i n g .   Ho w ev er ,   o r ig in al it y   i s     an   in d icato r   o f   cr ea tiv t h i n k i n g .   P r o j ec lear n in g   u s es   p r o b lem s   to   tr ig g er   lear n i n g   ac ti v iti es  [ 1 6 ] .   B o u d   an d   Feletti   [ 1 7 ]   s aid   th a p r o b lem s   ca n   co n s tr u ct  k n o w l ed g e,   an d   s ti m u late  lear n i n g   a ctiv itie s .   Qu alit y   p r o b lem s   h a v p o s itiv i m p ac o n   k n o w led g a n d   s k ill s   i n   ea ch   lear n i n g   p r o ce s s   a n d   p r o d u ce   v ar iet y   o f   w o r k s   [ 1 8 ] .   Ho w e v er ,   th p r o j ec t   b r ief   e m p h a s izes   an   i n - d ep th   p r o ce s s   o f   u n d er s tan d i n g   co n c ep ts   th r o u g h   q u alit y   p r o b le m s .   E m p h asi s   o n   ea c h   p r o ce s s   is   s tr ateg y   to   tr ain   le ar n er s '   cr ea tiv t h i n k i n g   s k ill s .   C r ea tiv t h i n k in g   is   v er y   i m p o r tan s k ill  a s   p r o v is io n   f o r   cu r r en a n d   f u t u r tech n o lo g ical   p r o g r ess ,   ev e n   an   i n d icato r   o f   th q u al it y   o f   e d u ca tio n   i n   c o u n tr ies   ar o u n d   t h w o r ld .   I n   2 0 1 8 ,   W E FF I   h as  r elea s ed   r ep o r th at  th q u al it y   o f   ed u ca tio n   i n   I n d o n esia  r an k s   4 3   o u o f   5 0   co u n tr ies  i n   p r ep ar in g   f u t u r e   s k il ls ,   w h ile  Fi n lan d   is   t h f ir s t.  Fin la n d   h a s   p r io r itized   cr e ativ s k ill s   as  o n o f   t h lear n in g   o b j ec tiv es  i n   its   cu r r icu l u m .   C r ea ti v t h i n k i n g   h as  b ee n   k n o w n   as  d i v er g en p atter n   o f   r ea lis tic  t h in k i n g   s k ills .   C r ea ti v e   th i n k i n g   allo w s   o n e   to   co n n ec p r o b lem s   f r o m   d i f f er en t   p er s p ec tiv es  a n d   f i n d   u n iq u e   s o l u t io n s .   Ki m   [ 1 9 ]   h a s   id en ti f ied   th is   th in k i n g   p atter n   th r o u g h   f o u r   in d icato r s   o f   f l u en c y ,   f le x ib ilit y ,   elab o r atio n ,   an d   o r ig in alit y .     T h p r o f ile  o f   in d icato r s   is   as f o llo w s 1 )   Flu en c y   i s   th ab ilit y   to   cr ea te  v ar io u s   u n iq u id ea s ,   2 )   Flex ib ilit y   i s   an   i n d icato r   o f   th ab ili t y   to   e x p r es s   alter n ati v p r o b lem   s o l v in g ,   3 )   Or ig i n ali t y th ab ili t y   to   s o lv e   p r o b lem s   w it h   u n iq u co n ce p ts ,   4 ) .   E la b o r atio n   is   th ab ilit y   to   d etail  v ar io u s   p r o b lem s   a n d   s o lu ti o n s .   T r ef f in g er   [ 2 0 ]   s aid   th at  all  p eo p le  h av t h p o ten tial  to   th i n k   cr ea tiv el y t h er ef o r e,   it  is   i m p o r tan to   ch o o s th r ig h s tr ateg y   to   b ab le  to   tr ig g er   it.   T h ap p licatio n   o f   t h p r o j ec b r ief   is   to   s ti m u late  th lear n in g   m o ti v atio n   o f   p r o s p ec tiv p h y s ic s   teac h er s ,   esp ec iall y   th o s w i th   lo w   ab ili ties .   T h is   s t u d y   s h o w s   t h ef f ec t s   o f   co n v en t io n al  s tr ate g ies  o n   cr ea tiv th i n k in g   to   co m p ar th eir   ef f ec ts   to   th p r o j ec b r ie f .   T h ex p ec ted   im p ac is   s tu d en ts   b ec o m ac ti v e   an d   en j o y   co m p leti n g   d if f ic u lt  an d   co m p le x   p h y s ics  co n c ep ts .   I n   th f u t u r e,   th is   s tr ateg y   ca n   b u s ed   as     r ef er en ce   in   ap p l y in g   o th er   l ea r n in g   m o d els t h at  ar lear n e r - ce n ter ed .       2.   RE S E ARCH   M E T H O D   2 . 1 .   Resea rc h desi g n   I n   s o cial  r esear ch ,   ex ter n al  ef f ec ts   ca n n o b f u ll y   co n tr o lled   an d   r an d o m   g r o u p   ass i g n m en ts   ar n o t   p o s s ib le  [ 2 1 ] ,   th er ef o r e,   th is   s tu d y   u s e s   q u as i - e x p er i m e n with   p r etest - p o s t - test   g r o u p s   d esig n   [ 2 2 ] .   Desig n   as  f o llo w s   in   T ab le  1 .   T h is   s tu d y   co m p ar ed   th r ee   g r o u p s   o f   ex p er i m e n tal  tr ea t m e n t s   (O 1 - O 1 ')   an d   co n tr o ls   (O 2 - O 2 ')   an d   (O 3 - O 3 ')   ( T ab le  1 ) .   T h ex p er i m en tal  g r o u p   w a s   tr ea ted   w it h   th P j B L   i n   th ca teg o r y   o f   p r o j ec t   b r ief   an d   w it h   co n v e n tio n al  as  co n tr o l,  n a m el y   lect u r e,   an d   m ix tu r ( lectu r an d   d is c u s s io n ) .   T r ea tm en ts     ar g iv e n   to   ex a m i n th e f f ec o f   cr ea ti v th in k i n g   s k i lls   o n   ea ch   in d icato r   s i m u lt an eo u s l y   o n   b as ic    p h y s ics co n ce p ts .       T ab le  1 .   Desig n   t h p r etest - p o s ttes g r o u p s   P r e t e st   G r o u p s   T r e a t me n t   P o st - t e st   g r o u p s   O 1   P r o j e c t   B r i e f   L e a r n i n g   O 1   O 2   L e c t u r e   O 2   O 3   M i x t u r e   ( L e c t u r e   a n d   D i sc u ssi o n )   O 3   N o t e :   O 1 -   O 1 :   Ex p e r i me n t a l   G r o u p s,   O 2 -   O 2 ,   a n d   O 3 - O 3 :   C o n t r o l   g r o u p s       2 . 2 .   Sa m ple   Sa m p le   w a s   i n v o lv ed   f r o m   o n o f   t h p r i v ate  u n i v er s i ti es  in   W est  N u s a   T en g g ar a,   I n d o n esia ;   th er ef o r e,   t h eir   c h ar ac ter is tic s   w er ca te g o r ized   as  lo w - a b ilit y .   Sa m p les   w er s e lecte d   u s i n g   p u r p o s i v s a m p li n g   to talin g   9 7   p eo p le  in   th i n itia s e m ester   p r e - s e r v ice  p h y s ics  teac h er s   w h ic h   co n s is ted   o f   t h r ee   class es  A   ( 3 2   p eo p le) ,   B   ( 3 5   p eo p le) ,   an d   C   ( 3 0   p eo p le) .   T h p u r p o s iv s a m p l in g   tech n i q u is   u s ed   b ec au s e   th s a m p le  u s ed   h as  its   o w n   ch ar ac ter is tic s   [ 2 3 ] .   C lass   A   is   ass ig n ed   as  an   ex p er i m en tal  g r o u p   b ec au s it  is   tr ea ted   w ith   p r o j ec t   b r ief ,   w h ile  clas s es  B   an d   C   u s co n v e n tio n al  lear n in g   s tr ate g ies;   th er e f o r e,   it  is   ass i g n ed   as a   co n tr o l c las s .         Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       P r o ject  b r ief  effec ts   o n   crea tiv th in kin g   s kills   a mo n g   l o w - a b ilit p r e - s ervice  p h ysics   tea ch ers   ( Ha b ib i )   417   2 . 3 .   I ns t ru m ent   a nd   da t a   a na ly s is   Data   co llectio n   th r o u g h   es s a y   test s   o n   v ib r atio n   a n d   w a v m ater ial.   T h e   s co r o f   s t u d en t   an s w er s   i s   ad j u s ted   ac co r d in g   to   t h C r T S - Ki m   in d icato r s .   T h e f f e cts  o f   in d ep en d e n v ar iab les  ar s i m u lta n eo u s l y   an al y ze d   u s in g   M u lti v ar iate  An al y s i s   o f   Var ian ce   ( Ma n o v a)   b y   SP SS   1 8 .   An al y s is   o f   Ma n o v a   h a s   b ee n   ch o s en   b ec au s e   t h d ep en d e n an d   i n d ep en d en t   v ar iab le s   a r m o r th a n   t w o   o r   m ee t   t h e   r eq u ir e m e n ts   [ 2 4 ] .   I n d ep en d en v ar iab les  ar t h lear n in g   s tr ateg ie s   o f   t h p r o j ec b r ief ,   lectu r e,   a n d   m ix t u r e,   w h ile     th d ep en d en v ar iab les  ar t h f o u r   C r T s   in d icato r s   ac co r d in g   to   Ki m   [ 1 9 ] ,   n a m el y f lu en c y ,   f lex ib ilit y ,   o r ig in ali t y ,   an d   elab o r atio n .   Ma n o v an a l y s is   w as  ca r r ied   o u af ter   f u lf i lled   th p r er eq u is i te  test ,   n a m el y ,   n o r m alit y   a n d   h o m o g en ei t y .       3.   RE SU L T S   A ND  D I SCU SS I O N   T h f o llo w in g   s t u d en ts an s w er s   d escr ip tio n   to   s o lv e   th e   w a v p r o b le m   s ee n   b ased   o n   f lu e n c y ,   f le x ib ilit y ,   o r ig i n alit y ,   an d   e lab o r atio n   in d icato r s .   T h q u esti o n :   Oce a n   w a v es  ar f o r m ed   b y   tecto n ic   ea r th q u a k es  w h er th w av ele n g t h   a n d   p er io d   ar 2 0   m eter s   a n d   4   s ec o n d s .   Ho w   lo n g   d o es  it  tak ( s ec o n d s )   to   g et  to   y o u r   h o u s ( P lease  ass u m t h d is tan ce   o f   th s o u r ce   to   th s h o r elin is   1   k il o m e ter   s o   y o u   ca n   esti m ate  th d is ta n ce   to   y o u r   h o u s e) .   Descr ib th n u m b er   o f   w a v es  f o r m ed   f r o m   t h s o u r ce   to   y o u r   h o m e” .   Stu d e n 1   a n s w er   f o r   i n d icato r s ( a )   flu en cy :   d ata  in f o r m atio n   i.e .   w a v ele n g th   ( λ )   2 0   m et er s ,   p er io d   ( T )   4   s ec o n d s   to   co m p lete  tr av el  ti m ( t)   to   m y   h o m w h ic h   is   ( x )   1 5 0 0   m eter s   f r o m   t h s h o r elin e.   T h n ex g o al  is   to   m ea s u r th n u m b er   o f   w a v es  ( n )   f r o m   t h s o u r ce   to   m y   h o u s e,   ( b )   flexib ilit y:   i f   v elo cit y   is   co n s ta n t   th en λ   T   x   t,  s o   t h p r o p ag atio n   ti m f r o m   t h w a v s o u r ce   to   m y   h o u s i s   x .   T   λ   o r   t total   x total   T   λ ,   ( c)   o r ig in a lity:   t total  x tot al .   T   λ   =   2 5 0 0 x   4 /2 0   =   5 0 0   s e co n d s .   W h ile  th n u m b er   o f   wav es  f o r m ed   is   n   =   x to tal  λ   o r   tto tal  /   T   1 2 5   w a v e s ,   ( d )   ela b o r a tio n :   T h e   n u m b er   o f   w a v es  ( n )   ca n   u s co m p ar is o n   o f     th w av ele n g t h   ( x )   to   w av e len g th   ( λ )   o r   th r atio   o f   tr av el  tim ( t)   an d   p er io d   ( T ) .   W av elen g t h   is   t h d is t a n ce   o f   h ill  an d   v alle y .   T h is   ca s ex p lo r es  s tu d en ts '   cr ea tiv t h i n k i n g   ab ilit ies  t h r o u g h   v ar iati o n s   o f   an s w er s   f r o m   an   as s u m p tio n .   An al y s es   o f   t h a n s w er s   f o r   ea c h   s co r o f   cr ea tiv t h i n k in g   in d icato r s   ar k n o w n   t h r o u g h   p ar am etr ic  te s ts .   No r m a lit y   is   n e ed ed   to   test   as s u m p tio n s   as  w ell  as  p r er eq u is i te  f o r   p ar a m etr ic  test s th e r ef o r e,   d ata  m u s b n o r m all y   d is tr ib u te d .   Data   th at  is   n o n o r m all y   d is tr ib u ted   ca n n o b an a l y ze d   b y   p ar a m etr ic     s tatis t ics  [ 2 5 ] .   Data   r eq u ir em en ts   ar n o r m all y   d is tr ib u ted   if   s i g .   >0 . 0 5 ,   [ 2 2 ] .   T h r esu lt s   in   T ab le   2   s h o w s   th at  t h p r etest - p o s tte s d ata  ca r r ied   o u in   class es  A ,   B ,   an d   C   ar in   s i g .   >0 . 0 5 ,   th er ef o r it  is   co n cl u d ed   th at     th d ata.   P ar am e tr ic  an al y s i s   s u ch   a s   Dis cr i m i n a n an d   MA N OV A   r eq u ir es  h o m o g en eo u s   v ar ia n ce - co v ar ian ce   m atr ix .   T h h o m o g en ei t y   r eq u ir e m e n i s   u s ed   as   r ef er en ce   to   d eter m i n t h s ig n if ican e f f ec o f     th i n d ep en d en v ar iab le  to war d s   th d ep en d en t   v ar iab le.   T h h o m o g e n eit y   te s r es u lts   ar au to m at icall y   p r esen ted   at  Ma n o v o u tp u t.  Ho m o g e n eo u s   co n d itio n s   if   t h o u tp u at  t h B o x s   a n d   L ev e n e’ s   test   h as     s ig .   0 . 0 5   [ 2 6 ] .   T h r esu lts   s h o w   t h at  t h B o x s   test   ( T ab le  3 )   an d   L ev en e ' s   ( T ab le  4 )   ar in   th s ig .   >   0 . 0 5 ,   th er ef o r th d ata  h as  m et  th r eq u ir e m e n t s   o f   h o m o g e n eit y .       T ab le  2 No r m al it y   o f   C r T S p r etest - p o s t - te s t i n d icato r s   in   ea ch   g r o u p   V a r i a n t s   A   B   C   S i g   N   S i g   N   S i g .   N   F l u e n c y   0 . 1 0   32   0 . 2 6   35   0 . 1 9   30   F l e x i b i l i t y   0 . 0 9   0 . 1 5   0 . 0 7   O r i g i n a l i t y   0 . 1 1   0 . 0 9   0 . 4 0   El a b o r a t i o n   0 . 1 6   0 . 2 2   0 . 1 9   N o t e :   A :   P r o j e c t   b r i e f ;   B :   L e c t u r e ;   C :   M i x t u r e   ( L e c t u r e   a n d   D i sc u ssi o n ) .       T ab le  3 .   Ho m o g e n eit y   o f   m a tr ix   v ar ia n ts   ( B o x s   M)   T e st   R e su l t s   C o n c l u s i o n   B o x s M   2 0 . 5 5 0   H a s b e e n   h o mo g e n e o u s   F   0 . 9 6 4   S i g .   0 . 5 0 4       T ab le  4 .   Ho m o g e n eit y   o f   v ar i an ts   ( L ev e n e s   te s t)   I n d i c a t o r s   F   d f 1   d f 2   S i g .   F l u e n c y   1 . 2 3 4   2   94   0 . 2 9 6   F l e x i b i l i t y   1 . 3 4 1   2   94   0 . 2 6 7   O r i g i n a l i t y   2 . 8 1 5   2   94   0 . 0 6 5   El a b o r a t i o n   1 . 4 6 7   2   94   0 . 2 3 6   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   2 J u n 2 0 2 0 :   4 1 5   -   4 2 0   418   T h s im u lta n eo u s   in f l u en ce   o f   th p r o j ec t   b r ief   an d   c o n v en ti o n al  lear n in g   s tr ateg ies  h as  b ee n   s h o wn   in   th M u lti v ar iate  test   o u t p u ( T a b le  5 ) .   L ea r n in g   s tr a teg ies  t h at  h a v b ee n   u s ed   h av a n   ef f ec o n     th i n d ep en d en v ar iab le  w h e n   th s i g   v al u e.   0 . 0 5 ,   [ 2 5 ] .   T h o u tp u r esu lts   s h o w   t h at  t h e r ar f o u r   t y p es  o f   test s   s u g g ested   n a m el y   P illai 's  tr ac e,   L a m d a 's  w il k s ,   Ho tte llin g ' s   T r ac e,   an d   R o y ' s   L ar g est  R o o w h ic h   all   m ee t h r eq u ir e m e n ts   if   s i g .   0 . 0 5   ( T ab le  5 ) ,   h o w e v er   W ilk s L a m d s h o u ld   b ch o s e n   b ec a u s t h er ar e   m o r t h a n   t w o   g r o u p s   i n   t h d ep en d en v ar iab le.   T h is   i n d ic ates  th a t h er is   s ig n i f ica n d if f er e n ce   b et w ee n   th in d ep en d e n t v ar iab le s   an d   th d ep en d en v ar iab le  s i m u l ta n eo u s l y .       T ab le  5 .   Mu ltiv ar iate  test   Ef f e c t s o f   L e a r n i n g   S t r a t e g i e s   V a l ue   F   df   Er r o r   d f   S i g .   P i l l a i s T r a c e   . 4 3 1   6 . 3 1 8   8   1 8 4 . 0 0 0   . 0 0   Wi l k s’   L a m b d a   . 5 8 2   7 . 0 6 7   8   1 8 2 . 0 0 0   . 0 0   H o t e l l i n g s T r a c e   . 6 9 5   7 . 8 2 2   8   1 8 0 . 0 0 0   . 0 0   R o y L a r g e st   R o o t   . 6 6 1   1 5 . 2 0 7   4   9 2 . 0 0 0   . 0 0       T est  th ef f ec o f   t h in d ep e n d en v ar iab le s   o n   th d ep en d en v ar iab le  ( v ar ian t s )   s i m u l tan eo u s l y   s h o w n   in   th test   a n d   s ig n if ican at  s i g .   <0 . 0 5 .   T h r esu lt s   s h o w   th at  t h er ar d if f er en ce s   i n     th co n tr ib u tio n   o f   lear n i n g   s tr ateg ies   to   t h C r T i n d icato r   ( T a b le  6 ) .   T h ef f ec o f   lea r n in g   s tr ateg ies  o n   f l u en c y   in d icato r s   is   2 2 ( h ig h e s th a n   o th er s ) .   T h co n tr ib u tio n   o f   lear n i n g   s tr ateg i es  to   in d icato r s   o f   f le x ib ilit y ,   o r ig i n alit y ,   a n d   ela b o r atio n   is   1 5 %,  5 . 6 %,  an d   6 . 9 %.  I m ea n s   th at,   th e f f ec o f   lear n i n g   s tr ate g y   s i m u lta n eo u s l y   o n   ea c h   C r T in d icato r   h as  d if f er en ce .   T h d if f er en ce   in   t h av er ag s co r f r o m     th co n f r o n tatio n   o f   ea ch   lear n in g   s tr ateg y   i s   p r esen ted   in   T ab le  7 .       T ab le   6 T est o f   b etw ee n   s u b j ec ts   e f f ec ts   V a r i a n t s   F   N   S i g .   A d j u st e d   R   sq u a r e   ( %)   F l u e n c y   1 5 . 0 2   97   0 . 0 0 0   22   F l e x i b i l i t y   9 . 6 5 5   0 . 0 0 0   15   O r i g i n a l i t y   3 . 8 5 5   0 . 0 2 5   5 . 6   El a b o r a t i o n   4 . 5 7 8   0 . 0 1 3   6 . 9       T ab le   7 .   P o s t - h o test   V a r i a n t s   M u l t i p l e   C o m p a r i so n s   A   v e r su s B     A   v e r su s C     B   v e r su s C     M e a n   d i f f .   S i g .   M e a n   d i f f .   S i g .   M e a n   d i f f .   S i g .   F l u e n c y   1 5 . 1 7 *   0 . 0 0   9 . 8 9 *   0 . 0 0   5 . 2 8   0 . 2 0   F l e x i b i l i t y   1 1 . 6 6 *   0 . 0 0   5 . 1 1   0 . 2 0   6 . 5 5   0 . 0 5   O r i g i n a l i t y   5 . 0 0 *   0 . 0 1   0 . 4 3   1 . 0 0   4 . 5 7   0 . 0 8   El a b o r a t i o n   1 1 . 2 9 *   0 . 0 2   0 . 9 7 *   0 . 0 4   1 . 5 8   1 . 0 0   * S i g n i f i c a n t   a t   l e v e l   0 . 0 5 ;   A   =   P r o j e c t   b r i e f ;   B   =   L e c t u r e ;   C   =   M i x t u r e       T h d if f er en ce   in   t h av er a g ef f ec o f   th p r o j ec t b r ief   v er s u s   t h lectu r an d   th m i x tu r o n   f l u en c y   is   1 5 . 1 7   an d   9 . 8 9 .   T h is   i n d icate s   t h at  t h ef f ec o f   t h p r o j ec b r ief   is   h i g h er   th a n   t h l ec tu r an d   m i x t u r e   s p ec if icall y   f o r   f l u en c y   in d ic at o r s .   L ik e w i s e,   th d if f er en ce s   in   th ef f ec o f   th p r o j ec t b r ie f   v er s u s   lect u r o n   f le x ib ilit y ,   o r ig i n alit y   an d   ela b o r atio n   in d icato r s   ar 1 1 . 6 6 ,   5 . 0 ,   an d   1 1 . 2 9 ,   w h i le  th p r o j ec b r ief   v er s u s   m i x tu r i s   o n l y   s ig n i f ica n o n   f lu e n c y   ( 9 . 8 9 )   an d   elab o r at io n   ( 0 . 9 7 ) .   T h ese  r esu lts   m ea n   t h at  t h ef f ec o f   p r o j ec b r ief s   h as  m o r p o s itiv i m p ac o n   t h ab ilit y   to   p r o d u ce   v ar io u s   id ea s   ( f lu e n c y )   in   s o lv i n g   p h y s ic s   p r o b lem s .   Ho w e v er ,   th p r o ject  b r ief   also   co n tr ib u tes  to   i m p r o v in g   f lex ib ilit y ,   o r ig in al it y   an d   e lab o r atio n   ab ilit ies.  A l th ese  in d icato r s   ar s tu d en ts '   cr ea tiv t h in k i n g   s k ills .   A cc o r d in g   to   Gu n a w a n   [ 2 7 ]   th at  p r o j ec t   lear n in g   s tr ate g y   ca n   i m p r o v s tu d en t s '   cr ea tiv th i n k i n g   s k il ls .   P r o j ec lear n in g   also   h elp s   in   eq u ip p in g   s tu d e n ts   to   ex p lo r in n o v at i v ca p ab ilit ies  n ee d ed   in   th f u tu r [ 2 8 ] .   I n   ess en ce ,   cr ea ti v in d i v id u al s   w ill   m ai n tai n   th o r ig i n ali t y   o f   th id ea s   p r o d u ce d   [ 2 9 ] .   I n   co g n iti v p s y ch o lo g y ,   lear n er s   in   h i g h er   ed u ca tio n   i n cl u d th ad u lt c ate g o r y   o r   at  th e   p o s t - f o r m al   r ea s o n in g   s ta g [ 3 0 ] .   T h is   is   ch ar ac ter ized   b y   d ialec tical  t h i n k i n g .   Dialec tical  ab ilit ie s   in c lu d u n d er s ta n d i n g ,   an al y z in g   an d   f i n d in g   s o l u ti o n s   b ased   o n   id ea s ,   th eo r ies,  o p in io n s ,   an d   co n tr ad icto r y   th o u g h t s   th at  ar ca p ab le  o f   b ein g   s y n t h esize d   in to   n e w   a n d   cr ea tiv t h o u g h ts   [ 2 5 ] .   T h lev el  o f co g n iti v m atu r i t y     d ep en d s   o n   h o w   to   p r o ce s s   in f o r m atio n ,   i m p r o v m e m o r y   an d   m e m o r y   ca p ac it y ,   an d   o r g an ize  k n o w led g to     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J   E v al  &   R e s   E d u c .     I SS N:  2252 - 8822       P r o ject  b r ief  effec ts   o n   crea tiv th in kin g   s kills   a mo n g   l o w - a b ilit p r e - s ervice  p h ysics   tea ch ers   ( Ha b ib i )   419   s o lv v ar io u s   p r o b lem s   [ 2 6 ] .   T h ese  s k ills   ar v er y   i m p o r tan s p ec iall y   to   s u p p o r ea ch   lear n i n g   p r o ce s s .     T h er ef o r e,   ch o o s in g   u n iq u e   lear n i n g   s tr ate g y   as  P B L   [ 3 1 3 2 ]   is   v er y   i m p o r tan in   f ac ilit ati n g   cr ea t iv e   th i n k i n g   s k i lls   s u ch   as  lear n i n g   p r o j ec t   b r ief s .   Fin all y ,   ch o o s in g   th r ig h s tr ate g y   is   r eq u ir ed   to   m o ti v at e     lo w - ab ilit y   s t u d en t s .       4.   CO NCLU SI O N   T h s elec tio n   o f   ap p r o p r iate  l ea r n in g   s tr ateg ies  co n tr ib u te s   p o s itiv el y   to   th cr ea tiv th i n k in g   s k ill s   o f   lo w - ab ilit y   p h y s ic s   teac h er   ca n d id ates.  P r o j ec b r ief s   ar l ea r n ed - ce n ter ed   p r o v en   to   b b etter   in   i m p r o v i n g   s tu d e n ts '   cr ea tiv t h i n k i n g   ab ilit ies  t h an   c o n v en tio n al  lear n in g .   T h p r o j ec b r ief   g iv e s   p leasan lear n i n g   at m o s p h er s o   th at  s t u d en t s   b ec o m ac ti v in   co m p leti n g   c o m p le x   p h y s ics  co n ce p ts .   I n   t h f u tu r e,   th i s   s tu d y   is   ex p ec ted   to   b r ef er en ce   f o r   ch o o s in g   ac ti v lear n in g   s tr ateg ies e s p ec iall y   f o r   p h y s ics  s tu d e n ts .       ACK NO WL E D G E M E NT S   T h is   r esear ch   w as  s u p p o r ted   b y   t h Mi n is tr y   o f   F in a n ce   a n d   R esear c h   an d   T ec h n o lo g y   o f   Hig h er   E d u ca tio n   t h r o u g h   t h B UDI   DN  s ch o lar s h ip   p r o g r a m .       RE F E R E NC E S   [1 ]   W e lch ,   A .   R. ,   Blu rre d   v isi o n ? :   P u b li c   a n d   p riv a te  h ig h e e d u c a ti o n   in   In d o n e sia ,   Hig h e Ed u c a ti o n ,   v o l .   54   n o .   5 ,   p p .   6 6 5 - 6 8 7 ,   2 0 0 7 .   [2 ]   Ha sk in s,  R. ,   W a ld e n ,   T . ,   a n d   Ra m e y ,   C.   T .   T e a c h e a n d   st u d e n t   b e h a v io i n   h ig h - a n d   l o w - a b il it y   g ro u p s ,   J o u rn a l   o E d u c a t io n a l   Psy c h o l o g y ,   v o l .   75 ,   n o .   6 ,   p .   8 6 5 ,   1 9 8 3 .   [3 ]   W a rto n o ,   W . ,   S u y u d i,   A . ,   a n d   B a tl o lo n a ,   J.  R. ,   S tu d e n ts’  p r o b l e m - so lv in g   sk il ls  o f   p h y sic o n   th e   g a k in e ti c   th e o ry   m a teria l ,   J o u rn a o E d u c a ti o n   a n d   L e a r n in g ,   v o l .   12 ,   n o l.   2 ,   p p .   3 1 9 - 3 2 4 ,   2 0 1 8 .   [4 ]   S a leh ,   M . ,   L a z o n d e r,   A .   W . ,   a n d   De   Jo n g ,   T . ,   Ef f e c ts  o f   w it h in - c las a b il it y   g ro u p in g   o n   s o c i a in tera c ti o n ,   a c h iev e m e n t,   a n d   m o ti v a ti o n ,   In stru c ti o n a S c ien c e ,   v o l.   33 ,   n o .   2 ,   p p .   1 0 5 - 1 1 9 ,   2 0 0 5 .   [5 ]   Ja n g ,   H. ,   S u p p o rti n g   stu d e n ts'   m o ti v a ti o n ,   e n g a g e m e n t,   a n d   lea rn i n g   d u r in g   a n   u n in tere stin g   a c ti v it y ,   J o u rn a l   o f   Ed u c a ti o n a l   Psy c h o l o g y ,   v o l.   1 0 0 ,   v o l.   4 ,   p .   7 9 8 ,   2 0 0 8 .   [6 ]   Bru n e r,   J.   S . ,   T h e   p ro c e ss   o e d u c a ti o n .   Ha rv a rd   Un iv e rsity   P re ss ,   2 0 0 9 .   [7 ]   Nid z a m ,   C.   A .   C. ,   a n d   S h a h a rim  S a id a t u l,   A .   M .   F .   N.   L . ,   T e a c h e r - stu d e n ı n tera c ti o n s,  lea rn in g   c o m m it m e n t,   lea rn in g   e n v iro n m e n a n d   th e ir  re latio n sh ip   w it h   stu d e n lea rn i n g   c o m f o rt ,   J o u rn a o T u rk ish   S c ie n c e   Ed u c a t io n ,   v o l.   14 ,   n o .   1 ,   p p .   57 - 72 2 0 1 7   [8 ]   De w i,   C.   A . ,   a n d   M a sh a m i,   R.   A . ,   T h e   Ef f e c o f   Ch e m o - En trep re n e u rsh i p   Orie n ted   In q u iry   M o d u l e   o n   Im p ro v in g   S tu d e n ts’   Cre a ti v e   T h in k in g   A b il it y ,   J o u rn a o f   T u rk ish   S c ien c e   E d u c a t io n ,   v o l.   11 ,   n o .   1 ,   p p .   3 - 23 2 0 1 9 .   [9 ]   T a lat,   A . ,   a n d   Ch a u d h ry ,   H.  F . ,   T h e   e ff e c o f   P BL   a n d   2 1 st  c e n tu ry   sk il ls  o n   st u d e n ts’  c re a ti v it y   a n d   c o m p e ti ti v e n e ss   in   p riv a te sc h o o l s ,”   T h e   L a h o re   J o u rn a o B u sin e ss v o l.   2 ,   n o .   2,   pp. 89 1 1 4 2 0 1 4 .   [1 0 ]   Do p p e lt ,   Y. ,   A ss e ss in g   c re a ti v e   th in k i n g   in   d e sig n - b a se d   lea rn in g ,   In ter n a ti o n a J o u rn a o T e c h n o l o g y   a n d   De sig n   Ed u c a ti o n ,   v o l.   19 ,   n o .   1 ,   p p .   55 - 65 2 0 0 9 .   [1 1 ]   Be ll ,   S . ,   P r o jec t - b a se d   lea rn in g   f o th e   2 1 st  c e n t u ry S k il ls  f o th e   f u tu re ,   T h e   Clea rin g   Ho u se ,   v o l.   83 ,   n o .   2 ,     p p .   39 - 43 2 0 1 0 .   [1 2 ]   Zh o u ,   C. ,   In teg ra ti n g   c re a ti v it y   train in g   in to   p ro b lem   a n d   p r o jec t - b a se d   lea rn i n g   c u rricu l u m   in   e n g i n e e rin g   e d u c a ti o n ,   Eu r o p e a n   J o u rn a o En g i n e e rin g   Ed u c a ti o n ,   v o l.   37 ,   n o .   5 ,   p p .   4 8 8 - 4 9 9 2 0 1 2 .   [1 3 ]   A ra n tes   d o   A m a ra l,   J.  A . ,   d o s   S a n t o s,   L . ,   a n d   R o d rig u e s,   R.   J. ,   Co m b in in g   P ro jec t - Ba se d   L e a rn in g   a n d   Co m m u n it y - B a se d   Re se a rc h   in   a   Re se a rc h   M e th o d o lo g y   Co u rse T h e   L e ss o n L e a rn e d ,   In ter n a ti o n a J o u rn a o f   In stru c ti o n ,   v o l 11 ,   n o . 1 ,   p p .   47 - 60 2 0 1 8 .   [1 4 ]   Ba ra n ,   M . ,   M a sk a n ,   A . ,   a n d   Ya sa r,   S . ,   L e a rn in g   P h y sic th ro u g h   P ro jec t - Ba se d   L e a rn in g   G a m e   T e c h n iq u e s ,   In ter n a t io n a J o u rn a o I n stru c ti o n ,   v o l.   11 ,   n o .   2 ,   p p .   2 2 1 - 2 3 4 2 0 1 8 .   [1 5 ]   A la c a p ın a r,   F . ,   Ef f e c ti v e n e ss   o f   p ro jec t - b a se d   lea rn in g ,   Eu r a s ia n   J o u rn a o E d u c a ti o n a l   Res e a rc h   ( EJER)   n o .   3 3 ,   p p .   17 - 34 2 0 0 8 .   [1 6 ]   F ried - Bo o th ,   D.  L . ,   Pr o jec wo rk .   Ox f o rd   Un iv e rsit y   P re ss 2 0 0 2 .   [1 7 ]   Bo u d ,   D.   a n d   F e letti ,   G . T h e   c h a l len g e   o f   p r o b lem - b a se d   lea r n in g .   Ro u tl e d g e 2 0 1 3 .   [1 8 ]   Bu c k   in stit u te  o f   Ed u c a ti o n ,   W h a is  P ro jec t - Ba se d   L e a rn in g ? ”  2018 .   [ On li n e ] .   A v a il a b le:   h tt p s:/ /www . p b lw o rk s.o rg / w h a t - is - pbl   [1 9 ]   Kim ,   K.  H. ,   T h e   c re a ti v it y   c ris is:  T h e   d e c re a se   in   c re a ti v e   th in k in g   sc o re o n   th e   T o rra n c e   T e s ts  o f   Cre a ti v e   T h in k in g ,   Cre a ti v it y   Res e a rc h   J o u rn a l ,   v o l.   23 ,   n o .   4,   pp.   2 8 5 - 2 9 5 2 0 1 1 .   [2 0 ]   T re ff in g e r,   D.  J.,   Isa k se n ,   S .   G . ,   a n d   S tea d - Do rv a l,   K.   B. Cre a t ive   p ro b lem   so lvi n g :   A n   in tr o d u c ti o n .   P r u f ro c k   P re ss   In c ,   2 0 0 5 .   [2 1 ]   Ca m p b e ll ,   D.  T .   a n d   S ta n ley ,   J.  C. ,   Exp e rime n t a a n d   q u a si - e x p e rime n ta d e sig n fo re se a rc h .   R a v e n io   Bo o k s 2 0 1 5 .   [2 2 ]   S u g iy o n o ,   E d u c a t io n a Res e a rc h   M e th o d s:  Qu a n t it a t ive ,   q u a li t a ti v e ,   a n d   R & a p p ro a c h e s   (in   Ba h a sa ) .   A l f a b e ta :   Ba n d u n g ,   In d o n e sia ,   2 0 1 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2252 - 8822   I n t .   J .   E v al .   &   R es .   E d u c .   Vo l.   9 ,   No .   2 J u n 2 0 2 0 :   4 1 5   -   4 2 0   420   [2 3 ]   G h o z a li   Im a m ,   M u lt iva ria te  A n a lys is  Ap p li c a ti o n   wit h   t h e   IB M   S PS S   2 3   Pr o g ra m   (in   Ba h a sa ),   UN DIP ,   S e m a ra n g ,   In d o n e sia ,   2 0 1 6 .   [2 4 ]   Ch o u ,   Y.  M . ,   P o lan sk y ,   A .   M . ,   a n d   M a so n ,   R .   L . ,   T ra n s f o r m in g   n o n - n o rm a d a ta t o   n o rm a li t y   in   sta ti stica p ro c e ss   c o n tro l , “ J o u r n a l   o f   Qu a li ty T e c h n o l o g y ,   v o l.   30 ,   n o .   2 ,   p p .   1 3 3 - 141 1 9 9 8 .   [2 5 ]   Re n c h e r,   A .   C. ,   A   re v ie w   o f   M e th o d o f   M u lt iv a riate   A n a l y sis ,   2 0 0 5 .   [2 6 ]   G e is se r,   S .   a n d   G re e n h o u se ,   S .   W . ,   A n   e x ten sio n   o f   b o x ' re su lt o n   th e   u se   o f   th e   F   d istri b u ti o n   i n   m u lt iv a riate   a n a ly sis ,   T h e   An n a ls  o M a t h e ma ti c a S t a ti stics ,   v o l.   29 ,   n o .   3 ,   p p .   8 8 5 - 8 9 1 1 9 5 8 .   [2 7 ]   G u n a w a n ,   G . ,   S a h id u ,   H.,   Ha rjo n o ,   A . ,   a n d   S u ra n ti ,   N.  M .   Y. ,   T h e   e ff e c o f   p ro jec t - b a se d   lea rn in g   w it h   v irt u a m e d ia as sista n c e   o n   stu d e n t' s c re a ti v it y   in   p h y sic s ,   Ca k ra wa la   Pen d id ik a n n o .   2 2 0 1 7 .   [2 8 ]   M o n tag - S m it ,   T .   a n d   M a e rtz  Jr,  C.   P . ,   S e a rc h i n g   o u tsi d e   th e   b o x   in   c re a ti v e   p ro b lem   so lv in g T h e   ro le  o f   c re a ti v e   th in k in g   sk il ls an d   d o m a in   k n o w led g e ,   J o u rn a l   o Bu si n e ss   Res e a rc h ,   v o l.   81 p p .   1 - 10 2 0 1 7 .   [2 9 ]   Ty a g i,   V . ,   Ha n o c h ,   Y. ,   Ha ll ,   S .   D.,   Ru n c o ,   M . ,   a n d   De n h a m ,   S .   L . ,   T h e   risk y   sid e   o f   c r e a ti v it y Do m a in   sp e c i f ic   risk   tak in g   in   c re a ti v e   in d iv id u a ls ,   Fro n ti e rs   i n   p sy c h o lo g y ,   v o l.   8 ,   p.   1 4 5 2 0 1 7   [3 0 ]   Ru n c o ,   M .   A . ,   a n d   Ch a n d ,   I. ,   Co g n it io n   a n d   c re a ti v it y ,   E d u c a t io n a p sy c h o lo g y   re v iew ,   v o l.   7 ,   n o .   3 ,     p p .   2 4 3 - 267 1 9 9 5 .   [3 1 ]   Ba tl o lo n a ,   J.  R. ,   Dia n to ro ,   M . ,   a n d   L a ti f a h ,   E. ,   Cre a ti v e   T h in k in g   S k il ls  S tu d e n ts  i n   P h y sic o n   S o li d   M a teria l   El a sticity ,   J o u rn a o f   T u rk ish   S c i e n c e   Ed u c a t io n ,   v o l.   16 ,   n o .   1,   pp.   48 - 61 2 0 1 9 .   [3 2 ]   W a rto n o ,   W . ,   Dia n to ro ,   M . ,   a n d   Ba rtl o lo n a ,   J.  R. ,   I n f lu e n c e   o f   p ro b lem - b a se d   lea rn in g   m o d e o n   s tu d e n c re a ti v e   th in k in g   o n   e las ti c it y   to p ics   a   m a teria l ,   J u rn a Pen d i d ika n   Fi sik a   I n d o n e sia ,   v o l.   14 ,   n o .   1 ,   p p .   32 - 39 2 0 1 8 .       Evaluation Warning : The document was created with Spire.PDF for Python.