I n t ern a t i o n a l  J o u rn a l  o f  E l ect ri ca l  a n d  C o m p u t er E n g i n eeri n g  ( I J E C E )   V o l.   8 ,  No .   5 O c t obe r   20 1 8,  p p.   33 04~ 3 316   I S S N :  2088 - 8708 D O I :  10. 11 591/ i j ece . v8 i 5 . pp 330 4 - 3316          3304       Jou r n al  h om e p age h ttp : //ia e s c o r e . c o m/ j our nal s / i nde x . php/ I J E C E   As s es s m en t - d riv e n   L ea rning   t h ro ug h Serio us   G a m es :  G uida nce  a nd E f f ec t iv O ut co m es       O t h m a n B a kk a l i  Y e dr i ,  L o t f i  E l  A a c ha k ,  M o ha m e d B o uho r m a   C o m p u t er  S ci en ce,  S y s t e m s  an d   T el e co m m u n i cat i o n  L ab o r at o r y  ( L I S T ) ,  F acu l t y  o f  S ci en ces  an d  T ech n o l o g i es ,   U n i v er s i t y   A b d el m al e k  E s s a ad i  T an g i er ,  M o r o cco       A rt i cl e I n f o     AB S T RAC T     A r tic le  h is to r y :   R ecei v ed   Se p   20 ,  201 7   Re v i se d   J an   7 ,  201 8   A ccep t ed   Fe b   2 201 8       Ev a lu a tio n  in  s e r io u s  g a m e s  is   a n  im p o r ta n t a s p e c t; it a i m s  to  e v a lu a te  th e   g ood t r a ns m i s s i on of  pe da g og i c a l  obj e c t i v e s ,  t he  pe r f or m a nc e  of   s t ude nt  i n   r el at i o n  t o  t h es e o b j ect i v es  d ef i n ed  i n  t h e p e d ag o g i cal  s cen ar i o ,  t h e co n t en t   of  t he  c our s e  a nd t h e p r ed ef i n ed  cr i t er i a.  H o w e v er ,  t h e e f f ect i v en es s  o f   l e a r ni ng  i s  unde r - s t u di e d d ue  t o t he  c om pl e x i t y  i nv ol v e d t g a m i f y  t he   as s es s m en t  co n cep t ,  p ar t i c u l ar l y  w h en  i t  co m e s  t o  i n t an g i b l e  m eas u r es   r e l a t e d t o t he  pr og r e s s i on of  l e a r ni ng  o ut c om e s ,  w hi c h i s  a m on g  th e  m o s i m por t a nt  a s pe c t s  of  e va l ua t i on  i n s e r i ous  g a m e s .   T hi s  pa pe r  r e v i e w s  t he   l i t er at u r e r eg ar d i n g  as s es s m en t  d u e t o  t h ei r  i m p o r t an ce i n   t h e l ear n i n g   p r o ces s  w i t h  a d et ai l ed  as s es s m en t  p l a n  ap p l i ed  o n  s er i o u s  g am e.  T h en ,  i t   pr e s e nt s  a  f r a m e w or k  us e t o  f aci l i t at e t h e as s es s m en t  d es i g n  i n t eg r at ed  i n   s e r i ous  g a m e s .  F i na l l y ,  a  s i gni f i c a nt  e x a m pl e  of  ho w  t he  pr op os e d   f r a m e w or k  pr ov e d s uc c e s s f ul  w i t h c or r e s pon di ng  r e s ul t s  w i l l  c onc l u de     t h e p ap er .   Ke y wo rd :   A ss e s s m e n t   E - a s se ss m e n t   E - l ear n i n g   G a m e b as ed   l e a r ni ng   L ear n i n g  o u t co m es   S e r i o us  ga m e s   C opy r i g ht   ©  201 I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   O t h m a n B a kka l i  Y e d r i ,     C o m p u t er  S ci en ce,  S y s t e m s  a n d  T el eco m m u n i cat i o n  L ab o r at o r y  ( L I S T ) ,     F acu l t y  o f  S c i en ce s  an d  T ech n o l o g i es ,     U n i v er s i t y   A b d el m al e k  E s s aa d i  T an g i er ,  M o r o cc o .     E m a i l :  ot hm a n ba kk a l i @ gm a i l . c om       1.   I NT RO D UCT I O N   O v er  t h l as t   f e w   y ear s ,  s er i o u s   g a m e s  h a v e b een  e f f ect i v e ed u cat i o n al   t o o l s   w h i c h  at t r act ed  t h e   at t en t i o n  o f  s t u d en t s ,  ed u cat o r s  an d  p r o f es s i o n al s ,  u s ed  i n   m a n y  ar eas  o f   k n o w l ed g e  i n cl u d i n g   m i l i t ar y   d ef en s e,  h eal t h  car e,   m a n u f act u r i n g ,  ed u cat i o n ,  eco n o m y ,   r e l i gi o n,  b us i ne s s ,  e m e r g e nc y   m a na ge m e nt ,   p o litic s ,   c it y   p la n n in g ,   s c ie n t i f ic   e x p lo r a tio n ,   e n g i n e e r in g ,   t o u r is m   a n d   m e d ic i n e   [1 ] [6 ] ,   et c.   F o r   i n s t a n ce,   t hi s  d i ve r s i t y i t s   no t   s ur p r i s i n g b e c a us e   s e r i o us  ga m e s  c a n b e   de s i gn e d t o s ol v e   c om pl e x  pr obl e m s   c o lla b o r a tiv e l y   [7 ] ,   m a k e b u s i n e s s  p r o ces s   m o r e ef f i c i en t ,  ach i e v e p r ed i ct i v m o d el i n g  a n d  r eal  t i m e   v is u a liz a t io n   [7 ] ,   a n m or e   r e t e n t i on of   kn o w l e dg e  c o m pa r e d t o t r a di t i on a l   m e t h ods .  A n  e x a m pl e  of   ed u cat i o n al  d eci s i o n  i s  s e l ect i o n  o f  co u r s es  i n  t h e h i g h er  ed u cat i o n   [8 ] .   A c c or di ng  t o s e r i ou s   g a m e s  de f i n i t i ons   [9 ] , [ 1 0] , [ 11 ] w e  c a n r e s u m e  t he  f i e l d  i n t w o  t e r m  F un a nd   en g a g e m en t .  H o w ev er ,  t h s e r i o u s  s i d e l i k l ear n er  as s es s m en t ,  r eco r d i n g   u s er  o r  l ear n er  d at a,  en h a n ci n g   r es u l t s  f o r  p r o f es s i o n al s  an d   s o  o n  p r es en t s  a ch al l e n g e f o r  r es ear ch er s  acco r d i n g  t o  t h ei r  l ear n i n g  b e n e f its   an d  i m p o r t an ce.  F o r  s er i o u s  g a m es  p r o v e t h ei r  ef f ect i v e n es s ;  t h e y   m u s t  b e ab l e t o  t r an s m i t  k n o w l ed g e   p r o p e r l y  a nd  a l l o w   m e a s ur i ng  a nd  a na l yz i n g t he  l e a r ni n g o ut c o m e s   [ 12] .   T r a d i t i o n al l y   t al k i n g ,  t eac h er s  o r  p eo p l e i n  c h ar g e  af t er  e v er y  co m p et en ce  t r an s f er   t h e y  e v al u a t e   s t ud e nt s  l e a r ni ng a c hi e ve m e nt   w i t h e xa m s .  B e s i d e s ,  t he   f i e l d  i s  us e d   w is e ly  in  e - l e a r ni ng [ 13] - [ 16] ,   an d  t h er ar s o m g e n er al i zed   m et h o d s   l i k a s s e s s m en t  o f   s t u d en t   co m p et e n ce,   as s es s m e n t   o f   s t u d en t   ac h i e v e m e n t .   A s s e s s m e n t  o f  l e a r ni n g a nd  t r a i ni ng r e q ui r e s  a  s ys t e m at i c a p p r o ach  t o  d et er m i n e a p er s o n s  ac h i e v e m e n t s  an d   ar eas  o f  d i f f i c u l t y .  G e n er al l y ,  as s e s s m e n t   m et h o d  i s  d es i g n ed  t o  ev al u at e   m a n y  co m p et e n ci es  b u t  t h f i n a l   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A ss e s sm e n t - d r i v e n L e ar ni ng  T hr ough  Se r i ous  G am e s :  G ui da nc e   ( O t hm an B ak k al i  Y e dr i )   3305   r es u l t  i s   m er el y  a  g r ad w i t h o u t  an y  d es cr i p t i o n  ab o u t  s t u d en t s  ach i e v e m e n t  i n  e v er y   co m p et e nc [ 17] S t an d ar d i zed  as s e s s m e n t   m et h o d s  o f t e n  t a k l es s  t i m e a n d  ar e eas i er  t o  ad m i n i s t er ,  a n d  t h e i r  r es u l t s  ar r ead i l y  i n t er p r et ab l [ 18] .  H o w e v er ,  t h i s   s t a n d ar d i zed   as s e s s m en t   m et h o d  ar u s el es s   f o r  n o n - co m p u t er   o r   s ci en ce p er s o n .  I n d eed ,   w e p r o v i d e t o  p r es en t  an  as s e s s m e n t  f r a m e w o r k   w h i ch  can  b e ex p l i ci t  an d  eas y   f o r   pr of e s s i on a l  a n d n on - pr of e s s i on al  p eo p l e.     I n  o r d e r  to  te s t th e  e f f ic a c y  o f  th is  a s s e s s m e n t   p l an ,   w w i l l  p r es en t  o u r  g a m e n title d R ecr u i t m en t   p r o to c o l th a t h a s  a s  a  p u r p o s e  to  tr a in  th e  p la y e r   f o r  a  j o b  in te r v ie w .  O b v io u s l y ,  th e   m o s t i m p o r ta n t a x is  i n  th e   g a me   is   to  j u d g e  th e  e f f ic ie nc y  of   l ear n er s   a n d  th e ir  a b ili tie s  to  a d a p t in   th e  c o r r e s p o n d in g  s itu a tio n .   A   d e b r i e f i ng o f  t he   l ear n er  ex p er i en ce  w i l l  b e   s e nt   to  th e   g a m e  tu to r  o r   an  ex p er t .  T h e g a m i s  d o t ed   w i t h  s o m e   d a ta   m in in g   a l g or i t hm s .  O n e   of   t he   ch al l en g es  i s  t o  i n t r o d u ce   an  as s es s m en t  p l an   i n t he   ga m e  d e ve l o p m e n t   p r o ces s  an d  f ace t h e i n s t r u ct o r s  an d  ex p er t s   h o w  t o  ev al u at e t h e l ear n i n g  o u t co m es   i n  o r d er  t o  i d en t i f y   s t ud e nt s  l a c ks   f o r   th e  g iv e n  g o a l o r  f ie ld .   I n  t h i s  p er s p ect i v e o f  r es ear c h   w e ai m   t o  p r es en t ,  f i r s t  t h e  l i t er at u r e r ev i e w  ab o u t  as s es s m e n t ,  e - as s es s m en t  t h ei r  ad v a n t a g es ,   m et h o d s ,  t o o l s  an d  ap p l i cat i o n s  d o m ai n s .  T h en ,   w e d i s c u s s  h o w  t o  co l l ect  an d   t o r e u s e  da t a  du r i n g t h e  e x pe r i e n c e .  I n  a ddi t i on ,   w e  pr ov i de  t o pr e s e n t  ou r   f r a m e w or k b y   g i vi ng  a  s i gn i f i c a n t   e xa m p l e  a nd   w e p r es e n t  t h e r es u l t  o f  o u r  p r o p o s al .  F i n al l y ,   w e cl o s e b y   s i g n i f i ca n t  p er s p ect i v es .       2.   LI TER A TU R E R EV I EW     I n  o u r  r es ear ch  o f  t h e as s e s s m en t  as  s ci e n t i f i c f i e l d ,   w e f i n d  a n u m b er  o f  d ef i n i t i o n s  d ef i n i n g  i t ,  s u c h   a s:   A n  ong oi n g pr oc e s s  a i m e d a t  un de r s t a n d i n g a nd  i m p r o vi n g s t ud e nt  l e a r ni ng;  I t  i n vo l ve s   m a k i n g o ur   e x p e c ta tio n s  e x p lic it a n d  p u b lic ; s e tti n g  a p p r o p r ia te  c r it e r ia  a n d  h ig h  s ta n d a r d s  f o r  le a r n in g  q u a li t y ;   s y s t e m a t i cal l y   g at h er i n g ,  an al y zi n g ,  a n d  i n t er p r et i n g  ev i d e n ce t o  d et er m i n h o w   w el l  p er f o r m a n c e m a t ch es   t h os e  e x pe c t a t i ons  a n d s t a n da r ds ;  a n d us i n g t h e  r e s ul t i n g i nf or m a t i o n  t o doc um e nt ,  e xpl a i n ,  a n d i m pr ove   p er f o r m a n ce   [ 15]   A l s o   w e   f i n d  a n o th e r  d e f in it io n  th a t p r e s e n t t h e  f ie ld   a s  t h e  s y s te m a t ic  b a s is   f o r   m a ki n g i nf e r e nc e s   a bou t  t h e   l e a r ni ng  a n de v e l opm e n t  o f   s t u de n t s ;   M or e  s p e c i f i c a l l y ,  a s s e s s m e nt   i s  t h e   pr oc e s s  of  de f i ni ng ,   s e le c ti n g ,  d e s ig n i n g ,  c o lle c tin g ,  a n a l y z in g ,  in te r p r e tin g ,  a n d  u s in g  in f o r m a tio n  to  in c r e a s e  s tu d e n t s '  le a r n i n g   an d  d ev el o p m en t   [ 13] .   A cco r d i n g  t o  t h e s e d ef i n i t i o n s ,   w can  s u m m ar i ze as s e s s m e n t  as  a p r o ces s   ai m ed  t o   u n d er s t a n d ,  a n al y ze,  co l l ect ,   i n t er p r et  an d   u s e t h e i n f o r m at i o n  t o  i m p r o v l ear n i n g  a n d  d ev el o p m en t  o f   l ear n er s .   G en er al l y  s p eak i n g ,  as s es s m e n t  i n  a n  ed u cat i o n al  s y s t e m   co m e s  i n  d i f f er e n t  as p ect s ;   D i ag n o s t i c   as s es s m en t   h o p es  t o  i m p r o v t h e l ear n er s  ex p er i en ce s .  I s  o f t e n  u s ed  b ef o r e t each i n g  o r  at  t h e b e g i n n i n g  o f   t h e ex p er i e n ce ( A s s e s s   w h at  t h e l ear n er  al r ead y   k n o w ) .  F o r m at i v e as s es s m e n t  C o n t r i b u t e s  t o  l ear n i n g  t h r o u g h   pr ov i di n g  f e e dba c k   [ 19] .  I t   o c c ur s  p r i o r  t o a nd  d ur i ng t he  c o ur s e  a nd  a l l o w s  a d j us t m e nt s  i f  ne c e s s a r y .  I t  p l a ys   a r eg u l at o r y  r o l e an d  l ear n i n g  s u p p o r t   [ 20] .  S u m m a ti v e  a s s e s s m e n t is  li k e  d ia g n o s tic  a s s e s s m e n t b u t it   ap p ear s  at  t h ee n d  o f  t h e  l ear n e r  ex p er i en ce.  I t s  u s ed  t o   m eas u r es  t h e l ear n er s  ac h i e v e m e n t s  at  t h e e n d  o f  t h e   ex p er i en ces .  T h i s   m ea s u r e m e n t  i s  o f t e n  b as ed  o n  ex a m s ,  p ap er s  p r o j ect s  an d   p r es en t at i o n s ,  p o r t f o l i o s   w h i c h   h e lp  to   s u b m itti n g   s tu d e n t p r o g r e s s  a n d  c o lle c ti n g  i n f o r m a tio n  a b o u t  th e  s t u d e n t.  I n te g r a tiv e   a sse ss m e n t  o r   au t h e n t i c as s es s m en t  i s  a r ef l ect i v e an d  i t er at i v e p ar t i ci p at o r y  p r o ces s  t h at  l i n k s  k n o w l ed g e ( s ci en ce)  an d   act i o n  ( p o l i c y )  r eg ar d i n g  co m p l ex   g l o b al  ch a n g e i s s u es   [ 21] .   I n t eg r at i v e t as k s  ca n  b e f o r  f o r m at i v e o r   s um m a t i v e  pu r pos e s . E s pe c i a l l y   f or  s e r i ou s  g a m e s ,  t h e  f or m a t i v e  a s s e s s m e n t  i s  t h e   m or e  us e f ul  a n d s h oul d be   u s ed  i n  t h g a m e p r o ces s  t o  b e p ar t  o f  t h e e x p er i en ce.   A l t h o u g h  s e v er al   m et h o d s  an d  t ec h n i q u es   ha ve  b e e n   us e d  t o  a s s e s s  l e a r ni n g i n s e r i o us   ga m e s   [ 22]   an d  s i m u l a t i o n s  i n   g en er al ,   s u m m at i v e as s e s s m en t  i s  co m m o n l y   acco m p l i s h ed  w i t h  t h e u s e  o f   p re -   a n d pos t - t es t i n g ,  a c o m m o n  ap p r o ach  i n  ed u ca t i o n al  r es ear ch   [ 23] H o w e ve r ,  s u m m a t i ve ,  f o r m a t i ve ,  d i a g no s t i c  a nd  i n t e gr a t i ve  a s s e s s m e nt   w o r k s  t o ge t he r  t o  i m p r o ve  l e a r ni n g.   T he y   s ho ul d  b e  t he  i m p o r t a nt   c o m p o ne nt s  i n t he   ga m e  d e s i g n a nd  a t  t he   ga m e  l e ve l .     I n  s u m m ar y ,  a s s e s s m en t  i n v o l v es  a r i c h  i n f r as t r u c t u r e cap ab i l i t i es  t h at  en ab l e s   u s   t o  ev i d en ce o f   s t u de n t  l e a r n i n g i n a   m uc de e pe r  a n d of t e m or e  a u t he n t i c   t h a n   w ha t  h a s  be e n  p os s i bl e  be f or e   w i t tr a d itio n al   m et h o d s .   A  n u m b er  o f  s o f t w ar e p r o d u ct s  ar e av ai l ab l e f o r  o n l i n e ed u c at i o n al  t es t i n g  a n d   as s es s m en t   [ 24] .  H o w e v er ,  t h e co n s t r u ct o r  can  co m b i n e b et w ee n  a t h eo r y  an d  t ech n o l o g y  t o  acq u i r d es i r ed   r e s u lt.  I n   T a bl e  1 w e  pr ov i de  t o pr e s e n t  s o m e  of  e x i s t i ng   m e t h od a n d t ool s   w i t h  c or r e s pon di n g  de s c r i pt i o n .   A  l i t er at u r e r ev i e w   w as  p er f o r m ed  t o  i d en t i f y  d i f f er en t  ap p r o ach es  an d  t h eo r i es  i n  o r d er  t o  i n t eg r at e   as s es s m en t   i n t o   s er i o u s   g a m e s .   I n   o u r   r es ear ch   w f i n d   al s o   m u l t i t u d o f   p ap er s   d i s cu s s i n g   t h d i f f er en t   t y p es  o f   as s es s m e n t  a n d  p ap er s   d i s cu s s i n g  as s es s m en t   f r a m e w o r k s   f o r   s er i o u s  g a m es .   S o m s t u d i e s   co v er   f o r m at i v e an d  s u m m at i v e as s e s s m en t .  F o r  ex a m p l e au t h o r s  i n   [ 28]   u s es  s er i o u s  g a m e f o r  f o r m al  as s es s m e n t .   H o w e ve r ,  t he  a s s e s s m e nt   m o d e l  us e d  i n t hi s   s t ud y b a s e d  o n G a g ne s  ni ne  e ve nt s  o f  i n s t r uc t i o n.  O t he r s  ,  s uc h   a [ 29] ,  a r e  f oc us e d on  l e a r ni n g s k i l l s  a n m o t i v a t i on   w hi c h  a r e  a s s e s s e u s i ng  a  pr o ba bi l i s t i c  a ppr oa c h   p er f o r m ed  b y  t h u s er .  T h ei r  ap p r o ach  i s  b as ed  o n  ad ap t a b i l i t y  i n  o r d er  t o  h el p  l ear n er s  t o  i n cr eas e t h ei r   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   330 4   -   3316   3306   m o t i v a t i on   s ki l l s .  I n de e d,  pr ov i di n g a n  a u t o m a t e d t ool  f or   m on i t or i ng  a n d a n a l y z i n g   t h e  a c t i on s  pe r f or m e d b y   t he  l e a r ne r s ,  a ut ho r s  i [ 30]   h av e as  p u r p o s e t o  u s e p et r i   n e t s  ex t r act ed   f r o m  t h e e x p er t  b eh av i o r  i n  t h e g a m e   an d  co m p ar e t h e l ear n er  i n t er act i o n s  t o  i t  u s i n g   s ev er al  d i ag n o s i s  i n d i cat o r s .       T ab l 1 .   A s s e s s m e n t  M e t h ods   a n d t ool s   T yp e   D e s c r ip t io n   As s e s s m en t  m an a g em en t   sy st e m s   T o o l s  f o r  in s tr u c to r s  to   a d m i n is te r  a n d  a n a l y z e  t e s ts   A  C o m p et en c P e r f o r m an ce  A n al y z er   T o o l  t h a t  k eep   t r a c e o f  t h e l ea r n er s  a c t i v i t y  i n   t h e s h ap e o f  ev en t s  i n   g a m e a n d   b a s i n g  o n  t h es e o n es  a s s es s es  t h e r el a t ed  p er f o r m a n c es   r es p ec t   t o  a   p r ed ef i n ed   s et  o f  c o m p et en c es [ 2 5] .   T oo l s  f or  n a t u r a l  l a n g u a g e   a n sw e r  a sse ssm e n t   T o o l  t h at  a n al y ze  an d  as s e s s  a n s w e r s  w r itte n  i n  te x a r e a [ 1 4]   L e a p  m ot i o n  c on t r o l l e r   s m a l l  d e v i c e  t h a t  c a n  b e  c o n n e c t e d   t o  a   c o m p u t e r  u s i n g  a  U S B [ 2 6 ] .   E y e  T r ack i n g   E y e T r a c k er s  m ea s u r e t h e s ac ca d es  ( f a s t  m o v em en t s )  an d  f i x at i o n s   ( d w e l l  t i m e s )  o f  h u m a n  g a z e [ 2 7]       P r o v id in g  a  li s t o f  t h e o r e tic a l q u e s tio n s ,  a s s e s s m e n t   m at r i x  p r o v i d es  f ac u l t y   m e m b er s  ( es p eci al l y   o n es   w i t h  l i t t l e as s e s s m e n t  ex p er i en ce)   w i t h  a s t r u ct u r e f o r  d ev el o p i n g  t h ei r  as s e s s m en t  p l a n  u s i n g  a  s e r i e s o f   qu e s t i ons - a s   t he y a ns w e r  t he   q ue s t i o n s ,  t he y e s s e n t i a l l y a r t i c ul a t e  t he  p l a [ 31] .   A cco m p an y i n g  l ear n er s  a n d   th e ir  e v a lu a tio n  is  a   s u b j e ct  al r ead y  t r eat ed  i n  t h l i t er at u r e [ 32] ,  [ 33] . T he  e va l ua t i o ne e d s  o f  s e r i o us   ga m e s   ar e p ar t i cu l ar l y  r el ev a n t  t o  e v al u at i o n  b e f o r e ap p r en t i ces h i p ,  d u r i n g  ap p r e n tic e s h ip  ( r e a l - t i m h el p )  an d  af t er   ap p r en t i ces h i p  ( d i ag n o s i s  o f   l ear n ed  s k i l l s ) ,  p o s s i b l y   i n v o l v i n g  a d eb r i ef i n g  b et w een   t h e l ear n er  a n d  t h m o n ito r .   T o   s u m m ar i ze,   al l   h i g h l i g h t ed   s t u d i e s   ar g e n er al l y   f o cu s ed   o n   g a m e   p l a y   s e s s i o n ,   l ear n er   p er f o r m a n ce o r   ach i e v e m en t ,   s u m m at i v e an d   f o r m at i v e as s es s m en t  a n d  l ear n i n g  s k i l l s  an d  m o t i v at i o n .   A l s o ,   A s s es s m en t   m at r i x  i s   f o cu s e d  o n  a r h et o r i cal  s i d e o f  as s es s m en t  p l a n .  H o w ev er ,  i t  b eco m n eces s ar y  t o   co m b i n e s e v er al  o f  t h e s e g o o d  t ech n i q u e s  t o  en co m p as s  t h e s t r en g t h s  o f  a l l  t h e as s es s m en t  t ech n i q u e s   r ev i e w ed .  E s p eci al l y  f o r  s er i o u s  g a m e s  as s es s m en t  p l an  s h o u l d  co m b i n e b et w een  s er i o u s   an d  f u n  i n  o r d er  t o   at t e m p t  t h e p ed ag o g i cal  o b j e ct i v e,   A s s e s s m e n t   m et h o d s  m u s t  b e r eco g n i zab l w i t h i n   t h e g a m e d es i g n ,  as   M i ch el  an d   C he n   [ 10]   s ta te s  “ S e r io u s  g a m e s  lik e  e v e r y  o th e r  to o o f  e d u c a tio n   m u s t b e   a b le  to  s h o w  t h a t th e   n eces s ar y  l ear n i n g  h a s  o ccu r r ed . ”.         3.   W H O S  I N CH AR G E   T O  DE S I G N A N AS S E S S M E NT  M O DE L  F O R S E RI O US   G AM E S ?   D es p i t e t h e ab u n d a n ce o f  l i t er at u r e o n  S G s ,   f e w  p ap er s  p r o v i d e a d et ai l ed  d es cr i p t i o n  o f  t h e s p eci f i c   S G  a s s e s s m e n t d e s ig n .  S till,   “m a n y  ed u cat i o n a l  g a m es  d o  n o t  p r o p er l y  t r an s l at e k n o w l ed g e,  f act s ,  a n d   l e s s o n s  i n t o  t he  l a n g ua ge   o f  ga m e s .  T hi s  r e s u l t s  i n  ga m e s  t ha t  a r e  o f t e n ne i t he r  e n ga gi n g no r     ed u cat i o n al ”  [ 34] .  H o w e v er ,  i n  t h i s  p ar t  o f  p ap er   w e p r o v i d e t o  d es cr i b e t h e r o l es  o f  eac h  au t h or  r e s pon s i bl e   o f  d e s i gn i n g a s s e s s m e nt  i s e r i o us  ga m e s .   P er s o n s   w h o  ar e i n  c h ar g t o  d es i g n  a  s er i o u s  g a m e ar e :   P r o f es s i o n al  e x p er t ,  P ed ag o g e ex p er t  an d  G a m e d es i g n er  e x p er t .     3 .1 .   P r o f es s i o n a l  ex p ert :   I t is  th u s  p o s s ib le  to  r e v e a f o u r  c r ite r ia  f o r  m e a s u r i n g  p r o f es s i o n al  co m p et e n ce:   a.   L ear n er  l e v el  o f  e x p er t i s e i n  a  s p eci f i f i el d ,   b.   A   m eas u r e o f  h i s  d eg r ee o f   k n o w l ed g e i n  a g i v e n  f i el d ,   c.   T h e d eg r ee o f  o p er at i o n al l y  o f  t h e act i o n   h e i s  car r y i n g  o u t ,   d.   T h e d eg r ee o f  v ar i et y  o f  t h e r eas o n i n g   h e l ead s .   T he   F i gur e   1   d es cr i b es  t h e ch eck  l i s t  t h at  s h o u l d  b e d o n e b y   t h e p r o f es s i o n al  e x p er t .   A s  m e n tio n e d   i n t he   F i g ur e   1 ,  e xp e r t  s ho ul d :   a.   D es cr i b e each  s i t u at i o n  an d  d ef i n e t h ei r  r eq u i r ed  co m p et en c i es   b.   D ef i n e t h e t h e m at i w i t h  t h ei r   l ev el  o f  co m p et e n ce   c.   C la s s i f y  a c tio n     d.   D es cr i b e act i o n s  a n d  d i f f er e n t   s cen ar i o s  o f  eac h  act i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A ss e s sm e n t - d r i v e n L e ar ni ng  T hr ough  Se r i ous  G am e s :  G ui da nc e   ( O t hm an B ak k al i  Y e dr i )   3307     F i g ur e   1 .   P r o f e s si o n a l   ex p er t         3 .2 P e d a gogu e   E x p ert   I s  t he  p e r s o w h o s  i n c ha r ge  t o  i m p l e m e nt  a nd  t o  va l i d a t e  t he  l e a r ni n g t r a n s f e r   vi a  t he  ga m e   ex p er i en ce.  T h F i gur e   2   d es c r i b es  t h e c h eck   l i s t   t h at  s h o u l d  b e d o n e b y   t h e p ed ag o g u e e x p er t .   A s  m e nt i o ne d   i n t he   F i g ur e  2 ,  pe da g og u e  s hou l d:   Q u e s t io n : A c tio n   R es p o n s e :  f eed b ack  ( p o s i t i v e;   n eg at i v e)   A s   m e nt i o ne d  i n t he  f i g ur e ,  p e d a go gue   s ho ul d :   a.   D e f i n e  t h e  c a t e g or y  of  pr obl e m  (  or  qu e s t i on  i n  qu i z )   b.   H o w  to  i m p le m e n t t h e  p r o b le m  in  o r d e r  to  e n s u r e  b e tte r  le a r n in g   ach i ev e m e n t   c.   D ef i n e d i f f er en t  er r o r s  t y p es   d.   W he c a b e   t he   g ui d a nc e   t r i gge r e d .   W h e n   each   s t ep   c a w e   i m pl e m e n t   t h i s   pr obl e m   ( p r e   i or   pos t   g a me )   e.   D ef i n e ed u cat i v m es s a g e t o  s h o w   t o  t h e l ear n er  i n  o r d er  t o   co m p l et h i s  l ear n i n g           F i g ur e   2 .   P e d a go gue   ex p er t   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   330 4   -   3316   3308   3 .3 G a me   D es i g n er   G a m e  d e s i g ne r  i s   t he  p e r s o w h o s  i n c ha r ge  o f   ga m i f yi ng  i n s t r uc t i o n c i t e d  b y b o t h p e d a go g ue  a nd   p r o f es s i o n al  e x p er t .  H e u s es  s ev er al  t o o l s  an d  p l at f o r m s  f o r  cr eat i n g  s cen ar i o s ,  o b j ect ,  s o u n d s ,  an d  g r ap h i cs   an d  s o  o n .  E s p eci al l y ,   f o r  s er i o u s  g a m e s  g a m e d es i g n e r  s h o u l d h a v e  ba s i c s  i n  di f f e r e nt  s ubj e c t  a n d pe da g ogy .         4.   AS S E S S M E NT  P L AN DE S I G N F O R S E RI O U S  G AM E S   I n  t h e l i g h t  o f  o u r  ex p er i en ce  an d  acco r d i n g  t o  t h e an al y s i s   m ad e b y  o u r  r es ear ch  t ea m  c o n cer n i n g   t h e   s t r ong  a n w e a k poi n t  o f   e a c h   m e t h od,  t h e   m e t h od b el o w ,  p r es e n t s  t h e  p r o p er  i n t eg r at i o n  o f  as s es s m e n t   pl a n  i n  s e r i ous  g a m e s  de s i g n ,   s u ppor t i ng  di f f e r e n t   m e t h ods   a n d t ool s  du r i n g  t h e  di f f e r e n t   s t e ps  of  de s i gn  a n d ev el o p m en t  p r o ces s .  T h e T ab l e 2  s u m ar i zes  t h m ai n  p h as e s  o f  d ev el o p m e n t   w i t h  t h ei r  co r r es p o n di ng   d e s c r ip tio n .       T ab l 2 .   D e ve l o p m e nt   P ha s e s   B a c k gr ou nd   I t e r a t i v e  d e s i g n  p h a s e   I t e r a t i v e d ev el o p m en t  p h a s e               O b j ec t i v es :   D ef i n e o v er a l l  o b j ec t i v es  o f  t h g a m e   I d en t i f y  g o a l s  f o r  t h e d es i r ed   r e s u l t s  o f  c o n t e nt   U se r s:   T y p ol o g y  of  u s e r s   N eed s  a n a l y s i s   L ea r n er s  r eq u i r em en t     P e d a go g i c a l   m o d e l :   D e s ig n  i n s tr u c t i o n a l  s tr a te g ie s   W h a t  a s p eci f i c d a t a   d o  y o u  n eed  t o  co l l ec t   R e q ui r e d   a s s e s s m e n t   m e t h o d s  a n d  t o ol s   D ef i n i n g   a  c o m p et en ci es  m o d el ?   E va l u a t i o n S p a c e   S oc i a l  C o n t e nt       A r e t h e ed u ca t i o n a l  o u t c o m es  m et ?   H o w  c a n  y o u  c o n v i n c e  t h e m  t h a t  t h e   ed u ca t i o n a l  o u t c o m es  w er e m et ?   H o w  c a n  y o u  i m p r o ve   y ou r  p r og r a m  a n d  y ou r   a sse ssm e n t  p r o c e ss?   A s s e s s  p e rfo rm a n c e   E n h an c r et en t i o n  a n d  t r an s f er   E v a l u a t t h p er t i n e n c e o f  d a t a c o l l ec t ed   g a m e d es i g n   A c c e s s ib i l ity  a n d   u s a b il ity  s ta n d a r d s       4 .1 O v e r a ll  O b j ect i v es :   C o nt e xt  l a ye r :  T he  e xp e r t  o r  t he  ga m e   d e s i gne r  s ho ul d   s i t ua t e  t he   ga m e  i n a  s p e c i f i c   c o nt e xt  b d ef i n i n g  d o m ai n ,  l ear n i n g  o b j ect i v es ,   g a m e i n t e n t i o n ,  t ar g et  au d i en ce an d  a b r i ef  d e s c r i pt i on  of  s um m a r i z i ng  t h m a i n  o b j ect i v es  o f  t h e g a m e as  p r es en t ed  i n  T ab l e 3 .       T ab l 3 .   O v e r a ll  O b j ect i v es   W h a t  a r e  t h e  ov e r a l l  ob j e c t i v e s  o f  t h e   p r og r a m ?   D om a i n :   H e al t h b u s i n e s s , f i n a n ce , m i l i t ar y , m an ag e m e n t , r e cr u i t m e n t , co m m u n i c at i o n   an d  m ar k e t i n g b u s i n e s s  t e ach i n g , s o c i al  s e cu r i t y C o n s t r u c t i o n ,   C r e a t i v e  i n d u s t r i e s ,  l i f e   s c i e n c e s ,  i n f o r m a t i o n   a n d   c o m m u n i c a t i o n s  t e c h n o l o g y ,  T o u r i s m ,  f o o d  a n d   d r i n k  …   I n te n tio n :   E d u c at i v e  m e s s ag e b r o ad c as t i n g  ,I n f o r m at i v e  m e s s ag e b r o ad c a s t i n g  ,  M ar k e t i n g  &  C o m m u n i c at i o n  m e s s ag e  b r o ad cas t i n g   , S u b m i t  a  s ub j e c t i v e  m e s s a ge  , T r a i ni ng  , E xc ha n g i n g  g o od s   , T e l l  a  s t or y  , O p e r a t i n a  l i c e n s e   S t u d en t  r eq u i r em en t :   w h a t  a r e t h e l ea r n er  r eq u i r em en t s ?   T a r g e t  A u d i e n c e :   P r o f e ssi o n a l s,  n o n - p r of e s s i o n a l s ,  ge n e r a l  p op u l a t i o n   B ri e f d e s c ri p t i o n :   Te x t       4. 2.  L e ar n i n O u t c o me s   L ear n i n g  l a y er :  T h e ex p er t  o r   t h e g a m e d es i g n er  s h o u l d  h a v e cl ear  i d ea  ab o u t  l ear n i n g  o u t co m e s .  H o r  s h m u s t   g i v e a co r r es p o n d i n g  a n s w er  as  p r es e n t ed  b el o w   i n  T ab l e 4 .       B a c k g r o und   P ro to ty p e   R e v i e w   D e si gn   E v al u at e   I m p le m en t   D ev e lop   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A ss e s sm e n t - d r i v e n L e ar ni ng  T hr ough  Se r i ous  G am e s :  G ui da nc e   ( O t hm an B ak k al i  Y e dr i )   3309   T ab l 4 .   E d u c a tio n a O u t c o me s   W h at  ar e  t h e  p r o g r am s  e d u c at i o n al  o u t co m e s ?   a n  a b il ity   to :   E n g a g e  in  li f e - l on g  l e a r n i n g ;   K n o w  t h e  b a s i c s ;     A b l e t o  m em o r i ze ( f a c t u a l  l ea r n i n g )  ;     se n so r - m o to r  s k il l s   A d a p t   a n d   t r a n s f e r  k n o w l e d g e  i n  a   n e w  c o n t e x t ,  u s e   i n f o r m a t i o n ,  m e t h o d s ,   a n d   t h e o r i e s  i n  n e w  s i t u a t i o n s ;     A n a l y s i s  o f  k n o w l e d g e - b a s e d  p r o b l e m  s o l v i n g ,  p r e d i c t i o n,   p r oj e c t i on   c o n c l u s i on s ,  c h o i c e ,   a r g u m e nt a t i o n. ;   u n d e r s t a n d i n g  t h e  s o c i a l  e n v i r o n m e n t   a n d  o t h e r s ;     S el f - ev al u at i o n   O t h er s       4 .3 L ea rn er  P o r t f o lio :   S t ud e nt s  e xp e r i e nc e s  a r e  c o l l e c t e d  t hr o ug ho ut  a  p r o gr a m   w hi c i s  a s s e s s e d  b y  ga m e  e ngi ne  u s i ng a   p r ed ef i n ed   r u l es  a n d  a co m m o n  s co r i n g   g u i d e/ s t a g e.  P o r t f o l i o s  m a y  co n t a i n   s ev er al  i n f o r m at i o n e. g .   “R es ear ch  p ap er s ,  r ep o r t s ,  t e s t s ,  ex a m s ,  ca s e s t u d i es ,  v i d eo ,  p e r s o n a l  e ss a y s ,  j o u r n a l s ,  se l f - e va l ua t i o ns ,   ex er ci s es ,  et c”.  P o r t f o l i o  i s  co n s i d er ed  l i k e a d i r ect  a s s e s s m en t   m et h o d .  T a b l e 5  s u m m ar i zes  n eed ed  d at a t o   c o lle c t.       T ab l 5 .  S tu d e n t P o r tf o lio   s tu d e n t ' s  p o r tf o l io   L ea r n er :  D es c r i p t i on   T y p e :  J u n i o r ,  S en i o r   i n t er m ed i a t e, ex p er t   T u t o r:  T e a c h e r,  d o c t o r,   d i re c t o r…   C on t e x t :  O p e n S pa c e ,   C l a s s r o o m ,  on l i n e   R e s u l t :  S c o re ,  t i m e ,   n u m b e r o f c o rre c t  a n s w e rs ,  n u m b e r o f fa l s e  a n s w e rs ,  n u m b e r o f re d u n d a n t  fa u l t s   N ot e :   F a i l e d ,  m e d i u m ,  l ow ,  h i g h ,  go od ,  ex c el l en t   D ec i s i o n :  I f  w e u s e s er i o u s  g a m es  w i t h  e - l ea r n i n g   p l a t f o r m s  e. g . m o o d l e   ed x  … ”,  w e c a n   u s e s t u d en t s  p o r t f o l i o  t o  c o m p l et e d at i n f or m a t i on       4 .4 A ss e s s m e n t   M e t ho ds :     A s  p r e s e nt e d  b [9 ]   l ear n i n g   o b j ect i v es  ar e b r i e f   s t at e m en t s  t h at  d es cr i b w h at  t h e l ear n er   w i l l  b ex p ect ed  t o  l ear n  b y  t h e e n d  o f  t h e g a m e.  W h i l e ed u ca t o r s  o r  p r o f es s i o n al s  u s e l ea r n i n g  o b j ect i v es  i n   d i f f er e n t   w a y s  t o  ach i e v e a  v a r i et y  o f  i n s t r u c t i o n al   g o al s  acr o s s   m u l t i p l e d ev el o p m e n t al   s t ag es ,   g r ad e l ev el s ,   a ge  a nd  s o  o n.   E a c h p r o gr am   w i l l  s el ect  t h e as s es s m e n t   m et h o d s  as  p r es en t ed  i n  T ab l 6  t h at   w i l l  p r o v i d e t h m o s t   us e f ul  a nd  r e l e va nt  i n f o r m a t i o n.  W he n s e l e c t i ng  w hi c h  a s s e s s m e nt   m e t ho d s  t o  us e ,  c o ns i d e r  t h e   av ai l ab i l i t y  o f  r es o u r ces ,  t h u s ef u l n es s  o f  t h e r es u l t s  an d  t h e  l ear n i n g   o u t co m es .         T ab l 6 .   A s se s s m e n t  M e t h o d s   N eed ed  t o  C o lle c t D a ta   W h a t  a s s e s s m e n t  m e th o d s  w i ll y o u  u s e  t o  c o lle c t  d a ta ?   Me t h o d   D e s c r ip t io n   A l u m n i  S u r v e y   C a n  p r o v i d e   i n f o r m a t i o n  a b o u t  p r o g r a m   s a t i s f a c t i o n ,  p r e p a r a t i o n ,   e m p l o y m e n t   st a t u s,  sk i l l s f o r  su c c e ss.   A t  t h e en d  o f  t h e g a m e   T y p e :  I n d i r e c t   C ap s t o n e P r o j ec t     H a s  a s  p u r p o s e  t o  i n t e g r a t e  k n o w l e d g e ,   c o n c e p t s ,   a n d  s k i l l s   a c q u i r e d b y  l e a r n e r  o r  t h e  l e a r n e r  d u r i n g  t h e  s e q u e n c e s   o f  t h e g a m e.   I n  t h e  g a m e   T y p e:  D i r e ct   C e r tif ic a t io n     T h e s e  s t a n d a r d i z e d  t e s t s  a r e  d e v e l o p e d  b y  o u t s i d e ,  p r o f e s s i o n a l  o r g a n i z a t i o n   t o  a s s e s s  g e n e r a l  k n o w l e d g e  i n  a   d i s c i p l i n e   T y p e:  D i r e ct   E m p l o ye r  S u r v e y   I n f o r m a t i on  t o   c o l l e c t  c a n  i n c l u d e  o n t h e  j o b s k i l l s ,  f i e l d  s p e c i f i c  i n f o r m a t i o n ,  e t c .   T y p e :  I n d i r e c t   In s ti t u t io n a l  D a ta   R e v i e w  b o t h   s e r i ou s  ga m e  a n d  s t ud e n t  d a t a   t h a t   i s   c o l l e c t e d .   T y p e :  I n d i r e c t   O b s e r v a t i on s   P r o vi d e  i n f or m a t i o n  o n  s t ud e n t   b e h a v i o r s  a nd   a t t i t u d e s .   P r e a n d  p o s t  t es t s   T y p i c a l l y  a n  s e r i o u s  g a m e   i s   a d m i n i s t e r e d  a t  t h e  b e g i n n i n g  a n d  a t  t h e   e n d  o f  a  c o u r s e  o r  p r o g r a m  i n  or d e r  t o   d e t e r m i n e  t h e  p r o g r e s s  o f  s t u d e n t  l e a r n i n g   T y p e:  D i r e ct   G a m e R ev i e w   R e v i e w i n a   ga m e   i n v o l v e s  d e t e r m i n i n g  i f   t h e   ob j e c t i v e   i s  m e e t i n g  t h e   g oa l s   a n d   ou t c om e s  t h a t   h a v e  b e e es t a b l i s h ed   T y p e :  I n d i r e c t     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   330 4   -   3316   3310   4 .5 D at a   C o lle c t io n   D at a co l l ect i o n  i s  u s ed  t o  o r g an i ze i n s t i t u t i o n al  p r o ces s es ,  an al y ze s t u d en t  l ear n i n g  g ap s  an d   i m p l e m en t   s t r at eg i es ,  al l o cat r es o u r ces ,  an d  co n t i n u o u s l y  e v al u a t es  t h e ef f i cac y  o f  t h e l e ar n i n g  o b j ect i v es  t o   s up p o r t  a nd  i m p r o ve  s t ud e nt  l e a r ni ng.  I t  p r e s e nt s   a q u a n t i t at i v e d at a co l l ect i o n  t h at   h e l p s  t o  ev al u at e t h e   l ear n er  ex p er i en ce.  H o w e v er ,  t h es e d at a ar e co l l ect ed  f r o m  P at i en t s ;  S t u d e n t s ,  l ear n er s ,  T each er  o r  t h f o r m er ;   E v al u at o r   a g en t ;   G u i d an ce  ag e n t .   F i n al l y ,   t h g a m d es i g n er   s h o u l d   d es cr i b d et ai l ed   n eed ed   d at f r o m  eac h  act o r .   A l l  co l l ect ed  d at a d ep en d s  t o  as s e s s m e n t   m et h o d  ch o s e n  b y  t h g a m d es i g n er .  G en er al l y   s p eak i n g  t h e y  ca n  b e r es u m ed  i n t o  t h r ee l a y er s :  P r e - g a me ,  I n - g a me ,  P o s t - G a m e.  T h er e ar m an y  r eas o n s  t o   co l l ect  d at s u ch  as   l ear n e r s  g u i d an ce  d u r i n g   t h e   g a m e,  t e s t   l ear n er  ef f i cac y ,   m eas u r e t h l ear n er   ach i ev e m e n t ;  e n h a n ce t h e s t u d en t  l ev el ,  i m p r o v e t h e l ev el   o f  l ear n er ,   r ecr u i t m en t ;  h eal t h  an al y s i s  an d  s o  o n .   T ab l 7  p r es en t s  t h m a i n   s p eci f i c d at a n eed ed  t o  co l l ect .         T ab l 7 .   S p eci f i D at a t o  C o lle c t   W h a t  s p ec i f i c   d at a   d o  w e n eed  t o  c o l l ec t ?   N a m e;  A g e ;  S ex ; T i m e; S c o r e;  N u m b er  o f  g es t u r es ;  N u m b er  o f  r i g h t  a n s w er s ;  N u m b er  o f   w r o n g  a n s w er s .  ;  C h ec k  i f  t h e l ea r n er  n eed   a s s i s t an c e o r  h el p ;     I f  t h e g a m e r eq u i r r e f le c tio n   N u m b e r  o f  r e d u n d a n t  f a u l t   r i g h t   a c t i o n ,   t oo  e a r l y ,  t o o l a t e ,  s u b o p t i m a l ,  e r r on e o u s  a n d  m i s s i n g   O t h er s   T h e s e  d a t a   d e p e n d s  o n  t h e  n a t u r e  o f  t h e  g a m e  a n d   i t s  c a n   b e  d e f i n e d   b y  e x p e r t  o r  g a m e  d e s i g n e r       T h e ev al u at i o n  o f  t h l ear n er s  r eq u i r es  t h e   c o lle c tio n   o f  in f o r m a tio n   f r o m  d i f f e r e n t s o u r c e s   acco r d i n g  t o  t h e r o l e i n car n at ed  b y  t h e l ear n er  i n  t h e s ce n a r i o .   T h e  in f o r m a tio n  r e q u ir e d   f o r  e v a lu a tio n  th u s   v ar i es  i n  t y p e an d  n at u r e ( d ep en d i n g  o n  t h e r o l e p l ay ed  b y  t h e act o r ) ,  an d  m u s t  b e acq u i r ed  f r o m   so u r c e s o f   k n o w l ed g e o r  d at a d i s t r i b u t ed  o v er  d i f f er e n t  s o f t w ar e co m p o n en t s .   I n t er act i o n s  ca n  b e ev al u at ed  b y  t h e t i m e el ap s ed  b et w ee n  t h e d et ect i o n  o f  t h e p r o b l em  an d  i t s   r es o l u t i o n  as   w el l  a s  t h e i m p act ed  zo n e.   E ach  d at a  r eq u i r ed  f o r  ev al u at i o n  can   u s e   a  di f f e r e n t   m ode l  of   r ep r es en t at i o n ,  as   w el l  as  a  ca l cu l at i o n  o f  e v al u at i o n   s p eci f i ed  t o  p r o d u ce a l ear n i n g   s co r e t o  v al i d at e o r  n o t   t h e l ear n i n g  o b j ect i v e o f  a  s cen ar i o .  T h i s  k n o w l ed g e  can  b e p r o d u ced  i n d i v i d u al l y  o r  co l l ect i v el y   ( i n t er act i o n s  b et w ee n  ac to r s  a n d  / o r  s i m u la te d  p la y e r s ) .     4 .6 D at a   E val u at i on :   I n  t h i s  s ec t i o n ,   w e p r es en t   h o w  ca n   w e i n t er p r et  d at w i t h  r es p ect  t o  t h e ex i s t i n g   m et h o d s  as   p r es en t ed  i n  T ab l e 8 .   D at a an al y t i cs   i s  a  s ci e n ce co n s i s t i n g  o f  ex a m i n i n g  r a w  d at a,  i n  o r d er  t o  d r a w   c o nc l us i ons   f r o m  t h i s  i n f or m a t i on .  I t  i s  us e d t v e r i f y  t h e or i e s  or  t o r e f u t e  e x i s t i ng   m ode l s .  I n  t h i s  pe r s pe c t i v e   o f   s t u d y ,   i s   f o cu s ed   o n   t h l e ar n er   ach i e v e m en t .   D at a n al y s i s   i s   t h e n   u s ed   t o   d et er m i n i f   t h s y s t e m s   i n   p l ace ef f ect i v el y  o p er at e ef f i c i en t l y   a n d  ach i e v e t h e l ear n i n g  o u t co m es   g o al s .       T ab l 8 .  I n t er p r et  an d   E v al u at e D at a   H o w  w i l l   y o u  i n t e r p r e t   a n d  e v a l u a t e  t h e  d a t a ?   Me t h o d   D e s c r ip t io n   S ta t i s t ic s   I s   o n e  b r a n c h  o f  m a t h e m a t i c a l  s c i e n c e  s t u d y i n g  t h e  c o l l e c t i o n ,   a n al y s i s in te r p r e ta t io n ,  p r e s e n ta tio n ,  a n d   o r g a n i z a t i o n  o f   d a ta [ 3 5]   B u s i n e s s  in te l l i g e n c e   " i n t e l l i g e n c e "  e n c o m p a s s e s   I T  s o l u t i o n s  p r o v i d i n g   d e c i s i o n  s u p p o r t  w i t h   p r o f e s s i o n a l ,  c h a i n - e n d ,  r e p or t s  a nd   m o n ito r i n g  d a s h b o a r d s  a c t iv i tie s     [ 3 6 ]   W eb  an a l y t i c s   Me a n in g   th e  s t u d y  o f  th e  i m p a c t  o f  a   w e b s ite  o n   it s  u s e r s [ 3 7 ] .   O p e r at i o n al  r e s e ar ch   A  m a th e m a tic a l  d is c i p l in e  t h a t c o n tr a c t w ith  a d v a n c e d  a n a l y ti c a l  m e th o d s   t o  h e l p  d e c id e r s  to  m a k e  t h e  b e tte r   d e c i s io n   A r t if ic ia l  i n te l l ig e n c e   a n d  d a t a   m i n i n g   D a t a  m i n i n g i s  a   n e w  c o n c e p t  i n  e d u c a t i o n   d o m a i n .  T h i s  c o n c e p t   c a n  b e  h e l p f u l  a s  a  w o r k  o f  b r i d g e  b e t w e e n   t h i s  l a c k s  of  k n o w l e d ge   [ 3 8] .   I t s  t h e  p r o c e s s  o f  a n a l y z i n g  d a t a  f r o m  d i f f e r e n t  p e r s p e c t i v e s  a n d  s u m m a r i z i n g   t h e  r e s u l t s  a s  v a l u a b l e  i n f o r m a t i o n .   I t  h a s   b e e n  d e f i n e d   a s  t h e  n o n t r i v i a l  p r o c e s s  o f  i d e n t i f y i n g  v a l i d ,  p o t e n t i a l l y   u s e f u l ,  n o v e l  a n d   u l t i m a t e l y  u n d e r s t a n d a b l e  p a tte r n s  in   d a t a   [ 3 9] .   S oc i a l  n e t w o r k   an al y s i s   Me a n in g   t h e  s t u d y  o f  t h e  i m p a c t  o f  s o c i a l  n e t w o r k s  o n  i t s  u s e r s .   I t  m e a n s  a l s o  t h e  s t u d y  o f  c o l l e c t i o n ,   an a l y s i s in te r p r e ta t io n ,  p r e s e n t a tio n ,   a n d  o r g a n iz a tio n  o f   u s e r s  d a t a   i n s o c i a l  n e t w o r k s [ 4 0]   I n f o r m a t i on   v is u a l iz a tio n   T h e  s t u d y  o f  ( i n t e r a c t i v e )  v i s u a l  r e p r e s e n t a t i on s  o f  a b s t r a c t   da t a  t o  r e i n f o r c e  h u m a n   c o gn i t i o n.   L e ar n i n g  a n al y t i cs   T h e  a p p l i c a t i o n  f i e l d s  o f  t h e  l e a r n i n g  a n a l y t i c s  c o n c e r n   m o d e l i n g  o f  u s e r  k n o w l e d g e ,  u s e r  b e h a v i o r ,   a n d   u s e r   e x p e r i e n c e ,   u s e r   p r o f i l i n g ;   m o d e l i n g   o f   k e y   c o n c e p t s   i n   a   d o m a i n   a n d   m o d e l i n g   a   d o m a i n s   k n o w l e d g e   c o m p o n e nt s ,   a n d  t r e nd  a n a l y s i s     Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A ss e s sm e n t - d r i v e n L e ar ni ng  T hr ough  Se r i ous  G am e s :  G ui da nc e   ( O t hm an B ak k al i  Y e dr i )   3311   4. 7.   D e br i e f i ng  a nd  F e e dba c k   A f t er  each  p r o g r a m m e,  t u t o r  o r  f o r m er  s h o u l d  co n v i n c e p ar en t  o f  l ear n er s  t h at  t h e l ear n i n g   o b j ect i v es  ar e ac h i ev ed  a s   p r es en t ed  i n  T ab l e 9 .   O u t co m es   d e f i n e w h at  y o u  w a n t  a  s er i o u s  g a m t o   acco m p l i s h .  G en er al l y   s p eak i n g ,  l ear n i n g   o u t co m e s  s t at e m en t s   m a y  b e co n s i d er ed  t o  b e ex i t  b eh av i o r s .   O u t co m e s  ac h i e v e m en t  ca n   b e p r es en t ed  i n  p o s t - ga m e  f o r  s t ud e n t  a nd  t ut o r  l i ke  a   q ui z  t o   ha ve   m o r e   i nf or m a t i on a n d t o h e l p t h e   ga m e  de s i g n e r  t o e n h a n c e  o u r  g a m e  e ng i n e .  I nf or m a t i o n  a bou t  s t u de nt  l ear n i n g   o u t co m es  a s s e s s m e n t  r es u l t s   w i l l  b e av ai l ab l e at  t h e ap p r o p r i at e l ev el s  o f  g r a n u l ar i t y   f o r  u s e b y  p r o g r a m s ,  i n   an al y s i s  a n d  ev al u at i o n ,  an d  d eci s i o n - m a ki n g.       T ab l 9 .   L e a r ni n A c h i e ve m e nt   H o w  c a n y ou  c on v i n c e  t h e m  t h e   o b j ect i v es  w e r e m et ?   G o a l s  :A tt e n d   th e  a im s  o f   a  g a m e     O u tc o m e s : t h e  c h a n g e s  in   th e  l iv e s  o f  in d i v i d u a l s ,  f a m i l ie s ,  o r g a n iz a tio n s ,   o r  t h e  c o m m u n i ty  a s  a  r e s u l t  o f  t h e  g a m e .  E v a l u a te   i n t r in s ic   m ot i va t i o n   I n d i c at o r s : t h e s p eci f i c,  m ea s u r ab l e i n f o r m a t i o n  c o l l e c t ed  t o  t r ack  w h et h er  an  o u t c o m e h a s   a ct u a l l y  o c c u r r ed       5.   R EV ER S E EN G I N E ER IN G   W h en  ap p l y i n g  as s es s m e n t  p l an  i n  d es i g n  p r o ces s  an d  i f   t h e d es i g n er  r es p ect  t h e  i n s t r u ct i o n  a s   p r es en t ed   ab o v t h r es u l t   w i l l   b as   p r es en t   i n  t h F i g ur e   3 .   E va l ua t i o t y p e   i s e r i o u s   ga m e s :   R e a ti m e   e va l ua t i o n:  T hi s  e va l ua t i o n r e l a t e s  t o  a  d i a gno s i s  e vo l vi n g t hr o ug ho u t  t he  ga m e  ( ga m e  s c e na r i o ) .  R e a l - ti m e   e va l ua t i o r ef er s  t o  t h e ev al u at i o n  o f  an  act i o n  o r   m i s s i o n  ( B eh av i o r  s p ace) .  T o  ev al u at e an  act i o n ,  t h e   cal cu l at i o n  o f  a s co r e i s  b as ed  o n  t h e co r r es p o n d i n g  i n d i cat o r s .   F i na l  i nd i vi d ua l  e va l ua t i o n:   I nd i vi d ua l  e va l ua t i o n i s  a   s u m m a t i ve  e va l ua t i o n t ha t  e va l ua t e s  a n d   c er t i f i es  t h e l ear n er ' s  l ear n i n g   i n  t h e g a m e s ce n ar i o .  T h i s  ev al u at i o n  co m p ar es  t h s t at e o f  t h e l ear n er ' s   m o d el   ( l ear n er  act i o n s   A s   w e l l  as  h i s / h e r   kn o w l e dg e )   w i t h  t h e   m o de l  of  t h e  do m a i n  a n d e s t a bl i s h e s  a  di a gn os i s  on  th e  s k ill s  a c q u ir e d  a n d  th e  s k il ls  th at  r e m ai n  t o  b e l ear n ed .   C o l l ect i v e ev al u at i o n :  U s i n g  t h e S o ci al  S p ace,  an  i n t er act i o n  g r ap h  i s  co n s t r u ct ed ,  r ep r es en t i n g  t h e   d i f f er e n t  co m m u n i cat i o n s  an d  i n t er act i o n s  b et w een  t h e  d i f f e r en t  act o r s  ( l ear n er s  a s   w el l  as  s i m u l at ed  act o r s ) .   W i t h t hi s  gr a p h,   w e   kn o w   w ho c on t a c t e d w h o,   w h e n ,  a n d f or  h o w  l on g ,  a s   w e l l  a s  i nf or m a t i on  e x c h a ng e d.   C o m b i n i n g  t h e i n f o r m at i o n  f r o m  t h e d i f f er en t  s p ace s ,   w e h a v e t h e p o s s i b i l i t y  t o  d ed u ce a  cau s al  l i n k  b et w ee n   th e   m i s s io n s  o f  t h e  v a r io u s  a c to r s  ( th e  a c to r  f a ile d  in  h is   m i s s i o n  b ecau s e t h e act o r  B  d i d  n o t  s en d  t h e r i g h t   i n f o r m at i o n )  a n d  t h u s  o b t ai n  a  co m p l et e a n d  p r eci s e ev al u at i o n  o f  al l  t h e act o r s .           F i g ur e   3 .   L e a r ni n ti m e li n e     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   20 88 - 8708   In t  J  E l e c  &  C o m p  E n g ,   V o l.   8 , N o 5 O c t obe r  20 18   :   330 4   -   3316   3312   G l oba l  e v a l u a t i on  w i l l  be  done  a t  t h e  e n d of  t h e   g a m e  pl a y s e s s i on .  I t   w i l l  c on t a i n bot h  i n di v i d u a l   an d  co l l ect i v e e v al u at i o n .   C er t i f i cat i o n  o f  a l ear n er ' s   s k i l l  o r  k n o w l ed g e ca n  b e ac h i e v ed  t h r o u g h   n e g o t i at i o n   as  p r es en t ed  i n   [ 41] .   F o r  M as s i v m u l t i  o n l i n e  g a m es  cr eat o r s  o r  g a m e d es i g n er s  s h o u l d  t a k e i n  co n s i d er at i o n   c o lla b o r a tio n ,  c u ltu r e  a n d  c o m m u n ic a tio n .   A t t h e   e n d   o f   each   ex p er i e n ce t es t   p ed ag o g u e an d  p r o f e s s i o n a l   ex p er t  r es p ect i v el y   m u s t  ev a l u at e o u t p u t  o f  g a m e an d  s t u d en t  l ear n i n g  ach i e v e m en t .  T h i s  o p e r at i o n  i s   i m p o r t a nt   f o r  b o t h  t o  e nha nc e  a s s e s s m e nt  p l a n a nd  t o  e ns ur e  ho m o ge ne i t y o f  c o l l e c t e d  d a t a .  H o w e ve r ,   th is   m e t h od i s  e v a l u a t e d by  i m p l e m e nt i ng  s o m e  g a m e s  i n  ou r  l a bor a t or y  a n d by  a ppl y i ng  t h i s   m e t h od on  s o m e   e xi s t i n g ga m e s  a s  p r e s e nt e d  i n  t he  ne xt  p a r t .       6.   P RO O F  O F  CO NCE P T   6 .1 .   Ex i st i n g  S e r i o u s   G a m e s   M ecag en i u s [5 ]   i s  an  e x a m p l e o f  s er i o u s  g a m e t h at   u s e s  i n  p r o ces s  as s es s m en t  b a s ed  o n  t h e   m o ni t o r i ng  o f  s t a t e s .  T he  p ur p o s e  o f  t he  ga m e  i s  t o  t r a i n e n g i ne e r  i m e c ha ni c s ,  p r o vi d i ng  t he m   w i t h a   vi r t ua l   l ab o r at o r y  an d  v ar i o u s   t o o l s .   T h e l ear n er  h as  t o  g i v e a d i ag n o s i s  a n d  a p r es cr i p t i o n  t o  each  cas e o f   s t u d y .  H e   h a s  t h e  pos s i bi l i t y  of  r u nn i ng di f f e r e n t  t y pe s  of  t e s t s .  T h e  s y s t e m  a l s o c ol l e c t s  s e c o n da r y  i nf or m a t i o n  f or   m o r f o r m at i v e as s es s m e n t .   S i m ve nt ur e [ 42] : is  a n  e x a m p le  o f  b u s in e s s   g a m e .  I t a llo w s  t h e  p la y e r s  to   m a n a g e  a  c o m p a n y ,   de a l i n w i t h   f ou r   m a j or  t y pe s  of  i s s u e s :  pr odu c t i on ,  or g a n i z a t i on ,  s a l e s  a n m a r k e t ,  a n f i n a n c e .  I t  pr opos e s   a ls o  s o m e  a d d itio n a l a c tiv iti e s ,  s u c h  a s  d e b r ie f in g ,  a n s w e r in g  q u e s t i o ns ,   w r i t i n g e s s a ys ,  a nd  f o r e c a s t i n e ve nt s  a nd  o ut c o m e s  a nd  b us i ne s s  p l a n ni n g.   P IX E L e a rn i n g s  E n t e rp ri s e  G a m e [ 43]   i s  a s i m i l ar  b u s i n es s  g a m e.   L ear n er  can  d ef i n e a p r o d u ct   m eet i n g  t h m ar k et  d e m a n d  i n  t er m s  o f  q u a l i t y  a n d  p r i ce i s  t h m o s t  i m p o r t an t  f act o r  t o   m a ke  t he  b us i ne s s   v ia b le .  D e f i n in g   th e ir  p r o p e r   m a r k e t in g   s tr a te g y   is  a  k e y  a s   w e ll.  I t s  a llo w s  to  le a r n e r   n e w  a s p e c t s u c h  a s   c om pe t i t i on  a n d c ol l a bor a t i on .     6 .2 R e s ul t  a nd  D i s c u s si o n   T h e  pu r pos e  of  ou r  g a m e   R e c r u i t m e n t  pr ot oc ol  g a m e  a s  pr e s e n t e d be l o w  i n F i g u r e  4 i s  t o pr e pa r e   t h e  pl a y e r  a s  g ood a s  pos s i bl e  f or  h i s  j ob i n t e r v i e w  or  j ob   pr om ot i on ,  pr ov i di ng  h i m   w i t h  a n  i nt e r v i e w  a n d   va r i o us   r e a l   s i t ua t i o ns .   T he   l e a r ne r   s ho u l d   m a na ge   t o   f ace   each   s i t u at i o n   b y   s el ect i n g   r i g h t   an s w er s   i n   t h e   r i g h t   m o m en t .  T h e p l ay er   m u s t  ch o o s e a m o n g  s e v er al  an s w er s   t h e o n e t h at   s ee m s  t o   h i m  t h m o s t  ad ap t ed ,   t h us  be c o m i n g  a w a r e  of  t he  r u l e s  of  pol i t e n e s s ,  a da pt a bi l i t y ,   m ot i v a t i o n  a n d s o on ,  i n  or de r  t be   i m p l e m en t ed  d u r i n g  a j o b  i n t er v i e w .  T h e s y s t e m  al s o  co l l ect s  s eco n d ar y  i n f o r m at i o n   f o r  m o r f o r m at i v e   as s es s m en t .             F i g ur e   4 .   R e c r u it m e n t p r o to c o       T h e ch o i ce o f  r ecr u i t m e n t  i s   n o t  ar b i t r ar y ,  b ecau s e i t  co m b i n es  t h eo r y  an d   e xp e r i e nc e .   A l s o ,  i n t he   r ecr u i t m e n t  p r o ces s   w h a v e a l l  t y p e s  o f  as s es s m e n t ,  p r e,  i n ,  p o s t  an d   g l o b al  e v al u at i o n .  T h e c h o i ce o f  a  g o o d   el e m e n t   i s   n o t   an   eas y   j o b   an d   i t s   r eq u i r ed   an d   n u m b er   o f   t ech n i q u e s   an d   r u l e s  t h at   w w o u l d   r es p ect   t o   ach i ev t h e d es i r ed  r es u l t s .   T h e d es i g n i n g  t ea m  ( p ed ag o g u e,  e x p er t  an d  d es i g n er )   m u s t  d e f i n e d i f f er en t   s cen ar i o s ,  act i o n s ,  r u le s ,  d a ta  to  c o lle c t a n d  s o  o n .   W he n d e s i g ni ng a nd  d e ve l o p i n g t he  ga m e   w e   w e r e  a  t e a m   Evaluation Warning : The document was created with Spire.PDF for Python.
In t  J  E l e c  &  C o m p  E n g     I S S N :  2088 - 8708       A ss e s sm e n t - d r i v e n L e ar ni ng  T hr ough  Se r i ous  G am e s :  G ui da nc e   ( O t hm an B ak k al i  Y e dr i )   3313   co m p o s ed  b y  a  g a m e d es i g n er ,  r ecr u i t  ex p er t  an d  p ed ag o g u e.  A s   m e n t i o n  a bov e  i n  ou r  pr opos e d a s s e s s m e nt   p l an ,  act o r s  d ef i n ed  t h e g a m e o b j ect i v es .  H o w e v er ,  t h e g a m e s u b s cr i b es  i n  t h e r ecr u i t m en t  an d  b u s i n es s   d o m ai n .  I t  h as  as  i n t e n t  E d u ca t i v m e s s a g e b r o ad cas t i n g ,  I n f o r m at i v m es s a g e b r o ad cas t i n g  an d  t r ai n i n g  a n d   it  h as  p r o f es s i o n al s  as  a t ar g et .   T h ev al u at i o n   o f   t h l ear n er s   i n   r ecr u i t m e n t   p r o t o co l   r eq u i r es   t h co l l ect i o n   o f   i n f o r m at i o n   f r o m   d i f f er e n t   s o u r ces   acco r d i n g   t o  t h e r o l e i n car n at ed  b y   t h l ear n er   i n   t h s cen ar i o .  H o w e v er ,   t h e x p er t   a n d   p ed ag o g u h av cl a s s i f i e d   q u e s t i o i nt o   f o ur   gr o up s ,  i e a c gr o up   o f   q ue s t i o t he r e   a r e   s e ve r a l   q ue s t i o n   w i t h t he i r  c o r r e s p o nd i ng r e s ul t ,  c ho i c e s ,  gui d a nc e ,  d i f f i c ul t y  a nd  s o  o n.   I n t he   T a bl e  1 w e p r es en t  a p ar t  o f   pr op os e d qu e s t i on .       T ab l 10 .   Q ui z              ' p i c t u r e ' : ' i m g /p ic tu r e . j p g ' ,              'g r o u p ':  'T e c h n i c a l  sk i l l s',              ' q u e s t i o n ' :  '  J a v a  i s  a  l a n g u a g e  d e v e l o p p e d   b y  ' ,              ' an s w er s ' :  [ ' H ew l et t - P a c k a r d ' ,  'S u n   M i c r o sy st e m s',  'M i c r o so f t ',  'O r a c l e '] ,              ' c o rre c t A n s w e r' :  2 ,              ' S o n ' :  ' d i s q u e . m p 3 ' ,              ' d u r a t i o n ' :  ' 3 1 2 ' ,              'D i f i c u l t y ':  '2 ',              'M a r k ':  ' 1 ',              'G u i d a n c e ':  'P a r  Ja m e s G o sl i n g  c h e z  S u n ',              'E r r o r ':  'P l e a s e  r e v i se   y o u r  l e sso n s',              ' le v e l' : ' 1 '       T h e  m a i n  o b j e c tiv e  o f  th e  g a m e  is  to  tr a in   n e w  b a c h e lo r  f o r  a   j o b  in te r v ie w  a n d  to  h e lp  th e m  to  d e v e lo p  th e ir   s k i l l s  r eq u i r ed  f o r  s p eci f i c j o b s .  T h e g am e i s  f o r  co m p u t e r  an d  s ci en ce s t u d en t .  I n   T ab l 11   w e p r es en t   s t u de n t s  por t f ol i o r e qu i r e d i n r e c r u i t m e n t  pr ot oc ol e .   I n  o r d er  t o  ach i ev e o p t i m al  r es u l t ,   w e p r o v i d e t o  co l l ect   a n u m b er  o f  d at a as  p r es en t ed   i n  t h e t ab l e b el o w  i n   T ab l 12 .   C o lle c te d  D a ta       T ab l 11 .   S t ud e nt s   P o r tf o lio :   cas e o f   R e c r u it m e n t P r o to c o le   s tu d e n t ' s  p o r tf o l io   L ea r n er :  i s  a  s t u d en t  o r  em p l o y ee   T y p e :  J u n i o r ,  S en i o r   i n t er m ed i a t e, ex p er t   T u t o r :  T ea c h er ,  p r o j ect  m an a g er   C o n t e x t : o n lin e   R e s u l t :  S c o r e ,  t i m e ,   n u m b e r  o f  c o r r e c t  a n s w e r s ,  n u m b e r  o f  f a l s e  a n s w e r s ,  n u m b e r  o f  r e d u n d a n t  f a u l t s ,  r e s u l t  b y  s k i l l s   N o t e :   F ai l e d , m e d i u m , l o w , h i g h , g o o d , e x ce l l e n t   D ec i s i o n :  p a s s   t o  t h e n ex t  l ev el ,  r ep ea t  t h e s t a g e       T ab l 12 .   C o lle c te d   D a ta   W h a t  s p ec i f i c   d at a   d o  w e n eed  t o  c o l l ec t ?   N a m e ; A g e  ; S e x ; T im e ;S c o r e ; N u m b e r  o f   g e s tu r e s ; N u m b e r  o f  r i g h t  a n s w e rs ;  N u m b e r o w ro n g  a n s w e rs C h eck  i f  t h e l ea r n er  n eed  a s s i s t an c e o r  h el p ;     N u m b e r  o f  r e d u n d a n t  f a u l t   r i g h t   a c t i o n ,   t oo  e a r l y ,  t o o l a t e ,  s u b o p t i m a l ,  e r r on e o u s  a n d  m i s s i n g   d i f f ic u lt y ,   g r o u p  of  q u e s t i o n ,   q u e s t i o n ,   a n s we r ,   d a te tim e _ s ta r t   d at et i m e_ en d   s c or e       T h e p ed ag o g u e ex p er t  r eq u i r e s  u s i n g  t h e ev al u at i o n   m e t h o d  cap s t o n e p r o j ect  co n s i d er i n g  t h e l ar g n um be r  of  a dv a n t a g e s  t h a t   i t  b r i n gs  a n d i t  i s  pe r f e c t l y  a ppr opr i a t e   w i t h   t h e  n a t u r e  of  ou r  p r oj e c t .   T h i s   m e t h od  h as  a s  p u r p o s e t o  i n t e g r at k n o w l ed g e,  co n cep t s ,  a nd  s ki l l s   a c q ui r e d  b y l e a r ne r  d ur i n g t h e  s e q ue nc e s  o f  t he   g a m e.  S t at i s t i cs  an d  l ear n i n g   an al y t i cs  ar e ap p l i ed  t o   m eas u r e,  co l l ect ,  an al y s i n g  an d  r ep o r t i n g  o f  d at a ab o u t   l e a r n e r s  a n d t h e i r  c on t e x t s ,  f o r  pu r pos e s  of   un de r s t a n di ng  a n d opt i m i z i ng  l e a r n i ng  a n d t he  e nv i r onm e nt s  i w h ic h  it o c c u r s .   T o  f a c ila te  th e   m o n ito r in g  to  th e  p la y e r   s ta t u s ,  t h e r e  is  a   c o n tr o le  p a n e l th a t a llo w s  t h e  a c tiv a tio n   a n d/ or   m on i t or i n g of  t h e   f ol l o w i ng  a c t i ons :  e n a bl e / di s a bl e  t h e  s o u n d,  t o s h o w  a   num be r  o f  e r r or s ,  t o c on t r ol e   Evaluation Warning : The document was created with Spire.PDF for Python.