I n t e r n at i on al  Jou r n al  of  E va l u at i on  an d  R e s e ar c h  i n  E d u c at i on  ( I JE R E )   V o l. 6 ,  No . 4 D ecem b er   201 7 , p p 25 7 ~ 26 4   I SSN :   2252 - 8822          257       Jou r n al  h om e p age ht t p: / / i ae s j our nal . c om / onl i ne / i nde x . ph p / I J E R E   Res ea rch D es ig ns  a nd M et ho ds  i Self - a s s es s m ent  S t udies :     A Co nt e nt   Ana ly s is         S e r af i n a P as t or e   D e pa r t m e nt  of  E duc a t i o P s y c hol ogy ,  C om m uni c a t i on,  U n i v e r s i t y   of  B a r i ,  I ta ly       A rt i cl In f o     AB S T RAC T   A r tic le  h is to r y :   R ecei v ed   S e p 18,  201 7   Re v i se d  N o v   2 4 ,  201 7   A ccep t ed   De c   12,  20 17       T hi s  pa pe r  f oc us e s  on s e l f - a s s e s s m e nt  s t udi e s  i n t he   hi g he r  e d uc a t i on f i e l d.   I n  t h e as s es s m en t  f o r  l e ar n i n g  p er s p ect i v e,  s el f - a s s es s m en t  i s  r el at ed  t o   r e f le c tio n ,  m e ta c o g n itio n ,  a n d  s e lf - r e g u l at i o n :  al l  t h es e as p ect s  ar c ons i de r e d a s  f unda m e nt a l  pr e r e qui s i t e s  f or  s t ude nt s  f ut ur e  pr of e s s i ona l   de v e l opm e nt .  D e s pi t e  t he  r e c og ni t i on  of  s e l f - as s es s m en t  ed u cat i o n al  b en ef i t s   an d  i m p l i cat i o n s ,  r es ear ch  s o  f ar   l a g s  be hi nd  t he  r i s e  i n t he  r a t e s  o f  a l i g ni ng   l i t e r a t ur e  r e v i e w ,  r e s e a r c h de s i gn,  a n d m e t hodol og y .  T he  s t ud y  a t t e m pt s  t a d d r e s s  th is  g a p  in  th e  lite r a tu r e .  B a s e d  o n  a  c r itic a l r e v i e w  o f  in s titu ti o n a l   c ha ng e s  i n t he  E ur ope a n  hi g he r  e duc a t i o n c o nt e x t ,  t he  pa p er  r ef l ec t s  o n  m ai n   i s s u es  an d   p r o b l em s   f ac ed  b y  ed u cat i o n al  r es ear ch  o n  s el f - as s es s m en t .   I t  t h en   t r i e s  t o i de nt i f y   f ut ur e  r e s e a r c h pa t hw a y s  on t hi s  t opi c .   Ke y wo rd :   Se l f - A ss e s s m e n t   R es ear ch  D e s i g n   R es ear ch  Met h o d s   H ig h e r  E d u c a tio n   E u r o p ean  A r ea   C opy r i g ht   ©  201 7   I ns t i t ut e  o f  A d v anc e d E ngi ne e r i ng  an Sc i e nc e   A l l  ri g h t s re se rv e d .   Co rre sp o n d i n g  Au t h o r :   S er af i n a P as t o r e,     D e pa r t m e n t  o f  E du c a t i on ,  P s y c h ol ogy ,   C o m m uni c a t i on ,   U ni ve r s i t y o f  B a r i ,   42 C r i s a n z i o,  B a r i ,  70 121,  I t a l y - IT .   E m a il:  s er a f i n a. p as t o r e@ u n i b a. i t       1.   I NT RO D UCT I O N   O v er  t h e t i m e,  h i g h er  ed u cat i o n  s y s t e m s  h a v e b een  e x p o s ed  t o  d ee p  an d  r ad i cal  t r an s f o r m at i o n s :  t h e   d r as t i c i n t er n at i o n al i zat i o n  p r o ces s ,  t h w i d en i n g  o f  ed u cat i o n al  ai m s ,  t h e t ech n o l o g i cal  ch a n g es ,  t h e   s t ud e nt s  r e q ue s t s  o f  a c t i ve  i n vo l ve m e nt  i n u ni ve r s i t y   l i f e a n d  o r g an i zat i o n ,  t h g r eat  p r es s u r e ex er t ed  b y  t h e   eco n o m y ,  an d   t h e  at t e m p t s  t o  b al an ce acco u n t ab i l i t y  an d  t e ach i n g - l ear n i n g  q u al i t y  ar e o n l y   s o m e a s p ect s  o f   t h e co m p o s i t s cen ar i o  o u t l i n ed  af t er  t h e i m p l e m en t a t i o n  o f  t h e B o l o g n a P r o ces s  ( 1 9 9 9 ) .  M an t r an s f o r m at i o n s   h a v h ad  a  s t r o n g  i m p act  o n  t h h i g h er  ed u cat i o n  r es ear ch  f i el d  t h at  i t  s ee m s  s t i l l  r el at i v el y   di s or g a n i z e d a n d l i t t l e  un de r s t ood [ 1] .     M an y  ar e t h e p r o b l e m s  t h a t  h i g h er  ed u cat i o n  s y s t e m s  h a v e h ad  t o   d eal  w i t h :   f i r s t  o f  al l  t h e p er v as i v e   a tte n tio n  to  th e  te a c h in g - le a r n in g  q u a l it y  c o n s id e r e d  b o th  o n  a n  in s tit u tio n a l a n d  in d i v id u a l le v e l.  T h is   c o nc e p t  b r i ngs  t o ge t he r  t he  m o s t  va r i e d  a s p e c t s   s uc h a s  c ur r i c ul a  d e s i gn,  a t t e nt i o n t o  l e a r ni ng c o nt e xt ,   s t ud e nt s  s e r vi c e s  s up p o r t ,  a nd  t he  r e c o gni t i o n o f  a  d i f f e r e nt  ki nd  o f  a s s e s s m e nt  o f  s t ud e nt s  l e a r ni n g   o u t co m es .  N o w ad a y s ,  h i g h er  ed u cat i o n  s y s t e m s  ar e b ei n g  c al l ed   t o   r eco n s i d er  t h e   ai m s   o f   as s e s s m e n t  s o   t h at   s t u de n t s   m a y  de v e l op  s ki l l s   a n c o m pe t e n c i e s   f or   t h e i r   f u t u r e   pe r s on a l   a n pr of e s s i on a l  l i f e   [2 ].   P u rs u i n g   s u c h  ai m s  i n v o l v es  t h e act i v p ar t i ci p at i o n  o f  s t u d en t s  i n  t h e  as s es s m e n t  p r o ces s  [ 3 ] .   T h e  in n o v a t io n  o f  t h e  D u b li n  D e s c r ip to r s  h a s  le d  to  a  p r o g r e s s i v e  r e v i s io n  o f  tr a d itio n a l te s t in g   m o d al i t i es .   F eed b ack  a n d   as s es s m en t   h a v b een   r eco g n i z e d  a s   ve r y   i m p o r t a nt  e l e m e nt s  no t   o nl t o  ve r i f a c hi e ve m e nt  l e ve l s  b u t  a l s o  t o  f ur t he r  a nd  s up p o r t  s t ud e nt s   l e a r ni n g.   T h e n eed  o f  a m o r e t r an s p ar en t  as s e s s m e n t  p r o ces s  al i g n ed   w i t h  l ear n i n g  o u t co m es  i f ,  o n  t h e o n e   ha nd ,   ha s  r e q ue s t e d  a   r i go r ous  a nd  s o l i d   pr oc e s s ,  on  t h e  ot h e r  on e ,  h a s  h i g hl i gh t e d t he  opp or t u n i t y  of  a as s es s m en t  d es i g n ed  t o :   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   22 52 - 8822   IJ E R E   V o l.   6 , N o 4 ,   D ecem b er   2 01 7   :   257     26 4   258   S u ppor t   s t ud e nt s  l e a r ni ng;  f ur t he r  s t ud e nt s  s e l f - r e g u la tio n ;   a nd  i n cr ea s e t h e a w ar en e s s  t h at  a s s e s s m en t   i n f l ue nc e s  l e a r ni ng.   T he   d i s s e m i na t i o o f   o ut c o m e - b as ed   ed u c a t i o hi ghl i g ht s   ho w   i m p o r t a nt   i s   t o   r e vi e w   e d uc a t i o na l   p o l i c i e s ,  hi g he r  e d uc a t i o s ys t e m s  o r ga ni z a t i o n,  a nd  i ns t r uc t i o na l  d e s i g n.  I n t hi s  p e r s p e c t i ve ,  t he  e m p ha s i s  o n   le a r n in g  o u tc o m e s  h a s  le d  to  a  s h i f « f r o m  e d u c a tio n a l  in p u t s  to  o u tp u ts  i n   f o r m  o f  d ir e ct   o r  i n d i r ect  ev i d en ce   o f  s t u d en t  ac h i e v e m en t  as  a   m eas u r e o f  q u al i t y   u n i v er s i t y  ed u ca t i o n »  [ 4 ] .  I n  t h e E u r o p ean  ar ea,  t h e   w i de s pr e a d di f f u s i o n  of  t h e   D u bl i n  D e s c r i pt or s   h a s  l e d t o a n  a s s e s s m e nt  pr oc e s s  t h a t  i s   m or e  r i g or ou s  a n d   a lig n e d   w i th  le a r n in g  o u tc o m es  [ 5 ] .  H en ce,  t h e n eed  t o  d ef i n e a d i f f er en t  as s es s m e n t   m o d el  f o r  t h e t each i n g - l ear n i n g  p r o ces s .  T h i s  r ai s es  a v ar i et y  o f  q u e s t i o n s :  H o w   m u c h  d o es  as s e s s m en t  i m p r o v e s t u d en t s  l ear n i n g ?   D o  t each er s  p r o v i d e u s e f u l ,   ap p r o p r i at e,  an d  t i m el y   f eed b ack ?  D o  t h e y  al l o w   s t u d en t s  t o  r eco g n i ze a n d   und e r s t a nd  e l e m e nt s  t ha t  c a n l e a d  t o  a n i m p r o ve m e nt  i n t he i r  p e r f o r m a nc e ?     S t ar t i n g  f r o m  t h i s   f r a m e w o r k  an d  i n  l i n w i t h  cu r r en t  as s es s m en t  t r en d s  ch ar act er i zed  b y  g r eat   a t t e nt i o n o n s t ud e nt s  e xp e c t a t i o ns  a nd  t he i r  l e a r ni n g   n eed s ,  t h e p r es en t  p ap er  w i l l  f o cu s   o n  s el f - a s se s s m e n t   i n  h i g h er  ed u cat i o n  [ 6 ] , [ 7 ] .  M o r e s p eci f i cal l y ,  t h i s  p ap er  t r i es  t o  r ef l ect  o n   m ai n  i s s u e s  an d  p r o b l em s  f aced  b y   ed u cat i o n al  r es ear c h  o n   s el f - a s s es s m en t .  I t  r ep o r t s  a co n t e n t  an al y s i s  o n  r es ear c h  d e s i gn a nd   m e t ho d s   us e d  i n   s t ud i e s  p ub l i s he d  i n 1 2  hi g he r  e d uc a t i o n r e s e a r c h j o ur na l s  o ve r  a  1 0 - y e a r  pe r i od ( 200 4 - 20 14) .   T h e  pu r pos e  of   r ev i e w i n g  l i t er at u r e i s  t o  u n d er s t an d   w h at  i s   m o s t  r el e v an t  ( b o t h  f o r  t each i n g  p r act i ce an d  ed u cat i o n al   r es ear ch ) .  T h er ef o r e,  t h i s  s t u d y  ai m s  t o  en h an ce  k n o w l e d g e o n  s el f - as s es s m e n t  i n  t h e h i g h er  ed u cat i o n   c o nt e xt .   I t he   f o l l o w i n g,   I  l a y o ut  t he   t he o r e t i c a l  b a c k gr o und  f o r   s e l f - a s s e s s m en t  o u t l i n i n g  r ecen t  r es ear c h   p at h s   i n  h i g h er  ed u ca t i o n .  T h en ,  I  d es cr i b t h e  s t u d y ,  t h e   m et ho d o l o g y  o f  t he  a na l ys i s ,   a nd  I  p r e s e nt  r e s ul t s .   F i n al l y ,  i n  t h e l as t  s ect i o n ,  I  d i s cu s s  t h e i m p l i cat i o n s  an d  t h e f u n d a m e n t al  q u es t i o n s  af f ect i n g  r es ear ch   f u nc t i o ns  i n s e l f - a s se ss m e n t .       2.   S E LF - A S S ES S M EN T:  W H A T A R E W TA LK IN G  A B O U T?   A s  pa r t  of  t h e  B ol og n a  P r o ces s ,  h i g h er  ed u cat i o n   i n s t i t u t i o n s  acr o s s  E u r o p e ar e cu r r en t l y   i n v o l v ed  i n   m aj o r  p r o ces s  o f  r ef o r m i n g  an d  r es t r u ct u r i n g ,   w h i ch   s t r e s s es  t h e r o l e o f  co m p et e n ci es  an d  o u t co m e s  i n   cu r r i cu l u m  d es i g n .  O n e o f  t h m o s t  i m p o r t an t  ai m s  o f  h i g h er  ed u cat i o n  i s  t o   f o s t er  t h e d ev el o p m e n t  o f   p r o f es s i o n al s   w h o  can  cr i t i ca l l y  r ef l ect  o n  t h ei r  p r o f es s i o n al  p r act i ce.   T h e l ab o u r  m ar k et  r eq u i r es ,  n o w ad a y s ,   pe opl e   w h o a r e  a bl e  t o a n a l y s e  i nf or m a t i on ,  i m pr ov e  t h e i r  p r obl e m - s o l v i n g  co m p et e n ci es ,  co m m u n i cat e,  an d   r ef l ect  o n  t h e i r  l e a r ni n g p r o c e s s .  I n r e p l y   t o  t he s e  ne w  s o c i a l  ne e d s ,   hi ghe r  e d uc a t i o n s ys t e m s  ha ve   p r o gr e s s i ve l y c ha nge d  t he i r  e d uc a t i o na l  go a l s ,   w h i c h  no w   no  l o n ge r   f o c us  o m a k i n s t ud e nt s   kno w l e d ge a b l e   w i t hi t he i r  d o m a i n s  o f   s t ud y,  b ut  o n e q ui p p i ng t he m   w i t h t r a n sf e r a b l e  s k i l l s  f o r   su c c e ss f u l   f u n c tio n i n g   in   th e ir   p r o f e s s io n a li f e .   T h e   c o m p e te n c y - b as ed   ap p r o ach   i n   t h e   h i g h er   ed u cat i o n   co n t e x t   h a s   d em o n s t r at ed   h o w   t r ad i t i o n al  t es t i n g   m o d al i t i es  ar n o t  ef f ect i v e an d  s u i t ab l f o r  as s e s s m e n t  o f  co m p l ex   o b j ect s  s u ch  a s  l i f e l o n g l e a r ni ng,  r e f l e xi vi t y,  a nd  p r o b l e m - s o l vi n g.  S e l f - a s s e s s m en t   h as  b een  r eco g n i s ed  as   s i ne  qua non   c o nd i t i o n f o r  t h e  d e ve l o p m e nt  o f  e f f e c t i ve  l e a r ni n g a nd  a s  a   s t ud e nt s  ke y - co m p et e n ce t o  f ace   u p  t o  u n i v er s i t y  car eer  an d  f u t u r e p r o f es s i o n s  [ 8 ] .  S e lf - as s es s m e n t  co n t r i b u t es  t o  i n cr eas i n g  s el f - r e g u la tio n  o f   le a r n in g  b e c a u s e  it  p r o v id e s   s tu d e n t s   w i th  o p p o r tu n itie s  to   p r a c tic e  r e g u la tin g  a s p e c ts  o f   th e ir  o w n  le a r n i n g   an d  t o  r ef l ect  o n  t h a t  p r act i ce an d  o n  l ear n i n g  p r o g r es s i o n .     A l t er n at i v e as s es s m en t   h a s  s u d d en l y   g ar n er ed  g r eat  i n t er es t   d u e t o  t h l i n k  b et w ee n  l i f el o n g  l ear n i n g   a n d t h e  de v e l op m e nt  of  s e l f - r eg u l at ed  a n d  r es p o n s i b l e l ea r n er s .  T h e i n t er es t   f o r  s el f - a s s e s s m e nt  i n h i g he r   ed u cat i o n  i s  r el at ed  al s o  t o  ed u cat i o n al  r es ear c h  ev i d e n ce t h at  h as  d e m o n s t r at ed  t h e i n f l u e n ce s el f - a ss e ss m e n t   ha s   no t  o nl y  o n l e a r ni ng o u t c o m e s  b ut  a l s o  o n s t ud e nt s  l e a r ni n g a p p r o a c he s  a nd  s t r a t e gi e s  [ 9 ] .  I n t hi s   p e r s p e c tiv e ,   p r o b le m s   a n d   c r itic a litie s   o f   tr a d itio n a te s t in g   m o d a litie s   s ta r te d   to   s u r f a c e .   T r a d itio n a l   m oda l i tie s  o f  te s t in g :   1 ) a r n o t  al w a y s  r el i ab l e;   2 ) c a n,   s o m e t i m e s ,  ha ve  a  ne ga t i ve   e f f e c t  o n s t ud e nt s   l e a r ni n g;   3 ) c an  en co u r a g e a s u p er f i ci al  l ear n i n g   w i t h   a m ec h a n i m e m o r i zat i o n  a n d  r ep r o d u ct i o n  o f   kno w l e d ge ;   4 ) p r o v o k e a p er f o r m at i v e b eh a v i o u r  an d  s t r es s   i n s t ud e nt s  [ 1 0 ] .   T h m o s t  r ece n t   s t u d i es  o n   as s es s m en t  e m p h as i ze  s t u d en t s  act i v e i n v o l v e m e n t  i n  t h e  t each i n g - le a r n in g  p r o c e s s .  R e s p o n s ib il it y   f o r  le a r n in g ,   m e ta c o g n iti v e  s k ill s ,  d ia lo g ic a l te a c h i n g ,  a n d  c o lla b o r a tiv e   l ear n i n g  co n t e x t s  h a v e b eco m e v er y   i m p o r t a nt  e l e m e nt s  i n t he  hi g he r  e d uc a t i o n l a nd s c a p e .     W h at  ar e t h e k e y  as p ect s  o f  s e l f - as s es s m e n t ?  I t  i s  a k i n d  o f  a s s es s m en t  c h ar act er i zed  b y  t w o  as p ect s :     1 t h e d eci s i o n - m a ki ng o n p e r f o r m a nc e  o f  l e a r ni n g s t a nd a r d s ;   2 t h e  e l a bor a t i on  of  j u dgm e n t s  on  t h e  q u a lit y   of  a  l e a r n i ng  pe r f or m a n c e   u s i ng  s t a n da r ds  [ 11] .   H o w e v er ,  s el f - as s es s m e n t  can  b e co n s i d er ed  al s o  a s  a  co m p o n en t  o f  t h f o r m at i v e  as s e s s m e n t .  I n   t h i s  pr oc e s s  s t u de n t s  r e f l e c t  a nd a s s e s s  t h e  qu a l i t y  of  t h e i r  l e a r n i ng ,  e x pr e s s  a  j u dgm e n t  on a s s e s s m e n t c r ite r ia   a nd  l e a r ni ng  go a l s ,  i d e nt i f y t h e i r  s t r e ng t h a nd   w e a k ne s s  p o i nt ,  a nd   m o d i f y   w h a t  t he y  a r e  d o i ng [ 1 2 ] .     O v er  t h e l as t  d ecad es ,  s el f - a s s es s m en t   h as  r ecei v ed  g r eat  i n t er es t  as  an  al t er n at i v e as s es s m e n t   s t r at eg y  b ecau s e i t  i n v o l v es   s t u d en t s   m o r e act i ve l y i n   t he i r  o w l e a r n i n g:   r e s e a r c h s ho w s  t ha t ,  w h e s ui t a b l y   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ E R E     I SSN :   2252 - 8822       R e s e a rc h  D e si g n and M e t hod s  i n Se l f - A s s e s s m e nt  St udi e s :  A  C ont e nt  A nal y s i s  ( Se r af i na P as t or e )   259   o r g an i zed ,  s el f - a s s e s s m e nt  c a n l e a d  t o  s i gni f i c a nt  e nha nc e m e n t s  i n l e a r n i n g a nd  a c hi e ve m e n t .  F o l l o w i n g t hi s   p e r s p e c tiv e ,  it i s  p o s s ib le  to  c o lle c t q u a n tita ti v e   s tu d ie s   tr a c k in g  t h r e e   m a i n  r e s e a rc h  b ra n c h e s  [1 3 ]:   1)   e f f i cac y  o f   s el f - a s se s s m e n t ;   2 ) o p i n i o n s  an d  ex p er i en ce s  o f  s el f - a s se ss m e n t ;   3 ) c o r r el at i o n s  b et w een  t eac h er s   a nd  s t ud e nt s  a s s e s s m e nt .     S ev er al  s t u d i es  d e m o n s t r at e t h at  s el f - as s es s m e n t   h as  p o s i t i v e ef f ect s ,  es p eci al l y   w h e n  s t u d en t s  ar e   e nga ge d  i n b o t h i d e nt i f yi ng c r i t e r i a  t ha t   w i l l  a p p l y  t o  t he i r   w o r k,  a nd  i m a ki ng j ud ge m e nt s  a b o ut  ho w  t he i r   w o r k   r e la te s   to   s ta n d a r d s   a s   B ro w n   a n d   H a rri s   p o in t   o u t,   s e lf - a s se s s m e n t   i s   a b o u t   j ud g i ng,   e va l ua t i n a nd   c o ns i d e r i n g t he  q ua l i t i e s  o f   o ne s   o w n  a c a d e m ic   w o r k  o r  a b ilitie s   [1 4 ] .  R es ear ch  i s  b ei n g  car r i ed  o u t  i n   d i f f er e n t  ar eas  o f  i n t er es t ,   s u c h  as   m et aco g n i t i o n ,  s el f - r e g ul a t i o n a nd  s e l f - l ear n i n g ,  an d  c l a ss r o o m  a s s e ss m e n t .   R ecen t   s t u d i es  o n   f o r m at i v e  as s es s m e n t  a n d  s el f - as s e s s m en t  h a v e at t e m p t ed  t o  u n d er s t an d  h o w  t h es e   p r act i ces   w o r k  b y  f o c u s i n g  o n  s t u d en t s  an d  t each er s  co n ce p t i o n s  ab o u t  as s es s m en t .  H o w ev er ,  t h er e i s  al s o  a  gr o up  o f   s t ud i e s   w ho s e  r e s ul t s  a r e  le s s  o p ti m i s tic  a b o u t t h e  p o w e r  o f  s e lf - a s s es s m en t :   f o r  ex a m p l e,  r e s ear ch   o n  v al i d i t y  an d  accu r ac y  o f  s el f - as s es s m e n t  [ 1 5 ] .  D es p i t e t h m a s s i v e p r o d u ct i o n  o f  s t u d i es  o n   s el f - as s es s m en t ,  ed u cat i o n al  r es ear ch  ap p ear s  ex t r e m el y   f l u c t u at i n g ,  co n f u s ed ,  a n d f r a gm e n t e d.       3.   RE S E ARCH  P E RS P E CT I V E S  O N S E L F - A S SE SSM E N T   T h e u p s u r g e o f  i n t er es t  i n  as s es s m en t  i n   h i g h er  ed u cat i o n ,   es p eci al l y  af t er  t h e   m i l es t o n s t u d i e s  o f   B o ud  a nd  F a l c hi ko ha s  e n ha nc e d  t he  i m p o r t a nc e  o f  s e l f - as s es s m e n t   w h i c h  i s   n o w  co n s i d er ed  as  an  e f f ect i v e   w a y  f o r  s t u d en t s  t o  ach i ev e s el f - m o ni t o r i n g a nd  j ud gi ng t h e i r  o w n l e a r n i n g p r o gr e s s i o n.  S e l f - a s s e s s m e n t  i s   r eco g n i zed   as   p r act i ce  i n t e n s i v el y   u s ed   an d   a n al y s ed .   T h er ef o r e,   cu r r en t   s t u d i es   ar m o v i n g   t o w ar d s   t h e   r e v is io n  o f  tr a d itio n a m o d a li t ie s   o f  t e s t i ng,  t he  i nd i vi d ua t i o n o f  a l t e r na t i ve  f o r m s  o f  a s s e s s m e nt ,  t he  a na l ys i s   o f  t each er s  an d  s t u d e n t s  co n cep t i o n s  ab o u t  as s e s s m en t ,  an d ,  l as t  b u t  n o t  l eas t ,  t h e d ev el o p m e n t  o f   as s es s m en t  l i t er ac y  [ 7 ] .   A lt h o u g h  a s s e s s m e n h o ld s  a n  e s s e n tia l p o s itio n  i n   t he  h i g he r  e d uc a t i o n f i e l d  a nd  e ve n t ho ug h r e c e n t   s ci en t i f i c  p r o d u ct i o n  r ef l ect s   s w i n g s  i n  t h e p r act i ce a n d  i n  t h e co n t ex t  i n   w h i ch  i t   w o r k s ,  e d u cat i o n al  r es ear c h   s till s e e m s   in c h o a ti v e .  T h e  a tte m p ts  to  tr a n s f e r  id e a s  a n d  c o n c e p ts  o f  t h e  s o c io - c o ns t r uc t i v i s t  ap p r o ach  ar e n o t   al w a y s  e f f ect i v e.  A s s es s m en t ,  s o m et i m es ,  can  b e n o t  r eal l y   s u p p o r t i v e o f  s t u d en t s  l ear n i n g  a n d  i t  ap p ear s  t o   b e i r r el ev an t   f o r  l ear n i n g .   A n  a s s e s s m en t  al i g n ed   w i t h  a t eac h i n g - l ear n i n g  p r o ces s  ai m ed  a t   f o s t er i n g   s t ud e nt s  l e a r ni n g o ut c o m es  b eco m e s  a cr u ci al  a s p ect  o f  an   as s es s m en t   m o r e s u s t ai n ab l e [ 1 6 ] .     T h e i d ea t h at  a s s es s m en t   h as  a  co n s i d er ab l e p o t en t i al  t o  en h a n ce l ear n i n g   h as  b een   s t r en g t h en ed  al s o   b y  t h e i m p o r t an ce o f  s el f - a s s e s s m en t ,   w h i c h  i s  co n s i d er ed  a n  ef f ect i v w a y  o f  ac h i e v in g  s e lf - m o n ito r in g  a n d   j ud gi n g t he  l e a r ni ng p r o gr e s s i o n.   T h as s es s m en t   f o r   l ear n i n g   ap p r o ach   h as   l ed   t o   n e w   em p h a s i s   o n   s el f - as s es s m e n t  p er cei v ed   as   f u n ct i o n al  t o  i n cr eas e  s el f - r eg u l at i o n  o f   l ear n i n g .   A s  a co n s eq u en ce r es ear c h   s ee m s  t o  b s h i f t ed  t o  t e ac h er s   n e e d s   to  i m p le m e n s e lf - a s s e s s m en t   i n   a n   ap p r o p r i at m an n er .   A n d   i f   i n   t h p as t   ed u ca t i o n al   r es ear c h   h a s   be e n   m or e   f oc u s e d on   t e c hn i qu e ,  n o w   i t   s e e m s   t be   m or e   i n t e r e s t e d i n   pu r pos e s  a n u s e s   f or  i m pr o v i ng   t each i n g - le a r n in g  q u a lit y  a n d  s tu d e n ts   li f e  ch a n ce s .  S el f - a s s e s s m e nt  i s  a b o ut  j ud gi ng,  e va l ua t i n g a nd   c o n s id e r in g  th e  q u a litie s  o f  o n e s  o w n  a c a d e m ic   w o r k  a n d  a b ilitie s  [ 1 4 ] .   I ns t i t ut i o na l  a nd  p o l i c y t r a n s f o r m a t i o ns   w i t hi n t he  hi g he r  e d uc a t i o n c o nt e xt   ha ve   m a d e  a s s e s s m e nt   p r a c tic e  s u b s ta n tia ll y  d i f f er en t   f r o m   w h at  i t   w as  a  f e w   d ecad es  ag o :  i t   h as  b eco m m o r e co m p l ex  a n d   as s u m e s  d i f f er e n t  co n n o t at i o n s  an d   m ea n i n g s ,   s o m et i m e s  i n  a co n f l i ct   w h i ch  each  o t h er  [ 8 ] .  I n  t h e  p as t  t w o   d ecad es  ed u cat i o n al  r es ear ch  h as  en d o r s ed  s el f - as s es s m e n t  as  p o s i t i v e an d   i m p o r t an t  a s p ect  o f  f o r m at i v as s es s m en t  b ecau s e i t  l ead s  t o  b en ef i t s   f o r  s t u d e n t s :   s el f - a s s e s s m e nt  i m p r o ve s   m o t i va t i o n,  e n ga ge m e nt ,  a nd   ef f i cac y ,  r ed u ci n g  d ep en d en ce  o n  t h e t eac h er .  A cr o s s  t i m e,  t h i s   v i e w   h as  co n t r i b u t ed  t o  cr eat e a s o r t  o f  “ a u r a”  of  g oo dn e s s  a n d pos i t i vi t a r o und  s e l f - a s se s s m e n t :   w h il e  s e lf - as s es s m en t   h as  co n s i d er ab l e p r o m i s f o r   h e lp in g  s t u d e n t s  i m p r o v e  t h e ir  le a r n in g   w it h in  c o m p u ls o r y   s c h o o l s e ttin g ,  it is  n o w it h o u t p o t e n tia l p r o b le m s   a n d  li m ita tio n s   [1 4 ].  S e l f - a s s es s m en t  h a s  b een  r e c o g n iz e d  a s   o n e   o f   t h e  m o s i m p o r ta n t le a r n in g  s k ills  th a t   s t u d e n t s   n eed  t o  b eco m e s el f - r eg u l at ed  l ear n er s .  T h i s  a s s u m p t i o n ,   h o w ev er ,  r eq u i r es   f u r t h er  d ev el o p m e n t  o f   e m p ir ic a l r e s e a r c h  in  t h is   f ie l d  to   p r o v id e  s o lid  e v id e n c e  to  s u p p o r t it.  D e s p ite  th e  w id e   r e c o gni t i o n o f  t he   i m p o r t an ce o f  s e l f - as s es s m en t  ( es p eci al l y  i n  t h e co m p u l s o r y  ed u cat i o n  s ect o r ) ,  i n  t h h i g h er  ed u cat i o n   f i el d ,   t h er e i s  a l ack  o f  s t u d i es  o n  s e l f - a s s e s s m e n t v a lid it y .     A l t ho ug h s e l f - as s e s s m e n t ,  as  j u s t  s t at ed  ab o v e,  h o l d s  an  es s en t i a l  p o s i t i o n i n t he  hi g he r  e d uc a t i o n   f i el d  an d  ev e n  t h o u g h  r ecen t  s ci en t i f i c p r o d u ct i o n  r ef l ec t s  s w i n g s  i n  t h e p r act i ce an d  i n  t h e co n t ex t  i n   w h i ch  i t   w o r k s ,  e d u c a tio n a l r e s e a r c h  s till s e e m s  in c h o a ti v e .  S ta r ti n g  f r o m  t h i s  a s s u m p tio n  th e  p r e s e n s t u d y  a i m s  to   id e n t i f y   w h i c h  d es i g n  a n d   m et h o d s  ar e u s u al l y   u s ed   f o r  ed u cat i o n al  r es ear ch  i n  t h s el f - a s s e s s m e n f ie ld : t h e   p u r p o s e o f  r ev i e w i n g  l i t er at u r e i s  t o  u n d er s t a n d   w h at  i s   m o s t  r el ev an t   f o r  r es ear ch  an d  t ea ch i n g  p r act i ce.       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   22 52 - 8822   IJ E R E   V o l.   6 , N o 4 ,   D ecem b er   2 01 7   :   257     26 4   260   4.   T H E  S T UDY O N R E S E AR CH  DE S I G N A ND M E T H O DS   IN  S ELF - A SSE SSM E N T   Se l f - as s es s m en t  i s  a  m a n y - f a cet ed  co n cep t .   T h e l i n k  o f  s e l f - a s s e s s m e nt   w i t h t he  i m p r o ve m e nt  o f   s t ud e nt  l e a r ni n g a nd  o n t he  p r o d uc t i vi t y a nd  e f f i c i e nc y   w i t h i n t he  hi g he r  e d uc a t i o n c o n t e x t  ha s  d e t e r m i ne d ,  i n   s o m e   w a ys ,  a n o ve r - pr odu c t i o n   o n  t h i s  t o p i c.  O f t en ,  t h e s e s t u d i es  h a v e b een  ai m ed  t o  an al y s e t h e r el at i o n s h i p   b et w ee n  s el f - a s s e s s m e nt  t he o r y  a nd  t e a c hi ng - l ear n i n g  p r act i ce,  an d  t o  p r o v i d e ev i d en ce o n  i m p r o v ed   s tu d e n ts  le a r n i n g  o u tc o m e s  a n d  b e tte r  r e g u la tio n  s k il ls   « m o s t o f  th e  s e lf - as s e s s m e nt  s t ud i e s  i n hi g he r   ed u cat i o n   f o cu s  o n   s t u d en t s   as s es s i n g   t h ei r  cap aci t y   t o   ac q u i r co n t e n t   k n o w l ed g e an d   o f   t h e accu r ac y  o f   th e ir  s e l f - p r ed i ct i o n s  o f  p er f o r m an ce  w h e n  co m p ar ed   w i t h  a ct u al  ach i ev e m e n t »  [ 1 5 ] .   R a t he r  t ha n c o m p a r i n g s e l f - a s s e s s m e n t  w i t h  p er f o r m a n ce o n  ach i e v e m e n t  t es t  o r  r ef l ect i n g  o n  s el f - as s es s m en t  accu r ac y ,  t h i s  s t u d y  d es cr i b es  r es e n t  r es ear c h  t r en d s  i n  t h e E u r o p ean  ar ea.   A  co n t en t  a n al y s i s  o f   se l f - a s s es s m en t  s t u d i es  p u b l i s h ed  i n  1 0  h i g h er  ed u cat i o n  r es ear ch   f o cu s ed  j o u r n al s  o v e r  a 1 0 - y ear  p er i o d   ( 200 4 - 2014)  h a s  be e n  pe r f or m e d.     T he   p ur p o s e   o f   t hi s   s t ud wa s   t o   i n v es t i g at w h at   i s   k n o w n  ab o u t   t h m et h o d o l o g i cal   p r act i ce  i n   se l f - a s s es s m en t  r es ear c h   i n   h i g h er  ed u cat i o n   i n   o r d er  t o   p r o v i d e ev i d en ce as   t o   w h et h er   s o m d es i g n s   ar e   u s e m or e o f t e n  t h a n  o t h er s ;   i f  t h er e ar e p r o m i n en t   m et h o d s ,  an d  i f   m et h o d s  u s ed  ar e s i m i l ar  o r  d i f f er e n t .   S t a r t i n f r o m  t h i s   f r a m e w o r k,  t he   f o l l o w i n g q ue s t i o ns  p unc t ua t e  t he  c o nt e nt  a na l ys i s :   1 W h at  r es ear c h   d e si g n  i u s e d  ( e x pe r i m e nt al ,  quas i - exp er i m en t a l ;  n o n - e x pe r i m e nt al )? ; 2 )  s p eci f i cal l y ,   w h at  k i n d  o f  r es ear c h   de s i gn  i s  us e d ( p o s t t e st - o n l y;  p r et es t - p o s t te s t;  in te r r u p te d  tim e  s e r ie s ;   lo n g itu d in a l;  r e g r e s s io n - di s c ont i nui t y ;  c r os s - s e c tio n a l;  tim e  s e r ie s ;  d e s c r ip tiv e ;  c a s e  s tu d y ;  o th e r )? ; 3 )  w h a t  m e t hod  i s  m or e   f r eq u en t   ( m i x e d m e t hod;  q ual i t at i v e   m e t hod;  q uant i t at i v e  m e t hod )?   4 ) w h at  d at a co l l ect i o n   m et h o d s  ar e u s ed   ( doc um e nt   anal y s i s ;  f oc us  gr o up;  i nt e r v i e w s ;  s ur v e y ;  ot he r )?   T h e co n t en t  a n al y s i s  e x a m i n e s ,  b y  co m p ar i s o n ,  co n t r as t ,  a n d  cat eg o r i zat i o n  o f  a co r p u s   o f  d at a,  t h e   p r es en ce o f  co n cep t s  i n  t e x t s .  I t  i s  a m et h o d  u s ed  acr o s s  a  w i d e r an g e o f  d i s ci p l i n e s ,  t h at   i nc l ud e s  t he s e   c e n tr a l s te p s a)  cr eat i n g  a s e t  o f  co d es ,  b )  s y s t e m at i cal l y   ap p l y  t h o s e co d es  t o  s o m e s e t  o f  t ex t u al  d at a,  c)   e s ta b lis h in g  t h e  i n te r r a t er  r el i ab i l i t y  o f  co d es   w h en   m o r e t h an  o n e co d er  i s  e m p l o y ed ,  d )  cr eat i n g  a  m at r i x  o f   v ar i ab l es   f r o m  t e x t s  an d  co d es ,  an d  e)  an al y s i n g  t h m at r i x  b y   m ea n s  o f  s o m e u n i v a r i at e,  b i v ar i at e,  o r   mu l ti v a r ia te  s ta ti s tic a l p r o c e d u r e   [1 7 ].   F o r  t hi s  s t ud y ,  a   ve r s i o o f  C h r i s t i es  a n d  F l ei s h er  f l o w c h ar t   h as  b een   u s ed .  J o u r n al s   w er e s el ect ed  o n   t h e b as e o f  t h r ee  m a i n  cr i t er i a [ 1 8 ] :  t h j o u r n al  f o cu s ed  o n  h i g h er  ed u cat i o n  r es ear ch ;  t h e j o u r n al  i s  r an k ed  o n   S ci m a g o  ( o n l y  p eer - r ev i e w ed  j o u r n al s  h a v e b een  co n s i d er e d  t o  as s u r e  h ig h  q u a l itie s  o f  a r tic le s ) ; th e  j o u r n a h a s  be e n  pu bl i s h e d be f or e  2004 ( y e a r  of  i n t r odu c t i o n  of  t h e  D u bl i n  D e s c r i pt or s ) .  J o u r n a l s   w e r e  c h os e f o llo w in g  t h e  H  in d e x  lis t.  T e n  j o u r n a ls   w e r e  s e le c te d   f o r  th e  c o n te n t a n a l y s is   1.   S t ud i e s  i n H i g he r  E d uc a t i o n ( S H E _I S S N : 0307_50 79) ;   2.   H i gh e r  E du c a t i on  ( H E _I S S N :   0018 - 15 60) ;   3.   T h e  J ou r n a l  of  H i gh e r  E du c a t i on  ( J H E _I S S N :  002 2 - 1546) ;   4.   R es ear ch  i n  H i g h er  E d u cat i o n   ( R H E _ I S S N :  0 3 6 1 - 0365) ;   5.   A s s e s s m e n t  a nd  E va l ua t i o n i H i g he r  E d uc a t i o n ( A E H E _ I S S N :   0260 - 293 8 );   6.   R e vi e w  o f  H i ghe r  E d u c a t i o n  ( R e H E _ I S S N :  0162 - 5748) ;   7.   T e a c hi ng i n H i ghe r  E d uc a t i o n  ( T H E _ I S S N :   1356 - 25 17 );   8.   I n n ov a t i v e  H i gh e r  E du c a t i on  ( I H E _I S S N :  0742 - 562 7) ;   9.   H i g h er  E d u cat i o n   R es ear ch  a n d  D ev el o p m en t  ( H E R D _ I S S N :   0729 - 43 60 );   10.   H i g h e r E d u c a t i o n  Q u a rt e rl y  ( H E Q _ IS S N :   0951 - 5224 ).   T he   in c lu s io n  c r ite r ia   f o r  a r tic le s   w e r e : a   f o c u s  o n   s e lf - a s s es s m e n t ,   w i t h i n  t h e E u r o p ean  ar ea,  an d  a   d e s c r ip tio n  o f   m e t h o d s  a n d  d e s ig n .  I n  th is   w a y  I  tr y  to  e n s u r e  th e  in c lu s io n  o f  r e p r e s e n t a tiv e  a r tic le s  i n  th e   se l f - a s s es s m en t   f i el d .    A r t i cl es  f o cu s ed  s o l el y   o n t he o r y  o r  c o nc e p t ua l  i s s ue s  ha ve   no t  b e e n i nc l ud e d .   F ol l o w i ng   C h r i s t i e  a n d F l e i s c h e r  [ 18]  de s i g n a n m e t h od v a r i a bl e s   w e r e  c ode d a c c or di n g  t o a  bi n a r y   cat eg o r i zat i o n :   f r o m  a  g e n er al  l ev el  t o  a s p eci f i c l e v el .  I n   t h e f i r s t  cas e,   g e n er al  cat eg o r i zat i o n  f o r  d e s i gn  i s   e xp e r i m e nt a l ,  q ua s i - e xp e r i m e nt a l  o r  no n - e x p e r i m e n ta l;  w h il e  g e n e r a l c a te g o r iz a tio n   f o r   m e th o d  is  q u a lita tiv e ,   q u an t i t a t i v e o r   m i x ed   m et h o d .  T h e s p eci f i c cat e g o r i zat i o n   f o r  d es i g n   i n cl u d es  p ar t i c u l ar  d es i g n s   u s ed  s u c h  a s   p o s t t e st - o n l y ,  p r et es t - p o s t t es t ,  et c.  I n s t ead ,  p ar t i cu l ar   m et h o d s  i n cl u d e s u r v e y ,  i n t er v i e w s ,  f o c u s   g r o u p ,  et c.   T o  g u ar an t ee i n t er r at er  r el i ab i l i t y  a s eco n d  r es ear ch er  co d e d  al l  t h e ar t i cl e s .  T h e i n t er r at er  ag r ee m e n t s   w er e   cal cu l at ed  f o r  r es ear ch  d es i g n s  an d   m et h o d s  cat eg o r i es .   P er cen t ag e a g r ee m e n t s   w er e acce p t ab l e ( r at i n g  f r o m   74%  t o 80  % ) .         5.   RE S U L T S  AND AN AL Y S I S     F i r s t  I  p r es en t  r es u l t s  o f  g e n er al  an d  s p eci f i c cat e g o r i zat i o n s  p r o v i d i n g  a d es cr i p t i v e a n al y s i s .  T h en  I   c o m m e n t r e s u lts   f r o m  c r o s s - t ab u l at i o n s  o f   m et h o d s  v ar i ab l es   w i t h  o t h er  v ar i ab l es  co n s i d er ed  i n  t h i s  s t u d y .   T h e co d i n g  p r o ces s  s t ar t s  acc o r d i n g  s t u d i es   t o  e xp e r i m e nt a l ,  q ua s i - e xp e r i m e nt a l ,  o r  no n - e x pe r i m e n t a l  de s i gn  Evaluation Warning : The document was created with Spire.PDF for Python.
IJ E R E     I SSN :   2252 - 8822       R e s e a rc h  D e si g n and M e t hod s  i n Se l f - A s s e s s m e nt  St udi e s :  A  C ont e nt  A nal y s i s  ( Se r af i na P as t or e )   261   cat eg o r y  ( T ab l e 1 ) .  F o l l o w i n g   C h r i s t i e a n d  F l ei c h er ,  I  co n s i d er  a d es i g n  e x p er i m e n t al   « i f  u n i t s   w er e   r a n do m l y  a s s i g n e d t o c on di t i on s ;  qu a s i - ex p er i m en t al ,  i f  t h er w er w i t h i n - g r ou p or  be t w e e n - g r oup   c o m p a r i s o ns   w i t ho ut   r a nd o m   a s s i gn m e nt ;  a nd  no n - e x p er i m en t al ,  i f  i t   w a s  n ei t h er  e x p er i m en t al  n o r  q u a s i - ex p er i m e n t al »  [ 1 8 ] .       T ab l 1 .   T y p e o f  D es i g n  U s ed  i n  S el f - a s s e s s m e nt  S t ud i e s  i E ur o p e a n A r e a   J o u r n a l T i t le   R es ea r c h  D es i g n   E x p er i m en t a l   Qu a s i - ex p er i m en t a l   N on - ex p er i m en t a l   R O W   TO T A L   S tu d ie s  i n  H ig h e r  E d u c a ti o n   0   0   0   0   H i g h e r  E d u c a t i o n   0   0   0   0   J o u r n a l  o f  H i g h e r  E d u c a t i o n   0   0   0   0   R es ea r c h  i n  H i g h er  E d u c at i o n .   0   0   0   0   A s s e s s m e n t a n d  E v a l u a tio n   in  H ig h e r   E d u c a tio n   1   0   7   8   R e v i e w  of   H i g h e r  E d u c a t i o n   0   0   0   0   T e a c h i n g   i n  H ig h e r  E d u c a tio n   0   0   3   3   I n n o v a t i v e  H i gh e r  E d u c a t i on   0   0   0   0   H i g h er   E d u ca t i o n  R es ea r c h  a n d   D ev el o p m en t   0   0   0   0   H i g h e r  E d u c a t i o n  Q u a r t e r l y   0   0   0   0   C OL UM N T O T AL   1   0   1 0   1 1       S ta r tin g  f r o m   a  b a s e  o f  4 7 6 5  a r tic le s   it  is  s u r p r is in g   h o w   th e  s a m p le   w a s  e x tr e m e l y   r e d u c e d .   N o   st u d i e s o n   s e l f - a s s e s s m e n t   ha v e  be e n f o u n i n 8 j ou r n a l s  ou t  of  10.  F i r s t  of  a l l ,  a r t i c l e s   w e r e  c ode d i acco r d an ce  w i t h   t h m et h o d   cat eg o r i es :   q u al i t at i v e,   q u a nt i t a t i ve ,   a nd   m i xe d   m e t ho d s .   I t   i s   i m p r e s s i ve   ho w   t h er e ar e n o  ar t i cl es ,   w i t h i n  t h e j u s t  r ed u ced  s a m p l e,   w h i c h   h av n ev er   u s ed   m i x ed   m et h o d s  ( T a b l e 2 ) .     A  cr o s s  t ab u l at i o n  b et w een  c at eg o r i es  o f  d es i g n  an d   m et h o d s  s h o w s  t h at  q u a n t i t at i v e   m et h o d s  ar mo r e  c o m m on f or   n on - e x p e r im e n ta l d e s i g n .  T h is  r a is e d  d e s ig n   is   th e  o n l y  o n e  t h a t i n c l u d e s  a ls o  q u a lita ti v e   m et h o d s .  C l ear l y ,  t h er e i s  a p r ef er en ce  f o r  n o n - e x p er i m en t al  d es i g n .  T h e e x p er i m e n t al  d es i g n  i s   u s ed  o n ce   w it h  a  q u a n tita t iv e   m e t h o d ; th e  q u a s i - e xp e r i m e nt a l  ha s   ne ve r  b e e n f o u nd  i n t h i s  c o nt e nt  a n a l y s i s .       T ab l 2 .   T y p e o f  D es i g n  U s ed  i n  S el f - a s s e s s m e n t  S t u d i es   A c co r d i n g  t o  R es ear ch  M e t h o d s   T y p e o f  D es i g n   R es ea r c h  M et h o d s   Mix e d   Me t h o d s   Q u a li ta ti v e   Me t h o d s   Q u a n t i ta t iv e   Me t h o d s   R O W   TO T A L   E x p er i m en t a l   n = 0   ( 0 %;  0 %) *   n = 0  ( 0 % ;  0 % )   n = 1   ( 1 4 % ;  1 0 0 % )   1   Qu a s i - ex p er i m en t a l   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   N on - ex p er i m en t a l   n = 0  ( 0 % ;  0 % )   n = 4   ( 1 0 0 % ;  4 0 % )   n = 6   ( 8 6 % ;  6 0 % % )   1 0   C OL UM N T O T AL   0   4   7   1 1   N o t e:  i n   ea c h  c el l   w h er t h er e  a r t w o   p er c en t a g es   i n   p a r en t h es es .   T h p er c en t a g o n  l ef t   i s  t h e c o l u m n   p er c en t a g e,   a n d   t h e p er c en t a g o n  t h r i g h t  i s  t h r o w   p er c en t a g e.       I n  t h e ar t i cl es   w h er e r es ear c h  d es i g n   w as  i n d i cat ed  i t   h a s  b een   f o u n d  i f  a  s p eci f i c d es i g n   w a s   d es cr i b ed  ( T ab le   3 ) .  A c r o ss   t h e   sa m p l e ,  t h e  cas e - s t ud y d e s i g n i s  t he   m o s t  c o m m o n i no n - e xp e r i m e nt a l   s t u d i e s ,  f o l l o w ed  b y  t h o t h er ” cat eg o r y   t h at  i n cl u d ed  co n cep t u al  an al y s i s ,  r e f l ect i o n   o n  s el f - a s s e s s m e n t   th e o r ie s  o r  s tr a te g ie s .       T ab l e 3 .   T y p e o f  D es i g n  U s ed  i n  S el f - a s se s s m e n t  S t u d i e s   A c c o r d i n g  to  S p e c if ic  D e s ig n  U s e d   S p ec i f i c  D es i g n   T y p e o f  D es i g n   E x p er i m en t a l   Qu a s i - ex p er i m en t a l   N on - ex p er i m en t a l   R OW  T O T AL   P o s tte s t o n l y   n = 1   ( 1 0 0 % ;  1 0 0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   1   P r et es t - P o st t e st   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   I n t er r u p et ed   T i m e S er i es   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   L on gi t ud i n a l   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   R eg r es s i o n - D is c o n t in u i t y   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   C r o s s - s e ct i o n al   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   T i m es  S er i es   n = 0  ( 0 % ;   0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   D e s c r ip t iv e   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   C a se - s t u d y   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 6   ( 6 0 % ;  1 0 0 % )   6   O t h er   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 4   ( 4 0 % ;  1 0 0 % )   4   C OL UM N T O T AL   1   0   1 0   1 1   N o t e:  i n  ea c h  c el l  w h er e t h er e a r t w o  p e r c en t a g es  i n   p a r en t h es es .  T h e p er c en t a g e o n  l ef t  i s  t h e c o l u m n   p er c en t a g e,  an d  t h p e r c e n t a g e  o n   t h e  r i g h t  i s   t h e  r o w  p e r c e n t a g e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   22 52 - 8822   IJ E R E   V o l.   6 , N o 4 ,   D ecem b er   2 01 7   :   257     26 4   262   S ev e n  d at a co l l ect i o n   m et h o d s  h av e b een  co n s i d er ed .  A cr o s s  t h e s a m p l e,  q u es t i o n n a i r es ,  i n t er v i e w s ,   an d  f o cu s  g r o u p  ar e t h e   m o s t  c o m m o m e t ho d s   us e d  i n no n - e x p er i m e n t al  d es i g n s  ( T ab le   4 ) .  I n t he  “ o t he r   cat eg o r y   w er s et  t o g et h er  p h en o m e n o g r ap h y ,  co n cep t u al  a n al y s i s ,  an d  a u t o - b i o g r ap h i cal  an al y s i s .  H o w e v er ,   ev i d en ce d e m o n s t r at e s  h o w  r i s i b l t h u s e o f  t h es m et h o d s  i s       T ab le  4 .   T y p e o f  D at a C o l l ect i o n  U s ed  i n  S el f - as s es s m e n t  S t u d i es   A cco r d i n g  S p eci f i c D e s i g n   R es ear c h   S p ec i f i c  D es i g n   T y p e o f  D es i g n   E x p er i m en t a l   Qu a s i - ex p er i m en t a l   N on - ex p er i m en t a l   R OW  T O T AL   S u r v e y   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   Q u e s tio n n a ir e   n =1   ( 1 0 0 % ;  1 0 0% )   n = 0  ( 0 % ;  0 % )   n = 3   ( 3 0 % ;  7 5 % )   4   I n te r v ie w   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 2   ( 2 0 % ;  1 0 0 % )   2   F o c u s  G r o u p s   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 1   ( 1 0 % ;  1 0 0 % )   1   D o c u m e n t  A n a l y s i s   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   O b s e r v a t i on   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   S e co n d ar y  D at a A n al y s i s   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   0   O t h er   n = 0  ( 0 % ;  0 % )   n = 0  ( 0 % ;  0 % )   n = 4   ( 4 0 % ;  4 0 % )   4   C OL UM N T O T AL   1   0   1 0   1 1   N o t e:  i n  ea c h  c el l  w h er e t h er e a r e t w o  p e r c en t a g es  i n   p a r en t h es es .  T h e p er c en t a g e o n  l ef t  i s  t h c o l u m n   p e r c e n t a g e ,  a n d  t h e   p e r c e n t a g e  o n   t h e  r i g h t  i s   t h e  r o w  p e r c e n t a g e       6.   D I SC U SSI O N     T h i s  co n t en t  a n al y s i s   h as  b e en  ai m ed  t o  s u m m ar i ze ex i s t i n g  r e s ear ch  a n d  t o  s et  i t   w i t h i n  l ar g er   m e t h o d o lo g ic a l p e r s p e c tiv e .  S p e c if ic a ll y ,  th i s  s t u d y  tr ie s  to   s h e d  li g h o n   w h at   k i n d  o f  r es ear ch  d es i g n s  ar m o r e   f r e q ue nt  i hi ghe r  e d uc a t i o n s e l f - as s es s m e n t  r e s ear ch   f i el d .  T h e p i ct u r e t h at  ca m e o u t  f r o m  t h i s   s t u d y  i s   no t  p a r t i c ul a r l e nc o ur a gi ng.  H o w e ve r ,   t he s e   f i nd i n gs  a r e   u s e f ul   b e c a us e  t he y i nf o r m   s o m e  o f  t he   f i e l d s   c ur r en t  d eb at e,  r ef l ec t  o n   r es ear ch  d es i g n  an d   m et h o d s  u s ed   i n   s el f - as s e s s m e n t ,  an d  t r y  t o   f eed   m et h o d o l o g i cal l y  t h e h i g h er  ed u cat i o n  r es ear ch .     T he  q ua s i - ex p er i m en t a l  d es i g n  i s   n o t  r ep o r t ed  i n  t h i s  s a m p l e.  T h er e i s   n o  ev i d en ce  t h at  s el f - as s es s m en t  s t u d i e s  ar e f r a m ed  an d  i m p l e m e n t ed  f o l l o w i n g  t h i s  r es ear ch  d es i g n .  A l s o  t h e e x p er i m e n t al  d es i g n   i s  r ar el y  u s ed .  T h e f r eq u en c y  o f  n o n - e x p er i m e n t al  d es i g n  an d  o f  cas e s t u d y  ( as  s p ec i f i c r es ear ch  d es i g n   cat eg o r y )  co n f i r m s  h o w   h i g h e r  ed u cat i o n  r es ear ch  t en d s  t o  b e m o r l o cal  an d  r eal i zed  o n   a m i cr o - c o nt e xt .  I n   th is  p e r s p e c ti v e ,  th e  e m p h a s i s  o n  p u r e l y  q u a lita ti v e   m e th o d s  o r  p u r e l y  q u a n tita ti v e   m e t h o d s  is  a  li m ita tio n  in   t h h i g h er   ed u cat i o n   r es ear ch   f i el d .   R es ear c h   r es u l t s ,   o f t en ,   s ee m   t o  l o s t h ei r   v al u i n   p r act i cal   co n cer n s .   M o s t  o f  t h e r es ear c h  o n  s el f - as s es s m en t   f o cu s e s  o n  i t s   v al i d i t y  a n d  r eco m m e n d at i o n s  ar e,  g e n er al l y ,   m ad e   bot h  f or  t e a c h e r s  a n d s t u de n t s  i n or de r  t o i m pr ov e  hi gh e r - ed u cat i o n  q u al i t y .  R e s ear ch  r es u l t s  r e m ai n  at   a   c o n te x t u a l le v e l o f  a   s in g u la r  i n s ti tu t i on .  S o,   m or e  a t t e m pt s  t o pr oc e e on  i n - d ep t h  i n t er n at i o n al  co m p ar i s o n s   ar e n eed ed .   T w o  c e n tr a l li m ita tio n s  e m e r g e d  in  t h is  c o n te n t a n a l y s is .   F ir s t o f  a l l,  th is  s tu d y  h a s  a n a l y s e d   s c ie n t if ic  lite r a t u r e  f r o m  2 0 0 4  to  2 0 1 4 ,  b u t f in d i n g s  a r e  li m i te d  to  th e  s t u di e s  pu bl i s h e d i n a c a de m i c  j ou r n a l s   an d  f o cu s ed  o n  t h e E u r o p ean   h i g h er  ed u cat i o n  ar ea.  E v e n  t h i s  co n t e n t  a n al y s i s   i s  l i m i t ed  t o  acad em i c j o u r n al s   it is  i m p o r ta n t to  n o te  h o w   s e l f - a s s e s s m e n t s t u d ie s  i n  p u b lis h e d  a r tic le s  a r e  r e a ll y  f e w .  T h is  is ,  in   s o m e   w a ys ,   a  p a r a d o x : th e  in tr o d u c tio n  o f  th e  D u b lin  D e s c r ip to r s ,  d e s p ite  th e  e m p h a s is  o n   s t u d e n t s   s e lf - r e g ul a t i o n a nd   au t o n o m y  as  l ear n i n g  o u t co m es ,  h as  n o t  i n cr eas ed  e m p i r i ca l  s t u d i es  o n   s el f - a s s e s s m e n t .  I f  o n t he  o ne   ha nd ,   p o s itiv e  e f f e c ts   o f   s e l f - a s se s s m e n t   f o r   t each er - l ear n i n g   q u a l i t y  ar e  f r eq u e n t l y   r ecal l ed  b y  l i t er at u r e,  o n   t h e   o t h er  h an d ,  r es ear ch  d es i g n s  a n d   m et h o d s  s ee m   t o  b e at  an  i n ch o at i v e l e v el .   S e c o n d l y ,  c o n te n t a n a l y s is  i s   a  n o t in tr u s i v e  f o r m  o f  d a ta  a n a l y s i s  a n d  it i s  f a ll ib le  in  it s  v a lid it y  a n r el i ab i l i t y :  t h e r es u l t s  o f  t h i s   s t u d y  ca n  b e co n s i d er ed  as  r es u l t s  o f  an  e x p l o r at o r y   s t u d y .  M o r e s p eci f i c an d   r i g o r o u s  i n v e s t i g at i o n s  ar e n eed ed  i n  o r d er  t o  en h an ce  h i g h er  ed u ca t i o n  r es ear c h :   « r e f l ect i v e e x er ci s e o f   t a ki ng  s t o c o f   p a s t   a nd  c ur r e nt   a c h i e v e m e n t s   a n d pr obl e m s ,   o f   l ook i ng   a h e a d t o pos s i bl e  f ut u r e  r e s e a r c t o p i cs  an d  ar eas  f o r  i n q u i r y ,  an d  o f  d es i g n i n g  r es ear ch  s t r at eg i es   f o r  t h e f u t u r e,   m i g h t  b e m o r e i m p o r t an t   f o r   t h i s   a r e a   of   r e s e a r c h ,   be i ng  bot h  bl e s s e a n e n da n g e r e by   s o m e w ha t   un or t h od ox   c on di t i ons   a nd   ch ar act er i s t i c s »  [ 1 9 ].   B as ed  o n  t h e l i t er at u r e r ev i e w   h er ei n ,  i t  b eco m es  cl ea r  t h at  t h eo r et i cal  an d   m et h o d o l o g i cal   d ev el o p m en t  o f   s el f - a s s e s s m e n t  r eq u i r es  a  w el l - p o n d er ed  r ef l ect i o n  o n  r e s ear ch  cr i t er i a,   m et h o d ,  an d  d es i g n s   i n  or de r  t o pu r s u e   n o t o n l y   a  s u f f ic ie n t le v e l o f   f a ir n e s s ,  r e lia b ilit y ,  c o m p le te n e s s  b u t  a ls o  to  s u p p o r t a   k n o w l ed g e t h at   s h o u l d  b e s h ar eab l e,  r eco g n i zab l e,  co m m u n i cab l e.       E vi d e nc e   ga t he r e d  i n t hi s  c o nt e nt  a na l ys i s ,  e ve n  c o ns i d e r i ng  i t s   i nt r i ns i c  l i m i t a t i o ns ,  s t r o ng l y   s u g g e s ts  t h a t it i s  n e c e s s a r y   n o w  a  s c ie n ti f ic  r e f le c t io n  t h a t d o e s  n o t s to p  a t th e  f ir s t s te p  o f   m e t h o d o lo g ic a l   p r a c tic a lit y  ( h o w   to  d o  f o r ) .   W e  n e e d  a  s c ie n tif ic  r e f le c tio n  th a t c a n  b r o a d e n  its  e p is te m o lo g ic a l,  o n to lo g ic a l,   Evaluation Warning : The document was created with Spire.PDF for Python.
IJ E R E     I SSN :   2252 - 8822       R e s e a rc h  D e si g n and M e t hod s  i n Se l f - A s s e s s m e nt  St udi e s :  A  C ont e nt  A nal y s i s  ( Se r af i na P as t or e )   263   a n m e t h odol og i c a l  h or i z on s  i n hi ghe r  e d uc a t i o n i n o r d e r  t o  hi ghl i g ht  c o m m o na l i t i e s  a nd  d i f f e r e nc e s  o f   c on c e pt i on s  a n d pr i n c i pl e s  a bou t  s e l f - a s se s s m e n t .   I t is  i m p o r ta n t to   u n d e r s ta n d  h o w   s e l f - a s s e s s m e n t  i s  p er cei v ed  an d  co n s eq u en t l y  i m p l e m en t ed  i n  a   s p e c if ic  e d u c a t io n a l s y s te m : th is   ac k n o w l ed g m en t  i s  a s t ep  f o r w ar d  f o r  as s u r e t each i n g - l e a r ni n g q ua l i t y .  B u t   i t  i s  i m p o r t an t  a l s o  t o  car e  o f   r es ear ch  o n  s el f - a s s e s s m e nt  d e ve l o p i n g r e gul a t i ve  no r m s  f u nc t i o na l  t o  t he  r i g ht   ch o i ce o f   m et h o d o l o g i es ,   v al u es ,  t h eo r i es ,  r eq u es t s ,  a n d  r es ear ch  cr i t er i a.  R es ear c h  ef f o r t s  s h o u l d  f o cu s  o n   co n cep t u al i zi n g  w el l - s p eci f i e d  ap p r o ach es  an d   m et h o d o l o g i es   w i t h i n   t h e  h i g h er  ed u cat i o n  s y s t e m  [ 2 0 ] ,[ 2 1] .   I n  t h i s   w a y ,   t h er e ar m o r e ch an ces   t o  en h an ce  a co h er e n t   s c h o l ar s h i p  a n d  t o  a s s u r e t h at   g o o d  r es ear ch  car r i es   s ig n i f ic a n t i m p l ic a tio n s  f o r  p r act i ce i n  h i g h er  ed u cat i o n  [ 2 2 ] , [ 23] .       7.   CO NCL U S I O N   T h p u r p o s o f   t h i s   ar t i cl w as   t o  p r o v i d ev i d en ce  o f   r es ear ch   d es i g n   an d   m e t h o d s   u s ed  i n   s el f - as s es s m en t   s t u d i es  i n  t h h i g h er  ed u cat i o n  ar ea.  T h e p r e s en t  a n al y s i s  r ev eal s   l a r ge  a nd  s i gni f i c a nt   ga p s   b et w ee n  t h e t o p i c o f  s el f - a s s e s s m e n t a n d  its  e p is te m o lo g ic a l,  o n to lo g ic a l,  a n d   m e th o d o l o g ic a l a s p e c ts .  T h e   ho p e  i s  t ha t  t hi s  s t ud w i l l  h e l p  s t i m ul a t e   f ut ur e  r e s e a r c i n o r d e r  t o  i m p r o ve  a c c ur a c y a nd  r i go r  a nd  t o   o v er co m e t h e r i s k  o f   “m et h o d o l o g i cal  n at i o n al i s m ” i n  t h h i g h er  ed u cat i o n  f i el d .         ACK NO W L E D G E M E NT S   T h i s  p ap er  i s  p ar t   o f  t h e r es ear ch  l i t er at u r e r ev i e w  p h as e  o n  as s es s m e n t  p r act i ces  i n  t h e h i g h e r   ed u cat i o n   f i el d .  T h s t u d y   h a s   b een  r eal i zed   w i t h i n   t h e I D E A  ( I m pr ov i ng F eed b a ck  D e v e l opi ng  E ffe c tiv e   A s s e s s m e nt  f or  H i ghe r  E duc at i on )   P r oj e c t .   T he  I D E A  P r o j e c t  i s  a n A N V U R  ( I t a l i a A ge nc y f o r  t he   E va l ua t i o n o f  t he  U ni ve r s i t y  a nd  R e s e a r c h S ys t e m )  gr a nt e d  p r oj e c t .       R EF ER EN C ES     [ 1]   M .  T i g h t ,  “A r e ac ad e m i w o r k l o ad s  i n cr eas i n g ? T h e p o s t - w ar  s u r v e y  ev i d en ce i n  t h e U K , ”  H i ghe r  E d uc at i on   Qu a rt e rl y ,   vo l .  6 4,   pp .  2 00 - 21 5,  20 1 2.   [ 2]   D .  G ijb e ls ,   e t a l. ,  “ L e a r ni ng  pa t t e r ns  i hi g he r  e d uc a t i o n,  N e w  Y or k ,  N Y ,  R out l e dg e ,  20 14 .   [ 3]   A .  H .  M ille r ,   e t  a l. ,   S t ude nt  a s s e s s m e nt  i n hi g he r  e duc a t i o n,  N e w  Y or k ,  N Y ,  R o ut l e dg e ,  2 01 3.   [ 4]   D .  C ar l es s ,  “L ear n i n g - o r i en t ed  as s es s m en t :  C o n cep t u al   b as es  an d   p r act i cal  i m p l i cat i o n s , ”  I nn ov at i o ns  i n E duc at i o and  T e ac h i n g I n t e r nat i on al ,   v ol .  44,  pp .   5 7 - 66 ,  2 00 7.   [ 5]   J .  B i ggs  a n d  C . T a n g , “ T e a c hi ng  f or  q ua l i t y  l e a r ni ng  a t  uni v e r s i t y ,  B e r k s hi r e ,  O pe n U ni v e r s i t y  P r e s s ,  20 11.   [ 6]   S .  M e rry ,   e t a l. , “ R e c onc e p t ua l i s i ng  f e e dba c k  i n hi g he r  e duc a t i o n,  A bi ng don,  O x on,  R o ut l e dg e ,  2 01 3.   [ 7]   M .  P r i ce,   e t a l. ,  “ A s s e s s m e nt  l i t e r a c y ,  O xf or d,  O x f or d B r o o k e s  U ni v e r s i t y ,  2012.   [ 8]   E .   P a na de r o a n d F .  D oc hy ,  “ S t ude nt  s e l f - as s es s m en t :  as s es s m e n t ,  l ear n i n g  an d  em p o w er m en t , ”  A sse ssme n t  &   E v al u at i o n i n H i ghe r  E d uc at i on ,  v ol .   3 9,  pp.   8 95 - 89 7,  20 13.   [ 9]   N .  F al ch i k o v   a nd J .   G ol df i nc h,  “ S t ude nt  pe e r  a s s e s s m e nt  i n hi g he r  e duc a t i on:  A   m e t a - an al y s i s  co m p ar i n g  p eer  an d   t each er  m ar k s , ”  R e v i e w  of  E duc at i on al  R e s e ar c h ,   vol .  7 0 ,   pp .  2 87 - 3 22,  20 00 .   [ 1 0]   N .  F a l c hi k ov ,  “ P r od uc t  c om pa r i s ons  a n pr oc e s s  be ne f i t s  of  c ol l a b or a t i v e  pe e r  g r o u p  a n d  se l f  a sse ss m e n t s,   A s s e s s m e nt   &  E v al uat i on  i n  H i gh e r  E duc at i on ,  v ol .  1 1,   pp.  1 46 - 16 6,  1 98 6.   [ 1 1]   D .  B ou d,  “ E nha nc i ng  l e a r ni ng  t hr oug h s e l f - a s s e s s m e nt ,   L ondo n,  K og a n P a g e ,   199 5.   [ 1 2]   H .  A ndr a de  a nd Y .  D u,  “ S t ude n t  r e s pons e s  t o  c r i t e r i a - r ef er en ced  s el f - as s es s m en t , ”  A s s e s s m e nt  an d E v al uat i o n i n   H i ghe r  E d uc at i on ,  vo l .  32 ,   p p .  159 - 1 81,  2 007 .   [ 1 3]   D .  D .  N u l t y ,  “P eer  an d  s el f - a s s es s m en t  i n  t h e f i r s t   y ear  o f  u n i v er s i t y , ”  A s s e s s m e nt   &  E v al uat i on i n H i ghe r   E d u c at i on ,  vo l .  36 ,   p p.  49 3 - 50 7,  201 1.   [ 1 4]   G T L . B r o w n  a n d   L . R . H a r r is ,  “ S tu d e n t s e lf - as s es s m en t , ” i n  M cM i l l an ,  J . H .  ( E d . ) ,   T he  S A G E  han db ook  o f   re se a rc h  o n  c l a ssro o m a sse ssme n t .  T hous a n d O a k s ,  C A :  S a g e ,  pp.   367 - 3 93,  20 13 .   [ 1 5]   M . D . N . L e w e t a l. ,  “ A c c ur a c y  of  s t ude nt s  s e l f - a s s e s s m e n t a n d  th e ir  b e lie f s  a b o u t its  u tility ,   A sse s sme n t  &   E v al u at i o n i n H i ghe r  E d uc at i on ,  v ol .   3 5,  pp.   1 35 - 15 6,  20 10.   [ 1 6]   D .  B o u d ,  “S u s t ai n a b l e as s es s m e n t :  r et h i n k i n g  as s es s m en t  f o r  t h e l ear n i n g  s o ci et y , ”  A s s e s s m e nt   &  E v al uat i on i n   H i ghe r  E d uc at i on ,  vo l .  22 ,   p p .  151 - 1 67,  2 006 .   [ 1 7]   T .  A .  S ch w an d t ,  “T h e S ag e d i c t i o na r y  o f  qua l i t a t i v e  i n qui r y ,  T hou s a nd O a k s ,  C A ,  S a g e ,  2007.   [ 1 8]   C .  A .  C hi s t i e s  a nd D .  N .   F l e i s he r ,  “ I ns i g ht  i n t o e v a l ua t i o n pr a c t i c e :  a  c ont e nt  a na l y s i s  of  de s i g ns  a nd  m e t hods  us e i n e v a l ua t i on s t u di e s  pu bl i s he d  i n N or t h A m e r i c a n E v a l ua t i on  -   F oc us e d J o u r n al s , ”  A m e r i c an J o ur na l  of   Ev a lu a tio n ,  vol .   3 1 ,  p p.  32 6 - 34 6 ,  200 9 .   [ 1 9]   J .  B r en n an  an d  U .   T ei ch l er ,  “T h e f u t u r e o f  h i g h er  ed u cat i o n  an d  o f  h i g h er  ed u cat i o n  r es ear ch ,   H i g he r  E d uc at i on vo l .  5 6,   pp.  2 59 - 2 64 ,  20 08 .   [ 2 0]   R.   P r i co p i e,   e t a l. ,   F ut ur e  of  H i g he r   E d uc a t i on  i n  E ur ope ,”   v o l.   I a n d  II ,   D or dr e c ht :  S pr i ng e r ,  20 15 .   [ 2 1]   J.   D or ot he a   a nd I .   P r ui s k e n,   T h e C h an g i n g   G o v er n an ce o f  H i g h er  E d u cat i o n  an d  R es ear ch  M u l t i l ev el   P er s p ect i v es ,”   D o r d r ech ,   S pr i ng e r ,  2 01 5.   [ 2 2]   C.  Bry a n  a n d  K .   C l e gg,   I n n o v at i v e A s s es s m en t  i n  H i g h e r  E duc a t i on,   L on do n a n d N e w  Y o r k ,   R out l e dg e ,  T a y l or   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SSN :   22 52 - 8822   IJ E R E   V o l.   6 , N o 4 ,   D ecem b er   2 01 7   :   257     26 4   264   a nd F r a nc i s ,  2 00 6.   [ 2 3]   P S co t t ,  “H i g h er  E d u cat i o n :  A n  O v er v i e w , ”  in   P P et er s o n ,   e t a l . ,   I nt e r na t i ona l  E nc y c l ope di a  of   E duc a t i o n , ”  O xf or d,   E l s e vi e r ,   pp .  2 17 - 22 8 ,  201 0 .       B I O G RAP H O F  AUT H O         S er af i n P a s t or e ,  F ul br i g ht   F e l l ow  a nd  P h . D .   on I ns t r uc t i ona l  D e s i g n a nd E v a l ua t i on  of   F o r m at i v e P r o ces s es ,  i s  a r es e a r ch er  o n  ed u cat i o n al  as s es s m en t ,  D ep ar t m en t  o f  E d u cat i o n ,   U n i v er s i t y  o f  B ar i  ( I t al y ) .  H er  r es ear ch  i n t er es t s  i n cl u d e f o r m at i v as s e s s m en t  i n  h i g h er   e duc a t i on ,  a s s e s s m e nt  of  s t ude nt  l e a r ni ng  out c om e s ,  a nd t e a c he r   a s s e s s m e nt  l i t e r a c y .  I n 2015 s he   j oi ne d t he  Q ua l i t y  A s s ur a nc e  C om m i s s i on of  t he  U ni v e r s i t y  o f  B a r i  w he r e  s he   w or k s  a s  a ex p er t  o n   t each i n g  q u al i t y  ev al u a t i o n .  S h e i s  t h P r i n ci p al  I n v es t i g at or  of  t he  I D E A  ( I m pr ov i ng   F eed b ack  D ev el o p i n g  E f f ect i v A s s es s m en t  f o r  H i g h er  E d u cat i o n )   P r o j ect .     Evaluation Warning : The document was created with Spire.PDF for Python.