I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   1 6 ,   N o .   2 N o v e m b e r   201 9 ,   pp.   100 9 ~ 10 17   IS S N :   2502 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 1 6 .i 2 . pp 100 9 - 1017             1009       Jou r n al   h o m e pa ge ht t p: / / i ae s c or e . c om / j our na l s / i nde x . php/ i j e e c s   Pr i n c i p l e o f   r e f o r m i n g   a n   a g i l e - c o m p l i a n t     p e r f o r m a n c e   a p p r a i s a l       M aw ar n y   M d .   R e jab ,   M a z n i   O m ar ,   M a z i d a   A h m ad ,   S ya h i d H as s an   S c h o o l   of   Co m put i n g ,   U n i v e r s i t i   U t a ra   M a l a y s i a ,   Co l l e ge   o f   A r t s   a nd  S c i e n c e s ,   U U M   S i nt o k,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e D e c   20 ,   2018   R e v i s e M a r   17 ,   20 19   A c c e pt e A p r   11 ,   201 9       T hi s   pa pe r   p r e s e nt s   p r i nc i p l e s   o f   r e f o r m i ng   a A g i l e - c o m pl i a nt   pe r f o r m a nc e   a ppr a i s a l .   I t hi s   s t udy ,   s e v e r a l   s e m i - s t r uc t u r e d   i nt e r v i e w s   h a v e   be e c a r r i e d   o ut   a nd  di s c o v e r e e i g ht   p r i nc i pl e s   f o r   r e f o r m i ng   a A g i l e - c om pl i a n t   pe r f o r m a nc e   a ppr a i s a l   f o r   A g i l e   t e a m s .   P e r f o r m a nc e   a p pr a i s a l   f o r   s o f t w a r e   e ng i ne e r s   i a A g i l e   s o f t w a r e   d e v e l o pm e nt   e nv i r o nm e n t   i s   c om pl e a nd   di f f e r e n t   f r o m   t he   t r a d i t i o na l   s o f t w a r e   d e v e l o pm e n t .   P e r f o r m a nc e   a ppr a i s a l   s ho ul be   a l i g ne t o   A g i l e   v a l ue s ,   pr i nc i p l e s ,   a nd  pr a c t i c e s ,   w hi c h   a dv oc a t e   i nt e r a c t i o ns ,   c o l l a bo r a t i o ns ,   t e a m w o r k,   a nd   kno w l e dg e   t r a n s f e r   a m o ng   A g i l e   t e a m   m e m be r s .   T h e r e f o r e ,   a   t r a ns i t i o t o   A g i l e   S o f t w a r e   D e v e l o pm e nt   r e qu i r e s   t he   i m p l e m e nt a t i o o f   A g i l e - c o m pl i a nt   p e r f o r m a nc e   a ppr a i s a l .   T he s e   pr i nc i p l e s   e m ba r t he   p r o pe r   p r a c t i c e s   a n g ui da nc e   t o   s uppo r t   m a na g e m e nt   a nd  A g i l e   t e a m s   i de r i v i ng   a nd  i m p l e m e nt i ng   a A g i l e - c om pl i a n t   p e r f o r m a nc e   a ppr a i s a l .   T he r e f o r e ,   t h e   e m e r g e p r i nc i pl e s   c a be   a   b a s e l i ne   i g e ne r a t i ng   a A g i l e - c o m pl i a nt   p e r f o r m a nc e   a p pr a i s a l   t o   a s s e s s   A g i l e   t e a m   m e m be r s   i a   f a i r   a n c o ns i s t e n t   m a nne r .   T hi s   i nd i r e c t l y   i nc r e a s e s   m o t i v a t i o a m o ng s t   t e a m   m e m b e r s   a nd  t e nds   t o   p r o duc e   c a pa b l e   w o r kf o r c e   t o   pe r f o r m   a t   a   hi g he r   l e v e l .   Ke y w or ds :   A gi l e   s o f t w a r e   de v e l o pm e n t   A gi l e - c o m pl i a nt   P e r f o r m a n c e   a p p r a i s a l   P r i n c i pl e s   C opy r i gh t   ©   201 9   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   M a w a rn y   M d.   R e j a b ,     S c h o o l   of   Co m put i n g ,   U n i v e r s i t i   U t a r a   M a l a y s i a ,   06010  S i n t o k,   K e da h ,   M a l a y s i a .   E m a i l :   m a w a rn y @ uum . e du. m y       1.   I N TR O D U C TI O N     P e r f o r m a n c e   a pp r a i s a l   r e f e r s   t o   a   s y s t e m a t i c   p r o c e s s   of   e m pl o y e e s ’  pr o gr e s s   a s s e s s m e n t   a g a i n s t   c e r t a i n   e xpe c t a t i o n s   i n c l ud i n o r g a ni z a t i o n a l   o bj e c t i v e s   [ 1 ,   2 ].   P e r f o r m a n c e   a pp ra i s a l   i n v o l ve s   a   fo r m a l   i n t e r a c t i o n   b e t w e e n   a n   e m p l oy e e   a n t h e   s upe r v i s o r   o r   t h e   m a n a ge m e nt   i n   i de nt i fy i n t h e   s t r e n gt h   a n d   w e a kn e s s   o t h e   e m pl oy e e s .   It   fo c us e s   o n   a s s e s s i n p r o g re s s   a n pe r f o r m a n c e   of   e m pl oy e e s   i n   o r de r   t de t e r m i n e   t h e   f ut u r e   de v e l o pm e n t   o f   e m pl oy e e s ’  po t e n t i a l .   T h e r e f o r e ,   pe r f o r m a n c e   a pp r a i s a l   i s   e m p l oy e t m a na ge   a n d   a l i g a l l   o f   a n   o r ga ni z a t i o n' s   r e s o ur c e s   i n   o r de r   t o   a c hi e v e   h i g h e s t   po s s i b l e   pe r f o r m a n c e   pr o f e s s i o n a l   a n c a r e e r   de v e l o pm e n t ,   r e c o gn i t i o n   a nd  c o m pe n s a t i o n,   a nd  s a l a r y   i n c r e m e n t   a n p r o m o t i o n   e xe r c i s e   [3,   4 ].   A   go o pe r f o r m a n c e   a pp ra i s a l   e n a b l e s   t e a m   m e m b e r s   t o   c l e a r l y   un de r s t a n a   ke y   pe r f o r m a n c e   i ndi c a t o r s   (K P Is t ha t   n e e t o   b e   a c h i e v e [ 5 ].   B a s e o n   t h e   K P Is ,   t e a m   m e m b e r s   a r e   a b l e   t i de nt i fy   t h e i r   s t r e n g t h s   a nd  c a pa b i l i t i e s ,   a s   w e l l   a s   o ppo rt u n i t i e s   f o r   i m p r o v e m e n t   a nd  de v e l o pm e n t   of  r e qui r e s k i l l s .   S o m e   A gi l e   S o f t w a r e   D e v e l o pm e n t   o r ga ni z a t i o n s   s t i l l   a pp l y   t r a d i t i o n a l   pe r f o r m a n c e   a pp ra i s a l   s o l e l y   b a s e o n   i ndi v i du a l   a s s e s s m e n t   [ 6 ] .   A c c o r di n t o   A l na j i   a nd  S a l a m e [ 7 ]   a n d   Coy l e   e t   a l .   [ 6 ] ,   i t   i s   v i t a l   t o   h a v e   a n   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l   a s   A gi l e   S o f t w a r e   D e ve l o pm e n t   i s   t e a m - o ri e n t e d.     A n   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l   s h o ul b e   a l i g n e t o   A gi l e   v a l ue s ,   pr i n c i p l e s ,   a n p r a c t i c e s ,   w h i c a dv o c a t e   i n t e ra c t i o n s ,   c o l l a b o r a t i o n s ,   t e a m w o r k,   a n d   k n o w l e dge   t r a n s f e r.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   2 N o v e m be r   2 01 9   :     10 09   -   10 17   1010   T h e r e   i s   a   pa uc i t y   of   e m pi r i c a l   s t udi e s   t ha t   f o c us   o n   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l   [ 6 - 10 ] .   M o s t   s t udi e s   pr o po s e m e t r i c s ,   m e a s u r e m e n t s ,   a nd  h o w   t o   a s s e s s   t h e   j ob   pe r fo r m a n c e   of   A gi l e   t e a m   m e m b e r s .   E v e n   t h o ug h   l i t e ra t u r e   i n di c a t e s   s e ve r a l   i m p r o v e m e n t s   t o w a r ds   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp r a i s a l ,   w e   s t r o n g l y   b e l i e v e   t ha t   t h e r e   a r e   m o r e   e l e m e n t s   of   pe r fo r m a n c e   a pp ra i s a l   i n c l udi ng  a s s e s s m e nt   c r i t e ri a ,   a s s e s s m e nt   m e t h o ds ,   a n p ri n c i p l e s   n e e t o   b e   dug  o ut   i n t e n s i v e l y .   D ube   [ 11 s ugge s t e t h e   n e c e s s i t y   t o   r e v i s e   a n r e f o r m   t h e   o r ga ni z a t i o n ’s   pe r f o r m a n c e   a pp ra i s a l   s y s t e m .   T h e   p r o c e s s   of   r e fo r m i n pe r f o r m a n c e   a pp ra i s a l   s y s t e m ,   h o w e v e r ,   i s   n o t   e a s y ,   w h i c h   t e n ds   t o   put   p r e s s ur e   o n   m a na ge m e n t   f o r   i n v e s t i n a n de v e l o pi n a   n e w   pe r fo r m a n c e   a pp r a i s a l   s y s t e m   [ 12 ].   M a na ge m e n t   n e e ds   t o   de r i v e   a   pr o pe pl a f o r   r e fo r m i n pe r f o r m a n c e   a pp ra i s a l   b y   c o n s i de r i ng  s u gge s t i o n s   f o r   i m p r o v i n g   t h e   c u rr e n t   pe r f o r m a n c e   a pp r a i s a l .   T h i s   p a pe r   a i m s   t o   di s c us s   pri n c i pl e s   f o r   r e f o r m i ng  a n   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l   t ha t   ha v e   b e e n   di s c o ve r e t hr o ugh   t h i s   s t udy .   T hr o ug h o ut   s e m i - s t r uc t u r e i n t e r v i e w s   w i t h   f i v e   A gi l e   pra c t i t i o n e r s   b a s e i n   M a l a y s i a ,   w e   di s c ove r e e i g h t   p ri n c i p l e s   t h a t   t e nds   t o   b e   a   gui de l i n e   f o r   m a n a ge m e n t   a n A g i l e   t e a m s   i n   r e f o r m i n g   a A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l . I n   o rde r   t o   p r e s e n t   t h e   f i n d i n gs   o f   t hi s   s t udy ,   t h i s   p a pe i s   s t r uc t u r e a s   f o l l ow s :   t h e   n e xt   s e c t i o n   de s c ri b e s   r e s e a r c h   m e t h o d;   t h e   t hi r s e c t i o p r e s e n t s   t h e   f i n di ngs   o f   t h i s   s t udy ;   t h e   f o ur t s e c t i o n   d i s c us s e s   t h e   f i n d i ngs ;   a nd  t h e   l a s t   s e c t i o n   put s   f o r w a r c o n c l us i o n s .       2.   R ES EA R C H   M ET H O D     T h e   p r i n c i p l e s   of   r e fo r m i ng  a n   A g i l e - c o m pl i a n t   pe r f o r m a nc e   a ppr a i s a l   a r e   di s c o ve r e t hr o ug h   t h e   fo l l ow i n g   p h a s e s :     2. 1 .     Th e o r e ti c al   S tu d y   In   o r de r   t o   un de r s t a n a n e xpl o r e   t hi s   s t udy ,   w e   h a v e   r e v i e w e d   s c h o l a r l y   a r t i c l e s   r e l a t e t o   a n   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp r a i s a l   i n   de pt h.   T h e   a r t i c l e s   a r e   s e l e c t e a m o n gs t   pe e r - r e v i e w e a r t i c l e s   t e n s u r e   t h e i r   c r e di b i l i t y .   T h e n,   w e   di d   c r i t i c a l   a na l y s e s   of   t h e   pri n c i pl e s ,   a s s e s s m e n t   c ri t e r i a   a n m e t h o ds   us e d   i n   a n   A gi l e - c o m pl i a n t   pe r f o r m a n c e   a pp ra i s a l .     2. 2 .     D ata  C o l l e c ti o n   T h i s   s t udy   e m pl oy e s e m i   s t r uc t u r e i n t e r v i e w s   a s   t h e   m a i n   da t a   c o l l e c t i o n .   F i v e   A gi l e   pr a c t i t i o n e r s   ha v e   b e e n   i nt e r v i e w e t o   c l e a r l y   un de r s t a n h o w   t h e   pe r f o r m a n c e   of   A gi l e   t e a m   m e m b e r s ha v e   b e e n   a s s e s s e d   a n c o n f i rm   t h e   pe r f o r m a n c e   a pp r a i s a l   a r e   a l i g n e d   w i t h   A g i l e   v a l ue s ,   p ra c t i c e s ,   a nd  p r i n c i p l e s .     2. 3 .     D ata  A n al ys i s   T h e   i n t e r v i e w s   da t a   w e r e   a n a l y s e t hr o ug h   c o n t e nt   a na l y s i s   i n v o l v i n de s c r i p t i v e   (w h a t   i s   t h e   d a t a ? a n i n t e r p r e t i v e   (w h a t   w a s   m e a n t   by   t h e   d a t a ? ).   T h e   c o n t e n t   a na l y s i s   e n a b l e s   us   t o   c a t e go ri z e   t h e   i nt e r v i e w s   da t a   f o r   t h e   pu rpo s e   of   c l a s s i f i c a t i o n   a n d   s um m a ri z a t i o n   of   f i n di n gs .   A t   t hi s   s t a ge ,   w e   h a v e   di s c o ve r e s e v e r a l   p r i n c i pl e s   t ha t   l e d   t o   t h e   c o n s t r uc t i o n   o f   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l   m o de l .     2. 4 .     V al i d ati o n   o F i n d i n gs   T h e   o ut c o m e   f r o m   t h i s   s t udy   w a s   v a l i da t e t hr o ug h   e xpe r t   r e v i e w s .   T hr e e   A gi l e   pra c t i t i o n e r s   ha v e   b e e n   s e l e c t e t o   v a l i da t e   t h e o r e t i c a l l y   a n d   p r a c t i c a l l y   t h e   e m e r ge p ri n c i p l e s .   T h e i f e e d b a c ks   w e r e   us e t i m p r o v e   a nd  s t r e n g t h e n   t h e   f i n di ngs   o f   t hi s   s t udy .       3.   R ES EA R C H   F I N D I N G S   T h e   s e m i - s t r uc t u r e i n t e r v i e w s   r e v e a l   s e v e r a l   p ri n c i pl e s   i n   r e fo r m i n A g i l e - c o m pl i a n t   pe r f o r m a n c e   a pp r a i s a l   a s   f o l l ow s :     Int e g r a t i n g   i ndi v i dua l   a n d   t e a m   pe r f o r m a n c e   a s s e s s m e n t   c r i t e r i a     S h i f t i ng  t o   qua l i t a t i v e   pe r f o r m a n c e   a pp ra i s a l     A l i g ni n w i t K e y   P e r f o r m a n c e   I n d i c a t o r s   (K P Is )     A s s e s s i n t hr o ug h o ut   a   y e a r     Cr e a t i ng  d i f fe r e nt   a pp ra i s a l   f o r m s       E m b ra c i n g   c us t o m e r s   f e e d b a ck     G e t t i n g   m a n a ge m e nt   s u ppo r t     Co n duc t i ng  T r a n s p a r e n t   a s s e s s m e nt   ( u n f a i a s s e s s m e n t )   T h e   p r i n c i pl e s   a r e   t he   g u i d i ng   p r a c t i c e s   t ha t   s u p p o rt   m a n a g e m e nt   a nd   A g i l e   t e a m s   i d e r i v i ng   a nd   i m p l e m e nt i ng   a A g i l e - c o m p l i a nt   p e rf o rm a nc e   a p p ra i s a l .   T h e   de t a i l e e xpl a n a t i o n   f o r   e a c h   p r i n c i pl e   i r e f o r m i n g   A g i l e - c o m pl i a nt   pe r f o r m a n c e   a p p r a i s a l   a r e   di s c us s e i n   t h e   f o l l ow i n g   s ub s e c t i o n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r i nc i pl e s   of   r e f or m i ng  an  agi l e - c om pl i an t   p e r f or m an c e   app r ai s al . . .   ( Maw ar ny   Md.   R e j a b )   1011   3. 1 .     I n te gr at i n I n d i v i d u al   an d   T e am   P e r fo r m an c e   A s s e s s m e n C r i te r i a   In   o r de r   t o   a l i g n   w i t h   A gi l e   p r a c t i c e s ,   i t   i s   i m po r t a nt   t o   i nt e gra t e   t e a m   pe r f o r m a n c e   a pp ra i s a l   i n   r e l a t i o n   t o   c e r t a i n   p r e - e s t a b l i s h e c r i t e r i a   a n o r g a n i z a t i o na l   obj e c t i v e s .   T e a m   pe r f o r m a n c e   a pp r a i s a l s   a s s e s s   t h e   pe r f o rm a n c e   o f   t e a m w o r i n c l u di n g   a i n di v i du a l ’s   c o n t ri b ut i o t o   t h e   t e a m .     It   s h o ul b e   a   c o m b i n a t i o n   o f   b o t h ;   i ndi v i dua l   a nd  t e a m   pe r f o r m a n c e . - P 1,   T e c hn i c a l   P r o j e c t   L e a de r .     T h e   f i n di ngs   o f   t h i s   s t udy   i n di c a t e t h a t   t h e   w e i gh t   o f   i n di v i dua l   a nd  t e a m   pe r f o r m a n c e   a pp r a i s a l   v a r i e s   a n de pe n ds   o n   t h e   o r ga ni z a t i o n ’s   go a l s   a nd  o bj e c t i ve s .   B a l a n c i n t h e   m e a s u r e m e n t   o f   i n d i v i dua l   a n d   t e a m   pe r f o r m a n c e ,   h o w e ve r ,   t e n ds   t o   h e l p   o r g a n i z a t i o n s   t o   a dd r e s s   i n d i v i dua l   s ki l l   de v e l o pm e n t   a s   w e l l   a s   fo c us i n o a c hi e v i n g   t e a m   go a l s .     Ce r t a i n   c ri t e r i a   s h o ul b e   fo r   a n   i ndi v i du a l   [ a s s e s s m e n t a n c e r t a i n   c r i t e ri a   s h o ul b e   o n   t e a a s pe c t .   -   P 1 ,   T e c hni c a l   P r o j e c t   L e a de r .     F o c u s i n g   o n   t h e   i ndi v i dua l   a s s e s s m e n t   t e n ds   t o   c a us e   n e ga t i v e   c o m pe t a t i v e   a m o n gs t   t e a m   m e m b e r s   s pe c i f i c a l l y   fo r   be i n a   h e r o   i n   a   t e a m .   M a n y   pr o b l e m s   o c c u rr e w h e n   r e l y i n o n   t h e   o n l y   s i n gl e   e xpe r t   i n   a   t e a m   s uc h   a s   de m o t i v a t e   o t h e r s   t o   pe r f o r m   i t h e   t e a m :     W h e n   i t   c o m e s   t pe r fo r m a n c e   a ppra i s a l ,   i f   w e   do  i n d i v i dua l   a pp ra i s a l s ,   pe r s o n s   w h o   a r e   l o w   pe r f o r m e r s   m a y   ge t   m o r e   de m o t i v a t e d .   T h e y   do n ’t   ha v e   a   s p i ri t   o f   t h e   t e a m .   T h e y   do n ’t   s e e   t hi n gs   a s   a   t e a m .     P 2,   T e c hni c a l   P r o j e c t   L e a de r .     T h e   f i n d i n gs   o f   t hi s   s t udy   i n d i c a t e t ha t   m a n y   po s s i b l e   a s s e s s m e n t   c ri t e r i a   a r e   us e i pe r f o r m a n c e   a pp r a i s a l   o f   A gi l e   t e a m s .   T h e   c h o i c e   of   a s s e s s m e n t   c r i t e ri a ,   h ow e ve r ,   s h o ul d   c o n s i de r   t h e   i nt e g r a t i o b e t w e e n   i n di v i du a l   a nd  t e a m   pe r f o r m a n c e   a s s e s s m e n t   s pe c i f i c   f o r   A gi l e   t e a m s .   T h e   s e l e c t i o n   o f   a s s e s s m e n t   c ri t e r i a   s h o ul r e f l e c t   t h e   s i gn i f i c a n c e   of   A gi l e   t e a m   m e m b e r s ’  t a s ks   a n r e s po n s i b i l i t i e s   w i t hi n   t h e   f r a m e w o r of    t h e   t e a m ’s   a n d   t h e   o r ga ni z a t i o n ’s   o bj e c t i v e s .     3. 2   S h i fti n t Q u al i tat i v e   P e r fo r m an c e   A p p r a i s al   A   c o m m o n   pe r f o r m a n c e   a pp r a i s a l   m e t h o i s   b a s i c a l l y   b a s e d   o n   qua n t i t a t i v e   m e a s ur e m e nt ,   w h i c h   i s   r e p r e s e n t e b y   us i n n um b e r s   o r   s c o r e s .   A   s c o r e   e n a b l e s   a   s upe r i o r   t o   i n d i c a t e   t h e   l e v e l   of   t h e i s ub o r di n a t e s ’  a c hi e v e m e n t   o r   pe r f o r m a n c e ,   h o w e ve r ,   i t   i s   n o t   a de qua t e   t pr o v i de   f e e d b a c o n   h o w   t h e   s ubo r di na t e s   c a i m p r o v e   t h e m s e l v e s .   T h us ,   i t   i s   i m po r t a n t   t o   i nt e g r a t e   a   f e e d b a c s e c t i o n   i n t o   pe r f o r m a n c e   a pp r a i s a l   f o r   A g i l e   t e a m s .   T h e   s c o r e   i n d i c a t e s   t h e   a l i g nm e nt   o f   e m pl oy e e s   p e r f o r m a n c e   w i t h   t h e   de f i n e K e y   P e r fo r m a n c e   In d i c a t o r s   (K P Is ) ,   w h e r e a s   t h e   f e e d b a c w o r ks   a s   a i ndi c a t o a s   t o   w h a t   n e e ds   t o   b e   i m p r o v e d:     w o ul pr e f e r   a   v e r b a l   f e e db a c b e c a us e   t ha t   w o ul be   m o r e   h o n e s t   a n m o r e   r e f l e c t i o n   o   t h e   c urr e nt   s i t u a t i o n . ”    P 1 ,   T e c hni c a l   P r o j e c t   L e a de r .     A   n e w   di r e c t i o n   f o r   pe r f o r m a n c e   a pp r a i s a l   o f   A gi l e   t e a m s   w i l l   r e qui r e   i n t e g ra t i o n   o qua l i t a t i v e   f e e d b a c i n   pe r f o r m a n c e   a s s e s s m e n t .   F e e db a c c a n   b e   ob t a i n e i n   a   n u m b e r   o f   w a y s :   o bs e r v a t i o n   a n pe e r - r e v i e w .   O b s e r v a t i o n   e n a b l e s   s upe r i o r s   t o   s e e   a n c o n f i r m   t h e   b e h a v i o ur   a n pe r f o r m a n c e   of   t h e i s ubo r di na t e s   b e f o r e   c o m pl e t i n t h e   pe r f o r m a n c e   a pp ra i s a l .   S upe r i o r s   c a n   a l s o   i de nt i fy   w h e r e   a n h o w   t h e   s ubo r di na t e s   c a i m p r o v e   t h e m s e l v e s .     Re t r o s pe c t i ve   i s   us e fo r   t e a m   m e m b e r s   t o   a s s e s s   t h e m s e l v e s   a n t o   i m p r o v e   a s   a   t e a m .     P 1,   T e c hn i c a l   P r o j e c t   L e a de r .     D e s pi t e   t h e   b e n e f i t s   of   qua l i t a t i v e   f e e d b a c k,   t h e r e   i s   n o   do ub t   t ha t   s c o r i n s y s t e m s   c a n   b e   us e i n   pe r f o r m a n c e   a pp ra i s a l   o f   A gi l e   t e a m s .   S c o r i n s y s t e m s   i n di c a t e   t h e   ge n e r i c   p r o gr e s s   de v e l o pm e n t   o s ubo r di na t e s   a n a l s o   a s s i s t   m a na ge m e n t   i j us t i f y i n s a l a r y   i n c r e m e n t s   f o r   A gi l e   t e a m   m e m b e r s .     W e   h a v e   n um b e r s   us e i n   o ur   K P c ha rt .   S o   w e   h a v e   t o   s e e   w h i c h   qua d r a nt   w e   a r e   i n .   If   w e   a r e   i n   t h i s   qua d ra nt ,   w e   h a v e   m e t   e xp e c t a t i o n,   w e   h a v e   m e t   t a rge t   t ha t   h a v e   be e n   s e t   t us ,   t h e n   w e   ge t   a   c e r t a i n   [s a l a r y pe r c e n t a ge   o f   i n c r e m e n t .     P 1,   T e c hni c a l   P ro j e c t   L e a de r .     Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   2 N o v e m be r   2 01 9   :     10 09   -   10 17   1012   T h e r e f o r e ,   i nt e g r a t i n g   qu a n t i t a t i v e   a n d   qu a l i t a t i v e   m e a s ur e m e n t   i s   e s s e nt i a l   f o r   r e f o r m i ng    A gi l e - c o m pl i a n c e   pe r f o r m a n c e   a p p r a i s a l .   C h o o s i n a nd  b a l a n c i n t h e   r i g h t   m e a s u r e m e n t   f o r   t h e   ri g h t   a s s e s s m e n t   c ri t e r i a   o f   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l .     3. 3 .     A l i gn i n g   w i th   K e y   P e r fo r m an c e   I n d i c ato r s   (K P I s )   R e fo r m i ng  A gi l e   c o m pl i a n c e   pe r f o r m a n c e   a pp ra i s a l   s h o ul a l i g n   w i t h   K P Is   t ha t   ha v e   b e e n   s e t     by   o r ga ni z a t i o n s .   K P Is   e n a b l e   a n   o r g a n i z a t i o n   t o   m e a s u r e   s t a f pe r f o r m a n c e   a ga i n s t   ke y   b us i n e s s   obj e c t i v e s .   E a c h   A gi l e   t e a m   m e m b e r   s h o ul k n o w   a n a w a r e   t h e   K P Is   t h a t   n e e t o   be   a c h i e ve fo r   a   c e r t a i n     pe r i o o f   t i m e :     W e   d o   t h e   s a m e   w i t K e y   P e r fo r m a n c e   I n d i c a t o r s   ( K P Is ). E v e r y bo d y   kn ow   K P Is .     P 3,     A gi l e   Co n s ul t a n t .     Ch o o s i n g   t h e   ri g h t   K P Is   a r e   v i t a l   t o   e n s u r e   t h e   K P Is   a re   a t t a i na b l e .   It   i s   i m po r t a n t   t o   a v o i d   ov e r w h e l m i n g   K P Is   t h a t   t e nd  t o   n e gl e c t   t h e   e x a c t   v al u e   t ha t   t h e   KP Is   s h o ul d   a c hi e v e .     T h e   K P s   s h o ul n o t   b e   t o o   e xt e n s i v e .   If   i t   i s   s o   m uc h   K P Is ,   i n d i v i dua l s   a r e   t r y i n g   t o   a c h i e v e   t h e   K P IS   a n d   t h e y   m i g h t   f o r ge t   t h e   v a l ue s   t ha t   n e e t o   b e   de l i v e re d.     P 1 ,   T e c hni c a l   P r o j e c t   L e a de r .     R e fo r m i ng   A gi l e   c o m pl i a n c e   pe r f o r m a n c e   a pp r a i s a l   s h o ul n o t   r e l y   o n   t h e   s t a t i c   K P Is . It   i s   v i t a l   t pe r i o di c a l l y   r e v i e w   t h e   pr o c e s s e s   fo r   m o n i t o r i n a n a c t i ng   o n   t h e   K P Is .   M a na ge m e n t   s h o ul c h a nge   K P Is   t h a t   a r e   n o   l o n ge r   r e l e v a nt   a nd  r e pl a c e   t h e m   w i t h   o t h e r s   t h a t   h o l m o r e   v a l ue .   T h i s   i ndi r e c t l y   pr o v i de   a   s pa c e   fo r   i de nt i fy i n g   a r e a s   f o r   i m p r o v e m e n t .     A   goo m e a s u r e m e n t   w i l l   s t a y   a l i v e   fo r   a   w h i l e .   B ut   a   go o m e a s ur e m e nt   i s   n o t   f i xe d.   It   i s   pr o g r e s s i o n .   F o r   e xa m pl e ,   i f   a   t e a m   us e s   t h e   s a m e   m e a s u r e m e n t   f o r   a   w h i l e ,   t h e n   i t   i s   n o t   r e c ov e r i n w h a t   w e   w a n t   a n d   p r o v i di ng  v a l ue s ,   s o   c ha n ge   i t .     P 3 ,   A gi l e   Co n s ul t a nt .     It   i s   n o r m   f o r   m a n a ge m e nt   t o   de c i de   t h e   K P Is   t ha t   n e e t o   be   a c h i e v e fo r   e v e r y   s t a f f . O ur   f i n d i n gs ,   h o w e ve r ,   r e v e a l   t ha t   m a n a ge m e nt   gi v e s   f r e e do m   a n s pa c e   t o   e v e r y   s t a ff  i n   de c i di n t h e i r   go a l s   w h i c h   l e a i n   s e t t i n t h e   o rga ni z a t i o n ’s   K P Is :     W e   h a v e   t o   w r i t e   a n s e t   o ur   go a l s .   F o r   e xa m pl e ,   w a nt   t o   do   un i t   t e s t i n g .   T h e n   w e   ha v e   t o   s p e c i f y   t h e   pe r c e nt a ge   t ha t   t h e   go a l   s h o ul c o v e r .   S h o ul i t   b e   70%,   80%  o r   90%?   S o   a t   t h e   e n o f   t h e   y e a r   o r   s i x   m o n t h s ,   w e   c a n   e v a l ua t e   w h e t h e r   w e   h a v e   a c hi e v e t hi s   go a l   o r   n o t .     P 3 ,   A gi l e   Co n s ul t a nt .     T h e   u n i que   o f   A gi l e   S o f t w a r e   D e v e l o pm e n t   i s   a pp r e c i a t i o a n c o n s i de ra t i o n   t o w a r ds   s t a f f   o r   t e a m   m e m b e r s   i n pu t   i n   m a na gi ng  a n a s s e s s i n t h e i r   w o r pe rfo r m a n c e .   Co n s i de r i ng  s t a f f   i n pu t   w i l l   l e a t c h o o s e   t h e   r i g ht   K P Is ,   w h i c h   i ndi r e c t l y   a s s i s t   i n   de t e r m i ni n g   t h e   r i g ht   a s s e s s m e nt   c r i t e r i a   o f   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l .       3. 4 .     A s s e s s i n Th r o u g h ou Y e a r   It   i s   t h e   n o rm   f o r   m o s t   o r ga ni z a t i o n s   c o n duc t   pe r f o r m a n c e   a pp r a i s a l   a t   t h e   e n o f   t h e   y e a r .     T h e   a nn ua l   pe r f o r m a n c e   a pp r a i s a l ,   h o w e ve r ,   i s   n o t   s ui t a b l e   t o   a s s e s s   t h e   pe r f o r m a n c e   of   e m pl oy e e s   w o r ki ng  i n   A g i l e   s o f t w a r e   de v e l o pm e n t   p r o j e c t s :     T h e   t ra di t i o na l   m a na ge m e n t   ha s   a n   a nnua l   r e v i e w .   T ha t   s h o ul n o t   b e   t h e   c a s e   be c a us e   a nn ua l   a pp r a i s a l   do e s   n o t   w o r k.     P 3,   A gi l e   Co n s u l t a n t .     J us t   l i ke   A gi l e   m e t h o ds ,   t h e   pe r f o r m a n c e   a pp ra i s a l   s h o ul d   b e   do n e   i t e ra t i v e l y   a n i n c r e m e nt a l l y .   O ur  f i n di n g   r e v e a l e t ha t   t h e   pe r f o r m a n c e   e v a l ua t i o s h o ul d   b e   do n e   c o n t i n u o us l y   t hr o ug h o ut   a   y e a r :     A   goo m e a s y ur e m e n t   i s   s t i l l   a l i v e   fo r   a   w h i l e .   B ut   a   go o m e a s ur e m e n t   i s   n o t   f i xe d.     It   i s   p r o g r e s s i o n .     P 3 ,   A g i l e   Co n s ul t a nt .   T h e   pe ri o o r   c y c l e   of   e v a l ua t i o n   i s   v a r y   de pe n di n o n   t he   pr e f e r e n c e   a n n e e ds   o f   a s s e s s m e n t .     It   i s   a dv i s a b l e   t o   h a v e   a   s h o r t e r   i nt e r v a l s   o f   a s s e s s m e n t   i n s t e a of   a   l o n t e rm   a s s e s s m e nt .   M o ni t o ri n a n d   r e v i e w i n t h e   pe r f o r m a n c e   o f   e a c h   e m p l oy e e   i s   m o r e   e f f e c t i v e   a n d   e ff i c i e n t   w i t hi a   s h o r t   pe r i o o f   t i m e .     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r i nc i pl e s   of   r e f or m i ng  an  agi l e - c om pl i an t   p e r f or m an c e   app r ai s al . . .   ( Maw ar ny   Md.   R e j a b )   1013   Re v i e w   s h o ul b e   do n e   e v e r y da y .   S o   i f   i   w a n t   t o   b e   t r u l y   A gi l e ,   r e v i e w   s h o ul b e   t w o   w e e ks   o r   fo ur   w e e ks .     P 3,   A gi l e   Co n s u l t a n t .     O ur   f i n d i n gs   i n di c a t e t ha t   s o m e   pa rt i c i p a nt s   us e m i l e s t o n e s   a s   a   b e n c hm a rk  t o   a s s e s s     t h e   pe r f o r m a n c e   of   A gi l e   t e a m   m e m b e r s .   E a c i t e ra t i o n   o r   s pri n t   a n r e l e a s e   s h a l l   b e   c o n s i de r e a s   a   m i l e s t o n e   i n   A g i l e   s o f t w a r e   de v e l o pm e n t   p r o j e c t s .   F o r   o r g a ni z a t i o n s   i n v o l v i n m a n y   pr o j e c t s   fo r   e v e r y   y e a r ,   t h e r e   s ha l l   b e   a   po s s i b i l i t y   t o   r e v i e w   i n di v i du a l   pe r f o r m a n c e   a t   t h e   e n d   o f   e a c h   p r o j e c t .     It   de pe n ds   o n   h o w   t h e   a s s e s s m e n t .   I t   s h a l l   b e   t hr o ug h   m i l e s t o n e s   o r   a t   t h e   e n o f   t h e   pr o j e c t .     P 1,   T e c hn i c a l   P r o j e c t   L e a de r .     S h o rt   i nt e r v a l   a n c o n t i n uo us   a s s e s s m e n t   a l l o w s   fo r   i de nt i fy i n a nd  a c t i ng  o n   o ppo r t u ni t i e s   t i m p r o v e   pe r f o r m a n c e   a pp ra i s a l .   It   t e n ds   t o   i m p r o v e   e m pl oy e e s ’  e n ga ge m e nt   a n p r o v i de   a     r o o m   f o r   i m p r o v e m e n t .     3. 5 .     C r e at i n D i ffe r e n t   Ev al u ati o n   F o r ms     M o s t   o r ga n i z a t i o n s   us e   s i m i l a r   pe r f o r m a n c e   a pp r a i s a l   fo r m   fo r   a l l   e m pl oy e e s   w i t h o ut   c o n s i de r i ng  t h e i r   po s i t i o n s   o r   r o l e s .   P a r t i c i pa nt s ,   P a n P 2,   h o w e v e r   s u gge s t e t h a v e   di ff e r e n t   pe r f o r m a n c e   a ppra i s a l   fo r m s   f o r   di f f e r e n t   A gi l e   r o l e s :       S h o ul de f i ni t e l y   ha v e   a   d i f fe r e nt   [ a pp ra i s a l ]   f o r m .     P 2 ,   T e c h ni c a l   P r o j e c t   L e a de r .   T h e r e   a r e   t hr e e   m a i A gi l e   r o l e s   n a m e l y   t e a m   l e a de r,   t e a m   m e m b e r ,   a n d   p r o duc t   o w n e r .     E a c h   r o l e   s h o ul b e   a s s e s s e us i n d i f fe r e nt   pe r f o r m a n c e   a pp r a i s a l   f o r m s .   E v e n   t h o ug h   t h e   t e a m   m e m b e r   c o n s i s t s   of   de v e l o pe r s   a n t e s t e r s ,   t h e y   s h o ul b e   a s s e s s e t hr o ug h   t h e   s a m e   a s s e s s m e nt   c r i t e ri a .     A s   A gi l e   S o f t w a r e   de v e l o pm e n t   e m p ha s i z e s   o n   c r o s s - f un c t i o n a l   t e a m s ,   t e a m   m e m b e r s   n e e t o   un de r s t a n d   e a c h   o t h e r ’s   r o l e   a n d   pa rt i c i p a t e   b e y o n t h e i r   a r e a   o f   e xpe r t i s e .   T h e y   do   n o t   j us t   r e l y   o n   t h e i r   e xpe r t i s e   i n   c h o o s i n t a s ks ,   b ut   a l s o   t e n d   t o   pe r f o r m   o t h e r   t a s ks   w h e n e e de d.     Y o c a n n o t   us e   t h e   s a m e   [ a pp ra i s a l   f o r m ]   f o r   de v e l o pe r s . A   de v e l o p e r   i s   s o m e t h i ng  e l s e .     S c r um   m a s t e r   i s   s o m e t h i ng  e l s e   [s i c ] .     P 1 ,   T e c hni c a l   P r o j e c t   L e a de r .     T h e   pe r f o r m a n c e   a pp ra i s a l   f o r m   s h o ul b e   de r i v e by   e m p h a s i z i n t h e   c o r e   a n j o b   s p e c i f i c   c o m pe t e n c i e s   fo r   e a c h   r o l e .   T h e   a s s e s s m e n t   c ri t e r i a   a l s o   s h o ul a l i g w i t h   t h e   s pe c i f i e go a l s   f o r   e a c r o l e .     3. 6 .     Em b r ac i n g   C u s t o m e r s   F e e d b ac k   Cus t o m e r s   i n v o l ve m e n t   i n   A gi l e   t e a m s   i s   v i t a l   i n   p r o v i di n f e e db a c o n   t h e   i m p r o v e m e n t   of  s of t w a r e   pr o duc t   de v e l o pm e n t .   A gi l e   t e a m s   ha v e   t b e   ope n e t o   a c c e pt   fe e d b a c k,   a n s t a r t   t o   di v i de     t h e   fe e d b a c i n t o   s e v e r a l   us e r   s t o ri e s   fo r   b e t t e r   pri o r i t i z a t i o n .   T h e   c us t o m e r   f e e d b a c k,   h o w e v e r ,   s h o ul b e   t a ke n   i n t o   a c c o un t   f o r   pe r f o r m a n c e   a p p r a i s a l .   O u r   p a r t i c i pa n t ,   P 2 ,   i n d i c a t e t h a t   c us t o m e r   f e e db a c f o r   e a c h   pr o j e c t   s h o ul b e   c o n s i de r e i pe r f o r m a n c e   a pp ra i s a l :     W e   h a v e   a   s ur v e y   t h a t   w e   s e n t o   o ur   c us t o m e r s .   W e   di a f t e r   t h e   p r o j e c t   i s   d o n e .     P 2,   T e c hni c a l   P r o j e c t   L e a de r .     T h e   c us t o m e r s   a r e   t h e   s o ur c e   o f   t h e   p r o j e c t   a n i n d i c a t o rs   t o   t h e   s uc c e s s f ul   of   s of t w a r e   pr o j e c t   de ve l o pm e n t .   It   i s   p r e v a l e nt   t o   f ul f i l l   t h e i r   n e e ds   w h i c i n d i re c t l y   t e n ds   t o   i n f l ue n c e   t h e   pe r f o r m a n c e   o f   e a c h   t e a m   m e m b e i t h e   p r o j e c t .       It   i s   po s s i b l e   i f   t h e   p r o duc t   o w n e gi v e   ra t e   t o   e ve r y o n e   i t h e   t e a m .   If   h e   i s   v e r y   h a p py ,   a nd  h e   kn o w s   t h a t   hi s   b us i n e s s   i s   b e i n g   s a t i s f i e w i t h   t h e   b us i n e s s   n e e ds ,   t h a t   m e a n s   t h e   t e a m   i s   do i ng  a   go o j ob   [s i c ].     P 1 ,   T e c hni c a l   P r o j e c t   L e a de r .     T h e r e f o r e ,   m a n a ge m e nt   s h o ul c o n s i de r   t h e   c us t o m e r s ’  f e e db a c i n   a s s e s s i n t h e   pe r f o r m a n c e   o e m pl oy e e   i n   A g i l e   t e a m s .   T h e   a s s e s s m e nt   c r i t e r i a   o f   c us t o m e r s ’  f e e d b a c s h o ul b e   i n c l ude i n     t h e   A gi l e - c o m pl i a n c e   pe r f o r m a n c e   a pp r a i s a l .         Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   2 N o v e m be r   2 01 9   :     10 09   -   10 17   1014   3. 7 .     G e tt i n M an ag e m e n S u p p o r t   A   t r a n s i t i o n   t o   A gi l e   m e t h o ds   w i l l   n o t   s uc c e e w i t h o ut   m a na ge m e n t   s u ppo r t . M a n a ge m e nt   r o l e s   i s   pr e v a l e n t   i n   s uppo r t i ng  t h e   e xe c ut i o n   of   A gi l e   m e t h o ds ,   a s   w e l l   a s   r e fo r m i ng  t h e   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l .   M o v i n f r o m   w a t e r f a l l   m o de l   t o   A gi l e   m e t h o ds   i s   n o t   j us t   f oc us e o n   f a s t e r   de pl oy m e n t   o f   t h e   s o f t w a r e ,   b ut   i t   s h o ul r e f l e c t   t o   ov e r a l l   t ra n s i t i o o f   A gi l e   m e t h o ds   i n c l ud i n g     pe r f o r m a n c e   a pp ra i s a l .       B ut   s e e   a   l o t   of   o r ga n i s a t i o n s   do i n t h a t   a n t h e y   us e   S c r um   o r   E xt r e m e   P r o gra m m i ng  (X P a s   a e xc us e   t o   do   t h i ngs   f a s t e r .     P 3 ,   A g i l e   Co n s ul t a nt .     A c c o r di n t o   pa r t i c i p a nt   P 3,   hi s   o r ga ni z a t i o n   t h a t   h e   i s   w or k i n o n   ha s   c a s c a de t h e   o r ga ni z a t i o n   hi e ra r c h y   by   e m pha s i z i n o n   e m pl oy e e   i n s t e a o f   m a n a ge m e n t   a n b o a r l e v e l .   O ppo s e   t o   t r a di t i o na l   a pp r o a c h,   e m pl oy e e   i s   s e t   up   a t   t h e   t o l e v e l   of   o r ga n i z a t i o n   hi e ra r c h y .   E m p l oy e e   vo i c e   e xi s t s   w h e r e   e ve r y o n e   i s   a b l e   t o   pr o j e c t   t h e i o pi ni o a n d   e xp r e s s   t h e i r   f e e l i n g ,   a n t h e i r   v i e w s   t a ke n   i n t o   a c c o un t   w h e de c i s i o n s   a r e   b e i n d i s c us s e t h a t   a f f e c t   t h e m :     If   y ou  g o   t A gi l e   o r ga n i s a t i o n s ,   y o c a n   s e e   t h a t   t h e   t ri a n g l e   i s   r e v e r s e d.   E m pl oy e e s   o n   t o p,     t h e n   m a na ge m e n t ,   t h e n   b o a r l e v e l .   P r o b l e m s   go  t o d ow n,   a n s o l ut i o n s   go   bo t t o m   up .     P 3,     A gi l e   Co n s ul t a n t .     M a n a ge r s   o t e a m   l e a de r s   s h o ul p l a y   a i m po rt a nt   r o l e   i n   pe r f o r m a n c e   a pp r a i s a l   p r o c e s s e s   b y   e xpl a i ni n g   t o   e m pl o y e e s   to   a t t a i o r ga ni z a t i o n ’s   go a l s   a nd  u n de r s t a nd  t h e i r   j o b   dut i e s   a n e xpe c t a t i o n s .     T h e y   ha v e   t o   t a ke   p a rt   by   f a c i l i t a t i ng  a n d   e n c o ura gi ng  e m pl o y e e s   i a c h i e v i n t h e   de s i r e go a l s   a n K P Is .       M a na ge r s   a r e   r e s po n s i b l e   f o r   e v e r y bo d y   i n di v i du a l   pe r f o r m a n c e .     P 3 ,   A g i l e   Co n s ul t a nt .     T h e r e f o r e ,   r e fo r m i ng  A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l   r e qu i r e s   a   s t r o n i n t e r c o nn e c t i o n   b e t w e e n   m a na ge m e n t   a n e m p l oy e s s .   W i t h o ut   s uppo r t   f r o m   m a n a ge m e nt ,   i t   i s   i m po s s i b l e   t o   pr o duc e   a n i m p l e m e nt   a   go o a nd  e f fe c t i v e   A gi l e - c o m pl i a nt   pe r f o r m a n c e   a pp ra i s a l .     3. 8 .     C o n d u c ti n Tr an s p ar e n A s s e s s m e n   T r a n s p a r e n c y   i s   t h e   e xt e nt   t o   w h i c h   a l l   e m pl o y e e s   kn ow   a n u n de r s t a n w ha t   i s   r e qu i r e i n   t h e   pe r f o r m a n c e   a pp ra i s a l   a nd  a l s o   kn o w   h ow   t h e y   w i l l   b e   a s s e s s e f a i r l y .   T h e y   n e e t o   a w a r e   a n k n o w   h ow   t h e y   c a n   r e a c t   t o   a c hi e v e   t h e   de s i r e go a l s   a n d   K P I.   T h e   a pp ra i s a l   f o r m   s h o ul b e   v i s i b l e   t o   e v e r y o n e   i n   o rde t o   be   a   gui de l i n e   f o r   pe r f o r m i n w e l l   i n   a c c o m pl i s h i n g   t h e i r   w o r a n r e s po n s i b i l i t i e s .   T ra n s pa r e n c y   i s   e xi s t e a n i m pl e m e nt e i n   A gi l e   pra c t i c e s   s uc h   a s   da i l y   s t a n d - up   m e e t i ngs ,   r e t r o s pe c t i ve s ,   a n s p r i nt   r e v i e w s .   T h e s e   pr a c t i c e s   f a c i l i t a t e   t h e   pe e r   r e v i e w s   a n o p e n   t o   a l l   f o r   a s s e s s i n o t h e r   t e a m   m e m b e r s   a n d   t h e m s e l v e s   a s   w e l l :     P e e r   r e v i e w   s h o ul b e   o p e n .   S o   w h a t   w e   w a nt   i a   d a i l y   s t a n d - up   i s   t ha t   pe o pl e   a r e   r e a l l y   o pe n   t e a c h   o t h e r .   Co n s t r uc t i v e   b ut   o p e n .   S o   i f   t h e y   fe e l   t h a t   o n e   of   t h e i r   pe e r s   i n   t h e   t e a m   i s   n o t   pe r f o r m i ng,   t h e y   d o   n o t   h i de   a n v o i c e   o ut   be h i n t h e i r   b a c k.   T ha t   s h o ul b e   d o n e   f a c e   t o   f a c e   i n   a   c o n s t r uc t i v e   w a y . S o   t h e   w h o l e   t e a m   c a l e a rn  f r o m   t ha t .     P 3,   A g i l e   Co n s ul t a nt .     V i s ua l   m a n a ge m e nt   i s   a a b s o l ut e l y   e s s e n t i a l   t o o l   t o   di s pl a y   i n f o r m a t i o a b o ut   t h e   de s i r e go a l s ,   e xpe c t a t i o n   a nd  a c hi e v e m e n t s .   V i s u a l   m a na ge m e n t   i s   a   c o m m u n i c a t i o n   t o o l   t h a t   l i n ks   b e t w e e n   da t a   a n d   pe o pl e .   T h i s   t o o l   s h o ul e n a b l e   t h e   A g i l e   t e a m   m e m b e r s   t o   s e e   t h e   c u rr e nt   s t a t e   o f   w o r a n d   t ra c h o w   h e   o r   s h e   a n t e a m   a r e   pe r f o r m i n g   v e r s us   go a l s :     f i n v i s ua l   m a na ge m e nt   i s   r e a l l y   i m po r t a n t .   S o   e ve r y bo d y   c a n   s e e .   T r a npa r e n c y   i s   a   ke y .   S o   o n     t h e   w a l l ,   e v e r y bo d y   c a s e e   h o w   t h e y   pe r f o r m .     P 3 ,   A g i l e   Co n s ul t a n t .     T h e   c o n c e pt   o f   e qui t y   o r   f a i rn e s s   i s   e xt e n de d   f r o m   t h e   t r a n s pa r e n c y .   A   l a c o f   t r a n s p a r e n c y   t e n ds   t o   c a us e   f r us t r a t i o n   due   t o   b i a s   a n u n f a i r   j udge m e nt   a n a s s e s s m e nt .   A s   m e nt i o n e by   pa r t i c i pa nt   P 1,   t h e   un f a i a s s e s s m e n t   w a s   ha ppe n e i n   hi s   w o r ki ng  e n v i r o n m e nt   due   t o   po o r   a nd  w e a a s s e s s m e nt   m e t h o ds :     T h e   m a na ge m e n t   i s   n o t   f a i r   i n   a s s e s s i n t h e   c urr e n t   s ki l l   s e t .   T h e   m a na ge m e n t   w a nt s   t ha t   i ndi v i du a l   t o   pi c up  a   n e w   s ki l l   s e t ,   b ut   t h e y   d o   n o t   fo l l ow   t h e   pr o gr e s s   of   t h a t   i nd i v i du a l .   S o ,   t h e   i n di v i du a l   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r i nc i pl e s   of   r e f or m i ng  an  agi l e - c om pl i an t   p e r f or m an c e   app r ai s al . . .   ( Maw ar ny   Md.   R e j a b )   1 015   m i g ht   a l r e a dy   h a s   t h a t   r e qui r e s k i l l ,   b ut   h e   do e s   n o t   k n o w   h o w   t o   s h ow   o r   h o w   t o   pr o ve   i t .     P 1,   T e c hn i c a l   P r o j e c t   L e a de r .     E n s u r i ng  f a i rn e s s   by   a vo i di n g   b i a s   c a n   b e   a   c o m pl e a n di f f i c ul t   a f f a i r .   T h e r e f o r e ,   t ra n s p a r e n c y   s h o u l n o t   b e   n e gl e c t e i n   r e f o r m i ng  A g i l e - c o m pl i a nt   pe r f o rm a n c e   a p p r a i s a l .   C h o o s i ng  t h e   ri g ht   t e c hn i q ue   o r   m e t h o i s   v i t a l   t o   e n s u r e   t ra n s p a r e n c y   a s s e s s m e n t   e xi s t s   i A gi l e - c o m pl i a nt   pe r f o r m a n c e   a p p r a i s a l .         4.   DISCUSSIO N     T h e   i n i t i a l   s t e i n   c o n s t ruc t i n pe r f o r m a n c e   a pp r a i s a l   i s   t h e   de t e r m i n a t i o n   o f   p e r f o r m a n c e   c r i t e ri a .   B e s i de s   i n d i v i dua l   a s s e s s m e n t   c ri t e r i a ,   o u r   f i ndi n gs   i n di c a t e t ha t   t e a m   pe r f o r m a n c e   c r i t e r i a   s h o ul b e   i n c l ude i A gi l e   pe r f o r m a n c e   a pp r a i s a l s ,   t o   r e f l e c t   t h e   t e a m - l e v e l   pe r f o r m a n c e .   T e a m   c o l l a b o r a t i o n   i s   n o t   e a s y   t o   i m pl e m e nt   i f   pe r f o r m a n c e   a pp ra i s a l   m e c h a ni s m s   a r e   b a s e o n   i ndi v i dua l   pe r f o r m a n c e .   T h i s   i s   a l i g n e d   w i t h   A l n a j i   a n S a l a m e h ’s   s t u dy   [ 7 ],   w h i c po s i t s   t h e   i m po r t a n c e   o f   i n di v i du a l   a n t e a m   pe r f o r m a n c e   a s s e s s m e n t   c r i t e ri a   i n   pe r f o r m a n c e   a pp ra i s a l ,   i o r de r   t o   f i t   i nt o   a n   A gi l e   S o f t w a r e   D e ve l o pm e n t   e n v i r o n m e n t .   O u f i n di ngs   s uppo rt   N o o r i   e t   a l . ’s   s t u dy   [ 5 w h i c h   i n di c a t e s   t h e   n e e f o r   s e l e c t i n a n d   upda t i n pe r f o r m a n c e   c r i t e r i a .   T h e   pe r f o r m a n c e   c r i t e r i a   s h o ul b e   a l i g n e w i t h   A gi l e   v a l ue s ,   pri n c i pl e s ,     a n p ra c t i c e s ,   a s   w e l l   a s   a n   o r ga ni z a t i o n ’s   go a l s   a n o b j e c t i v e s .   F urt h e r m o r e ,   b a l a n c i ng  t h e   r i g h t   w e i g h t   f o r   i n di v i du a l   a n t e a m   pe r f o r m a n c e   a s s e s s m e n t   c r i t e ri a   i s   v i t a l   t o   r e f l e c t   t h e   t r ue   a b i l i t i e s   o f   i n di v i du a l   a nd  A gi l e   t e a m s   a s   w e l l .   D e v e l o pi n t e a m - b a s e pe r f o r m a n c e   c r i t e ri a ,   h o w e ve r ,   s h o ul r e f l e c t   A gi l e   c o r e   v a l ue s ,   pri n c i pl e s   a n p r a c t i c e s .   A n o t h e r   a s pe c t   fo un w i t h   i n e f fe c t i v e n e s s   of   t r a di t i o na l   a pp ra i s a l   s y s t e m   i s   t h e   f e e d b a c i n f o r m a t i o n   i s   ke pt   o ut s i de   of   t h e   a s s e s s m e n t   t o ol .   It   i s   i m po r t a n t   t ha t   t h e   pe r f o r m a n c e   a pp ra i s a l   c a pt u r e   c o n t i nuo us   f e e db a c t o   e n a b l e   e m pl oy e e s   de v e l o t h e m s e l v e s   fo r   a l l o w i n t h e m   t o   ke e a l i g n   w i t o r ga ni z a t i o n   e xpe c t a t i o n s .   F r o m   i nt e r v i e w s   a n s u r v e y   r e s ul t s ,   m o s t   pa rt i c i p a n t s   p r e f e r   t o   r e c e i ve   c o n t i n uo us   f e e d b a c f r o m   m a n a ge r s   a n pe e r s   a s   w e l l .   T r i p a n R i e m e n s c hn e i de r   [ 8 a l s o   i n d i c a t e   t h e   i m po r t a n c e   of  qua l i t a t i v e   f e e d b a c i n   p r o v i di n g   t h e   e m p l oy e e   w i t h   c l e a r   i n f o rm a t i o n   a b o ut   hi s   o r   h e r   pe r f o r m a n c e .   Q ua l i t a t i v e   f e e d b a c e n a b l e s   A gi l e   t e a m   m e m b e r s   t o   i de nt i fy   a r e a s   o f   s t r e n g t h   a nd  w e a kn e s s ,   a na l y s e   t h e i pe r f o r m a n c e   g a ps ,   a nd  t a ke   a c t i o n   f o r   i m p r o v e m e n t .   O ur   f i n di n gs   a r e   a l i g n e w i t h   A hm a a n B uj a n g’s   s t u d y   [1 3 ],   w h i c h   po s i t s   t h a t   qu a l i t a t i v e   f e e d b a c do e s   n o t   r e pl a c e   t h e   s c o r i n g   a p p r a i s a l ,   b ut   i t   c a b e   us e a s   a n   a dd i t i o n a l   m e t h o o f   a ppr a i s a l .   T hr o ug h   o ur   o b s e r v a t i o n s ,   f e e d b a c c a n   a l s o   b e   ga i n e du r i n r e t r o s pe c t i v e   m e e t i n gs .   T h e s e   m e e t i n gs   a l l o w   A gi l e   t e a m s   t o   r e f l e c t   o n   t h e   w o r p r o c e s s   us e a n h o w   t o   i m p r o v e   t h e   pr o c e s s   fo r   t h e   n e xt   i t e r a t i o n.     T h e   o ut c o m e   of   r e t r o s pe c t i v e   m e e t i ngs   i s   f e e d b a c k,   w h i c h   t e n ds   t o   i n f l ue n c e   t h e   pe r f o r m a n c e   a pp ra i s a l .     O ur   f i n di ngs ,   h o w e v e r ,   c o n t r a d i c t e S ha n k a r m a n i   e t   a l . ’s   s t udy   [1 4 ],   w h i c h   c l a i m s   t ha t   A g i l e   t e a m s   do   n o t   n e e pe r f o r m a n c e   a pp r a i s a l   o t h e r   t h a n   r e t r o s pe c t i ve   m e e t i n g s .   B a s e o n   o ur   o b s e r v a t i o n s ,   r e l y i n o n l y   o n   t h e   r e t r o s pe c t i v e   m e e t i n gs   i s   n o t   a de qua t e   fo r   ga i ni n f e e db a c a n e n s u r i ng  t h e   r e l i a b i l i t y   of   pe r fo r m a n c e   a s s e s s m e n t .   Q ua l i t a t i v e   fe e d b a c t hr o ug h o ut   pe e r - to - pe e r   f e e d b a c ks   t e n t o   pr o m o t e   k n o w l e dge   s h a ri n g .   T h i s   s c e n a ri o   c o ul be   h a ppe n e w h e n   t e a m   m e m b e r s   c ont r i b ut e   t h e i r   e xpe r t i s e   fo r   h e l pi ng  e a c h   o t h e   [ 15 16 ] .   T h i s   i n d i r e c t l y   s uppo r t s   e xpe r t i s e   c oo r di na t i o n,   w h e n   s ha r i ng  e xpe r t i s e   r e qu i r e s   t e a m   m e m b e r s   t o   r e l y   o n   e a c h   o t h e r   f o r   l o c a t i n g ,   r e c o gn i z i n g ,   a n a c c e s s i n e xpe r t i s e   [ 17 - 19 ].   D e r i v i n K P Is   s h o ul f oc us   o n   t e a m   go a l s   n o t   o n   i n di v i du a l s   due   t o   na t u r e   o f   A gi l e   m e t h o ds   [ 7 ,   20 ].   T h e   p r o c e s s   s t a r t s   w i t de f i ni n g   o r ga ni z a t i o n a l   go a l s   a n t h e n   s e t t i n g   e m pl o y e e   g o a l s .   T hi s   p r o c e s s   h a s   m o r e   s e n s e   w h e n   o r g a ni z a t i o n s   de f i n e   b us i n e s s   go a l s   a nd  l i nk  t h e m   t o   t h e   pe r f o r m a n c e   m e t ri c s   t h a t   n e e t o   be   m o n i t o r e d.   T h e s e   m e t r i c s   t h e b e c o m e   t h e   K P Is   f o r   t h e   de v e l o pm e n t   t e a m   a n i n d i v i dua l .   I n t e r v i e w   r e s ul t s   h i g hl i g ht   t h e   n e e fo r   h a v i n g   c o n t i n uo us   pe r f o r m a n c e   a pp r a i s a l   s y s t e m .   J us t   l i ke   A gi l e   s of t w a r e   de v e l o pm e n t ,   t h e   pe r f o r m a n c e   e v a l ua t i o s h a l l   n o t   b e   a nnua l   a n i t   s h o ul b e   do n e   i t e ra t i v e l y   a n i n c r e m e n t a l l y .   O ur   f i ndi n gs   i n - l i n e   w i t h   S a e e a nd  S un d a r a ra m a [ 20 ]   i t e r m s   o f   a s s e s s m e n t   pe ri o d,   w hi c t h e r e   s h a l l   b e   a   po s s i b i l i t y   t o   r e v i e w   i n di v i du a l   pe r f o r m a n c e   a t   s h o r t e i nt e r v a l s   r a t h e r   t h a a nnu a l l y .   O ur   f i n d i n gs   r e v e a l e t h e   n e e f o r   di f f e r e n t   e v a l ua t i o n   f orm s   de ri v e fo r   di f f e r e n t   A g i l e   r o l e s .     T h i s   i s   c o nt r a d i c t e t o   o r di na r y   pe r fo r m a n c e   e v a l ua t i o w h i c h   n o r m a l l y   us i n s i m i l a r   e v a l u a t i o n   f o r   di f f e r e n t   w o r ki n g   po s i t i o n s .   H a l l   [ 21 i hi s   s l i de   p r e s e n t a t i o e nt i t l e P e r f o r m a n c e   A pp ra i s a l   f o r   A gi l e   t e a m s ,   h o w e ve r   p r e s e n t e d i f f e r e n t   a t t ri b ut e s   of   a s s e s s m e n t   f o r   S c r um   m a s t e r s   a n p r o duc t   ow n e r s .   T hi s   c l e a r l y   i n di c a t e t h e   n e e ds   f o r   di f fe r e n t   a t t ri b ut e s   a s s e s s m e n t   f o r   di f f e r e n t   A g i l e   r o l e s   i n   o r de r   t o   c r e a t e   m o r e   e ffe c t i ve   a n f a i r   pe r f o r m a n c e   a s s e s s m e n t .   O u r   f i n di ngs   s t r o ngl y   s upp o r t   t h e   r o l e   of   m a n a ge m e nt   i r e f o r m i n A gi l e - c o m pl i a nt   pe r f o r m a n c e   a ppra i s a l .   S i m i l a r   t o   S a e e a n S u n da ra ra m a n ’s   s t udy   [ 20 ],   t h e y   ha v e   di s c us s e M a n a ge m e nt   by   O bj e c t i v e s   (M B O pr i n c i p l e s   i n   e v a l u a t i n e m p l oy e e   pe r f o r m a n c e   i n   A g i l e   w o r e n v i r o n m e nt .   E v e n   t h o ug h   m a na ge m e n t   i s   r e s po n s i b l e   t o   m a na ge   pe r f o r m a n c e   a ppra i s a l ,   m a na ge m e n t   s h o ul n o t   n e gl e c t   i nput   f r o m   e m p l oy e e .   F o r   i n s t a n c e ,   M B O   pr i n c i pl e s   do   n o t   a l l o w   m a n a ge m e nt   t o   de t e r m i n e   t h e   o bj e c t i v e s   by   t h e m s e l v e s ,   b ut   t h e   o b j e c t i v e s   s h o ul b e   de f i n e by   e m pl oy e e s   a nd  m a na ge m e n t .   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   1 6 ,   N o .   2 N o v e m be r   2 01 9   :     10 09   -   10 17   1016   T h e s e   de f i n e o bj e c t i v e s   a n K P Is   l e a t o   e m b a r o n   t r a n s p a r e n c y   i n   t h e   w h o l e   pr o c e s s   of   a ppra i s a l   pe r f o r m a n c e . T h i s   i s   c o nt r a d i c t e t o   t r a d i t i o n a l   pe r f o r m a n c e   a pp r a i s a l   w h e r e   t h e   t ra d i t i o n a l   a p p r o a c h   i s   n o t   e m pha s i z e o n   t r a n s p a r e n t ,   o pe n   a n d   c o l l a b o r a t i v e   a s s e s s m e n t   [ 20 22 ].   S i n c e   i t   i s   c l o s e a pp r o a c h,     t e a m   m e m b e r s   w i l l   b e   una w a r e   o f   o t h e r ’s   go a l s   a n K P Is ,   a n c o n s e que n t l y   h a rd  t o   w o r t o ge t h e r   c o h e s i v e l y   a s   a   t e a m .   T h e r e f o r e ,   o ur   f i n di ngs   h a v e   s h o w n   t h e   n e e t o   s e t   up  t r a n s p a r e n t   a s s e s s m e n t   c r i t e ri a   a n d   a pp r o a c h e s   i n   pe r f o r m a n c e   a pp ra i s a l   f o r   m i ni m i z i ng  u n f a i r   a n b i a s   j udge m e n t .   T hi s   i s   a l i g n e w i t h   P ra s a d’s   s t udy   [ 23 ],   w h i c h   s ug ge s t e t h a t   o r g a n i z a t i o n s   a r e   c o n v i n c e t o   i n v e s t   a m pl e   t i m e   a n i nn o v a t i o n   i de s i gni n a n a pp ra i s i ng  s t a f f   t r a n s pa r e n c y ,   i n   o r de r   t o   m i ni m i z e   t h e   e l e m e n t   o f   c o n f l i c t   a n p r e j udi c e .   S pe c i f i c   i n   A gi l e   s o f t w a r e   de v e l o pm e n t ,   v a r i o us   a rt e f a c t s   a re   us e t o   e n a b l e   t r a n s pa r e n c y   of   w o r ks   pr o g r e s s   a n t e a m ’s   pr o duc t i v i t y .   T h e   f i n d i n gs   o o ur   s t ud y   d o   n o t   i ndi c a t e a n y   a r t e f a c t   t ha t   s uppo rt   t r a n s pa r e n c y   i n   a pp r a i s a l   pe r f o r m a n c e . U s e   of   a   K a n b a b o a r a n d   b urn do w c ha r t ,   h o w e v e r ,   a l l o w s   e a c h   t e a m   m e m b e r s   t b e   m o n i t o r e d   i t e r m s   o f   pr o gr e s s   a n d   r e f l e c t   t h e   pe r f o r m a n c e   fo r   e a c h   m e m b e r   [ 24 25 ].       5.   C O N C LU S I O N     T h i s   p a pe r   p r e s e n t s   p ri n c i pl e s   o f   r e fo r m i ng  a n   A g i l e - c o m pl i a n t   pe r f o r m a n c e   a p p r a i s a l   f o r   A gi l e   t e a m s .   T h e   p r i n c i pl e s   a r e   t he   g u i d i ng   p ra c t i c e s   t ha t   s u p p o rt   m a na g e m e n t   a nd   A g i l e   t e a m s   i d e ri v i ng   a nd   i m p l e m e nt i ng   a A g i l e - c o m p l i a n t   p e rf o rm a nc e   a p p ra i s a l .   T h e s e   pr i n c i pl e s   t e n t o   s uppo r t   m a na ge m e n t   i n   de t e r m i n i ng  a s s e s s m e n t   c r i t e r i a   a nd  m e t h o ds   us e fo r   a s s e s s i n t h e   pe r f o r m a n c e   of   A gi l e   t e a m   m e m b e r s .   E f fe c t i ve   pe r f o r m a n c e   a p p r a i s a l   a l i g ni n g   A gi l e   v a l ue s ,   pri n c i pl e s   a n p r a c t i c e s   e n a b l e s   m a na ge r s   i o r ga ni z a t i o n   t o   e v a l ua t e   s o f t w a r e   t e a m   m e m b e r s   i f a i r l y   a n c o n s i s t e nt   m a nn e r .   M o t i v a t i o n   a m o n gs t   m e m b e r s   m a y   i n c r e a s e ,   a n d   t hi s   i s   a b l e   t o   p r o duc e   c a pa b l e   w o r kf o r c e   t o   pe r f o r m   a t   h i g h e l e v e l .       R EF ER EN C ES     [ 1]   R .   B a r r e t t . ,   L a bo ur i ng   U nde r   an   I l l us i o n?   T he   L a bo ur   P r o c e s s   o f   S of t w a r e   D e v e l o pm e n t   i t he   A us t r a l i a n   I n f o r m a t i o I ndus t r y ,   N e w   T e c hnol o gy ,   W or k   an E m pl o y m e nt ,   16 ( 1) ,   18 - 34 ,   2001 .   [ 2]   K . V . L .   M a n a s a ,   e t   a l . ,   R o l e   o f   T r a i n i ng   i n   I m pr ov i ng   P e r f o r m a nc e ,   T he   I uP   j our n al   of   s o f t   s k i l l s ,   3 ( 3 ) ,   72 - 80 ,   2009 .   [ 3]   J . N .   C l e v e l a n d,   e t   al . ,   M ul t i pl e   U s e s   of   P e r f o r m a nc e   A ppr a i s a l :   P r e v a l e nc e   a nd   C o r r e l a t e s ,   J our nal   of   app l i e d   ps y c hol ogy ,   74 ( 1) ,   130 ,   198 9.   [ 4]   M . Z .   I qba l ,   e t   a l . ,   E f f e c t i v e ne s s   o f   P e r f o r m a nc e   A ppr a i s a l :   A I nt e g r a t e F r a m e w o r k.   I nt e r n at i on al   J our nal   o f   M an age m e nt   R e v i e w s ,   17 ( 4) ,   510 - 533 ,   201 5.   [ 5]   S .   N o o r i ,   e t   al . ,   H um a P e r f o r m a nc e   F a c t o r s   i t h e   E v a l ua t i o of   V i r t ua l   O r g a ni z a t i o ns ,   I n t e r na t i ona l   J ou r na l   of   B us i ne s s   and   M ana ge m e nt ,   ( 2) ,   41 ,   2009 .   [ 6]   S .   C o y l e ,   e t   al . ,   P e o pl e   O v e r   P r o c e s s :   K e y   P e o pl e   C ha l l e ng e s   i n   A g i l e   D e v e l o pm e nt ,   I E E E ,   2 010 .   [ 7]   L .   A l na j i ,   e t   a l . ,   P e r f o r m a nc e - M e a s ur e m e n t   F r a m e w o r t o   E v a l ua t e   S o f t w a r e   E ng i ne e r s   f o r   A g i l e   S o f t w a r e - D e v e l o pm e nt   M e t ho do l o gy ,   E ur ope an   J o ur n al   o f   B us i ne s s   and   M anage m e nt   7 ( 2 ) ,   18 3 - 190 ,   2 015 .   [ 8]   J . F .   T r i pp ,   e t   al .   T o w a r a U nde r s t a n di ng   o f   J o S a t i s f a c t i o on   A g i l e   T e a m s :   A g i l e   D e v e l o pm e nt   as   W o r R e de s i g n.   I S y s t e m   S c i e nc e s   ( H I C S S ) ,   20 14  47 t H a w a i i   I nt e r n a t i o na l   C o nf e r e nc e ,   I E E E ,   399 3 - 4002 ,   2014 .   [ 9]   M .   R e j a b,   e t   a l .   T r a n s i t i o t o   A g i l e   m e t ho w i t ho ut   A g i l e - c o m pl i a nt   p e r f o r m a nc e   a p pr a i s a l ? .   I n   A I P   C onf e r e nc e   P r oc e e di ngs   ( V o l .   201 6,   N o .   1,   p .   0200 88) .   A I P   P u bl i s h i ng ,   20 18.   [ 10]   M .   R e j a b ,   e t   a l .   R e f o r m i ng   pe r f o r m a nc e   a ppr a i s a l   f o r   A g i l e   s o f t w a r e   de v e l o pm e nt   p r o j e c t s   ,   I n t e r na t i ona l   J our nal   o f   E ng i ne e r i ng   and   T e c hn ol ogy ,   ( 4 . 19 ) ,   23 3 - 239 ,   2018 .   [ 11]   L .   D ubé . ,   T e a m s   i P a c ka g e S o f t w a r e   D e v e l o pm e n t :   T he   S o f t w a r e   C o r p .   E x pe r i e nc e , I n f or m at i on   T e c hno l og y   &   P e opl e ,   11 ( 1 ) ,   3 6 - 61 ,   19 98 .   [ 12]   S . L .   J a r v e npa a ,   e t   a l . ,   O pe r a t i o na l   C a p a bi l i t i e s   D e v e l o pm e n t   i M e d i a t e d   O f f s ho r e   S o f t w a r e   S e r v i c e s   M o de l s ,   J our nal   o f   I n f or m at i on   T e c hn ol o gy ,   23 ( 1) ,   3 - 17,   20 08.   [ 13]   R .   A hm a d,   e t   al . ,   I s s ue s   a n d   C ha l l e ng e s   i n   t h e   p r a c t i c e   O f   P e r f o r m a nc e   A ppr a i s a l   A c t i v i t i e s   i t h e   21 s t   C e n t ur y ,   I nt e r n at i on al   J o ur n al   o f   E duc a t i on   and   R e s e ar c h ,   1 ,   4,   20 13 .   [ 14]   R . S ha hka r m a n i ,   e t   a l . ,   P e r f o r r m a nc e   A s s e s s m e nt   of   A S D   T e a m   U s i ng   F P L   F oo t ba l l   R ul e s   as   R e f e r e nc e ,   I I nd i a   C onf e r e nc e ,   2011 ,   1 - 4,   A nnua l   I E E E ,   2011 .   [ 15]   K ut a y ,   e t   a l . ,   K no w l e dg e   t r a ns f o r m a t i o f o r   e duc a t i o i s o f t w a r e   e ng i ne e r i ng ,   I n t e r nat i on al   J ou r na l   of   M o bi l e   L e ar ni n a nd   O r ga ni s at i o n   1 ,   1   200 6,   pp .   58 80.   [ 16]   G .   L o ha n,   e t   a l . ,   B e y o nd  budg e t i ng   a n a g i l e   s o f t w a r e   de v e l o pm e nt :   a   c o n c e pt ua l   f r a m e w o r f o r   t h e   pe r f o r m a nc e   m a na g e m e nt   o f   a g i l e   s o f t w a r e   de v e l o pm e nt   t e a m s ,   20 10 ,   p p.   16 2.     [ 17]   M . R e j a b,   e t   a l . ,   D i s t r i bu t i ng   e xpe r t i s e   i n   a g i l e   s o f t w a r e   de v e l o p m e nt   pr o j e c t s ,   I A gi l e   C on f e r e nc e   ( A G I L E ) 2014 ,   I E E E ,   pp.   3 3 36 .     [ 18]   M . R e j a b,   e t   a l .   L oc a t i ng   e xpe r t i s e   i a g i l e   s o f t w a r e   de v e l o pm e nt   pr o j e c t s ,   I A g i l e   P r o c e s s e s   i n   S o f t w a r e   E ng i ne e r i ng   a nd   E x t r e m e   P r o g r a m m i ng .   Spr i n ge r ,   201 4,   pp .   260 - 2 68.     [ 19]   M .   R e j a b ,   e t   a l . ,   C o o r di n a t i ng   e x pe r t i s e   o ut s i de   a g i l e   t e a m s ,   I I nt e r na t i o na l   C o nf e r e nc e   o A g i l e   S o f t w a r e   D e v e l o pm e nt ,   Spr i nge r ,   C ha m ,   20 15 ,   p p.   1 41 - 153 .   [ 20]   F .   S a e e d ,   e t   a l .   E m p l oy e e   P e r f o r m a nc e   E v a l u a t i o in   A g i l e   W o r E nv i r o nm e nt ,   20 18.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       P r i nc i pl e s   of   r e f or m i ng  an  agi l e - c om pl i an t   p e r f or m an c e   app r ai s al . . .   ( Maw ar ny   Md.   R e j a b )   1017   [ 21]   M .   H a l l ,   P e r f o r m a nc e   A ppr a i s a l   f o r   A g i l e   T e a m s . ,   ht t ps : / / w w w . s t i c ky m i nds . c o m / s i t e s / de f a u l t / f i l e s / p r e s e n t a t i o n/ f i l e / 2 0 13/ 1 2C A D P W _ A T 8. pdf ,   2003 .   [ O nl i ne ;   a c c e s s e 11 -   D e c e m b e r - 201 8] .   [ 22]   M . A .   R i z v i ,   A   F e e d ba c M o de l   f o r   a E f f e c t i v e   P e r f o r m a nc e   A ppr a i s a l   S y s t e m ,   J o ur n al   f o r   G l oba l   B u s i ne s s   A dv an c e m e nt ,   10 ( 2) ,   140 - 157 ,   201 7.   [ 23]   P .   P r a s a d ,   P e r f o r m a nc e   A ppr a i s a l :   A E m pi r i c a l   S t udy   T o   U n de r s t a nd  J o S a t i s f a c t i o A nd  M o t i v a t i o O f   P e r s o nn e l   T h r o ug T he   S y s t e m .   I nt e r na t i ona l   j our n al   o f   e ng i ne e r i ng  a nd   app l i e d   s c i e nc e s ,   2 ( 4 ) ,   3 - 20 ,   2015 .   [ 24]   D .   O w e ns ,   e t   a l . ,   P r o j e c t   M a na g e m e n t   A s s u r a nc e   i A g i l e   P r o j e c t s :   R e s e a r c i n   P r o g r e s s ,   2018 .   [ 25]   H .   S h a r p ,   e t   a l .   T he   R o l e   o f   P h y s i c a l   A r t e f a c t s   i n   A g i l e   S o f t w a r e   D e v e l o pm e n t :   T w o   C o m pl e m e nt a r y   P e r s pe c t i v e s ,   I n t e r ac t i n w i t C om pu t e r s ,   21 (1 - 2) ,   10 8 - 116,   2 009 .   Evaluation Warning : The document was created with Spire.PDF for Python.