I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   21 ,   N o .   1 J a n u a r y   202 1 pp .   3 48 ~ 35 3   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 21 .i 1 . pp 348 - 353             348       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   T h e   n e c e s si t y   o f   a   l e a d   p e r s o n   t o   m o n i t o r   d e v e l o p m e n t   st a g e s   o f   t h e   D e v Op p i p e l i n e       Be to o l   A l n am l ah ,   S a r a   A l s h ath r y ,   N o r ah   A l k as s i m ,   N o r   S h ah i d M o h d   Jam ai l   C o l l e g e   o f   C o m put e r   a nd   I nf o r m a t i o S c i e nc e s ,   P r i nc e   S u l t a n   U n i v e r s i t y ,   R i y a dh,   S a udi   A r a b i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e A pr   1 4 ,   20 20   R e v i s e J un   27 ,   20 20   A c c e pt e A ug  18 ,   20 20       T he   de v e l o pm e nt   to   o pe r a t i o ns   m o de l ,   kno w a s   D e v O ps ,   r e f e r s   t o   a   f r a m e w o r t h a t   i n t e g r a t e s   t he   de v e l o pm e n t   a nd  o pe r a t i o pha s e s   o f   o r g a ni z a t i o na l   a pp l i c a t i o ns .   D e v O ps   br i dg e s   t he   g a be t w e e t he s e   t w o   pr o c e s s e s   t ha t   t r a d i t i o na l l y   pr o l o ng e t he   i m pl e m e nt a t i o o f   t he s e   a ppl i c a t i o ns .   T hi s   f r a m e w o r a i m s   a t   e n ha nc i ng   s e r v i c e   de l i v e r y   a nd  r e l e a s i ng   s u bs e que nt   upda t e s   b a s e o r e a l - t i m e   c us t o m e r   f e e dba c k.   C o ns um e r s   i n   t hi s   m o de r n   e r a   pr e f e r   t a i l o r - m a de   s e r v i c e s ,   a n a   s l i g ht   do w nt i m e   f r o m   o ne   s uppl i e r   c a qui c kl y   s hi f t   t he i r   pr e f e r e n c e   t o   t he   c om pa ny s   c o m pe t i t o r s .   H o w e v e r ,   D e v O ps   i nv o l v e s   s o phi s t i c a t e c o di ng  a c t i v i t i e s ,   a n t h e r e   i s   a   ne e f o r   s o m e o ne   t o   ov e r s e e   t he s e   pr o c e s s e s   t o   e ns u r e   de v e l o pe r s   a r e   no t   o v e r w he l m e d.   T he   o bj e c t i v e   o f   t h i s   s u r v e y   i s   t o   c l a r i f y   t he   s i g ni f i c a nc e   o f   a   l e a pe r s o t o   m o ni t o r   t he   D e v O ps   p i pe l i ne   a n r e po r t   a ny   f a i l ur e   de t e c t e i e a c d e v e l o pm e nt   s t a g e .   T he   s t ud y   ut i l i z e d   m e t a - a n a l y s i s   o f   v e r i f i e t e r t i a r y   r e s o ur c e s   f r o m   o t he r   r e s e a r c he r s   t ha t   t o o a   de e d i v e   i n t o   t he   D e v O ps   m o de l   a n ho w   i t   w o r ks   t o w a r ds   o r g a ni z a t i o na l   g o a l s   i v a r i o us   f i r m s .   A l l   i n s t i t ut i o ns   i nv o l v e i m u l t i p l e   bus i ne s s   pl a t f o r m s   s ho ul d   t a ke   a dv a nt a g e   o f   ne w   t e c hno l o g i e s   t o   s c a l e   up  t h e i r   s e r v i c e   de l i v e r y   a nd  ne t   pr o f i t .   I f   a d o pt e a nd  a p pr o pr i a t e l y   m o ni t o r e d,   D e v O ps   c a n   r e v o l ut i o ni z e   t he   c a p a bi l i t i e s   o f   m o s t   bus i ne s s   a ppl i c a t i o ns   by   m i ni m i z i ng   do w nt i m e s   a nd   pr o v i di ng   uni nt e r r up t e d   s e r v i c e s .     Ke y w or ds :   A gi l e   D e pl oy m e n t s   D e v O p s   Int e g r a t i o n   It e ra t i o n s   P i pe l i n e   T hi s   i s   an   ope n   ac c e s s   ar t i c l e   u nde r   t he   C C   B Y - SA   l i c e ns e .     Cor r e s pon di n g   Au t h or :   B e t oo l   A l na m l a h   D e pa rt m e n t   o f   Co m put e a nd  I n f o rm a t i o S c i e n c e s   P r i n c e   S u l t a n   U ni v e r s i t y   3349  R a f ha   S t ,   S a l a A d   D i n,   R i y a dh   12435   741 3,   S a ud i   A ra b i a   E m a i l :   b a t o o l _a l n a m l a h@ h o t m a i l . c o m       1.   I N TR O D U C TI O N   T h e   t r a n s i t i o n   b e t w e e n   a ppl i c a t i o n   de v e l o pm e n t   a n i m pl e m e n t a t i o n   p ha s e s   h a s   r e c e i v e a   t r e m e ndo us   boo s t   t ha n ks   t o   t h e   a do pt i o o f   t h e   D e v O ps   t e c h ni que s .   O r g a n i z a t i o n s   s t r i v e   t o   e s t a b l i s h   m o de rn  c a pa b i l i t i e s ,   w i t h   h i g h   e xpe c t a t i o n s   pl a c e o n   t h e   l a t t e r’ s   I T   de pa r t m e nt .   A l t h o ug h   t h e r e   i s   a   n o t a b l e   t e c hn o l o gi c a l   a dv a n c e m e n t   t o w a r ds   i nn o v a t i o n,   p r o l o n ge l a ggi ng  ha s   a l s o   be e n   w i t n e s s e i n   p r o j e c t   de ve l o pm e n t   a s   w e l l   a s   t h e   qu a l i t y   o f   a ppl i c a t i o n s .   A   c o n s i d e r a b l e   n um b e r   o f   pr o j e c t s   a r e   h i n de r e by   m i s s e d   i m p l e m e nt a t i o n   de a d l i n e s ,   i n e f f i c i e n c y ,   a n d   o ut a ge s   t hr o ug ho ut   t h e   i m p l e m e nt a t i o n   pe r i o [ 1].     T h e   D e v O ps   f r a m e w o r c o m e s   h a n dy   a s   i t   s t r i v e s   t o   c o m b i n e   t h e   t r a d i t i o n a l   w a t e r f a l l   de v e l o pm e n t   l i f e c y c l e   i n t o   a   s i n g l e - p h a s e   p r o c e s s .   D e ve l o pe f i r m s   p re fe r   us i n e n g i n e e r s   t o   i m pl e m e n t   p r o j e c t s   b y   a ut o m a t i ng  a l l   t h e   pr o c e s s e s   f r o m   s y s t e m   de s i gn ,   a nd  m e r e l y   e n ga gi ng  t h e   s e c ur i t y   t e a m   w h e n   t e s t i ng  t h e   s y s t e m .   T h e   m o de l   n o t   o nl y   s t r e a m l i n e s   t h e   e n t i r e   de v e l o p m e nt   l i f e c y c l e   b ut   a l s o   m i ni m i z e s   u nn e c e s s a r y   e xpe n s e s   s i g n i f i c a n t l y   [2].     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       T he   n e c e s s i t y   o f   l e a p e r s on  t m oni t or   d e v e l o pm e n t   s t age s   of   t h e   D e v O ps   pi p e l i ne   ( B e t ool   A l nam l ah )   349   A gi l e   p r i n c i pl e s   pl a y   a   s i g n i f i c a n t   r o l e   i n   D e v O ps   t hr o ugh  c o n t i n uo us   i nt e g r a t i o a nd  c o n t i n uo us   de l i v e r y   t o   e l i m i na t e   po t e n t i a l   do w n t i m e s .   A   r e m a rka b l e   m i l e s t o n e   o f   t hi s   m o de l   i s   t h e   b r e a ki ng  o m o n o t o n o us   s i l o s   b e t w e e n   t h e   s y s t e m   de ve l o p e r s ,   t e s t e r s ,   r e l e a s e   m a na ge r s ,   a nd  t h e   e ve n t u a l   o pe r a t o r s   [3] .   It   a l s o   r e duc e s   t h e   h a ndo ve r   p r o c e s s e s   a s   b o t h   t e a m s   a r e   i n v o l ve i n   t h e   e n t i r e   p r o c e s s .     H a v i n e xpl o r e t h e   b e n e f i c i a l   v a l ue   a nd  o v e r v i e w   of   t h e   D e v O p s   m o de l ,   i t   i s   e qu a l l y   e s s e n t i a l   t o   m a ke   i t   m o r e   e ff i c i e n t .   E f f i c i e n c y   i s   o n l y   a c h i e v a b l e   i f   t h e   de ve l o pm e n t   pi pe l i n e   i s   s t r e a m l i n e a nd  t e c hni c a l   e rr o r s   a r e   m i ni m i z e d.   T h e   n e xt   s e c t i o n s   of   t h i s   r e s e a r c h   w i l l   di s c us s   a t   l e n gt h   w h y   i t   i s   n e c e s s a r y   t o   h a v e   a   l e a pe r s o t o   m o n i t o t h e   e n t i r e   D e v O ps   l i f e c y c l e   D e ve l o p e r s   a r e   a l w a y s   i n v o l v e i n   t h e   c o di n dut i e s   a n ra r e l y   c r e a t e   t i m e   t o   do   c o m pr e h e n s i v e   s c r ut i n y   of   t h e   f i n a l   s o f t w a r e   v e r s i o n.   T h e y   o n l y   r e l y   o n   fe e d b a c f r o m   e n d - us e r s   t o   c h e c f o r   b ugs   a n d   r e l e a s e   n e w   upda t e s .   T h e   c o m m e n t s   m a y   c o m e   w i t h   c r i t i c i s m ,   a nd  by   t h e   t i m e   t h e   t e a m s   a c t   o n   t h e   i n f o r m a t i o n,   c o n s um e r s   m a y   h a v e   a l r e a dy   s h i f t e t o   c o m pe t i t o r s   [4].   W i t h   i n c r e a s e s pe c i a l i z a t i o n,   de ve l o pe r s   t e n t o   s h i f t   t h e i r   f o c us   a n dw e l l   o n   de v e l o pi n m o r e   s o ph i s t i c a t e s y s t e m s   r a t h e r   t h a n   a s s e s s i n g   t h e   l a t t e r’s   l o o ph o l e s .   U n de t e c t e e rr o r s   m a y   e m e r ge   u n e xpe c t e dl y ,   pr o m pt i ng  t h e   t e a m   t o   ha l t   t h e i r   c u rr e n t   t a s ks   a n l o o b a c i n t o   t h e   f a i l u r e .   S uc h   m i s h a ps   po s e   a s   d ra w b a c ks   t o   t h e   c o m pa n y ’s   ov e r a l l   pe r f o r m a n c e   a n r e v e n ue   pr o j e c t i o n .   D ue   t o   t h e   i n c r e a s i n de m a n f o r   be t t e r   p r o duc t s   a n s e r v i c e s ,   de v e l o pe r s   w o r fo r   l o n ge r   h o u r s   t o   m e e t   t h e s e   de m a n ds   a n d   r e m a i a h e a o f   c om pe t i t o r s   [ 5].         2.   R ES EA R C H   M ET H O D     T h e   a ppl i c a t i o n   de l i v e r y   pr o c e s s   i n   t h e   D e v O ps   pi pe l i n e   i n v o l v e s   s pe c i f i c   e s s e n t i a l   s t a ge s   b e fo r e   be i n r e l e a s e t o   s t a ke h o l de r s   a n d   c us t o m e r s .   T h e   pi pe l i n e   i ni t i a t e s   a t   t h e   de v e l o pm e n t   s t a ge   w h e r e   t h e   t e a m   w r i t e s   t h e   a pp l i c a t i o n   c o de ,   w h i c h   i s   t h e n   i nt e gra t e i n t o   a   s o ur c e   c o n t r o l   r e s pi r a t o r y   [6].   T h e   i n t e g r a t e c o d e   i s   us e i n   t h e   n e xt   s t e t o   b ui l t h e   s o f t w a r e .   T h e   de v e l ope s y s t e m   i s   t h e n   t e s t e d,   a nd  i f   a n y   f a i l u r e   i s   de t e c t e d,   i t   i s   s e n t   b a c t o   de ve l o pe r s   fo r   f i xi n g.   T h e   f i na l   s t e i s   t h e   de pl oy m e n t   o f   t h e   f i n a l   v e r s i o n   t o   e n d - us e r s .   A l l   s t a ge s   i n   t h e   D e v O ps   pi pe l i n e   a r e   i nt e r c o nn e c t e by   a   f e e db a c pa t h   t o   e n s u r e   c o n t i n uo us   a ppl i c a t i o n   de l i v e r y   [7].   T h e r e   ha v e   s i D e v O ps   P r a c t i c e s   a n f i v e   b e n e f i t s   of   D e v O ps .   B e l ow   a r e   t h e   s i D e v O p s   P ra c t i c e s   [8].   a)   L o ggi n a n m o ni t o ri n g F r e que n t   m o n i t o r i ng  o o r ga n i z a t i o na l   a ppl i c a t i o n s   i s   do n e   t o   e v a l ua t e   t h e   s a t i s f a c t i o r a t e   o f   e n d - us e r s .   It   a l s o   h e l ps   de v e l o p e r s   k n o w   t h e   k i n d   o f   upda t e s   t o   r e l e a s e .   b)   Co n t i nuo us   i n t e g ra t i o n It   r e f e r s   t o   h o w   de v e l o p e r s   r u n   a ut o m a t e t e s t s   a nd  b ui l d   by   m e r gi n g   t h e i c o d e s .   T h e   p ra c t i c e   a i m s   a t   s c a l i n g   s o f t w a r e   qu a l i t y   by   l o c a t i n g   a nd  f i x i n b ugs   f a s t e r .   c)   Co m m u n i c a t i o n   a n c o l l a b o r a t i o n T e a m s   ut i l i z e   c h a t t i ng   pl a t f o r m s   o t h e   a ppl i c a t i o n   t o   s h a r e   t h e   o r ga ni z a t i o n a l   w o r kf l ow   a n ke e t r a c k   o f   t h e i p r o j e c t s .   d)   M i c r o - s e r v i c e s Co m pa ni e s   us e   a n   H T T P - b a s e a ppl i c a t i o n   p r o g r a m m i n i nt e r f a c e   t i n t e g ra t e   l i g ht w e i gh t   s e r v i c e s   i n t o   o n e   p r o gra m .   E v e r y   f un c t i o n a l   u ni t   i n   t h e   a ppl i c a t i o n   s e r v e s   a   s pe c i f i c   purpo s e .   e)   Co n t i nuo us   de l i v e r y T h e   p r o c e s s   i n v o l v e s   un i n t e rr up t e b ui l di n g ,   t e s t i n g ,   a nd  r e l e a s i n g   c o de   c h a nge s .   It   i s   us ua l l y   c o m pl e m e n t e b y   c o n s t a n t   i nt e g r a t i o n .   f)   In f r a s t ruc t u r e   a s   c o de It   i s   a   p ra c t i c e   us e i n   m a na gi ng   i n f ra s t r uc t u r e   t hr o ug s o f t w a r e   a n c o de   de ve l o pm e n t   t e c hni que s   s uc h   a s   c o n t i nuo us   de l i v e r y   a n i n t e g r a t i o n .   A d m i ni s t ra t o r s   a n de v e l o pe r s   i n t e r a c t   t hr o ug t h e   c l o ud’s   A p pl i c a t i o n   P r o g r a m m i n g   I n t e r f a c e   (A P I)  f ra m e w o r us i n g   c o de t o o l s .   B e l ow   a r e   t h e   5   B e n e f i t s   o f   D e v O p:     a)   S pe e d Co n t i nuo us   de l i v e r y   a n d   m i c r o - s e r v i c e s   e n a b l e   t e a m s   t o   r e l e a s e   upd a t e s   f a s t e r,   ge t   r e a l - t i m e   c us t o m e r   f e e d b a c k,   a nd  c o pe   w i t r a d i c a l   c h a n ge s   i n   t h e   m a rke t .   b)   R e l i a b i l i t y T h e   a u t o m a t i o n   o f   a l l   t h e   D e v O ps   s e c t o r s   c r e a t e s   a   f a vo r a b l e   w o r e n v i r o n m e nt   f o r   c o l l a bo r a t o r s   t o   ke e t h e   s y s t e m   upda t e d.   c)   T h e   b r e a ki n do w n   o f   s i l o s T h e   c o l l a b o r a t i o n   e nha n c e s   e ff i c i e n c y   by   s a v i n t h e   t i m e   w a s t e duri n g   ha n do v e r s .   T h e   c o di n g   a nd  de pl oy m e n t   f u n c t i o na l i t i e s   a r e   us ua l l y   t r e a t e d   a s   a   u n i t .     d)   R a pi de l i v e r y W o r ki n p r o duc t s   a r e   r e l e a s e i n t o   t h e   m a r ke t   f a s t e r,   w hi c h   e nha n c e s   t h e   r e t u rn  o n   i n v e s t m e n t s .     e)   R i s m a n a ge m e nt   s t ra t e gy T h e   t e a m   qu i c kl y   p o i n t s   o ut   a n y   b ugs   t h a t   m a y   h i nde r   t h e   a pp l i c a t i o n ’s   s uc c e s s   a n d   f i xe s   t h e   l o o ph o l e   b e fo r e   i t   r e a c h e s   c o n s um e r s .       2. 1 .       Th e   ab s e n c e   o a   l e ad   p e r s o n   i m p ac ts   D e v O p s ’  s u c c e s s   T h e   D e v O ps   f r a m e w o r a t t r i b ut e s   i t s   s uc c e s s   t o   t h e   c o m m i t m e nt   o f   de ve l o p e r s   a nd  e n gi n e e r s   w h o   t a ke   up   t h e   r e s po n s i b i l i t y   of   s t e e r i n t h e   o r g a ni z a t i o n ’s   ob j e c t i ve s   [9].   If   t h e   de v e l o pe r s   a r e   n o t   w e l l   s uppo r t e a n d   c o o r di na t e d   c e n t ra l l y ,   t h e   f o l l ow i n s e t b a c ks   a r e   l i ke l y   t o   b e   e xpe r i e n c e d:   a)   S o m e   m e m b e r s   m a y   fe e l   ove r b ur de n e a nd  g i v e   t h e m s e l v e s   unpl a nn e b r e a ks   w h e t h e   de m a n i s   t o hi g h.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     348   -   353   350   b)   T h e r e   w i l l   b e   i m p r o pe r   c o o r di n a t i o b e t w e e n   de v e l o pe r s   a nd  t h e   m a na ge m e n t ,   a nd  a n y   s l i g h t   i n q ui ri e s   c a i nt e rrupt   t h e   D e v O ps   pr o c e s s e s .   c)   S o m e   i n d i v i dua l s   l a c t h e   i nt e g r i t y   of   w o r ki n w i t h o ut   s upe r v i s i o n,   a n t h e i r   l a x i t y   c a n   d ra o t h e r   m e m b e r s   b e h i n d .   d)   If   t h e   de v e l o pe r s   a r e   b e i ng  o ut s o ur c e d,   s o m e   o f   t h e m   m a y   i m pl e m e nt   a ppl i c a t i o n s   t ha t   v i o l a t e   t h e   c o m pa n y ’s   po l i c i e s ,   l e a di ng  t o   a   w a s t e   o f   t i m e   a nd  r e s o ur c e s .   T a b l e   s h o w   t h e   c o m pa ri s o n   b e t w e e n   e xi s t i ng  D e v O ps   ro l e s   a n D e v O ps   M e n t o r .   T h e r e   h a v e   m a n y   r o l e s   ga ps   i n   D e v O ps   t r a n s f o r m a t i o n a l   l e a de r s hi a n r e l e a s e   m a na ge r.   B o t h   a r e   n o t   m o n i t o r   a nd  c o n t r o l   t h e   p i pe l i n e ,   n o t   i n v o l v e   i n   e n s u ri n e a c h   pi pe l i n e   s t a ge   r e f l e c t   b us i n e s s   n e e a n do n ’t   ha v e   r e s po n s i b l e   t o   c o n duc t   a   m e e t i n b e t w e e n   t e a m   m e m b e r s   [10].   O nl y   D e v O ps   t r a n s f o r m a t i o n a l   l e a de r s h i p   s uppo r t s   t h e   t ra n s f o r m a t i o n   o f   D e v O ps .   In   r e m o v e   i m pe di m e n t s   a nd  m o n i t o r   de l i v e r y   t i m e   f r o m   t i c ke t   c r e a t e t o   de l i v e r y   a r e   c ov e r e f r o m   r e l e a s e m a na ge r .   I n   t h i s   s t ud y ,   t h e   D e v O ps   m e n t o r   w i l l   c ov e r   a l l   o f   t h e   r o l e s   b e t w e e n   D e v O ps   t ra n s f o r m a t i o na l   l e a de r s h i a n d   r e l e a s e   M a n a ge [11] .         T a b l e   1 .   Co m p a r i s o b e t w e e n   e x i s t i n D e v O ps   r o l e s   a n d   D e v O ps   m e n t o r     D e v O p s   T ra n s fo r m a t i o n a l   l e a d e r s h i p   Re l e a s e   M a n a g e r   D e v O p s   M e n t o r   Ro l e s         S u p p o r t   t ra n s f o rm a t i o n   t o   D e v O p s .     x     M o n i t o r   a n d   c o n t ro l   p i p e l i n e .   x   x     E n s u r e   e a c h   p i p e l i n e   s t a g e   r e f l e c t   b u s i n e s s   n e e d .   x   x     Re m o v e   i m p e d i m e n t s .   x       M o n i t o r   d e l i v e r y   t i m e   f r o m   t i c k e t   c r e a t e d   t o   d e l i v e r y .   x       Co n d u c t   m e e t i n g   w i t h   t e a m .   x   x         2. 2 .       P r o p o s e d   s o l u ti o n   T h e r e   i s   a   c o n s i de ra b l e   ga b e t w e e n   e n d - us e r s   a n t h e   D e v O ps   t e a m .   O r ga ni z a t i o n s   s h o ul c o n s i de r   a ppo i n t i ng  a n   e xpe r t ,   p r o b a b l y   f r o m   t h e i r   de v e l o pe r s ,   t o   ove rl o o t h e   e n t i r e   D e v O ps   pr o c e s s .   T h e   s a i e xpe r t   m us t   po s s e s s   s ki l l s   a n v a s t   e xpe r i e n c e   i n   D e v O ps   pi pe l i n e   s t a ge s .   T h e y   w i l l   b e   t a s ke w i t h   gi v i n a   g r e e n   l i g ht   f o r   e a c h   de v e l o pm e n t   s t a ge ,   a s   w e l l   a s   s ugge s t i n g   a   r e v i s i o n   o f   s pe c i f i c   c o di n g   b e f o r e   pr o gr e s s i n t o   t h e   n e xt   s t e p.   A l t e rna t i v e l y ,   qua l i t y   a s s ur a n c e   de pa r t m e n t s   c a n   b e   e s t a b l i s h e t o   v a l i da t e   e ve r y   s t e of   t h e   D e v O p s   pi pe l i n e   b e fo r e   pr o c e e di n t o   t h e   n e xt   p h a s e .   F o uni n t e rr up t e de l i v e r y ,   t h e   D e v O ps   f r a m e w o r n e e ds   a n   e xpe r t   t o   ov e r s e e   t h e   e n t i r e   pr o c e s s ,   m o n i t o r   t h e   de pl oy m e n t ,   a n g i v e   de ve l o pe r s   f e e db a c k   o n   a n y   po t e n t i a l   s e t b a c ks   i n   t h e   f i n a l   a pp l i c a t i o v e r s i o n   F i gu r e   s h o w n   t h e   r o l e s   of   s upe r v i s o r   i t h e   D e v O ps   pi pe l i n e .   T h e   n e w l y   a ppo i n t e l e a de w i l l   b e   t a s ke w i t t h e   f o l l o w i n r e s po n s i b i l i t i e s :   a)   E n s u r e   t h e   p r o j e c t   i s   ru nn i ng,   a n e v e r y   t e a m   m e m b e r   h a s   t h e   n e c e s s a r y   t oo l s   t o   a c c o m pl i s h   t h e i r   dut i e s   e ff i c i e n t l y .   b)   U t i l i z e   t h e i r   e f fe c t i ve   c o m m u n i c a t i o n   s ki l l s   a n p r o b l e m - s ol v i n a b i l i t i e s   t o   s o l ve   a n y   c o n f l i c t s   a m o ngs t   m e m b e r s   t ha t   m i g ht   hi n de t h e   l a t t e r ’s   pe r f o r m a n c e .   c)   M o n i t o r   t h e   e n t i r e   de ve l o pm e n t   p r o c e s s   f r o m   t h e   w r i t i ng  o f   t h e   a ppl i c a t i o n   c o de s   up  t o   t h e   r e l e a s e   of   t h e   f i n a l   v e r s i o n .     d)   Co n duc t   s ub s e que n t   m e e t i ngs   w i t t h e   D e v O ps   t e a m   t o   ge t   u pda t e s   o t h e i r   p r o g r e s s .   e)   P r e v e n t   a l l   f o r m s   o f   di s t ra c t i o n s ,   e i t h e r   i n t e rna l   o r   e xt e rna l   a n r e m o v e   i m pe di m e nt s   s o   t ha t   t h e   t e a m   c a fo c us   o n   t h e   w o r a t   ha n d .   f)   D ra f t   b a l a n c e w o r ki n g   s c h e du l e s   t o   e n s u r e   n o   t e a m   p l a y e r   i s   o ve r w h e l m e b y   dut i e s .   g)   T h e y   w i l l   a c t   a s   t h e   l i nk  b e t w e e n   m a na ge m e n t   a n t h e   de ve l o pe r s   a n p r e s e n t   t h e i r   g ri e v a n c e s   t m a na ge r s .       Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       T he   n e c e s s i t y   o f   l e a p e r s on  t m oni t or   d e v e l o pm e n t   s t age s   of   t h e   D e v O ps   pi p e l i ne   ( B e t ool   A l nam l ah )   351       F i gu r e   1 .   S upe r v i s i o i t h e   D e v O ps   pi pe l i n e       3.   R ES U LTS   A N D   D I S C U S S I O N   3. 1 .       S o ftw ar e   p r o d u c ti v i ty  i n   D e v O p s   T h e   i n v e s t i ga t i o n   o f   m ul t i - c y c l e   da t a   i n   D e v O ps   ha s   a t t r a c t e s i g n i f i c a n t   a t t e nt i o n   i n   t h e   r e c e n t   p a s t .   T h e   i n s t a nt   r e l e a s e   i n   D e v O ps   r e l i e s   o n   pr o duc t i v i t y ,   t h o ug t hi s   ha s   n o t   b e e n   a de qua t e l y   a n a l y z e b a s e o n   unn o t i c e c o s t   f a c t o r s   i n   o pe n   s o ur c e   s o f t w a r e   a n t h e   f e a t u re s   of   m e r gi n e ffo r t s .   T h e   s u r v e y   by   [1 2 v i e w e d   t h e   D e v O ps   f r a m e w o r a s   a i nn o v a t i v e   m e t h o of   pr o duc i ng  e s t i m a t e s o f t w a r e ,   b y   r e de f i n i ng  t h e   c o s t   a n e ffo r t s   i t   e nt a i l s .   T h e   D e v O ps   m o d e l   a s s um e s   t h e   c o m m i t t e o ut c o m e s   t o   be   t h e   pr o duc t i o n   c o s t   of   t h e   pr o j e c t ,   a s   o ppo s e t o   t ra di t i o na l   p r o l o n ge p r o c e s s e s   t h a t   w e r e   us ua l l y   a c c o m pl i s h e by   a i ndi v i dua l   [ 1 3 ].   M e r ge e f fo r t s   i n v o l v e   t h e   r u nni ng  o f   s e ve r a l   s c ri pt s ,   c o de s ,   a n ha n d l i ng  a n y   e m e r gi n g   i s s ue s   a s   a   t e a m .   T h e   s t udy   ut i l i z e f o ur   o pe n - s o ur c e   pr o j e c t s   w i t h   a   t o t a l   o f   95828  i s s ue s ,   a n 954 81  c o m m i t s   t v e r i fy   t h e   f i n d i n gs .   R e s e a r c h   r e s ul t s   i ndi c a t e t ha t   t h e   p r o duc t i v i t y   r a t e   c ha n ge s   w i t h   t h e   s y s t e m   de v e l o pm e n t   l i f e c y c l e .   T h e   r e s e a r c h e r s   a l s o   n o t e t ha t   c o m b i n e c o di ng  d ut i e s   by   t h e   D e v O ps   t e a m   r e p r e s e n t   t h e   i t e r a t i o f r e que n c y   of   t h e   s y s t e m   pr o duc t i o n,   a n t h e   n um b e r s   i n c r e a s e   s i g ni f i c a nt l y   be f o r e   e s s e n t i a l   up da t e s   a r e   r e l e a s e [1 4 ] .   S o f t w a r e   pr o duc t i v i t y   i D e v O ps ,   t h e r e f o r e ,   a l l o w s   de v e l o pe r s   t o   m o n i t o r   t h e   e nt i r e   de ve l o pm e n t   l i f e c y c l e   a n d   p r e di c t   s i g ni f i c a n t   c ha n ge s   i n   t h e   pr o duc t i o n   p r o c e s s e s .   It   w a s   n o t e t ha t   t h e   ra t i o   of   pr o j e c t   t i m e l i n e   t o   p r o c e s s e s   i s   us ua l l y   l ow   duri n de v e l o pm e n t   pe r i o ds   a n r i s e s   dra s t i c a l l y   dur i n t h e   h o l i da y s   a n r e l e a s e   da t e s   [ 15,   16 ] .   It   i s   s t i l l   a   b i t   c ha l l e ngi n t o   n o t i c e   t h e   de ve l o pi n pe r i o ds   s i n c e   s o m e   pr o j e c t s   h a v e   s h o r t   i n t e r v a l s   b e t w e e n   t h e   de v e l o pm e n t   a nd  r e l e a s e   da t e s .   H ow e ve r ,   t h e   pe a i s   e a s i l y   n o t i c e a b l e   duri n g   t h e   r e l e a s e .     3. 2 .       A   q u al i tati v e   s tu d o f   D e v O p s   u s age   i n   p r ac t i c e   Co m pa n i e s   a r e   a do pt i n l e a n   a nd  a g i l e   de v e l o pm e n t   a p p r o a c h e s   t o   s pe e up  t h e   ra t e   o f   s of t w a r e   de ve l o pm e n t   o pe ra t i o n s   a s   w e l l   a s   i m p r o v i n t h e   q ua l i t y   o f   t h e i f i na l   p r o duc t   [1 7 ] .   T h e   o r ga ni z a t i o n s   de s c r i b e   t h e s e   a g i l e   p r o c e s s e s   i t e r m s   o f   D e v O ps ,   a um b r e l l a   c o n c e pt   c o m pri s e o f   pr o c e dur e s ,   pe o pl e ,   a n d   n e c e s s a r y   t e c h n o l o gy   fo r   c r e a t i n c r o s s - f un c t i o na l   c o l l a b o r a t i o n s   t o   s pe e up  t h e   de v e l o pm e n t   o f   b us i n e s s   a ppl i c a t i o n s   [1 8 ] .   T h e   r e s e a r c h e r s   h a t h e   o bj e c t i v e   of   de s c r i b i n t h e   v a ri o us   m e t h o ds   us e by   o r ga n i z a t i o n s   i n   i m pl e m e nt i n g   t h e   D e v O ps   f r a m e w o r a n t h e   r e s ul t s   of   t hi s   a pp r o a c h .   T h e   r e s e a r c h e r s   c o n duc t e a   s y s t e m a t i c   l i t e r a t u r e   r e v i e w   f r o m   t e r t i a r y   s o ur c e s   t f i n o ut   w h a t   o t h e r   s c h o l a r s   ha s a i c o n c e rni n t h e   D e v O p s   a pp r o a c h.     T o   s uppo r t   t h e i r   s u r v e y ,   t h e y   e xpl o r e s i c o m pa n i e s   i n v o l ve i di f f e r e n t   i n dus t ri e s   a t   v a r i o us   l e v e l s   a n d   i nt e r v i e w e t h e m   s e pa r a t e l y .   O n e   o f   t h e   f r e que nt   o b s e r v a t i o n s   w a s   t ha t   a l l   t h e   c o m pa n i e s   g a v e   po s i t i v e   r e s po n s e s   t ha t   t h e y   w e r e   ha ppy   t o   a do pt   t h e   D e vO ps   f r a m e w o r [ 19 ] .   T h e r e   w e r e   m i n o r   hi t c h e s   n o t e i t h e   t ra n s i t i o n ,   s uc a s   t h e   n e e f o r   r e s t ruc t u r i ng  t o   i nt e rna l i z e   t h e   n e w   f r a m e w o r k.   A l t h o ug h   m o s t   o r ga ni z a t i o n s   h a v e   a   po s i t i v e   r e s po n s e   t D e v O ps ,   t h e   l a t t e r   c a n   ha r dl y   a c c o un t   f o r   a n y   qua n t i t a t i v e   da t a   t o   i l l us t r a t e   h o w   t h i s   m o de l   h a s   i m p a c t e t h e   us e r s   s o   f a r   [2 0 ] .   T h e r e   i s   a l s o   a   n o t a b l e   a b s e n c e   of   qua l i t y   a s s ur a n c e   pe r s o nn e l   t o   pe r f o r m   a   qua l i t a t i v e   a n a l y s i s   of   t h e   D e v O ps   m o d e l   e xpl i c i t l y   [2 1 ].   T h e   s ur v e y   c o n c l ude s   t h a t   t h e r e   i s   n o   s pe c i f i c   t e c h ni que   of   m e a s uri n t h e   e f fe c t i ve n e s s   o t h i s   f r a m e w o r a n d   r e c o m m e n de d   f ut u r e   r e s e a r c h e r s   t o   w o r o s uc h .     3. 3 .       S ys t e m ati c   l i te r atu r e   r e v i e w   o n   b e n e fi ts - d e p e n d e n c y   n e tw o r k   fo r   D e v O p s   A l t h o ug h   t h e   D e v O ps   m o de l   i s   y e t   t o   be   i n v e s t i ga t e f r o m   t h e   a c a de m i c   po i n t   o f   v i e w ,   i t   ha s   r e c e i v e ov e r w h e l m i ng  a t t e n t i o n   f r o m   a   s i g n i f i c a n t   n um b e r   o f   s t a ke h o l de r s .   T hi s   s t udy   w a s   c o n duc t e b y   [2 2 t o   f i gur e   o ut   b e n e f i c i a l   a t t r i b ut e s   of   D e v O ps   a n c ha l l e n ge s   e xpe ri e n c e w h e n   a do pt i n t h e   f r a m e w o r k.   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   21 ,   N o .   1 J a n u a r y   2021   :     348   -   353   352   T h e   r e s e a r c e xpl o r e t h e   c e n t ra l   c o m po n e n t s   o f   t h e   D e v O p s   m o de l   by   e v a l ua t i ng  h o w   a gi l e   pri n c i pl e s   r e l a t e   t o   de v e l o pm e n t   p r a c t i c e s .   P e e r - r e v i e w e l i t e r a t u r e   w a s   us e t o   a s s e s s   t h e s e   b e n e f i t s .   T h e   f i ndi n gs   w e r e   s y n t h e s i z e us i n t h e   b e n e f i t s   de pe n de n c y   n e t w o r t o   e s t a b l i s h   de pe n de n c i e s   b e t w e e n   D e v O ps   pr a c t i c e s   a n t h e i r   b e n e f i c i a l   v a l ue s .   T h e   s ur v e y   r e s ul t s   i ndi c a t e t ha t   t h e   pe e r - r e v i e w e d   l i t e r a t u r e   di n o t   c o m pr e h e n s i v e l y   de f i n e   t h e   D e v O ps   c h a ra c t e ri s t i c s   [2 3 ,   2 4 ] .   T h e   c ha r a c t e r i s t i c s   i n c l ude   c h a l l e n ge s ,   b e n e f i t s ,   p ri n c i p l e s ,   a nd  p ra c t i c e s   o f   t h e   f ra m e w o r k.   T h e   r e s e a r c a l s o   n o t e t ha t   t h e   a v a i l a b i l i t y   of   e m pi r i c a l   s t udi e s   o n   D e v O ps   w a s   v e r y   m i n i m a l ,   i m p l y i n g   t ha t   n o   i n - de pt h   a na l y s i s   h a s   b e e n   c o n duc t e o n   t h i s   m o de l .   T h e   D e v O ps   m o de l   a   p r o duc t   o f   i nn o v a t i o n   t ha t   ha s   r e vo l ut i o n i z e t h e   s o f t w a r e   de v e l o pm e n t   i n dus t r y .   T h o ug h   t h e r e   i s   n o   c l e a r   c o s t   o f   pr o duc t i o n   du r i ng  t h e   i t e r a t i o n s ,   t h e   f i na l   r e l e a s e   a l w a y s   de l i ve r s   pr e c i s e   c us t o m e r   e xpe c t a t i o n s .   O r g a n i z a t i o n s   t h a t   a do pt   D e v O ps   t o   d e l i v e r   t h e i r   a p pl i c a t i o n s   o f t e n   ha v e   a   c o m pe t i t i v e   a dv a n t a ge   s i n c e   t h e y   m e e t   m a r ke t   e xpe c t a t i o n s   pr o m p t l y .   D ue   t o   t h e   c o n t i n uo us   de pl oy m e n t   a n d   i n t e g r a t i o n   a t t ri b ut e s   of   t hi s   m o de l ,   a   l e a pe r s o n   i n   t h e   D e v O ps   pi pe l i n e   w o ul e n s u r e   t ha t   e a c h   s t a ge   i s   m i s t a ke - f r e e   t o   e nh a n c e   s e r v i c e   de l i v e r y   [2 5 ].   T h e   r e l e a s e   da t e s   f o r   upd a t e s o f t w a r e   v e r s i o n s   a r e   us ua l l y   c h a ra c t e ri z e b y   vo l um i n o us   c o di n a c t i v i t i e s   s i n c e   de ve l o p e r s   r us h   t o   b e a t   t h e i r   de a d l i n e .   Q ua l i t y   a s s ur a n c e   i n   e v e r y   s t a ge   of   t h e   de v e l o pm e n t   e l i m i na t e s   r e pe t i t i v e   t a s ks   i n   t h e   D e v O ps   pi pe l i n e   t o   s h i f t   m o r e   f oc us   t o w a r ds   m e e t i n t h e   m a r ke t   de m a n ds ,   h e n c e ,   f a s t e r   r e t u rn   o n   i n v e s t m e n t s   f o r   e n t r e p r e n e u r s .   T h e   D e v O p s   pi pe l i n e   i s   a   c o l l e c t i o n   o f   a gi l e   pr o c e s s e s   c o m pr i s i n o f   pe opl e ,   t e c hn o l o gy ,   a n p r o c e dur e s   t ha t   c o l l a b o r a t e   t o   e nh a n c e   t h e   de l i v e r y   o f   r e l i a b l e   s e r v i c e s   by   b us i n e s s   a ppl i c a t i o n s .   T h e   s uc c e s s   of   D e v O ps   t e c h ni que s   l a r ge l y   r e l i e s   o n   t h e   e ff e c t i v e n e s s   of   e a c h   de ve l o pm e n t   s t a g e   t e n s ur e   t h a t   di f fe r e nt   f un c t i o na l i t i e s   a r e   f r e e   f r o m   b ugs   [2 6 ] .         4.   C O N C LU S I O N   T h i s   r e s e a r c h   ha s   e s t a b l i s h e t ha t   t h e   D e v O ps   pi pe l i n e   n e e ds   a   l e a pe r s o n   t o   m o n i t o r   t h e   e n t i r e   s of t w a r e   de v e l o pm e n t s   l i f e c y c l e .   T hi s   n e w   j ob   d e s c r i pt i o i s   e s s e n t i a l   f o r   a n y   fo r   pr o f i t   o r ga n i z a t i o n   t h a t   a i m s   t o   ge t   t h e   b e s t   v a l ue   f o r   t h e i r   i n v e s t m e nt .   T h e   f ul l   po t e nt i a l   o f   t h e   D e v O ps   o r a c t i c e s   c a n   o n l y   b e   r e a l i z e d   i f   t h e   t e c hni c a l   a c t i v i t i e s   a r e   c l o s e l y   m o n i t o r e by   a e xpe rt .   T h e   o v e r s e e r   w i l l   a l s o   l i nk  t h e   e n g i n e e r s   w i t t h e   m a n a ge m e nt   t o   s pe e up  t h e   a pp r o v a l   o f   r e c o m m e n d a t i o n s   f r o m   t h e   de v e l o pe r s .   I nt e rna l   m e c h a ni s m s   a r e   m o r e   e f fe c t i ve   fo r   e nha n c i n g   qu a l i t y   a s s ur a n c e   ra t he r   t h a r e l y i n o n   t h e   e xt e rna l   c o n s um e r e c o m m e n d a t i o n s .         A C K N O WL ED G E M EN TS   T h i s   w o r w a s   pa r t i a l l y   s uppo r t e by   t h e   A rt i f i c i a l   I nt e l l i ge n c e   D a t a   A na l y t i c s   L a b   (A ID A ),   P r i n c e   S ul t a U ni v e r s i t y ,   R i y a dh,   S a udi   A r a b i a .       R EF ER EN C ES   [ 1]   J .   A ng a r a ,   S .   P r a s a a n G .   S r i d e v i ,   " T o w a r d s   B e nc hm a r ki ng   U s e r   S t o r i e s   E s t i m a t i o w i t C O S M I C   F unc t i o P o i nt s - A   C a s e   E xa m pl e   o f   P a r t i c i pa nt   O b s e r v a t i o " ,   I n t e r na t i o nal   J our na l   of   E l e c t r i c al   an C om put e r   E ng i ne e r i n g   ( I J E C E ) ,   v o l .   8 ,   no .   5 ,   p.   30 76 ,   2 018 .     [ 2]   N .   W i l d e   e t   a l . ,   " S e c ur i t y   f o r   D e vo ps   D e pl oy m e nt   P r o c e s s e s :   D e f e ns e s ,   R i s k s ,   R e s e a r c D i r e c t i o ns " ,   I n t e r na t i o nal   J our nal   o f   So f t w ar e   E ng i ne e r i ng   &   A pp l i c at i o ns ,   v o l .   7,   no .   6 ,   pp.   0 1 - 16,   201 6.     [ 3]   J .   A ng a r a ,   S .   P r a s a a n S .   G u t t a ,   " F e a s i bi l i t y   P r e di c t a b i l i t y   M o de l   f o r   S o f t w a r e   T e s t   A ut o m a t i o P r o j e c t s   i n   D e v O ps   S e t t i ng " ,   I n t e r na t i o na l   J our na l   o f   F or e ns i c   S of t w ar e   E ng i n e e r i ng ,   v o l .   1 ,   no .   1 ,   p.   1 ,   201 9.     [ 4]   R .   V a a s a n t h i ,   V .   P r a s a nna   a nd  S .   P h i l i p ,   " A na l y s i s   o f   D e v O ps   T oo l s   t o   P r e d i c t   a O p t i m i z e P i pe l i ne   by   A ddi ng   W e i g ht a g e   f o r   P a r a m e t e r s " ,   I n t e r na t i ona l   J ou r na l   of   C om pu t e r   A pp l i c at i on s ,   v o l .   181 ,   no .   3 3,   pp .   33 - 35 ,   201 8.     [ 5]   R .   J a bb a r i ,   N .   b i A l i ,   K .   P e t e r s e n   a nd   B .   T a nv e e r ,   " T o w a r d s   a   be n e f i t s   de pe n de nc y   ne t w o r f o r   D e v O ps   ba s e o a   s y s t e m a t i c   l i t e r a t u r e   r e v i e w " ,   J ou r na l   of   S of t w ar e :   E v ol u t i on   and   P r oc e s s ,   v o l .   30 ,   no .   11 ,   p .   e 1 957 ,   2018 .     [ 6]   J .   P e r ns t å l ,   R .   F e l dt   a n T .   G o r s c he k,   " T he   l e a g a p:   A   r e v i e w   o f   l e a a pp r o a c he s   t o   l a r g e - s c a l e   s o f t w a r e   s y s t e m s   de v e l o pm e nt " ,   J ou r na l   of   Sy s t e m s   and   S of t w ar e ,   v o l .   86,   no .   11 ,   pp .   279 7 - 2821 ,   2013 .     [ 7]   B .   S ny de r   a nd  B .   C u r t i s ,   " U s i ng   A na l y t i c s   t o   G ui de   I m pr ov e m e nt   dur i ng   a A g i l e D e v O ps   T r a ns f o r m a t i o n" ,   I E E E   Sof t w ar e ,   v o l .   35,   no .   1 ,   pp.   7 8 - 83,   20 18.     [ 8]   C .   T r ub i a ni ,   P .   J a m s h i d i ,   J .   C i t o ,   W .   S ha ng ,   Z .   J i a ng   a nd  M .   B o r g ,   " P e r f o r m a nc e   I s s ue s ?   H e y   D e v O ps ,   M i nd  t he   U nc e r t a i n t y " ,   I E E E   Sof t w ar e ,   v o l .   36 ,   no .   2 ,   pp .   110 - 117 ,   20 19.     [ 9]   B .   R a m e s h,   L .   C a o   a nd  R .   B a s k e r v i l l e ,   " A g i l e   r e qui r e m e nt s   e ng i ne e r i ng   pr a c t i c e s   a nd  c ha l l e ng e s :   a e m pi r i c a l   s t udy " ,   I n f o r m at i o S y s t e m s   J our nal ,   v o l .   2 0,   no .   5,   p p.   44 9 - 480 ,   2 0 07.     [ 10]   B .   S ny de r   a nd  B .   C u r t i s ,   " U s i ng   A na l y t i c s   t o   G ui de   I m pr ov e m e nt   dur i ng   a A g i l e D e v O ps   T r a ns f o r m a t i o n" ,   I E E E   Sof t w ar e ,   v o l .   35,   no .   1 ,   pp.   7 8 - 83,   20 18.     Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       T he   n e c e s s i t y   o f   l e a p e r s on  t m oni t or   d e v e l o pm e n t   s t age s   of   t h e   D e v O ps   pi p e l i ne   ( B e t ool   A l nam l ah )   353   [ 11]   B .   J a m bu na t ha a nd  D .   Y .   K a l p a na ,   " D e s i g o f   de vo ps   s ol ut i o f o r   m a na g i ng   m ul t i   c l o ud  di s t r i bu t e d   e nv i r o nm e nt " ,   I n t e r na t i o na l   J our na l   o f   E ng i ne e r i ng   &   T e c hno l ogy ,   v o l .   7,   no .   33 ,   p.   63 7,   20 18 .     [ 12]   L .   Z hu,   L .   B a s s   a n G .   C ha m p l i n - S c ha r f f ,   " D e v O ps   a nd  I t s   P r a c t i c e s " ,   I E E E   So f t w ar e ,   v o l .   33,   no .   3 ,   p p.   32 - 34 ,   2016 .     [ 13]   A .   B a l a l a i e ,   A .   H e y da r no o r i   a nd  P .   J a m s hi d i ,   " M i c r o s e r v i c e s   A r c hi t e c t u r e   E n a b l e s   D e v O ps :   M i g r a t i o t o   a   C l o ud - N a t i v e   A r c hi t e c t u r e " ,   I E E E   So f t w ar e ,   v o l .   33 ,   no .   3,   p p.   42 - 52 ,   201 6.     [ 14]   J .   R o c he ,   " A do pt i ng   D e v O ps   p r a c t i c e s   i qu a l i t y   a s s u r a nc e " ,   C om m uni c at i on s   o f   t he   A C M ,   v o l .   56 ,   no .   11 ,   pp .   3 8 - 43,   20 13.     [ 15]   C .   V i r m a ni ,   A .   P i l l a i   a nd  D .   J un e j a ,   " C l u s t e r i ng   i A gg r e g a t e U s e r   P r o f i l e s   A c r o s s   M ul t i p l e   S o c i a l   N e t w o r k s " ,   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n ( I J E C E ) ,   v o l .   7 ,   no .   6,   p .   3692 ,   201 7.     [ 16]   J .   S m e ds ,   K .   N y bo m   a nd  I .   P o r r e s ,   " D e v O ps :   A   D e f i ni t i o a nd   P e r c e i v e A do pt i o I m pe di m e n t s " ,   L e c t u r e   N ot e s   i n   B us i ne s s   I n f or m at i on   P r oc e s s i ng ,   v o l .   5 ,   no .   2 ,   pp .   166 - 177 ,   201 5.     [ 17]   C .   C o i s ,   J .   Y a nke l   a n A .   C o nne l l ,   " M o de r D e v O ps :   O pt i m i z i ng   s o f t w a r e   d e v e l o pm e nt   t h r o ug e f f e c t i v e   s y s t e m   i nt e r a c t i o ns " ,   2 014  I E E E   I n t e r na t i o nal   P r of e s s i on al   C om m un i c a t i on  C on f e r e nc e   ( I P C C ) ,   vo l .   7,   no .   3 ,   p p.   74 - 87 ,   2014 .     [ 18]   N .   F e r r y ,   F .   C ha uv e l ,   H .   S o ng ,   A .   R o s s i n i ,   M .   L us hp e nko   a n A .   S o l be r g ,   " C l o ud M F " ,   A C M   T r an s ac t i ons   on   I nt e r ne t   T e c hn ol o gy ,   v o l .   18 ,   no .   2 ,   pp .   1 - 24,   20 18 .     [ 19]   R.   C o l o m o - P a l a c i o s ,   E .   F e r na nde s ,   P .   S o t o - A c o s t a   a nd  X .   L a r r uc e a ,   " A   c a s e   a na l y s i s   o f   e na bl i ng   c o nt i nuo us   s o f t w a r e   d e p l oy m e nt   t h r o ug kno w l e dg e   m a n a g e m e nt " ,   I nt e r n at i on al   J our na l   o f   I nf or m a t i on  M an age m e nt ,   v o l .   40 ,   no .   5 ,   pp.   1 86 - 189 ,   2018 .     [ 20]   S .   D e s h pa nd e   a nd  R .   I n g l e ,   " P r e f e r e nc e s   ba s e C u s t o m i z e T r u s t   M o de l   f o r   A s s e s s m e nt   o f   C l o ud  S e r v i c e s " ,   I nt e r n at i on al   J o ur n al   o f   E l e c t r i c al   a nd  C om pu t e r   E n gi ne e r i n ( I J E C E ) ,   v o l .   8 ,   no .   1,   p .   304 ,   2018 .     [ 21]   L .   C he n,   " C o nt i nuo us   D e l i v e r y :   H u g e   B e ne f i t s ,   bu t   C ha l l e ng e s   T o o ",   I E E E   Sof t w ar e ,   vo l .   32,   no .   2 ,   pp .   50 - 54,   2015 .     [ 22]   J .   K i r c ho f f ,   C .   K oc a nd  B .   S a t i no v e r   N i c ho l s ,   " S t a k e ho l d e r   pe r c e pt i o ns   o f   g r e e m a r ke t i ng :   t he   e f f e c t   of   de m a nd  a nd  s upp l y   i nt e g r a t i o n" ,   I nt e r n at i on al   J our na l   of   P hy s i c al   D i s t r i bu t i on  &   L ogi s t i c s   M anage m e nt ,   v o l .   41 ,   no .   7 ,   pp .   684 - 696 ,   2011 .     [ 23]   M .   S ha h i n ,   M .   A l i   B a ba r   a n L .   Z hu,   " C o nt i nuo us   I nt e g r a t i o n,   D e l i v e r y   a nd  D e pl o y m e nt :   A   S y s t e m a t i c   R e v i e w   o A ppr o a c he s ,   T o o l s ,   C h a l l e ng e s   a nd   P r a c t i c e s " ,   I E E E   A c c e s s ,   v o l .   5 ,   no .   3,   pp .   390 9 - 3943 ,   2017 .     [ 24]   G .   C l a ps ,   R .   B e r nt s s o S v e ns s o a nd   A .   A ur um ,   " O t h e   j o ur ne y   t o   c o nt i nuo us   d e pl o y m e nt :   T e c hni c a l   a nd   s o c i a l   c ha l l e ng e s   a l o ng   t he   w a y " ,   I nf or m a t i on   and   So f t w ar e   T e c hnol ogy ,   v o l .   5 7,   no .   8,   p p.   21 - 31 ,   201 5.     [ 25]   B .   F i t z g e r a l a nd  K .   S t o l ,   " C o nt i n uo us   s o f t w a r e   e ng i ne e r i ng :   A   r o a dm a a n a g e nda " ,   J ou r na l   o f   Sy s t e m s   and   Sof t w ar e ,   v o l .   123 ,   no .   4 ,   pp .   176 - 189 ,   201 7.     [ 26]   G .   M a r c he t t o ,   R .   S i s t o ,   M .   V i r g i l i o   a nd  J .   Y us upo v ,   " A   V N F   m o de l i ng   a ppr o a c f o r   v e r i f i c a t i o pur po s e s " ,   I n t e r na t i ona l   J ou r na l   of   E l e c t r i c a l   and   C om p ut e r   E ng i n e e r i ng  ( I J E C E ) ,   v o l .   9,   no .   4 ,   p.   26 27,   2 019 .     Evaluation Warning : The document was created with Spire.PDF for Python.