I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   4 1 ,   No .   3 Ma r ch   20 2 6 ,   p p .   1 0 9 5 ~ 1 1 0 4   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 4 1 . i 3 . pp 1 0 9 5 - 1 1 0 4           1095       J o ur na l ho m ep a g e h ttp : //ij ee cs . ia esco r e. co m   Lev el of de tail in  UM L mo dels a nd  it s impa c o n mo del  co mprehens io n:  a  replicatio n s tudy       Aria di Nug ro ho 1 ,   M ichel  R. Cha ud ro n 2   1 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   B I N U S   G r a d u a t e   P r o g r a m ,   B i n a   N u sa n t a r a   U n i v e r si t y ,   J a k a r t a ,   I n d o n e si a   2 D e p a r t me n t   o f   M a t h e m a t i c s   a n d   C o mp u t e r   S c i e n c e ,   E i n d h o v e n   U n i v e r s i t y   o f   Te c h n o l o g y ,   E i n d h o v e n ,   N e t h e r l a n d s       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J u n   1 7 ,   2 0 2 5   R ev is ed   Dec   2 2 ,   2 0 2 5   Acc ep ted   Ma r   4 ,   2 0 2 6       Th is  re p li c a ti o n   st u d y   e x a m in e s   th e   imp a c o lev e o d e tail  (Lo D)  in   u n ifi e d   m o d e li n g   lan g u a g e   (UM L)  o n   m o d e c o m p re h e n sio n ,   re p li c a ti n g   a   c o n tro ll e d   e x p e rime n t,   wh ich   i n v o lv e d   5 3   M S c   stu d e n ts  a Ei n d h o v e n   Un iv e rsity   o Tec h n o lo g y .   Us i n g   th e   sa m e   UML   m o d e a n d   e x p e rime n tal  d e sig n ,   we   c o n d u c ted   th e   stu d y   with   2 3   M S c   Co m p u ter  S c ien c e   stu d e n ts   a Bin a   Nu sa n tara   Un iv e rsity ,   In d o n e sia .   Co n siste n wit h   th e   o r ig i n a fin d i n g s,   h ig h e L o wa f o u n d   t o   e n h a n c e   c o m p re h e n si o n   c o rre c tn e ss .   H o we v e r,   th e   e ffe c o n   c o m p r e h e n sio n   e fficie n c y   wa we a k e a n d   n o sta ti stica ll y   sig n ifi c a n t ,   li k e ly   d u e   t o   t h e   sm a ll e sa m p le  siz e   a n d   c o n te x tu a d iffere n c e s   in   su b jec ts’  b a c k g ro u n d s.  F u rt h e rm o re ,   we   fo u n d   a   p o ten t ial  d isc o n n e c b e twe e n   p e rc e p ti o n   a n d   a c tu a c o m p re h e n si o n   p e rf o rm a n c e   in   th e   su b jec ts  re c e iv in g   UML   m o d e wit h   lo w   Lo D.  S p e c ifi c a ll y ,   wh i le  th e y   v iew e d   th e   m o d e fa v o u ra b l y ,   t h e ir  a c tu a u n d e rsta n d i n g   m a y   h a v e   b e e n   imp a i re d   b y   th e   li m it e d   in f o rm a ti o n   a n d   th e re f o re   th e   p e rc e iv e d   c larity   a n d   e a se   o f   c o m p re h e n sio n   a re   n o t   re f lec ti v e   o th e   tru e   c o m p re h e n sio n .   O v e ra ll ,   th is   stu d y   re in f o rc e th e   imp o rtan c e   o Lo i n   UM m o d e li n g   a n d   h ig h li g h ts  t h e   n e e d   f o f u rth e r   re p li c a ti o n ,   p a rt icu larly   in   c o n tex ts  in v o l v in g   p r o fe ss io n a l   so ftwa re   e n g in e e rs.   K ey w o r d s :   L ev el  o f   d etail   Mo d el  co m p r eh en s io n   ex p er im en t   Mo d el  q u ality   UM L   m o d el   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ar iad i N u g r o h o   Dep ar tm en t o f   C o m p u ter   Scie n ce ,   B I NUS  Gr ad u ate  Pro g r a m ,   B in Nu s an tar Un iv er s ity   J ak ar ta,   I n d o n esia   E m ail:  ar iad i.n u g r o h o @ b in u s . ac . id       1.   I NT RO D UCT I O N   T h u n if ied   m o d elin g   lan g u ag ( UM L )   is   s tan d ar d   n o tatio n   wid ely   ad o p te d   f o r   v is u alizin g ,   s p ec if y in g ,   a n d   d o c u m en tin g   s o f twar s y s tem s .   UM L   p la y s   cr itical  r o le   in   b o th   s o f twar en g in ee r in g   r esear ch   an d   i n d u s tr ial  p r ac tic e.   Pre v io u s   s tu d ies ,   f o r   ex am p le  in   [ 1] [ 2 ]   h av e   h i g h lig h te d   d iv er s m o d elin g   s ty les  an d   lev els  o f   r ig o r   i n   u s in g   UM L h o we v er ,   f e h av ex am in e d   h o th ese  v ar iatio n s   im p ac t   d ev elo p m e n o u tco m es  s u ch   a s   m o d el  c o m p r e h en s io n .   Ou r   p r ev io u s   s tu d y   [ 3 ] ,   in v o lv in g   5 3   MSc  s tu d e n ts   at  E in d h o v en   Un iv e r s ity   o f   T ec h n o lo g y ,   d e m o n s tr ated   th at  a   h ig h er   lev el  o f   d etail  ( L o D )   in   UM L   class   an d   s eq u en ce   d iag r am s   s ig n if ican t ly   im p r o v es  m o d el  c o m p r e h e n s io n b o t h   in   ter m s   o f   co r r ec t n ess   ( p er ce n tag o f   co r r ec an s wer s )   an d   e f f icien c y   ( co r r ec an s wer s   p er   u n it  ti m e) .   T h is   r ep licatio n   s tu d y   ai m s   to   v alid ate  th o s f in d in g s   b y   r ep ea tin g   th e x p e r im en t w ith   2 3   MSc  s tu d e n ts   f r o m   B in Nu s an tar Un iv e r s ity ,   I n d o n esia.   I n   p r ac tice,   t h v ar iatio n   in   UM L   m o d elin g   r ig o r   m an if es ts   in   d if f er in g   d eg r ee s   o f   co m p leten ess ,   g r an u lar ity ,   an d   p r o p o r tio n   w ith in   m o d els.  Desp ite  its   r ele v an ce ,   th ef f ec o f   m o d elin g   s ty le p ar ticu lar ly   L o D o n   m o d el  co m p r eh e n s io n   r em ain s   u n d er ex p lo r e d .   I n   o u r   p r ev i o u s   s tu d y   [ 3 ] ,   we  r e v iewe d   ea r ly   wo r k s   o n   UM L   v i s u aliza tio n   ( e. g . ,   P u r ch ase  et   al.   o n   class   d iag r a m   n o tatio n s   [ 1 ] ) ,   co m p ar ativ e   an aly s es  o f   d iag r am   ty p es ( e. g . ,   Oter o   an d   Do lad o   o n   s eq u en ce   v s .   co llab o r atio n   d iag r am s   [ 2 ] ) ,   an d   m o d elin g   r i g o r   ( e. g . ,   B r ian d   et   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  4 1 ,   No .   3 Ma r ch   20 2 6 :   1 0 9 5 - 1 1 0 4   1096   al.   o n   OC L   co n s tr ain ts   [ 4 ] ) .   At  th tim e,   th e   r o le  o f   L o in   UM L   d ia g r am s - th at  is ,   as   p o te n tial  f ac to r   af f ec tin g   m o d el  co m p r eh e n s io n was  s till   lar g ely   u n ex p l o r ed .   Sin ce   2 0 0 9 ,   h o wev e r ,   r esear ch   o n   UM L   co m p r eh e n s io n   h as  ev o l v ed   s ig n if ican tly .   R ec en wo r k   i n   th is   ar ea   ca n   b ca teg o r ize d   in to   th r ee   r e s ea r ch   ar ea s ( 1 )   th im p ac o f   th le v el  o f   d etail  in   UM L   d iag r am s ,   ( 2 )   th im p ac o f   u s in g   d if f er en UM L   d iag r a m   ty p es,  an d   ( 3 )   th e   im p ac t o f   d i ag r am   lay o u t a n d   v is u aliza tio n   tech n iq u es.   Fer n a n d e z - S ae et   a l.   [ 5 ]   i n v e s tig ate d   h o L o in   u s e   c ase ,   s e q u e n c e,   a n d   cl ass   d i ag r a m s   in f l u e n c es  s o f twa r e   m a in te n a n c e.   Usi n g   tw o   J av a   s y s te m s   a n d   1 1   s t u d e n t   p a r ti ci p a n ts ,   t h e y   f o u n d   a   s l ig h t   te n d e n c y   to w ar d   b ett er   r es u lts   wit h   lo w - L o D   d ia g r a m s .   H o we v e r ,   d u to   t h e   s m all   s a m p le   s iz e ,   t h es r es u l ts   w er e   co n s i d e r e d   p r eli m i n a r y .   A   s e r i es o f   r e lat e d   ex p er im en ts   b y   S ca n n iel lo   e t a l .   f o c u s ed   o n   h o U ML   a n a ly s is   a n d   d esi g n   m o d els i n f l u e n c c o d co m p r eh e n s i o n   a n d   m o d if ica ti o n   tas k s   [ 6 ] - [ 9 ] .   Ac r o s s   1 2   co n tr o ll ed   e x p er im e n ts   wit h   p ar t ici p an ts   o f   v a r y in g   e x p e r tis e,   th ey   f o u n d   t h at   an al y s is - p h as e   UM L   m o d els   m a y   h i n d e r   c o d e   co m p r eh e n s i o n   a n d   in cr ea s e   t ask   c o m p l eti o n   ti m e ,   w h i l d esi g n - p h ase   m o d els   im p r o v e   c o m p r eh e n s i o n   o u tc o m es .   A n o t h e r   d im en s io n   o f   L o i n v o l v es   t h e   u s e   o f   U ML   s te r e o t y p es .   C r u z - L em u s   et  a l .   [ 1 0 ]   ev al u at e d   th e   i m p ac o f   s t er eo ty p es  o n   s eq u e n ce   d i ag r a m   co m p r e h e n s i o n ,   u s i n g   t h c o g n i ti v t h eo r y   o f   m u lti m e d i a   lea r n i n g   ( C T ML )   as   a   t h e o r eti ca l   b as is .   T h ei r   e x p e r i m e n ts   r e v e ale d   t h a t   s te r e o t y p es   s ig n i f i ca n tl y   a id   s em an tic   co m p r eh e n s i o n   a n d   r et e n ti o n ,   esp ec i all y   am o n g   d o m ai n   n o v i ce s .   R ic ca   et   a l.   [ 1 1 ]   f o u n d   th a w h il s t er e o t y p es  d o   n o g e n er all y   im p r o v co m p r e h e n s i o n ,   t h e y   h el p   r e d u ce   t h e   p e r f o r m an ce   g a p   b e twe en   l ess   e x p e r i en ce d   a n d   m o r e   e x p e r i en ce d   d e v el o p e r s .   Simil a r   i n v es ti g at io n s   o n   UM L   s t er e o t y p es  in cl u d e   w o r k s   b y   [ 1 2 ] - [ 1 4 ] .   S e v e r a l   s t u d i e s   h a v e   a s s e s s e d   w h e t h e r   s p e c i f i c   t y p e s   o f   U M L   d i a g r a m s   a f f e c t   m o d e l   c o m p r e h e n s i o n .   T o r c h i a n o   e t   a l .   [ 9 ]   e x a m i n e d   t h e   b e n e f i t   o f   a d d i n g   U M L   o b j e c t   d i a g r a m s   t o   c l a s s   d i a g r a m s .   I n   a   f a m i l y   o f   f o u r   c o n t r o l l e d   e x p e r i m e n t s   w i t h   u n d e r g r a d u a t e   a n d   g r a d u a t e   s t u d e n t s ,   t h e y   f o u n d   t h a t   o b j e c t   d i a g r a m s   i m p r o v e d   c o m p r e h e n s i o n   o n l y   a m o n g   m o r e   e x p e r i e n c e d   p a r t i c i p a n t s ,   w i t h   n o   m e a s u r a b l e   t i m e   a d v a n t a g e .   F e l d e r e r   e t   a l .   c o m p a r e d   a c t i v i t y   d i a g r a m s   a n d   s t a t e   m a c h i n e s   i n   t h e   c o n t e x t   o f   t e s t   c a s e   d e r i v a t i o n   [ 1 5 ] .   T h e i r   e x p e r i m e n t   w i t h   8 4   s t u d e n t s   s h o w e d   t h a t   w h i l e   a c t i v i t y   d i a g r a m s   w e r e   m o r e   c o m p r e h e n s i b l e ,   t h e y   l e d   t o   m o r e   e r r o r s .   T h e   f i n d i n g s   s u g g e s t   t h a t   m o d e l   u n d e r s t a n d i n g   a n d   e r r o r - p r o n e   b e h a v i o u r   i n   t e s t   d e s i g n   a r e   n o t   n e c e s s a r i l y   c o r r e l a t e d .   S i m i l a r l y ,   A b r a h a o   e t   a l .   c o n d u c t e d   f i v e   e x p e r i m e n t s   i n v o l v i n g   1 1 2   p a r t i c i p a n t s   ( s t u d e n t s   a n d   p r o f e s s i o n a l s )   t o   a s s e s s   t h e   i m p a c t   o f   U M L   s e q u e n c e   d i a g r a m s   o n   u n d e r s t a n d i n g   f u n c t i o n a l   r e q u i r e m e n t s .   R e s u l t s   i n d i c a t e d   t h a t   s e q u e n c e   d i a g r a m s   s i g n i f i c a n t l y   e n h a n c e   c o m p r e h e n s i o n   f o r   h i g h - a b i l i t y   a n d   e x p e r i e n c e d   u s e r s   [ 1 6 ] .   An o th er   cr itical  f ac to r   in   UM L   co m p r eh e n s io n   is   d iag r am   lay o u t.  E x am i n ed   h o d ia g r a m   s ize u s ed   as  p r o x y   f o r   lay o u c o m p le x ity af f ec ts   u n d er s tan d in g   [ 1 7 ] .   T h f in d in g s   s h o wed   n eg ativ co r r elatio b etwe en   d iag r am   s ize  an d   p er f o r m an ce ,   lead i n g   to   g u id elin e s   r ec o m m en d in g   2 0 6 0   elem e n ts   p er   d iag r am   f o r   o p tim al  co m p r e h en s io n .   Sh ar if   et  a l.   [ 1 8 ]   ex te n d ed   th is   wo r k   b y   e v alu atin g   d if f er en t   lay o u s tr ateg ies  in   UM L   class   d iag r am s .   T h ey   f o u n d   th at  m u lti - clu s ter   la y o u ts   im p r o v co m p r eh e n s io n   ac cu r ac y ,   r ed u c e   co m p letio n   tim e,   a n d   lo we r   v i s u al  ef f o r t,  esp ec ially   f o r   co m p lex   m o d elin g   task s .   W h ile  th er h av b ee n   m an y   s tu d ies  co n d u cted   to   ev al u ate  th im p ac o f   d if f e r en s ty les  o f   u s in g   UM L   o n   s o f twar d ev elo p m e n an d   m ain ten an ce ,   we  ar g u th at  th r esu lts   ar f a r   f r o m   c o n clu s iv e.   T h er e f o r e   in   th is   s tu d y   we   ex ten d   p r ev io u s   r esear ch   b y   r e p licatin g   a   co n tr o lled   e x p er im e n t o n   L o o r ig in ally   c o n d u cted   in   [ 3 ] .   Similar   to   t h o r ig i n al   s tu d y ,   L o is   d ef in e d   as  t h e   am o u n o f   in f o r m atio n   u s ed   to   r ep r esen UM L   m o d elin g   elem e n ts .   Fo r   s eq u en ce   d iag r a m s ,   m ess ag co u ld   b a n   in f o r m al  lab el,   m eth o d   n am e,   o r   a   m eth o d   with   p ar a m eter s .   Fo r   class   d iag r am s ,   L o in clu d e s   class   attr ib u tes,  o p er atio n s ,   ass o ciatio n   n am es,  d ir ec tio n ality ,   an d   m u ltip licity .   L o L o u s es m in im al  elem en ts   ( e. g . ,   class   n am es,  b asic a s s o ciatio n s ) ,   wh ile   h ig h   L o ad d s   d etailed   s p ec if icatio n s .   B y   co n d u ctin g   th is   r e p licatio n   ex p er im en t,   we   aim   t o   v alid ate  f in d in g s   in   o u r   o r ig in al  s tu d y   in   d if f e r en t e x p e r im en tal  co n te x t .     R ep licatio n   s er v es  cr u cial  r o le  in   s tr en g t h en in g   em p ir ical   e v id en ce   b y   v alid atin g   p r e v io u s   f in d in g s   ac r o s s   d if f er en co n tex ts   an d   co n d itio n s   [ 1 9 ] .   Un f o r tu n ately ,   r ep licatio n   is   r elativ ely   r ar in   s o f twar e   en g in ee r in g   r esear c h   [ 2 0 ] .   B y   co n d u ctin g   th is   s tu d y ,   we  ai m   to   c o n tr ib u te  in   ad d r ess in g   th well - r ec o g n ized   s ca r city   o f   r ep licatio n   s tu d ie s   in   s o f twar e   en g in ee r in g   r e s ea r ch ,   wh ich   ar e   ess en tial  f o r   v alid atin g   th e   g en er aliza b ilit y   a n d   r o b u s tn ess   o f   e m p ir ical  f in d in g s .   Nev e r th eless ,   a   s u cc ess f u r e p licatio n   d o es  n o im p ly   id en tical  o u tco m es;  ev en   d if f er in g   r esu lts   ca n   y ield   v alu ab le  in s ig h ts   a n d   co n tr ib u te  to   d ee p e r   u n d er s tan d i n g   o f   th s tu d ied   p h en o m e n a.       2.   M E T H O D   T h is   s tu d y   in v o lv ed   2 3   MSc  s tu d en ts   in   C o m p u ter   Scien ce   at  B in Nu s an t ar Un iv e r s ity ,   J ak ar ta,   I n d o n esia,  in   2 0 2 4 .   T h ex p er im en was  m an d ato r y   ass ig n m en with   ad ju s ted   g r ad in g   to   ac co u n f o r   L o D   tr ea tm en ts .   Su b ject s   h ad   b as ic  UM L   tr ain in g   th r o u g h   co u r s ewo r k ,   co m p ar a b le  to   th e   o r ig in al  s u b jects.   Fo llo win g   th d ef in itio n   in   [ 1 9 ] ,   th is   p ap er   p r esen ts   an   ex ac an d   d ep en d en r ep licatio n .   A n   ex ac r ep licatio n   attem p ts   to   f o llo th o r ig in al  s tu d y s   p r o ce d u r es a s   clo s ely   as p o s s ib le,   wh ile  d ep en d en t r ep licatio n   r etain s   th s am o r   s im ilar   ex p e r im en tal  co n d itio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Leve l o f d eta il in   UML mo d els a n d   its   imp a ct  o n   mo d el   c o mp r eh en s io n   …  ( A r ia d i Nu g r o h o )   1097   2 . 1 .     Va ri a bles   in t he  ex pe ri m ent   I d en tical  to   th e   o r i g in al  e x p e r im en t,  th e   in d ep en d en v ar ia b le  was  L o D   ( lo w   L o v s .   h ig h   L o D) ,   m an ip u lated   b y   v ar y in g   in f o r m atio n   in   UM L   class   an d   s eq u en ce   d ia g r am s .   T h d ep en d en v ar iab le  in   t h e   ex p er im en was  m o d el  co m p r eh en s i o n .   Mo d el  co m p r eh e n s io n   was  d ef in ed   as  th ab ilit y   o f   th s u b jects  to   u n d er s tan d   co n ce p ts /co n s tr u cts  d escr ib ed   in   a   UM L   m o d el.   W d ef in e d   two   asp ec ts   o f   m o d el  co m p r eh e n s io n ,   n am ely   co m p r eh en s io n   c o r r ec tn ess   an d   c o m p r eh en s io n   ef f icien c y :     C o m p r eh en s io n   c o r r e ctn ess : Per ce n tag o f   co r r ec t a n s wer s   to   1 5 - q u esti o n   q u esti o n n air e .     C o m p r eh en s io n   f f icien cy : N u m b er   o f   co r r ec t a n s wer s   d iv id ed   b y   t o tal  tim s p en t.   B o th   co r r ec tn ess   an d   ef f icien cy   wer m ea s u r ed   i n   a   r atio   s ca le.   W u s th ter m   co m p r e h en s io n   c o r r ec tn ess   an d   co m p r eh e n s io n   ef f icien c y   to   r ef er   t o   co r r ec tn ess   an d   ef f i cien cy ,   r esp ec tiv ely .     2 . 2 .     H y po t hes es  f o rm ula t io n   I n   r e p licatin g   th e   o r i g in al  s t u d y   o n   th r o le  o f   L o in   UM L   m o d els,  we  ad o p ted   th s am e   h y p o th eses   to   ex am in its   im p ac t o n   m o d el  c o m p r eh en s io n .   Hy p o th esis   1   ( C o m p r e h en s io n   C o r r ec tn ess )     H1 , n u ll:  T h er is   n o   s ig n if ica n d if f er en ce   i n   co m p r eh en s io n   co r r ec tn ess   b etwe en   s u b ject s   wo r k in g   with   UM L   d iag r am s   m o d ele d   with   h ig h   v e r s u s   lo L o D.     H1 , alt:  T h e   u s o f   UM L   d i ag r am s   with   h ig h   L o D   s ig n i f ican tly   im p r o v es  s u b ject s   co m p r eh e n s io n   co r r ec tn ess .   Hy p o th esis   2   ( C o m p r e h en s io n   E f f icien cy )     H2 , n u ll:  T h e r is   n o   s ig n if ica n d if f e r en ce   i n   co m p r e h en s io n   ef f icien cy   b etwe en   s u b ject s   wo r k in g   with   UM L   d iag r am s   m o d ele d   with   h ig h   v e r s u s   lo L o D.     H2 , alt:  T h e   u s o f   UM L   d i ag r am s   with   h ig h   L o D   s ig n if ican tly   im p r o v es  s u b ject s   co m p r eh e n s io n   ef f icien cy .   No te  th at  we  s tated   o n e - tailed   h y p o th eses   b ec a u s we  h ad   p r i o r   p r ed ictio n s   th at  L o in   UM L   d iag r am s   will in cr ea s b o th   c o m p r eh en s io n   co r r ec tn ess   an d   co m p r eh e n s io n   ef f icien cy .     2 . 3 .     E x perim ent   i ns t rum ent s   T h is   s ec tio n   p r esen ts   th m ater ials   u s ed   in   th r ep licatio n   ex p er im en t.  W b eg in   b y   d es cr ib in g   th e   UM L   m o d el  ar tifa cts,  f o llo w ed   b y   th m o d el  co m p r eh e n s io n   q u esti o n n air e,   b ac k g r o u n d   q u esti o n n air e,   an d   f ee d b ac k   q u esti o n n air e .   All m ater ials   u s ed   in   th is   r ep licatio n   wer b ased   o n   th o s f r o m   th o r ig in al  s tu d y .     2 . 3 . 1 .   T he  UM L   m o del   T h s u b ject  o f   th r ep licatio n   ex p e r im en was  UM L   m o d el  r ep r esen tin g   lib r a r y   s y s tem ,   o r ig in ally   a d ap ted   f r o m   th e   m o d el  d esc r ib e d   in   [ 2 1 ] .   E ac h   s u b ject   was  p r o v id ed   with   d o cu m en t   co n tain in g   th UM L   m o d el T o   ex am in e   th ef f ec ts   o f   L o o n   m o d el   co m p r eh e n s io n ,   two   v er s io n s   o f   th e   UM L   m o d el  wer cr ea ted   ( ea ch   m o d el  co n s is ted   o f   2 3   UM L   d iag r am s ) ,   n am ely   Mo d el  M - L o w,   wh ich   p r esen t s   th lib r ar y   s y s tem   with   lo wer   lev el  o f   d etail,   an d   Mo d el  M - Hig h ,   w h ich   p r esen ts   th s am s y s tem   with   h ig h er   lev el   o f   d etail.   Fo u r   ty p es  o f   UM L   d iag r am s   wer u s ed   in   th e x p er im en t.  H o we v er ,   th ex p er im en tal  tr ea tm en ts   wer o n ly   ap p lied   to   class   an d   s eq u en ce   d iag r am s .   T h is   d ec i s io n   r ef lects th f in d in g s   in   [ 2 2 ] ,   wh ich   id en tifie d   class   an d   s eq u en ce   d iag r am s   as th m o s t f r eq u e n tly   u s ed   U ML   d iag r am   ty p es in   p r ac tice.     T ab le  1   s u m m ar izes  th L o tr ea tm en ts   ap p lied   in   th ex p er im en t.  Fo r   class   d iag r am s ,   m o d el  M - h ig h   i n clu d es  attr ib u tes,  o p e r atio n s ,   an d   lab eled   ass o ciatio n s ,   wh er ea s   m o d el  M - lo o m its   th ese  d e tails .   So m ass o ciatio n s   wer la b eled   in   m - lo w   wh en   ess en tial  f o r   b asic  s y s tem   u n d e r s tan d in g ,   to   p r eser v e   in f o r m atio n   s u f f icien cy .   Acr o s s   b o th   v er s io n s ,   2 0   class es  wer m o d eled .   Mo d el  M - h ig h   in clu d ed   2 3   attr ib u tes  an d   1 2 3   o p e r atio n s ,   1 4 o f   wh ich   we r s im p le  g etter   m eth o d s o f ten   p r esen in   en tity     cla s s es.  A lth o u g h   g etter s   ar g en er ally   tr iv ial,   th e y   wer r etain ed   in   s o m ca s es  to   s u p p o r r ea lis tic  in ter ac tio n s   in   th co r r esp o n d in g   s eq u en ce   d iag r am s .   Fo r   s eq u en ce   d iag r am s ,   tr ea tm e n ts   f o cu s ed   o n   th d etail s   o f   m ess ag e s .   I n   m - h ig h ,   m ess ag es  p r ec is ely   r ef lect  th o p e r atio n s   d e f in ed   in   class   d iag r am s ,   in clu d in g   p ar am eter s   an d   r etu r n   v alu es.  I n   c o n tr ast,  M - l o w   u s ed   d u m m y   m ess ag es - th at  is ,   s im p l tex lab els  with o u t   p ar am eter s   o r   r etu r n   ty p es.  Asi d f r o m   th e   tr ea tm en ts   lis ted ,   all  o th er   asp ec ts   ( e. g . ,   d iag r a m   lay o u t)   wer k ep t   co n s is ten ac r o s s   b o th   v er s io n s .   Seq u en ce   d iag r a m s   wer e   lin k ed   to   u s ca s es  to   illu s tr ate  h o s y s tem   f u n ctio n ality   is   ex ec u ted   v ia  o b ject  in ter ac tio n s .   T h class   d i ag r am s   p r o v id ed   s tatic  r ep r ese n tatio n s   to   s u p p o r th ese  d y n am ic  v iews.   Fig u r 1   s h o ws  an   ex am p le  o f   class   d iag r am   r ep r esen ted   u s in g   d if f er e n lev els  o f   d eta il .   clas s   d iag r am   with   L o L o o m its   class   attr ib u tes an d   m eth o d s .   On   th o th er   h an d ,   class   d iag r am   with   h ig h   L o D   s p ec if ies all  clas s   attr ib u tes,  m eth o d s ,   an d   o th er   d etails s u ch   as m eth o d   s ig n atu r es a n d   p a r a m eter s .           Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  4 1 ,   No .   3 Ma r ch   20 2 6 :   1 0 9 5 - 1 1 0 4   1098   T ab le  1 .   L o tr ea tm en ts   in   th e   UM L   m o d el  t r ea tm en ts   D i a g r a t y p e s   M o d e l   e l e me n t s   M - l ow   M - h i g h   #   D i a g r a ms   P a c k a g e   d i a g r a m   P a c k a g e   n a m e   Y e s   Y e s   1   U se  c a se  d i a g r a m   U se  c a se  n a m e   Y e s   Y e s   2   A c t o r   n a me   Y e s   Y e s   C l a s d i a g r a m   C l a s s a t t r i b u t e s   No   Y e s   3   C l a s o p e r a t i o n s   No   Y e s   A sso c i a t i o n   l a b e l s   No   Y e s   S e q u e n c e   d i a g r a m   R e a l   m e t h o d   n a mes   No   Y e s   17   M e ss a g e   p a r a m e t e r s   No   Y e s   M e ss a g e   r e t u r n s   No   Y e s           ( a)   ( b )     Fig u r 1 .   E x am p le  o f   UM L   cl ass   d iag r am   with   ( a)   lo L o an d   ( b )   h ig h   L o D       2 . 3 . 2 .   M o del c o m prehens io qu estio nn a ire   m o d el  co m p r eh e n s io n   q u e s tio n n air was  u s ed   to   as s es s   s u b ject s   u n d er s tan d in g   o f   th UM L   m o d el.   T h q u esti o n n air in cl u d ed   q u esti o n s   s p ec if ically   r elate d   to   th lib r ar y   s y s tem   an d   r eq u ir ed   s u b ject s   to   d er iv th eir   a n s wer s   b ased   s o lely   o n   th in f o r m atio n   p r o v i d ed   in   th UM L   s p ec if icatio n s .   I ts   s tr u ctu r an d   co n ten wer alig n ed   with   th o s u s ed   in   th o r ig in al  s tu d y   t o   m ain tain   co n s is ten cy .   T o   m in im ize  am b ig u ity   a n d   p o ten tial  b ias,  we  f o llo wed   q u esti o n n air d esig n   g u id elin es  as  d is cu s s ed   b y   Op p en h eim   [ 2 3 ] .   T h e   q u esti o n   s h ee co n tain e d   1 5   m u ltip le - ch o ice  q u esti o n s .   E a ch   q u esti o n   was  co m p o s ed   o f   th r ee   m ain   p ar ts ( 1 )   d iag r am   r ef er en ce ,   ( 2 )   th q u esti o n   an d   o p tio n s ,   a n d   ( 3 )   r em ar k s   s ec tio n .       2 . 3 . 3 .   B a ck g r o un d a nd   f ee db a ck   qu estio nn a ire   As  in   th o r ig in al  ex p er im en t,   we  em p lo y ed   th s am b ac k g r o u n d   q u esti o n n air to   ass es s   s u b ject s   p r io r   k n o wled g an d   e x p er ien ce   ac r o s s   f o u r   k ey   d o m ain s o b ject - o r ien ted   d esi g n ,   o b je ct - o r ien ted   p r o g r a m m in g ,   UM L ,   an d   f a m iliar ity   with   lib r ar y   s y s tem s .   T h ese  f ac to r s   wer id e n tifie d   as  p o ten tial   co n f o u n d in g   v ar iab les  th at   m ig h in f lu en ce   s u b ject s   p er f o r m a n ce   in   th e   m o d el  c o m p r eh e n s io n   task .   Su b ject s   s elf - ass es s ed   k n o wl ed g an d   ex p er ien c e   wer m e asu r ed   u s in g   1 0   L ik er t - s ca le  it em s .   An   ev en - p o i n L ik er s ca le  was   ch o s en   to   r ed u ce   ce n tr al  ten d en c y   b ias  b y   d is co u r ag in g   th s elec tio n   o f   n eu tr al  m id d le  p o in t.  T h is   d esig n   en co u r ag es  s u b ject s   to   m ak m o r e   d elib er ate   s elf - ass es s m en ts .   I n   ad d itio n ,   s u b ject s   wer ask ed   to   co m p lete   f ee d b ac k   q u esti o n n air ab o u th ei r   ex p er ie n ce   d u r in g   th ex p er im e n t.  T h s am in s t r u m en t a s   u s ed   in   t h o r i g in al  s tu d y   was   em p lo y ed .   T h is   q u e s tio n n air aim ed   to   g ath er   q u alitativ an d   q u an tita tiv f ee d b ac k   th at  co u l d   in f o r m   f u r th er   an al y s is   an d   p o ten tial  im p r o v em e n ts   to   th ex p er im e n tal  d esig n .   Su b ject s   wer ask ed   to   ev alu ate  th UM L   m o d el  th ey   r ec ei v ed   in   ter m s   o f   its   p er ce iv ed   co m p lex ity ,   co m p r e h en s ib ilit y ,   co n s is ten cy ,   d etail ed n ess ,   an d   clar ity .   T h ey   wer also   ask ed   to   r ate  v ar io u s   asp ec ts   o f   th e   ex p er im en tal  s e tu p   f r o m   th eir   in d iv id u al  p er s p ec tiv e.   E x ce p f o r   th o p e n - en d e d   co m m en t sectio n ,   all  item s   we r ass ess ed   u s in g   L ik er t scale .     2 . 4 .     E x perim ent a d esig n   As  in   th o r ig i n al  s tu d y ,   th is   r ep licatio n   f o llo wed   s in g le - f ac to r   d esig n   with   two   tr ea tm e n ts   u s in g   co m p letely   r an d o m ized   d esig n   [ 2 4 ] .   E ac h   s u b ject   was  r an d o m ly   ass ig n ed   to   o n tr ea tm en an d   in te r ac ted   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Leve l o f d eta il in   UML mo d els a n d   its   imp a ct  o n   mo d el   c o mp r eh en s io n   …  ( A r ia d i Nu g r o h o )   1099   with   s in g le  o b ject  ( i.e . ,   U ML   m o d el) ,   f o llo win g   a   b et wee n - s u b jects  d esig n .   T h is   d esig n   ch o ice  was  p r im ar ily   d r iv en   b y   tim c o n s tr ain ts ,   as  th ex p er im e n h ad   t o   b co m p leted   in   a   s in g le  two - h o u r   s ess io n .   T h e   ex p er im en tal  o b ject  was  U ML   m o d el  r ep r esen tin g   lib r ar y   s y s tem .   Su b jects  wer r a n d o m ly   ass ig n ed   to   o n o f   two   tr ea tm e n g r o u p s :   L o L o ( L - L o D)   o r   Hig h   L o ( H - L o D) .   T h o s r ec eiv i n g   th less   d etai led   m o d el  wer p lace d   in   t h L - L o g r o u p ,   wh ile  th o s g iv e n   a   m o r d etailed   m o d el  wer ass ig n ed   to   th H - L o g r o u p .   B o th   g r o u p s   p a r ticip a ted   in   th ex p e r im en in   th e   s am r o o m ,   with o u an y   p h y s ical  s ep ar atio n   o r   v is ib le  g r o u p   i d en tifie r s .   T h is   was  d o n to   r ed u ce   b ias  an d   a v o id   aler tin g   s u b ject s   to   th ex is ten ce   o f   m u ltip le   tr ea tm en co n d itio n s .   T o   e n s u r s tatis tical  b alan ce   an d   s im p lify   th s u b s eq u en an al y s is   [ 2 4 ] ,   we  aim ed   f o r   eq u al  g r o u p   s izes.  T h f in al  g r o u p   s izes w er 1 1   f o r   L L o a n d   1 2   f o r   H - L o D.   E ac h   s u b ject   r ec eiv e d   two   m ater ials ( 1 )   UM L   m o d el  o f   th lib r ar y   s y s tem   ( v ar y in g   i n   lev el  o f   d etail) ,   ( 2 )   a n   o n lin q u esti o n n air co n s is tin g   o f   m o d el  co m p r eh en s io n   q u esti o n n air e,   b ac k g r o u n d   q u esti o n n air e,   a n d   f ee d b ac k   q u esti o n n air e   ( all  ar id en t ical  ac r o s s   b o th   tr ea tm en g r o u p s ) .   T h m o d el   co m p r eh e n s io n   q u esti o n n air e   was  th f ir s task   aim ed   at  ass es s in g   s u b ject s   u n d er s ta n d in g   o f   th UM L   m o d el.   Fo llo win g   t h c o m p r e h en s io n   task ,   s u b ject s   co m p let ed   th e   b ac k g r o u n d   q u esti o n n a ir e,   wh ich   ass ess ed   th eir   p r i o r   k n o wled g a n d   ex p er ien ce   r elate d   to   o b ject - o r ien ted   an al y s is   an d   d esig n ,   o b ject - o r ien ted   p r o g r a m m in g ,   UM L ,   a n d   lib r a r y   s y s tem s .   L astl y ,   th e   f ee d b a ck   q u esti o n n air c o llected   s u b jectiv im p r ess io n s   o f   th ex p er im en f r o m   ea ch   s u b ject .   T h ex p er im en t   was  c o n d u ct ed   in   s in g le  s ess io n ,   s tar tin g   at  0 9 :0 0   a n d   last in g   f o r   9 0   m in u tes.   Su b jects  wer in s tr u cted   to   c o m p lete  all  task s   with in   th is   tim f r am e.   Su b ject s   wer e   r a n d o m ly   ass ig n ed   t o   tr ea tm en g r o u p s   at  t h s tar t.  b r ief   o r ie n tatio n   was  p r o v id ed   to   ex p lain   th e   p r o ce d u r e,   with   wr itten   in s tr u ctio n s   also   in clu d ed   in   th m o d el  co m p r eh en s io n   q u esti o n n air e.   Un lik th o r ig in al  p ap er - b ased   ex p er im en t,   th is   r e p licatio n   u s ed   o n lin e   q u esti o n n air es  e q u ip p e d   with   tim e - tr ac k in g   f ea tu r es.  T h e   UM L   m o d els  wer also   p r o v id e d   d i g itally   v ia  an   o n lin e   r ep o s ito r y .   Up o n   co m p letio n ,   all  r esp o n s es  wer co llected ,   p r ep r o ce s s ed ,   an d   s to r ed   in   s p r ea d s h ee t f o r   an aly s is .     2 . 5 .     Ana ly s is   m et ho d   T h an aly s is   b eg an   with   m an u al  p r ep r o ce s s in g   o f   th r aw  d ata  co llected   f r o m   th q u est io n n air es.  On ce   p r o ce s s ed ,   th d ata  wer e   im p o r te d   in to   PS PP   [ 2 5 ]   f o r   s tatis tical  an aly s is .   T h n ex t   s tep   in v o lv ed   d ata   ex p lo r atio n ,   in clu d in g   o u tlier   d etec tio n   an d   ch ec k in g   ass u m p tio n s   f o r   s tatis tical  te s tin g .   Si n ce   th h y p o t h eses   f o cu s ed   o n   co m p ar in g   g r o u p   p er f o r m an ce ,   we  a p p lied   test s   f o r   d if f er e n ce s   b etwe en   two   i n d ep en d en g r o u p s in d ep en d en t - test s   f o r   p ar a m etr ic  ass u m p tio n s   an d   Ma n n - W h itn ey   test s   o th er wis e.   Giv en   th h ig h er   s tatis t ical  p o wer   o f   p a r am etr ic  test s ,   we  p r io r itized   th em   wh en   ass u m p tio n s   wer m et.   No r m ality   an d   h o m o g en eity   o f   v ar ia n ce   wer e   ass es s ed   u s in g   th Sh ap ir o - W ilk   an d   L ev e n e’ s   test s ,   r esp ec tiv ely .   I f   n o r m ality   was  v io lated ,   d ata  wer e   n o r m a lized   u s in g   ar ea   tr an s f o r m atio n   [ 2 6 ] .   A   s ig n if ican ce   lev el  o f   α   0 . 0 5   was  u s ed   f o r   all   h y p o th esis   test s .   T o   ass ess   th p o ten tial   im p ac t   o f   s u b jects’  b ac k g r o u n d   k n o wled g an d   ex p er ien ce   o n   p er f o r m an ce ,   we  co n d u cted   a   two - way   ANOV u s in g   th s am s ig n if ican ce   th r esh o ld .   Fin ally ,   q u alitativ e   r esp o n s es th at  is ,   s u b jects’  wr itten   ju s tific atio n s   f o r   th ei r   an s wer s   wer e   an aly ze d   m an u ally   to   id en tif y   p atter n s   an d   r ea s o n in g   d if f er e n ce s   ac r o s s   g r o u p s .       3.   RE SU L T S AN D I SCU SS I O N   T o   ev alu ate  th e f f ec o f   L o o n   co m p r eh e n s io n   co r r ec tn ess   an d   ef f icien cy ,   we  co n d u cted   a n   in d ep en d en t sam p les t - test .   T h s u m m ar y   s tatis tics   ar p r esen ted   in   T ab le  2   an d   th test   r esu lts   ar in   T ab le  3 .     3 . 1 .     T esting   hy po t hes is   1 :   e f f ec t   o f   L o o c o m prehens io n c o rr ec t nes s   As  s h o wn   in   T ab le   2 ,   th H - L o g r o u p   ex h ib ited   h ig h er   co m p r eh en s io n   co r r ec tn ess   th an   th L - L o D   g r o u p .   T h e   m ea n   v alu f o r   H - L o ex ce ed e d   th at  o f   L - L o D,   in d icatin g   a   co n s is ten a d v an tag f o r   g r ea ter   d etail.   T o   ev alu ate  th s tatis ti ca s ig n if ican ce   o f   th is   d if f er e n ce ,   we  co n d u c ted   an   in d ep en d en s am p les  t - test .   T h H - L o g r o u p   ac h iev ed   a   m ea n   co m p r eh e n s io n   co r r ec tn ess   o f   6 4 . 4 6   ( Std .   er r o r   m ea n   3 . 7 0 ) ,   co m p ar e d   to   5 2 . 1 3   ( Std .   er r o r   m ea n   =   4 . 2 1 )   f o r   t h L - L o g r o u p .   T h t - test   r esu lts   in   T ab le  3 ,   f o cu s in g   o n   th r o co m p r eh e n s io n   co r r ec tn ess c o n f ir m e d   th is   d if f e r en ce   to   b s tatis tical ly   s ig n if ican ( p   0 . 0 2 ,   o n e - tailed ) ,   in d icatin g   t h at  th e   o b s er v ed   ef f ec is   u n lik ely   d u e   to   ch a n ce .   B ased   o n   t h ese  r esu lts ,   we  r ejec th e   n u ll  h y p o th esis   ( H1 , n u ll)  an d   ac ce p th alter n ativ h y p o th esis   ( H1 , alt) T h u s o f   UM L   d iag r am s   with   h ig h er   L o s ig n if ican tly   im p r o v es c o m p r eh en s io n   co r r ec tn ess .     3 . 2 .     T esting   hy p o t hes is   2 :   e f f ec t   o f   L o o c o m prehens io n e f f iciency   As  s h o wn   in   T a b le  2   th er e   i s   n o   s u b s tan tial  d if f er en ce   in   co m p r eh en s io n   ef f icien c y   m ea n   v alu es   b etwe en   th H - L o an d   L - L o g r o u p s Sp ec if ically ,   th H - L o g r o u p   ac h iev ed   m ea n   ef f icien cy   o f   0 . 1 8   ( Std .   er r o r   m ea n   0 . 0 2 ) ,   w h ile  th L - L o g r o u p   s co r ed   0 . 1 9   ( Std .   er r o r   m ea n   =   0 . 0 3 ) .   C o n s is ten with   th e   ea r lier   an aly s is we  co n d u cted   t - test   t o   test   f o r   s tatis tical  s i g n if ican ce .   T h t - test   r esu lts   p r esen ted   in   T ab le  3   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  4 1 ,   No .   3 Ma r ch   20 2 6 :   1 0 9 5 - 1 1 0 4   1100   ( s ee   r o co m p r eh e n s io n   ef f i cien cy )   s h o ws  th at   t h d if f er en ce   in   m ea n s   was  n o s tat i s tically   s ig n if ican   ( p   0 . 4 0 ,   o n e - tailed ) .   B ased   o n   th ese  r esu lts ,   we  r ej ec th s ec o n d   alter n ativ h y p o t h esis   ( H2 , alt)   an d   ac ce p th n u ll  h y p o th esis   ( H2 , n u ll ) T h er e   is   n o   s ig n i f ican d if f er en ce   i n   co m p r eh e n s io n   ef f icien cy   b etwe en   s u b jects wo r k in g   with   UM L   d iag r am s   m o d eled   at  h ig h   o r   lo lev els o f   d etail.       T ab le  2 .   g r o u p   s tatis tics   f o r   co m p r eh en s io n   co r r ec tn ess   an d   ef f icien cy   ac r o s s     lo an d   h ig h   lev el  o f   d etail  ( L - L o An d   H - L o D)   g r o u p s   M e t r i c   G r o u p   N   M e a n   S t d .   d e v .   S t d .   e r r o r   mea n   C o m p r e h e n si o n   c o r r e c t n e ss   L - Lo D   11   5 2 . 1 3   1 3 . 9 5   4 . 2 1   H - Lo D   12   6 4 . 4 6   1 2 . 8 2   3 . 7 0   C o m p r e h e n si o n   e f f i c i e n c y   L - Lo D   11   0 . 1 9   0 . 1 1   0 . 0 3   H - Lo D   12   0 . 1 8   0 . 0 6   0 . 0 2       T ab le  3 .   I n d ep e n d en t T - T est f o r   co m p r eh e n s io n   co r r ec tn ess   an d   ef f icien c y   M e t r i c s   La v e n e t e st   T - t e st   s t a t i st i c s   F   S i g .   t   df   S i g .   ( 1 - t a i l e d )   M .   D i f f .   S D i f f .   9 5 C I   D i f f .   Lo w e r   U p p e r   C o m p r .   c o r r e c t n e ss   0 . 6 7   0 . 4 2   - 2 . 2 1   2 1 . 0 0   0 . 0 2   1 2 . 3 3   5 . 5 8   - 2 3 . 9 4   - 0 . 7 3   C o m p r .   e f f i c i e n c y   1 . 4 9   0 . 2 3   0 . 2 5   2 1 . 0 0   0 . 4 0   0 . 0 1   0 . 0 4   - 0 . 0 7   0 . 0 9       3 . 3 .     Su bje ct s   ba ckg ro un d kno wledg a nd   ex perience   Su b jects’  b ac k g r o u n d   k n o wl ed g an d   ex p er ien ce   wer as s ess ed   th r o u g h   s u b ject s   b ac k g r o u n d   q u esti o n n air e.   T h q u esti o n n air co n s is ted   o f   1 0   item s   r ated   o n   6 - p o in o r d i n al  s ca le  ( 1 No .   k n o wled g e/e x p er ien ce ,   6 v e r y   g o o d ) .   T o   ass ess   wh eth er   b ac k g r o u n d   d if f er en ce s   m i g h co n f o u n d   t h ex p er im en tal   r esu lts ,   we  c o m p ar ed   o v er all  k n o wled g e/ex p e r ien ce   s co r es  a cr o s s   g r o u p s .   E ac h   s u b ject’ s   s co r was  co m p u ted   as  th e   s u m   o f   all   q u esti o n n air e   r esp o n s es,  y ield in g   r an g e   o f   1 0   to   6 0 .   Giv en   th o r d i n al  n atu r o f   th d ata ,   th e   Ma n n - W h itn ey   test   was  u s ed .   T h e   r esu lts   o f   th Ma n n - W h itn ey   test   ar p r esen ted   in   T ab le  4   an d   T a b le  5 As  s h o wn   in   T ab le  4   an d   T ab le  5 ,   t h er was  n o   s tatis tically   s ig n if ican d if f er e n ce   in   b ac k g r o u n d   k n o wled g a n d   e x p er ien ce   b etwe en   th two   g r o u p s   ( p   0 . 2 6 4 ) .   Sin ce   t h e   s ig n if ican ce   lev el   ex ce ed s   th e   co n v en tio n al  th r e s h o ld   o f   0 . 0 5 ,   we  co n clu d th at  d if f er en ce s   in   p r io r   k n o wle d g e   an d   ex p er ien ce   ar u n lik ely   t o   h av e   in f lu e n ce d   th m ain   o u tco m es o f   th is   ex p er im en t.       T ab le  4 .   R an k s   o f   b ac k g r o u n d   k n o w led g e/e x p er ien ce   s co r es   G r o u p   N   M e a n   r a n k   S u o f   r a n k s   L - Lo D   11   1 0 . 3 6   1 1 4 . 0 0   H - Lo D   12   1 3 . 5 0   1 6 2 . 0 0       T ab le  5 .   Ma n n - W h itn ey   test   r esu lts   S t a t i st i c   V a l u e   M a n n - W h i t n e y   U   4 8 . 0 0   W i l c o x o n   W   1 1 4 . 0 0   Z   - 1 . 1 2   A sy mp .   S i g .   ( 2 - t a i l e d )   0 . 2 6 4         3 . 4 .     In - depth  a na ly s es   3 . 4 . 1 .   P er - qu estio co m prehens io n per f o rm a nce   T o   g ain   d ee p er   u n d er s tan d i n g   o f   h o th L o tr ea tm en t s   in f lu en ce d   th s u b jects’  p er f o r m an ce     th at  is ,   in   ter m s   o f   co m p r eh e n s io n   co r r ec tn ess we  co n d u c ted   q u alitativ an aly s is   o f   th eir   an s wer s   to   th m o d el  co m p r eh e n s io n   q u esti o n n air e.   Fig u r 2   p r esen ts   co m p ar is o n   o f   co r r ec r esp o n s es  ac r o s s   b o th   L - L o an d   H - L o g r o u p s .   Ov er all,   s u b jects  in   th H - L o g r o u p   p er f o r m ed   b etter   o n   m o s q u esti o n s .   No tab ly ,   f o r   f iv q u e s tio n s ,   n am ely   Q2 ,   Q3 ,   Q7 ,   Q1 1 ,   an d   Q1 4 th H - L o g r o u p   o u tp e r f o r m ed   t h L - L o g r o u p   b y   s u b s tan tial  m ar g in   ( at  least   th r ee   p o in ts ) .   T h ese  q u esti o n s   ap p ea r   t o   b e   k e y   co n tr ib u t o r s   t o   th o v er all   d if f e r en ce   i n   co m p r eh en s io n   s co r es   b etwe en   th two   e x p er im e n t al  co n d itio n s .   W e   ex a m in ed   f o u r   o f   t h ese  q u esti o n s   in   m o r d etail,   as  th e y   ex h ib ited   th m o s t p r o n o u n ce d   p er f o r m an ce   g ap s .     Q3 co m m o n   m is co n ce p ti o n   am o n g   L - L o s u b ject s   in v o lv ed   th e   in ter p r etatio n   o f   th p s eu d o c o d e   r eser v atio n . co u n with in   s eq u en ce   d iag r am .   Ma n y   ass u m e d   th at  r eser v atio n   r ef er r e d   to   class ,   wh er ea s   it  ac tu ally   d en o ted   a   co n c ep tu al  en tity ,   i.e . ,   th e   to ta n u m b e r   o f   r eser v atio n s .   Alth o u g h   th is   m is u n d er s tan d in g   was  also   o b s er v ed   am o n g   s o m H - L o s u b ject s ,   it  was   m o r p r ev ale n in   th L - L o g r o u p ,   lik ely   d u to   t h lack   o f   co n tex tu al  cl u es in   th lo w - d etail  d iag r am s .     Q7 B o th   g r o u p s   s tr u g g le d   t o   co r r ec tly   id en tif y   th f u n ct io n   o f   co n tr o ller   class es.  T h d is tr ib u tio n   o f   an s wer s   s u g g ests   lim ited   f am i liar ity   with   th e   m o d el - v iew - c o n tr o ller   ( MV C )   d esig n   p atter n .   Ho wev e r ,   t h e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Leve l o f d eta il in   UML mo d els a n d   its   imp a ct  o n   mo d el   c o mp r eh en s io n   …  ( A r ia d i Nu g r o h o )   1101   L - L o g r o u p   was  s ig n if ican tl y   af f ec ted ,   lik ely   d u to   th a b s en ce   o f   attr ib u te  an d   o p er at io n   in f o r m atio n   in   th eir   class   d iag r am s ,   wh ich   h in d er ed   th eir   ab ilit y   to   r ea s o n   ab o u t c lass   r o les.     Q1 1 On ly   f ew   L - L o s u b ject s   co r r ec tly   id e n tifie d   th class   r esp o n s ib le  f o r   in s tan tiatin g   th R eser v atio n   o b ject  in   th Ma k R eser v atio n   s eq u en ce   d iag r am .   I n   co n tr ast,  H - L o s u b ject s   b en ef ited   f r o m   ad d itio n al  v is u al  cu es , s p ec if ically   th r etu r n   m ess ag in d icatin g   th cr ea tio n   o f   R es er v atio n   o b ject   b y   th T itle c lass .   T h is   in f o r m atio n   was o m itted   in   th lo w - d etail   v er s io n .     Q1 4 L - L o s u b ject s   h a d   d if f icu lty   s elec tin g   th e   co r r ec p s eu d o - c o d s n i p p et  th at  r ep r esen ts   th d eletio n   o f   a   b o o k   titl b ased   o n   th e   s eq u en ce   d iag r am .   C o m m o n   er r o r s   in v o lv ed   m is id en tify i n g   th e   r elev an t   o b jects  o r   in co r r ec tly   s eq u e n cin g   th d eletio n   s tep s .   W attr ib u te  th is   co n f u s io n   to   th ab s en ce   o f   k ey   d etails in   th L - L o d ia g r am s ,   n am ely   th e   lack   o f   ex p licit m ess ag es a n d   p ar am eter   in f o r m atio n .           Fig u r 2 .   Sco r es  o f   a ll q u esti o n s   f o r   th UM L   m o d el  q u esti o n n air e       3 . 4 . 2 .   Su bje ct s   f ee db a ck   I n   th f ee d b ac k   q u esti o n n air e ,   we  ask ed   th e   s u b jects   to   ev alu ate   asp ec ts   o f   th UM L   m o d el  th at   co m p r is s im p licity ,   co m p r e h en s ib ilit y ,   co n s is ten cy ,   d eta iled n ess ,   an d   clar ity .   Data   o b tain ed   f r o m   th e   q u esti o n n air is   p r esen ted   in   Fig u r 3 .   T h f i g u r d is p lay s   th m o d e   v alu o f   all  q u esti o n s ,   in   wh ich   h ig h e r   v alu r ep r esen ts   b etter   s u b ject  im p r ess io n .   Ov er all,   s u b jects  in   b o th   th L - L o an d   H - L o g r o u p s   ev alu ate d   m o s asp ec ts   o f   th U ML   m o d els  f av o u r ab ly     p ar ticu lar ly   with   r esp ec to   co m p r eh en s ib ilit y ,   co n s is ten cy ,   d etailed n ess ,   an d   clar ity .   Ho w ev er ,   n o ta b le  ex ce p tio n   lies   in   th ev alu atio n   o f   s im p licity s u b jects  in   th H - L o g r o u p   r ated   th m o d el’ s   s im p licity   les s   f av o u r ab ly   th a n   th o s in   th L - L o g r o u p .   I n ter esti n g ly ,   d esp ite   th H - L o g r o u p   r atin g   t h eir   m o d el  as  m o r d etailed   ( as  ex p ec ted ) ,   t h ey   p er ce iv ed   it  a s   less   s im p le.   T h is   s u g g ests   th at  th in cr ea s in   m o d el  d etail  m ay   c o m at  th c o s t o f   p er ce iv ed   s im p licity .   C o n v er s ely ,   L - L o s u b jects  g en er ally   g a v m o r f av o u r ab le   r atin g s   ac r o s s   m o s q u ality   d i m en s io n s ,   d esp ite  th eir   m o d els  co n tain in g   less   in f o r m atio n .   T h ese  r esu lts   r aise  n o tab le  o b s er v atio n s     th at  is ,   p er ce iv e d   s im p licity   ap p ea r s   to   b o n ly   p ar tially   in f lu e n ce d   b y   th a ctu al  L o in   th m o d el.   T h is   p r o m p ts   b r o a d er   q u esti o n   o f   w h eth er   p er ce iv ed   m o d el   co m p lex ity   is   tr u ly   d e p en d en t   o n   th e   am o u n t   o f   in f o r m atio n   p r esen t,   o r   if   it  is   m o r clo s ely   lin k e d   to   lay o u t,   s tr u ctu r e,   o r   in d iv id u al  co g n itiv b ias.   Fu r th e r m o r e,   th e   p o s itiv ev alu atio n s   f r o m   L - L o s u b jects  s u g g est  d is co n n ec b etwe en   p er ce p tio n   an d   ac tu al  co m p r eh e n s io n   p er f o r m an ce .   Sp ec if ically ,   wh ile  s u b jects  v iewe d   th m o d el  f av o u r a b ly ,   th eir   ac tu al  u n d er s tan d in g   m ay   h av e   b ee n   im p air ed   b y   th e   lim ited   in f o r m atio n .   T h is   im p lies   a   f o r m   o f   illu s io n   o f   u n d er s tan d i n g ,   wh e r u s er s   ar e   u n awa r th at  th eir   p er ce iv e d   c lar ity   an d   ea s o f   co m p r eh en s i o n   ar n o t r ef lectiv o f   th ei r   tr u co m p r eh en s io n .           Fig u r 3 .   Su b jects’  p er ce p tio n   o f   th UM L   m o d el   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  4 1 ,   No .   3 Ma r ch   20 2 6 :   1 0 9 5 - 1 1 0 4   1102   3 . 5 .     Dis cus s io n   I n   th is   s tu d y ,   we  h av f o u n d   th at  UM L   d iag r am s   with   h ig h   L o s ig n if ican tl y   en h an ce   co m p r eh e n s io n   co r r ec tn ess .   Ho wev er ,   th e f f ec o n   co m p r eh e n s io n   ef f icien cy   w as  n o s tatis tically   s ig n if ican t.   I n   th e   o r ig in al  s tu d y ,   h ig h e r   L o in   UM L   d iag r am s   s ig n if ican tly   im p r o v ed   b o th   co m p r e h en s io n   co r r ec tn ess   an d   e f f icien cy .   W id en tify   two   r ea s o n s   th at  m ig h ex p lai n   th wea k e r   ef f ec o n   co m p r eh e n s io n   ef f icien cy .   First,  wea k e r   ef f ec o n   co m p r eh e n s io n   ef f icien cy   m ig h b attr ib u te d   to   th e   s m aller   s am p le  s ize  ( 2 3   s u b ject s )   co m p a r ed   to   th e   o r ig in al  ( 5 3   s u b ject s ) ,   wh ich   lik ely   r ed u ce d   t h s tatis tical  p o wer .   Seco n d ,   i is   also   p lau s ib le  th at  t h s tu d e n ts   at  B in Nu s an tar a   Un iv er s ity ,   wh o   h ad   p r im a r ily   th e o r etica ex p o s u r to   UM L   th r o u g h   co u r s ewo r k ,   m ay   n o h av b e n ef ited   f r o m   t h h i g h e r   L o to   th s am e x ten as  th s tu d en ts   at  T U/e T h latter   r eso n ate s   with   th e   f in d in g s   o f   C r u z - L em u s   et   al .   [ 1 3 ] ,   wh ich   s u g g est  th at   in c r ea s ed   d etail  m a y   o v er wh elm   n o v ice  u s er s ,   p ar t icu lar ly   in   s m aller   o r   less   ex p er ien ce d   s am p les.   T h is   d is cr ep an c y   in   p r ac tical  ex p er ien ce   m a y   h a v m o d er at ed   th im p ac o f   L o o n   c o m p r eh en s io n   ef f icien cy .   Fro m   r esear ch   p er s p ec tiv e,   t h r esu lt  o f   th is   s tu d y   r eso n ates  well  with   p r ev io u s   wo r k   co n d u cted   b y   th r esear ch er   [ 6 ] - [ 8 ] [ 1 0 ] .   F u r th er ,   t h is   r ep licatio n   co n tr i b u tes  to   th r elativ ely   lim ited   p o o o f   em p ir ical   r ep licatio n   s tu d ies  in   s o f twar en g in ee r i n g ,   t h er eb y   s tr en g th en in g   th e   ev id e n ce   b ase  r e g ar d in g   th r o le  o f   L o D   in   m o d el  c o m p r e h en s io n .   T h e   r esu lts   also   d em o n s tr ate  th at  p r io r   f in d in g s   ar t r an s f er ab le  ac r o s s   d if f er en c o n tex ts - th at  is ,   o u r   s tu d y   was  co n d u cted   with   d is tin ct  s u b ject  p o p u latio n   ( I n d o n esian   MSc   s tu d en ts )   an d   m o r th a n   d ec ad af ter   th o r ig in al  e x p er im e n t.   Fro m   a   p r ac tical  s tan d p o in t,   o n e   im p o r tan ta k ea way   o f   th is   s tu d y   is   th at   s o f twar e   e n g in ee r in g   ed u ca to r s   an d   p r ac titi o n e r s   s h o u ld   p r io r itize  in clu d i n g   s u f f i cien d etail  in   UM L   d iag r am s ,   p ar ticu lar ly   wh e n   th ey   ar i n ten d ed   f o r   co m m u n icatio n   o r   in s tr u ctio n al  p u r p o s es.  Alth o u g h   s im p lifie d   m o d els  m ay   r ed u ce   v is u al  co m p lex ity ,   t h ey   r is k   o m itti n g   c r itical  s em an tic  cu es  th at  aid   co m p r eh en s io n ,   esp ec ially   f o r   n o v ice  o r   less   ex p er ien ce d   s tak eh o l d er s .   I is   also   im p o r tan t o   n o te  th at  UM L   m o d els  with   lo L o m ig h ca u s an   illu s io n   o f   u n d er s tan d in g ,   wh e r u s er s   ar u n awa r th at  th eir   p er ce iv ed   clar ity   a n d   ea s o f   co m p r eh e n s io n   ar e   n o t r ef lectiv o f   th eir   t r u co m p r eh en s io n .   T h e r e f o r e ,   w e   s u g g e s t   t h r e e   p r a c t i c al   r e c o m m e n d a t i o n s   f o r   u s i n g   U M L   d i a g r a m s .   F i r s t ,   u s e   m u l ti p l U M L   d i a g r a m   t y p e s   t o   r e p r e s e n t   m u l ti p l e   v i e w p o i n t s ,   n a m e l y   u s e   c a s e   d i a g r a m   ( s y s t e m   r e q u i r e m e n ts ) ,   s e q u e n c e   d i a g r a m   ( c o m p o n e n t   i n t e r a c t i o n s ) ,   a n d   c l a s s   d i ag r a m s   ( s t r u c t u r a l   r e l at i o n s h i p s ) .   S e c o n d ,   s p e c i f y   i m p o r t a n t   a t t r i b u t e s   o r   c o n c e p ts   a c r o s s   UM L   d i a g r a m s .   F o r   ex a m p l e ,   a l l   cl a s s es   i n   a   cl a s s   d ia g r a m   m u s t   s p ec i f y   c l a s s   a t t r i b u te s   a n d   m e t h o d s   e s s e n ti a l   f o r   u n d e r s t a n d i n g   t h e   s y s t e m .   Si m i la r l y ,   a l l   m es s a g es   i n   s e q u e n c e   d i a g r a m s   m u s t   a ls o   s p e c i f y   c r i ti c a l   m e s s a g e   p a r a m e t e r s .   F i n a ll y ,   m a i n t a i n   c o n s i s t e n c y   a c r o s s   a l l   U M L   d i a g r a m s     f o r   e x a m p l e ,   m ess a g e s   a p p e a r i n g   i n   s e q u e n c e   d i a g r a m   m u s a ls o   b e   c o n s is t e n tl y   s p e c i f i e d   i n   t h c l ass   d i a g r a m .   I t   i s   a l s o   i m p o r t a n t   to   n o t e   t h a t   U M L   m o d e l i n g   t o o l s   c o u l d   b e   e n h a n c e d   t o   s u p p o r t   f l e x i b l e   v i e w s ,   a l l o w i n g   u s e r s   t o   t o g g l e   b e t w ee n   l o w   a n d   h i g h   L o D   p r e s e n t ati o n s   d e p e n d i n g   o n   t h e   t a s k   o r   au d i e n c e   n e e d s .   C o n s id er in g   th e   af o r em en tio n ed   p o in ts ,   f u r th er   wo r k   is   s till   n ee d ed   t o   in v esti g ate  L o in   UM L   m o d els.  I n   p ar ticu la r ,   we  u n d er lin th im p o r tan ce   o f   co n d u ctin g   m o r e x p er im e n tal  r ep l icatio n s   to   v alid ate  th r esu lts   o f   th is   s tu d y .   Fu r th er m o r e,   with   th a d v a n ce m en o f   to o lin g   th at  aid s   s o f twar en g in ee r s   in   cr ea tin g   a n d   m ain tain in g   U ML   d iag r a m s ,   in clu d in g   th o s p o wer e d   b y   Gen er ativ e   AI ,   it  is   im p o r tan t   to   in v esti g ate  th im p ac t o f   L o in   s u ch   co n te x ts .     3 . 6 .     T hrea t s   t o   v a lid it y   W r ec o g n ize  s ev er al  p o ten t ia th r ea ts   to   th v alid ity   o f   o u r   f in d in g s .   First,  i n ter n al  v alid ity   m ay   b e   af f ec ted   b y   u n c o n tr o lled   f ac to r s ,   s u ch   as  in d iv id u al  d if f er en ce s   in   p r io r   UM L   k n o wled g e,   r ea s o n in g   ab ilit y ,   o r   f am iliar ity   with   th p r o b le m   d o m ai n .   W h ile  we  en s u r ed   th at  all  s u b je ct s   h ad   r ec eiv e d   co m p ar ab le  UM L   tr ain in g ,   we  d id   n o ass ess   t h eir   p r io r   e x p er ien ce   in   d ep t h .   Seco n d ,   th f ac th at  t h s u b ject s   wer MSc   s tu d en ts   m ay   lim it  e x ter n al  v alid ity ,   i.e . ,   r ed u cin g   g en e r aliza b ilit y   to   in d u s tr ial  p r ac t itio n er s .   T h ir d ,   t h e   m ea s u r es  f o r   co m p r eh en s io n   co r r ec tn ess   an d   ef f icien cy   r ely   o n   15 - q u esti o n   q u esti o n n air e.   W h ile  th e   q u esti o n s   wer ca r ef u lly   d esi g n ed   to   r e f lect  u n d er s tan d i n g   o f   th UM L   m o d el ,   th e y   m ay   n o ca p tu r th f u ll  co m p lex ity   o f   m o d el   co m p r e h en s io n   in   r ea l - wo r ld   s ettin g s ,   wh ich   m a y   af f ec c o n s tr u c v alid ity .   Fin ally ,   s tatis t ical  p o wer   m ay   b lim ited   d u to   th r elativ ely   s m al s am p le  s ize ,   wh ich   m ay   af f ec th c o n clu s io n   v alid ity Desp ite  th ese   lim itatio n s ,   o u r   s tu d y   p r o v id es  v alu a b le  in s ig h ts   in t o   th e   r o le  o f   L o in   UM L   m o d el   co m p r eh e n s io n   an d   o f f er s   s o lid   f o u n d atio n   f o r   f u r th e r   em p i r ical  wo r k   in   t h is   ar ea .       4.   CO NCLU SI O N   T h is   s tu d y   r ep licate s   an   ea r lie r   ex p er im en t   in v esti g atin g   th e   r o le   o f   L o D   in   UM L   m o d els  o n   m o d el  co m p r eh e n s io n .   W h ile  th o r ig in al  s tu d y   co n cl u d ed   th at  h ig h e r   L o s ig n if ican t ly   im p r o v es  b o th   co m p r eh e n s io n   co r r ec t n ess   an d   ef f icien cy ,   it  also   ca lled   f o r   f u r th er   r e p licatio n .   Ou r   r ep lic atio n   co n f ir m s   th at  h ig h er   L o im p r o v es  co m p r eh en s io n   co r r ec tn ess   am o n g   2 3   MSc  C o m p u ter   Scien ce   s tu d en ts   at  B in Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       Leve l o f d eta il in   UML mo d els a n d   its   imp a ct  o n   mo d el   c o mp r eh en s io n   …  ( A r ia d i Nu g r o h o )   1103   Nu s an tar Un iv er s ity .   Ho wev er ,   th ef f ec o n   c o m p r e h e n s io n   ef f icien cy   was  n o s tatis tically   s ig n if ican t,  lik ely   d u t o   th s m aller   s am p le   s ize  an d   co n tex tu al  f ac t o r s   s u ch   as  s tu d en ts   th eo r etic al  b ac k g r o u n d   an d   lim ited   p r ac tical  m o d elin g   ex p er ien ce .   T h ese  f in d in g s   r ein f o r ce   th r elev an ce   o f   L o an d   h ig h lig h th n ee d   f o r   ca r ef u lly   b alan ci n g   d etail  an d   clar ity   in   UM L   d iag r am s .   B ased   o n   th ese   r esu lts ,   we   a ls o   h ig h lig h th r ee   p r ac tical  r ec o m m e n d atio n s   f o r   u s in g   UM L   d ia g r am s .   First,  u s m u ltip le   UM L   d iag r am   ty p es  to   r ep r esen d if f er en t   v iewp o i n ts .   Seco n d ,   s p ec if y   im p o r tan attr i b u te s   o r   c o n ce p ts   ac r o s s   UM L   d iag r am s .   Fin ally ,   m ain tain   co n s is ten cy   ac r o s s   al l U ML   d iag r am s .   Fu tu r r esear ch   s h o u ld   c o n s id er ( 1 )   co n d u ctin g   r ep licatio n   s tu d ies  with   lar g er   an d   m o r d iv er s e   s am p les,  in clu d in g   p r o f ess io n al  s o f twar en g i n ee r s ,   ( 2 )   i n v e s tig atin g   th im p ac t   o f   ad v a n c ed   to o lin g   th at   ca n   b u s ed   to   ass is s o f tw ar en g in ee r s   in   m ain tain in g   UM L   m o d els  o f   v a r y in g   lev els  o f   d et ail,   in clu d in g   t h o s au g m en ted   with   Gen er ativ e   AI .   Su ch   ef f o r ts   wo u ld   c o n tr ib u te  to   a   d ee p er   u n d er s tan d in g   o f   h o v is u al   d etail   s u p p o r ts   m o d el  co m p r eh en s io n   an d   i n f o r m   b etter   m o d elin g   p r ac tice s   in   b o th   ac a d em ia  an d   in d u s tr y .       F UNDING   I NF O R M A T I O N   T h au th o r s   s tate  th at  th er was n o   f u n d in g   f o r   t h d ev el o p m en t o f   th r esear ch .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ar iad i N u g r o h o                               Mic h el  R . C h au d r o n                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   d ec lar th at  th er ar n o   f in an cial,   p er s o n al,   o r   p r o f ess io n al  co n f licts   o f   in ter est  th a co u ld   h a v in f lu e n ce d   th e   r esu lts   o r   in ter p r etatio n s   o f   th is   r esear ch .       DATA AV AI L AB I L I T Y   T h d ata   th at  s u p p o r t h f in d in g s   o f   th is   s tu d y   a r av ailab l f r o m   th e   co r r esp o n d in g   a u th o r ,   Ar iad i   Nu g r o h o ,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   H .   C .   P u r c h a se,   L.   C o l p o y s,  M .   M c G i l l ,   D .   C a r r i n g t o n ,   a n d   C .   B r i t t o n ,   U M c l a ss  d i a g r a sy n t a x :   a n   e mp i r i c a l   st u d y   o f   c o m p r e h e n si o n ,   i n   Pro c e e d i n g o f   t h e   2 0 0 1   As i a - P a c i f i c   s y m p o si u m   o n   I n f o rm a t i o n   v i su a l i s a t i o n - V o l u m e   9 ,   2 0 0 1 ,   p p .   1 1 3 1 2 0 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / d l . a c m. o r g / c i t a t i o n . c f m? i d = 5 6 4 0 5 4   [ 2 ]   M .   C .   O t e r o   a n d   J.  J .   D o l a d o ,   E v a l u a t i o n   o f   t h e   c o m p r e h e n si o n   o f   t h e   d y n a m i c   m o d e l i n g   i n   U M L ,   I n f o rm a t i o n   a n d   S o f t w a re   T e c h n o l o g y ,   v o l .   4 6 ,   n o .   1 ,   p p .   3 5 5 3 ,   Jan .   2 0 0 4 ,   d o i :   1 0 . 1 0 1 6 / S 0 9 5 0 - 5 8 4 9 ( 0 3 ) 0 0 1 0 8 - 3.   [ 3 ]   A .   N u g r o h o ,   L e v e l   o f   d e t a i l   i n   U M L   m o d e l s   a n d   i t s   i mp a c t   o n   m o d e l   c o m p r e h e n s i o n :   a   c o n t r o l l e d   e x p e r i m e n t ,     I n f o rm a t i o n   a n d   S o f t w a re  T e c h n o l o g y ,   v o l .   5 1 ,   n o .   1 2 ,   p p .   1 6 7 0 1 6 8 5 ,   D e c .   2 0 0 9 ,   d o i :   1 0 . 1 0 1 6 / j . i n f s o f . 2 0 0 9 . 0 4 . 0 0 7 .   [ 4 ]   L.   C .   B r i a n d ,   Y .   La b i c h e ,   H .   D .   Y a n ,   a n d   M .   D i   P e n t a ,   A   c o n t r o l l e d   e x p e r i men t   o n   t h e   i m p a c t   o f   t h e   o b j e c t   c o n st r a i n t   l a n g u a g i n   U M L - b a s e d   ma i n t e n a n c e ,   i n   I E EE   I C S M ,   2 0 0 4 ,   p p .   3 8 0 3 8 9 d o i :   1 0 . 1 1 0 9 / I C S M . 2 0 0 4 . 1 3 5 7 8 2 3 .   [ 5 ]   A .   M .   F e r n á n d e z - S á e z ,   M .   G e n e r o ,   a n d   M .   R .   V .   C h a u d r o n ,   D o e s t h e   l e v e l   o f   d e t a i l   o f   U M L   m o d e l s   a f f e c t   t h e   mai n t a i n a b i l i t y   o f   so u r c e   c o d e ? ,   i n   I n t e r n a t i o n a l   C o n f e re n c e   o n   M o d e l   D r i v e n   E n g i n e e r i n g   L a n g u a g e s   a n d   S y s t e m s ,   2 0 1 2 ,   p p .   1 3 4 1 4 8 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 9 6 4 5 - 1 _ 1 5 .   [ 6 ]   G .   S c a n n i e l l o ,   C .   G r a v i n o ,   M .   G e n e r o ,   J .   A .   C r u z - Le mu s ,   a n d   G .   To r t o r a ,   O n   t h e   i m p a c t   o f   U M a n a l y si m o d e l s   o n   s o u r c e - c o d e   c o m p r e h e n si b i l i t y   a n d   m o d i f i a b i l i t y ,   A C T r a n s a c t i o n o n   S o f t w a r e   E n g i n e e r i n g   a n d   M e t h o d o l o g y ,   v o l .   2 3 ,   n o .   2 ,     p p .   1 2 6 ,   M a r .   2 0 1 4 ,   d o i :   1 0 . 1 1 4 5 / 2 4 9 1 9 1 2 .   [ 7 ]   G .   S c a n n i e l l o   e t   a l . ,   S t u d y i n g   t h e   e f f e c t   o f   U M L - b a s e d   m o d e l s   o n   s o u r c e - c o d e   c o m p r e h e n s i b i l i t y :   r e s u l t s   f r o m   a   l o n g - t e r m   i n v e s t i g a t i o n ,   i n   P r o d u c t - F o c u s e d   S o f t w a r e   P r o c e s s   I m p r o v e m e n t ,   v o l .   9 4 5 9 ,   2 0 1 5 ,   p p .   3 1 1 3 2 7 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 31 9 - 2 6 8 4 4 - 6 _ 2 3 .   [ 8 ]   G .   S c a n n i e l l o   e t   a l . ,   D o   s o f t w a r e   m o d e l s   b a s e d   o n   t h e   U M L   a i d   i n   s o u r c e - c o d e   c o m p r e h e n s i b i l i t y ?   a g g r e g a t i n g   e v i d e n c e   f r o m   1 2   c o n t r o l l e d   e x p e r i m e n t s ,   E m p i r i c a l   S o f t w a r e   E n g i n e e r i n g ,   v o l .   2 3 ,   n o .   5 ,   p p .   2 6 9 5 2 7 3 3 ,   O c t .   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 6 6 4 - 0 1 7 - 9 5 9 1 - 4.   [ 9 ]   M .   T o r c h i a n o ,   G .   S c a n n i e l l o ,   F .   R i c c a ,   G .   R e g g i o ,   a n d   M .   L e o t t a ,   D o   U M L   o b j e c t   d i a g r a ms   a f f e c t   d e si g n   c o mp r e h e n si b i l i t y ?   R e s u l t f r o m   a   f a mi l y   o f   f o u r   c o n t r o l l e d   e x p e r i me n t s ,   J o u r n a l   o f   Vi su a l   L a n g u a g e s   a n d   C o m p u t i n g ,   v o l .   4 1 ,   p p .   10 2 1 ,   A u g .   2 0 1 7 ,   d o i :   1 0 . 1 0 1 6 / j . j v l c . 2 0 1 7 . 0 6 . 0 0 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci Vo l.  4 1 ,   No .   3 Ma r ch   20 2 6 :   1 0 9 5 - 1 1 0 4   1104   [ 1 0 ]   J.  A .   C r u z - Le m u s,  M .   G e n e r o ,   D .   C a i v a n o ,   S .   A b r a h ã o ,   E.   I n sf r á n ,   a n d   J.  A .   C a r ,   A sses si n g   t h e   i n f l u e n c e   o f   st e r e o t y p e o n   t h e   c o m p r e h e n si o n   o f   U M L   se q u e n c e   d i a g r a ms :   A   f a mi l y   o f   e x p e r i m e n t s,   I n f o rm a t i o n   a n d   S o f t w a re  T e c h n o l o g y ,   v o l .   5 3 ,   n o .   1 2 ,     p p .   1 3 9 1 1 4 0 3 ,   D e c .   2 0 1 1 ,   d o i :   1 0 . 1 0 1 6 / j . i n f so f . 2 0 1 1 . 0 7 . 0 0 2 .   [ 1 1 ]   F .   R i c c a ,   M .   D i   P e n t a ,   M .   T o r c h i a n o ,   P .   T o n e l l a ,   a n d   M .   C e c c a t o ,   H o w   d e v e l o p e r s’   e x p e r i e n c e   a n d   a b i l i t y   i n f l u e n c e   w e b   a p p l i c a t i o n   c o m p r e h e n si o n   t a s k s u p p o r t e d   b y   U M st e r e o t y p e s:   A   ser i e s   o f   f o u r   e x p e r i me n t s ,   I EE T ra n sa c t i o n o n   S o f t w a re   En g i n e e ri n g ,   v o l .   3 6 ,   n o .   1 ,   p p .   9 6 1 1 8 ,   J a n .   2 0 1 0 ,   d o i :   1 0 . 1 1 0 9 / TSE . 2 0 0 9 . 6 9 .   [ 1 2 ]   B .   S h a r i f   a n d   J .   I .   M a l e t i c ,   A n   e m p i r i c a l   s t u d y   o n   t h e   c o m p r e h e n si o n   o f   s t e r e o t y p e d   U M L   c l a ss   d i a g r a m   l a y o u t s ,     i n   I EE E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Pr o g r a m   C o m p r e h e n s i o n ,   I EE E ,   M a y   2 0 0 9 ,   p p .   2 6 8 2 7 2 .   d o i :   1 0 . 1 1 0 9 / I C P C . 2 0 0 9 . 5 0 9 0 0 5 5 .   [ 1 3 ]   M .   G e n e r o ,   J.  A .   C r u z - Le m u s,  D .   C a i v a n o ,   S .   A b r a h ã o ,   E.   I n sf r a n ,   a n d   J.  A .   C a r ,   A sses si n g   t h e   i n f l u e n c e   o f   st e r e o t y p e o n   t h e   c o m p r e h e n si o n   o f   U M s e q u e n c e   d i a g r a ms :   A   c o n t r o l l e d   e x p e r i m e n t ,   i n   Mo d e l   D r i v e n   En g i n e e r i n g   L a n g u a g e s   a n d   S y s t e m s v o l .   5 3 0 1   LN C S ,   B e r l i n ,   H e i d e l b e r g :   S p r i n g e r   B e r l i n   H e i d e l b e r g ,   2 0 0 8 ,   p p .   2 8 0 2 9 4 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 7 8 7 5 - 9 _ 2 0 .   [ 1 4 ]   M .   S t a r o n ,   L.   K u z n i a r z ,   a n d   C .   W o h l i n ,   Em p i r i c a l   a ss e ssm e n t   o f   u si n g   st e r e o t y p e t o   i m p r o v e   c o mp r e h e n s i o n   o f   U M m o d e l s :   A   set   o f   e x p e r i me n t s ,   J o u r n a l   o f   S y st e m s a n d   S o f t w a r e ,   v o l .   7 9 ,   n o .   5 ,   p p .   7 2 7 7 4 2 ,   M a y   2 0 0 6 ,   d o i :   1 0 . 1 0 1 6 / j . j s s.2 0 0 5 . 0 9 . 0 1 4 .   [ 1 5 ]   M .   F e l d e r e r   a n d   A .   H e r r m a n n ,   C o m p r e h e n s i b i l i t y   o f   s y s t e m   m o d e l s   d u r i n g   t e s t   d e s i g n :   a   c o n t r o l l e d   e x p e r i m e n t   c o m p a r i n g   U M L   a c t i v i t y   d i a g r a m s   a n d   s t a t e   m a c h i n e s ,   S o f t w a r e   Q u a l i t y   J o u r n a l ,   v o l .   2 7 ,   n o .   1 ,   p p .   1 2 5 1 4 7 ,   M a r .   2 0 1 9 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 1 9 - 0 1 8 - 9407 - 9.   [ 1 6 ]   S .   A b r a h ã o ,   C .   G r a v i n o ,   E.   I n sf r a n ,   G .   S c a n n i e l l o ,   a n d   G .   T o r t o r a ,   A ss e ssi n g   t h e   e f f e c t i v e n e ss   o f   s e q u e n c e   d i a g r a ms  i n   t h e   c o m p r e h e n si o n   o f   f u n c t i o n a l   r e q u i r e me n t s :   R e s u l t f r o m   a   f a mi l y   o f   f i v e   e x p e r i m e n t s,   I EE T ra n s a c t i o n o n   S o f t w a r e   En g i n e e ri n g ,   v o l .   3 9 ,   n o .   3 ,   p p .   3 2 7 3 4 2 ,   M a r .   2 0 1 3 ,   d o i :   1 0 . 1 1 0 9 / TSE. 2 0 1 2 . 2 7 .   [ 1 7 ]   H .   S t ö r r l e ,   O n   t h e   i m p a c t   o f   l a y o u t   q u a l i t y   t o   u n d e r s t a n d i n g   U M L   d i a g r a ms :   S i z e   mat t e r s,   i n   M o d e l - D ri v e n   En g i n e e ri n g   L a n g u a g e s   a n d   S y s t e m s ,   v o l .   8 7 6 7 ,   2 0 1 4 ,   p p .   5 1 8 5 3 4 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 1 1 6 5 3 - 2 _ 3 2 .   [ 1 8 ]   B .   S h a r i f ,   Em p i r i c a l   a ss e ssm e n t   o f   U M c l a ss  d i a g r a l a y o u t b a s e d   o n   a r c h i t e c t u r a l   i m p o r t a n c e ,   i n   I E EE  I n t e r n a t i o n a l   C o n f e re n c e   o n   S o f t w a r e   M a i n t e n a n c e ,   I C S M ,   I EEE,   S e p .   2 0 1 1 ,   p p .   5 4 4 5 4 9 .   d o i :   1 0 . 1 1 0 9 / I C S M . 2 0 1 1 . 6 0 8 0 8 2 8 .   [ 1 9 ]   F .   J.   S h u l l ,   J .   C .   C a r v e r ,   S .   V e g a s,   a n d   N .   J u r i s t o ,   T h e   r o l e   o f   r e p l i c a t i o n s   i n   Emp i r i c a l   S o f t w a r e   E n g i n e e r i n g ,   Em p i ri c a l   S o f t w a re  En g i n e e ri n g ,   v o l .   1 3 ,   n o .   2 ,   p p .   2 1 1 2 1 8 ,   A p r .   2 0 0 8 ,   d o i :   1 0 . 1 0 0 7 / s1 0 6 6 4 - 008 - 9 0 6 0 - 1.   [ 2 0 ]   A .   B r o o k s,  M .   R o p e r ,   M .   W o o d ,   J .   D a l y ,   a n d   J.   M i l l e r ,   R e p l i c a t i o n r o l e   i n   s o f t w a r e   e n g i n e e r i n g ,   i n   G u i d e   t o   A d v a n c e d   Em p i r i c a l   S o f t w a r e   E n g i n e e ri n g ,   L o n d o n :   S p r i n g e r   Lo n d o n ,   2 0 0 8 ,   p p .   3 6 5 3 7 9 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 8 4 8 0 0 - 0 4 4 - 5 _ 1 4 .   [ 2 1 ]   L.   B r i a n d   a n d   Y .   La b i c h e ,   A   U M L - B a se d   A p p r o a c h   t o   S y s t e Te s t i n g ,   S o f t w a r e   a n d   S y st e m s   Mo d e l i n g ,   v o l .   1 ,   n o .   1 ,     p p .   1 0 4 2 ,   S e p .   2 0 0 2 ,   d o i :   1 0 . 1 0 0 7 / s 1 0 2 7 0 - 0 0 2 - 0 0 0 4 - 8.   [ 2 2 ]   B .   D o b i n g   a n d   J.  P a r so n s,   H o w   U M i u se d ,   C o m m u n i c a t i o n o f   t h e   A C M ,   v o l .   4 9 ,   n o .   5 ,   p p .   1 0 9 1 1 3 ,   M a y   2 0 0 6 ,     d o i :   1 0 . 1 1 4 5 / 1 1 2 5 9 4 4 . 1 1 2 5 9 4 9 .   [ 2 3 ]   A .   N .   O p p e n h e i m,   Q u e st i o n n a i re  d e si g n   a n d   a t t i t u d e   m e a su r e m e n t .   O x f o r d ,   En g l a n d :   B a si c   B o o k s,  1 9 6 6 .   [ 2 4 ]   C .   W o h l i n ,   P .   R u n e so n ,   M .   H o s t ,   M .   C .   O h l s so n ,   B .   R e g n e l l ,   a n d   A .   W e ssl e n ,   E x p e ri m e n t a t i o n   i n   s o f t w a re  e n g i n e e r i n g :     An   i n t r o d u c t i o n ,   n o .   2 .   2 0 0 0 .   d o i :   1 0 . 1 0 1 6 / s 0 8 9 8 - 1 2 2 1 ( 0 0 ) 9 0 2 0 3 - 7.   [ 2 5 ]   G N U   P S P P   S t a t i st i c a l   A n a l y si S o f t w a r e ,   V e r s i o n   2 . 0 . 1 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / l i s t s. g n u . o r g / a r c h i v e / h t ml / i n f o - g n u / 2 0 2 4 - 0 3 / ms g 0 0 0 0 4 . h t ml   [ 2 6 ]   D .   J.   K r u s   a n d   P .   H .   K r u s ,   L o st :   M c C a l l s   sc o r e s:   W h y ? ,   E d u c a t i o n a l   a n d   Ps y c h o l o g i c a l   M e a s u rem e n t ,   v o l .   3 7 ,   n o .   1 ,     p p .   2 5 7 2 6 1 ,   A p r .   1 9 7 7 ,   d o i :   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 7 7 0 3 7 0 0 1 3 4 .       B I O G RAP H I E S O F   AUTH O RS       Ar ia d Nug r o h o           is  a   se n io re se a rc h e a n d   lec tu re a th e   De p a rtme n o f   Co m p u ter   S c ien c e ,   BINU S   G ra d u a te  P r o g ra m ,   B in a   N u sa n tara   U n iv e rsit y ,   Ja k a rta,   I n d o n e sia .   He   h o l d a   P h . D.  d e g re e   i n   C o m p u ter  S c ien c e   fr o m   Lei d e n   U n iv e rs it y ,   wh e re   h e   sp e c ialize d   i n   m o d e l - d ri v e n   s o ftwa re   d e v e l o p m e n t.   His  re se a rc h   sp a n e m p i rica so ftwa re   e n g i n e e rin g ,   so ftwa re   a rc h it e c tu re ,   a n d   tec h n i c a d e b m a n a g e m e n t.   Wi t h   a   c a re e th a b rid g e a c a d e m ia  a n d   in d u str y ,   Aria d b ri n g a   u n i q u e   c o m b i n a ti o n   o sc h o larly   ri g o a n d   re a l - wo rl d   in si g h t.   He   is  th e   fo u n d e a n d   CEO  o f   KED  Co n su lt i n g   ( k e d - c o n su lt i n g . c o m ),   a   Ja k a rta - b a se d   a d v iso r y   firm  th a h e lp o rg a n iza ti o n a li g n   tec h n o lo g y   stra teg ies   with   b u si n e ss   g o a ls.  P ri o t o   th is,  h e   h e ld   se n io IT  lea d e rsh i p   ro les   a c ro ss   th e   c o n su lt in g ,   b a n k in g ,   a n d   tele c o m   se c to rs,  g iv in g   h im   h a n d s - o n   e x p e rien c e   in   a rc h it e c ti n g   a n d   m a n a g i n g   c o m p lex   sy s tem in   d y n a m ic  b u sin e ss   e n v iro n m e n ts.  Aria d is  a   m e m b e o IEE a n d   IEE C o m p u ter  S o c iety .   He   c a n   b e   re a c h e d   a t   a riad i. n u g r o h o @b i n u s.a c . id .         Mi c h e R.V  Ch a u d r o n           is  F u l P ro fe ss o r   a n d   Ch a ir   o f   th e   S o f t wa re   En g i n e e rin g   g ro u p   a t h e   TU  Ei n d h o v e n   wh i c h   is  p a rt  o f   th e   De p a rtme n o M a th e m a ti c a n d   Co m p u ter   S c ien c e .   P ri o to   th is,  h e   wo rk e d   a t   Un i v e rsiti e i n   G o th e n b u r g   (Ch a lme rs|G U),  Leid e n   a n d   Ei n d h o v e n   i n   th e   Ne th e rlan d s.  He   o b tain e d   h is  P h . D.  i n   th e   a r e a   o fo rm a m e th o d a n d   p ro g ra m m in g   c a lcu li   f o p a ra ll e c o m p u ti n g .   His res e a rc h   in tere sts a re   in   so ftwa re   a rc h it e c tu re ,   so ftwa re   d e sig n ,   so ftwa re   m o d e li n g   with   a   sp e c ial  fo c u o n   UM L ,   so ftwa re   c o m p o siti o n   a n d   k n o wle d g e   s h a ri n g .   Re c e n tl y ,   u se   o AI (Arti ficia In telli g e n c e fo S o ftwa re   De v e lo p m e n t.   He   h a a n   i n tere st  in   e m p iri c a stu d i e in   so ftwa re   e n g in e e rin g   e sp e c ially   i n   t h e   a fo re m e n ti o n e d   a re a a n d   p re fe ra b ly   i n   in d u stri a c o n tex ts.  He   su p p o rts  se v e ra c o n fe re n c e a n d   jo u r n a ls   in c lu d in g   (C o n f:)   ICS E ,   M OD EL S   a n d   E u ro m icr o   S EAA,  F AM ECS a n d   (J n l: )   S o S y M   a n d   Emp iri c a S t u d ies   i n   S o ftwa re   En g in e e rin g   (E M S E).   He   h a g iv e n   tu to rials   a n d   g u e st  lec tu re s   o n   S o f twa re   Arc h it e c tu re   De sig n   a n d   M o d e li n g   a we ll   a o n   Emp i rica S o ft wa re   E n g i n e e rin g   Re se a rc h   M e th o d s a s g u e st l e c tu r e in   (o . a . S p a i n ,   T u n e sia ,   F ra n c e ,   F in lan d ,   S l o v a k ia a n d   T h e   Ne th e rlan d s.  He   c a n   b e   re a c h e d   a m . r. v . c h a u d r o n @t u e . n l .     Evaluation Warning : The document was created with Spire.PDF for Python.