I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   20 ,   N o .   1 O c t o be r   20 20 ,   pp .   454 ~ 46 4   IS S N :   25 02 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 20 .i 1 . pp   454 - 46 4       454       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A ssi st e d   l e a r n i n g   of   C   p r o g r a m m i n g   t h r o u g h   a u t o m a t e d   p r o g r a m   r e p a i r   a n d   f e e d - b a c k   g e n e r a t i o n       S ar a   M e r n i s s i   A r i fi ,   R a c h i d   B e n   A b b ou ,   A z e d d i n e   Zah i     I nt e l l i g e n t   S y s t e m s   &   A ppl i c a t i o ns   L a bo r a t o r y ,   U S M B A ,   M o r o c c o       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e d   J a n   27 ,   2 020   R e v i s e d   A pr   3 ,   2020   A c c e pt e d   A p r   1 8 ,   2020       P r o g r a m m i ng   c o ur s e s   a r e   a m o ng   a l l   t he   c ur r e n t   a c a de m i c   c ur r i c ul a   f o r   e ng i ne e r i ng   s t ud i e s .   U nf o r t un a t e l y ,   s t ud e nt s   o f t e n   f a c e   di f f i c ul t i e s   a l r e a dy   on   t he   ba s i c   c o nc e pt s .   B o t h   s t ude nt s   a nd   t e a c he r s   be l i e v e   t ha t   pr a c t i c a l   s e s s i o ns   a nd   g ui d e d   l e a r ni ng   l e a d   to   g oo d   o ut c o m e s .   On   t h e   o t he r   ha n d,   it   is   v i r t ua l l y   di f f i c ul t   c o ns i d e r i ng   t h e   num b e r   of   s t ude n t s   e n r o l l e d   on   pr o g r a m m i ng   c o ur s e s .   T h i s   pa pe r   p r e s e n t s   an   a u t o m a t e d   a s s e s s m e nt   s y s t e m   f o r   pr o g r a m m i ng   a s s i g nm e nt s ,   ba s e d   on   t w o   di f f e r e nt   m e t ho ds :   s t a t i c   a n d   dy na m i c   a na l y s i s .   T he   pr e s e nt e d   s y s t e m   a i m s   at   pr o v i di ng   t he   s t u de nt   w i t h   an   o ng o i ng   a nd   v a r i o us   f e e d ba c k   d e l i v e r e d   a c c o r di ng   to   t he   c a t e g o r y   a nd   t h e   r e c ur r e nc e   of   e r r o r s .   T he   s y s t e m   i m be d s   an   a ut o m a t e d   e r r o r   r e p a i r i ng   f e a t ur e   f o r   t he   p ur po s e s   of   i ns ur i ng   t h e   a s s e s s m e nt   pr o c e s s   a c hi e v e m e n t .   It   o pe r a t e s   if   t he   s t ud e nt   f a i l s   to   s ubm i t   a   c o r r e c t   pr o g r a m   de s p i t e   t he   f e e d - ba c k   pr o v i de d   by   t he   s y s t e m .   In   s uc h   c a s e s ,   t he   s y s t e m   us e s   a   pe n a l t y   m e c ha ni s m ,   c us t o m i z e d   by   t he   t e a c he r   to   g r a d e   t he   s t ud e n t s   p r o g r a m .   T e s t i ng   t he   pr e s e n t e d   a u t o m a t e d   s y s t e m ,   t hr o ug h   a s s e s s i ng   r e a l   s t ude n t s   a s s i g nm e nt s ,   s ho w e d   p r o m i s i ng   r e s u l t s   c o m pa r e d   to   m a nu a l   a s s e s s m e nt .   Ke y w or d s :   A s s i s t e l e a rni n g   E rr o r s   a u t o - r e pa i r   F e e d - b a c k   P r o gra m   a s s e s s m e n t   C opy r i gh t   ©   2020   I n s t i t ut e   of   A dv anc e d   E ng i ne e r i ng   and   S c i e nc e .   A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   S a ra   M e rni s s i   A ri f i ,   Int e l l i ge nt   S y s t e m s   &   A ppl i c a t i o n s   L a b o r a t o r y ,   U S M B A ,   M o r o c c o .   E m a i l :   s m e rn i s s i @ h o t m a i l . c o m       1.   I N TR O D U C TI O N     M o s t   s c i e n c e ,   m a t h e m a t i c s ,   e n g i n e e r i ng,   a nd  t e c hn o l o g y   pro gr a m s   e xpe c t   f r o m   s t ude n t s   t o   a c qui r e   pr o g r a m m i n g   s ki l l s   a s   a   p a r t   o f   t h e i c urri c ul a .   A   u ni v e r s a l   e xpe c t a t i o i s   t ha t   t h e   s t ude nt   s h o ul d   l e a rn  t h e   pr o c e s s   of  s o l v i n p r o b l e m s   i n   c o m put e r   s c i e n c e   do m a i n   t hr o ug h   p r o duc i n c o rr e c t   pr o g r a m s   t h a t   c o m pi l e   a n b e ha v e   a s   e xpe c t e d   [1] .   L a h t i n e n ,   A l a - M ut k a ,   &   J ä r v i ne n   [2]   pe r c e i v e i n   t h e i r   s t u dy   t h a t   b o t h   s t ude nt s   a n t e a c h e r s   a g r e e t ha t   p r a c t i c a l   l e a rn i ng  s i t ua t i o n s   w e re   t h e   m o s t   us e f ul .   I m m e di a t e   f e e d b a c dur i ng  pr o b l e m   s o l v i n g   ha s   p r o v e n   us e f ul   [3] .   H ow e v e r ,   i t   i s   v i r t u a l l y   di ff i c ul t   due   t o   t i m e   c o n s t r a i n t s   a nd  c o m m o n   c o ur s e s   s i z e s .   A ut o m a t e p r o g r a m   a s s e s s m e n t   t o o l s   h a ve   c on s i de ra b l e   a dv a n t a ge s   t hr o ug h   p r o v i di n g   t i m e l y   f e e d - b a c k   [4] .   S e ve r a l   t o o l s   h a v e   e m e r ge i n   t h e   f i e l of   a ut o m a t e p r o g r a m   a s s e s s m e nt   [5] .   T h e   r e v i e w   b y   Ca i z a   [ 6]   p r e s e n t s   a n   i nt e r e s t i n o v e r v i e w   of   t h e   s y s t e m s   de v e l o pe f o r   a ut o m a t e g r a d i n o f   pr o gra m m i ng  a s s i g n m e nt s   ov e r   t h e   l a s t   f o r t y   y e a r s .   R e c e n t   r e s e a r c h   i s   m o r e   f oc us e d   o n   f e e d - b a c g e n e ra t i o n   a n i s   a w a r e   of   t h e   ke y   pa rt   i t   p l a y s   i n   t h e   s t ude nt ‟s   l e a rni n g   p r o c e s s   [7 10] .   T w o   m a i a pp r o a c h e s   w e r e   a do pt e t o   a dd r e s s   t h e   f e e d - b a c i s s ue   i n   a ut o m a t e a s s e s s m e n t   o f   pr o gra m m i n g   a s s i g n m e nt s .   T h e   f i r s t   a p p r o a c h   i s   b a s e o n   t h e   c o m pi l e r   m e s s a ge s ,   s i n c e   t h e y   a r e   t h e   f i r s t   f e e d - b a c t h e   s t ude n t   r e c e i v e s .   H ow e ve r   [11]   s t a t e s   t ha t   n o v i c e s   c a n   s t ruggl e   t o   d e a l   w i t h   s t a n d a r c o m pi l e r   m e s s a ge s ,   w h i c h   c a n   b e   v a gue   o r   n o t   a c c ur a t e l y   de s c r i b i n t h e   e rr o i n   t h e i r   c o d e .   H e n c e ,   m a ki ng  c o m pi l e r   m e s s a ge s   m o r e   s ui T a b l e   f o r   n o v i c e s   w a s   pe r fo r m e i n   [12] .   It   c o n s i s t s   o f   r e w r i t i n t h e   c o m pi l e r   m e s s a ge s   i n   l a y m a n   t e rm s   a n a ddi ng  m o r e   e l a b o r a t i o n   t o   t h e m .   I n   [13] ,   a   r e c o gn i z e r   p a r s e s   bo t h   t h e   s ub m i t t e s o ur c e   c o de   a n t h e   r a w   c o m pi l e r   m e s s a ge s ,   t o   f i n o ut   t h e   e rr o r   t y pe .   T h e   pr o v i de fe e d - b a c c o n s i s t s   of   r e po r t i n t h e   s y n t a e rr o r ‟s   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A s s i s t e d   l e ar n i ng  of   pr ogr am m i ng   t hr o ugh   aut om at e pr o gr am   r e pa i r   …  ( Sar Me r n i s s i   A r i f i )   455   t y p e   t h a t   h a s   b e e n   r e c o gn i s e d,   a nd  a   v e r s i o n   w i t h   h i g h l i g h t e d   c o r r e c t e l i n e s   i n   t h e   c o de .   T h e   m a i n   l i m i t a t i o n   of   t h i s   a pp r o a c h   i s   t ha t   i t   do e s   n o t   a ddr e s s   t h e   po s s i b l e   i n a c c ur a c y   of  t h e   c o m pi l i n r e po r t s   a n c o ul f a i l   t pr o v i de   us e f ul   f e e d - b a c e v e n   w i t a ddi t i o na l   e l a b o r a t i o n .     T h e   s e c o n a pp r o a c h   i s   b a s e o n   s t a t i c   a na l y s i s   of  un c o m pi l a b l e   pr o gra m   c o de .   W a t s o n ,   L i ,   &   L a u   [14]   us e   a   d a t a b a s e   of   c o m m o n   e rr o r s   t o   ge n e r a t e   t hr e e   ki nds   of   fe e d b a c f o r   J a v a   pr o g r a m s .   T h e   f i r s t   i s   a n   e xpl i c i t   f e e d - b a c m a de   of   p o s s i b l e   c a us e s   l i n ke t o   t h e   c l a s s   i n   w h i c h   t h e   e rr o r   w a s   i de n t i f i e i n   t h e   da t a b a s e .   T h e   s e c o n i s   a n   i m pl i c i t   c o rr e c t i v e   fe e d - b a c w hi c h   c o n s i s t s   o f   pe r fo r m i ng  r e pl a c e m e n t s   o f   t h e   e rr o n e o us   t o ke n ,   r e t ri e v e f r o m   a   ra n ke l i s t   o f   s ub s t i t ut i o n s   o r de r e by   l e a s t   L e v e n s h t e i n   d i s t a n c e ,   u nt i l   t h e   e l i m i na t i o n   o f   t h e   e rr o r ,   o nl y   i n   t h e   c a s e   of   a   „c a nn o t   f i n s y m b o l ‟  e r r o r.   T h e   t h i rd  i s   a   l o gi c   l e v e l   c o rr e c t i v e   f e e d - b a c w h i c h   c o n s i s t s   o f   s ugge s t i n s o l ut i o n s   t ha t   ha v e   s t r uc t u ra l   s i m i l a ri t y   t o   t h e   s t ude n t ‟s   c o de .   S t ruc t u r a l   s i m i l a r i t y   i s   m e a s ur e us i n a   t r e e - b a s e a ppr o a c a n t h e   e di t - di s t a n c e   a l go ri t hm .   T h e   m a i n   i s s ue   of   t h i s   m e t h o i s   t ha t   i t   c a n   b e   a ppl i e t o   a   l i m i t e c o l l e c t i o n   of   e r r o r s .   I n   a dd i t i o n,   t h e   a c c ura c y   o fe e d - b a c k   i s   a f f e c t e by   t h e   a c c u r a c y   of   t h e   c o m pa ri s o n   m e t h o d.     W i t h i n   t h i s   p a pe r   w e   pr e s e n t   CL A A S ,   a   C   L a ngua ge   A ut o m a t e A s s e s s m e n t   S y s t e m   w h i c h   m a ke s   a   s y n e r gy   of   e n ha n c e t ra n s c ri pt i o n s   o f   bo t h   d i s c us s e a pp ro a c h e s   [15] .   T hus ,   s t a t i c   a n a l y s i s   i n   CL A A S   i s   b a s e o n   a   s e m a nt i c   s i m i l a r i t y   m e a s ur e m e n t   w h i c h   i n s u r e s   s a t i s f a c t o r y   pr e c i s i o n   i n   t h e   f i e l o pr o gr a m s ‟  s i m i l a ri t y   de t e c t i o n   [16] .   S e m a nt i c   s i m i l a r i t y   i s   us e i C L A A S   t o   pr o v i de   a   f e e d - b a c t ha t   c o n s i s t s   o t r a c ki ng  t h e   e rr o n e o us   o r   m i s s i ng  pa r t s   i n   t h e   c o de   a n a s s i s t s   t h e   s t ude nt   i n   w ri t i ng  a   c o m pl e t e   a n a   go o d   qua l i t y   pr o gr a m .   O n   t h e   o t h e r   ha n d ,   dy n a m i c   a n a l y s i s   i n   CL A A S   i s   b a s e o n   t h e   c o m pi l e r   r e po r t s ,     e rr o r s   c a t e go ri z a t i o n ,   b ut   a l s o   o n   t h e   e rr o r   r e c u rr e n c e .   T hi s   m a ke s   t h e   p r o v i de f e e d - ba c pr o gr e s s i v e   a n c o n t i n uo us   t hr o ug h   a l l   t h e   a s s e s s m e n t   p r o c e s s   t a ddr e s s   c o m pi l i ng  e rr o r s .   B e s i de s   t h e   v a r i o us   fe e d - b a c k   ge n e ra t e t hr o ug h   s t a t i c   a nd  dy n a m i c   a na l y s i s ,   a   c o rr e c t i o n   u ni t   w a s   i m pl e m e nt e i n   CL A A S   t o   pr e v e n t   s t ude nt s ‟  di s c o ur a ge m e n t   t o w a r d s   pe r s i s t e n t   c o m pi l i ng  e rro r s   [17] .   T hi s   e n s u r e s   t h e   a c h i e v e m e n t   o t h e   pr o g r a m   a s s e s s m e n t   p r o c e s s   a n d   s o   t h e   f e e d - b a c ge n e ra t i o n   t hr o ugh  f urt h e r   a s s e s s m e n t   s t a ge s .       2.   A P P R O A C H   F i gu r e   1   p r e s e n t s   t h e   o v e r a l l   a r c h i t e c t ur e   of   t h e   p r o po s e d   a ut o m a t e d   a s s e s s m e n t   s y s t e m .   A   h y b r i d   s y s t e m   b a s e d   on   t w o   di ff e r e n t   a na l y s i s   m e t h o ds   to   a s s i s t   s t u d e n t s   t hr o ug h   a   v a ri o us   a n d   e l a b o r a t e   f e e d b a c k.           F i gu r e   1 .   CL A A S   a r c hi t e c t u r e       2. 1 .      F e e d b ac k   th r o u gh   d yn am i c   an al ys i s   of   p r o gr am s   in   C LA A S   D y n a m i c   a na l y s i s   of   pr o gra m s   c o n s i s t s   of   e xe c ut i n g   t h e   a s s e s s e d   pr o gr a m   us i n g   a   s e t   of   t e s t - c a s e s   c o m pos e d   e a c h   of   i n pu t   d a t a   a nd   t h e   e xpe c t e d   o ut put s   to   c h e c k   t h e   p r o g r a m   b e h a v i o r   in   d i f fe r e nt   c o n t e xt s .   O ut put s   m a t c h i ng  i n   CL A A S   i s   pe r f o r m e us i n r e gul a r   e xp r e s s i o n s   t o   a vo i t e xt ua l   c o m pa r i s o n.     In  a dd i t i o n,   t h e   g r a d i n f o r m ul a   i s   c us t o m i z a b l e   t hr o ugh  a s s i gni n di f f e r e n t   w e i g h t s   by   t h e   t e a c h e r   t o   t h e   t e s t - c a s e s   t o   e xpr e s s   t h e   m a r k i n s c h e m e   o f   t h e   e xe r c i s e .   T he   e nh a n c e dy n a m i c   a n a l y s i s   m e t h o a do pt e i CL A A S   i n   c o m pa ri s o n   t o   o t h e r   p r o g r a m   a s s e s s m e n t   s y s t e m s   w a s   di s c us s e i n   a   p r e v i o us   w o r k   [15] .   D y n a m i c   a na l y s i s   m e t h o f o r   p r o g r a m   a ut o m a t e a s s e s s m e n t   a s   s h o w n   i n   F i gu r e   2 .   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   1 O c t o b e r   20 20  :   4 54   -   46 4   456       F i gu r e   2.   D y n a m i c   a n a l y s i s   m e t h o d   for   p r o g r a m   a u t o m a t e d   a s s e s s m e n t       2. 1 . 1.   F e e d - b a c k   in   th e   c as e   of   c o m p i l ati o n   fai l u r e   T h e   c o m pi l e r   m e s s a ge s   a r e   t h e   f i r s t   a ut o m a t e d   f e e d - b a c k   r e c e i v e d   by   t h e   s t ude n t .   W h e n   s t ude n t s   f a c e   c o m pi l i n g   e rr o r s ,   t h e y   of t e n   r e que s t   t h e   h e l p   of   t h e   t e a c h e r   or   t h e   a s s i s t a n t   [18] .   A l t h o ug h   D e b uggi n g   is   a   ke y   pr o gr a m m i n g   s ki l l ,   m a n y   n o v i c e s   c a n   s t ruggl e   w i t h   a m b i guo us   a n d   u n s pe c i f i c   c o m pi l e r   m e s s a ge s   due   to   t h e i r   l a c k   of   e xpe r i e n c e   in   p r o g r a m m i n g   f i e l d   [19 ] .   W he n   d y na m i c a l l y   a na l y z i ng   a   p ro g ra m ,   t he   s y s t e m   re t u r ns   a   p r o g re s s i v e   f e e d - b a c k   a c c o rd i ng   to   t he   t y pe   a nd   t he   re c u rre nc e   of   a   c o m p i l i ng   e r ro r.   T he re f o re ,   a   b a s e   of   c o m m o n   e rro rs   m a d e   by   no v i c e   p ro g ra m m e rs   in   C   l a ng u a g e   l e a r ni ng   w a s   d e s i g ne d   a nd   f e d   t hro u g h   m a nu a l   a nd   a u t o m a t e d   a s s e s s m e nt   of   re a l   s t u d e nt s   p ro g ra m s   u s i ng   C L A A S   [17] .   T he   c o l l e c t e d   e rro rs   w e re   c l u s t e re d   w i t hi n   d i f f e re nt   c a t e g o ri e s   p re s e nt e d   in   T a b l e   1.       T a b l e   1.   E xa m p l e s   of   c a t e go r i e s   i t h e   e rr o r   b a s e   of   CL A A S   E rro r   c a t e g o ry   E x a m p l e s   of   e rr o r s   M i s s p e l l i n g   e rro r s   E rro r s   in   t h e   n a m e s   of   t h e   l a n g u a g e   f u n c t i o n s   S y m b o l   e rr o r s   A   m i s s e d   or   a d d e d   s e m i - c o l o n ,   a   m i s s e d   &   in   s c a n f ,   m i s s e d   :   a f t e r   c a s e ,   e t c .   Ca s t i n g   e rr o r s   T y p e   c o n v e r s i o n   H e a d e r   e r ro r s   A   m i s s e d   # i n c l u d e < < s t d i o . h > > ,   e t c .   O p e ra t o r s   e rro r s   &   i n s t e a d   of   & & ,   =   i n s t e a d   of   ++,   e t c .   V a ri a b l e   e rr o r s   U n d e c l a r e d   or   u n i n i t i a l i z e d   v a ri a b l e ,   e t c .   L o o p   e rro r s   E rro r   in   a   l o o p   s t ru c t u re .   Co n t r o l   e rr o r s   M i s s i n g   b re a k   in   s w i t c h ,   e t c .       To   e n s u r e   p r o g r e s s i v i t y   in   f e e d - b a c k   ge n e ra t i o n,   t h e   e v a l u a t o r   a s s i g n s   a   t hr e s h o l d,   a n d   a   c o upl e   of   f e e d b a c ks   fo r   e a c h   c a t e go r y .   T h e   f i r s t   o n e   is   de l i v e r e d   w h e n   t h e   num b e r   of   oc c ur r e n c e   of   e r r o r s   b e l o n gi n g   to   t h e   s a m e   c a t e go r y   is   l ow e r   t h a n   t h e   t hr e s h o l d,   o t h e r w i s e ,   t he   s e c o n d   a n d   m o r e   de t a i l e d   f e e d b a c k   is   r e t u rn e d   to   t h e   s t ude n t .   F e e db a c k   c o ul d   be   a   s i m pl e   m e s s a ge   or   a   l i nk   to   a   c ha pt e r ,   a   do c um e n t ,   a   w e b   pa ge ,     an   e xe r c i s e ,   e t c .   T h e   e xpe ri e n c e   of   t h e   t e a c h e r   in   p r o g r a m m i n g   t e a c h i ng   a n d   p r o g ra m s   a s s e s s i n g   pl a y s   an   i m po rt a nt   r o l e   w h e n   p r e di c t i ng   t h e   e rr o r s   a nd   t h e   pl a u s i b l e   c a us e s   for   e a c h   e xe r c i s e   to   d e f i n e   t h e   c o r r e s po n di ng   c o rr e c t i v e   fe e d b a c k.   A l t h o ugh   t h e   e rr o r   b a s e   in   CL A A S   i n c l ude s   t h e   m o s t   c o m m o n   e rr o r s   m a de   by   n ov i c e   s t ude n t s   in   C   p r o gra m m i n g ,   it   is   c o n t i n uo us l y   e xpa ndi n g   t hr o ug h   t h e   e m e r ge n c e   of   n e w   e rr o r s   a dde d   by   e v a l ua t o r s   t hr o ug h o ut   t h e   us e   of   CL A A S .       E xa m pl e 1 :   c o m pi l e r   m e s s a ge   in   t h e   c a s e   of   m i s s pe l l i ng   e rr o r       T he   c o m p i l e r   u s e d   in   C L A A S   is   C l a ng ,   an   o p e n   s o u rc e   C   a nd   C - l i k e   l a ng u a g e   c o m p i l e r .   T he   re p o rt s   re t u r ne d   by   C l a ng   a re   a i m e d   to   be   de t a i l e d ,   s pe c i f i c   a nd   e x p re s s i v e ,   as   w e l l   as   m a c hi ne - re a d a b l e   [20] .     In   e x a m p l e   1 ,   a c c o rd i ng   to   t he   c o m p i l e r,   t he   p ro b l e m   is   t he   i nv a l i d   d e c l a ra t i o n   of   a   f u nc t i o n.   F o r   a   no v i c e   s t u d e nt   in   p ro g r a m m i ng ,   t hi s   m e s s a g e   is   a m b i g u o us   a nd   do es   no t   e x p l a i n   t he   e r ro r   a nd   t he   ne c e s s a r y   f i xe s .   C L A A S   re p o rt s   a   s i m i l a ri t y   b e t w e e n   t he   t o k e n   p ri nf t   in   t he   c o m p i l e r   m e s s a g e   a nd   a   f u nc t i o n   in   C   l a ng u a g e   a nd   i d e nt i f i e s   t he   e r ro r   w i t hi n   t he   m i s s p e l l i ng   e r ro rs   c a t e go r y   in   t he   b a s e .   H e re ,   t he   f i rs t   f e e db a c k   m a y   c o ns i s t   of   t he   na m e   of   t he   e rro r ‟s   c a t e go r y   w hi l e   t he   s e c o nd   o ne   m a y   w a rn   t he   s t u d e nt   t ha t   t he   w o rd   p ri nf t   is   s i m i l a r   to   a   f u nc t i o n   in   C   l a ng u a g e   or   re d i re c t   t he   s t u d e nt   to   a   s e c t i o n   in   t he   c o u rs e   or   e x e rc i s e s   re l a t e d   to   C   p ro g ra m m i ng   b a s i c s   a s   s ho w i n   F i g u re   3.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A s s i s t e d   l e ar n i ng  of   pr ogr am m i ng   t hr o ugh   aut om at e pr o gr am   r e pa i r   …  ( Sar Me r n i s s i   A r i f i )   457       F i gu r e   3 .   A   f e e d b a c k   e xa m pl e   in   CL A A S   for   a   c o m pi l i ng   e rro r         E xa m pl e 2 :   c o m pi l e r   m e s s a ge   in   t h e   c a s e   of   a   s y m bo l   e r r o r       In   t hi s   e xa m pl e ,   t h e r e   w a s   an   o m i s s i o n   of   t h e   s y m bo l   &   in   t h e   s c a n f   f un c t i o n .   T hi s   e rr o r   is   n o t   de t e c T a b l e   as   a   c o m pi l i n g   e rr o r ,   b ut   t h e   e xe c ut i o n   of   t h e   pr o g r a m   do e s   n o t   pr o duc e   t h e   e xpe c t e d   o ut put s .   N e ve r t h e l e s s ,   u n l i ke   s e ve r a l   o t h e r   c o m pi l e r s ,   Cl a n g   po i n t s   t hi s   as   a   w a rni n g   w hi c h   f l a gs   an   i n c o m pa t i b i l i t y   b e t w e e n   t h e   us e d   v a r i a b l e ‟s   t y pe   a n d   t h e   a r gu m e nt   us e d   in   s c a n f ,   an   a m b i guo us   m e s s a ge   for   t h e   l e a rn e r .     B a s e d   on   t h i s   w a rn i ng   a nd   on   t h e   s c a n f   s i g n a t u r e   in   C   l a ngua ge ,   CL A A S   pe r f o r m s   a   p a r s i n g   i nt o   t h e   e rr o n e o us   po r t i o n   of   t h e   c o de   to   l o c a t e   t h e   e r r o r   a nd   its   c orr e s po n d i n g   c a t e go r y   in   t h e   e r r o r s   b a s e .   In   t h i s   e xa m pl e ,   as   a   f i r s t   f e e d - b a c k,   t h e   t e a c h e r   c o ul d   r e m i n d   t h e   s t ude n t   t ha t   e a c h   a r gu m e n t   in   s c a n f   f un c t i o n   m us t   be   a   m e m o r y   a ddr e s s   w h e r e   t h e   c o n v e r t e d   r e s ul t   is   w r i t t e n .   In   t h e   s e c o n d   m o r e   de t a i l e d   f e e d - b a c k,   he   c o ul d   i n di c a t e   t ha t   &   s y m bo l   s h o ul d   p r e c e de   e a c h   v a r i a b l e   in   s c a n f   in   o r de r   to   m o di fy   h i s   c o n t e n t .     2. 1 . 2.   F e e d - b a c k   in   th e   c as e   o l o gi c al   e r r o r s   T hr o ug h o ut   dy n a m i c   p r o gra m   a n a l y s i s ,   w h e n   t h e   e v a l ua t e d   p r o g r a m   s uc c e e ds   t h e   c o m pi l a t i o n   s t a ge ,   it   is   t h e n   a s s e s s e d   us i n g   t e s t - c a s e s .   A   t e s t - c a s e   f a i l u r e   may   be   due   to   a   l o gi c a l   e rr o r   in   t h e   p r o g r a m ,   w hi c h   o c c ur s   w h e n   t h e   e xe r c i s e   s pe c i f i c a t i o n   is   n o t   r e s pe c t e d.   F or   e xa m pl e ,   w h e n   w r i t i n g   a   C   p r o gra m   to   c h e c k   w h e t h e r   a   num b e r   is   po s i t i v e   or   n e ga t i v e   or   z e r o ,   m o s t   nov i c e s   o m i t   to   c o n s i de r   t h e   c a s e   of   i n pu t   =   0.     T h i s   c a us e s   t h e   f a i l u r e   of   t h e   c o rr e s po n di ng   t e s t - c a s e .   W i t hi n   t h e   e xe r c i s e   c r e a t i o n ,   t h e   t e a c h e r   a s s i g n s   a   f e e d b a c k   to   e a c h   t e s t - c a s e   a c c o r di ng   to   t h e   po s s i b l e   c a us e   of   t h e   t e s t - c a s e   f a i l u r e .   F i gu r e   4   p r e s e n t s   a   pr o po s e d   fe e d b a c k   w h i c h   d ra w s   t h e   a t t e n t i o n   of   t h e   s t u de nt   to   t h e   m i s s e d   p a rt   in   hi s   p r o g ra m .           F i gu r e   1 .   A   f e e d b a c k   e xa m pl e   a f t e r   a   t e s t   c a s e   f a i l u r e   in   CL A A S   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   1 O c t o b e r   20 20  :   4 54   -   46 4   458   2. 2 .      F e e d b ac k   th r o u gh   s tati c   an al ys i s   o p r o gr am s   in   C L A A S   S t a t i c   a na l y s i s   o pr o gra m s   r e f e r s   t o   t h e   pr o c e s s   o e xa m i n i n c o de   w i t h o ut   e xe c ut i n i t   t o   c a pt u r e   t h e   de f e c t s   [21,   22] .   S i m i l a r i t y   a na l y s i s   i s   a   s t a t i c   m e t h o w h i c h   c o n s i s t s   o m e a s ur i ng  s i m i l a ri t y   b e t w e e n   t w pr o g r a m s .   T h i s   m e t h o i s   a do pt e i n   CL A A S   t o   a s s e s s   s u bm i t t e p r o gra m s   a n p r o v i de   a n   e l a b o r a t e   f e e d - b a c fo r   t h e   s t ude n t   a s   s h o w n   i F i gu r e   5   S t a t i c   p r o gra m   a na l y s i s   b a s e o n   s e m a n t i c   s i m i l a r i t y   m e a s ur e m e nt   i s   us e i CL A A S   i n   o r de r   t o   gra de   t h e   s t ude n t   p r o g r a m   a c c o r di n t o   t h e   de gr e e   of  i t s   s i m i l a ri t y   t a   m o de l   pr o gr a m   [23] .   T h us ,   t h e   c o m pa r e p r o g r a m s   a r e   s l i c e i nt o   a   s e t   o f   b l o c s ,   t h e n   e a c h   b l o c   i n   t h e   s t u de nt   p r o gra m   i s   s e que nt i a l l y   c o m pa r e t o   a l l   t h e   b l o c s   i n   t h e   m o de l   p r o gr a m . T h e   pe r f o r m e c o m pa r i s o n s   a r e   b a s e o n   s y m bo l i c   e xe c ut i o n   o ut put s   o f   t h e   b l o c s   i t h e   p r o g ra m s .   T h e s e   c o m pa r i s o n s   ge n e r a t e   s e m a nt i c   s i m i l a ri t y   ra t e s ,   us e i a   w e i ght e f o r m ul a   t o   c a l c ul a t e   t h e   gra de   o f   t h e   e v a l ua t e p r o g r a m .   T h e   gui d i n p ri n c i p l e   b e h i n s e m a nt i c   s i m i l a ri t y   m e a s ur e m e nt   i s   t h a t   t w o   s t r uc t u ra l l y   di ff e r e n t   pr o gra m s   c o ul b e   s e m a n t i c a l l y   e qui v a l e n t .     T h e   gra d i n p r o c e s s   w a s   di s c us s e i n   a   p r e v i o us   w o r k   [16] .   S e m a nt i c   s i m i l a r i t y   m e a s ur e m e nt   i s   us e t o   a s s i s t   t h e   s t u de nt   i n   i de n t i fy i n t h e   e rr o r s   i n   t hr e e   di f f e r e n t   c a s e s .   a)   Ca s e   n ° 1 :   T h e   b l o c s   h a v i ng   a   l o w   s i m i l a r i t y   de gr e e   a r e   m a i n l y   s us pi c i o us .   T h e r e f o r e ,   t h e y   a r e   f l a gge d   to   be   c h e c ke d   by   t h e   s t u de nt s   for   e rr o r s   de t e c t i o n .     b)   Ca s e   2:   S e m a n t i c   s i m i l a r i t y   m e a s ur e m e nt   s e r v e s   as   w e l l   to   de t e c t   de a d   c o de   in   t h e   s t ude nt   p r o g r a m   w h e n   t h e   e v a l u a t e d   p r o g r a m   h a s   a   f ul l   m a r k,   a n d   a   b l o c   s h o w e d   no   s i m i l a ri t y   to   n o n e   of   t h e   b l o c s   in   t h e   m o de l   pr o gra m   t hr o ug h   a l l   t h e   pe r f o r m e d   c o m pa ri s o n s .   T hi s   b l oc   is   t h e n   i de n t i f i e d   as   unn e c e s s a r y ,     a n d   t h e   r e t u rn e d   f e e d - b a c k   s ugge s t s   its   r e m ov a l   f r o m   t h e   s t ude nt   p r o gra m .   S uc h   f e e d - b a c k   a s s i s t s   t h e   s t ude nt   in   a c qui ri n g   go o d   ha b i t s   for   w r i t i ng   o pt i m i z e d   c o de .   c)   C a s e   3 :   T hro u g h   a s s e s s i ng   l a rge   nu m b e r s   of   a s s i g nm e nt s ,   we   n o t i c e d   t ha t   s t u de nt s   f r e que nt l y   s ub m i t   i n c o m pl e t e   p r o g ra m s .   U s i ng   s e m a nt i c   s i m i l a ri t y   m e a s u r e m e nt ,   we   can   de t e c t   i nc o m p l e t e   p r o g ra m s ,   w h e n   a   b l o c   in   t h e   m o de l   p r o g ra m   ha s   no   s i m i l a r   b l o c   in   t h e   s t u de nt   p r o g ra m .   In   t hi s   c a s e ,   t he   f e e d - b a c k   i nf o rm s   t h e   s t ude nt s   t ha t   hi s   p r o g ra m   ne e ds   to   be   c o m p l e t e d   a nd   re t u rn s   t h e   f e e d - b a c k   a s s o c i a t e d   by   t h e   e v a l u a t o r   to   t h e   c o rre s po n d i ng   b l o c   in   t he   m o de l   p r o g ra m   t ha t   s ho u l d   be   a d de d   to   c o m pl e t e   t he   s t u de nt   p r o g ra m .             F i gu r e   5.   S t a t i c   a na l y s i s   m e t h o d   for   p r o g r a m   a s s e s s m e n t   in   C L A A S       L e t ‟s   c o n s i de r   a   p r o g r a m m i n g   p r o b l e m   w h i c h   c o n s i s t s   of   w r i t i ng   a   p r o g r a m   to   c a l c ul a t e   t h e   s um ,   pr o duc t ,   quo t i e n t   or   t h e   di f f e r e n c e   of   t w o   e n t e r e d   n u m b e rs ,   a c c o r di n g   to   t h e   c h o s e n   o pe r a t i o n .   F i gu r e   6   pr e s e nt s   a   m o de l   pr o g r a m   (P M ),   a   s t u de nt   p r o gra m   (P S )   a n d   s e m a n t i c   s i m i l a ri t y   pe r c e n t a ge s   b e t w e e n   t h e   b l oc ks   in   PM   a nd   PS.   In   CL A A S ,   t h e   e v a l ua t o r   a s s i g n s   a   fe e d - b a c k   to   t h e   b l o c s   of   t h e   m o de l   pr o gra m s .     T he   b l oc   A6   in   t h e   m o de l   pr o gra m   ha v e   no   s i m i l a r   b l o c   in   t h e   e v a l ua t e d   p r o gra m .   T h i s   b l o c   h a n dl e s   t h e   c a s e   of   a   di v i s i o n   by   z e r o .   In   t hi s   c a s e ,   t h e   f e e d - b a c k   r e t urn e d   to   t h e   s t ude n t   c o n s i s t s   of   r e po r t i ng   t ha t   t h e   b l o c   c ove r i n g   t h e   di v i s i o n   by   z e r o   is   m i s s e d   in   hi s   p r o gra m .   It   c o ul d   a l s o   r e t urn   t h e   i n s t r uc t i o n s   in   t h e   b l o c   A6   a c c o r di n g   to   t h e   e v a l u a t o r ‟s   s e t t i ng.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A s s i s t e d   l e ar n i ng  of   pr ogr am m i ng   t hr o ugh   aut om at e pr o gr am   r e pa i r   …  ( Sar Me r n i s s i   A r i f i )   459       F i gu r e   6 .   Co n t r o l   f l o w   gr a p h   a n d   s i m i l a ri t y   r a t e s   b e t w e e n   a   m o de l   a n d   a   s t u de nt   p r o g r a m       2. 3 .      C o m p i l i n g   e r r o r s   au to - r e p ai r   Co m pi l i ng   e rr o r s   a r e   f r e que nt l y   c o m m i t t e d   by   s t ude n t s .   T h e y   a r e   t h e   e a s i e s t   to   f i x,   h o w e ve r ,   s t ude nt s   f a c e   di ff i c ul t i e s   a n d   s pe n d   a   l o n g   t i m e   to   de t e c t ,   l o c a l i z e   a nd   f i x   t h i s   ki nd   of   e rr o r s   [24 ,   25] .     M o s t   s t ude n t s   s ub m i t   u n c o m pi l a b l e   pr o gra m s   w h i l e   b a s e d   on   c o rr e c t   a l go ri t hm s .   A u t o m a t e d   r e pa i ri n g   of   e rr o r s   c o n s i s t s   f i r s t   of   t h e i r   de t e c t i o n   a nd   l o c a l i z i n g .   It   is   a c t i v a t e d   a f t e r   s e v e r a l   a t t e m pt s   m a de   by   t h e   s t ude nt   to   s ub m i t   a   c o m pi l e d   p r o gra m .   T h e   n u m b e r   of   a ut h o ri z e d   r e s ub m i s s i o n s   (n)   is   de f i n e d   by   t h e   t e a c h e r   a m o n g   t h e   e xe r c i s e   p a r a m e t e r s   a s   s h o w n   i n   F i gu r e   7 .           F i gu r e   7.   P r o g r a m   a ut o - r e pa i r   p r o c e s s   in   t h e   c a s e   of   a   c o m pi l i n g   e rr o r       T h e   c o m pi l e r   is   s t i l l   a   s t r o n g   t o o l   fo r   e rr o r s   de t e c t i o n .   T hus ,   t h e   e r r o r s   r e pa i r i ng   is   pe r f o r m e d   by   t h e   c o r r e c t i o n   u ni t   in   CL A A S ,   us i n g   t h e   c o m pi l e r   l o gs   to   pe r fo r m   t h e   n e c e s s a r y   f i xe s   ( F i gur e   7).   T h e   c o r r e c t i o n   uni t   p r e s e nt e d   a b ov e ,   a n a l y s e s   t h e   c o m pi l i n g   r e po r t s   a nd   c o n s i de r s   t h e   f i r s t   r e po r t e d   e rr o r .   To   l o c a l i z e   t h e   e rr o r   in   t h e   s o ur c e   c o de ,   t h e   c o r r e c t i o n   u ni t   pe r f o r m s   s y n t a c t i c a l   pa r s i n g   of   t h e   e rr o n e o us   po r t i o n   in   t h e   c o de ,   b a s e d   on   t h e   n u m b e r   of   t h e   l i n e   c o n t a i n e d   in   t h e   c o m pi l e r   m e s s a ge .   T h e   a u t o m a t e d   r e p a i ri n g   in   CL A A S   is   Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   1 O c t o b e r   20 20  :   4 54   -   46 4   460   pe r f o r m e d   t hr o ug h   an   i t e r a t i v e   pr o c e s s .   H e n c e ,   a f t e r   r e p a i r i ng   t h e   f i r s t   m e s s a ge   in   t h e   c o m pi l e r   l o g,     t h e   c o r r e c t i o n   u ni t   t h e n   t r i g ge r s   a   n e w   c o m pi l a t i o n.   T h e   pr o c e s s   is   i n t e rr up t e d   w h e n   it   e xc e e ds   t h e   max   n u m b e r   of   i t e r a t i o n s   is   r e a c h e d   or   w h e n   t h e   c o rr e c t i o n   u ni t   is   n o t   a b l e   to   c o rr e c t   t h e   r e m a i n i ng   e rr o r s .   E xa m pl e s   of   a ut o m a t e d   r e p a i ri n g   of   c o m pi l i n g   e rr o r s   a)   E xa m pl e   1:   e xe m pl e 1. c : 3 : 23 :   e rr o r:   e xpe c t e d   ' ; '   a f t e r   e xp r e s s i o n   T h e   m i s s e d   s e m i c o l o n   is   a   f r e que n t l y   c o m m i t t e d   e rr o r   in   n o v i c e s   pr o g r a m s .   T hi s   e rr o r   is   w e l l   c a pt u r e d   a n d   l o c a l i z e d   in   t h e   c o m pi l e r   m e s s a ge .   In   t hi s   c a s e ,   t h e   c o rr e c t i o n   u ni t   us e s   t h i s   i n f o rm a t i o n   to   i n s e r t   t h e   m i s s e d   c h a ra c t e r   a nd   ge n e r a t e s   a   n e w   c o d e .   b)   E xa m pl e   2:   e xe m pl e 2. c : 5 : 13 :   w a rn i ng:   f o r m a t   s pe c i f i e s   t y p e   „i n t   *‟   b ut   t h e   a g r um e n t   ha s   t y p e   „i n t ‟[ - W f or m at ]   T h e   m i s s e d   &   in   s c a n f   f un c t i o n   is   a n o t h e r   f r e que nt   e rro r   in   p r o g r a m m i n g .   T h i s   e rr o r   c a us e s   no   c o m pi l a t i o n   f a i l u r e ;   h o w e v e r ,   e xe c ut i o n   o ut put s   a r e   i n v a l i d.   Cl a n g   r e t u rn s   a   w a rni n g   in   t h i s   c a s e   to   s i g n a l   an   i n c o m p a t i b i l i t y   b e t w e e n   t h e   us e d   v a r i a b l e   a n d   t he   a r gu m e nt   in   s c a n f   f un c t i o n .   In   t hi s   c a s e ,     t h e   c o rr e c t i o n   u n i t   pe r f o r m s   a   pa r s i ng   of   t h e   s c a n f   f un c t i o n   s i g n a t u r e   in   t h e   e rr o n e o us   l i n e   in   t h e   c o de   a n d   t h e   m i s s e d   &   is   t h e n   i n s e r t e d   to   ge n e ra t e   a   n e w   c o de   fo r   t h e   n e xt   c o m pi l a t i o n .   c)   E xa m pl e   3:   e xe m pl e 3. c : 6 : 17 :   e rr o r:   e xpe c t e d   ' ; '   in   ' f o r '   s t a t e m e nt   s pe c i f i e r     f or ( i = 0, i < a; i + + ) {     In   t hi s   e xa m pl e ,   t h e   e rr o r   is   de t e c t e d   by   t h e   c o m pi l e r   a nd   l o c a l i z e d   b e fo r e   t h e   c l o s i n g   pa r e nt h e s i s   in   t h e   l o o p.   In s e r t i n g   t h e   m i s s i n g   c h a ra c t e r   in   t h e   l o c a t i o n   r e t u rne d   by   t h e   c o m pi l e r   r e s o l v e s   t h e   c o m pi l i ng   e rr o r ;   h o w e ve r ,   it   ge n e r a t e s   i n v a l i d   e xe c ut i o n   o ut put s .   In   t h i s   c a s e ,   t h e   c o r r e c t i o n   u ni t   a na l y s e s   t h e   e rr o n e o us   l i n e   in   t h e   c o de ,   to   de t e c t   t h e   v i o l a t i o n   in   t h e   fo r   l o o p   s y n t a x   a n d   i n s e rt s   t h e   m i s s e d   s e m i c o l o n   in   t h e   a pp r o pri a t e   pl a c e .   In   s uc h   c a s e s ,   t h e   c o rr e c t i o n   u ni t   us e s   o n l y   t h e   c o m pi l e r   i n f o rm a t i o n   a b o ut   t h e   e rr o n e o us   l i n e ,   a nd   pe r f o r m s   t h e   a pp r o p r i a t e   c o rr e c t i o n   b a s e d   on   t h e   „f o r   f u n c t i o n   s i g n a t u r e .     F i gu r e   8   pr e s e nt s   a   c o m pa ra t i v e   di s pl a y   of   a   pr o gr a m   w i t h   15   di f fe r e n t   c o m pi l i n g   e rr o r s   r e pa i r e d   a f t e r   6   i t e r a t i o n s   by   t h e   c o rr e c t i o n   u ni t   in   CL A A S .           F i gu r e   8.   E rr o r s   m a pp i n g   to   t h e   pe r f o r m e d   c o rr e c t i o n s       3.   EX P ER I M EN TA TI O N   I n   o rd e r   to   c he c k   t he   a c c u ra c y   of   c o m p i l i ng   e r ro rs   a u t o - re p a i r   p ro c e s s   in   C L A A S ,   185   re a l   p ro g ra m s   w e re   s u b m i t t e d   by   s t u de nt s   in   f i rs t - y e a r   of   b a c he l o r‟ s   d e g re e   of   S c i e nc e   &   T e c hni c s   to   re s o l v e   5   p ro g ra m m i ng   e x e rc i s e s   w i t hi n   a   m o c k   e x a m .   T he   f o l l o w i ng   g ra p hs   p re s e nt s   t he   re s u l t s   of   a u t o m a t e d   a s s e s s m e nt   b e f o re   a nd   a f t e r   a p p l y i ng   t he   a u t o m a t e d   re p a i ri ng   of   c o m p i l i ng   e r ro rs ,   c o m p a re d   to   m a nu a l   a s s e s s m e nt   a s   s ho w i n   F i g u re   9 - 13.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A s s i s t e d   l e ar n i ng  of   pr ogr am m i ng   t hr o ugh   aut om at e pr o gr am   r e pa i r   …  ( Sar Me r n i s s i   A r i f i )   461       F i gu r e   2 .   E xe r c i c e   1:   C   p r o g r a m   c h e c ki n g   w h e t h e r   t h e   i nput   i n t e ge r   n u m b e r   is   po s i t i v e   or   n e ga t i v e   or   z e r o           F i gu r e   10 .   E xe r c i c e   2:   C   p r o g r a m   w h i c h   a s ks   to   i n pu t   5   g ra d e s   b e t w e e n   0   a n d   20   a nd   c o unt s   t h e   g ra de s   > = 10           F i gu r e   1 1 .   E xe r c i s e   3:   C   p r o gra m   to   pe r f o r m   a dd i t i o n,   s ub t r a c t i o n ,   m ul t i p l i c a t i o n   a nd   d i v i s i o n   a c c o r di n g   to   t h e   c h o s e n   o pe r a t i o n           F i gu r e   12 .   E xe r c i s e   4:   C   p r o gra m   to   p ri n t   s t a r s   a c c o r di n g   to   t h e   i n pu t   i n t e ge r     Evaluation Warning : The document was created with Spire.PDF for Python.
            IS S N :   2 502 - 47 52   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 ,   N o .   1 O c t o b e r   20 20  :   4 54   -   46 4   462       F i gu r e   13 .   E xe r c i s e   5:   p r o gra m   w h i c a s ks   t o   i n p ut   a i nt e ge r   < = 100  w h i l e   t h e   i n pu t   num b e r   i s   n o t   v a l i d       T he   re s u l t s   s ho w   t ha t   20%   of   t he   e v a l u a t e d   p ro g ra m s   ha v e   a   nu l l   g r a d e .   F o r   55%   of   t he s e   p ro g ra m s ,   c o m p i l a t i o n   f a i l u re   i nt e r ru p t e d   t he   a s s e s s m e nt   p ro c e s s ;   c o ns e q ue nt l y ,   t he y   d i d   no t   re a c h   t e s t - c a s e s   a na l y s i s .   W i t hi n   t h i s   e x pe ri m e n t ,   28   e r ro rs   f ro m   d i f f e re nt   c a t e g o ri e s   w e re   re pa i re d   by   t he   c o rre c t i o n   u ni t   in   C L A A S .   T a b l e   2   p re s e nt s   t he   a v e ra g e s   of   g ra d e s   o b t a i ne d   f ro m   m a nu a l   a nd   a u t o m a t e d   g ra d i ng ,   b e f o re   a nd   a f t e r   i m p l e m e nt i ng   p ro g ra m   a u t o - re p a i r   f u nc t i o n .   In   a d d i t i o n ,   we   c a l c u l a t e d   t he   g ra d e   p re c i s i o n,   a   d e g re e   b e t w e e n   0%   a nd   100%   w hi c h   re f l e c t s   t he   a p p ro x i m a t i o n   b e t w e e n   t he   m a nu a l   g r a d i n g   re s u l t s   a nd   t he   a u t o m a t e d   o ne s   b e f o re   a nd   a f t e r   a p p l y i ng   t he   a u t o m a t e d   re p a i ri ng   of   c o m p i l i ng   e r ro rs .   T he   g r a d e   p re c i s i o n   is   c a l c u l a t e d   u s i ng   t he   f o rm u l a   (1).          (     |                                                     |                          )         (1)       T a b l e   2.   A v e r a ge s   of   m a nua l   a n d   a u t o m a t e d   g ra di n g     M a rk i n g   s c h e m e   A v e ra g e   g ra d e s   of   m a n u a l   g ra d i n g   G ra d e s   of   a u t o m a t e d   g ra d i n g   G ra d e s   of   a u t o m a t e d   g ra d i n g   u s i n g   p r o g ra m   a u t o - r e p a i r   A v e ra g e   G ra d e   p re c i s i o n   A v e ra g e   G ra d e   p re c i s i o n   E x e r c i s e 1   2 / 2 0   1 , 7 6   1 , 5 4   89%   1 , 5 9   92%   E x e r c i s e 2   2 / 2 0   0 , 5 9   0 , 3 8   89%   0 , 3 8   89%   E x e r c i s e 3   6 / 2 0   4 , 3 5   2 , 7 4   73%   3 , 2 1   81%   E x e r c i s e 4   6 / 2 0   4 , 3 6   3 , 4 8   85%   3 , 6 4   88%   E x e r c i s e 5   4 / 2 0   1 , 3 4   0 , 5 6   81%   0 , 6 4   83%   T o t a l   g ra d e   2 0 / 2 0   1 2 , 4 1   8 , 7 0   81%   9 , 4 7   85%       4.   DISCUSSIO N   T he   v a r i o u s   c a t e go ri e s   of   f e e d - b a c k   p ro po s e d   w i t hi n   t hi s   w o rk   m e e t   s e v e ra l   c ri t e r i o ns   of   v a l u a b l e   f e e d - b a c k ,   w hi c h   s ho u l d   be   i nf o rm a t i v e ,   t i m e l y ,   c o ns i s t e nt ,   c l e a r l y   c o m m u ni c a t e d   a nd   u s e f u l   f o r   s t u d e nt s .   C L A A S   p ro v i d e s   f e e db a c ks   w i t h   d i f f e re nt   a m o u n t   of   e l a b o ra t i o n ,   d e l i v e re d   p ro g re s s i v e l y   a c c o rd i ng   to   t he   p e rf o rm a nc e   of   t he   s t u d e nt .   T he   f e e d - b a c k   g e ne ra t i o n   p ro c e s s   in   C L A A S   w a s   de s i g ne d   to   m e e t   t he   hu m a n   p ro c e e d i ng   in   a s s i s t i ng   s t u d e nt s   w i t hi n   p ro g r a m m i ng   c o u rs e s .   F o r   t hi s   p u rp o s e ,   b o t h   s t a t i c   a nd   d y na m i c   m e t ho d s   w e re   u s e d   to   c o ns i d e r   d i f f e re nt   a s p e c t s   of   t he   e v a l u a t e d   p ro g ra m   a nd   p ro v i de   u s e f u l   a nd   c o nt i nu o u s   f e e d - b a c k ,   f ro m   fl a g g i ng   t he   e rro ne o u s   or   m i s s i ng   l i ne s   in   t he   c o d e ,   to   re p o rt i ng   t he   o ri g i n   of   a   t e s t - c a s e   f a i l u re   or   a   c o m p i l i ng   p ro b l e m .   D e s p i t e   t he   v a r i o u s   f e e d - b a c k   g e ne r a t e d   by   C L A A S ,   t h e   s t u d e nt   c o u l d   s t i l l   s u b m i t   a   p ro g r a m   w i t h   c o m p i l i n g   e r ro rs   t h a t   c a n no t   be   e x e c u t e d   a nd   a s s e s s e d   w hi l s t   it   m i g h t   be   p a r t i a l l y   c o r re c t .   T h i s   p re v e n t s   t he   a s s e s s m e nt   of   t he   p ro g r a m   c o r re c t ne s s   a n d   t h u s   t he   a l g o ri t h m   on   w h i c h   t he   s o l u t i o n   is   b a s e d .   P ro g r a m   a u t o - re p a i r   is   i m p l e m e n t e d   in   C L A A S   w i t h i n   t he   c o r re c t i o n   u n i t ,   w hi c h   l o c a l i z e s   a n d   f i x e s   c o m p i l i n g   e r ro rs   in   t h e   s t u d e n t   p ro g r a m .   T h u s ,   t h e   s t u d e n t   re c e i v e s   f e e d - b a c k   d u r i n g   a l l   t he   a s s e s s m e n t   p ro c e s s ,   f ro m   c o m p i l i n g   to   t e s t - c a s e s   e x e c u t i o n .     D u r i ng   t he   e x p e r i m e n t s   w i t h i n   p r a c t i c a l   s e s s i o ns ,   we   no t i c e d   t h a t   s t u d e n t s   w e re   a s k i n g   l e s s   for   t e a c he rs   a s s i s t a nc e   a n d   w e re   m o t i v a t e d   to   u s e   t h e   d e l i v e re d   f e e d - b a c k   to   s o l v e   t he   e n c o u n t e re d   p ro b l e m s .       5.   C O N C LU S I O N   T h i s   w o r k   is   t h e   c o n t i n u a t i o n   of   pr e v i o us   r e s e a r c h   in   t he   f i e l d   of   a ut o m a t e d   a s s e s s m e n t   of   C   pr o g r a m s .   It   f o c us e s   on   f e e d - b a c k   as   a   pa ra m o u n t   f a c t o r   w h i c h   a s s i s t s   t h e   s t ude n t   t hr o ug h   t h e   l e a rni n g   pr o c e s s .   T h e   us e   of   s t a t i c   a n d   dy n a m i c   pr o gra m   a n a l y s i s ,   in   a d di t i o n   to   t h e   a ut o m a t e d   r e p a i r   of   pr o gr a m s   pr o v i de s   a   v a r i e t y   of   v a l ua b l e   f e e d - b a c ks   fo r   t h e   s t ude n t .   T h i s   is   e n s u r e d   t hr o ug h   c o n s i de ri n g   d i f fe r e n t   a s pe c t s   of   t h e   e v a l ua t e d   p r o g r a m   to   a s s i s t   t h e   s t ude n t   at   v a r i o us   l e v e l s   w i t h i n   t h e   e v a l ua t i o n   p r o c e s s .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A s s i s t e d   l e ar n i ng  of   pr ogr am m i ng   t hr o ugh   aut om at e pr o gr am   r e pa i r   …  ( Sar Me r n i s s i   A r i f i )   463   By   t he   m e a ns   of   t he   f e e d - b a c k   i nt e g ra t e d   in   C L A A S ,   t he   s t u d e nt   can   f a c e   d i f f i c u l t i e s   d ue   to   t he   l a c k   of   c o m p i l i ng   e r ro rs   u nd e rs t a nd i ng ,   he   c a n   a l s o   i nv e s t i g a t e   t he   c a u s e   of   t he   p ro g ra m   f a i l u re   to   p ro d u c e   t he   e x pe c t e d   b e ha v i o r,   as   w e l l   as   a p p re c i a t i ng   t he   s e m a nt i c   s i m i l a ri t y   b e t w e e n   hi s   p ro g ra m   a nd   a   p ro g ra m   p ro p o s e d   by   t he   t e a c he r   to   l e a r n   g o o d   p ro g ra m m i ng   ha b i t s   a nd   s u b m i t   a   c o m p l e t e ,   f u nc t i o na l   a nd   c o rre c t   p ro g ra m .     T he   i nt e g r a t i o n   of   s u c h   k i nd s   of   f e e d - b a c k   c a n   s e rv e   to   e nv i s i o n   a   ne w   ge ne ra t i o n   of   c o m p i l e rs   d e d i c a t e d   to   t he   a s s e s s m e nt   of   s t u d e nt s   p ro g ra m s   in   t he   c o nt e x t   of   p ro g ra m m i ng   l e a r ni ng ,   w hi c h   c o ns i d e rs   s p e c i f i c   ne e d s   a nd   re q u i re m e nt s   of   s t u d e nt s   in   t hi s   f i e l d .   As   f u t u re   w o rk ,   we   a re   p l a n n i ng   a   l o ng - t e r m   p e rf o rm a nc e   re v i e w   a m o ng   t he   u s e   of   f e e d - b a c k   in   C L A A S ,   s i nc e   m e a s u ri ng   t he   i m p a c t   of   f e e d - b a c k   i nt e g ra t i o n   on   s t u d e nt s   l e a r ni ng   t a k e s   s e v e ra l   y e a rs   a nd   a   r i g o ro u s   p ro c e s s   to   a b o l i s h   s u b j e c t i v i t y   due   to   t he   c o nt e x t ,   hu m a n   f a c t o rs ,   e t c .   We   a l s o   aim   at   c o v e ri ng   a d d i t i o n a l   t y pe s   of   e rro rs   to   e x p a nd   t he   u s e f u l ne s s   of   CL A A S .       R EF ER EN C ES   [ 1]   I .   K uh,   R .   K r a j nc ,   L .   J .   H a d j i l e o nt i a di s ,   a n M .   D e b e v c ,   A s s e s s m e n t   o f   pr o bl e m   s o l v i ng   a bi l i t y   i no v i c e   pr o g r a m m e r s ,   P L oS  O N E ,   v o l .   13 ,   no .   9 ,   pp .   1 21 ,   201 8.   [ 2]   E .   L a ht i ne n ,   K .   A l a - M u t ka ,   a n H . - M .   J ä r v i ne n ,   A   s t udy   of   t he   di f f i c ul t i e s   o f   nov i c e   pr og r a m m e r s ,   A C M   SI G C SE   B u l l e t i n ,   v o l .   37 ,   no .   3 ,   pp .   14 1 8,   S e p.   20 05.   [ 3]   A .   T .   C o r be t t   a nd  J .   R .   A nd e r s o n ,   L o c u s   o f   F e e d ba c C o n t r o l   i C o m p u t e r - B a s e T u t o r i ng :   I m pa c t   o L e a r n i ng   R a t e ,   A c h i e v e m e n t   a n d   A t t i t u de s ,   i n   A C M   C o n f e r e n c e   o n   H um an   F ac t o r s   i n   C om pu t i n g   S y s t e m s ,   20 0 1 ,   p p .   24 5 25 2 .   [ 4]   J .   H a t t i e   a n d   H .   T i m p e r l e y ,   T h e   P o w e r   o f   F e e d b a c k ,   R e v i e w   o f   E d u c a t i o n a l   R e s e a r c h ,   v o l .   7 7 ,   n o .   1 ,   p p .   8 1 1 1 2 ,   2 0 0 7 .   [ 5]   R .   S i ng e t   a l . ,   A ut o m a t e F e e db a c G e ne r a t i o f o r   I nt r o duc t o r y   P r o g r a m m i ng   A s s i g nm e nt s ,   A C M   S I G P L A N   N ot i c e s ,   pp .   15 26,   2 013 .   [ 6]   J .   C .   C a i z a ,   J .   M .   D e l   A l a m o ,   a nd   J .   M .   D e l   Á l a m o   R a m i r o ,   P r o g r a m m i ng   A s s i g nm e nt s   A ut o m a t i c   G r a d i ng :   R e v i e w   o f   T oo l s   a nd  I m pl e m e nt a t i o ns ,   7t I n t e r na t i o na l   T e c hn ol og y ,   E d uc a t i on  an D e v e l opm e nt   C onf e r e nc e   ( I N T E D 2013) ,   pp .   569 1 57 00 ,   2013 .   [ 7]   Y .   D o ng ,   T .   W .   P r i c e ,   a nd  T .   B a r n e s ,   G e n e r a t i ng   D a t a - dr i v e H i nt s   f o r   O pe n - e nde P r o g r a m m i ng ,   P r oc e e di ngs   of   t he   9t h   I nt e r n at i on al   C on f e r e nc e   on   E du c at i o nal   D a t a   M i n i ng ,   p p.   191 198 ,   201 6.   [ 8]   B .   J e f f r i e s ,   T .   B a l dw i n ,   M .   Z a l k ,   a nd   B .   T a y l o r ,   O nl i ne   t ut o r i ng   t o   s uppo r t   p r o g r a m m i ng   e xe r c i s e s ,   A C E   20 20  -   P r oc e e di ngs   o f   t he   22 nd  A us t r a l a s i an  C om pu t i n E d uc a t i on  C on f e r e nc e ,   H e l i n   c o nj unc t i o w i t h   A u s t r a l as i an   C om put e r   Sc i e nc e   W e e k ,   pp .   56 65 ,   2 020 .   [ 9]   O .   M i r m o t a h a r i ,   Y .   B e r g ,   S .   G j e s s i ng ,   E .   F r e m s t a d ,   a n C .   D a m s a ,   A   c a s e - s t u dy   o f   a u t o m a t e f e e d b a c a s s e s s m e n t ,   i n   I E E E   G l o b a l   E ng i ne e r i n g   E d u c a t i o n   C on f e r e n c e ,   E D U C O N ,   2 01 9 ,   v o l .   A pr i l - 2 01 9 ,   pp .   1 1 90 11 9 7 .   [ 10]   H .   K e un i ng ,   J .   J e u r i ng ,   a n B .   H e e r e n ,   A   s y s t e m a t i c   l i t e r a t u r e   r e v i e w   o f   a ut o m a t e f e e dba c g e ne r a t i o f o r   pr o g r a m m i ng   e x e r c i s e s ,   A C M   T r an s ac t i ons   o C om put i ng   E d uc a t i on ,   v o l .   1 9,   no .   1,   S e p .   2 018 .   [ 11]   M. - H .   N i e na l t o w s k i ,   M .   P e d r o ni ,   a nd   B .   M e y e r ,   C o m pi l e r   e r r o r   m e s s a g e s :   w ha t   c a h e l no v i c e s ? ,   i n   P r oc e e di ngs   o f   t he   39 t SI G C SE   t e c hn i c a l   s y m p os i um   on  C om pu t e r   s c i e nc e   e duc a t i on ,   2016 .   [ 12]   B .   A .   B e c ke r ,   A e f f e c t i v e   a ppr o a c t o   e nha nc i ng   c o m pi l e r   e r r o r   m e s s a g e s ,   SI G C SE   2016  -   P r oc e e di ngs   of   t he   47t h   A C M   T e c hni c a l   S y m po s i um   o C om put i n S c i e nc e   E duc at i on ,   pp.   12 6 13 1,   20 16.   [ 13]   P .   D e n ny ,   A .   L ux t o n - r e i l l y ,   a nd  D .   C a r pe n t e r ,   E nh a nc i ng   S y n t a E r r o r   M e s s a g e s   A p pe a r s   I ne f f e c t u a l ,   i n   P r o c e e d i ng s   o f   t he   2 01 4   c on f e r e n c e   on   I n no v a t i o n   &   t e c hn o l og y   i n   c om pu t e r   s c i e n c e   e d u c a t i o n . ,   2 0 14 ,   p p .   27 3 278.   [ 14]   C .   W a t s o n,   F .   W .   B .   L i ,   a n R .   W .   H .   L a u,   L e a r n i ng   P r o g r a m m i ng   L a ng ua g e s   t hr o ug C o r r e c t i v e   F e e db a c a nd   C o nc e pt   V i s ua l i s a t i o n,   i n   I nt e r n at i ona l   C on f e r e nc e   on   W e b - B as e L e ar ni n g ,   20 11,   p p.   11 20 .   [ 15]   S .   M e r ni s s i   A r i f i ,   I .   N a i t   A bda l l a O ua l i ,   A .   Z a h i ,   a nd  R .   B e na bb o u ,   A ut o m a t i c   pr o g r a m   a s s e s s m e nt   us i ng   s t a t i c   a nd  dy na m i c   a na l y s i s ,   i P r oc e e di ng s   of   20 15   I E E E   W or l d   C on f e r e nc e   on  C om pl e x   Sy s t e m s ,   W C C 201 5 ,   20 15 .   [ 16]   S .   M e r ni s s i   A r i f i ,   A .   Z a hi ,   a nd  R .   B e na bbo u,   S e m a n t i c   s i m i l a r i t y   ba s e e v a l u a t i o f o r   C   pr o g r a m s   t h r o ug t he   u s e   o f   s y m b o l i c   e x e c ut i o n,   i n   I E E E   G l ob al   E ng i ne e r i ng   E d uc a t i on   C o nf e r e nc e ,   E D U C O N ,   2016 ,   v o l .   10 - 13 - A pr i .   [ 17]   S .   M e r ni s s i   A r i f i ,   I .   N a i t   A bda l l a O u a l i ,   R .   B e n a bbo u,   a nd   A .   Z a h i ,   A ut o m a t e d   f a ul t   l o c a l i z i ng   a nd   c o r r e c t i o i n   dy na m i c a l l y   a na l y z e pr o g r a m s ,   i C o l l oqu i um   i I n f or m a t i on   Sc i e nc e   and  T e c h no l ogy ,   C I S T ,   20 16.   [ 18]   J .   M uns o a n E .   S c hi l l i ng ,   A na l y z i ng   n o v i c e   pr og r a m m e r s   r e s po ns e   t o   c om pi l e r   e r r o r   m e s s a g e s ,   J o ur na l   o f   C om put i ng   S c i e nc e s   i n   C o l l e ge s ,   v o l .   31 ,   no .   3 ,   pp .   5 3 61 ,   201 6.   [ 19]   R .   P e t t i t ,   J .   H o m e r ,   a n d   R .   G e e ,   D o   e n h a n c e d   c o m p i l e r   e r r o r   m e s s a g e s   h e l p   s t u d e n t s ?   R e s u l t s   i n c o nc l u s i v e ,   P r o c e e d i n g s   o f   t h e   C o n f e r e n c e   o n   I n t e g r a t i n g   T e c h n o l o g y   i n t o   C o m p u t e r   S c i e n c e   E d u c a t i o n ,   I T i C S E ,   p p .   4 6 5 4 7 0 ,   2 0 1 7 .   [ 20]   C .   G u nt l i ,   A r c hi t e c t u r e   o f   c l a ng ,   U n i v e r s i t y   of   A p pl i e S c i e nc e   i n   R appe r s w i l ,   pp .   1 12 ,   2011 .   [ 21]   K .   M .   A l a - m ut ka ,   A   S ur v e y   of   A ut o m a t e A s s e s s m e nt   A ppr o a c he s   f o r   P r o g r a m m i ng   A s s i g nm e nt s ,   C om p ut e r   Sc i e nc e   E d uc a t i on ,   v o l .   15 ,   no .   2 ,   pp .   83 1 02 ,   2 005 .   [ 22]   D .   G a o ,   M .   K .   R e i t e r ,   a nd  D .   S o ng ,   B i nH unt :   A ut o m a t i c a l l y   f i ndi ng   s e m a nt i c   d i f f e r e nc e s   i n   b i na r y   pr o g r a m s ,   L e c t ur e   N ot e s   i C om pu t e r   Sc i e nc e   ( i nc l ud i ng  s ubs e r i e s   L e c t ur e   N ot e s   i A r t i f i c i a l   I n t e l l i ge nc e   and  L e c t u r e   N ot e s   i B i o i n f or m at i c s ) ,   v o l .   530 L N C S ,   pp .   238 255 ,   2 00 8.   [ 23]   S .   M e r n i s s i   A r i f i ,   R .   B e n a b b o u ,   a n d   A .   Z a h i ,   A   N e w   S i m i l a r i t y - b a s e d   M e t h o d   f o r   A s s e s s i n g   P r o g r a m m i n g   A s s i g n m e n t s   u s i n g   S y m b o l i c   E x e c u t i o n ,   I n t e r n a t i o n a l   J o u r n a l   o f   A p p l i e d   E n g i n e e r i n g   R e s e a r c h ,   v o l .   1 3 ,   n o .   4 ,   p p .   1 9 6 3 1 9 8 1 ,   2 0 1 8 .   [ 24]   S .   P a r i h a r ,   R .   D a s ,   Z .   D a da c ha n j i ,   A .   K a r k a r e ,   P .   K .   S i ng h,   a n A .   B ha t t a c ha r y a ,   A ut o m a t i c   g r a di ng   a nd  f e e db a c us i ng   pr o g r a m   r e p a i r   f o r   i nt r o duc t o r y   pr og r a m m i ng   c o ur s e s ,   A n nu al   C on f e r e nc e   on  I nnov at i on  a nd  T e c hno l og y   i n   C om put e r   Sc i e nc e   E du c a t i o n,   I T i C S E ,   v o l .   P a r t   F 128 680 ,   pp.   9 2 9 7,   201 7.   [ 25]   C .   W a t s o n ,   F .   W .   B .   L i ,   a n d   J .   L .   G o d w i n ,   B l u e F i x :   U s i n g   C r o w d - S o u r c e d   F e e d b a c k   t o   S u p p o r t   P r o g r a m m i n g   S t u d e n t s   i n   E r r o r   D i a g n o s i s   a n d   R e p a i r ,   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b - B a s e d   L e a r n i n g ,   n o .   S e p t e m b e r ,   p p .   2 2 8 2 3 9 ,   2 0 1 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.