I n d on e s i an   Jo u r n al   o El e c t r i c al   En gi n e e r i n g   an d   C o m p u te r   S c i e n c e   V o l .   20 ,   N o .   1 O c t o be r   20 20 ,   pp .   423 ~ 429   IS S N :   25 0 2 - 4752 ,   D O I :   10. 1 1591 / i j e e c s . v 20 .i 1 . pp 423 - 429             423       Jou r n al   h o m e pa ge ht t p: / / i j e e c s . i a e s c or e . c om   A   c o m p a r a t i v e   a n a l y si s   o f   a n   e l e c t r o n i c   e x a m s v e r su s pa p e r   e x a m s betw e e n   d i f f e r e n t   g e n d e r   o f   i r a q i   st u d e n t s       M ar w a   M .   I s m ai l 1 ,   Bas h ar   S .   B as h ar 2 ,   B as h a r   B.   Q as   El i as 3   1 , 2 D e pa r t m e n t   o f   E l e c t r i c a l   E ng i n e e r i ng   A l   N i s o ur   U n i v e r s i t y   C o l l e g e ,   I ra q     3 S c hoo l   o f   C om put e r   a nd   C o m m uni c a t i o n   E ng i ne e r i ng   U n i v e r s i t i   M a l a y s i a   P e r l i s   ( U n i M A P ) ,   M a l a y s i a       A r ti c l e   I n fo     A B S TR A C T   Ar t i c l e   h i s t or y :   R e c e i v e F eb   7 ,   20 20   R e v i s e A pr   1 1 ,   2020   A c c e pt e A pr   25 2020       W he s t u de n t s   b e l i e v e   t h e y   c a g e t   s m a r t e r ,   t h e y   unde r s t a nd  t ha t   e f f o r t   m a ke s   t h e m   s t r o ng e r .   T he r e f o r e ,   t he y   put   i e x t r a   t i m e   a n e f f o r t ,   a n t ha t   l e a ds   t o   hi g he r   a c hi e v e m e n t .   B e s i de s   t h a t ,   t h e   a r r a ng e m e nt   o f   que s t i o pa pe r s   a n a ns w e r   s h e e t s   p r o c e s s   f o r   a   hi g num be r   o f   s t ude nt s   t a ke s   a   l o ng   t i m e .   I t hi s   pa pe r ,   t he   s he e t   e xa m   ha s   be e pr o po s e t o   c ha ng e   i n t o   a e l e c t r i c   e xa m   ( E - e xa m ) .   T hi s   s y s t e m   d e pe n de d   o t he   c l i e nt - s e r v e r   f r a m e w o r t o   c o nv e r t   t he   t r a d i t i o na l   e xa m   e nv i r o nm e n t   i n t o   a e l e c t r o ni c   e xa m ,   pr o v i di ng   m ul t i p l e   a nd  d i f f e r e n t   que s t i o ns   a t   t h e   s a m e   t i m e .     I a ddi t i o ns ,   ke p t   t he   g r a d e s   o f   s t ude n t s   a n p r o v i di ng   t h e m   a u t o m a t i c a l l y .   I t hi s   pa pe r ,   V i s u a l   S t u di o   a nd  M i c r o s o f t   S Q L   s e r v e r   ha v e   be e p r o po s e t de v e l o t h e   e l e c t r o ni c   e xa m .   T h e   q u e s t i o nn a i r e   i s   m a de   by   di s t r i b ut e i t   a m o ng  30  s t ude nt s ,   a n a f t e r   t he   da t a   a n a l y s i s ,   t he   r e s u l t s   h a v e   be e c o l l e c t e ha v e   be e r e pr e s e n t e a   r e s po ns e   r a t e   o f   100% .   I t   i s   r e c om m e nde d   t ha t ,   t o   t a k e   e l e c t r o ni c   e xa m s   a nd  e - l e a r n i ng   f o r   s t ude n t s   pe r i o di c a l l y .     T o   i m pr o v e   t he i r   pe r f o r m a nc e   t h r o ug c o nt i nuo us   t r a i n i ng   o c om put e r i z e d   e xa m s   a n t o   i nc r e a s e   t h e   s t ude nt s   e f f i c i e nc y   i t hi s   t y pe   o f   l e a r ni n g .   Ke y w or d s :   E - e xa m   M S Q ,   S Q L   s e r v e r   N E T   F r a m e w o r 4 . 5 .   P a pe e xa m   C opy r i gh t   ©   2020   I n s t i t ut e   o f   A dv anc e E ng i ne e r i ng   and   S c i e nc e .     A l l   r i gh t s   r e s e r v e d .   Cor r e s pon di n g   Au t h or :   B a s h a S .   B a s h a r,   Co m put e E n gi n e e r i n g   T e c hn i q ue s ,   Al - N i s o ur  U n i v e r s i t y   Co l l e ge ,     E m a i l :   B a s ha r . s . e ng@ nuc . e du. i q       1.   I N TR O D U C TI O N     N o r m a l l y ,   e x a m s   c a n   b e   a   l o g i s t i c a l   n i g h t m a re   w h i c m o s t   t e a c h i n g   s t a f f   i n   e d u c a t i o n a l   i n s t i t u t i o ns   l e d   t o   a   f e w   t e s t s .   T h i s   re f l e c t s   n e g a t i v e l y   o t he   d e s i r e   o f   s o m e   s t u d e n t s   t o   t a k e   m o re   t h a n   o ne   t e s t   d u r i n g   t he   s e m e s t e r   [1 - 3] M o s t l y ,   ho w   t o   p re p a re   a n d   w r i t e   h i g h - q u a l i t y   e x a m   q u e s t i o ns   a n d   ho w   t o   a ns w e t he m   a re   t he   m o s t   i m p o r t a n t   i s s u e s   t h a t   c o nc e r t he   t e a c h i n g   s t a f f   i t he   e d u c a t i o n a l   e nv i ro n m e nt .   A s   w e l l   a s   m o n i t o r i n g   c a s e s   o f   f ra u d   t h a t   m a y   o c c u b e t w e e s t u d e n t s .   T h i s   i s   f o l l o w e d   b y   c o r re c t i n g   t h e   a ns w e rs   m a nu a l l y   a nd   a n n o u nc i n g   t he   re s u l t s   [ 4 ] .   R e c e nt l y ,   c h a n g i n g   f ro m   a   t r a d i t i o n a l   e x a m i n a t i o t o   a e l e c t ro n i c   e x a m i n a t i o n   b e c o m e   a n   u r g e n t   ne c e s s i t y   w hi c h   re p re s e n t e d   a   m o d e r a p p ro a c t o   e d u c a t i o n.   B y   u s i ng   E - e x a m s ,   m a ny   c o m m o p ro b l e m s   o f   t he   t r a d i t i o na l   e x a m   c a b e   s o l v e d   f o a   h i g h - q u a l i t y   e x a m   [ 5 ] .   T he re   a r e   f o u m a i n   g o a l s   f o r   a n   e - e x a m   p ro c e s s ,   a s   s ho w i n   F i g u re   1 .           F i gu r e   1 .   T h e   s qu a r e   o f   E - e xa m   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 N o .   1 O c t o b e r   20 20  :     423   -   429   424   F r o m   t h e   a b ov e   f i gur e ,   i t   i s   o b s e r v e t h a t   E - e xa m s   ha v e   m a n y   a dv a n t a ge s   o ve r   t r a d i t i o na l   e xa m s   s uc h   a s   a   l o w   c os t ,   a   c o n s i de r a b l e .   A m o unt   o f   pa pe r   i s   s p e n t   f o r   que s t i o s e t s   a nd  s t ude nt   a n s w e r   s h e e t s ,   b e s i de s ,   a   t o n e r   a n d   h a rdw a r e   r e s o ur c e s   f o r   pri n t i n g / c o p y i n g   [6] .   H e n c e ,   E - e x a m   pl a y s   a n   i m po r t a n t   r o l e   i r e duc i n t h e   c o s t   a n m a i nt a i n i ng  t h e   p ri v a c y   of   t h e   e xa m   [7 - 9] .   E - e x a m s   c a n   o nl y   b e   t a ke n   by   a c c e s s     t h e   c o m put e r   n e t w o r ks   i n   t h e   l a b s .   E a c h   s t ude n t   ge t s   a n   a c c o un t ,   i n c l ud i n t h e   us e rna m e   a n pa s s w o r t h a t   a r e   o n l y   v a l i f o r   t h e   s pe c i f i e e xa m .   A t   t h e   e n o f   t h e   e xa m   t h e   r e s ul t s   a r e   s ub m i t t e di r e c t l y   t o   t h e   da t a b a s e   t o   b e   pr o c e s s e a n s a v e d   [10] .   Re s ul t s   c a n   b e   c o m pa r e w i t h   pa pe r   e xa m i n a t i o n   r e s ul t s   t h a t   e v a l ua t e b y     t h e   t e a c h e r   a n p r o v i di n g   a   hi g de gr e e   o f   s e c ur i t y   [11 - 13] ,   T h e   E - e x a m   r e duc e s   t h e   t i m e   f o r   w r i t i n g   que s t i o n s ,   c o rr e c t i ng  pa pe r s ,   a nd  p ri n t i n t h e   r e s ul t s   [ 14] .   I t   p r o v i de s   c l e a r   i n s t r uc t i o n s   t o   a n s w e r     t h e   que s t i o n s   i e xa m s   w hi c r e duc e s   t h e   a m b i guo us   que s t i o n s   t ha t   w e a ke n   t h e   t e s t s ’  r e l i a b i l i t y .   T h e   l o n g   e xa m s   a r e   m o r e   r e l i a b l e   t h a n   s h o rt   e xa m s   b e c a us e   i t   c o n t a i n s   a   l a r ge   num b e r   o f   v a r i a b l e s .   T h e s e   e xa m s   a r e   ge n e ra l l y   us i n M u l t i pl e   C h o i c e   Q ue s t i o n s   (M CQ )   [15 ,   1 6] .   M CQ   p r o c e s s   t a ke s   l e s s   t i m e   c o m pa r e t o   t e xt ua l   t e s t s   Is   o n e   o f   t h e   m a i a dv a n t a ge s   o f   us i ng  t h e   M CQ   t ha t   a r e   s u ppo r t e d   by   e l e c t r o n i c   e xa m s   [1 7] .   O v e r   a   w i de   r a n ge   o f   t i m e   a n by   t e s t e d   t h e   s t ude nt ' s   a b i l i t y   t o   a n s w e r   t h e   que s t i o n s ,   t h e   e xa m   w a s   b e e n   c l a s s i f i e i n t o   t w o   c a t e go r i e s ;   t h e   f i r s t   o n e   i s   t h e   h a rdc o p y   e xa m .   T h i s   t y pe   of   e xa m   i s   pe r f o r m e us i n g   t h e   pa pe r   f o r m a t ,   a nd  t h e   a n s w e r s   ha v e   r e c o r de m a n u a l l y   [18] ,   f i f t e e n   m i n ut e s   a r e   gi v e n   t o   c o m pl e t e     t h i s   e xa m i n a t i o n.   T h e   e l e c t r o ni c   e xa m   i s   t h e   s e c o n o n e   w hi c h   i s   a   n e w   a ppr o a c h   t ha t   h a s   b e e n   c ur r e n t l y   us e a r o u n t h e   w o r l d.   Co m pu t e r s   a r e   u s e a t   t h e   e xa c t   l o c a t i o n   o f   t h e   e xa m ;   t h e   e l e c t r o n i c   e xa m i na t i o n   s y s t e m   i s   us e t o   a n s w e r   t h e   que s t i o n s   a n d   ge t s   t h e   r e s ul t s   [1 9,   20] .   T h i s   s t udy   a i m s   t o   c o m pa r e   t h e   E - e xa m   a n pa pe r   e x a m   f o r   f e m a l e   a nd  m a l e   s t ude n t s   a n s t u d y     t h e   s y s t e m   i m po r t a n c e   a s   t h e   f o l l o w i n g:   -   a)   E a s e   o f   pr e pa ra t i o a nd  a ppl i c a t i o r e v i e w   r e s ul t s   a r e   po s s i b l e S e t   a   de s c e n di ng  t i m e   f o r   t h e   t e s t .   b)   E c o n o m i c a l   a s   i t   s a v e s   e ffo r t ,   t i m e ,   a n d   m o n e y .   c)   C a b e   a p p l i e d   a t   t h e   s a m e   t i m e   t o   a   l a rge   g r o u p   o f   i nd i v i du a l s   o a t   d i f f e r e nt   t i m e s   a nd   i d i f f e r e nt   pl a c e s .   d)   T h e i r   r e s ul t s   i m m e di a t e l y   a f t e r   a n s w e r i ng  a l l   que s t i o n s .     T h e   w o r i n   [21 ,   22]   s t u di e t h e   i m pl e m e n t a t i o n   o f   a   w e b - ba s e e xa m i na t i o n   s y s t e m   w a s   pr e s e n t e d.   T h e   s y s t e m   w a s   de ve l o pe us i n A S P . N e t   a n H y p e r t e xt   M a r kup  L a n g ua ge   (H T M L ),   A S P . N e t   a n C - s h a rp  a s   i n t e r f a c e   pr o g r a m ,   c o nn e c t i o n   w i t h   i nt e rn e t   a nd  S Q L   S e r v e r   a s   d a t a b a s e .   T h e   a ppl i c a t i o n   w a s   t e s t e o n   t h e   uni v e r s i t y   i nt r a n e t ,   a n d   s t ude n t s   w e r e   a b l e   t o   t e s t   r u t h e   a ppl i c a t i o us i n g   s o m e   s a m p l e   M S Q   e xa m i n a t i o n   que s t i o n s   o f   s o m e   ge n e ra l   c o ur s e s .   T h e   w o r i n   [ 23,   24]   p r o po s e t h e   s t ude n t ' s   pe r c e pt i o n   o f   a   b ri n g - y o ur - o w n   (B Y O t h e   e l e c t r o ni c   c o m put e r - b a s e e xa m i na t i o n   s y s t e m .   D a t a   w e r e   c o l l e c t e d   us i n p r e l i m i n a r y   s t udi e s   (n   =   128) ,   w hi c i n c l ude qua l i t a t i v e   c o m m e n t s   a n L i ke r t   e l e m e n t s .   T h e   o pi n i o n s   of   s t ude n t s   a nd  e xa m   s y s t e m s   fo c us   o n   l a p t o ps ,   a nd  m a n y   o f   t h e m   a r e   s a t i s f i e w i t h   t h e   a pp r o a c t o   c o n duc t i n e l e c t r o ni c   e xa m s   i t h e   c l a s s r o o m .     T h e   w o r i n   [ 25]   p r e s e nt s   t h e   de s i g n   a nd  us e r   e v a l u a t i o n   o f   a   r e s i l i e n t   e - E xa m   pl a t f o r m ,   d ra w   upo n   t h e   e duc a t i o n   a n t e c hn o l o gy   a c c e pt a n c e   l i t e ra t u r e   a s   a   b a s i s   fo r   e v a l ua t i o n.   T h e   a pp r o a c h   a l s o   e n a b l e s   r i c h,   c o n s t r uc t e a s s e s s m e n t   t a s ks   by   pr o v i di ng  a ut h e n t i c   ‘e - t oo l s   of   t h e   t r a de   s o f t w a r e   a pp l i c a t i o n s   a nd  a   c o n s i s t e n t   o pe ra t i n s y s t e m   o n   e a c h   s t ude n t ’s   B Y O   l a p t o p.   S t ude n t s   u nde rt o o a   s e que n c e   of   pr a c t i c e ,     mid - t e rm ,   a nd  a   f i na l   e xa m i na t i o n   us i n t h e   pl a t f o r m .   It   i s   o b s e r v e t h a t   s t u de nt s   w e r e   a b l e   t o   a c c e pt     t h e   n e t w o r ke e di t i o n   o t h e   e - e xa m   s y s t e m   a s   be i n f i t   fo r   purpo s e   fo r   un de r t a ki ng  s upe r v i s e t i m e - l i m i t e e xa m s .   S t ude n t s   ga v e   r e l i a b i l i t y   a n d   us a b i l i t y   ra t i ngs   i n   l i n e   w i t p r e v i o us   off - l i n e   e - e xa m   t r i a l   o ut c o m e s .     T h e   w o r i n   [26]   s t ud i e t h e   e l e c t r o n i c   e xa m   (e - E xa m ),   a s   a   pe r f e c t   a b i l i t y   to   t e s t   n o   l o n ge r   o n l y   c o l l e ge   s t ude n t s   f o r   t h e   a b s e n c e   of   a   w o r l ge n e ra l   o r   a   de s i g n   s t r uc t u r e .   H a s   de v e l o p e a   s y s t e m     t h a t   c a n   b e   a da pt e f o r   m o s t   t y pe s   of   e xa m s   of   c o m put e r s   i a n y   i n s t i t u t i o n   w i t h   r e l i a b l e   s e c ur i t y   a n d   i n t e g r i t y   of   r e s ul t s ,   a s   w e l l   a s   s of t w a r e   i m p l e m e nt a t i o n.   T h e   a n a l y s i s   of   s e v e r a l   t h e s e   s y s t e m s   a n t h e   e v a l u a t i o o f   pr o b l e m s   a n s e c uri t y   e r r o r s   l e t o   t h e   de v e l o p m e nt   o f   a   n e w   c o m put e t e s t   s y s t e m .   T h e   s y s t e m   w a s   d e ve l o p e us i n a   u n i f i e m o de l i n l a ngua ge   (U M L a nd  i m pl e m e nt e us i ng  H T M L ,   P H P ,   a n M y S Q L   a s   a   w e b   a ppl i c a t i o n.       2.   E - EX A M   A N D   D A TA   C O LL EC TI O N   TO P O L OGY   In   t h i s   s t udy ,   qua n t i t a t i v e   da t a   ha s   b e e n   us e t o   e xpl o r e   t he   t e a c h e r s   a n s t ude n t s   e xp e ri e n c e s   i   e -   E xa m i n a t i o n   [ 27 ] T h e   r e s ul t s   o f   t h i s   r e s e a r c h - b a s e on   i n f o r m a t i o n   o b t a i n e a r e   c o l l e c t e m a nua l l y     by   s t ude n t s   [28] .   T h e   t e s t s   ha v e   be e n   c o n duc t e i n   t h e   c o m put e r   e ngi n e e ri n t e c hni que s   de pa r t m e nt .     T h e   s t ude n t s   a r e   a s ke t o   e v a l ua t e   t h e i e xpe ri e n c e s   i E - e x a m   us i ng  o r ga ni z e d   que s t i o nna i r e s   w hi c h   t h e y   a r e   de l i v e r e t o   e a c h   s t ude nt   pe r s o n a l l y .   S e v e r a l   w a y s   h a v e   b e e n   us e t o   o r ga ni z e   e l e c t r o n i c   e xa m s .   T h e   s y s t e m   i s   us e fo r   e s s a y   a n M S Q   e xa m i na t i o n s   [29] .   T h e   e l e c t r o ni c   e xa m   i n c l ude m a n y   que s t i o n s   i n   a   s pe c i f i c   pe r i o o f   t i m e .   T h e s e   que s t i o n s   a r e   s t o r e i t h e   da t a b a s e   w i t h   t h e   c o r r e c t   a n s w e r s   f o r   a l l   que s t i o n s .     T h e   b a s i c   s t r uc t u r e   o f   t h e   s y s t e m   i s   s h o w n   i F i gu r e   2.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om par at i v e   anal y s i s   of   an   e l e c t r on i c   e x am s   v e r s us   p ape r   e x am s   be t w e e di f f e r e nt   g   …  ( Mar w M.   Is m a i l )   425       F i gu r e   2 .   E - E xa m   s y s t e m   s t ruc t u r e       T h e   e xa m i n a t i o n   c o n t a i n s   a   s e t   o f   que s t i o n s   p r e pa r e a s   a n   M CQ   f o r m .   I t hi s   c a s e ,   t hr e e   g r o ups   o e xa m s   w i t f i v e   c o m put e r s   a n d   o n e   t e a c h e f o r   e a c g r o up  h a v e   be e n   a do pt e a s   i l l us t ra t e i n   F i gu r e   3.           F i gu r e   3 .   s t ruc t u r e   o f   E - e xa m       3.   TH E   P R O C ED U R D ES I G N   3. 1 .     E - e x am   d e s i gn   fo r   s tu d e n ts   T h e   s t ude n t   r e p r e s e n t s   t h e   c l i e nt   a n d   i t s   s y s t e m   c o n s i s t s   o f   t w o   s ub s y s t e m s   w h i c h   a r e :   -   a)   E - E x a m   P a c ka ge :   M i c r o s of t   . N E T   F ra m e w o r 4. w a s   us e t o   ge n e r a t e   t h e   E - e xa m   p a c ka ge   a nd  i t   w a s   s e l e c t e b e c a us e   i t   de l i v e r s   b e t t e r   pe r f o r m a n c e ,   s e c ur i t y ,   a nd  r e l i a b i l i t y   [30] .   T h e   N E T   F r a m e w o r 4. i s   f ul l y   c o m pa t i b l e   w i t h   N E T   F ra m e w o r a nd  W i ndo w s   a ppl i c a t i o n s   c a n   b e   c r e a t e by   us i n a   c o m b i na t i o n   o f   V i s ua l   B a s i c   a n M i c r o s of t   . N E T   F r a m e w o r 4 . 5.     b)   E - E x a m   B r o w s e r :   F i r s t ,   t h e   s t ude n t   m us t   r e gi s t e r   i n   t h e   s y s t e m   w i t h   hi s   r e l e v a nt   i n f o rm a t i o n,   a f t e   t h e   r e gi s t ra t i o n   p r o c e s s   t h e   s t ude nt   l o gi n   t o   t h e   s y s t e m   w i t h   h i s   ID ,   U s e r   N a m e   a n P a s s w o r d,   i f   t h e   l o gi n   w a s   f a i l e t h e   s y s t e m   w i l l   c l o s e   a ut o m a t i c a l l y   a n t h e   s t ude n t   m us t   l o i n   a ga i n   a n d     i f   t h e   l o gi n   w a s   s uc c e s s f ul   t h e   que s t i o n s   i n   t h e   da t a b a s e   a re   upl o a de t o   t h e   s t ude n t   i n t e r f a c e   t hr o ug h   t h e   s y s t e m ,   t h e   s t u de nt   w i l l   s e l e c t   t h e   a n s w e r s   a n d   a l l   t h e   i n f o r m a t i o n   w i l l   b e   s e n t   t o   t h e   d a t a b a s e   a s   s h o w n   i F i g u r e   4 ( a ) .     3. 2 .     E - e x am   d e s i gn   fo r   t e a c h e r s     T he   i m p l e m e nt a t i o o f   t he   d a t a b a s e   i s   a c hi e v e u s i ng   a   c o m b i na t i o o f   v i s u a l   s t u d i o   2 0 1 2   a nd   S Q L   s e rv e r,   T he   a d m i n   c re a t e s   a   u s e r n a m e   a nd   p a s s w o rd   f o e a c t e a c he a nd   t he   t e a c he c a n   s e e   t he   q u e s t i o ns   re l a t e d   t o   hi s   o w m a t e ri a l   o nl y ,   t he   d e g re e   w i l l   b e   c a l c u l a t e d   u p o t he   c o rre c t   a ns w e rs   a nd   t he   t e a c he rs   w i l l   b e   c o ns i d e re d   t he   t e s t   re s u l t s   d i re c t l y ,   t he   s e rv e o f   t he   p ro g ra m   w i l l   p ri nt   t he   s t u d e nt s   d e g re e s   a s   s ho w i n   F i g u re   4 ( b )       Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 N o .   1 O c t o b e r   20 20  :     423   -   429   426       (a )   (b )     F i gu r e   4( a F l o w c h a r t   o f   t h e   s t udy   (b F l ow c h a r t   o f   t h e   t e a c he r       4.   TH E O R ETI C A R ES U L T   I t h i s   s e c t i o n ,   t he   s u p p o r t e d   c o u rs e   h a s   b e e a d o p t e d   u s i n g   a e l e c t ro n i c   e x a m   t o   g u i d e   t he   s t u d e n t s   a b o u t   ho w   t o   u s e   t he   E - e x a m   s y s t e m .   T he   t o t a l   d a t a   s e t   c o n t a i n s   9 0 0   d e g re e s   c o l l e c t e d   f ro m   3 0   s t u d e nt s .   E a c s t u d e n t   a ns w e re d   3 0   q u e s t i o ns   i t he   p a p e r   a n d   t he   e l e c t ro n i c   e x a m s .   T h e   e x a m   i s   c o ns i s t i n g   o f   1 5   m u l t i p l e - c ho i c e   q u e s t i o ns ;   o ne   d e g re e   f o r   e a c h   q u e s t i o n   a n d   t he   re s u l t   h a s   b e e n   c a l c u l a t e d   b y   t he   a m o u n t   o f   t he   c o r re c t   a ns w e rs .   T he   r e s u l t s   c o l l e c t e d   f ro m   t he   m a l e   a n d   f e m a l e   s t u d e n t s   a t   d i f f e re n t   t i m e s   h a v e   b e e n   p re s e n t e d   a s   i l l u s t r a t e d   i f i g u re s   b e l o w .   T he   d e t e r m i ne d   t i m e   o f   e x a m   i s   1 5   m   i t   i s   o b s e rv e d   t h a t   h a s   s o m e   o f   t he   s t u d e n t s   i n   t he   f e m a l e   g ro u p   h a v e   e x c e e d e d   t he   t i m e   o f   t he   e x a m .   F o e x a m p l e ,   t h e   f e m a l e   N o .   1   i a   t h i r d   g ro u p   h a s   b e e f i ni s h e d   t he   e x a m   i n   1 7 . 2 9   m .   O n   t he   o t he r   h a n d ,   f e m a l e   N o .   5   i n   a   f i r s t   g ro u p   t o o k   1 8 . 1 5   m   t o   f i n i s h   i t ,   a s   s ho w n   i n   F i g u re   5.   I t   i s   no t e d   t h a t   e x t r a   t i m e   i s   t he   m a i n   p ro b l e m   n e e d e d   t o   c o m p l e t e   t he   e x a m .   T h i s   p ro b l e m   c a n   b e   e l i m i n a t e d   b y   u s i n g   t he   e l e c t ro n i c   e x a m   a s   s ho w i F i g u re   6 .   F e m a l e   s t u d e n t s   d i d   no t   e x c e e d   t h e   e x a m   t i m e   b e c a u s e   t he   p ro g r a m   h a s   b e e a u t o m a t i c a l l y   c l o s e d   t he   a p p l i c a t i o n ,   a n d   t he   d a t a   h a v e   b e e s t o re d   d a t a b a s e .   A l s o   e l i m i n a t i n g   t he   t i m e   t h a t   i s   re q u i re d   t o   c o l l e c t   t he   p a p e r s   f ro m   s t u d e n t s   w h i c r e p re s e nt s   a   w a s t e   o f   t i m e   f o t he   e n t i re   e d u c a t i o n a l   e s t a b l i s h m e n t .   B e s i d e s   t h a t ,   s o m e   s t u d e n t s   f ro m   t he   f e m a l e   g ro u p   t o o k   l e s s   t i m e   t o   c o m p l e t e   t he   e l e c t ro n i c   e x a m   t h a n   t he   p a p e e x a m ,   w he re   t he   f e m a l e   N o .   1   o f   t he   t h i r d   g ro u p   t o o k   t i m e   e q u a l   t o   1 7 : 2 8   m i t o   f i n i s t he   p a p e e x a m   a n d   1 0 : 1 9   m i t o   f i n i s t h e   e l e c t ro n i c   e x a m .   O t he   o t he h a n d ,   f e m a l e   N o .   3   o f   t he   f i rs t   g ro u p   t o o k   t i m e   e q u a l   t o   4 : 5 3   m i n   t o   f i n i s t he   p a p e e x a m   a n d   1 3 : 0 3   m i t o   f i n i s t he   e l e c t ro n i c   e x a m .   A l s o ,   t he   m a l e   g ro u p   a re   s u f f e ri n g   t he   s a m e   p ro b l e m   a s   i n   t h e   f e m a l e   g ro u p   d u r i n g   t he   p a p e t e s t   a s   s ho w i F i g u re   7 .   T he   r e s u l t s   p re s e n t e d   a b o v e   s ho w   t h a t   a   g o o d   i m p r e s s i o n   t o   o v e rc o m e   t he   p ro b l e m ,   a s   s ho w n   i n   F i g u re   8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om par at i v e   anal y s i s   of   an   e l e c t r on i c   e x am s   v e r s us   p ape r   e x am s   be t w e e di f f e r e nt   g   …  ( Mar w M.   Is m a i l )   427       F i gu r e   5 .   S t a t i s t i c a l   a na l y z e s   fo r   pa pe t e s t   f o r   f e m a l e           F i gu r e   6 .   S t a t i s t i c a l   a na l y z e s   fo r   c o m put e t e s t   f o r   f e m a l e           F i gu r e   7 .   S t a t i s t i c a l   a na l y s e s   fo r   p a pe t e s t   f o r   m a l e             F i gu r e   8 .   S t a t i s t i c a l   a na l y z e s   fo r   c o m put e t e s t   f o r   m a l e   Evaluation Warning : The document was created with Spire.PDF for Python.
                                IS S N :   2502 - 4752   In do n e s i a J   E l e c   E ng  &   Co m S c i ,   V o l .   20 N o .   1 O c t o b e r   20 20  :     423   -   429   428   T h i s   s e c t i o p r e s e n t s   t h e   d a t a   a n a l y s i s   r e s ul t s   b a s e o n   t he   di f fe r e n c e   i e xc e e d e t i m e   b e t w e e n     t h e   pa pe r   t e s t   a n c o m put e r   t e s t .   A   ge ne ra l   p i c t u r e   o f   t he   p a rt i c i p a nt s   i s   i l l us t ra t e i n   T a b l e   1 .   A l s o ,   i n   T a b l e   2,   t h e   pa rt i c i p a n t s   a r e   di v i de i nt o   t w o   m a i n   g r o ups   (f e m a l e   a n m a l e   g r o ups ).   E a c h   g r o up  c o n s i s t e o f   30  s t ude nt s .   T h e   m a j o r   g r o up  i s   di v i de i nt o   t hr e e   s ub gr oups   w i t h   f i ve   s t ude n t s   a s   s h o w n   i n   T a b l e   1.     T h e   t i m e   l o s s   i n   t h e   pa pe r   i s   08: 48  s e c   f o r   fe m a l e   a n 10 : 11s e c   fo r   m a l e ,   w h i l e   i n   c o m put e r   t e s t ,   t h e   t i m e   ha s   n o t   t o   b e   e xc e e de d.       T a b l e   1   E xc e e de T i m e   b e t w e e n   pa pe a nd  c o m put e r   t e s t s   f or  f e m a l e   T e s t s   N   M   F   e x c e e d e d   T i m e   fo fe m a l e   T o t a l   t i m e   G ro u p   o n e   G ro u p   T w o   G ro u p   t h re e   P a p e t e s t   30   15   15   0 3 : 1 5 s   0 3 : 0 4 s   0 2 : 2 9 s   0 8 : 4 8 s   Co m p u t e r   t e s t   30   15   15   0 0 : 0 0   0 0 : 0 0   0 0 : 0 0   0 0 : 0 0       T a b l e   2   E xc e e de T i m e   b e t w e e n   pa pe a nd  c o m put e r   t e s t s   f or  m a l e   T e s t s   N   M   F   e x c e e d e d   T i m e   fo fe m a l e   T o t a l   t i m e   G ro u p   o n e   G ro u p   T w o   G ro u p   t h re e   P a p e t e s t     30   15   15   0 3 : 2 3 s   0 2 : 3 8 s   0 4 : 1 0 s   1 0 : 1 1 s   Co m p u t e r   t e s t     30   15   15   0 0 : 0 0   0 0 : 0 0   0 0 : 0 0   0 0 : 0 0       T a b l e   de m o n s t r a t e t ha t   16 . 6%  o f   s t ude n t s   pr e f e r   t h e   c o m put e r   i n   e xa m s ,   w hi l e   83. 3%  o f   s t ude n t s   do   n o t   w a n t   t o   us e   t h e   c o m put e r   i n   e xa m s .   36 . 6%  o f   t h e   s t ude nt s   a g r e e t ha t   t h e   e l e c t r o n i c   e xa m   m a ke s     t h e   un de r s t a n di ng  o t h e   que s t i o n   m o r e   di f f i c ul t   c o m pa r e w i t h   63. 3 of   t h e   s t ude n t s   di s a g r e e t ha t .   B e s i de s ,   6. 6%  o f   s t ude n t s   ha v e   di ff i c ul t y   i n   us i ng  t h e   p r o g r a m ,   a n d   93. 3%  ha v e   n o   di f f i c ul t y   i n   us e .   N e xt ,   10%  o   t h e   s t ude n t s   s h o w   t ha t   t h e   t i m e   a l l o c a t e f o r   t h e   e l e c t r o n i c   e x a m   i s   e n o ugh,   w hi l e   9 0%  do   n o t   a g r e e   w i t t ha t .   O n   t h e   o t h e ha n d,   96 . 6%   o f   s t ude n t s   s h o w   t h e   d i f f i c ul t y   t o   s o l ve   t h e   m a t h e m a t i c a l   e qua t i o n s   c o m pa r e w i t h   3. 3%  a ga i n s t   t ha t .   F i na l l y ,   96. 6%  o f   s t ude n t s   f o un t h a t   t h e   pr e s e n c e   of   t h e   t e a c h e r   w hi l e   t a k i n t h e   e xa m   i s   n e c e s s a r y   a nd,   a nd  3 . 3%   s a w   t h e   o ppo s i t e .       T a b l e   3   S t ude n t s   e xpe ri e n c e   i e - E x a m   No   Q u e s t i o n   T o t a l   n u m b e r   A g r e e   D i s a g r e e   M   F   N   M   F   N   1   U s e   t h e   c o m p u t e i n   e x a m s ?   15   15   5   15   15   5   2   D i ffi c u l t   t o   u n d e r s t a n d   q u e s t i o n s ?   15   15   11   15   15   11   3   D i ffi c u l t   t o   u s e   t h e   p r o g ra m ?   15   15   2   15   15   2   4   T h e   t i m e   a l l o c a t e d   fo r   E - e x a m   i s   s u ff i c i e n t   15   15   3   15   15   3   5   D i ffi c u l t   t o   s o l v e   t h e   m a t h e m a t i c a l   q u e s t i o n s ?   15   15   29   15   15   29   6   T h e   n e e d   fo r   a   t e a c h e d u ri n g   t h e   e x a m ?   15   15   18   15   15   18       5.   C O N C LU S I O N   A   c o m pa ra t i v e   a na l y s i s   of   e l e c t r o n i c   e xa m s   v e r s us   pa pe r   e x a m s   b e t w e e n   di f fe r e nt   ge n de r   s t ude n t s   i s   pr e s e nt e i t hi s   p a pe r .   T h e   f i r s t   a t t e m p t   t o   c h a nge   t h e   p a pe r   e xa m   t o   a n   e l e c t r o ni c   e xa m   h a s   b e e n   r e j e c t e b y   83. o s t ude n t s   b e c a us e   of   i t s   di ff i c ul t y   of   un de r s t a ndi ng   t h e   m a t h e m a t i c a l   que s t i o n s   a n t h e   m e c ha ni s m   of   us i n t h e   p r o gra m   a n c o m put e r.   F r o m   t h e   r e s ul t s   o b t a i n e d,   i t   i s   o b s e r v e t ha t   m a n y   be n e f i t s   ha v e   be e n   a c hi e v e by   us i n t h e   e l e c t r o ni c   e xa m   i t e r m s   o f   e ffo r t ,   t i m e ,   e a s e   of   pr e pa ra t i o n   a n po s s i b i l i t y   t o   a t t a c h   a a udi o   o r   v i de o   f i l e   i n   e a c que s t i o n.   T h e   p r o po s e que s t i o nn a i r e   w a s   a s   f o l l ow s :   67%  of   fe m a l e   m a de   pr o g r e s s   i n   e n di ng  t h e   e xa m   i n   l e s s   t i m e ,   w hi l e   t h i s   pe r c e n t a ge   fo r   m a l e   i s   up  t o   (87%) .   63. 3%  o f   s t ude n t s   do  n o t   h a v e   di f f i c ul t y   i n   u n de r s t a n di ng  t h e   que s t i o n s   o f   t h e   pr o g r a m .   O n   t h e   o t h e r   ha n d,   96. 6%  o f   s t ude n t s   fo un i t   c h a l l e n gi ng  t o   s o l v e   t h e   m a t h e m a t i c a l   que s t i o n s .   T h e r e   i s   a   po s i t i v e   o ut l oo t ow a r ds   t h e   us e   of    t h e   e - l e a rn i ng  s y s t e m   a n d   i t s   b e n e f i t s   f o r   c urr e nt   a n d   f ut u r e   g e n e ra t i o n s   o f   s t ude n t s .       R EF ER EN C ES   [ 1]   C .   Z i l l e s ,   M .   W e s t ,   a n D .   M us s ul m a n,   " S t u de n t   b e ha v i o r   i s e l e c t i ng   a e xa m   t i m e   i a   c o m put e r - ba s e t e s t i ng   f a c i l i t y , "   i 2 016   A SE E   A n nua l   C onf e r e nc e   &   E x p os i t i on ,   p.   2 5896 ,   201 6 .   [ 2]   R .   W a l ke r   a nd  Z .   H a nd l e y ,   " D e s i g ni ng   f o r   l e a r ne r   e ng a g e m e n t   w i t c o m put e r - ba s e t e s t i ng , "   R e s e ar c i l e ar n i ng   t e c hno l og y ,   v o l .   2 4,   20 16.   Evaluation Warning : The document was created with Spire.PDF for Python.
In do n e s i a J   E l e c   E ng  &   Co m S c i     IS S N :   2502 - 4752       A   c om par at i v e   anal y s i s   of   an   e l e c t r on i c   e x am s   v e r s us   p ape r   e x am s   be t w e e di f f e r e nt   g   …  ( Mar w M.   Is m a i l )   429   [ 3]   C. - J .   S hi e a nd  L .   Y u,   " A   s t udy   o i nf o r m a t i o t e c hno l o gy   i nt e g r a t e d   g ui de d   d i s c o v e r y   i ns t r uc t i o t o w a r ds   s t ud e n t s   l e a r n i ng   a c hi e v e m e nt   a nd   l e a r n i ng   r e t e nt i o n, "   E U R A S I A   J our na l   of   M at he m at i c s ,   S c i e nc e   a nd  T e c h nol ogy   E duc a t i on ,   v o l .   12 ,   no .   4 ,   pp .   833 - 842 ,   201 6.   [ 4]   N .   A .   O m o r e g be ,   A .   A .   A z e t a ,   A .   A de w um i ,   a n A .   O .   O l uw a f unm i l o l a ,   " I m pl e m e nt i ng   a O nl i n e   E xa m i na t i o n   S y s t e m , "   i n   P r oc e e di ng s   o f   I C E R I   201 C o nf e r e nc e ,   p.   5 5 - 61  2 015 .   [ 5]   M .   S .   A l - H a ke e m   a nd   M .   S .   A bdul r a hm a n ,   " D e v e l o pi ng   a   ne w   e - e x a m   pl a t f o r m   t o   e nha nc e   t he   uni v e r s i t y   a c a de m i c   e xa m i na t i o ns :   T he   c a s e   o f   L e ba ne s e   F r e nc U n i v e r s i t y , "   I nt e r n at i o nal   J ou r na l   o f   M ode r n   E du c a t i o an C om p ut e r   Sc i e nc e ,   v o l .   9 ,   no .   5,   p p .   9 ,   2 017 .   [ 6]   G .   S i ndr e   a nd  A .   V e g e nd l a ,   " E - e xa m s   v e r s u s   p a pe r   e xa m s :   A   c om pa r a t i v e   a na l y s i s   o f   c he a t i ng - r e l a t e s e c ur i t y   t hr e a t s   a n c o unt e r m e a s ur e s , "   i n   N or w e gi an   I n f o r m at i on   Se c u r i t y   C onf e r e nc e ,   v o l .   8 ,   no .   1 ,   p p .   34 - 45 2 015 .   [ 7]   G .   S i n dr e   a nd  A .   V e g e ndl a ,   " E - e xa m s   a nd  e xa m   pr o c e s s   i m pr o v e m e nt , "   i N or s k   I K T - k on f e r ans e   f o r   f o r s k ni ng  og   ut da nni ng ,   2 015 .   [ 8]   A .   R y t köne a nd  V .   V i r t a ko i v u,   " C o m pa r a t i v e   s t ud e nt   e xpe r i e nc e s   o e l e c t r o ni c   e xa m i ni ng   i a   pr o g r a m m i ng   c o ur s e - c a s e   C , "   i P r oc e e di ngs   of   t he   19t K o l i   C a l l i ng  I nt e r nat i ona l   C on f e r e nc e   on  C om put i n E duc a t i on   R e s e ar c h ,   pp .   1 - 10 ,   2 019 .   [ 9]   H .   E l ba s r i ,   A .   H a d di ,   a n H .   A l l a l i ,   " I m pr ov i ng   e - l e a r n i ng   by   i nt e g r a t i ng   a   m e t a c o g ni t i v e   a g e n t , "   I n t e r nat i on al   J our nal   o f   E l e c t r i c a l   &   C om pu t e r   E ng i ne e r i ng   ( 2088 - 870 8) ,   v o l .   8 ,   201 8.   [ 10]   A .   F l uc k   e t   a l . ,   " e E xa m   s y m p o s i um :   de s i g de c i s i o ns   a nd  i m p l e m e nt a t i o e xp e r i e nc e , "   i 11 t h   I F I P   T C   W or l d   C onf e r e nc e   on   C om p ut e r s   i E duc at i on ,   201 7 .   [ 11]   A .   K o s c hm i de r   a nd  D .   B u s c hf e l d ,   " S hi f t i ng   t he   pr o c e s s   o f   e xa m   pr e pa r a t i o t o w a r d s   a c t i v e   l e a r n i ng :   A   c r o w ds o ur c i ng   ba s e d   a ppr o a c h, "   I n f o r m at i k   20 16 ,   2 016 .   [ 12]   R .   J i m o h,   M .   Y u s s uf f ,   M .   A ka nm u ,   A .   E nl k uo m e hi n ,   a nd   I .   S a l m a n,   " A c c e pt a bi l i t y   of   c om put e r   ba s e d   t e s t i ng   ( C B T )   m o de   f o r   und e r g r a d ua t e   c o ur s e s   i c o m put e r   s c i e nc e , "   J ou r nal   of   Sc i e nc e ,   T e c hno l o gy ,   M at he m at i c s   a nd   E duc a t i on   ( J O ST M E D ) ,   v o l .   9 ,   no .   2 ,   pp .   1 1 - 19,   20 13 .   [ 13]   A .   F l uc k,   O .   S .   A de ba y o ,   a nd  S .   i .   M .   A bdul h a m i d ,   " S e c u r e   e - e xa m i na t i o s y s t e m s   c o m pa r e d:   c a s e   s t ud i e s     f r o m   t w o   c o unt r i e s , "   T he   J our nal   o f   I nf or m a t i on  T e c h nol ogy   E duc a t i on:   I nnov at i on s   i P r ac t i c e ,   v o l .   16 ,     pp.   10 7 - 125,   2 017 .   [ 14]   Ö .   H üs e y i a nd  T .   Ö z t u r a n ,   " C o m put e r - b a s e a nd  pa p e r - ba s e t e s t i ng:   D o e s   t he   t e s t   a dm i n i s t r a t i o m o de   i nf l ue nc e   t he   r e l i a b i l i t y   a nd  v a l i di t y   o f   a c hi e v e m e nt   t e s t s ? , "   J our n al   of   L a nguage   an L i ngu i s t i c   S t ud i e s v o l .   1 4,   no .   1,     pp.   67 - 85 ,   201 8.   [ 15]   H .   C he ng ,   " M e a s ur i ng   t h e   e f f e c t   o f   a m o unt   o f   r e qui r e s t u de n t   e f f o r t   o e xa m   pe r f o r m a nc e , "   M . S .   T he s i s U ni v e r s i t y   o f   I l l i no i s   a t   U r b a na - C ha m pa i g n ,   2018 .   [ 16]   Y .   O z a r s l a a nd  O .   O z a n ,   " S e l f a s s e s s m e n t   qu i z   t a ki ng   be ha v i o ur   a na l y s i s   i a o nl i ne   c o ur s e , "   E u r ope an  J our n al   of   O pe n,   D i s t a nc e   an e - l e ar n i ng ,   v o l .   19 ,   no .   2 ,   pp .   15 - 31 ,   2 016 .   [ 17]   S .   H .   A l i ,   P .   A .   C a r r ,   a nd  K .   G .   R u i t ,   " V a l i di t y   a nd  r e l i a b i l i t y   o f   s c or e s   o bt a i ne d   o m ul t i pl e - c ho i c e   que s t i o ns :   W h y   f unc t i o ni ng   d i s t r a c t o r s   m a t t e r , "   J ou r na l   of   t he   Sc hol ar s hi o f   T e ac h i ng   and   L e ar ni n g,   v o l .   1 6,   no .   1 ,   p p.   1 - 14 ,   201 6.   [ 18]   S .   W a s hbu r n ,   J .   H e r m a n ,   a nd  R .   S t e w a r t ,   " E v a l ua t i o o f   pe r f o r m a nc e   a nd   pe r c e pt i o ns   o f   e l e c t r o ni c   v s .   p a pe r   m ul t i p l e - c ho i c e   e xa m s , "   A dv a nc e s   i n   ph y s i o l ogy   e duc at i on ,   v o l .   41 ,   no .   4,   pp .   548 - 55 5,   20 17 .   [ 19]   B .   B a s r i ,   M .   A s s i di q,   a nd  U .   A na t a s y a ,   " L i ne a r   c o ng r ue nt   m e t ho ( L C M )   i t e s t i ng   s y s t e m   us i ng   c l i e nt -   s e r v e r   m o de l , "   I J I SC ( I n t e r nat i o nal   J our nal   of   I n f or m at i on  S y s t e m   and  C om pu t e r   Sc i e nc e ) ,   v o l .   2,   no .   1,     pp.   51 - 58 ,   201 8.   [ 20]   T .   K a t t o ua ,   M .   A l - L oz i ,   a nd  A .   a .   A l r o w w a d,   " A   r e v i e w   o f   l i t e r a t ur e   o E - l e a r n i ng   s y s t e m s   i h i g he r   e duc a t i o n, "   I nt e r n at i on al   J o ur n al   o f   B us i ne s s   M anage m e nt   &   E c onom i c   R e s e ar c h,   v o l .   7 ,   no .   5,   pp .   754 - 7 62,   2 016 .   [ 21]   O .   A .   A ba s s ,   O .   B .   A l a b a ,   a nd  A .   A .   O dum o s u,   " D e s i g o f   a o nl i ne   e xa m i na t i o i nf o r m a t i o s y s t e m   f o r   t e r t i a r y   e duc a t i o n , "   A f r i c a J ou r na l   of   Sc i e nc e   an N at u r e ,   v o l .   3 ,   pp.   3 5 - 43,   201 7.   [ 22]   I .   S a l a m a h   a nd  M .   A .   G a n i a r d i ,   " D e v e l o pm e n t   o f   E - l e a r ni ng   s o f t w a r e   ba s e m u l t i p l a t f o r m   c o m po ne nt s , "   B u l l e t i n   o f   E l e c t r i c al   E ng i ne e r i ng   a nd  I n f or m at i c s   ( B E E I ) v o l .   6 ,   no .   3 ,   pp .   2 2 8 - 234,   20 17.   [ 23]   O .   F .   O l a w uy i ,   R .   A .   T o m o r i ,   a nd  O .   O .   B a m i g boy e ,   " S t ude nt s   S ui t a b i l i t y   o f   C o m pu t e r   B a s e T e s t   ( C B T )   M o de   f o r   U nde r g r a dua t e   C o ur s e s   i N i g e r i a U n i v e r s i t i e s :   A   C a s e   S t ud y   o f   U ni v e r s i t y   o f   I l o r i n, "   I nt e r nat i on al   J our nal   O f   E d uc a t i ona l   Sc i e nc e s v o l .   2 0,   no .   1 - 3,   pp .   18 - 24 ,   2018 .   [ 24]   M .   H i l l i e r   a nd  N .   L y o n,   " S t ud e nt   e x pe r i e nc e s   w i t a   b r i ng   y o u r   o w l a p t o e - E xa m   s y s t e m   i n   pr e - uni v e r s i t y   c o l l e g e , "   i O pe n   C on f e r e nc e   on   C om pu t e r s   i n   E d uc a t i on ,   S pr i ng e r ,   pp.   2 53 - 263 2018 .   [ 25]   M .   H i l l i e r ,   S .   G r a nt ,   a n M .   C o l e m a n,   " T o w a r d s   a u t he nt i c   e - E xa m s   a t   s c a l e :   R o bus t   ne t w o r ke M o o dl e , "   O pe O c e ans :   L e ar n i ng   W i t ho ut   B or de r s 2 018 .   [ 26]   O .   T .   O l uw a t o s i a n D .   D .   S a m s o n,   " C o m put e r - ba s e t e s t :   s e c ur i t y   a nd  r e s u l t   i n t e g r i t y , "   I nt e r na t i o nal   J ou r na l   of   C om put e r   and   I nf or m a t i on   T e c hno l og y   ( I S SN :   22 79     0764) ,   v o l .   0 2,   no .   02,   p p.   32 4 - 329,   2 013 .   [ 27]   B .   L .   P ut r o ,   Y .   R o s m a ns y a h,   a nd  S .   S uh a r d i ,   " A I nt e l l i g e nt   a g e n t   m o de l   f o r   l e a r ni ng   g r o up  de v e l o pm e nt   i t he   di g i t a l   l e a r n i ng   e nv i r o nm e n t   ( D L E ) :   s y s t e m a t i c   l i t e r a t ur e   r e v i e w , "   B ul l e t i of   E l e c t r i c a l   E ng i ne e r i ng  a nd   I nf or m a t i c s   ( B E E I ) v o l .   9 ,   no .   3,   pp .   115 9 - 1166 ,   202 0.   [ 28]   P .   H a m s a t u ,   G .   Y u s uf u,   a n H .   A .   M o ha m m e d ,   " T e a c he r s '   pe r c e pt i o ns   a nd   un de r g r a du a t e   s t ud e n t s '   e xpe r i e nc e   i n   E - e xa m   i n   hi g he r   i n s t i t ut i o i N i g e r i a , "   J o ur n al   o f   E duc at i on   an P r ac t i c e ,   v o l .   7,   no .   23 ,   pp .   158 - 166 ,   201 6.   [ 29]   H .   E l ba s r i ,   A .   H a d di ,   a n H .   A l l a l i ,   " D e s i g o f   a   m ul t i - a g e n t   s y s t e m   us i ng   t h e "   M a S E "   m e t ho f o r   l e a r n e r s '   m e t a c o g ni t i v e   h e l p, "   I n t e r na t i ona l   J ou r na l   of   E l e c t r i c a l   and   C om p u t e r   E n gi ne e r i n g,   v o l .   9 ,   no .   3,   p .   203 3,   20 19.   [ 30]   M .   N .   F .   4. 5. ,   " ht t ps : / / w w w . m i c r o s o f t . c o m / e n - us / do w nl o a d/ de t a i l s . a s px? i d= 3065 3, "   201 9.     Evaluation Warning : The document was created with Spire.PDF for Python.