I nd o ne s ia n J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   3 7 ,   No .   1 ,  J an u ar y   20 2 5 ,   p p .   2 2 3 ~ 2 3 1   I SS N:  2 502 - 4 7 52 ,   DOI :  1 0 . 1 1 5 9 1 /ijee cs .v 3 7 . i 1 . pp 223 - 2 3 1           223     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   Predic ting stud en t  per forma nce usi ng  Mo o dle data  and  ma chine learning   with  feature  impo rtance       J a ma l K a y   Ro g er s 1, 3 ,   T a m a r a   Cher  M er ca do 1 ,   Rem ely n Cheng 2, 3   1 C o l l e g e   o f   I n f o r ma t i o n   a n d   C o m p u t i n g ,   U n i v e r si t y   o f   S o u t h e a st e r n   P h i l i p p i n e s ,   D a v a o   C i t y ,   P h i l i p p i n e s   2 C o l l e g e   o f   A r t s  a n d   S c i e n c e s ,   M a p u a   M a l a y a n   C o l l e g e s  M i n d a n a o ,   D a v a o   C i t y ,   P h i l i p p i n e s   3 G r a d u a t e   S c h o o l   D e p a r t me n t ,   U n i v e r si t y   o f   t h e   I mm a c u l a t e   C o n c e p t i o n ,   D a v a o   C i t y ,   P h i l i p p i n e s       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J ul   7 ,   2 0 2 4   R ev is ed   Sep   3 ,   2 0 2 4   Acc ep ted   Sep   7 ,   2 0 2 4       De sp it e   th e   g ro wi n g   tec h n o lo g ica l  a d v a n c e m e n t  i n   e d u c a ti o n ,   p o o r  a c a d e m ic  p e rfo rm a n c e   o f   stu d e n ts   re m a in s  c h a ll e n g in g   f o r  e d u c a ti o n a l  i n stit u t io n s  wo rld wi d e .   T h e   st u d y   a ime d   to   p re d ict  stu d e n ts ’   a c a d e m ic  p e r fo rm a n c e   th ro u g h   m o d u lar  o b jec t - o rien ted   d y n a m ic  lea rn i n g   e n v ir o n m e n t   ( M o o d le )   d a ta  a n d   tree - b a se d   m a c h in e   lea rn in g   a lg o r it h m s  with   fe a tu re   i m p o rtan c e .   Wh il e   p re v i o u s   stu d ies   a ime d   a t   in c re a sin g   m o d e l  p e rfo rm a n c e ,   th i s  st u d y   train e d   a   m o d e l  wit h   m u lt ip le  d a ta  se ts  a n d   g e n e ric  fe a tu re s  fo r   imp ro v e d   g e n e ra li z a b il it y .   Th r o u g h   a   c o m p a ra ti v e   a n a ly sis  o f  ra n d o m   f o r e st   (RF ) ,  XG Bo o st,  a n d   C5 . 0   d e c isio n   tre e   (DT)   a lg o rit h m s,  th e   trai n e d   RF   m o d e l   e m e rg e d   a s  th e   b e st  m o d e l,   a c h i e v in g   a   g o o d   ROC - AU C  sc o re   o f  0 . 7 7   a n d   0 . 7 3   in   train i n g   a n d   tes ti n g   se ts,   r e sp e c ti v e ly .   Th e   fe a tu re   imp o rtan c e   a sp e c t  o f  t h e   stu d y   i d e n ti fie d   t h e   su b m issio n   a c ti o n s   a s  th e   m o st  c ru c ial   p r e d icto r  o f   stu d e n t  p e rfo rm a n c e   wh il e   th e   d e lete   a c ti o n s  a s  th e   lea st.  Th e   M o o d le  d a ta   u se d   i n   th e   st u d y   wa s  li m it e d   to   2 - d e g re e   p ro g ra m s  fro m   th e   U n i v e rsity   o f   S o u t h e a ste rn   P h i li p p in e s  (USeP) .   Th e   2 2   c o u rse s  stil l  re su lt e d   i n   a   sm a ll   sa m p le  siz e   o f  1 , 0 0 7 .   F u t u re   re se a rc h   sh o u ld   b r o a d e n   it s  f o c u s   t o   i n c re a se   g e n e ra li z a b il it y .   O v e ra ll ,   t h e   fin d in g s  h ig h li g h t  th e   p o te n ti a l  o f   m a c h in e   lea rn in g   tec h n i q u e s  to   in f o rm   in terv e n ti o n   stra teg ies   a n d   e n h a n c e   stu d e n t   su p p o rt   m e c h a n ism s  in   o n li n e   e d u c a ti o n   se tt in g s,  c o n tr ib u ti n g   to   t h e   in ters e c ti o n   o f  d a ta sc ien c e   a n d   e d u c a ti o n   li tera t u re .   K ey w o r d s :   Alg o r ith m   E d u ca tio n al  d ata   m in in g   Featu r e  en g in ee r i n g   L ea r n in g   m an ag em e n t sy s tem   On lin e  lear n in g   Pre d ictiv e  an aly tics   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   J am al  Kay   R o g er   C o lleg e  o f   I n f o r m atio n   an d   C o m p u tin g ,   Un iv er s ity   o f   So u th ea s ter n   Ph ilip p in es   I ñ ig o   Stre et,   Ob r er o ,   Da v ao   C ity ,   Ph ilip p in es   E m ail:  jam alk ay . r o g er s @ u s ep . ed u . p h       1.   I NT RO D UCT I O N   Desp ite  tech n o lo g ical  ad v a n ce m en ts   in   ed u ca tio n ,   p o o r   ac ad em ic  p er f o r m an ce   r em ai n s   o n e  o f   ed u ca tio n al  i n s titu tio n s ’   m o s t   ch allen g in g   asp ec ts   [ 1 ] .   Facto r s   s u ch   as   th e  lack   o f   f a m ily   s u p p o r t,   f in an cial   is s u es,  m o tiv atio n ,   lear n in g   f a cilities ,   an d   teac h in g   tech n iq u es  co n tr ib u te  to   th is   co n ce r n .   Alth o u g h   th e  e v er - ev o lv in g   g r o wth   o f   tech n o lo g y   p r o v id ed   g r ea t  o p p o r tu n ities   t o   im p r o v e  ac ad e m ic  p er f o r m an ce ,   ch allen g es   r em ain   d u e  to   th ese  f ac to r s   [ 2 ] .   Ma n y   in s titu tio n s   h av e   em p lo y ed   m an a g em en t  tech n iq u es,  web - b ased   lear n in g ,   an d   em er g in g   tech n o lo g ies  s u ch   as  d ata  an aly tics ,   th e  in ter n et  o f   th in g s   ( I o T ) ,   an d   d ata  m in in g   tech n iq u e s   to   ad d r ess   p o o r   ac a d em ic  p er f o r m a n ce   c h allen g es .   Ma ch in e   lear n in g   alg o r ith m s   an d   d ee p   lear n in g   m o d els  h av e  b ee n   u s ed   to   an a ly ze   s tu d en t   d ata  a n d   p r e d ict  s tu d en t  s u cc ess   [ 3 ] ,   [ 4 ] .   T h ese   s tu d en t  d ata   ca n   b e   ac ce s s ed   with   th e  ad v en t o f   o n lin e  lear n in g   th r o u g h   lear n in g   m an ag em en t sy s tem s   ( L MS) .   T h e  g r o win g   p o p u lar ity   o f   o n lin e  lear n in g   with   L MS  h as  p av ed   th e   way   f o r   in s titu tio n s   to   co llect  u s er   d ata  th r o u g h   d atab ases   an d   lo g s .   Stu d ies  h av e  s h o wn   th at  r eso u r ce s   an d   ac tiv ities   f r o m   L MS,   s u ch   as  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   1 ,  J an u ar y   20 2 5 :   223 - 2 3 1   224   f iles ,   lin k s ,   an d   f o r u m   p ar tic ip atio n ,   ca n   p o s itiv ely   im p ac t  ac ad em ic  p e r f o r m an ce   [ 5 ] .   Usi n g   L MS  d ata   p r o v id es  in s titu tio n s   with   d a ta - d r iv en   a p p r o ac h es  th at  ca n   h elp   id en tif y   s tu d en ts   n ee d in g   ass is tan ce   an d   p r o v id e   in ter v e n tio n s ,   u ltima t ely   im p r o v in g   e d u ca tio n al  o u t co m es  [ 6 ] ,   [ 7 ] .   L MS  h as  d if f e r en t   p latf o r m s   l ik e  m o d u lar   o b ject - o r ien ted   d y n am ic  lear n in g   en v ir o n m e n t  ( Mo o d le ) ,  B lack b o ar d ,   C an v as,  iSp r in g   L ea r n ,   Sak ai,   an d   Go o g le   C lass r o o m .   T h e   Mo o d le  is   o n e   o f   th e   m o s t  wid el y   u s ed   L MSs  [ 8 ] .   Mo o d le  is   u s er - f r ien d ly   an d   e n g ag e s   s tu d en t s ,   im p r o v in g   ac a d em ic  p er f o r m an ce   [ 9 ] .   Mo o d l e   o f f er s   co u r s e  cr ea tio n ,   co n ten t  d eliv er y ,   ass ess m en t,  an d   in ter ac tiv e  to o ls   [ 1 0 ] ,   [ 1 1 ] .   Mo o d le ’ s   r o le  in   ed u ca tio n   is   cr u cial  b ec au s e  it  ca n   f ac ilit ate  d is tan ce   lear n in g ,   in cr ea s e  s tu d en t  en g a g em en t,  a n d   en ab le   p er s o n alize d   lear n in g .   Mo o d le  h as  s h o wn   p o s itiv e  r esu lts   in   en h a n cin g   th e  teac h in g   an d   lear n in g   p r o ce s s   o f   in s titu tio n s   u s in g   it  [ 1 2 ] .   W ith   Mo o d le,   e d u ca tio n al  d ata  m in in g   ( E DM )   ca n   b e  en h an ce d .   E d u ca t o r s   an d   ad m in is tr ato r s   ca n   u s e  Mo o d le  lo g s   to   ex tr ac t  d ata  s u m m ar ies  an d   v is u aliza tio n s ,   g en er atin g   r elev an t  in s ig h ts   o n   h o w  s tu d e n ts   in ter ac t  with   th e  L MS.   E DM   p r o v id es  tech n iq u es  f o r   p r ed ictin g   s tu d en ts   at  r is k   o f   f ailin g   a   co u r s e.   T h r o u g h   E DM ,   Mo o d le  d ata  ca n   b e  an aly ze d   to   id en tify   lo w - p er f o r m i n g   s tu d en ts   an d   th e  m o s t  in f lu en cin g   f ac to r s   o f   ac ad em i c  p er f o r m an ce ,   ai d in g   in   ea r ly   in ter v en tio n s   [ 1 3 ] .   E DM   u s es  m ac h in e   lear n in g   tech n iq u es  to   p r e d ict  s tu d en t  p er f o r m an ce   an d   p r o v id e  i n s ig h ts   f o r   ed u ca to r s   a n d   a d m in is tr ato r s ,   g iv in g   th em   o p p o r tu n ities   f o r   ea r ly   in ter v en tio n s   [ 1 4 ] .   T h e  a p p licatio n   o f   E D M   s u p p o r ts   in f o r m ed   d ec is io n - m ak in g   an d   im p r o v es  ed u ca tio n al  o u tco m es  [ 1 5 ] .   B y   a n aly zin g   Mo o d le   lo g s   an d   u s in g   v a r io u s   m ac h in e   lear n in g   an d   o th er   d ata  a n aly s is   tech n iq u es,  E DM   im p r o v es  th e   r el iab ilit y   o f   ac ad em ic   p er f o r m an ce   p r ed ictio n s .   Ma c h in e  lear n in g   alg o r ith m s ,   s u ch   as  r an d o m   f o r ests   ( R F)   an d   d ec is io n   tr ee s   ( DT ) ,  ar e  co m m o n l y   u s ed   in   E DM   to   ac h iev e  r eliab le  r esu lts .   Ad d itio n ally ,   E DM   co n tr ib u tes to   d ev elo p in g   s y s tem s   th at  u n d e r s tan d   s tu d en t   in ter a ctio n s   an d   lear n in g   with in   o n lin e  en v ir o n m en ts   [ 1 6 ] .   Ov er all,   u s in g   m ac h i n e   lear n in g   tech n i q u es  en h an ce s   th e  ab ilit y   to   p r ed ict  s tu d en t  p er f o r m a n ce ,   o f f er in g   o p p o r t u n ities   f o r   in ter v en tio n .   T h is   s tr ateg y   ca n   b en ef it b o th   s tu d en ts   an d   th e  i n s titu tio n .     Mu ltip le  s tu d ies  [ 1 7 ] - [ 2 4 ]   h av e  u s ed   E DM   to   p r e d ict  s tu d en t  p er f o r m an ce   u s in g   M o o d le  l o g s .   Ho wev er ,   s tu d ies  th at  u s ed   m ac h in e  lear n in g   f o cu s ed   m o r e   o n   in c r ea s in g   m o d el  p e r f o r m an ce   in   th e   tr ain in g   an d   test in g   en v ir o n m e n ts   with o u t  co n s id er in g   g e n er aliza b il ity .   Oth er   s tu d ies  u s ed   o n ly   q u an titativ e  an aly s is .   T h ese  p r ev io u s   s tu d ies  u s ed   Mo o d le  d ata  f r o m   o n ly   a  s in g le  to   a  f ew  co u r s es  o r   co u r s es  with   th e  s am e   in s tr u cto r   with o u t  co n s id er in g   h eter o g en eit y .   T h is   co n ce r n   ca n   n eg ativ ely   im p ac t  f in d i n g s   wh en   ap p lied   to   o th er   s ettin g s .   Fu r th er m o r e,   t h ese  s tu d ies  d if f e r   in   th e   f ea t u r es  u s ed   an d   m ay   n o t  b e   M o o d le  g en er ic;   s o m e  m ay   n o t a p p ly   to   o t h er   s ettin g s .   Ov er all,   th e  p r ev io u s   s tu d ies we r e  lim ited   in   ter m s   o f   th e  tr ain in g   d ata,   wh ich   ca n   n eg ativ ely   im p ac t g e n er ali za b ilit y   [ 2 5 ] .   Gen er aliza b ilit y   r em ain s   an   i s s u e  in   m ac h in e  lear n in g ,   wh er e  m o d els  p er f o r m   p o o r ly   o n   n ew  d ata   [ 2 6 ] - [ 2 8 ] .   Gen e r aliza b ilit y   en s u r es  m o d el   d ep lo y   a b ilit y   to   o th er   Mo o d le  co u r s es.  T h er e f o r e,   th is   s tu d y   aim e d   to   p r ed ict  s tu d e n ts ’   p er f o r m a n ce   u s in g   Mo o d le  lo g s   with   m ac h in e  lear n i n g   u s in g   g en e r alize d   f ea tu r es  an d   m u ltip le  co u r s e  d ata,   en ab lin g   m o d el  d e p lo y   a b ilit y   to   o th e r   Mo o d le  co u r s es.   T h e  s tu d y   f o cu s ed   o n   d ev el o p in g   a   p r e d ictiv e  m o d el  b y   co m p a r in g   v ar io u s   m ac h in e  lear n in g   alg o r ith m s   tr ain e d   o n   m u l tip l e  Mo o d le   co u r s e  d ata  with   g en er ic  f ea tu r es,  aim in g   to   b e   ap p lied   t o   v a r io u s   co u r s es.  T h e   s tu d y   also   aim e d   at  id e n tify in g   th e   f ac to r s   ( f ea tu r es)  th at  c o n tr ib u te  to   ac a d em ic  p er f o r m a n ce .   I n s titu tio n s   ca n   u s e  th e  s tu d y ’ s   o u tco m e  as  a  p r ed ictiv e  m o d el  to   i n f o r m   ac ad em ic - r e lated   d ec is io n s   an d   f u tu r e  r esear ch er s   f o r   f u r th er   d ev elo p m e n t  an d   p o te n tial  ap p licatio n s .   T h e  co n d u ct   o f   t h e  s tu d y   co n tr i b u tes  to   th e  g r o win g   liter atu r e  o n   ac ad em ic  p er f o r m an ce   p r ed ictio n   th r o u g h   E DM .       2.   M E T H O D   Usi n g   d ata - wr an g led   Mo o d le  lo g s ,   th e  s tu d y   u s ed   s u p er v is ed   b in ar y   class if icatio n   m ac h in e  lear n in g   to   p r e d ict  s tu d en t  p er f o r m an ce .   Data   co llected   f r o m   a  Ph ilip p in e  u n i v er s ity ’ s   Mo o d le  lo g s   wer e  u s ed   to   f ea tu r e - en g in ee r   Mo o d le - g e n er ic  p r ed icto r s   o f   s tu d en t  p e r f o r m a n ce .   T h e  f ea tu r e  en g i n ee r in g   f o cu s ed   o n   cr ea tin g   th e o r etica lly   alig n ed   f ea tu r es,  en s u r in g   ap p licab i lity   to   o t h er   M o o d le   co u r s es  wh ile  aim in g   at  g en er aliza b ilit y .   T h e   Mo o d le   d ata  wer e   u s ed   t o   tr ain   m u ltip le  m ac h in e   lear n in g   al g o r ith m s   an d   c o m p a r e  th eir   p er f o r m an ce .   T h e  b est - p e r f o r m in g   alg o r ith m   was  ch o s en   f o r   th e  f i n al  m o d el.   T h e  f in al   m o d el  was  test ed   u s in g   a  test in g   s et  f r o m   th e  d ata  co llected   to   d eter m i n e  its   p er f o r m an ce   o n   u n s e en   d ata.   T h e  d ata   p r ep r o ce s s in g   asp ec t  o f   th e  s tu d y   was  p er f o r m ed   u s in g   th e  R   p r o g r am m in g   lan g u ag e.   T h e  m ac h in e  lear n in g   asp ec t  was  p er f o r m e d   u s in g   t h e  s am e  lan g u ag e  th r o u g h   th e   tid y   m o d el’ s   p ac k a g e.   T h e  f o llo win g   s u b s ec tio n s   d etail  th e  s tep s   an d   tech n iq u es u s ed   in   th e  s tu d y .     2 . 1 .    M o o dle da t a   s et   a nd   da t a   prepro ce s s ing   T h e  s tu d y ’ s   d ata  co llectio n   a n d   p r ep r o ce s s in g   asp ec t  was  b ased   o n   th e  s tu d y   o f   [ 2 9 ]   as  d etailed   in   th e  d ata  co llectio n   an d   f ea tu r e  en g in ee r i n g   s u b s ec tio n s   o f   t h e  Me th o d   s ec tio n .   T h e  d ata  was  co llected   f r o m   th e  Mo o d le  lo g s   o f   2 2   d i f f er en t  co u r s es  co m in g   f r o m   th e  B ac h elo r   o f   Scien ce   in   I n f o r m atio n   T ec h n o l o g y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         P r ed ictin g   s tu d en t p erfo r ma n ce   u s in g   Mo o d le  d a ta   a n d   m a ch in e  lea r n in g   w ith   …  ( J a ma l  K a y  R o g ers )   225   ( B SIT )   an d   th e  B ac h elo r   o f   Scien ce   in   C o m p u ter   Scien ce   ( B SC S)  p r o g r am s   o f   th e  Un iv er s ity   o f   So u th ea s ter n   Ph ilip p in es  ( USeP) ,   a  s tate  u n iv er s ity   in   th e  Da v ao   r eg io n   o f   th e  Ph ilip p in es.  T h ese  co u r s es  wer e  f r o m   3   acad em ic  y ea r s :  2 0 2 1 - 2 0 2 2 ,   2 0 2 2 - 2 0 2 3 ,   an d   2 0 2 3 - 2 0 2 4 .   Mu ltip le  co u r s es  with   d if f er e n t  in s tr u cto r s   wer e  u s ed   to   in cr ea s e  th e   r ep r esen tatio n   o f   d if f er en t   ty p es   o f   co u r s es.  T h e  d ata  s et  af ter   d ata  wr a n g lin g   is   s tr u ctu r ed   d ata  co n tain in g   r o ws  an d   co lu m n s .   T h e  r o ws  r ep r esen t  th e  co u n t  o f   s tu d e n t ’ s   lo g g ed   ac tio n s   b ase d   o n   co lu m n   v a r iab les o r   f ea t u r e s .   T h ese  f ea tu r es a r e  th e  M o o d le  ev en t n am es f r o m   th e  M o o d le  lo g s .   Featu r e  en g in ee r in g   was  b ased   o n   ex is tin g   th eo r ies.  T h e  m o s t  u s ed   Mo o d le  ac tiv ities   an d   r eso u r ce s   ( s u b m is s io n s ,   q u izze s ,   an d   f o r u m s )   wer e  co n s id er e d   to   en s u r e  ap p licab ilit y   to   o th er   Mo o d le  co u r s es.  T h ese   r ep r esen t  n ec ess ar y   to o ls   f o r   co m m u n icatio n ,   c o llab o r atio n ,   an d   ass ess m en t   [ 3 0 ] .   T h e  c r ea te,   r ea d ,   u p d ate,   an d   d elete   a ctio n s   ( C R UD) ,   wh ich   r ep r esen t  a  s tan d ar d   l o g   r ec o r d   ( d atab ase  q u er y   ty p es)  in   in f o r m atio n   s y s tem s ,   wer e  also   co n s id er e d .   T h ese  f ea tu r es  wer e  en g i n ee r ed   b y   a d d in g   th e  v alu es   o f   th e  ap p r o p r iate   Mo o d le  ev en t  n a m es  lo g g ed   b y   s tu d en ts .   T h e  v ar ia b le  d ay s   lo g g ed   in   r ep r esen ts   a  tim e - b ased   f ea tu r e  th at   co u n ts   th e  n u m b er   o f   d ay s   s tu d en ts   h av e   lo g g e d   in   to   th eir   c o u r s e.   T h e  eig h t   ( 8 )   v a r iab les  ar e  th e  g en er alize d   f ea tu r es  o f   th e  s tu d y ,   en s u r i n g   ap p licatio n s   ac r o s s   m u ltip le  Mo o d le  p latf o r m s .   T h es e  f ea tu r es  ar e  th e   p r ed icto r s   o r   in d ep e n d en t   v ar i ab les  o f   th e  s tu d y .   T h e   s tu d y   en g in ee r ed   an o th er   f ea tu r e ,   Pe r f o r m a n ce ,   t o   lab el   s tu d en ts ’   p er f o r m an ce   as  h ig h   o r   lo w   b ased   o n   c o u r s e  g r ad es.  T h is   f ea tu r e  is   th e  r esp o n s e  o r   d e p en d e n t   v ar iab le.   A  co u r s e  g r a d e  o f   8 6   an d   ab o v e  d en o tes  h ig h   p er f o r m an ce ;  else,  lo w  p er f o r m a n ce .   T ab le  1   s h o ws   th e  d ata  s et  s u m m ar y   u s ed   in   t h e  s tu d y   af ter   d ata  p r ep r o ce s s in g .   Fig u r e  1   s h o ws  th e  d ata  d is tr ib u tio n   b ased   o n   p er f o r m a n c e,   wh er e  s tu d en ts   lab eled   h ig h   ar e  6 1 5   wh ile  th o s e  lab eled   lo w  ar e  3 9 2 .   T h is   d ata  is   co n s id er ed   i m b alan ce d   d ata.   Fig u r e  2   s h o ws  th e  co r r elatio n s   b etwe en   th e  n u m er ic  f ea tu r es  o f   th e  d ata,   s o m e  i n d ica tin g   h ig h   co r r elatio n s .   T h e   h ig h est  Pear s o n   R   co r r elatio n   co e f f icien t  is   0 . 9 5   b etwe en   th e  s u b m is s io n   ac tio n s   an d   cr ea te  ac tio n s .   Hig h   co r r elatio n   co e f f icien ts   o f   0 . 7 6   an d   0 . 7 4   ex is t  b etwe en   u p d ate  ac tio n s   an d   cr ea te  ac tio n s ,   an d   r ea d   ac tio n s   an d   f o r u m   d ay s   lo g g ed   in ,   r esp ec tiv ely .   An o th er   h ig h   co r r elatio n   co ef f icien t  o f   0 . 6 9   ex is ts   b etwe en   r ea d   ac tio n s   an d   q u iz  ac tio n s .   Hig h   co r r elatio n s   in   th e   d ata   s e t  r en d er   s o m e  m ac h in e   lear n i n g   alg o r ith m s   p er f o r m   p o o r ly ,   esp ec ially   p ar am etr ic  alg o r ith m s   f o r   class if icatio n   m o d elin g   [ 3 1 ] .       T ab le  1 .   T h e  s u m m ar y   o f   t h e  d ata  s et  u s ed   in   th e  s tu d y   V a r i a b l e   ( f e a t u r e )   n a me   V a r i a b l e   c l a ss   V a r i a b l e   t y p e   S u b m i ssi o n   a c t i o n s   Q u i z   a c t i o n s   F o r u m   a c t i o n s   C r e a t e   a c t i o n s   R e a d   a c t i o n s   U p d a t e   a c t i o n s   D e l e t e   a c t i o n s   D a y s  l o g g e d   i n   N u meri c   ( d o u b l e )   N u meri c   ( d o u b l e )   N u meri c   ( d o u b l e )   N u meri c   ( d o u b l e )   N u meri c   ( d o u b l e )   N u meri c   ( d o u b l e )   N u meri c   ( d o u b l e )   N u meri c   ( d o u b l e )   P r e d i c t o r   ( i n d e p e n d e n t )   P r e d i c t o r   ( i n d e p e n d e n t )   P r e d i c t o r   ( i n d e p e n d e n t )   P r e d i c t o r   ( i n d e p e n d e n t )   P r e d i c t o r   ( i n d e p e n d e n t )   P r e d i c t o r   ( i n d e p e n d e n t )   P r e d i c t o r   ( i n d e p e n d e n t )   P r e d i c t o r   ( i n d e p e n d e n t )   P e r f o r ma n c e   C h a r a c t e r   ( f a c t o r   l e v e l s :   h i g h ,   l o w )   R e s p o n se   ( d e p e n d e n t )   N o .   o f   r o w s   ( o b ser v a t i o n s)   N o .   o f   c o l u m n s (f e a t u r e s)   :  1 0 0 7   :  9           Fig u r e  1 .   Per f o r m an c e  d is tr ib u tio n   o f   th e   Mo o d le   d ata  b ased   o n   p er f o r m a n ce   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   1 ,  J an u ar y   20 2 5 :   223 - 2 3 1   226       Fig u r e  2 .   C o r r elatio n   p lo t  o f   t h e  f ea tu r es o f   th e  d ata  s et  s h o win g   P ea r s o n   r   c o ef f icien ts       2 . 2 .     M a chine le a rning   Du e  to   th eir   n o n - p ar a m etr ic  n atu r e,   m u ltip le  tr ee - b ased   m ac h in e  lear n in g   alg o r ith m s   w er e  u s ed   to   tr ain   f o r   p r ed ictiv e  a n aly tics .   T h e  m o d elin g   f r am ewo r k   in   F ig u r e  3   was  u s ed   as  th e  g u id in g   f r a m ewo r k   o f   th e   s tu d y .   T h e  d ata  s et  was  s p lit  i n to   tr ain in g   a n d   test in g   s ets.  R esam p lin g   was  p er f o r m e d   o n   t h e  tr ain in g   s et,   an d   tr ee - b ased   m o d els  wer e  co m p ar ed .   T h e  b est - p e r f o r m in g   m o d el  was  s elec ted   an d   u s ed   to   f it  th e  en tire   tr ain in g   d ata.   T h e  b est m o d el ’ s   p er f o r m an ce   o n   tr ain in g   was v e r if ie d   o n   th e  test in g   s et.           Fig u r e  3 .   T h e  m o d elin g   f r am e wo r k   u s ed   in   th e  s tu d y       3   m etr ics  wer e  u s ed   to   m ea s u r e  m o d el  p er f o r m an ce :  R OC - AUC  ( r ec eiv er   o p e r atin g   c h ar ac ter is tics   –   ar ea   u n d er   th e  c u r v e ) ,   s en s itiv ity ,   an d   s p ec if icity .   T h e   R OC - AUC  i s   a  g r ap h ical  r e p r esen tatio n   o f   th e  tr ad e - o f f   b etwe en   th e  tr u e  p o s itiv e  r ate  ( T PR   o r   s en s it iv ity )   o n   th e  x - ax is   an d   th e  f alse  p o s itiv e  r ate  ( FP R   o r   1 - sp ec if icity )   o n   th e  y - a x is   at  v ar io u s   s ettin g s   o f   th e  m o d e l.  I t  q u an tifie s   a  m o d el ’ s   ab i lity   to   d is tin g u is h   b etwe en   p o s itiv e  a n d   n eg ativ e  ca s es  ac r o s s   all  p o s s ib le  th r esh o ld s .   A  p er f ec t  m o d el  will  g iv e  a   R OC - AUC   s co r e  o f   1 ,   an d   a  r an d o m   clas s if ier   m o d el  g iv e s   a  s co r e   o f   0 . 5 ,   a  s tr aig h t  d iag o n al  lin e.   A  s co r e  ab o v e  0 . 5   o r   clo s e  to   1   is   co n s id er ed   a  g o o d   s co r e.   Sen s itiv ity   o r   tr u e  p o s itiv e  r ate  ( T PR )   m ea s u r es  th e  p r o p o r tio n   o f   ac tu a l   p o s itiv e  ca s es  class if ied   co r r ec tly   b y   th e  m o d el.   Sp ec if icity   o r   t r u e  n eg ativ e   r ate  ( T NR )   m ea s u r es  th e   p r o p o r tio n   o f   ac tu al  n eg ativ e  c ases   co r r ec tly   class if ied   b y   th e   m o d el.     R OC - AU C   =  ∫    ( ) 1 0   ( 1 )     T PR   =      +      ( 2 )     T NR   =      +      ( 3 )   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         P r ed ictin g   s tu d en t p erfo r ma n ce   u s in g   Mo o d le  d a ta   a n d   m a ch in e  lea r n in g   w ith   …  ( J a ma l  K a y  R o g ers )   227   I n   th e  s tu d y ,   t h e  h ig h - p er f o r m an ce   lab el  is   th e  p o s itiv e  class ,   wh ile  th e  lo w - p er f o r m a n ce   lab el  is   th e   n eg ativ e  class .   T r u e   p o s itiv e s   ( T P)  ar e  t h e  ca s es  wh er e   a  m o d el  co r r ec tly   p r ed icts   th e  p o s itiv e  class .   Mo r eo v er ,   f alse  n eg ativ es  ( F N)   ar e  th e  ca s es  wh er e   th e  m o d el  in co r r ec tly   p r e d icts   th e  n eg ativ e  class   wh en   th e  tr u e  class   is   p o s itiv e.   Fu r t h er m o r e ,   tr u e   n eg ativ es  ( T N)   ar e  th e  ca s es  wh er e  th e   m o d e l  co r r ec tly   p r ed icts   th e  n eg ativ e  class .   L astl y ,   f alse  p o s itiv es  ( FP )   ar e  th e  ca s es  wh er e  th e  m o d el  in co r r ec tly   p r ed icts   th e  p o s itiv e   class   wh en   th e  tr u e  class   is   n eg ativ e.     2 . 2 . 1 .   Da t a   s pli t t ing   a nd   re s a m pli ng   T h e   w h o l e   d a t a   s e t   w a s   s p l i t   i n t o   t r a i n i n g   a n d   t e s t i n g   s e t s .   8 0 %   ( 8 0 5   o b s e r v a t i o n s )   o f   t h e   d a t a   w e n t   i n t o   t h e   t r a i n i n g   s e t ,   a n d   t h e   r e m a i n i n g   2 0 %   ( 2 0 2   o b s e r v a t i o n s )   w a s   r e s e r v e d   f o r   t e s t i n g   t h e   f i n a l   m o d e l .   S t r a t i f i c a t i o n   e n s u r e d   a   b a l a n c e d   r e p r e s e n t a t i o n   o f   t h e   o u t c o m e   v a r i a b l e s ,   r e d u c i n g   b i a s e s   [ 3 2 ] .   T h e   t r a i n i n g   s e t   c o n t a i n s   4 9 2   h i g h - p e r f o r m i n g   a n d   3 1 3   l o w - p e r f o r m i n g   s t u d e n t s ,   w h i l e   t h e   t e s t i n g   s e t   c o n t a i n s   1 2 3   a n d   7 9 ,   r e s p e c t i v e l y .   F o l l o w i n g   t h e   f r a m e w o r k   i n   F i g u r e   2 ,   t h e   t r a i n i n g   s e t   g o e s   i n t o   a   r e s a m p l i n g   p r o c e s s   u s i n g   1 0 - f o l d   c r o s s - v a l i d a t i o n .   1 0 - f o l d   c r o s s - v a l i d a t i o n   s p l i t s   t h e   t r a i n i n g   d a t a   i n t o   1 0   f o l d s ,   e a c h   a c t i n g   a s   a   t e s t i n g   s e t ,   w h i l e   t h e   r e m a i n i n g   9   a r e   t r a i n i n g   s e t s .   T h i s   t y p e   o f   v a l i d a t i o n   e n s u r e s   n o   d a t a   l e a k a g e   d u r i n g   t h e   t r a i n i n g   [ 3 3 ] .   R e s a m p l i n g   p r o v i d e s   m o r e   r e l i a b l e   m o d e l   p e r f o r m a n c e ,   r e d u c i n g   t h e   v a r i a n c e   d u r i n g   t r a i n i n g .   I n   t h e   r e s a m p l i n g ,   s t r a t i f i c a t i o n   w a s   a l s o   a p p l i e d .   T a b l e   2   s h o w s   t h e   r e s a m p l e s   f r o m   t h e   t r a i n i n g   s e t   t h r o u g h   1 0 - f o l d   c r o s s - v a l i d a t i o n .       T ab le  2 .   R esam p les f r o m   t h e  t r ain in g   s et   u s in g   1 0 - f o ld   cr o s s - v alid atio n   F o l d   Tr a i n i n g   sp l i t   Te st i n g   s p l i t   F o l d 0 1   7 2 3   82   F o l d 0 2   7 2 3   82   F o l d 0 3   7 2 4   81   F o l d 0 4   7 2 5   80   F o l d 0 5   7 2 5   80   F o l d 0 6   7 2 5   80   F o l d 0 7   7 2 5   80   F o l d 0 8   7 2 5   80   F o l d 0 9   7 2 5   80   F o l d 1 0   7 2 5   80       2. 2 . 2 .   M o delin g   a nd   v a ria ble im po rt a nce   T h e  s tu d y   co m p a r ed   3   tr ee - b a s ed   m ac h in e  lear n in g   alg o r ith m s   f o r   tr ain in g :  XGBo o s t,  RF ,   an d   C 5 . 0   DT .   T h ese  alg o r ith m s   wer e  ch o s en   b ec a u s e  o f   th eir   e x p l ain ab ilit y   an d   in ter p r etab ilit y   [ 3 4 ]   an d   ab ilit y   t o   p er f o r m   well  with   lim ited   d ata  [ 3 5 ] ,   m ak in g   th em   s u ita b le  f o r   d ea lin g   with   h ig h l y   co r r el ated   f ea tu r es.  I n   t h e   co m p ar is o n ,   th e  h y p er p ar am et er s   o f   th e   alg o r ith m s   wer e  tu n ed   to   g et  th e  b est  p ar am eter   co m b in atio n s   f r o m   ea ch .   Hy p er p a r am eter   tu n in g   g en er ated   m u ltip le  m o d els  b ased   o n   ea ch   co m b in atio n .   T h e   tu n e  r ac e  ANOV A   m eth o d   f r o m   tid y m o d els  was  u s ed   d u r in g   tr ain in g   to   s h o r t en   tr ain in g   tim e  b y   elim in ati n g   p o o r - p er f o r m in g   m o d els.  A  r ec i p e  p r ep r o ce s s o r   f r o m   t h e  tid y m o d els  p ac k ag e  was  s et  to   n o r m alize   t h e  tr ain in g   d ata  a n d   o v er s am p le  th e  m i n o r ity   class   ( lo w)   u s in g   th e  a d ap tiv e  s y n t h etic  ( ADASYN)   s am p lin g   ap p r o ac h .   ADASYN  was u s ed   to   im p r o v e  th e  alg o r ith m s ’   p er f o r m an ce   o n   th e  im b alan ce d   d ata  s et  d u r in g   tr ain i n g   [ 3 6 ] ,   [ 3 7 ] .   T h e  im p o r tan ce   o f   th e  f ea tu r e s   o f   th e  m o d elin g   p e r f o r m ed   was  d eter m in ed   with   th e  h elp   o f   th e  v i p  p ac k ag e  in   R .   T h e  v ip   p ac k ag e  v is u alize s   th e  s tr en g th   o f   th e  r elatio n s h ip   b etwe en   e a ch   f ea tu r e  an d   th e  r esp o n s e  p r ed icted   w h ile  co n s id er in g   all  o th er   f ea t u r es  u s ed   in   m o d elin g .   T h e  p ac k a g e   ca lcu lates  v ar iab le  im p o r tan ce   ( V I )   s co r es  u s i n g   m o d el - s p ec if ic  o r   m o d e l - ag n o s tic  ap p r o ac h es  s u ch   as  v ar ian ce - b ased ,   p er m u tatio n ,   an d   Sh a p ley   m et h o d s   [ 3 8 ] .       3.   RE SU L T S AN D  D I SCU SS I O N   3 . 1 .     Co m pa risi o n a nd   s elec t io n o f   bes t   m o del   T h e  s tu d y   co m p ar ed   an d   r an k ed   th e  t u n ed   alg o r ith m s ’   p er f o r m an ce   o n   tr ain in g   b ased   o n   3   m etr ics :  s en s itiv ity ,   s p ec if icity ,   an d   R OC - AU C .   T h is   ap p r o ac h   i s   also   ev id en t  in   th e  s tu d ies   o f   [ 1 7 ] ,   [ 2 0 ] - [ 2 3 ] ,  wh er ein   th ey   co m p ar ed   m u l tip le  m ac h in e  lear n in g   alg o r ith m s   ac r o s s   m u ltip le  m etr i cs.  T h e  m o d elin g   co n d u cte d   in   th e  s tu d y   g e n er a ted   m u ltip le  m o d els,  an d   g o o d - p er f o r m in g   m o d els  wer e  r a n k ed   as  d eter m in e d   b y   th e  tu n e  r a ce   ANOV A  m eth o d .   B ased   o n   th e  R OC - AUC   s co r e,   th e  RF   m o d el  p er f o r m ed   b est  at  0 . 7 7   with   a  s en s itiv ity   o f   0 . 7 3   a n d   s p ec i f icity   o f   0 . 6 6 .   T h e   C 5 . 0   DT   c o m es  in   s ec o n d   p lace   with   a n   R OC - AU C   s co r e  o f   0 . 7 4   an d   s en s itiv ity   an d   s p ec if icity   o f   0 . 6 7   an d   0 . 7 2 ,   r esp ec ti v ely .   L ast  p lace   is   th e  XGBo o s t  with   R OC - A C U   o f   0 . 7 1 ,   s en s itiv ity   o f   0 . 7 0 ,   an d   s p ec if icity   o f   0 . 5 7 .   T a b le  3   s u m m ar izes  th e  r esu lts   o f   th es e  m o d els  b ased   o n   th e  3   m etr ics  with   p r ef er en c e  to   th e  R OC - AUC  m etr ic.   T h e  R OC - AUC  wa s   ch o s en   as  th e  ap p r o p r iate   r ef er en ce   m etr ic  b ec au s e  o f   th e  im b alan ce d   n atu r e  o f   th e  d ata,   an d   it  is   a  p o p u lar   m etr ic  f o r   b in ar y   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   1 ,  J an u ar y   20 2 5 :   223 - 2 3 1   228   class if icatio n   [ 3 9 ] .   T h e  RF   m o d el  was  ch o s en   as  th e  o v e r all  b est  m o d el,   co m p lem en tin g   th e  s tu d ies  o f   [ 2 0 ] ,   [ 2 2 ] ,   [ 2 3 ] ,   b u t  with   d if f e r en t  s ets  o f   m etr ics.  T h e  RF   m o d el  h as  th e  h ig h est  v alu e  in   d is tin g u is h in g   h ig h -   an d   lo w - p er f o r m in g   s tu d en ts .   T h e   m o d el  is   also   b est  at   p r e d ictin g   h ig h - pe r f o r m in g   s tu d en ts   w h ile  in   s ec o n d   p lace   at  p r ed ictin g   lo w - p er f o r m in g   s tu d en ts .       T ab le  3 .   Su m m a r y   r esu lts   o f   th e  b est tr ee - b ased   m o d els ac r o s s   3   m etr ics   M o d e l   R O C - AUC   S e n s i t i v i t y   S p e c i f i c i t y   RF   0 . 7 7   0 . 7 3   0 . 6 6   C 5 . 0   DT   0 . 7 4   0 . 6 7   0 . 7 2   X G B o o st   0 . 7 1   0 . 7 0   0 . 5 7       3. 2 .     F ina l  m o del f it   a nd   v er if ica t io n o f   m o del per f o r m a n ce   T h e  ch o s en   b est  m o d el  was  f itted   o n   th e  test in g   s et,   u n s ee n   d ata  d u r in g   d ata  tr ai n in g ,   to   v alid ate  th e  m o d el ’ s   o v er all  p er f o r m an ce .   T h e  ch o s en   m o d el ’ s   p er f o r m a n ce   o n   th e  test in g   s et  ac r o s s   all  m etr ics  is   s h o wn   in   T ab le   4 .   I ts   R OC - AUC  s co r e  o n   th e   test in g   s et  is   0 . 7 3 .   T h e  m o d el   class if ied   h ig h - p er f o r m in g   s tu d e n ts   with   a  s en s itiv ity   s co r e  o f   0 . 6 9 .   T h e  m o d el  also   class if ied   lo w - p e r f o r m in g   s tu d en ts   with   a  s p ec i f icity   s co r e  o f   0 . 6 6 .     Fig u r e  4   s h o ws  th e   p lo t   o f   th e  R OC - AUC.  T h e  p lo t  in d icate s   th at  th e   m o d el   h as  a   m o d e r ate   d is cr im in ato r y   ab ilit y ,   b etter   th an   r a n d o m   g u ess in g   b u t  n o t  h ig h ly   ac cu r ate.   T h e  m o d el   ca p tu r es  a   d ec e n t  p o r tio n   o f   h ig h - p er f o r m in g   s t u d en t   ca s es.  Ho wev er ,   th er e   i s   r o o m   f o r   im p r o v em en t   in   i n cr ea s in g   th e   T PR .   T h e  m o d el  is   also   s o m ewh at  ef f ec tiv e  at  av o id in g   f als e  p o s itiv es.  Ho wev er ,   th er e  is   al s o   r o o m   f o r   im p r o v em e n t  in   in cr ea s in g   th e  T NR .   I n cr ea s in g   th e  m o d el ’ s   p er f o r m an ce   m a y   b e  ac h ie v ed   wi th   in cr ea s ed   d ata  s ize   [ 4 0 ] .       T ab le  4 .   T h e  ch o s en   m o d el ’ s   p er f o r m an ce   o n   th e  test in g   s et   M o d e l   R O C - AUC   S e n s i t i v i t y   S p e c i f i c i t y   RF   0 . 7 3   0 . 6 9   0 . 6 6           Fig u r e  4 .   Plo t o f   th e  R OC - AUC p er f o r m a n ce   o f   t h e  m o d el  a cr o s s   d if f er en t th r esh o ld   s ettin g s       3. 3 .     F e a t ure  im po rt a nce  inte rpre t a t io n   T h e  s tu d y   o f   [ 4 1 ]   s h o wed   d if f er en t  p atter n s   o f   h o w  s tu d en ts   in ter ac t  with   Mo o d le  b ased   o n   co n ten t,   ac tiv ities ,   an d   ass e s s m en t.  T h er ef o r e,   s elec tin g   th e  m o s t im p o r tan t f ea tu r es in   m o d eli n g   c an   s ig n if ican tly   h elp   im p r o v e  th e   m o d el ’ s   p er f o r m an ce   [ 4 2 ] .   T h e  f ea tu r es  wer e  r an k ed   f r o m   h ig h est  to   lo west  in   im p o r tan ce ,   wh er e  th e  m o s t  cr u cial  f ea tu r e   is   lis ted   f ir s t  an d   th e  least  im p o r tan t  is   lis ted   last .   T ab le  5   s h o ws  th e  VI   s co r es   o f   ea ch   f ea tu r e.   T h e  s u b m is s io n   ac tio n s   h a v e  b ee n   i d en tifie d   as  th e  m o s t  cr u cial  f ea tu r e,   with   a  VI   s co r e  o f   7 2 . 7 3 .   T h is   s u g g ests   th at  ac tio n s   r elate d   to   s u b m is s io n s   ar e  th e  s tr o n g est  p r ed icto r   o f   ac a d em ic  p er f o r m an ce .   T h is   f in d in g   c o m p lem e n ts   th e  s tu d ies  o f   [ 2 1 ] ,   [ 2 2 ] ,   r ef er r i n g   to   s u b m itti n g   ass ig n m e n ts   with in   Mo o d le  as  th e   b est o r   o n e  o f   th e   b est p r ed ict o r s   o f   ac ad e m ic  p er f o r m a n ce .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         P r ed ictin g   s tu d en t p erfo r ma n ce   u s in g   Mo o d le  d a ta   a n d   m a ch in e  lea r n in g   w ith   …  ( J a ma l  K a y  R o g ers )   229   T h e  r ea d   ac tio n s ,   d ay s   lo g g e d   in ,   an d   cr ea te  ac tio n s   ar e  c lo s e  in   s ec o n d ,   th ir d ,   an d   f o u r th   p lace s ,   r esp ec tiv ely .   W ith   a  VI   s co r e  o f   5 7 . 5 3 ,   r ea d   ac tio n s   s ig n if i es  th at  r ea d in g   o r   ac ce s s in g   c o n ten t  is   cr u cial  to   ac ad em ic  p er f o r m an ce .   T h e  d ay s   lo g g ed   in ,   h a v in g   a  VI   s co r e  o f   5 5 . 8 0 ,   s u g g ests   th at  co n s is ten t  en g ag em en t   with   th e  Mo o d le  L MS  is   n o t ab le  in   p r e d ictin g   ac ad e m ic  p er f o r m an ce ,   c o n s is ten t  with   th e  s tu d ies  o f   [ 2 1 ] ,  [ 2 3 ] .   T h e  cr ea te   ac tio n s   im p lies   th at  ac tiv ities   r elate d   to   cr ea tin g   co n ten t  with in   th e   Mo o d le  L MS  also   s tr o n g ly   in f l u en ce   ac ad e m ic  p er f o r m a n ce ,   with   a  VI   s co r e  o f   5 5 . 1 0 .   Qu iz  a ctio n s   co m es  in   at  f if t h   p lace   with   a  VI   s co r e  o f   4 8 . 1 3 ,   im p ly in g   th at  in ter a ctio n s   with in   q u izze s   o r   ass ess m en ts   with in   Mo o d le  ca n   s till   in f lu en ce   ac ad em ic  p er f o r m an ce .   T h e  f o r u m   ac tio n s ,   in ter ac tio n s   with in   f o r u m s   an d   d is cu s s io n s   ca n   also   in f lu en ce   ac ad em ic  p er f o r m a n ce   with   a  VI   s co r e  o f   4 5 . 5   an d   r an k ed   s ix th .   R an k ed   in   s ev en th   p lace   is   th e  u p d ate  a ctio n s ,   in d icatin g   th at  s tu d e n t   u p d ates  with in   th e   L MS  h av e  a   r elativ ely   l o wer   im p ac t  o n   p r e d ictin g   ac a d em i c  p er f o r m an ce ,   with   a   VI   s co r e  o f   3 7 . 3 9 .   W h ile  s till   r elev an t ,   u p d ate  ac tio n s ’   im p ac t  o n   ac ad em ic  p er f o r m an ce   ap p ea r s   to   b e  less   s ig n if ican t  co m p ar e d   to   th e   f ea tu r es  th at  a r e  h i g h er   r an k e d .   Dele te  a ctio n s   ar e  th e   least  im p o r tan t,   with   a   VI   s co r e   o f   4 , 2 2 .   T h is   s u g g ests   th at  r em o v in g   co n ten t f r o m   th e  L MS  h as th e  wea k est in f lu e n ce   o n   ac a d em ic  p er f o r m an ce .       T ab le  5 .   Var iab le  im p o r ta n ce   s co r e  o f   ea ch   f ea tu r e   F e a t u r e   ( p r e d i c t o r )   V I   sco r e   S u b m i ssi o n   A c t i o n s   7 2 . 7 3   R e a d   A c t i o n s   5 7 . 5 3   D a y s  Lo g g e d   I n   5 5 . 8 0   C r e a t e   A c t i o n s   5 5 . 1 0   Q u i z   A c t i o n s   4 8 . 1 3   F o r u m   A c t i o n s   4 5 . 5 3   U p d a t e   A c t i o n s   3 7 . 3 9   D e l e t e   A c t i o n s   4 . 2 2       4.   CO NCLU SI O N   T h e  s tu d y   p r ed icted   s tu d e n t  p er f o r m an ce   u s in g   Mo o d le  d ata  f r o m   v ar io u s   co u r s es  an d   tr ee - b ased   m ac h in e  lear n in g   alg o r ith m s .   I n   co m p ar in g   3   tr ee - b ased   m a ch in e  lear n in g   alg o r ith m s ,   n a m ely ,   RF ,   XGBo o s t,   an d   C 5 . 0   DT ,   th e  RF   y ield ed   th e  h ig h est  R OC - AUC  s co r e  o f   0 . 7 7   with   a  s en s itiv ity   s c o r e  o f   0 . 7 3   an d   a   s p ec if icity   s co r e  o f   0 . 6 6   in   t h e   tr ain in g   s et.   I n   th e   test in g   s et,   th e  RF   g o t  0 . 7 3   R OC - AUC  with   s en s itiv ity   an d   s p ec if icity   s co r es  o f   0 . 6 9   a n d   0 . 6 6 ,   r esp ec tiv ely .   T h ese  v alu es  in d icate   th at  RF   ca n   d i s cr im in ate  b e twee n   h ig h - p e r f o r m in g   a n d   lo w - p er f o r m in g   s tu d en ts   r ea s o n ab ly   well  b u t w ith   r o o m   f o r   im p r o v e m en t.   T h e  f ea tu r e   im p o r ta n ce   asp ec t   o f   th e  s tu d y   f ea tu r e  en g in ee r ed   9   Mo o d le - g e n er ic  v a r iab le s   f r o m   th e  L MS  d ata  co llected   f r o m   USeP :  s u b m is s io n   ac tio n s ,   q u iz   ac tio n s ,   f o r u m   ac tio n s ,   c r ea te  ac tio n s ,   r ea d   ac tio n s ,   u p d ate  ac tio n s ,   d elete   ac tio n s ,   d ay s   lo g g e d   in ,   an d   p er f o r m a n ce   as  th e  lab el  f ea t u r e  ( r esp o n s e) .   T h ese  f ea tu r es   ar e  aim ed   at  g en er aliza b ilit y   an d   ca n   b e  ap p lied   to   an y   Mo o d le  co u r s e.   T h e   s u b m is s io n   ac tio n s   ar e  th e  m o s t  cr u cial  f ea tu r e   in   p r ed ictin g   s tu d en t  p e r f o r m an ce   am o n g   th e  p r ed icto r   f ea tu r es,  wh ile  th e  d elete   ac tio n s   ar e   th e  least  im p o r tan t.  B y   h ig h li g h tin g   th e  im p o r tan ce   o f   f ea t u r es  in   p r ed ictin g   o u tco m es,  th e  s tu d y   laid   th e  g r o u n d wo r k   f o r   f u tu r e   in v esti g atio n s   to   r ef in e   p r e d ictiv e  m o d els  an d   in f o r m   ta r g eted   in te r v en tio n s   tailo r e d   t o   in d iv id u al  s tu d en t  n ee d s .   T h e  s tu d y   was  lim ited   to   ju s t  2 - d eg r ee   p r o g r am s ,   B SIT   an d   B SC S,  an d   2 2   co u r s es,   r esu ltin g   in   a  r elativ ely   s m all  s am p le  s ize  o f   1 , 0 0 7   o b s er v at io n s .   Nev er th eless ,   th e  s tu d y ’ s   d ata  s ize  is   m o r e  s ig n if ican t  in   n u m b er   c o m p a r ed   to   p r e v io u s   s tu d ies.  Ho we v er ,   th e   f in d i n g s   s h o w   th at  th e r e  is   m u ch   r o o m   f o r   im p r o v em e n t.  Fu tu r e  r esear ch   co u ld   b r o ad en   its   s co p e  to   e n co m p ass   ad d itio n al  p r o g r a m s   an d   o t h er   f ea t u r es  f o r   im p r o v ed   g en er aliza b ilit y .   Fu tu r e  r esear ch   co u l d   also   ex ten d   th e  s tu d y   to   o th er   u n iv er s ities   an d   co n s id er   o th er   L MS  p latf o r m s   o u ts id e  Mo o d le.   F u tu r e  s tu d ies  ca n   c o n s id er   m o d el  d e p lo y m e n t,  al lo win g   ed u ca to r s   to   lev er ag e  th e  m o d el  th r o u g h   in f o r m atio n   s y s tem s   an d   d ash b o ar d s .   Ov er all,   th e  s tu d y ’ s   f in d in g s   u n d er s co r e   th e  p o ten tial  o f   m ac h in e  lear n in g   tech n iq u es  in   en h an cin g   ed u ca tio n al  in ter v e n tio n   s t r ateg ies,  wh ich   ca n   p av e  th e  way   f o r   ef f ec tiv e  s u p p o r t  m ec h a n is m s   f o r   s tu d en ts .   E d u ca to r s   ca n   f o s ter   a  m o r e  i n clu s iv e  lear n in g   e n v ir o n m en t  b y   im p lem en tin g   tailo r ed   s u p p o r t  m ec h an is m s .   T h e  s tu d y   c o n tr ib u tes  to   th e  g r o win g   b o d y   o f   liter atu r e  o n   th e  in ter s ec t io n   o f   d ata  s cien ce   an d   ed u ca tio n ,   o f f er in g   p ath way s   f o r   im p r o v i n g   s tu d en t a ca d em ic  p er f o r m a n ce   in   o n lin e  lear n in g   en v i r o n m en ts .       ACK NO WL E DG M E N T S   T h e  au th o r s   th a n k   th e  Un iv e r s ity   o f   So u t h ea s ter n   Ph ilip p in es  ( USeP)   f o r   allo win g   u s   to   ac ce s s   an d   u s e  th eir   M o o d le  d ata,   wh ic h   was in s tr u m en tal  to   th is   s tu d y .   T h e  co llab o r atio n   with   USeP e n ab led   u s   to   d elv e   in to   v alu ab le  in s ig h ts   an d   f u r th er   u n d er s tan d   th e  r esear ch   s u b ject.   T h e  s u p p o r t  f r o m   USeP  s ig n if ican tly   co n tr ib u ted   to   th e  s u cc ess   o f   t h is   en d ea v o r .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 7 ,   No .   1 ,  J an u ar y   20 2 5 :   223 - 2 3 1   230   RE F E R E NC E S   [ 1 ]   R .   A .   N .   A l - T a me e mi   e t   a l . ,   “ D e t e r mi n a n t s  o f   p o o r   a c a d e m i c   p e r f o r man c e   a mo n g   u n d e r g r a d u a t e   st u d e n t s — A   s y st e ma t i c   l i t e r a t u r e   r e v i e w , ”   I n t e rn a t i o n a l   J o u r n a l   o f   E d u c a t i o n a l   R e se a rc h   O p e n ,   v o l .   4 ,   Ja n .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i j e d r o . 2 0 2 3 . 1 0 0 2 3 2 .   [ 2 ]   M .   S .   B e n o z a   a n d   T.   P a l a o a g ,   “ E x p l o r i n g   c o l l e g e   a c a d e mi c   p e r f o r ma n c e   o f   K   t o 1 2   I T  a n d   N o n - IT - r e l a t e d   s t r a n d s  t o   r e d u c e   a c a d e m i c   d e f i c i e n c i e s , ”   I n t e rn a t i o n a l   J o u rn a l   o f   A d v a n c e d   C o m p u t e r  S c i e n c e   a n d   Ap p l i c a t i o n s ,   2 0 2 3   [ O n l i n e ] .   A v a i l a b l e :   w w w . i j a c sa. t h e sa i . o r g   [ 3 ]   K .   K a n a t t i ,   J .   J a y a sh a n k a r ,   P .   G a y a t h r i ,   a n d   A .   K u m a r ,   “ S t u d e n t ’ s  p e r f o r man c e   a n d   d i f f i c u l t i e s  p r e d i c t i o n , ”   I n t e r n a t i o n a l   Re se a rc h   J o u r n a l   o n   A d v a n c e d   S c i e n c e   H u b ,   v o l .   5 ,   n o .   I ssu e   0 5 S ,   p p .   1 8 5 – 1 8 9 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 4 7 3 9 2 / i r j a s h . 2 0 2 3 . s 0 2 4 .   [ 4 ]   A .   B o d k h e ,   “ M a c h i n e   l e a r n i n g   b a se d   r e s u l t   a n a l y si s  p r e d i c t i o n   o f   st u d e n t ’ s  a c a d e mi c   p e r f o r ma n c e , ”   I n t e r n a t i o n a l   J o u r n a l   f o r   Re se a rc h   i n   A p p l i e d   S c i e n c e   a n d   E n g i n e e r i n g   T e c h n o l o g y ,   v o l .   1 1 ,   n o .   5 ,   p p .   5 0 5 8 – 5 0 6 2 ,   M a y   2 0 2 3 ,     d o i :   1 0 . 2 2 2 1 4 / i j r a s e t . 2 0 2 3 . 5 2 8 5 1 .   [ 5 ]   L.   A g u a g a l l o ,   F .   S a l a z a r - F i e r r o ,   J.  G a r c í a - S a n t i l l á n ,   M .   P o ss o - Y é p e z ,   P .   La n d e t a - Ló p e z ,   a n d   I .   G a r c í a - S a n t i l l á n ,   “ A n a l y si s   o f   st u d e n t   p e r f o r ma n c e   a p p l y i n g   d a t a   mi n i n g   t e c h n i q u e s  i n   a   v i r t u a l   l e a r n i n g   e n v i r o n m e n t , ”   In t e r n a t i o n a l   J o u rn a l   o f   Em e rg i n g   T e c h n o l o g i e s   i n   L e a r n i n g ,   v o l .   1 8 ,   n o .   1 1 ,   p p .   1 7 5 – 1 9 5 ,   2 0 2 3 ,   d o i :   1 0 . 3 9 9 1 / i j e t . v 1 8 i 1 1 . 3 7 3 0 9 .   [ 6 ]   R .   A .   N .   A l - T a me e mi   e t   a l . ,   “ D e t e r mi n a n t s  o f   p o o r   a c a d e m i c   p e r f o r man c e   a mo n g   u n d e r g r a d u a t e   st u d e n t s — A   s y st e ma t i c   l i t e r a t u r e   r e v i e w , ”   I n t e rn a t i o n a l   J o u r n a l   o f   E d u c a t i o n a l   R e se a rc h   O p e n ,   v o l .   4 ,   Ja n .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i j e d r o . 2 0 2 3 . 1 0 0 2 3 2 .   [ 7 ]   W .   G o r d i l l o - T e n o r i o ,   C .   M e l é n d e z - F l o r e s ,   F .   S i e r r a - Li ñ a n ,   a n d   M .   C a b a n i l l a s - C a r b o n e l l ,   “ I n f o r ma t i o n   t e c h n o l o g i e s  t h a t   h e l p   i mp r o v e   a c a d e mi c   p e r f o r ma n c e ,   a   r e v i e w   o f   t h e   l i t e r a t u r e , ”   I n t e rn a t i o n a l   J o u r n a l   o f   Em e r g i n g   T e c h n o l o g i e s  i n   L e a r n i n g ,   v o l .   1 8 ,   n o .   4 ,   p p .   2 6 2 – 2 7 9 ,   2 0 2 3 ,   d o i :   1 0 . 3 9 9 1 / i j e t . v 1 8 i 0 4 . 3 4 8 2 1 .   [ 8 ]   J.  B o j i a h ,   “ Ef f e c t i v e n e ss   o f   m o o d l e   i n   t e a c h i n g   a n d   l e a r n i n g , ”   J o u rn a l   o f   H u n a n   U n i v e rs i t y   N a t u ra l   S c i e n c e s ,   v o l .   4 9 ,   n o .   1 2 ,     p p .   3 2 0 – 3 2 8 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 5 5 4 6 3 / i ssn . 1 6 7 4 - 2 9 7 4 . 4 9 . 1 2 . 3 3 .   [ 9 ]   S .   Q i n ,   L .   O r c h a k o v a ,   Z .   Y .   L i u ,   Y .   S m i r n o v a ,   a n d   E.   T o k a r e v a ,   “ U s i n g   t h e   l e a r n i n g   ma n a g e me n t   s y st e m   ‘ mo d u l a r   o b j e c t - o r i e n t e d   d y n a m i c   l e a r n i n g   e n v i r o n m e n t ’   i n   m u l t i l i n g u a l   e d u c a t i o n , ”   I n t e r n a t i o n a l   J o u r n a l   o f   Em e rg i n g   T e c h n o l o g i e s i n   L e a rn i n g ,  v o l .   1 7 ,   n o .   3 ,   p p .   1 7 3 – 1 9 1 ,   2 0 2 2 ,   d o i :   1 0 . 3 9 9 1 / i j e t . v 1 7 i 0 3 . 2 5 8 5 1 .   [ 1 0 ]   K .   S e v n a r a y a n ,   “ M o o d l e   a s  a   t o o l   t o   r e d u c e   t r a n s a c t i o n a l   d i st a n c e   a t   a n   o p e n   d i s t a n c e   a n d   e - l e a r n i n g   U n i v e r si t y , ”   S t u d i e s  i n   L e a r n i n g   a n d   T e a c h i n g ,   v o l .   4 ,   n o .   4 ,   2 0 2 3 ,   d o i :   1 0 . 4 6 6 2 7 / s i l e t .   [ 1 1 ]   A .   N a sr u m ,   M .   S u b a w o ,   a n d   U .   H i d a y a t i ,   “ T h e   r o l e   o f   mo o d l e   i n   e d u c a t i o n :   a   b i b l i o me t r i c   r e v i e w , ”   J ME   ( J o u rn a l   o f   M a t h e m a t i c s   Ed u c a t i o n ) ,   v o l .   8 ,   n o .   1 ,   Ju n .   2 0 2 3 ,   d o i :   1 0 . 3 1 3 2 7 / j me . v 8 i 1 . 1 9 0 3 .   [ 1 2 ]   J.  B o j i a h ,   “ Ef f e c t i v e n e ss   o f   m o o d l e   i n   t e a c h i n g   a n d   l e a r n i n g , ”   J o u rn a l   o f   H u n a n   U n i v e rs i t y   N a t u ra l   S c i e n c e s ,   v o l .   4 9 ,   n o .   1 2 ,     p p .   3 2 0 – 3 2 8 ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 5 5 4 6 3 / i ssn . 1 6 7 4 - 2 9 7 4 . 4 9 . 1 2 . 3 3 .   [ 1 3 ]   A .   A k h t a r ,   M .   S e r a j u d d i n ,   a n d   H .   Z a f r u l ,   “ I n t r o d u c t i o n   o f   e d u c a t i o n a l   d a t a   mi n i n g   b y   u si n g   a   v a r i e t y   o f   t e c h n i q u e s  i n   o r d e r   t o   a c h i e v e   t h e   g o a l   f r o m t h e   m o o d l e   L M S , ”   E u r o p e a n   J o u r n a l   o f   O p e n   E d u c a t i o n   a n d   E - l e a r n i n g   S t u d i e s ,   v o l .   6 ,   n o .   1 ,   Ju n .   2 0 2 1 .   [ 1 4 ]   S .   B e g u m  a n d   S .   S .   P a d m a n n a v a r ,   “ S t u d e n t   p e r f o r ma n c e   a n a l y si s   u s i n g   B a y e s i a n   o p t i m i z e d   r a n d o m  f o r e st   c l a ss i f i e r   a n d   K N N , ”   I n t e r n a t i o n a l   J o u r n a l   o f   E n g i n e e ri n g   T r e n d s  a n d   T e c h n o l o g y ,   v o l .   7 1 ,   n o .   5 ,   p p .   1 3 2 – 1 4 0 ,   M a y   2 0 2 3 ,     d o i :   1 0 . 1 4 4 4 5 / 2 2 3 1 5 3 8 1 / I JETT - V 7 1 I 5 P 2 1 3 .   [ 1 5 ]   S .   A .   A .   K h a r i s  e t   a l . ,   “ D e s i g n   o f   st u d e n t   s u c c e ss  p r e d i c t i o n   a p p l i c a t i o n   i n   o n l i n e   l e a r n i n g   u s i n g   f u z z y - K N N , ”   Ba re k e n g :   J u r n a l   I l m u   Ma t e m a t i k a   d a n   T e ra p a n ,   v o l .   1 7 ,   n o .   2 ,   p p .   0 9 6 9 – 0 9 7 8 ,   J u n .   2 0 2 3 ,   d o i :   1 0 . 3 0 5 9 8 / b a r e k e n g v o l 1 7 i ss2 p p 0 9 6 9 - 0 9 7 8 .   [ 1 6 ]   S .   K .   G u p t a ,   I .   K u m a r ,   M .   K u m a r ,   S .   K u mari ,   a n d   S .   D e v i ,   “ S t u d e n t   p e r f o r man c e   a n a l y si s u si n g   mac h i n e   l e a r n i n g ,”  I n t e rn a t i o n a l   J o u rn a l   o f   Pro g r e ssi v e   Re se a r c h   i n   E n g i n e e r i n g   M a n a g e m e n t   a n d   S c i e n c e ,   M a y   2 0 2 3 ,   d o i :   1 0 . 5 8 2 5 7 / i j p r e ms 3 1 1 8 1 .   [ 1 7 ]   S .   S h r e st h a   a n d   M .   P o k h a r e l ,   “ E d u c a t i o n a l   d a t a   mi n i n g   i n   mo o d l e   d a t a , ”   I n t e rn a t i o n a l   J o u r n a l   o f   I n f o rm a t i c s  a n d   C o m m u n i c a t i o n   T e c h n o l o g y   ( I J - I C T ) ,   v o l .   1 0 ,   n o .   1 ,   p .   9 ,   A p r .   2 0 2 1 ,   d o i :   1 0 . 1 1 5 9 1 / i j i c t . v 1 0 i 1 . p p 9 - 1 8 .   [ 1 8 ]   A .   T.   D .   N g u y e n ,   “ U s i n g   ma c h i n e   l e a r n i n g   t o   p r e d i c t   t h e   l o w   g r a d e   r i s k   f o r   st u d e n t s  b a s e d   o n   l o g   f i l e   i n   mo o d l e   l e a r n i n g   man a g e me n t   s y s t e m, ”   I n t e rn a t i o n a l   J o u r n a l   o f   C o m p u t i n g   a n d   D i g i t a l   S y st e m s ,   v o l .   1 1 ,   n o .   1 ,   p p .   1 1 3 3 – 1 1 4 0 ,   2 0 2 2 ,     d o i :   1 0 . 1 2 7 8 5 / i j c d s / 1 1 0 1 9 1 .   [ 1 9 ]   H .   S o k o u t   a n d   T .   U s a g a w a ,   “ U si n g   a c c e ss   l o g   d a t a   t o   p r e d i c t   f a i l u r e - p r o n e   s t u d e n t s   i n   M o o d l e   u s i n g   a   sma l l   d a t a s e t , ”   S H S   We b   o f   C o n f e re n c e s ,   v o l .   1 0 2 ,   p .   0 4 0 0 1 ,   2 0 2 1 ,   d o i :   1 0 . 1 0 5 1 / s h sc o n f / 2 0 2 1 1 0 2 0 4 0 0 1 .   [ 2 0 ]   M .   M .   Ta m a d a ,   R .   G i u s t i ,   a n d   J .   F .   d e   M .   N e t t o ,   “ P r e d i c t i n g   s t u d e n t s  a t   r i sk   o f   d r o p o u t   i n   t e c h n i c a l   c o u r se  u si n g   L M S   l o g s ,”  El e c t r o n i c s   ( S w i t zer l a n d ) ,   v o l .   1 1 ,   n o .   3 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s1 1 0 3 0 4 6 8 .   [ 2 1 ]   C .   K a e n sar   a n d   W .   W o n g n i n ,   “ A n a l y si s  a n d   p r e d i c t i o n   o f   st u d e n t   p e r f o r m a n c e   b a se d   o n   m o o d l e   l o g   d a t a   u s i n g   mac h i n e   l e a r n i n g   t e c h n i q u e s, ”   I n t e rn a t i o n a l   J o u rn a l   o f   Em e r g i n g   T e c h n o l o g i e s  i n   L e a r n i n g ,   v o l .   1 8 ,   n o .   1 0 ,   p p .   1 8 4 – 2 0 3 ,   2 0 2 3 ,     d o i :   1 0 . 3 9 9 1 / i j e t . v 1 8 i 1 0 . 3 5 8 4 1 .   [ 2 2 ]   R .   J .   Q u i n n ,   G .   G r a y ,   R .   Q u i n n ,   a n d   G .   G r a y ,   “ P r e d i c t i o n   o f   st u d e n t   a c a d e m i c   p e r f o r m a n c e   u si n g   M o o d l e   d a t a   f r o m  a   f u r t h e r   e d u c a t i o n   s e t t i n g , ”   I r i s h   J o u rn a l   o f   T e c h n o l o g y   E n h a n c e d   L e a rn i n g ,   2 0 2 0 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / w w w . i l t a . i e /   [ 2 3 ]   S .   G a f t a n d z h i e v a   e t   a l . ,   “ Ex p l o r i n g   o n l i n e   a c t i v i t i e s t o   p r e d i c t   t h e   f i n a l   g r a d e   o f   st u d e n t , ”   M a t h e m a t i c s ,   v o l .   1 0 ,   n o .   2 0 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / mat h 1 0 2 0 3 7 5 8 .   [ 2 4 ]   Y .   Z h a n g ,   A .   G h a n d o u r ,   a n d   V .   S h e s t a k ,   “ U si n g   l e a r n i n g   a n a l y t i c s   t o   p r e d i c t   s t u d e n t s   p e r f o r ma n c e   i n   mo o d l e   LM S , ”   I n t e r n a t i o n a l   J o u r n a l   o f   Em e r g i n g   T e c h n o l o g i e s  i n   L e a r n i n g ,   v o l .   1 5 ,   n o .   2 0 ,   p p .   1 0 2 – 1 1 4 ,   2 0 2 0 ,   d o i :   1 0 . 3 9 9 1 / i j e t . v 1 5 i 2 0 . 1 5 9 1 5 .   [ 2 5 ]   J.  Y .   B o ,   H . - W .   H u a n g ,   A .   C h a n ,   a n d   G .   Tr a v e r so ,   “ P r e t r a i n i n g   EC G   d a t a   w i t h   a d v e r s a r i a l   ma sk i n g   i mp r o v e s  mo d e l   g e n e r a l i z a b i l i t y   f o r   d a t a - s c a r c e   t a s k s ,”  a rX i v   p re p ri n t   a rX i v : 2 2 1 1 . 0 7 8 8 9 ,   No v .   2 0 2 2 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 2 1 1 . 0 7 8 8 9 .   [ 2 6 ]   K .   S y t w u ,   L.   R .   D a C o st a ,   a n d   M .   C .   S c o t t ,   “ G e n e r a l i z a t i o n   a c r o ss  e x p e r i m e n t a l   p a r a me t e r s  i n   ma c h i n e   l e a r n i n g   a n a l y si s  o f   h i g h - r e so l u t i o n   t r a n sm i ssi o n   e l e c t r o n   mi c r o sc o p y   d a t a se t s , ”   a r Xi v   p r e p ri n t   a rX i v : 2 3 0 6 . 1 1 8 5 3 ,   J u n .   2 0 2 3 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s/ 2 3 0 6 . 1 1 8 5 3   [ 2 7 ]   A .   N i k o l i k j   e t   a l . ,   “ A ssess i n g   t h e   g e n e r a l i z a b i l i t y   o f   a   p e r f o r ma n c e   p r e d i c t i v e   m o d e l , ”   I n   Pr o c e e d i n g s   o f   t h e   C o m p a n i o n   C o n f e re n c e   o n   G e n e t i c   a n d   E v o l u t i o n a ry  C o m p u t a t i o n ,   M a y   2 0 2 3 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 3 0 6 . 0 0 0 4 0   [ 2 8 ]   C .   Za n g   e t   a l . ,   “ A c c u r a c y   a n d   g e n e r a l i z a b i l i t y   o f   m a c h i n e   l e a r n i n g   m o d e l s  f o r   a d o l e sc e n t   s u i c i d e   p r e d i c t i o n   w i t h   l o n g i t u d i n a l   c l i n i c a l   r e c o r d s, ”   T r a n s l a t i o n a l   p sy c h i a t r y ,   2 0 2 3 ,   d o i :   1 0 . 2 1 2 0 3 / r s. 3 . r s - 2 7 9 0 4 9 1 / v 1 .   [ 2 9 ]   J.  K .   B .   R o g e r s ,   T.   C .   R .   M e r c a d o ,   a n d   R .   S .   D e c a n o ,   “ M o o d l e   i n t e r a c t i o n s  a n d   a c a d e m i c   p e r f o r ma n c e :   e d u c a t i o n a l   d a t a   m i n i n g   i n  a   P h i l i p p i n e   u n i v e r s i t y , ”   J o u rn a l   o f   E d u c a t i o n   a n d   L e a rn i n g   ( Ed u L e a r n ) ,   v o l .   1 9 ,   n o .   1 ,   p p .   5 4 2 – 5 5 0 ,   F e b .   2 0 2 5 ,     d o i :   1 0 . 1 1 5 9 1 / e d u l e a r n . v 1 9 i 1 . 2 1 5 4 9 .   [ 3 0 ]   N .   H .   S .   S i m a n u l l a n g   a n d   J.   R a j a g u k g u k ,   “ Le a r n i n g   ma n a g e m e n t   sy s t e m   ( LM S )   b a s e d   o n   m o o d l e   t o   i m p r o v e   st u d e n t s   l e a r n i n g   a c t i v i t y , ”   i n   J o u r n a l   o f   Ph y si c s:   C o n f e re n c e   S e ri e s ,   I n st i t u t e   o f   P h y si c s  P u b l i sh i n g ,   M a r .   2 0 2 0 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 4 6 2 / 1 / 0 1 2 0 6 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52         P r ed ictin g   s tu d en t p erfo r ma n ce   u s in g   Mo o d le  d a ta   a n d   m a ch in e  lea r n in g   w ith   …  ( J a ma l  K a y  R o g ers )   231   [ 3 1 ]   S .   M i s h r a   a n d   R .   K .   P r a d h a n ,   “ A n a l y z i n g   t h e   i m p a c t   o f   f e a t u r e   c o r r e l a t i o n   o n   c l a ss i f i c a t i o n   a c u r a c y   o f   ma c h i n e   l e a r n i n g   m o d e l , ”   2 0 2 3   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Art i f i c i a l   I n t e l l i g e n c e   a n d   S m a r t   C o m m u n i c a t i o n ,   AI S C   2 0 2 3 ,   p p .   8 7 9 – 8 8 3 ,   2 0 2 3 ,     d o i :   1 0 . 1 1 0 9 / A I S C 5 6 6 1 6 . 2 0 2 3 . 1 0 0 8 5 5 4 2 .   [ 3 2 ]   A .   L i n d e n ,   “ A   c o m p a r i s o n   o f   a p p r o a c h e s   f o r   st r a t i f y i n g   o n   t h e   p r o p e n s i t y   s c o r e   t o   r e d u c e   b i a s,”   J o u r n a l   o f   Ev a l u a t i o n   i n   C l i n i c a l   Pra c t i c e ,   v o l .   2 3 ,   n o .   4 ,   p p .   6 9 0 – 6 9 6 ,   A u g .   2 0 1 7 ,   d o i :   1 0 . 1 1 1 1 / j e p . 1 2 7 0 1 .   [ 3 3 ]   B .   W e c k   a n d   X .   S e r r a ,   “ D a t a   l e a k a g e   i n   c r o ss - mo d a l   r e t r i e v a l   t r a i n i n g :   a   c a se  s t u d y , ”   I C A S S P ,   I EEE   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ac o u s t i c s ,   S p e e c h   a n d   S i g n a l   Pr o c e ss i n g   -   Pro c e e d i n g s ,   v o l .   2 0 2 3 - Ju n e ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / I C A S S P 4 9 3 5 7 . 2 0 2 3 . 1 0 0 9 4 6 1 7 .   [ 3 4 ]   K .   F i l o m ,   A .   M i r o sh n i k o v ,   K .   K o t s i o p o u l o s ,   a n d   A .   R .   K a n n a n ,   “ O n   mar g i n a l   f e a t u r e   a t t r i b u t i o n s   o f   t r e e - b a se d   mo d e l s, ”   a rX i v   p re p ri n t   a rXi v : 2 3 0 2 . 0 8 4 3 4 ,   F e b .   2 0 2 3 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / a r x i v . o r g / a b s / 2 3 0 2 . 0 8 4 3 4   [ 3 5 ]   G .   P e d r e t t i ,   S .   S e r e b r y a k o v ,   J.   P .   S t r a c h a n ,   a n d   C .   E .   G r a v e s,   “ A   g e n e r a l   t r e e - b a se d   m a c h i n e   l e a r n i n g   a c c e l e r a t o r   w i t h   m e mr i s t i v e   a n a l o g   C A M , ”   P ro c e e d i n g s  -   I EEE   I n t e r n a t i o n a l   S y m p o si u m   o n   C i rc u i t s  a n d   S y st e m s ,   v o l .   2 0 2 2 - M a y ,   p p .   2 2 0 – 2 2 4 ,   2 0 2 2 ,     d o i :   1 0 . 1 1 0 9 / I S C A S 4 8 7 8 5 . 2 0 2 2 . 9 9 3 7 7 7 2 .   [ 3 6 ]   S .   K a r t h i k e y a n   a n d   T.   K a t h i r v a l a v a k u mar,  “ G e n e t i c   a l g o r i t hm - b a se d   o v e r - s a mp l i n g   w i t h   D N N   i n   c l a ss i f y i n g   t h e   i mb a l a n c e d   d a t a   d i s t r i b u t i o n   p r o b l e m,”   I n d i a n   J o u rn a l   o f   S c i e n c e   a n d   T e c h n o l o g y ,   v o l .   1 6 ,   n o .   8 ,   p p .   5 4 7 – 5 5 6 ,   F e b .   2 0 2 3 ,     d o i :   1 0 . 1 7 4 8 5 / I JS T/ v 1 6 i 8 . 8 6 3 .   [ 3 7 ]   A .   M .   H a l i m,   M .   D w i f e b r i ,   a n d   F .   N h i t a ,   “ H a n d l i n g  i m b a l a n c e d   d a t a   se t s   u si n g   S M O T E  a n d   A D A S Y N   t o   i m p r o v e   c l a ss i f i c a t i o n   p e r f o r m a n c e   o f   e c o l i   d a t a   set s ,”  Bu i l d i n g   o f   I n f o rm a t i c s ,   T e c h n o l o g y   a n d   S c i e n c e   ( BI T S ) ,   v o l .   5 ,   n o .   1 ,   Ju n .   2 0 2 3 ,     d o i :   1 0 . 4 7 0 6 5 / b i t s. v 5 i 1 . 3 6 4 7 .   [ 3 8 ]   D .   Y u   a n d   H .   W u ,   “ V a r i a b l e   i m p o r t a n c e   e v a l u a t i o n   w i t h   p e r so n a l i z e d   o d d s  r a t i o   f o r   ma c h i n e   l e a r n i n g   mo d e l   i n t e r p r e t a b i l i t y   w i t h   a p p l i c a t i o n s   t o   e l e c t r o n i c   h e a l t h   r e c o r d s - b a se d   mo r t a l i t y   p r e d i c t i o n , ”   S t a t i st i c a l   M e d i c i n e ,   v o l .   4 2 ,   n o .   6 ,   p p .   7 6 1 – 7 8 0 ,   M a r .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 2 / S I M . 9 6 4 2 .   [ 3 9 ]   L .   La v a z z a ,   S .   M o r a sc a ,   a n d   G .   R o t o l o n i ,   “ O n   t h e   r e l i a b i l i t y   o f   t h e   a r e a   u n d e r   t h e   R O C   c u r v e   i n   e mp i r i c a l   s o f t w a r e   e n g i n e e r i n g , ”   i n   A C M   I n t e r n a t i o n a l   C o n f e re n c e   Pr o c e e d i n g   S e r i e s ,   A ss o c i a t i o n   f o r   C o mp u t i n g   M a c h i n e r y ,   J u n .   2 0 2 3 ,   p p .   9 3 – 100 ,     d o i :   1 0 . 1 1 4 5 / 3 5 9 3 4 3 4 . 3 5 9 3 4 5 6 .   [ 4 0 ]   M .   Je b b a r i ,   B .   C h e r r a d i ,   S .   H a mi d a ,   M .   A .   O u a ss i l ,   T .   E .   H a r r o u t i ,   a n d   A .   R a i h a n i ,   “ E n h a n c i n g   l e a r n e r   p e r f o r ma n c e   p r e d i c t i o n   o n   o n l i n e   p l a t f o r ms   u s i n g   ma c h i n e   l e a r n i n g   a l g o r i t h ms,”   I n d o n e si a n   J o u rn a l   o f   E l e c t r i c a l   E n g i n e e r i n g   a n d   C o m p u t e r  S c i e n c e   ( I J EEC S ) ,   v o l .   3 5 ,   n o .   1 ,   p p .   3 4 3 – 3 5 3 ,   Ju l .   2 0 2 4 ,   d o i :   1 0 . 1 1 5 9 1 / i j e e c s. v 3 5 . i 1 . p p 3 4 3 - 3 5 3 .   [ 4 1 ]   I .   R .   A l - K i n d i ,   Z.   A l - K h a n j a r i ,   a n d   Y .   Jamo u ss i ,   “ Ex t r a c t i n g   st u d e n t   p a t t e r n s  f r o m  l o g   f i l e   M o o d l e   c o u r se :   A   c a s e   st u d y , ”   I n t e r n a t i o n a l   J o u r n a l   o f   Ev a l u a t i o n   a n d   Re s e a r c h   i n   E d u c a t i o n   ( I J ERE) ,   v o l .   1 1 ,   n o .   2 ,   p p .   9 1 7 – 9 2 6 ,   J u n .   2 0 2 2 ,     d o i :   1 0 . 1 1 5 9 1 / i j e r e . v 1 1 i 2 . 2 3 2 4 2 .   [ 4 2 ]   S .   H a n u ma n t h a p p a   a n d   C .   P r a k a s h ,   “ M a c h i n e   l e a r n i n g   b a s e d   e d u c a t i o n   d a t a   m i n i n g   t h r o u g h   s t u d e n t   s e ssi o n   s t r e a ms,”   I n t e r n a t i o n a l   J o u r n a l   o f   Re c o n f i g u ra b l e   a n d   Em b e d d e d   S y s t e m s   ( I J RE S ) ,   v o l .   1 3 ,   n o .   2 ,   p p .   3 8 3 – 3 9 4 ,   Ju l .   2 0 2 4 ,     d o i :   1 0 . 1 1 5 9 1 / i j r e s . v 1 3 . i 2 . p p 3 8 3 - 3 9 4 .       B I O G RAP H Y  O F   AUTHO RS       J a m a l  K a y   Ro g e r s           is  a n   a ss o c iate   p ro fe ss o r  a t  th e   Co ll e g e   o f  In fo rm a ti o n   a n d   Co m p u ti n g   (CIC)  o f  th e   Un iv e rsity   o f  S o u t h e a ste rn   P h i li p p in e s  (USeP)  in   Da v a o   Cit y ,   P h il i p p i n e s.  En g r.   R o g e rs  is  re g i ste re d   e lec tro n ics   e n g i n e e r  with   a   Ba c h e lo r ’ s  in   El e c tro n ics   a n d   Co m m u n ica ti o n   E n g in e e rin g   a n d   a   M a ste r ’ s   in   En g in e e rin g ,   m a jo rin g   i n   El e c tro n ics   a n d   Co m m u n ica ti o n   E n g i n e e rin g .   He   is  tak i n g   a   Do c to r   o f   P h il o s o p h y   in   Ed u c a ti o n   m a jo r  i n   In fo rm a ti o n   Tec h n o l o g y   I n teg ra ti o n .   His  re se a rc h   in tere sts  a re   th e   Io T ,   d a ta  sc ien c e ,   m a c h in e   lea rn in g ,   a n d   e d u c a ti o n a l  d a t a   m in in g   (EDM ).   He   c a n   b e   c o n tac ted   a t   e m a il :  jam a lk a y . ro g e rs@ u se p . e d u . p h .       Ta m a r a   Cher   Mer c a d o           is  a   p ro fe ss o r  a t  th e   Co ll e g e   o f  In fo rm a ti o n   a n d   Co m p u ti n g   o f   th e   Un i v e rsity   o f  S o u t h e a ste rn   P h il i p p i n e s  (USeP)  in   Da v a o   Cit y ,   P h il i p p in e s .   S h e   is  t h e   Vic e   P re sid e n t  f o r  P lan n i n g   a n d   Qu a li t y   As su ra n c e   (V P P Qu A).  Dr .   M e rc a d o   h o ld s   a   Do c to r  o f  P h il o s o p h y   i n   In f o rm a ti o n   Tec h n o lo g y ,   a   M a ste r  o f  S c ien c e   in   In f o rm a ti o n   S c ien c e ,   a n d   a   Ba c h e lo r  o f  S c ie n c e   in   Co m p u ter  En g in e e ri n g .   He r  re se a rc h   in tere sts  in c lu d e  in fo rm a ti o n   s y ste m s,  k n o wle d g e   m a n a g e m e n t,   a n d   o ff li n e   we b   se r v ice s.  S h e   c a n   b e   c o n tac ted   a t  e m a il :  tam m y @u se p . e d u . p h .       Re m e ly n   Cheng           is  a n   a ss o c iate   p ro fe ss o r  a t  t h e   Co ll e g e   o f  Art s  a n d   S c ien c e s  o f  th e   M a p u a   M a lay a n   C o ll e g e s  M in d a n a o   (M M CM )  i n   Da v a o   Cit y ,   P h il ip p i n e s.  Dr.  Ch e n g   h o l d s  a   Do c to r   o f   P h il o so p h y   i n   M a th e m a ti c a l  S c ien c e s,   a   M a st e r  o f   Arts  i n   Ed u c a ti o n   i n   Tea c h in g   M a t h e m a ti c s,  a n d   a   Ba c h e lo r  o f  S c ien c e   in   M a th e m a t ics .   He r  re s e a rc h   in tere sts   in c lu d e   p h e n o m e n o n - b a se d   lea rn in g   a n d   a ll   th i n g s   m a th e m a ti c s.  S h e   c a n   b e   c o n tac ted   a t   e m a il :  re m y a sa h id @g m a il . c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.