I A E S  I n t e r n at io n al  Jou r n al  of  A r t if ic ia l  I n t e ll ig e n c e  ( I J - AI )   V ol .   14 , N o.   3 ,  J une   20 25 , pp.  2158 ~ 2168   I S S N :  2252 - 8938 ,   D O I :  10.11591/ ij a i. v 14 .i 3 .pp 2158 - 2168           2158     Jou r n al  h om e page :  ht tp : // ij ai . ia e s c or e .c om   Co - t r ai n i n g p se u d o - l ab e l i n g f or  t e xt   c l ass i f i c at i on  w i t h   su p p or t   ve c t o r  m ac h i n e   an d   l o n g sh or t - t e r m  m e m or y       S r i  H an d ayan i 1, 2 ,  R iz al  I s n an t o 3 ,  B u d i  War s it o 4   1 D oc t or a l  P r ogr a m  of   I nf or m a t i on  S ys t e m s , D i pone gor o U ni ve r s i t y,  S e m a r a ng, I ndone s i a   2 D e pa r t m e nt  of  I nf or m a t i on a nd C om m uni c a t i on T e c hnol ogy , S e m a r a ng U ni ve r s i t y, S e m a r a ng, I ndone s i a   3 D e pa r t m e nt  of  C om put e r  E ngi ne e r i ng, D i pone gor o U ni ve r s i t y, S e m a r a ng, I nd one s i a   4 D e pa r t m e nt  of  S t a t i s t i c s ,  F a c ul t y of  S c i e nc e  a nd M a t he m a t i c s ,  D i pone gor o U n i ve r s i t y, S e m a r a ng, I ndone s i a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e d  M a y   4 ,  2024   R e vi s e d  F e b   3 ,  2025   A c c e pt e d  M a r   15 ,  2025       The  scarcity  of  l abeled  data   may  hamper   training  text - processing   mod els.  In  response  to  this  issue,   a  novel  and   intrigui ng  strategy   that  combines   t he  c o - training  method  and  pseudo - labeling  design  is  applied   to  enhan ce  the  model' s  performance.  This  method,  a  component  of  an  efficient   semi - supervised  learning  paradigm  for  processing   and  comprehending  te xt,  is  a   fresh  perspective  in  the  field.  The  model,  which  combines   a  support  vector  machine  (SVM)  for  classifica tion  and  long  short - term  memory  (LSTM)  for  text   sequence  interpretation,  is  a   unique  approach.  By   introducing  s amples  that  may  be  marginalized   in  the   labeled  data,   the  c o - training   approac h   could  help  solve  the  class  imbalance  problem  by  using  a  small   amount  of  l abeled  data  and  the  rest  unlabeled.  This  study  assesses  the  model' s  perfor mance  using  a  student  dataset  from  higher  education  institutions   to  esta blish  a  threshold  for  each  model' s  degree   of  confidenc e  and  ascerta in  how  much  the  model  can  be  generalized  depending  on  the  threshold.  The  SVM  thr esho ld  was  calculated  as  > = 0.88,   and  the  LSTM  threshold   was  calculated  as   > = 0.5   using a mixture of confidence metrics.   K e y w o r d s :   Co - tr a in in g   L ong s hor t - te r m  m e m or y   P s e udo - la be li ng   S e m i - s upe r vi s e d l e a r ni ng   S uppor t  ve c to r  m a c hi ne   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   S r i  H a nda ya ni   D e pa r tm e nt  T e c hnol ogy of  I nf or m a ti on a nd  C om m uni c a ti on, S e m a r a ng U ni ve r s it y   S oe ka r no H a tt a , W e s t  T lo gos a r i,  S e m a r a ng C it y, C e nt r a l  J a va ,  I ndone s ia   E m a il :  s r i @ us m .a c .i d       1.   I N T R O D U C T I O N   T e xt   c lu s te r in g  in   th e   e r a   of   bi g  da ta   a nd  m a c hi ne   le a r ni ng  is   one   of   th e   m os t  c r it ic a l  ta s ks   in   te xt   m in in g,  w hi c h  a im s   to   gr oup  te xt s   a c c or di ng  to   th e ir   c la s s if i c a ti on.  T e xt   c lu s te r in g  ha s   be e n  be n e f ic ia l  in   m a ny  a ppl ic a ti ons ,  s uc h  a s   r e c om m e nda ti on  s y s te m s   [ 1] ,  [ 2] ,   da ta   m in in g  m a na ge m e nt   [ 3] ,  a nd  pos it io n   de te c ti on  [ 4] .   W it h  th e   pr e s e nc e   of   th e   di gi ta l  e r a ,  m os t  pe opl e   e nj oy  s ha r in g  a nd  f in di ng  va r io us   c ont e nt   on   s oc ia l  m e di a   a nd  us in g  te xt   i s   ve r y  in f lu e nt ia l  in   c a r r yi ng  in f or m a ti on.  T e xt   c lu s te r in g  c a n  id e nt if y  tr e ndi ng  to pi c s ,  de te c t  s e nt im e nt   pa tt e r n s ,  or   r e c om m e nd  pe r s on a li z e d  c ont e nt ,  of f e r in g  a   w e a lt h  of   va lu a bl e   in s ig ht s   on  s oc ia l  m e di a .  T e xt   c lu s te r in g  is   a   c ha ll e ngi ng  ta s k.  C onve r s e ly ,  th e   di ve r s it y  of   te xt   c a te gor ie s   of te n   pr e s e nt s   a   s ig ni f ic a nt   c ha ll e nge   th a t  c a nnot   be   ig nor e d - da ta   d a ta   im ba la nc e .   T hi s   s it ua ti on  a r is e s   w h e n  th e   c la s s e s  i n a  da ta s e t  a r e  not  e ve nl y di s tr ib ut e d, l e a di ng t o  one  c l a s s  ha vi ng s ig ni f ic a nt ly  m or e  s a m pl e s  t ha n t he   ot he r s .  I n  th e   c ont e xt   of   c la s s if ic a ti on,  th is   im ba la nc e   c a n  pos e   a   s e r io us   pr obl e m .  M a c hi ne   le a r ni ng  a lg or it hm s  t ypi c a ll y pr io r it iz e  t he  m a jo r it y c la s s  a nd ma y ove r lo ok t he  l e s s  r e pr e s e nt a ti ve  m in or it y c la s s .   O ne   s tu dy  hi ghl ig ht s   th e   c ha ll e ng e s   of   da ta   m e a s ur e m e nt   i n  te xt   c la s s if ic a ti on.  I t  pr opos e s   a   pr om is in g  s ol ut io n - th e   us e   of   te xt   ge ne r a ti on  w it h  m ode   G P T - 2  a nd  lo ng  s hor t - te r m   m e m or y   ( L S T M )   to   ba la nc e   th e   d a ta s e t.   T hi s   a ppr oa c h  s ho w s   pot e nt ia l  in   im pr ovi n g  th e   pe r f or m a nc e   of   th e   c la s s if ic a ti on  m ode l  Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   A r ti f   I nt e ll     I S S N :   2252 - 8938       Co - tr ai ni ng ps e udo - la be li ng f or  t e x t  c la s s if ic at io n w it h s uppo r t  v e c to r  m ac hi n e   …   ( Sr i  H anday ani )   2159   [ 5] .   T e xt   c lu s te r in g  m e th ods   ha ve   a ls o  be e n  tr ie d  to   de a l  w it h  hi ghl y  im ba la nc e d  da ta ,  w hi c h  te nd  to   le a d  to   poor   s ol ut io ns   w he n  m in or   da ta   c lu s te r s   or   c lu s te r s   w it h  s m a ll   pr opor ti ons   of   c a s e s   di s a pp e a r   [ 6] ,  [ 7] .  T he y  m a y a ls o obta in  e a s y s ol ut io ns  i n w hi c h a ll  t e xt  i ns ta nc e s  a r e  i n t he  s a m e  c lu s te r   [ 8] .   F ur th e r m o r e , c ont r a s ti ve   la ngua ge   le a r ni ng  m e th ods   c om pa r e   th e   f ir s t  a nd  s e c ond  w o r ds   to   he lp   c or r e c t  e r r or s   a nd  im pr ove   w or d  m a s te r y.  H ow e ve r ,  th e s e   m e th ods   s ti ll   ne e d  be tt e r   s ol ut io ns ,  e s pe c ia ll y  in   hi ghl y  im ba la nc e d  te xt   c ol le c ti ons   [ 7] .  I t ' s   im por ta nt   to   not e   th a t  im ba la nc e d  da ta ,  if   p r oc e s s e d  di r e c tl y,  c a n  le a d  to   da ta   pr opor ti ons   th a t  r e duc e   th e  pe r f or m a nc e  of  t he  c la s s if ic a ti on a lg or it hm   [ 9] .    T he   a ut hor s   pr opos e   a   s ol ut io n  to   r e duc in g  da ta   a nd   im pr ovi ng  m ode l  pe r f o r m a nc e   on  unl a be le d   da ta   us in g  ps e udo - la be li ng .  T hi s   te c hni que ,  w hi c h  in vol ve s   tr a in in g  a   m ode l  on   la be l e d  da ta   to   pr oduc e   ps e udo  la be ls   f or   unl a be le d  da ta ,  of f e r s   s e ve r a l  be ne f it s .  P s e udo - la be li ng  in   s e m i - s upe r vi s e d  le a r ni ng  ha s   be e n  de ve lo pe d  to   c la s s if y  da ta   s e ts   w it h  pa r ti a l  la b e ls   [ 10] .  I t  ha s   a ls o   be e n  d e ve lo pe d  in   s e m i - s upe r vi s e d   le a r ni ng  f or   pa tt e r n  r e c ogni ti on   [ 11] ,   be c a us e   it   c a n  s ig ni f ic a nt ly   in c r e a s e   le a r ni ng  e f f e c ti ve ne s s   th r ough  th e   di s tr ib ut io n  of   in f or m a ti on   f r o m   unl a be le d  da ta   a nd  in f o r m a ti o n  f r om   la be le d  da ta   [ 12] .  P s e udo - la be li ng  w il l   a ls o  be   us e d  f or   th e   c la s s if ic a ti on  pr oc e s s   [ 13] ,  [ 14] ,  f r om   u nl a be le d  te s t  da ta   s o  th a t  th e   s e m i - s upe r vi s e d   le a r ni ng  a lg or it hm   c a n  be   u s e d  pr ope r ly . T hus ,  th e   c la s s if ic a ti o n  pr oc e s s   th a t  w il l  be  c a r r ie d  out   c a n   f a c il it a te   th e   s e a r c h  f or   in f or m a ti on  ba s e d  on  c e r ta in   c a te gor ie s   ne e de d .  S e m i - s upe r vi s e d  le a r ni ng  a ls o  f unc ti ons   by   tr a in in g  th e   m ode l  on  la b e le d  a nd  unl a be le d   da ta .   L a be le d  da t a   pr ovi de s   in f or m a ti on  a bout   th e   r e la ti ons hi p   be twe e n i nput  a nd output  va r ia bl e s , w hi le  unl a b e le d da ta  c a pt ur e s  t he  unde r ly in g da ta  s tr uc tu r e   [ 15] .    S e ve r a l  s tu di e s   in   hi ghe r   e duc a ti on  ha ve   be e n   c onduc te d  w it h  a   c ol la bor a ti ve   s pi r it ,  a im in g  to   id e nt if y  a nd  im pr ove   s tu de nt   a c c e pt a nc e   r a te s .  O ne   s uc h  c o ll a bor a ti ve   e f f or t  in vol ve s   th e   a ppl ic a ti on  of   pr e di c ti ve   m ode ls   w it h  th e   a id   of   m a c hi ne   le a r ni ng.  T hi s   a ppr oa c h  c a n  he lp   U ni ve r s it ie s   id e nt if y  s tu de nt s   w ho  ne e d  he lp   e a r ly ,  th e r e by  e na bl in g  in te r ve nt io ns   th a t  c a n  i m pr ove   s tu de nt   gr a dua ti on  r a te s   [ 16] .  A not he r   a r e a   of   in te r e s t  is   a   hybr id   m a c hi ne   le a r ni ng  a ppr oa c h   th a t  e f f e c ti ve ly   c om bi ne s   uns up e r vi s e d  a nd s upe r vi s e d   le a r ni ng  m e th ods ,  le a di ng  to   im pr ove   a c c ur a c y  in   pr e di c ti ng  s tu de nt   a c a d e m ic   pe r f or m a nc e   [ 17] .  A ddi ti ona ll y,  r e s e a r c h  on  e n s e m bl e   m ode ls ,  w hi c h  in vol ve   t he   c om bi na ti on  of   th r e e   di s ti nc t  a lg or it hm s   ( de c is io n  tr e e ,  lo gi s ti c   r e gr e s s io n,  a nd  ne ur a l  ne twor ks ) ,  ha s   y ie ld e d  a n  e f f e c ti ve   to ol   f or   im pr ovi ng  s tu de nt   r e te nt io n  r a te s .  T he s e   to ol s ,   de ve lo p e d  th r ough  c ol la bor a ti on,   ha ve   th e   pot e nt ia l   to   he lp   hi ghe r   e duc a ti on  in s ti tu ti ons   r e duc e   th e   r is k   of   dr opout  a nd  th e   a s s oc i a te d  f in a nc ia l  lo s s e s   [ 18] . T he r e   i s   a l s o  th e   a ppl ic a ti on   of   th e   F e a tu r e   s e le c ti on  a nd  c ons tr uc ti on  f or   r a di a l  ba s is   f unc ti on  ( F S C 4R B F )   us in g  a lg or it hm .  T hi s   a lg or it hm   us e s   th e   gr a m m a ti c a l  e vol ut io n  m e th od  f or   f e a tu r e   s e le c ti on  a nd  f e a tu r e   c ons tr uc ti on  in   th e   R B F   ne twor k ,   w hi c h  a im s   to   im pr ove   th e   g e ne r a li z a ti on  a bi li ty   in   pr e di c ti ng   s tu de nt   a c a de m ic   pe r f or m a nc e ,  e s pe c ia ll y  in   pr e di c ti ng  th e   dur a ti on  o f   s tu dy  a nd  f in a l   gr a de s   ba s e d  on  pr e vi ous   le a r ni ng  da ta ,  to   e f f e c ti ve ly   im p r ove   th e   pr e di c ti on  a bi li ty   in   th e   c ol le ge   e nvi r onm e nt   [ 19] .   H ow e ve r ,  n o  r e s e a r c h  ha s   a ppl ie d  th e   c o - tr a in in g  m e th od   in   c ol le ge   m a na ge m e nt . T hr ough  th is   a r ti c le ,  th e   a ut hor s   tr y  to  a ppl y  th e   ps e udo - la be li ng  te c hni que   u s in g  th e   c o - tr a in in g  m e th od,  in   w hi c h  th e   s tu de nt   da ta   obt a in e d  is   te xt   da ta   f r om   a   que s ti onna ir e   di s tr ib ut e d  a t  a   c ol le ge   to   de te r m in e   th e   pot e nt ia l  of   s tu de nt s   a t  th e   c ol le ge .  W hi le   pr oc e s s in g  th e   que s ti onna ir e   r e s ul t s ,  th e   da ta   w il l  be   la be le d  ba s e d  on  pot e nt ia l  a nd  non - pot e nt ia l  c r it e r ia .  A   s m a ll   por ti on  of   th e   s tu de nt   da ta   w il l  be   us e d  a s   tr a in in g  da ta ,  w hi c h  th e n  he lp s   f or m   a   w r a ppe d  da ta s e t  to   c la s s if y  la be ls   on  unl a be le d  da ta   ( te s ti ng  da ta )  us in g t he   c o - tr a in in g s e m i - s upe r vi s e d l e a r ni ng c on c e pt .   P s e udo  la be li ng  in   s e m i - s upe r vi s e d  le a r ni ng  c a n  d e gr a de   th e   la be li ng  qua li ty   be c a us e   it   doe s   not   r e pr e s e nt   th e   c la s s e s   in   th e   la be le d  da t a s e t.   T he   c o - tr a in in g  m e th od  c a n  ut il iz e   s e m a nt ic   la be l s   to   ove r c om e   th is   pr obl e m   [ 20] .  T he   la be li ng  f r a m e w or k  w it h  th e   c o - t r a in in g  m e th od  c a n  s ol ve   th e   m ul ti - vi e w   w e a k  la be l  le a r ni ng  pr obl e m   us in g  ps e udo  la be l  ve c to r s   [ 21 ] .  C om pr e he ns iv e   e xpe r im e nt a l  s tu di e s   ha ve   be e n  c onduc te d  to   de m ons tr a te   th e   e f f e c ti ve ne s s   of   th e   s e m i - s upe r vi s e d  le a r ni ng  a nd  c o - tr a in in g  m e th od  f or   m ul ti - la be l  [ 22] .  O ve r   th e   pa s t  de c a d e ,  th e   c o - tr a in in g  m e th od  ha s   ga in e d  popul a r it y  in   th e   r e s e a r c h  a nd  in dus tr y  c om m uni ti e s   a nd  ha s   be e n  s uc c e s s f ul ly   a ppl ie d  in   s e ve r a l  r e a l - w or ld   a ppl i c a ti ons   [ 23] .  T he   c o - tr a in in g  m e th od   ha s   a ls o  be e n  us e d  f or   tr a ns f e r   le a r ni ng  ( T L )   [ 24] .  C o - tr a in in g  is   a n  e m e r gi ng  to pi c   in   m a c hi ne   le a r ni ng .  I t  a im s   to   e xt r a c t  knowle dge   ga in e d  in   a   s our c e   ta s k  or   dom a in   a nd  us e   it   to   f a c il it a te   ta r ge t  p r e di c ti ve   le a r ni ng   f unc ti ons   in   a   di f f e r e nt   ta s k  or   dom a in .  C o - tr a in in g  c a n  im pr ove   th e   ge ne r a li z a ti on  a bi li ty   of   a   m ode l  by   ut il iz in g  in f or m a ti on  f r o m   unl a be le d  da ta .  C o - tr a in in g  e na bl e s   m a c hi ne s   to   th in k  f r om   m ul ti pl e   pe r s pe c ti ve s   li ke  huma ns  by divi di ng  da ta  i nt o m u lt ip le  vi e w s , de s ig ni ng l e a r ne r s  s c ie nt if ic a ll y, a nd e s ti m a ti ng c onf id e nc e   la be ls   a c c ur a te ly .  T hi s   m e th od  c a n  a ls o  im pr ove   c la s s if ic a ti on a c c ur a c y  a nd  m ode l  c onve r ge nc e .  I n  a ddi ti on,   co - tr a in in g' s   ve r s a ti li ty   in   va r io us   r e s e a r c h  ta s k s ,  s uc h   a s   e r r or   c la s s if ic a ti on  a nd   pe r s on  id e nt if ic a ti on   ba s e d   on a udi o - vi s ua ls , ope ns  up  a  w or ld  of  pot e nt ia l  a ppl ic a ti ons  a nd  r e s e a r c h oppor tu ni ti e s   [ 25] .    T he   c o - tr a in in g  pr oc e s s   g e ne r a ll y  in vol ve s   th r e e   m a in   s te ps :   v ie w   a c qui s it io n,  le a r ne r   di f f e r e nt ia ti on,  a nd  la be l  c onf id e nc e   e s ti m a ti on  [ 25] .  V ie w   a c qui s it io n  a im s   to   obt a in   two  in de pe nde nt   a nd  s uf f ic ie nt   da ta   vi e w s ,  e a c h  of   w hi c h  c a n  be   u s e d  by  a   di f f e r e nt   le a r ni ng  m ode l.   I f   in de pe nde nt   vi e w s   a r e   not   na tu r a ll y  a va il a bl e ,  th e y  c a n   be   c ons tr uc te d   us in g  pr e - tr a in e d  m ode ls   [ 26] .  O nc e   th e   vi e w s   a r e   a c qui r e d,  th e   ne xt   s te p  is   le a r ne r   di f f e r e nt ia ti on,  in   w hi c h  two  di f f e r e nt   le a r ni ng  m ode ls   a r e   dr il le d  s e pa r a te ly   f or   e a c h   vi e w .  T hi s   a ppr oa c h  e ns ur e s   th a t  e a c h  m ode l  le a r ns   a   uni que   r e pr e s e nt a ti on  of   th e   da ta ,  w hi c h  in c r e a s e s   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .  14 , N o.  3 ,  J une   20 25 :   2158 - 2168   2160   m ode ls '   a bi li ty   to   c om pl e te   a nd c or r e c t  e a c h   ot he r ' s   e r r or s   [ 27] .  I n  th e   la be l  c onf id e nc e  e s ti m a ti on  s t a ge ,  e a c h   m ode l  m a ke s   pr e di c ti ons   on  unl a be le d  da ta   a nd  a s s e s s e s   t he   m ode l' s   c onf id e nc e   in   th os e   pr e di c ti ons .  P r e di c ti ons   w it h  hi gh  c onf id e nc e   a r e   th e n  us e d  a s   ps e udo - la be ls   to   tr a in   th e   ot he r   m ode l,   a ll ow in g  bot h   m ode ls   to   r e in f or c e   e a c h  ot he r   a nd  im pr ove   ove r a ll   pr e di c t io n  a c c ur a c y  [ 20] .  T hi s   e m pha s is   on  hi gh - c onf id e nc e  pr e di c ti ons  pr ovi de s  a  r e a s s ur in g f r a m e w or k f or  t he  m ode ls  t o l e a r n a nd i m pr ove .   T hi s   a r ti c le   r e vi e w s   th e   co - tr a in in g  m e th od  of   c onf id e nc e   l a be l  e s ti m a ti on,  in   w hi c h  th e   la be l   c onf id e nc e   e s ti m a ti on  is   a n  im por ta nt   s te p  in   th e   co - tr a in in g  m e th od  w it h  th e   a im   th a t  th e   da ta   te s ti ng  is   not   m is la be le d,  w hi c h  c a n  r e duc e   th e   a bi li ty   of   da ta   te s ti ng.  A c c or di ng  to   th e   la be l  c onf id e nc e   e s ti m a ti on   m e th od,  th e   la be l   c onf id e nc e   e s ti m a ti on  c a n  be   di vi de d  i nt o  im pl ic it   a nd  e xpl ic it   e s ti m a ti ons .   M os t   a lg or it hm s   in   im pl ic it   e s ti m a ti on   us e   th e   de gr e e   of   di f f e r e nc e   b e twe e n  th e   r e s ul ts   of   tr a in in g  da ta   a nd  t e s ti ng  da ta   to   r e f le c t  th e   c onf id e nc e   of   th e   ps e udo  la be l.   S ti ll ,   if   th e r e   is   unl a be le d  da ta ,  if   i t  is   m is la be le d,  it   w il l   r e duc e   pe r f or m a nc e   dur in g  it e r a ti on,  s o   th e   a c c ur a c y   of   im pl ic it   e s ti m a ti on  is   lo w e r   th a n  e xpl ic it   e s ti m a ti on   [ 28] .  T he   a lg or it hm   in   e xpl ic it   e s ti m a ti on  us e s   e xa c t  num be r s   t o  di s pl a y  th e   c onf id e nc e   la b e l.   B a s ic a ll y,  th is   a lg or it hm   us e s   le a r ni ng  out put   in   pr oba bi li s ti c   f or m ,  th e   di f f e r e nc e   in   m ode l  a c c ur a c y  b e f or e   a nd  a f te r   us in g   ps e udo - la be l e d  s a m pl e s ,  or   th e   s im il a r it y  be twe e n  th e   ps e udo  la be l  of   th e   c ur r e nt   un la be le d  da ta   a nd  th e   s ur r ounding  la be l e d da ta  [ 25] .   Co - tr a in in g  us e s   im pl ic it   e s ti m a ti on  of   th e   s uppor t  ve c to r   m a c hi ne   ( S V M )   a nd  L S T M   a lg or it hm s .  T he   r e a s on  f or   c hoo s in g  S V M   to   be   dr il le d  to ge th e r   w it h   L S T M   i s   th a t   S V M   i s   c om m onl y   us e d   f or   te xt   c la s s if ic a ti on  [ 29] .  S V M   ha s   a   m or e   m a tu r e   a nd   m a th e m a ti c a ll y  c le a r e r   c onc e pt   th a n   ot he r   c la s s if ic a ti on  te c hni que s .  S V M   c a n  a ls o  s ol ve   c la s s if ic a ti on  a nd  r e gr e s s io n  pr obl e m s   w it h  li ne a r   a nd  non - li ne a r .  S V M   is   a ls o  us e d  be c a us e   it   ha s   a dva nt a ge s   in   ha ndl in g  c la s s if ic a ti on   pr obl e m s ,  e s pe c ia ll y  w he n  th e   da ta   ha s   hi gh  di m e ns io ns   or   a n  im ba la n c e   be tw e e n  c la s s e s .  S V M   e f f e c ti ve ly   s e pa r a te s   c la s s e s   w it h  m a xi m um   m a r gi n,  m a ki ng  it   s ui ta bl e   f or   c la s s if ic a ti on  w it h  c om pl e x  f e a tu r e   da t a ,  s uc h  a s   m e di c a l  im a ge s   or   te xt   in   a   vi s ua l   c ont e xt .  I n  th e   c a s e   of   im a ge   c la s s if ic a ti on,  S V M   is   of te n  r e li e d  on  be c a us e   of   it s   a bi li ty   to   f in d  th e   opt im a l   hype r pl a ne   th a t  s e pa r a te s   da ta   b a s e d  on   r e le va nt   f e a tu r e s ,  w hi c h  ul ti m a te ly   he lp s   r e duc e   c la s s if ic a ti on  e r r or s   [ 30] .  T he   L S T M   a lg or it hm   is   a   pr e di c ti ve   m ode l  to   pr oc e s s   s e que nt ia l  da ta   in   vi r tu a l  le a r ni ng  e nvi r onm e nt s   ( V L E s ) .  L S T M   is   a ppl ie d  to   e va lu a te   a nd  pr e di c t  s tu de nt   le a r ni ng  out c om e s   ba s e d  on   da ta   c ol le c te d  f r om   s tu de nt   in te r a c ti ons   w it h  onl in e   le a r ni ng  p la tf or m s .  T hi s   m ode l  c a n  a na ly z e   s e que nc e s   of   s tu de nt   be ha vi or a l   da ta ,  s uc h   a s   lo gi n  pa tt e r ns ,   qui z   in te r a c ti on s ,  a nd  c our s e   a c ti vi ti e s ,  to   id e nt if y  tr e nds   th a t  m a y  in di c a te   s uc c e s s   or   di f f ic ul t  in   le a r ni ng  [ 31] ,  [ 32] .  L S T M   is   a ls o  c ho s e n  be c a us e   of   it s   a bi li ty   to   ha ndl e   ti m e   s e r ie s   da ta ,  w hi c h  is   v e r y  im por ta nt   f or   m ode li ng  le a r ni ng  da ta   c ont in uous ly   ge ne r a te d  in   onl in e   l e a r ni ng  e nvi r onm e nt s .  T hi s   a lg or it hm   a ll ow s   th e   s y s te m   to   r e m e m be r   im por ta nt   in f or m a ti on  in   th e   lo ng  te r m ,  w hi c h   m a ke s   it   id e a l  f or   p r e di c ti ng  s tu de nt   pe r f o r m a nc e   ba s e d  on  s tu de nt   a c ti vi ty   hi s to r y  [ 5] .  I n  a not he r   a r ti c le ,  th e   L S T M   a lg or it hm   is   u s e d  a s   pa r t  of   a   c om bi ne d   C N N - L S T M   m ode l  to   de te c t  in s ul ts   in   te xt .  L S T M   pl a ys   a   r ol e   in   pr oc e s s in g  th e   s e que nc e   of   w or ds   f r om   th e   te xt   to   u nde r s ta nd  th e   te m por a l  or   s e que nt ia l  c ont e xt ,  w hi c h  is   im por ta nt   in   de te c ti ng  th e   m e a ni ng  of   in s ul t s   ba s e d  on   th e   c ont e xt   of   th e  s e nt e nc e .  C om bi ni ng  C N N   f or   in it ia l  f e a tu r e   e xt r a c ti on  a nd  L S T M   to   unde r s ta nd  th e   c ont e xt   s e que nc e   m a ke s   th is   m od e l  m or e   e f f e c ti ve   in   a c c ur a te ly   d e te c ti ng  in s ul t s   in   te xt   [ 26] ,  [ 32] .  R e s e a r c h  on a l gor it hm s   in   m a c hi ne   le a r ni ng  th a t  e xi s ts  s o  f a r   is   c om pa r in g  th e   S V M   w it h  L S T M   a lg or it hm   a nd  th e   d e e p  be li e ve   ne twor k  ( D B N )   a lg or it hm   us in g   th e   f uz z y   lo gi c a l  r e la ti ons hi ps   ( F L R )  m ode l  [ 14] .    R e c e nt   r e s e a r c h  on  ps e udo - la be li ng  in   s e m i - s upe r vi s e d  le a r ni ng  us in g  th e   S V M   a nd  L S T M     c o - tr a in in g  m e th ods   ha s   s how n  th a t  ps e udo - la be li ng  not   on ly   im pr ove s   m ode l  pe r f or m a nc e   but   is   a l s o  e f f e c ti ve   in   s it ua ti ons   in   w hi c h  la be le d  da ta   is   ve r y  li m it e d.  T he   s im il a r   ps e udo  la be l  e xpl oi ta ti on  f or   s e m i - s upe r vi s e d  c la s s if ic a ti on  ( S I M P L E )   a lg or it hm ,   w hi c h  e f f e c ti ve ly   ut il iz e s   ps e udo - la be ls   to   e nha nc e   a c c ur a c y  in   s e m i - s upe r vi s e d  c la s s if ic a ti on,  is   a   r e a l - w or ld   pr oof   of   c onc e pt   [ 13] .  T he   c o - tr a in in g  m e th od,  w hi c h  c om bi ne s   s e ve r a l  a lg or it hm s   to   tr a in   m ode ls   s im ul ta ne ous ly ,  is   ga in in g  tr a c ti on,  pa r ti c ul a r ly   in   a ddr e s s in g   da ta   im ba la nc e   pr obl e m s .  T he   c om bi na ti on  of   th e   c o - tr a in in g  m e th od  w it h  m ode r n  a lg or it hm s   in   th e   m e di c a l   f ie ld   de m ons tr a te s   th a t  u s in g  ps e udo - la be l s   w it h  a   hi gh  le v e l  of   c onf id e nc e   ( hi gh - c onf id e nc e   ps e udo  la b e ls )   c a n  s ig ni f ic a nt ly   e nha nc e   th e   a c c ur a c y  a nd  s ta bi li ty   of   th e   m o de l  in   m e di c a l  im a ge   s e gm e nt a ti on  [ 33] .   I n   a   te xt ua l  c ont e xt ,  c o - tr a in in g  ha s   pr ove n  e f f e c ti ve   in   ove r c om in g  th e   pr obl e m   o f   unde r - la be le d  da ta   b y   c om bi ni ng  S V M   a nd  L S T M - ba s e d  m od e ls   to   opt im iz e   da ta   s e que nc e   c l a s s if ic a ti on.  I n  th e   vi s ua l   c ont e xt ,  la be l  c lu s te r in g  a nd  c o - tr a in in g  im pr ove   th e   qua li ty   of   ps e u do - la be ls   a nd  ove r a ll   m ode l  p e r f or m a nc e   by  gr oupi ng  la be ls   ba s e d  on  vi s ua l  s im il a r it y  to   r e duc e   m is c la s s if i c a ti on  of   s im il a r   c la s s e s .  T hi s   a ppr oa c h,  u s in g  a n  e m be ddi ng - ba s e d  la be l   r e pr e s e nt a ti on,  c r e a te s   gr oups   of   vi s ua ll y  s im il a r   la b e ls   a nd  us e s   th e s e   gr oups   in   th e   ps e udo - la be li ng  pr oc e s s   [ 30] .  T he   f ut ur e   of   s e m i - s upe r vi s e d  le a r ni ng  lo oks   pr om is in g  w it h   r e c e nt   te c hni que s   in   co - tr a in in g ,  s u c h  a s   c om bi ni ng   im pl ic it   a nd  e xpl ic it   c onf id e nc e   e s ti m a te s ,  to   im pr ove   la be li ng  a c c ur a c y.  E nt r opy - ba s e d  a nd  m a r gi n - ba s e d  c onf id e nc e   a lg or it hm s   a r e   c ur r e nt ly   w id e ly   us e d   to   e ns ur e   th e   a c c ur a c y  of   la be l s   on  te s t  da ta .   F or   e xa m pl e ,  th e   r ig ht   s t e p  is   t o  de ve lo p  c on s is te nc y - ba s e d  s e m i - s upe r vi s e d   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   A r ti f   I nt e ll     I S S N :   2252 - 8938       Co - tr ai ni ng ps e udo - la be li ng f or  t e x t  c la s s if ic at io n w it h s uppo r t  v e c to r  m ac hi n e   …   ( Sr i  H anday ani )   2161   a c ti ve   le a r ni ng  te c hni que s   th a t  m in im iz e   la be li ng  c os ts   w hi le   im pr ovi ng  m ode l  a c c ur a c y  th r ough  a c c ur a te   c onf id e nc e  e s ti m a te s   [ 34] .   T hi s   pa pe r   of f e r s   a   uni que   c ont r ib ut io n  by  c om bi ni ng  two  di f f e r e nt   m ode ls ,  S V M   a nd  L S T M ,  in   a   co - tr a in in g  f r a m e w or k.  S V M   is   us e d  to   ha ndl e   s ta ti c   f e a tu r e - ba s e d  c la s s if ic a ti on,  w hi le   L S T M   is   u s e d  to   m a na ge   a nd  unde r s ta nd  te xt   da ta   s e que n c e s .   T hi s   in te gr a ti on  pr ovi de s   a dva nt a ge s   be c a us e   it   a ll ow s   m or e   c om pr e he ns iv e  m ode li ng of  s e que nt ia l  te xt  da ta  c om pa r e d t o t r a di ti ona l  co - tr a in in g  m e th ods  t ha t  r e ly  onl y o n   one   m ode l  ty pe .  F ur th e r m or e ,  bot h  m ode ls   w il l  be   gi ve n  a   s pe c if ic   tr us t  th r e s hol d:   S V M   w it h  a   th r e s hol d  va lu e   of   0.88  a nd   L S T M   w it h  0.5.  T hi s   m e ti c ul ous   p a r a m e t e r iz a ti on  of   th e   m ode ls ,   a   f e a tu r e   th a t  i s   not   a lwa ys   e xpl a in e d  in   de ta il   in   pr e vi ous   s tu di e s ,  in s ti ll s   tr us t  in   th e   a ppl ic a ti on  of   s e m i - s upe r vi s e d   m ode ls .  I n  a ddi ti on,  a not he r   c ont r ib ut io n  o f   th is   a r ti c le   is   th a t  w hi le   pr e v io us   s tu di e s   ha ve   f oc us e d  on  s e m i - s upe r vi s e d   le a r ni ng  a ppl ic a ti ons   in   dom a in s   s uc h  a s   im a ge   r e c ogni ti on  o r   m e di c a l  a na ly s is ,  th is   a r ti c le   f oc u s e s   on  it s   a ppl ic a ti on  to   e duc a ti ona l   da ta ,  s pe c if ic a ll y  to   a s s e s s   th e   c ondi ti on  of   s tu de nt s   in   hi ghe r   e duc a ti on  in s ti tu ti ons .  T hi s   is   a n  und e r - e xpl or e d  a r e a ,  a nd  th is   s tu dy  s h ow s   how   s e m i - s upe r vi s e d  te c hni qu e s   c a n  b e   a ppl ie d f or  m or e  e f f e c ti ve  e duc a ti ona l  e va lu a ti on pur pos e s .    I n  co - tr a in in g  m e th ods ,  s e m i - s upe r vi s e d  le a r ni ng ,  la be l  c onf id e nc e   r e f e r s   to   th e   e xt e nt   to   w hi c h  th e   m ode l  ha s   c onf id e nc e   or   c e r ta in ty   a bout   th e   la be l  gi v e n  to   da ta .  T he s e   m e th od s ,  w hi c h   c om bi ne   m ode ls   tr a in e d  on  two  f e a tu r e   s e ts ,  a r e   pa r ti c ul a r ly   e f f e c ti ve   in   im p r ovi ng  pe r f or m a nc e .  H e r e   a r e   s om e   ge ne r a l  c onc e pt s  t ha t  c a n be  us e d t o m e a s ur e  l a be l  c onf id e nc e  i n t he  c o nt e xt  of   co - tr a in in g ,    −   E nt r opy:   a   p r e va le nt   a ppr oa c h  in vol vi ng  e nt r opy   ut il iz a ti on  to   a s s e s s   th e   m ode l' s   unc e r ta in ty   r e ga r di ng  la be ls .  E nt r opy  qua nt if ie s   th e   m ode l' s   pr oba bi li ty   di s tr ib ut io n  to   r e s e m bl e   a   uni f or m   di s c r e te   di s tr ib ut io n.  H ig he r   e nt r opy  va lu e s   in di c a te   lo w e r   c onf id e nc e   le ve ls   in   th e   a s s ig ne d  la be l  [ 34] .   U s in g   two  m ode ls   w il l  pr oduc e   jo in t  e nt r opy  or     r e pr e s e nt in g  th e   e nt r opy  a s s o c ia te d  w it h  th e   jo in t  oc c ur r e nc e   of   c la s s e s     a nd  .  T hi s   e nt r opy  va lu e   m e a s ur e s   th e   unc e r ta in ty   or   ir r e gul a r it y  le ve l   a s s oc ia t e d  w it h  th e   two  c la s s e s '   jo in t  pr oba bi li ty   di s tr ib ut io n  [ 35] .  T he   hi ghe r   th e   e nt r opy  va lu e ,   th e   gr e a te r   th e   unc e r ta in ty   in   th e   oc c ur r e nc e   of   th e   two  c l a s s e s   s i m ul ta ne ous ly .  T h e   jo in t  e nt r opy  c a n   be   c a lc ul a te d us in g t he  f or m ul a ,      = − = 1 (  ) l o g 2 (  )   =  1,…,n   ( 1)     in  w hi c h ,      is   th is   r e pr e s e nt in g   th e  j oi nt  e nt r opy f or  t he   - th  c a te gor y.     is   to ta l  num be r  of  c a te gor ie s  or  c la s s e s  i n t he   - th  va r ia bl e  be in g c ons id e r e d .      is   th e   pr ob a bi li t y of  j oi nt   o c c ur r e nc e   of   t w o   c la s s e s , na m e ly   c la s s     a nd   c la s s   ,   in  w hi c h     r e pr e s e nt s   th e   f ir s t   c l a s s  a nd    r e pr e s e nt s  t h e   s e c o nd  c la s s ,  a nd   l o g 2 (  )   T h is  i s   th e  l og a r it hm   ba s e  2  of  t h e   jo i nt   pr o ba bi l it y      .   n   is  t he   to ta l  num be r  of  c la s s e s .   T he   m in us   s ig n   ( - )   in   th e   jo in t  e nt r opy  f or m ul a   is   be c a u s e   e nt r opy  m e a s ur e s   unc e r ta in ty   in   a   pr oba bi li ty   di s tr ib ut io n.  T he   m in us   s ig n  e ns ur e s   th a t  th e   e nt r op y  va lu e   is   a lwa ys   pos it iv e .  T he   lo ga r it hm   of   a   num be r  be twe e n 0 a nd 1 pr oduc e s  a  ne ga ti ve  va lu e . T he r e f or e ,  th e  m in us  s ig n e ns ur e s  t ha t  e nt r opy is  pos it iv e   be c a us e  un c e r ta in ty  ( e nt r opy)  c a nnot  be  ne ga ti ve . I n t he  c ont e xt  of  t he  C o - tr a in in g  m e th od,  e nt r opy is  us e d t o   e va lu a te  t he  m ode l' s  c onf id e nc e  i n ps e udo - la be l s .   −   M a r gi n - ba s e d  c onf id e nc e :  la be l  c onf id e nc e   c a n  a ls o  be   m e a s ur e d  ba s e d  on  th e   m a r gi n  be twe e n  th e   pr oba bi li ty   of   th e   pr im a r y  la be l  a nd  th e   s e c ond  m os t  li ke ly   la be l.   T he   la r ge r   th e   m a r gi n,  th e   hi ghe r   th e   m ode l' s  c onf id e nc e  i n t he  s e l e c te d l a be l  [ 36] .   −   V ot e - ba s e d  c onf id e nc e :  in  c o - tr a in in g , da ta  c a n be   la be l ed   by both m ode ls . I f  bot h m ode ls  gi ve  t he  s a m e   la be l,  t he n t he  c onf id e nc e  i n t he  l a be l  i s  hi ghe r  t ha n i f  t he y gi ve  di f f e r e nt   la be ls  [ 20] .   −   C onf id e nc e   m e a s ur e s   c om bi na ti on:   s om e ti m e s ,  c om bi ni ng  m ul ti pl e   c onf id e nc e   m e a s ur e s   c a n  pr ovi de   a   m or e  c om pr e he ns iv e  pi c tu r e  of  t he  m ode l' s  c onf id e nc e  i n a  gi v e n l a be l  [ 33] .       2.   M E T H O D   Co - tr a in in g   is   a   s e m i - s upe r vi s e d  le a r ni ng  a ppr oa c h  in c lu di ng  two  m ode ls :  S V M   a nd  L S T M .  T he y   m ut ua ll y  ove r s e e   e a c h  ot he r   a nd  r e f in e   th e m s e lv e s   by  le ve r a gi ng  in s ig ht s   f r om   unl a be le d  da ta   [ 37] .   T he     c o - tr a in in g a lg or it hm  pr e s e nt e d i s  a s   A lg or it hm  1 .     A lg or it hm  1:  C o - t r a in in g A lg o r it hm   1   L D     L a be le d  d a ta   2   UD     U nl a be le d  d a ta   3   RD     R a ndom  d a ta  U D   →   UD’   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .  14 , N o.  3 ,  J une   20 25 :   2158 - 2168   2162   4   F a il e dl te r     0   5   W hi le   ( F a il e dl te r  <  n)   6     h1 ( S V M )     T r a in in g    F ir s t  L D   7     h2   ( L S T M )     T r a in in g    S e c ond L D     8     U D ’ 1     U D ’  C la s s if ic a ti on w it h h1   9     U D ’ 2     U D ’  C la s s if ic a ti on w it h h2   10     U D ’ 1     L a be l  be s t  c la s s if ic a ti on e x a m pl e   11     U D ’ 2     L a be l  be s t  c la s s if ic a ti on e x a m pl e   12     LD     A ppe nd U D ’ 1 a nd U D ’ 2   13     if  N o  e xa m pl e  a dde d   14       F a il dl te r + +   15     e ls e   16       F a il dl te r     0   17     e nd   18   E nd       I n  th e   c o - t r a in in g  pr oc e s s ,  th e   unl a be le d  da ta   ( U D )   is   la be le d  w he n  bot h  c la s s if ie r s     ( L S T M   a nd  S V M )   in de pe nde nt ly  a gr e e   to   a s s ig n  a   la be l.  T he   f ir s t  c la s s if ie r   ( h1  or   S V M )   a s s ig n s   a   la be l  w it h   a   c onf id e nc e   le ve l  gr e a te r   th a n  a   c e r ta in   th r e s hol d  va lu e   X ,  in di c a ti ng  a   hi gh  le ve l  of   c e r ta in ty .  S im il a r ly ,  th e   s e c ond  c la s s if ie r   ( h2  or   L S T M )   a s s ig ns   a   la be l  w it h  a   c onf id e nc e   le ve l  gr e a te r   th a n  a   th r e s hol d  va lu e   of   Y .  T he   co - tr a in in g  pr oc e s s   is   h a lt e d  w he n   bot h  c l a s s if ie r s   f a il   to   a gr e e   on  th e   s a m e   la be l  dur in g a n  it e r a ti on .   T he   co - tr a in in g  a lg or it hm   in   A lg or it h m   1  te s ts   on  100  da ta s e ts   w it h  R D   = 5  s e t  a s   th e   f ix e d  va lu e .  T he s e   da ta s e ts   in c lu de   90  unl a be le d  te s ti ng  da ta   poi nt s   a nd  10  la be le d  tr a in in g  da ta   poi nt s .  T hi s   pr opor ti on  o f   la be le d  a nd   unl a be le d  da ta   i s   us e d   to   a na ly z e   th e   pe r f or m a nc e   of   co - t r a in in g.  N ig a m   a nd  G ha ni   [ 38]   ha ve   a r gue d  th a t  a lt hough  th e   gr e a te s t  pe r f or m a nc e   im pr ove m e nt   oc c ur s   w he n  th e   la be l ed   da ta   i s   ve r y  s m a ll ,  a ddi ng  f ur th e r   la be l ed   da ta  pr ovi de s  a   s m a ll e r  i m pr ove m e nt .    T he   co - tr a in in g  a lg or it hm   f lo w   in   A lg or it hm   1  be gi n s   w it h  th e   in it ia li z a ti on  pr oc e s s   of   L D   a nd  U D .  A t  th is   in it ia li z a ti on  s ta g e ,  th e  c onf id e nc e  s c or e   th r e s hol d   f or   S V M   a nd  L S T M   is   de te r m in e d,  a nd  th e   la be le d   da ta   s e t  to   tr a in   e a c h  m ode l  a nd  th e   unl a b e le d  da ta   s e t  ( R D )   a r e   de te r m in e d.  I n  li ne   6,  it e r a ti ons   w il l  be   c a r r ie d  out   on  th e   tr a in in g  pr oc e s s   of   th e   S V M   c la s s if ie r .  L in e   8  pr oduc e s   pr e di c ti ons   w it h  S V M   ( U D ' 1) ,  a nd   in   li ne   10,  e a c h  pr e di c ti on  m a de   by  th e   S V M   m od e l  is   a c c om pa ni e d  by  a   c onf id e nc e   s c or e .  T hi s   s c or e   in di c a te s   th e   le ve l  of   c onf id e nc e   of   th e   m ode l  in   th e   c la s s if ic a ti on  de c is io n  m a de   by  th e   S V M ,  in   w hi c h  th e   c onf id e nc e   s c or e   w il l  be   th e   th r e s hol d  f or   unl a be le d  d a ta   w h e n  gi ve n  a   ps e udo - la b e l  s o   th a t  th e   unl a be le d   da ta   ge ts   a   hi ghe r   c onf id e nc e   s c or e   th a n  th e   S V M   th r e s hol d  d ur in g  th e   tr a in in g  s e t.   I n  li n e   7,  it e r a ti ons   w il l  be   c a r r ie d  out   on  th e   tr a in in g  pr oc e s s   of   th e   L S T M   c la s s if ie r   to   pr oduc e   pr e di c ti ons   w it h  L S T M   ( U D ' 2)   a nd   c onf id e nc e  s c or e s  on unla b e le d da ta , t he n a dd p s e udo - la be ls  w i th  hi ghe r  c onf id e nc e  t ha n t he  L S T M  t hr e s hol d  to   th e   tr a in in g  s e t.   F or   th e   S V M   a nd  L S T M   a lg or it hm s   th a t  a r e  be in g  te s te d,  th e   co - tr a in in g  a ppr oa c h  a im s   to   de te r m in e   th e   c onf id e nc e   le ve l  th r e s hol d  th a t  is   us e d  dur in g  th e   co - tr a in in g  pr oc e dur e .  F or   th e   S V M   a nd  L S T M   a lg or it hm s   be in g  te s te d,  th e   co - tr a in in g  a ppr oa c h  a im s   to   de te r m in e   th e   c onf id e nc e   le ve l  th r e s hol d   us e d dur in g t he   co - tr a in in g  pr oc e dur e .   T he   pha s e s   in   th e   co - t r a in in g  pr oc e s s   f lo w   a r e   de ta il e d  in   F ig ur e s   1( a )   a nd  1( b) .  F ig ur e   1( a )   s how s   th a t  th e   te c hni que   be gi ns   by  lo a di ng  a   da ta s e t  f r om   a   f il e   ( e .g.,  F il e .c s v) .  T he   da ta s e t  is   th e n  pr e - pr oc e s s e d   to   c le a n  a nd  pr e pa r e   th e   da ta   f or   tr a in in g.  O nc e   pr e pr oc e s s in g   is   c om pl e te ,  th e   w or kf lo w   c he c ks   w he th e r   tr a in in g  da ta   is   a va il a bl e .  I f   no  tr a in in g  da ta   is   pr e s e nt ,  th e   pr oc e s s   te r m in a te s .  I f   tr a in in g  da ta   is   a va il a bl e , a n  S V M   c la s s if ie r   is   a ppl ie d  w it h  ps e udo - la be l in g   to   ge ne r a te   la b e ls   f or   th e   un la be l ed   da ta . T he s e   ps e udo - la b e ls   a r e   th e n  us e d  to   c r e a te   a   ne w   c la s s if ic a ti on  m ode l.   T he   upd a te d  c la s s if ic a ti on  m ode l  is   ut il iz e d  to   g e ne r a te   pr e di c ti ons  f or  t he  da ta . T he  w or kf lo w  t he n e va lu a te s  t he  ne w  pr e di c ti on mode l  to  de te r m in e  i ts  pe r f or m a nc e .   I f   th e   m ode l' s   pe r f or m a nc e   m e e ts   th e   de s ir e d  c r it e r ia ,  th e   pr oc e s s   m a y  it e r a te   a ga in   to   r e f in e   th e   pr e di c ti ons   f ur th e r .  T he   pr oc e s s   c on c lu de s   if   th e   pe r f or m a nc e   is   uns a ti s f a c t or y  or   f ur th e r   it e r a ti ons   a r e   not   r e qui r e d.  T hi s   it e r a ti ve  c yc le  a im s  t o i m pr ove  t he  c la s s if ic a ti on mode l  by i nt e gr a ti ng   ps e udo - la be l in g   w it h S V M .     S im il a r ly ,  th e   c o - tr a in in g  m e th odol ogy  de pi c te d  in   F ig ur e   1( b)   s ta r ts   by  lo a di ng  a   da ta s e t  f r om   a   f il e   ( e .g.,  F il e .c s v) .  O nc e   th e   da ta s e t  is   lo a de d,  it   unde r goe s   pr e pr oc e s s in g  to   c le a n  a nd  pr e pa r e   th e   da ta   f or   f ur th e r   us e ,  s uc h  a s   ha ndl in g  m is s in g  v a lu e s ,  nor m a li z in g  f e a t ur e s ,  or   te xt   to ke ni z a ti on.  A f te r   pr e pr oc e s s in g,   th e   s ys te m   c he c ks   if   tr a in in g  da ta   is   a v a il a bl e .  I f   no  tr a in in g  da ta   is   pr e s e nt ,  th e   pr oc e s s   e nd s .  H ow e v e r ,  if   tr a in in g  da ta   is   a va il a bl e ,  th e   ne xt   s te p  in vol ve s   us in g  a n  L S T M   m ode l  w it h  ps e udo - la be li ng.  T he   L S T M   m ode l  is   tr a in e d  on  th e   e xi s ti ng  la be le d  da ta ,  a nd  ps e udo - la be ls   a r e   ge ne r a te d  f or   th e   unl a be le d  da ta   w it h  a   c onf id e nc e   th r e s hol d  to   e n s ur e   qua li ty .  T h e s e   p s e udo - la be le d  s a m pl e s   a r e   th e n  us e d  to   upda te   th e   tr a in in g   da ta s e t,   w hi c h  a ll ow s   f or   c r e a ti ng  a   ne w   c la s s if ic a ti on  m ode l.   T hi s   upda te d   m ode l  is   us e d  to   ge ne r a te   n e w   pr e di c ti ons .  T h e   ne w ly   tr a in e d  m ode l' s   pe r f or m a nc e   is   e v a lu a te d  ba s e d  on   pr e de f in e d  c r it e r ia .  I f   th e   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   A r ti f   I nt e ll     I S S N :   2252 - 8938       Co - tr ai ni ng ps e udo - la be li ng f or  t e x t  c la s s if ic at io n w it h s uppo r t  v e c to r  m ac hi n e   …   ( Sr i  H anday ani )   2163   e va lu a ti on  in di c a te s   th e   m ode l' s   pe r f or m a nc e   is   s a ti s f a c to r y,  th e   pr oc e s s   c a n  be   r e pe a te d  to   r e f in e   th e   m ode l   w it h  a ddi ti ona l   ps e udo - la be li ng  it e r a ti ons .  T he   pr oc e s s   c onc lu de s   if   th e   e va lu a ti on  f a il s   to   m e e t  th e   r e qui r e d   s ta nda r ds   or   if   f ur th e r   it e r a ti ons   a r e   unn e c e s s a r y.  T hi s   it e r a ti ve   w or kf lo w   e nha nc e s   th e   c la s s if ic a ti on  m ode l' s   a c c ur a c y by int e gr a ti ng   ps e udo - la be li ng a nd L S T M  f or  s e que nt ia l  da ta .         ( a )     ( b)     F ig ur e  1. F lo w c ha r t  c o - tr a in in g pr oc e s s  f or  ( a )  S V M  a nd ( b)   L S T M       3.   R E S U L T S  A N D  D I S C U S S I O N   T he   im pl e m e nt a ti on  of   co - tr a in in g   to   p r oduc e   a n  in f o r m a ti o n  f r a m e w or k  f oc us e s   on  le ve r a gi ng  la be le d  a nd   unl a be le d   da ta   to   e nha n c e   th e   a c c ur a c y  a nd  r e l ia bi li ty   of   pr e di c ti ve   m ode ls .   T hi s   a ppr oa c h  in te gr a te s   c om pl e m e nt a r y  a lg or it hm s ,  s uc h  a s   S V M   a nd  L S T M ,  to   ge ne r a te   ps e udo - la be ls   it e r a ti ve ly ,  e na bl in g  th e   de ve lo pm e nt   of   a   r obus t  f r a m e w or k  th a t   s uppor ts   da ta   c la s s if ic a ti on,  de c is io n - m a ki ng,  a nd  pe r f or m a nc e   e va lu a ti on  [ 33] .   T he   in f or m a ti on  s ys te m   f r a m e w o r k  pr ovi de s   a n  out li ne   of   a   s im pl e   in f or m a ti on  s ys te m .  I t  s how s   th e   m a in   pa r ts   th a t  a r e   th e   s a m e   in   a ll   in f or m a ti on  s to r a ge   a nd  r e tr ie va l  in s ti tu ti ons ,  s uc h  a s   li br a r ie s ,  a r c hi ve s ,  doc um e nt a ti on  a nd  in f or m a ti on  c e nt e r s ,   r e ga r dl e s s   of   th e   l e ve l  of   m e c h a ni s m   or   ty pe   of   in f or m a ti on  m a na ge d  by  in s ti tu ti ons .  B y  lo oki ng  a t   th e   in f o r m a ti on  s ys te m   f r a m e w or k,  it   is   e xpe c te d  to   lo ok   th e   in f or m a ti on  s ys te m   f r a m e w or k  w ha t  c om pone nt s   in f or m a ti on  uni ts   c a n  be   unde r s to od  a nd  w h a t  pr oc e s s   s houl d  oc c ur   [ 37] .  T he   a ut hor s   w il l  u s e   la b e le d  in put   da ta   ( tr a in in g  da ta ) ,  w hi c h  m a ke s   up  a r ound  5%   of   th e   e nt ir e   da ta s e t,   to   te s t  th e   s ugge s te d  in f or m a ti on  s ys te m   f r a m e w or k.  T hi s   s e le c ti on  of   th e   pe r c e nt a g e   of   tr a in in g  da ta   is   c ons is te nt   w it h  s tu dy  li te r a tu r e   pr a c ti c e s ,  w he r e   th e   pe r c e nt a ge   of   tr a in in g  da ta   us ua ll y  f a ll s   be twe e n  1%   a nd   50%   of   th e   to ta l  d a ta s e t,   de pe ndi ng  on   t he   pa r ti c ul a r   pr obl e m   dom a in   a nd   r e s our c e s   a va il a bl e , i n a ddi ti on t o t e s ti ng da ta  ( unl a be le d da t a )  [ 38] .   To   de te r m in e   th e   th r e s hol d  va lu e   of   th e   la be l   c onf id e nc e   l e ve l  of   th e   S V M   c la s s if ie r   a nd  th e   L S T M   c la s s if ie r   in   th e   co - tr a in in g  m e th od,  th e   s te ps   a r e   to   tr a in   th e   f ir s t  a nd  s e c ond   c la s s if ic a ti on  m ode ls   u s in g  th e   da ta   la be l e d a s  de s ir e d i n t he   ps e udo - la be l in g  pr oc e s s . F or  t he  f ir s t  c la s s if ic a ti on mode l  tr a in in g, t he  r e s ul ts  of   th e   la be l e d  da ta   c la s s if ic a ti on  a r e   us e d   to   c la s s if y  un la be l ed   d a ta   s o  th a t  th e   l a be l  c onf id e nc e   l e ve l  of   e a c h   pr e di c ti on  w il l  be   obt a in e d.   L ik e w is e ,   f or   th e   s e c ond   c la s s if ic a ti on  m ode l  tr a in in g,  th e   r e s ul ts   of   th e   la be l e d  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .  14 , N o.  3 ,  J une   20 25 :   2158 - 2168   2164   da ta   c la s s if ic a ti on  w il l  b e   us e d  to   c la s s if y  un la be l ed   d a ta   t o  obt a in   th e   la b e l  c onf id e nc e   le ve l   of   e a c h   pr e di c ti on i n t he  s e c ond c la s s if ic a ti on.   T he   di a gr a m   in   F ig ur e   2  il lu s tr a te s   th e   s ys te m   f r a m e w or k   f o r   co - tr a in in g   us in g  S V M   a nd  L S T M   w it h  a   ps e udo - la be l in g   a ppr oa c h  to   pr oc e s s   a nd  c la s s if y  s tu de nt   da ta .  T he   s y s te m   be gi ns   w it h  two  da ta s e ts :  tr a in in g  da ta ,  w hi c h  c ons is t s   of   a   s m a ll   s e t  of   s upe r vi s e d   da ta   w it h  la be l ed   s a m pl e s ,   a nd  te s ti ng  da ta ,   w hi c h   c ont a in s   m a ny   uns up e r vi s e d,  un la b e l ed   d a ta .   T he   L S T M   m ode l   f ir s t  pr oc e s s e s   th e   tr a in in g  d a ta   a nd  ge n e r a te s   ps e udo - la be ls   f or   th e   te s ti ng  d a ta   ba s e d  on  it s   le a r ni ng   f r om   t he   la be l ed   s a m pl e s .  S im ul ta ne ous ly ,  th e   S V M   m ode l  is   a ppl ie d  to   th e   te s ti ng  da ta   to   ge ne r a te   it s   ps e udo - la be ls .  T he s e   ps e udo - la be ls   f r om   bot h  m ode ls   a r e   th e n c om pa r e d i n t hr e e  ke y s ta ge s .   −   S ig ni f ic a nc e   of   c om pa r in g  ps e udo - la be li ng  r e s ul ts :   th e   r e s ul ts   of   ps e udo - la be l in g ,  a   c r uc ia l  s te p  in   m ode l  e va lu a ti on pe r f or m e d by both L S T M  a nd S V M , a r e  c om pa r e d w it h t he   te s t  da ta . T hi s  c om pa r is on  is  vi ta l  in  e va lu a ti ng how w e ll  t he  m ode ls  p e r f or m  on t he   un la be l ed   da ta s e t.   −   C onf id e nc e   pr e di c ti on  c om pa r is on:   th e   pr e di c ti ons   m a d e   by  th e   L S T M   a nd   S V M   m ode l s   a r e   c om p a r e d  in   te r m s   of   th e ir   c onf id e nc e   le ve l s .  T hi s   s te p   is   in va lu a bl e   in   id e nt if yi ng  w hi c h  m ode l  pr oduc e s   m or e   r e li a bl e  ps e udo - la be ls .   −   C om pa r is on  w it h  tr a in in g  da ta :  th e   ps e udo - la be l in g   r e s ul ts   f or   th e   te s ti ng  da ta   a r e   c om pa r e d  a ga in s t  th e   or ig in a l  la be l ed   tr a in in g da ta   to  e va lu a te  c ons i s te nc y a nd  a li gnm e nt  w it h t he  i ni ti a l  da ta s e t.           F ig ur e  2.  Co - tr a in in g m e th od i nf o r m a ti on s ys te m  f r a m e w or k       T he   s ys te m ' s   pe r f o r m a nc e   is   t he n  a s s e s s e d  us in g  a c c u r a c y,  pr e c is i on ,  r e c a l l,   a nd  F 1 - s c o r e   m e tr ic s .   B a s e d  o n  t hi s   e va l ua t io n,  th e   s ys te m   p r o vi de s   a c ti ona bl e   out pu ts ,  in c lu di n g  de c is io ns ,  s u gge s ti ons ,   pol ic i e s ,   a nd   r e c o m m e nd a t io ns   f o r   f u r th e r   im p r ove m e nt s .   T hi s   i te r a t iv e   f r a m e w o r k  e ns u r e s   r ob us t   c la s s i f ic a t io n  o f   s tu de n t   da ta   b y  le v e r a gi ng   b ot h   m ode ls '   s t r e ng th s   a n d   r e f in in g   pr e di c t io ns   th r o ugh   ps e ud o - la be l in g .   B y  le ve r a g in g  t he   r o bus t   c a p a bi li ti e s   o f   G oo gl e   C o la b ,  t he   tr ia l  i m p le m e n ta t io n  o f   c o - t r a i ni ng   be tw e e n  S V M   a nd   L S T M   y ie ld e d  a   th r e s h ol d  la be l  va lu e   f or   S V M   of   0. 88  a nd  a   t hr e s ho ld   la b e l  va l ue   f o r   L S T M   o f   0.5 ,  a s   de pi c te d   i n  F i gu r e   3( a ) .  I t   de m ons t r a te s   t h a t  th e   le ve l   o f   la be l  c on f i de nc e   f o r   S V M   is   > = 0.8 8.  F i gu r e  3 ( b )   de m ons tr a te s   th a t  th e  l e ve l  o f  l a be l  c o nf id e nc e   f o r  L S T M   is  > = 0 .5 .    L a b e l   c o nf id e nc e   e s t im a ti on   is   a n   i m p or ta nt   s te p  in   a   s e m i - s u pe r vi s e d  a lg o r i th m   [ 2 5] .  L a be l   c on f i de nc e   e s t im a ti on  a im s   to   p r e ve nt   un la be le d  da ta   f r om   be in g  m is l a be le d ,  w h ic h   c a n  lo w e r   th e   la be l   th r e s h ol d .   A c c or di ng   t o   th e   la b e l   c on f i de nc e   e s ti m a ti o n   m e th od,   it   c a n  be   d iv i de d   in to   e x pl ic i t   e s t im a t io n   a nd  im pl ic i t  e s ti m a ti o n.   I m p li c it   e s t im a t io n   is   hi gh ly   de p e nde nt   on  th e   t r a in in g   da ta   ( la be le d   da ta ) ;   unl a be le d  d a ta   m a y  be   m is la be l e d,  a nd  it   w i ll   d e g r a de   th e   l e a r n e r ' s   pe r f o r m a nc e   du r i ng  it e r a ti on,  s o  t he   a c c u r a c y  of   im pl ic it   e s ti m a t io n  is   lo w e r   th a n  e x pl ic it   e s ti m a ti on.  H ow e ve r ,  th e   c os t  r e qu ir e d  is   s m a ll e r   th a n  t he  e xp li c i t  e s ti m a t io n.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   A r ti f   I nt e ll     I S S N :   2252 - 8938       Co - tr ai ni ng ps e udo - la be li ng f or  t e x t  c la s s if ic at io n w it h s uppo r t  v e c to r  m ac hi n e   …   ( Sr i  H anday ani )   2165   M os t  a lg or it hm s   in   im pl ic it   e s ti m a ti on  us e   th e   d e gr e e   of   di f f e r e nc e   in   th e   r e s ul ts   to   r e f le c t  th e   c ur r e nt   ps e udo - la be l  c onf id e nc e .  A lg or it hm s   in   e xpl ic it   e s ti m a ti on  us e   e xa c t  num be r s   to   r e pr e s e nt   th e   la be l   c onf id e nc e .  T ypi c a ll y,  th e s e   a lg or it hm s   us e   le a r ni ng  out put s   i n  pr oba bi li s ti c   f or m ,  th e   di f f e r e nc e   in   m ode l  a c c ur a c y  be f or e   a nd  a f te r   us in g  ps e udo - la be le d  da ta ,  or   th e   s im il a r it y  be twe e n  th e   ps e udo - la be ls   of   th e   c ur r e nt  unl a be le d da ta  a nd t he  s ur r ounding l a be le d da t a .           F ig ur e  3. T he  r e la ti on of  da ta  a nd t hr e s hol d f or  ( a )  S V M  a nd ( b)  L S T M       E xpl ic it   e s ti m a ti on  is   a ppl ie d  in   th is   S V M   a nd  L S T M   C o - tr a in in g  tr ia l.   A s   th e   f ir s t  c la s s if ie r ,  S V M   is  us e d f or  pr e di c ti on,  a nd L S T M , a s  t he  s e c ond c la s s if ie r , i s  us e d f or  unde r s ta ndi ng t he  s e que nc e  of  t e xt  da ta   in   th is   c o - tr a in in g.  I n  th e   f ir s t  c la s s if ic a ti on  ( S V M ) ,  w h e n  th e   la be l  gi v e n  to   th e   te s ti ng   da ta   h a s   a   la b e l  c onf id e nc e   le ve l  ( th r e s hol d)   be lo w   0.88,  th e   tr a in in g  da ta   w il l  be   it e r a te d  a ga in   s o  th a t  th e   la be l  th a t  w il l  be   gi ve n  to   th e   te s ti ng  da ta   ha s   a   la be l  c onf id e nc e   le ve l  ( t hr e s hol d)   > = 0.88.  L ik e w is e ,  in   th e   s e c ond  c la s s if ic a ti on  ( L S T M ) ,  w he n   th e   la be l  gi v e n  to   th e   te s ti ng  da ta  ha s   a   la b e l  c onf id e nc e   le ve l  ( th r e s hol d)   be lo w   0.5,  th e   tr a in in g  da ta   w il l  be   it e r a te d   a ga in   s o  th a t   th e   la be l   th a t  w il l  be   gi ve n   to   th e   t e s ti ng  da t a   ha s   a   la be l  c onf id e nc e   le ve l  ( th r e s hol d)   > = 0.5.  T he   c on c e pt   of   m e a s ur in g  th e   la be l  c onf id e nc e   le ve l  ( th r e s hol d)   in   th is   a r ti c le   c om bi ne s   th e   la be l  c onf id e nc e   m e a s ur e s   f r om   c la s s if ic a ti on  1  a nd  2   to   pr ov id e   a   m or e   c om pr e he ns iv e   vi e w  t o w hi c h t he  m ode l  is  c onf id e nt  w it h t he  l a be l  gi ve n.   S om e   s tu di e s   a li gn  w it h  th e   m e th od  th e   a ut hor s   a ppl ie d,  us i ng  two  di f f e r e nt   m ode ls   ( S V M   a nd  L S T M )   in   th e  c o - tr a in in g  f r a m e w or k.  A   c ol la bor a ti ve  a ppr oa c h   in   w hi c h e a c h   m ode l  pr oduc e s   pr e di c ti ons   on  unl a be le d  da ta   a nd  hi ghl y  c onf id e nt   pr e di c ti ons   a r e   u s e d  a s   ps e udo - la be ls   to   tr a in   th e   ot he r   m ode l.   F or   e xa m pl e ,  r e s e a r c h  th a t  c om bi ne s   two  de e p  le a r ni ng  m ode ls   tr a in e d  on  two  di f f e r e nt   r e pr e s e nt a ti ons   of   te xt   da ta   f or   s e nt im e nt   c la s s if ic a ti on.  E a c h  m ode l  pr oduc e s   pr e di c ti ons   on  unl a be le d  da ta ,  a nd  hi ghl y  c onf id e nt   pr e di c ti ons   a r e   us e d  a s   p s e udo - la be ls   to   tr a in   th e   ot he r   m ode l.   T hi s   a ppr oa c h  im pr ove s   th e   a c c ur a c y  of   s e nt im e nt   c la s s if ic a ti on  on  m a s s iv e   ope n  onl in e   c our s e s   ( M O O C )   or   c a ll s   f or   la r ge - s c a le   onl in e   c our s e s   ope n   to   th e   publ ic ,  u s ua ll y  pr ovi de d  by   uni ve r s it ie s   or   onl in e   le a r ni ng  pl a tf or m s   s uc h   a s   C our s e r a ,   e dX ,   or   f ut ur e   le a r n  [ 39] .  F u r th e r m or e ,  s tu di e s   in tr oduc in g  M e ta   c o - tr a in in g   ha ve   th e   pr in c ip le   th a t  two  m ode ls   t r a in e d   in de pe nde nt ly   on  di f f e r e nt   da ta   r e pr e s e nt a ti ons   c a n  c or r e c t  e a c h  ot he r ' s   e r r or s   a nd  im pr ove   th e   ove r a ll   a c c ur a c y,  or   two  pr e - tr a in e d  m ode ls   c a n  be   c om bi ne d  on  di f f e r e nt   r e pr e s e nt a ti ons   of   th e   s a m e   da ta .  E a c h  m ode l  pr oduc e s   pr e di c ti ons   on  unl a be le d  da ta ,  a nd  pr e di c ti ons   w it h  a   hi gh  c onf id e nc e   le ve l  a r e   us e d  a s   ps e udo - la be ls   to   tr a in   th e   ot he r   m ode l   [ 26] .   T he   a ppr oa c h  ta ke n  by  th e   a ut hor s   us e s   two  di f f e r e nt   m ode ls   in   th e  c o - tr a in in g f r a m e w or k, o r  t he  a ppr oa c h us in g t w o l e a r ni ng  m ode ls  f or  t he  M O O C  f or um  a nd t he  M e ta  c o - tr a in in g  te c hni que .  T he s e   m ode l s   s how e d  im pr ove d  pe r f or m a nc e   on  s e m i - s upe r vi s e d  c la s s if ic a ti on  ta s k s ,  w hi c h s how s  t ha t  th is   s tr a te gy e f f e c ti ve ly  i m pr ove s  m ode l  pe r f or m a nc e  on va r io us  m a c hi ne - le a r ni ng t a s k s .       4.   C O N C L U S I O N   I n  th is   s tu dy,  G oogl e   C ol a b  w a s   us e d  to   f a c il it a te   th e   a ppl ic a ti o n  of   th e   S V M   a nd  L S T M   co - t r a in in g  te c hni que s   in   th e   c ont e xt   of   s e m i - s upe r vi s e d  le a r ni ng.  T he   f ir s t  da ta s e ts   us e d  to   c a lc ul a te   la be l  c onf id e nc e   le ve ls   f r om   S V M   a nd  L S T M   w e r e   obt a in e d  f r om   s tu de nt   r e s pons e s   to   que s ti onn a ir e s   a t  th r e e   C e nt r a l  J a va   uni ve r s it ie s ,  w hi c h  w e r e   c ol le c te d  vi a   G oogl e   F or m   s ubm is s io ns .  T he   de te r m in e d  th r e s hol d  la b e ls   f or   S V M   a nd  L S T M   a r e   ≥0.88  a nd  ≥0.5,  r e s pe c ti ve ly .  C la s s if ie r   1  ( S V M )   a nd  c la s s if ie r   2  ( L S T M )   th r e s hol ds   a r e   c r uc ia l  in   de f in in g  th e   f ol lo w in g  it e r a ti ons ,  e s pe c ia ll y  w he n   a ppl yi ng  ps e udo  la be ls   to   te s ti ng  da ta .  I n  pa r ti c ul a r ,  it e r a ti ons   ha ppe n  w h e n  th e   p s e udo - la be l  f or   th e   t e s t   da ta   is   le s s   th a n  th e   c or r e s ponding  th r e s hol d  va lu e s  of  0.5 f or  L S T M  a nd 0.88 f or  S V M .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I S S N :   2252 - 8938   I nt  J  A r ti f   I nt e ll ,  V ol .  14 , N o.  3 ,  J une   20 25 :   2158 - 2168   2166   A C K N O WL E D G M E N T S   T he   a ut hor   w oul d  li ke   to   th a nk  T r i  E nda h  R e tn o   K us um a ni ngr um ,  S .S os .,  M .I .K om .,  f or   he r   va lu a bl e  a s s is ta nc e  dur in g he r  vi s it  t o T id a r  U ni ve r s it y i n M a ge la ng f or  da ta  c ol le c ti on.       F U N D I N G   I N F O R M A T I O N   T he  r e s e a r c h de s c r ib e d i n t hi s  a r ti c le  w a s  f unde d by S e m a r a ng  U ni ve r s it y.       A U T H O R  C O N T R I B U T I O N S  S T A T E M E N T   T hi s   jo ur na l  us e s   th e   C ont r ib ut or   R ol e s   T a xonomy  ( C R e di T )   to   r e c ogni z e   in di vi dua l   a ut hor   c ont r ib ut io ns , r e duc e  a ut hor s hi p di s put e s ,  a nd f a c il it a te  c ol la bo r a ti on.      N am e  o f  A u t h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   S r i  H a nda ya ni   ✓   ✓   ✓     ✓   ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓   R iz a l  I s na nt o     ✓     ✓     ✓         ✓     ✓   ✓     B udi  W a r s it o   ✓   ✓     ✓   ✓   ✓         ✓     ✓   ✓       C   :    C onc e pt ua l i z a t i on   M   :    M e t hodol ogy   So   :    So f t w a r e   Va   :    Va l i da t i on   Fo   :    Fo r m a l  a na l ys i s   I   :    I nve s t i ga t i on   R   :    R e s our c e s   D   :   D a t a  C ur a t i on   O   :   W r i t i ng  -   O r i gi na l  D r a f t   E   :   W r i t i ng  -   R e vi e w  &   E di t i ng   Vi   :    Vi s ua l i z a t i on   Su   :    Su pe r vi s i on   P   :    P r oj e c t  a dm i ni s t r a t i on   Fu   :    Fu ndi ng a c qui s i t i on         C O N F L I C T  O F  I N T E R E S T  S T A T E M E N T   T he   a ut hor s   d e c la r e   th a t  th e y  ha ve   no   known  f in a nc ia l  c onf li c t s   of   in te r e s t  or   pe r s ona l   r e la ti ons hi ps   th a t  c oul d ha ve  i nf lu e nc e d t he  w or k r e por te d i n t hi s  pa pe r .       I N F O R M E D  C O N S E N T   W e  ha ve  obt a in e d i nf or m e d c ons e nt  f r om  a ll  i ndi vi dua ls  i nc lu de d i n t hi s  s tu dy.       D A T A  A V A I L A B I L I T Y   T he   da t a   s uppor ti ng  th e   f in di ngs   of   th is   s tu dy  a r e   a va il a bl e   f r om   U ni ve r s it a s   S e m a r a ng.  A c c e s s   to   th e s e   da t a   is   r e s tr ic te d  a nd   c a n  onl y   be   obt a in e d   w it h  pe r m is s i on  f r om   U ni ve r s it a s   S e m a r a ng.  D a ta   r e que s ts   c a n be  m a de  t o t he  a ut hor  a t  s r i@us m .a c .i d, w it h pe r m is s io n f r om  U ni ve r s it a s  S e m a r a ng.       R E F E R E N C E S   [ 1]   W . L i u, X .  Z he ng, M .  H u, a nd  C .  C he n,  “ C ol l a bor a t i ve  f i l t e r i ng w i t h a t t r i but i on a l i gnm e nt  f or  r e vi e w - ba s e d non - ove r l a ppe d  c r os s   dom a i n  r e c om m e nda t i on,”   W W W   2022 - P r oc e e di ngs   of   t he   A C M   W e b  C onf e r e nc e   2022 ,   pp.  1181 – 1190,   2022,     doi :  10.1145/ 3485447.3512166.   [ 2]   W .  L i u,  X .  Z he ng,  J .  S u,  M .  H u,  Y .  T a n,  a nd  C .  C he n,  “ E xpl oi t i ng  va r i a t i ona l   dom a i n - i nva r i a nt   us e r   e m be ddi ng  f or   pa r t i a l l y  ove r l a ppe d  c r os s   dom a i n  r e c om m e nda t i on,”   SI G I R   2022 - P r oc e e di ngs   of   t h e   45t h  I nt e r nat i onal   A C M   SI G I R   C onf e r e n c e   o n   R e s e ar c h and D e v e l opm e nt  i n I nf or m at i on R e t r i e v al , pp. 312 – 321, 2022, doi :  1 0.1145/ 3477495.3531975.   [ 3]   S .  S t i e gl i t z ,  M .  M i r ba ba i e ,  B .  R os s ,  a nd  C .  N e ube r ge r ,  “ S oc i a l   m e di a   a na l yt i c s - c ha l l e nge s   i n  t opi c   di s c ove r y,  da t a   c ol l e c t i on,  a n d   da t a   pr e pa r a t i on,”   I nt e r nat i onal   J ou r nal   of   I nf or m at i on  M ana ge m e nt ,  vol .  39,  pp.  156 – 168,   2018,     doi :  10.1016/ j .i j i nf om gt .2017.12.002.   [ 4]   J . L i   e t  al . , “ U ns upe r vi s e d be l i e f  r e pr e s e nt a t i on l e a r ni ng w i t h i nf or m a t i on - t he or e t i c  va r i a t i ona l  gr a ph a ut o - e nc ode r s ,”   SI G I R  2022 - P r oc e e di ngs   of   t he   45t h  I nt e r nat i onal   A C M   SI G I R   C onf e r e nc e   on   R e s e a r c h  and  D e v e l opm e nt   i n   I nf or m at i on  R e t r i e v al ,    pp. 1728 – 1738, 2022, doi :  10.1145/ 3477495.3532072.   [ 5]   S .  S ha i k h,  S .  M .  D a u dp ot a , A . S .  I m r a n,  a nd   Z .  K a s t r a t i , “ T o w a r ds   i m pr ove d c l a s s i f i c a t i on a c c u r a c y o n  hi g hl y  i m b a l a nc e d t e xt   da t a s e t   us i n g d e e p  ne ur a l  l a ngu a ge  m ode l s ,”   A pp l i e d  Sc i e nc e s , v ol .  11,  n o.  2,  pp .  1 – 2 0,  2 021 , d oi :   10. 33 90 / a p p11 02 086 9.   [ 6]   A .  H a di f a r ,  L .   S t e r c kx,  T .  D e m e e s t e r ,  a nd  C .   D e ve l d e r ,  “ A   s e l f - t r a i ni ng  a ppr oa c h  f or   s hor t   t e xt   c l u s t e r i ng,”   A C L   2019 - 4t h   W or k s hop  on  R e pr e s e nt at i on  L e ar ni ng  f or   N L P ,  R e pL 4N L P   2019 - P r oc e e di ngs   of   t he   W or k s hop ,  pp.  194 – 199,  2019 ,     doi :  10.18653/ v1/ w 19 - 4322.   [ 7]   D .  Z ha ng  e t   al . ,  “ S uppor t i ng  c l u s t e r i ng  w i t h  c ont r a s t i ve   l e a r ni ng,”   N A A C L - H L T   2021 - 2021  C onf e r e nc e   of   t he   N or t h   A m e r i c a n   C hapt e r   of   t he   A s s oc i at i on  f or   C om put at i onal   L i ngui s t i c s :   H um an  L angua ge   T e c hnol ogi e s ,  P r oc e e di ng s   of   t he   C onf e r e nc e ,    pp. 5419 – 5430, 2021, doi :  10.18653/ v1/ 2021.na a c l - m a i n.427.   [ 8]   X .  J i ,  A .  V e da l di ,  a nd  J .  H e nr i que s ,  “ I nva r i a nt   i nf or m a t i on  c l us t e r i ng  f or   uns upe r vi s e d  i m a ge   c l a s s i f i c a t i on  a nd  s e gm e nt a t i on ,”   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   A r ti f   I nt e ll     I S S N :   2252 - 8938       Co - tr ai ni ng ps e udo - la be li ng f or  t e x t  c la s s if ic at io n w it h s uppo r t  v e c to r  m ac hi n e   …   ( Sr i  H anday ani )   2167   2019  I E E E / C V F   I nt e r nat i onal   C onf e r e nc e   on  C om put e r   V i s i on  ( I C C V ) ,   S e oul ,  K or e a   ( S out h) ,  2019,  pp.  9864 - 9873,  doi :   10.1109/ I C C V .2019.00996.   [ 9]   T .  E . T a l l o  a nd  A .  M us dhol i f a h,  “ T he   i m pl e m e nt a t i on   of   ge ne t i c   a l gor i t h m   i n  s m ot e   ( S ynt he t i c   m i no r i t y  ove r s a m pl i ng  t e c hni que )   f or   ha ndl i ng  i m ba l a nc e d  da t a s e t   pr obl e m ,”   2018  4t h  I nt e r nat i onal   C onf e r e nc e   on  Sc i e nc e   and  T e c hnol ogy   ( I C ST ) ,  Y ogya ka r t a ,   I ndone s i a , 2018, pp. 1 - 4, doi :  10.1109/ I C S T C .2018.8528591.   [ 10]   C .  G ong,  D .  T a o,  S .  J .  M a yba nk,   W .  L i u,  G .  K a ng,  a nd  J .  Y a ng,  “ M ul t i - m oda l   c ur r i c ul um   l e a r ni ng  f or   s e m i - s upe r vi s e d  i m a ge   c l a s s i f i c a t i on,”   I E E E  T r ans ac t i ons  on I m age  P r oc e s s i ng , vol . 25, no. 7, pp. 324 9 – 3260, 2016, doi :  10.1109/ T I P .2016.2563981.   [ 11]   J .  E ngue ha r d,  P .  O ’ H a l l or a n,  a nd  A .   G hol i pour ,  “ S e m i - s upe r vi s e d  l e a r ni ng  w i t h  de e p   e m be dde d  c l us t e r i ng  f or   i m a g e   c l a s s i f i c a t i on a nd s e gm e nt a t i on,”   I E E E  A c c e s s , vol . 7, pp. 11093 – 11104, 2019, doi :  10.1109/ A C C E S S .2019.2891970.   [ 12]   M .  K .  X i e ,  J .   H .  X i a o,  H .   Z .  L i u,  G .   N i u,  M .  S ug i ya m a ,  a nd  S .   J .   H ua ng,  “ C l a s s - di s t r i but i on - a w a r e   ps e udo - l a be l i ng  f or   s e m i - s upe r vi s e d m ul t i - l a be l  l e a r ni ng,”   A dv anc e s  i n N e u r al  I nf or m at i on P r oc e s s i ng S y s t e m s , vol . 36, 2023.   [ 13]   Z .  H u,  Z .  Y a ng,  X .  H u,  a nd  R .  N e va t i a ,  “ S i m pl e :   s i m i l a r   ps e udo  l a be l   e xpl oi t a t i on  f or   s e m i - s upe r vi s e d  c l a s s i f i c a t i on,”   P r oc e e di ngs   of   t he   I E E E   C om put e r   Soc i e t y   C onf e r e n c e   on  C o m put e r   V i s i on  and  P at t e r n  R e c ogni t i on ,  pp.  15094 – 15103,  2021,   doi :  10.1109/ C V P R 46437.2021.01485.   [ 14]   S .  P a ni gr a hi   a nd  H .  S .  B e he r a ,  “ A   s t udy  on  l e a di ng  m a c hi ne   l e a r ni ng  t e c hni que s   f or   hi gh  or de r   f uz z y  t i m e   s e r i e s   f or e c a s t i ng,”   E ngi ne e r i ng A ppl i c at i ons  of  A r t i f i c i al  I nt e l l i ge nc e , vol . 87, 2020, doi :  10.1016/ j .e nga ppa i .2019.103245.   [ 15]   S .  E m t i ya z   a nd  M .  R .  K e yv a npour ,  “ C us t om e r s   be ha vi or   m ode l i ng  by  s e m i - s upe r vi s e d  l e a r ni ng  i n  c us t om e r   r e l a t i ons hi p   m a na ge m e nt ,”   A dv anc e s   i n  I nf or m at i on  Sc i e nc e s   and  Se r v i c e   Sc i e nc e s ,  vol .  3,  no.  9,  pp.  229 – 236,  2011,     doi :  10.4156/ A I S S .vol 3.i s s ue 9.31.   [ 16]   Z . A z i z a h, T . O hya m a ,  X . Z ha o, Y .  O hka w a ,  a nd T .  M i t s ui s hi ,  “ P r e di c t i ng a t - r i s k s t ude nt s  i n t he  e a r l y  s t a ge  of   a  bl e nde d  l e a r ni ng   c our s e   vi a   m a c hi ne   l e a r ni ng  us i ng  l i m i t e d  da t a ,”   C om put e r s   and  E d uc at i on:   A r t i f i c i al   I nt e l l i ge nc e ,  vol .  7,  2024,    doi :  10.1016/ j .c a e a i .2024.100261.   [ 17]   G .  A l - T a m e e m i ,  J .  X ue ,  I .  H .   A l i ,  a nd   S .  A j i t ,  “ A   hybr i d  m a c hi n e   l e a r ni ng  a ppr oa c h  f or   pr e di c t i ng  s t ude nt   p e r f or m a nc e   us i ng   m ul t i - c l a s s  e duc a t i ona l  da t a s e t s ,”   P r o c e di a C om put e r  Sc i e nc e , vol . 238, pp. 88 8 – 895, 2024, doi :  10.1016/ j .pr oc s .2024.06.108.   [ 18]   A .  M .  R a be l o  a nd  L .  E .  Z á r a t e ,  “ A   m od e l   f or   pr e di c t i ng  dr opout   of   hi ghe r   e duc a t i on  s t ude nt s , ”   D at a  Sc i e n c e   and  M anage m e nt ,  2024, doi :  10.1016/ j .ds m .2024.07.001.   [ 19]   V .  C hr i s t ou  e t   al . ,  “ P e r f or m a nc e   a nd  e a r l y  dr op  pr e di c t i on f or   hi ghe r   e duc a t i on  s t ude nt s   us i ng  m a c hi ne   l e a r ni ng,”   E x pe r t   Sy s t e m s   w i t h A ppl i c at i ons , vol . 225, 2023, doi :  10.1016/ j .e s w a .2023.120079.   [ 20]   I . N a s s a r , S . H e r a t h, E . A bba s ne j a d,  W . B unt i ne ,  a nd G .  H a f f a r i , “ A l l  l a be l s  a r e  not  c r e a t e d e qua l :   e nha nc i ng  s e m i - s upe r vi s i on vi a   l a be l   gr oupi ng  a nd  c o - t r a i ni ng,”   P r oc e e di ngs   of   t he   I E E E   C om put e r   Soc i e t y   C onf e r e nc e   on  C om put e r   V i s i on  and  P at t e r n   R e c ogni t i on , pp. 7237 – 7246, 2021, doi :  10.1109/ C V P R 46437.2021.00716.   [ 21]   X .  X u,  W .  L i ,  D .  X u,   a nd  I .  W .  T s a ng,  “ C o - l a be l i ng  f or   m ul t i - vi e w   w e a kl y   l a be l e d  l e a r ni ng,”   I E E E   T r ans ac t i ons   on  P at t e r n   A nal y s i s  and M ac hi ne  I nt e l l i ge nc e , vol . 38, no. 6, pp. 1113 – 1125, 2016, doi :  10.1109/ T P A M I .2015.2476813.   [ 22]   W .  Z ha n  a nd   M .   L .   Z ha ng,  “ I nduc t i ve   s e m i - s upe r vi s e d   m ul t i - l a be l   l e a r ni ng  w i t h  c o - t r a i ni ng,”   P r oc e e di ngs   of   t he   A C M   SI G K D D   I nt e r nat i onal   C onf e r e nc e   on   K now l e dg e   D i s c ov e r y   and  D at a  M i ni ng ,  vol .  P a r t   F 129685,  pp.  1305 – 1314,  2017,    doi :  10.1145/ 3097983.3098141.   [ 23]   Z .  H .  Z hou,  “ A   br i e f   i nt r oduc t i on  t o  w e a kl y  s upe r vi s e d   l e a r ni ng,”   N at i onal   Sc i e nc e   R e v i e w ,  vol .   5,  no.   1,  pp.   44 – 53,  2018 ,     doi :  10.1093/ ns r / nw x106.   [ 24]   F .  Z hua ng  e t   al . ,  “ A   c om pr e he ns i ve   s ur ve y  on   t r a ns f e r   l e a r ni ng,”   P r oc e e di n gs   of   t he   I E E E ,  vol .  109,  no.  1,  pp.  43 – 76,  2021,    doi :  10.1109/ J P R O C .2020.3004555.   [ 25]   V .  P i c c i a l l i   a nd  M .  S c i a ndr one ,  “ N onl i ne a r   opt i m i z a t i on  a nd  s uppor t   ve c t or   m a c hi ne s ,”   A nnal s   of   O pe r at i ons   R e s e a r c h ,  vol .  314,   no. 1, pp. 15 – 47, 2022, doi :  10.1007/ s 10479 - 022 - 04655 - x.   [ 26]   J .  C .  R ot he nbe r ge r   a nd  D .  I .  D i oc hnos ,  “ M e t a   c o - t r a i ni ng:   t w o  vi e w s   a r e   be t t e r   t ha n  one ,”   ar X i v - C om put e r   Sc i e nc e ,  pp.  1 - 17,   2023, doi :  10.1145/ 3474085.3475622.   [ 27]   C .  T a n,  J .  X i a ,  L .  W u,  a nd  S .  Z .  L i ,  “ C o - l e a r ni ng:   l e a r ni ng  f r om   noi s y  l a be l s   w i t h  s e l f - s upe r vi s i on,”   i n  M M   2021 - P r oc e e di ngs   o f   t he  29t h A C M  I nt e r nat i onal  C onf e r e nc e  on M ul t i m e di a , pp. 1405 – 1413,  2021,  doi :  10.1145/ 3474085.3475622.   [ 28]   D .  T .  N guye n,  C .  K .  M um m a di ,  T .  P .  N .   N go,  T .  H . P .   N guye n,  L .  B e gge l ,  a n d  T .  B r ox,  “ S e l f :   l e a r ni ng   t o  f i l t e r   noi s y  l a be l s   w i t h  s e l f - e ns e m bl i ng,”   8t h I nt e r nat i onal  C onf e r e n c e  on L e ar ni ng R e pr e s e nt at i ons , I C L R  2020 , 2020.   [ 29]   M .  G oudj i l ,  M .  K oudi l ,  M .  B e dda ,  a nd  N .  G hogga l i ,  “ A   nove l   a c t i ve   l e a r ni ng  m e t hod  us i ng  s vm   f or   t e xt   c l a s s i f i c a t i on,”   I nt e r nat i onal  J our nal  of  A ut om at i on and C om put i ng , vol . 15, no. 3, pp. 290 – 298, 2018, doi :  10.1007/ s 11633 - 015 - 0912 - z.   [ 30]   M .  H .  S .  E na s ,  H .  A .  S a l e h,  a nd  E .  A .  K ha l e l ,  “ C l a s s i f i c a t i on  of   m a m m ogr a m s   ba s e d  on  f e a t ur e s   e xt r a c t i on  t e c hni que s   us i n g   s uppor t   ve c t or   m a c hi ne ,”   C om put e r   S c i e nc e   and  I nf or m at i on  T e c hno l ogi e s ,  vol .  2,  no.  3,  pp.  121 – 131,  2021,     doi :  10.11591/ c s i t .v2i 3.pp121 - 131.   [ 31]   E .  I s m a n t o   a n d N . E f f e nd i , “ A n  L S T M - ba s e d   p r e d i c t i o n m o de l   f o r  g r a d i e nt - de s c e n d i ng o pt i m i z a t i o n i n vi r t ua l  l e a r n i n g e n v i r o n m e nt s ,”   C om p ut e r   Sc i e nc e   a nd   I n f or m a t i o n  T e c h n ol og i e s ,   vo l .   4,  n o .  3,   pp .  1 99 – 2 0 7,  2 0 24 , d o i :   10 . 11 59 1 / c s i t . v4 i 3. p p1 99 - 2 07 .   [ 32]   M .  M .  B e n  I s m a i l ,  “ I n s ul t   de t e c t i on  us i ng   a   pa r t i t i ona l   C N N - L S T M   m od e l ,”   I nt e r nat i onal   J our nal   of   D at a  A nal y s i s   T e c hni que s   and St r at e gi e s , vol . 14, no. 4, pp. 336 – 349, 2023, doi :  10.1504/ I J D A T S .2022.1 29175.   [ 33]   Z .  S he n,  P .  C a o,  H .  Y a ng,  X .  L i u,  J .   Y a ng,  a nd  O .  R .  Z a i a ne ,  “ C o - t r a i ni ng  w i t h  hi gh - c onf i de nc e   ps e udo  l a be l s   f or   s e m i - s upe r vi s e d  m e di c a l   i m a ge   s e gm e nt a t i on,”   I J C A I   I nt e r nat i onal   J oi nt   C o nf e r e nc e   on   A r t i f i c i al   I nt e l l i ge nc e ,  vol .  2023,     pp. 4199 – 4207, 2023, doi :  10.24963/ i j c a i .2023/ 467.   [ 34]   M .  G a o,  Z .  Z ha ng,  G .  Y u,  S .  A r ı k,  L .  S .  D a vi s ,  a nd  T .  P f i s t e r ,  “ C ons i s t e nc y - ba s e d  s e m i - s upe r vi s e d  a c t i ve   l e a r ni ng:   t ow a r ds   m i ni m i z i ng l a be l i ng c os t ,”   C om put e r  V i s i on  –   E C C V  2020 , pp. 510 – 526, 2020,  doi :  10.1007/ 978 - 3 - 030 - 58607 - 2_30.   [ 35]   W .  C he n,  H .  R .  P our gha s e m i ,  a nd  S .  A .  N a ghi bi ,  “ A   c om pa r a t i ve   s t udy  of   l a nds l i de   s us c e pt i bi l i t y  m a ps   pr oduc e d  us i ng  s uppor t   ve c t or   m a c hi ne   w i t h  di f f e r e nt   ke r ne l   f unc t i ons   a nd  e nt r opy  da t a   m i ni ng  m ode l s   i n  C hi na ,”   B ul l e t i n  of   E ngi ne e r i ng  G e ol ogy   an d   t he  E nv i r onm e nt , vol . 77, no. 2, pp. 647 – 664, 2018, doi :  10.1007/ s 10064 - 017 - 1010 - y.   [ 36]   G .  G i ge r e nz e r ,  U .  H of f r a ge ,  a nd  H .  K l e i nbol t i ng,  “ P r oba bi l i s t i c   m e nt a l   m ode l s :   a   br uns w i ki a n  t he or y  of   c onf i de nc e , ”   P s y c hol ogi c al  R e v i e w , vol . 98, no. 4, pp. 506 – 528, 1991, doi :  10.1037/ 0033 - 295X .98.4.506.   [ 37]   J .  M .  G r i f f i t hs   a nd  D .  W .  K i ng,  “ U S   i n f or m a t i on  r e t r i e va l   s ys t e m   e vol ut i on  a nd  e va l ua t i on  ( 1945 - 1975) ,”   I E E E   A nnal s   of   t he   H i s t or y  of  C om put i ng , vol . 24, no. 3, pp. 35 – 55, 2002, doi :   10.1109/ M A H C .20 02.1024761.   [ 38]   K .  N i ga m   a nd   R .   G ha ni ,  “ A na l yz i ng  t he   e f f e c t i ve ne s s   a nd  a ppl i c a bi l i t y  of   c o - t r a i ni ng,”   I nt e r nat i onal   C onf e r e nc e   on  I nf or m at i o n   and K now l e dge  M anage m e nt , P r oc e e di ngs , vol . 2000 - J a nua , pp. 86 – 93, 2000, doi :  10.1145/ 354756.354805.   [ 39]   J .  C he n,  J .  F e ng,  X .  S un,  a nd  Y .  L i u,  “ C o - t r a i ni ng  s e m i - s upe r vi s e d  d e e p  l e a r ni ng  f or   s e nt i m e nt   c l a s s i f i c a t i on  of   M O O C   f or um   pos t s ,”   Sy m m e t r y , vol . 12, no. 1, 2020, doi :  10.3390/ S Y M 12010008.     Evaluation Warning : The document was created with Spire.PDF for Python.