I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   14 ,   No .   4 ,  A u g u s t   20 25 ,   p p .   3 2 8 3 ~ 3 2 9 4   I SS N:  2 2 5 2 - 8 8 2 2 ,  DOI : 1 0 . 1 1 5 9 1 / ijer e . v 14 i 4 . 3 3 5 2 8       3283       J o ur na l ho m ep a g e :  h ttp : //ij ere. ia esco r e. co m   Ev a lua ting the  co nsis tency o f  a u tom a ted  CE FR  a na ly zers:    a  study o f  Eng lish  lang ua g e t ex t  cla ss ificatio n       P iy a t ha t   Sirip o l,  Seo ng ha   R hee,   Su t ha t hip   T hira k un k o v it ,   Aphi wit   L ia ng - I t s a ra   F a c u l t y   o f   L i b e r a l   A r t s,   M a h i d o l   U n i v e r si t y ,   N a k h o n   P a t h o m,   T h a i l a n d       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   5 ,  202 4   R ev is ed   Ap r   3 ,  2 0 2 5   Acc ep ted   May   9 ,  2 0 2 5       Wi th   t h e   in c re a sin g   u se   o f  we b - b a se d   to o ls  fo r  tex t  a n a ly sis,  t h e re   is  a   g ro wi n g   re li a n c e   o n   a u to m a ted   s y ste m s  to   a ss e ss   tex t  d iffi c u lt y   a n d   c las sify   tex ts  to   t h e   Co m m o n   E u ro p e a n   F ra m e wo rk   o f  Re fe re n c e   fo r  Lan g u a g e s   (CEF R).   Ho we v e r,   i n c o n siste n c i e s  in   t h e se   to o ls ’   o u tp u ts  c o u l d   u n d e rm i n e   th e ir  e ffe c ti v e n e ss   fo r  lan g u a g e   lea rn e rs  a n d   re se a rc h e rs.  T h is  stu d y   in v e stig a tes   th e   c o n siste n c y   o f  f i v e   wid e l y   u se d   a u to m a ted   CEF R   a n a ly z e r   to o ls,  i n c lu d in g   Ch a tG P T,   b y   a n a ly z in g   2 0   En g li sh   d e sc rip ti v e   tex ts  a t  CEF R  lev e ls  B1   a n d   B 2 .   A  q u a n t it a ti v e   a p p r o a c h   wa s  e m p lo y e d   t o   c o m p a re   th e   CEF R  c las sifica ti o n s  g e n e ra ted   b y   t h e se   to o ls .   Th e   re su l ts  re v e a l   sig n ifi c a n t   in c o n siste n c ies   a c ro s s  th e   t o o ls,   ra isin g   c o n c e rn s  a b o u t  t h e   re li a b il it y   o f   a u t o m a ted   CEF R  a li g n m e n t.   Ad d it io n a ll y ,   t h e   c o n ten t  a n d   g e n re   o f  tex ts  a p p e a re d   to   i n flu e n c e   th e   CEF R  c las sifica ti o n ,   su g g e stin g   t h a t   c e rta in   fa c to rs  b e y o n d   t h e   to o ls ’   a lg o rit h m s  m a y   a ffe c t  th e ir   a c c u ra c y .   T h e se   fin d i n g s  h a v e   imp o r tan t  imp li c a ti o n s  f o r  lan g u a g e   e d u c a to rs,  c u rricu l u m   d e sig n e rs,  a n d   re se a rc h e rs  wh o   re ly   o n   a u t o m a ted   CEF R  to o l s  fo r  tex t  se lec ti o n ,   g ra d in g ,   a n d   a n a ly sis.   Th e   stu d y   h i g h li g h ts  th e   li m it a ti o n s  o f   a u to m a ted   CE F R  c las sifica ti o n   sy ste m s  a n d   c a ll s  f o r  a   m o re   q u a li tati v e   a p p ro a c h   to   tex t  d iffi c u lt y   a li g n m e n t   a n a ly sis.   F u tu re   re se a rc h   re c o m m e n d a ti o n   is  d isc u ss e d   a n d   c a ll   fo r  m o re   fo c u s  o n   re fin i n g   t h e se   to o ls   a n d   e x p l o ri n g   a d d it i o n a l  fa c to rs  th a t  m a y   imp a c t  th e ir  e ffe c ti v e n e ss   in   tex t  d iffi c u lt y   m e a su re m e n t  a n d   C EF R  a li g n m e n t .   K ey w o r d s :   An aly ze r   to o ls   Au to m ated   tex t a n al y s is   C E FR   T ex t d if f icu lty   class if icatio n   W eb   b ased   an aly s is   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ap h iwit L ian g - I ts ar a   Facu lty   o f   L ib er al  A r ts ,   Ma h id o l U n iv er s ity   9 9 9   4 t h   R d .   Mo n t h o n   Ph u tth a m o n th o n   Dis tr ict,   Nak h o n   Pat h o m   7 3 1 7 0 ,   T h ailan d   E m ail: a p h iwit.lia@ m ah id o l.e d u       1.   I NT RO D UCT I O N   T h e  p u r p o s e  o f   th is   s tu d y   is   to   ex p lo r e  th e   co n s is ten cy   o f   au to m ated   tex t  an al y ze r s   th a t  claim   to   alig n   tex t  d if f icu lty   t o   v ar io u s   p r o f icien cy   lev els.  T h e  m ea s u r em en t  o f   E n g lis h   tex t  d if f icu lty   h as  ev o lv ed   o v er   th e  p ast  ce n tu r ies,  b eg in n in g   with   r ea d a b ilit y   f o r m u las  p r o p o s ed   in   th e  2 0 th   ce n t u r y   s u ch   as  th e  Fles ch - Kin ca id   an d   th e  Gu n n i n g - Fo x   I n d ex   [ 1 ] ,   [ 2 ] .   T h ese  f o r m u las  p r im ar ily   r ely   o n   q u an titativ e  ca lcu latio n s   o f   lin g u is tic  f ea tu r es,  in clu d i n g   s y n tactic  an d   s em a n tic  co m p le x ity ,   v o ca b u lar y   f am iliar ity ,   s y llab le  co u n ts ,   a n d   th e  n u m b er   o f   wo r d s   p er   s en ten ce .   W h ile  th ese  r ea d ab ilit y   f o r m u las  h av e  b ee n   ex ten s iv ely   cr itiq u ed   an d   test ed   f o r   v alid ity ,   t h ey   co n tin u e  to   s h ap e  p er ce p tio n s   o f   tex t   d if f icu lty   [ 3 ] ,   [ 4 ] .   Ad v an ce m en ts   in   n atu r al  lan g u ag e  p r o ce s s in g   ( NL P)   an d   co m p u tatio n al  lin g u is tics   h av e  s ig n if ican tly   im p r o v ed   th ese  class ic  r ea d ab ilit y   f o r m u las,  in tr o d u ci n g   in n o v ativ e  tech n iq u es  an d   m o d els  f o r   tex t  d if f icu lty   an aly s is   [ 4 ] .   Fo r   in s tan ce ,   th eo r ies  o f   tex t  co m p r eh e n s io n   h av e  b e en   in teg r ated   in to   n ew   r ea d ab ilit y   f o r m u las,  s u ch   as  th o s e  in tr o d u ce d   b y   C r o s s ley   et  a l .   [ 4 ] ,   wh ic h   em p l o y   a d v a n ce d   NL P  to o ls   to   p r o d u ce   m o r e  p r o m is in g   r esu l ts   co m p ar ed   t o   tr ad itio n al   m et h o d s .   As  a  r esu lt,  au t o m ated   o n lin e  in s tr u m e n ts   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   14 ,   No .   4 ,  Au g u s t   20 25 :   3 2 8 3 - 3 2 9 4   3284   ha v e  b ec o m e  i n cr ea s in g ly   ac c ess ib le  to   lan g u ag e   teac h er s ,   tex t  p r o d u ce r s ,   an d   r esear ch er s ,   en ab lin g   th em   to   ass es s   tex t d if f icu lty   ef f icien tly .   Alth o u g h   u s er s   m ay   h av e  v ar y in g   cr iter ia  f o r   s elec tin g   th ese  to o ls ,   th ey   s h ar e  a  co m m o n   p u r p o s e:  b en ch m ar k in g   tex t s   to   ap p r o p r iate  d if f icu lty   lev els  to   in f o r m   lan g u ag e  teac h in g ,   ass es s m en t,  an d   s k ill  d ev elo p m en t.  T h is   p r o ce s s ,   k n o wn   as   m ater ial  lev elin g ,   aim s   to   ali g n   tex ts   to   s p ec if ic   d if f icu lty   lev els f o r   tar g eted   u s e  [ 5 ] .   T h e  C o m m o n   E u r o p ea n   Fra m ewo r k   o f   R ef er en ce   f o r   L an g u ag es   ( C E FR ) :  lear n in g ,   teac h in g ,   ass es s m en t  s er v es  as  a  g u id e lin e  to   p r o v id e   co h e r en ce   a n d   s tan d ar d izatio n   in   m ater ial  lev elin g .   I n itially   d ev elo p e d   to   s tan d ar d ize  tex t b o o k s ,   cu r r ic u la,   a n d   ex am in atio n s   in   E u r o p e,   t h e  C E FR   f r am ewo r k   class if ies   lan g u ag e  p r o f icien cy   i n to   b asic  ( A1 - A2 ) ,   in d ep en d en t  ( B 1 - B 2 ) ,   an d   p r o f icien t  ( C 1 - C 2 )   u s er s   [ 6 ] .   I ts   s tr aig h tf o r war d   d escr ip to r s   a n d   clea r   co m m u n icativ e  g o a ls   h av e  f ac ilit ated   its   ad o p ti o n   wo r l d wid e  as  a   f o u n d atio n   f o r   lan g u ag e  teac h in g   an d   ass ess m en t  [ 7 ] .   E d u ca tio n al  in s titu tio n s   an d   g o v er n m en t  o r g an izatio n s   h a v e  r ec o g n ize d   an d   em b r ac e d   C E FR   as  a   g u id elin e   f o r   ex p ec te d   la n g u a g e  p r o f icien c y   o u tco m es.   Fo r   in s tan ce ,   t h e  C o m m is s io n   o n   Hig h er   E d u ca tio n   Stan d ar d s   ( C HE S)  u n d er   th e  Of f ice  o f   th e  Per m an en t  Secr etar y   o f   T h ailan d   s et  o u t  C E FR   p o licy   in   2 0 2 4 ,   s p ec if y in g   th at  u n d er g r ad u ate  s tu d en ts   s h o u ld   ac h iev e  at  lea s t  B 2   p r o f ic ien cy ,   wh ile  g r a d u ate  s tu d en ts   s h o u ld   attain   C 1   b ef o r e  g r ad u atio n .   T h is   p o licy   h as  d r iv en   m a n y   h i g h er   ed u c atio n   in s titu tio n s   to   alig n   th eir   lan g u a g e   teac h in g   an d   ass ess m en t  p r ac tices  wi th   C E F R   d escr ip to r s   [ 8 ] – [ 1 0 ] .   Ho wev er ,   th e  ap p licatio n   o f   C E FR   r em ain s   ch allen g in g   f o r   test   d ev elo p er s ,   m ater ial  c r ea to r s ,   an d   e d u ca to r s ,   as  its   d escr ip to r s   ar e   o p e n   to   v ar y in g   in ter p r etatio n s .   M o r e o v er ,   C E FR   d o es  n o t   p r escr ib e  s p ec if ic  teac h in g   m eth o d o lo g ies  o r   ass ess m en ts ,   leav in g   ed u c ato r s   to   ad a p t a n d   in teg r ate  its   f r am ewo r k   in to   t h eir   u n iq u e  co n tex ts .   Fo r   ex a m p le,   C E FR - lev eled   tex ts   o f ten   r eq u ir e  m o d if icatio n   to   s u it th e  n ee d s   o f   lan g u ag e   lear n er s   [ 1 1 ] .   Giv en   th e   cr itical  r o le  o f   te x t  cl ass if icatio n   o r   m ater ial  le v elin g   in   lan g u ag e   ed u ca tio n ,   ed u ca to r s   m u s t  en s u r e   th at  s elec ted   te x ts   alig n   ac c u r ately   with   lea r n er s '   p r o f icien c y   lev els  [ 1 2 ] .   T h ese  c h allen g es  h ig h lig h t   th e  im p o r tan c e  o f   ex p lo r in g   a u to m ated   tex t  cla s s if icatio n   to o ls   th at  claim   to   m ap   with   s p ec if ic   C E FR   d escr ip to r s ,   as  r eliab le   to o ls   ar e  es s en tial  f o r   ef f ec tiv ely   s u p p o r tin g   lan g u a g e  lear n in g   an d   m ater ial   s elec tio n .   T h e   n o v elty   o f   th is   p ap er   lies   i n   its   f o c u s   o n   th e   r o le  o f   au to m ated   C E FR   alig n m en t  to o ls   at   th e   tex t   lev el,   an   ar ea   th at  h as  r ec ei v ed   lim ited   atten tio n   co m p a r ed   to   b r o a d er   C E FR   alig n m en t  p r ac tices.  B y   u n co v e r in g   th e  v ar iab ilit y   in   C E FR   c lass if icatio n s   ac r o s s   d if f er en t  to o ls ,   th e  s tu d y   h i g h lig h ts   th e  n ee d   f o r   ca u tio n   in   em p lo y in g   co m p u tatio n al  m eth o d s ,   en s u r in g   th ey   alig n   with   th e  s p ec if ic  p u r p o s es  o f   C E FR   class if icatio n .   Fu r th er m o r e,   it   em p h asizes  th e  im p o r tan ce   o f   in teg r atin g   h u m a n   ju d g m e n t  to   en h an ce   th e   r eliab ilit y   o f   tex t  d if f icu lty   ass es s m en ts .   T h ese  f in d in g s   p r o v id e  v alu ab le  in s ig h ts   f o r   ed u ca to r s ,   p o licy m ak er s ,   a n d   d ev elo p e r s   s ee k in g   to   im p r o v e  t h e  ef f ec ti v en ess   o f   C E FR   alig n m en t to o ls .       2.   L I T E R AT U RE   R E VI E W   2 . 1 .   T ex t   cla s s if ica t io n ba s ed  o n CEFR  g uid el ine   T ex t  class if icatio n   u n d er   C E FR   g u id elin es  h as  g ain ed   in cr ea s in g   im p o r tan ce   in   r ec e n t  y ea r s   [ 1 3 ] .  E v alu atin g   an d   s elec tin g   ap p r o p r iate  tex ts   r em ain s   ch all en g in g   f o r   lan g u ag e  teac h er s .   T r ad itio n al  tex t  class if icatio n   ap p r o ac h es  o f te n   r ely   o n   s h allo w  lin g u is tic  f e atu r es,  wh ich   d o   n o t   f u lly   r ef l ec t  th e  ac tu al   lev el  o f   tex t  d if f icu lty .   C o n s eq u e n tly ,   v ar io u s   m eth o d s   h av e   b ee n   d ev elo p ed   to   e n h an c e  an d   s im p lify   tex t   class if icatio n   b ased   o n   d if f ic u lty   lev els.   On lin e  r eso u r ce s   o f f er in g   lim itles s   ac ce s s   to   au th en tic  tex t s   h av e  also   p r o m p te d   th e  i n teg r atio n   o f   m o d el  tex t  r ec o m m en d atio n   s y s tem s   in to   class r o o m s   to   b etter   en g ag e  la n g u a g e  lear n er s   [ 1 4 ] .  R esear ch   b y   E s co b ar - Ace v ed o   et  a l .   [ 1 4 ]   s u g g ested   em p lo y in g   au to m atic  class if ier s   b ased   o n   C E FR   g u id elin es  to   s tr ea m lin e  th e  s elec tio n   o f   tex ts   f r o m   a u th en tic  s o u r ce s ,   s u c h   as  o n lin e   p latf o r m s   [ 1 4 ] .   Ho wev er ,   attem p ts   to   cl ass if y   tex ts   u s in g   au to m ated   to o ls   h av e  o f ten   y ield e d   in co n s is ten t r esu lts   [ 1 5 ] .   R ec en t  ad v an ce m e n ts   in clu d e  th e  u s e  o f   m ac h in e   lear n i n g   tech n iq u es  s u c h   as  th e   b id ir ec tio n al   en co d er   r ep r esen tatio n s   f r o m   tr an s f o r m e r s   ( B E R T )   m o d el  f o r   C E FR   tex t  class if icatio n   [ 1 3 ] .   Stu d ies  d em o n s tr ate  th at  a u to m ated   tex t - lev el  d etec tio n   is   ef f ec tiv e,   with   th e  q u ality   o f   cla s s if icatio n   lar g ely   d ep en d e n t  o n   th e  tex t   co r p u s   u s ed .   Fo r   in s tan ce ,   Sch m alz  an d   B r u tti  [ 1 6 ]   p r o p o s ed   an   alter n ativ e  ap p r o ac h   u s in g   a  B E R T - b ased   m o d el,   r ep o r tin g   s u cc ess   in   au to m ate d   C E FR   tex t  class i f icatio n   s u p p o r ted   b y   s ig n if ica n t  n u m er ical  d ata   [ 1 6 ] .   Ho we v e r ,   th e  p r ac tical  ap p licatio n   o f   th ese  m o d els  in   la n g u a g e  cl ass r o o m s   r em ain s   ch allen g in g .   B E R T - b ased   s y s tem s   r eq u ir e  e x ten s iv e  m an u al  d ata  lab elin g   f o r   tr ain in g ,   as  th e  p r e - t r ain ed   m o d el  is   b ased   o n   p lain   te x t  f r o m   s o u r ce s   lik e  t h e  E n g lis h   W ik ip ed ia  an d   th e  B r o wn   C o r p u s .   T h is   p r o ce s s   is   lab o r - in ten s iv e  a n d   m a y   b e  im p r ac tical  f o r   teac h er s   with   v ar y in g   lev els o f   tech n ical  liter ac y   [ 1 7 ] .   Oth er   s tu d ies  p r o p o s e  co m b i n in g   q u an titativ e  an d   q u alita tiv e  ap p r o ac h es  f o r   tex t  class if icatio n   u n d er   C E FR   g u id elin es.  Nat o v a  [ 1 5 ]   in tr o d u ce d   th r ee   q u an titativ e  to o ls :  i)   T h e  L ex ile   f r am ewo r k   f o r   r ea d in g ;   ii)  T h e  Fles ch   r ea d in g   ea s e  in d ex ;   an d   iii)  T h e  l ex ical  p r o f iler   in   T ex t  I n s p ec to r .   Fo r   q u alitativ e   ass es s m en t,  m an u al  a n aly s is   in co r p o r atin g   h u m an   ju d g m en t  o f   tex t  m ea n in g ,   s tr u ctu r e,   g r am m atica l   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   t h e  co n s is ten cy   o f  a u to ma ted   C E F R   a n a lyzer s :   a   s tu d y  o f E n g lis h   …   ( P iya th a t  S ir ip o l )   3285   co m p lex ity ,   an d   co g n itiv e  d e m an d   was  em p lo y ed .   W h ile  Nato v as  f in d in g s   [ 1 5 ]   in d icat e  th at  s u ch   to o ls   h o ld   p o ten tial,  th e  class if ica tio n   l ev els  h ea v ily   ap p ea r ed   to   b e  in f lu en ce d   b y   q u alitativ e  cr iter ia.   T h is   r aises   q u esti o n s   ab o u t  t h e  co n s is ten c y   an d   p r ec is io n   o f   au to m ated   to o ls   in   lev elin g   o r   b e n ch m a r k in g   tex ts   to   C E FR   lev els.   Qu an titativ e  as s ess m e n ts ,   as  s h o wn   b y   Nato v a  [ 1 5 ] ,   illu s tr ate  th e  v ar iab ilit y   o f   C E FR   cla s s if icatio n s   ac r o s s   d if f er e n t  au to m ated   to o ls ,   p o ten tially   lead in g   to   in ac cu r ate   in ter p r etatio n s   o f   tex t   d if f ic u lty .     T h e  in co n s is ten cy   s tem s   f r o m   th e  v ar y in g   f r am ewo r k s   an d   alg o r ith m s   u n d e r ly in g   th ese  t o o ls ,   n ec ess itatin g   fu r th er   ex p lo r atio n .   T h is   g ap   in   th e  liter atu r e   h ig h lig h ts   co n ce r n s   f o r   ed u ca to r s ,   m ater ial  d ev elo p er s ,   an d   tex t   wr iter s   [ 1 8 ] .     2 . 2 .   Aut o m a t ed  CE F R  t ex t   cl a s s i f ica t io n t o o ls   C u r r en tly ,   n u m er o u s   au to m a ted   to o ls   ar e  av ailab le  f o r   teac h er s   an d   m ate r ial  d ev elo p er s   to   b en ch m ar k   tex t  d if f icu lty   ag a in s t  C E F R   lev els.  T h ese  to o ls   f ac ilit ate  q u ick   a n aly s is   an d   p r o v id e   r esu lts   th at   g u id e  m ater ial  d ev elo p m en t  a n d   class r o o m   p r ac tices.  Sev e r al  to o ls ,   s u ch   as  C ath o v en   AI ,   T ex t  I n s p ec to r ,   an d   Pear s o n ’ s   Glo b al  Scale  o f   E n g lis h   ( GSE) ,   ar e  wid ely   u tili ze d   as v alid atio n   to o ls   in   lan g u ag e  r esear ch .     2 . 2 . 1 .   Ca t ho v en  AI   C ath o v en   AI ’ s   C E FR   C h ec k e r   ev alu ates  tex ts   b y   an aly zin g   lin g u is tic  f ac to r s   s u ch   a s   v o ca b u lar y ,   g r am m ar ,   s en ten ce   s tr u ct u r e,   an d   p h r ases .   A  u n iq u e  f ea tu r e  is   its   ab ili ty   to   p r o v id e  d ec i m al - lev el  p r ec is io n   f o r   C E FR   class if icat io n s .   Fo r   in s tan ce ,   a  tex t  m ig h t  b e  class if ied   as  A2 . 7 ,   in d icatin g   it  is   clo s e  to   B 1 .   Ho wev er ,   th e   to o l  d o es  n o t  p r o v id e   alg o r ith m ic  tr an s p a r e n cy   in   ex p lain in g   h o w  th ese  d ec im al  v alu es  ar e   d er iv ed   an d   m ay   leav e  u s er s   with o u t  in s ig h t  in to   th e  u n d e r ly in g   alg o r ith m s .   Desp ite  th is   l im itatio n ,   C ath o v en   AI   allo ws  u s er s   to   ex p lo r e   d etailed   C E FR   r ep o r ts   f o r   v o ca b u lar y ,   te n s e ,   clau s e,   an d   s en ten ce - lev el   class if icatio n s .   Stu d ies  h av e  em p lo y ed   C ath o v en   AI   f o r   t ex t  d if f icu lty   an aly s is   an d   C E FR   b en ch m ar k i n g ,   h ig h lig h tin g   its   p o ten tial a p p li ca tio n s   [ 1 9 ] ,   [ 2 0 ] .     2 . 2 . 2 .   G lo ba l Sca le  o f   E ng lis h   GSE  p r o v i d es  a  g r an u lar   p r o f i cien cy   s ca le  f r o m   1 0   to   9 0 ,   al ig n in g   with   C E FR   lev els.  I n it ially   u s ed   f o r   t h e  Pear s o n   T est  o f   E n g lis h   Aca d em ic   ( PTE   Aca d e m ic) ,   it  was  later   v alid ated   a g ain s t  s tan d ar d ized   test s   s u ch   as   in ter n atio n al  E n g lis h   lan g u ag e   test in g   s y s tem   o r   I E L T S  an d   test   o f   E n g lis h   as  a  f o r eig n   la n g u a g e  o r   T OE FL.   T h e  GSE  to o lk it  o f f er s   f ea tu r es  f o r   te x t  an aly s is ,   in clu d in g   C E FR   eq u iv alen cy   p o in ts ,   r ea d a b ilit y   m ea s u r es  ( e. g . ,   AR I ,   Fles ch - Kin ca id ,   an d   SMOG) ,   a n d   h ig h lig h ted   v o ca b u lar y   e x ce ed in g   cu r r en t  C E FR   lev els.  T h is   to o l  h as  b ee n   p a r ticu lar ly   ef f ec tiv e   f o r   ass ess in g   tex t  d if f icu lty   with   co n s is ten cy   an d   f in e - g r ain ed   in s ig h ts   in to   p r o f icie n cy   lev el s .     2 . 2 . 3 .   T ex t   I ns pect o r   T e x t   I n s p e c t o r   i s   a   we b - b a s e d   t o o l   t h a t   e m p l o y s   a  c o r p u s - b a s e d   a p p r o a c h ,   u t i l i zi n g   r e s o u r c es   s u c h   as  t h e   E n g l i s h   V o c a b u l a r y   P r o f i le   ( E V P ) ,   A c a d e m i c  W o r d   L i s t,   a n d   B r it i s h   N a ti o n a l   C o r p u s   ( B NC ) .   I t   ca l c u l at e s   m e t r i c s   l i k e   t y p e - t o k e n   r a t i o ,   s e n t e n c e   l e n g t h ,   a n d   s y l la b l e   c o u n t   t o   d e t e r m i n e   t e x t   d i f f i c u l t y .   A   n o t a b l e   f e a t u r e   i s   i ts   L e x ic a l   P r o f i l e ,   w h i c h   ag g r e g a t e s   v a r i o u s   m et r i cs   t o   a s s i g n   a   C E F R   l e v el .   De s p it e  i ts   c o m p r e h e n s i v e   c a p a b i l i ti e s ,   t h e   r e li a b i l it y   o f   r e s u l ts   d e p e n d s   o n   t h e   n u m b e r   a n d   c o m b i n a t i o n   o f   m e t r i c s   u s e d   [ 2 1 ] .     2 . 2 . 4 .   O x f o rd  T ex t   Check er   Ox f o r d   T ex t  C h ec k er   f o cu s es  o n   v o ca b u la r y   p r o f ilin g   b y   e x am in in g   tex t  co n ten t  ag ai n s t  ex ten s iv e  co r p o r a,   in clu d in g   th e   Ox f o r d   3 0 0 0   an d   Ox f o r d   5 0 0 0 - wo r d   lis ts .   Un lik e  o th er   to o ls ,   it  d o es  n o t  p r o v id e  a n   o v er all  C E FR   lev el  b u t  o f f er s   p er ce n tag es  o f   wo r d s   co r r e s p o n d in g   t o   d if f e r en t  C E FR   l ev els.  T h is   f ea tu r e   h elp s   u s er s   esti m ate  th e   p r o f i cien cy   lev el   o f   a  te x t,  alth o u g h   its   ap p licatio n   is   lim ited   t o   v o ca b u lar y - b ased   an aly s es.  T h e  in clu s io n   o f   wo r d lis ts   in to   ea ch   wo r d lis t  g r o u p ,   s u ch   as  Ox f o r d   3 0 0 0 ,   h as  u n d er g o n e  th r ee   co r e   cr iter ia:  f r eq u e n cy ,   r an g e,   an d   f am iliar ity .   T h e  d etails ar e  s u m m ar ized   in   T a b le  1 .         T ab le  1 .   Su m m a r y   o f   Ox f o r d   T ex t Ch ec k er   wo r d lis t   C a t e g o r y   o f   w o r d l i st   D e t a i l   o f   w o r d l i s t   C EFR   O x f o r d   3 0 0 0   A   l i s t   o f   t h e   3 , 0 0 0   c o r e   w o r d s t h a t   En g l i sh   l e a r n e r s  n e e d   t o   k n o w   A1 - B2   O x f o r d   5 0 0 0   A n   e x p a n d e d   w o r d l i st   f r o m  t h e   c o r e   w o r d l i st   f o r   a d v a n c e d   E n g l i sh   l e a r n e r s    B2 - C1   O x f o r d   p h r a s e   l i s t   6 5 0   c o mm o n   p h r a s e s  ( i d i o ms,   p h r a s a l   v e r b ,   c o l l o c a t i o n s ,   c o mm o n   c o mp l e men t a t i o n   p a t t e r n s,   mu l t i - h e a d w o r d s,  a l t e r n a t i v e   f o r ms  o f   h e a d   w o r d s)   f o r   l e a r n e r s   A1 - C1   O x f o r d   p h r a s a l   a c a d e m i c   l e x i c o n   I mp o r t a n t   w o r d s  t o   l e a r n   f o r   w r i t i n g   a n d   sp e a k i n g   a c a d e m i c   E n g l i s h   f r o m  O x f o r d   C o r p u s   o f   A c a d e m i c   E n g l i s h   ( O C A E)   a n d   B r i t i s h   A c a d e m i c   S p o k e n   E n g l i s h   ( B A S E )   N o t   a p p l i c a b l e       Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   14 ,   No .   4 ,  Au g u s t   20 25 :   3 2 8 3 - 3 2 9 4   3286   Ox f o r d   T ex t   C h ec k er   h ig h lig h ts   wo r d s   th at   ar e  f r o m   d i f f er en t  lev els  o f   C E FR .   W ith   th e  GSE  to o lk it ,   wo r d s   ar e  n o t  c o lo r - c o d ed   f o r   C E FR   lev el  co m p ar ed   to   t h e  Ox f o r d   T ex t  C h ec k er .   T h e  ad v an tag e  o f   th e   Ox f o r d   T ex t   C h ec k er   is   th at  i t  p r o v id es  p e r ce n tag es  o f   wo r d s   th at  ar e   in   th e  lis t  f r o m   A 1   to   C 1 .   Usi n g   t h is   to o l,  th e  u s er   will h a v e  an   o v e r v iew  o f   s tatis tics   th at  m o s t w o r d s   in   th e  te x t a r e  th at  o f   A2   o r   B 2   lev el.       2 . 2 . 5 .   Ro a d t o   g ra mm a r   R o ad   to   g r am m ar   ( R T G)   is   a n   an o n y m o u s   o n lin e   web s ite  cr ea ted   b y   a   lan g u ag e   teac h er   with   m o r e   th an   2 0   y ea r s   o f   ex p e r ien ce   teac h in g   E n g lis h   as  a  s ec o n d   an d   f o r ei g n   lan g u ag e  in   Asi an   co u n tr ies.  T h e   web s ite  o f f er s   E SL  m ater ials ,   g am es,  q u izze s ,   an d   r eso u r c es  f o r   E SL  teac h er s .   An   o n lin e  to o l  ca lled   ‘ tex t  an aly ze r ’   ( h ttp ://www. r o ad to g r am m ar . c o m /tex tan aly s is / )   is   also   av ailab le  f o r   E SL  t ea ch er s   to   u s e  to   d eter m in e  th e  a p p r o p r iate  lev el  o f   tex t  d if f icu lty   f o r   d if f er e n t  lev els  o f   s tu d en ts ’   p r o f icie n cy   ac co r d in g   t o   th e   C E FR .   T h e  d etail  o f   th e  to o l,  h o wev er ,   is   q u ite  lim ited   co m p ar e d   to   o th er   tex t  a n aly ze r   in s tr u m en ts ,   ex p lain in g   b r ief ly   th at  th e  a n aly ze r   f o c u s es  o n   th e  co m p lex ity   o f   lan g u a g e.   T h e  s u b m itted   tex t  will  b e  co m p ar ed   to   a  lis t  o f   th e  1 0 , 0 0 0   m o s t  u s ed   wo r d s   i n   E n g l is h   to g eth er   with   th e   p o s itio n   o n   th e  lis t  an d   th e   a v er ag e  wo r d   a n d   s en ten ce   len g th .   T h e  web   p a g e  d o es n o t c o n tain   th e  ty p e  o f   co r p u s   u s ed   o r   a  r ef er en ce   as to   wh ich   wo r d   lis t  is   a  r ef er e n c e  p o in t.  W ith   an   ea s y - to - u s e   in ter f ac e,   h o wev er ,   u s er s   ca n   in s er t  a  tex t  an d   s im p ly   g et  a  r atin g   o f   th e   C E FR   A2   to   C 2 .     2 . 2 . 6 .   Cha t G P T   C h atGPT ,   a  s o p h is ticated   lan g u ag e  m o d el  d ev elo p e d   b y   Op e n AI ,   h as  also   b ee n   u s ed   to   cla s s if y   tex ts   b y   C E FR   lev el.   L ev er ag in g   ad v an ce d   NL P   tech n iq u es,  C h atGPT   ev alu ates  lin g u is tic  f ea tu r es  lik e  v o ca b u lar y   s o p h is ticatio n ,   g r am m atica l  co m p lex ity ,   an d   s en ten ce   s tr u c tu r e.   Un lik e  tr ad itio n al  to o ls ,   it  u s es  tr an s f o r m er - b ased   ar ch itectu r es  tr ain ed   o n   d iv er s e  m u ltil in g u al  co r p o r a,   en ab lin g   it  to   p r o v id e  n u a n ce d   ass ess m en ts .   C h atGPT ’ s   in clu s io n   in   th is   s tu d y   h ig h lig h ts   th e  p o ten tial   o f   NL P - b ased   to o ls   to   co m p lem en t  tr ad itio n al  m eth o d s .   W h ile  ex is tin g   au to m ated   to o ls   ar e  wid ely   u s ed ,   th er e  i s   lim ited   r esear ch   th at  ex am in es  th eir   co n s is ten cy   in   g en er atin g   C E FR   cla s s if icatio n s .   Dif f er en ce s   in   alg o r ith m s   an d   f r am ewo r k s   m ay   r esu lt  in   v ar iab le  o u tp u ts ,   p o s in g   ch all en g es  f o r   ed u ca t o r s   an d   r esear ch er s .   Fo r   in s tan ce ,   to o ls   lik e  T ex t  I n s p ec to r   r ely   o n   lex ical  p r o f ilin g ,   wh ile  C h atGPT   em p lo y s   ad v an ce d   m a ch in e - lear n in g   tech n i q u es.  T h is   s tu d y   ad d r ess es  co n ce r n s   a b o u t  w h eth er   c u r r e n t  C E FR   an aly ze r   p r o g r am s   p r o v id e  co n s is ten t  r esu lts   wh en   class if y in g   lev eled   tex ts ,   aim in g   to   in f o r m   th ei r   ef f ec tiv e  u s e  in   lan g u ag e  teac h i n g   an d   ass ess m en t.       3.   M E T H O D   T h e  cu r r e n t stu d y   e m p lo y e d   a  q u an titativ e  d ata  an al y s is   ap p r o ac h   b y   id en tify i n g   co n g r u en c e  ac r o s s   tex t a n aly ze r   to o ls .   E ac h   to o l  was d esig n ed   s p ec if ically   f o r   lan g u ag e   an aly s is   p u r p o s es.  Deta ils   o f   th e  s am p le  tex ts   an d   d ata  an aly s is   ar e  p r o v id ed   in   t h e  f o llo win g   s ec tio n s .       3 . 1 .   Sa m ple t ex t s   a nd   t ex t s   re cr u it m ent   T h is   s tu d y   in clu d es 2 0   tex t sam p les f r o m   h ttp s ://l in g u a. co m   th at  o f f er   r ea d in g   tex ts   o f   v ar io u s   C E FR   lev els  in   m o r e  th an   ten   lan g u ag es,  in clu d in g   E n g lis h .   T h e  web s ite  was  ch o s en   as  it  claim s   to   o f f er   au th en tic  r ea d in g   m ater ials   d esig n ed   b y   ex p er ien ce d   E n g lis h   ed u ca to r s   to   s u p p o r t  v o ca b u lar y   r ec o g n itio n   an d   v ar iatio n   o f   s en ten ce   s tr u ctu r e  r ef lecte d   b y   d if f icu lty   lev els ( n o v ice,   in ter m ed iate,   an d   ad v an ce d ) .   C E FR   o f   A1   to   C 1   is   u s ed   to   in d icate   th e  d if f icu lty   lev els  o f   b asic  u s er s ,   in d ep en d en t  u s er s ,   an d   p r o f icien t  u s er s .   On   L in g u a. co m ,   r ea d er s   ca n   ev alu ate  th eir   p r o g r ess   an d   u n d er s tan d in g   th r o u g h   m u ltip le - ch o ice  q u izze s   o f f er ed   at  th e  en d   o f   r ea d in g   m ater ials .   I n   th is   s tu d y ,   t h e   E n g l i s h   l a n g u a g e   t e x t s   w e r e   c o l l e c t e d   i n   a   g r o u p   o f   1 0   C E F R   B 1   t e x t s   a n d   1 0   C E F R   B 2   t e x t s .   T h e r e   a r e   2 0   f r e e l y   a v a i l a b l e   t e x t s   w i t h   6 6   a d d i t i o n a l   t e x t s   f o r   s u b s c r i b e d   m e m b e r s   f o r   B 1 ,   a n d   t h e r e   a r e   t w o   f r e e l y   a v a i l a b l e   t e x t s   w i t h   3 3   a d d i t i o n a l   t e x t s   f o r   s u b s c r i b e d   m e m b e r s   f o r   B 2 .   A   d e s c r i p t i v e   g e n r e   w a s   u s e d   f o r   t h i s   s t u d y .   T h e   c r i t e r i a   f o r   t e x t   r e c r u i t m e n t   f o r   t h i s   r e s e a r c h   s t u d y   a r e   s h o w n   i n   T a b l e   2 .       T ab le  2 .   C r iter ia  f o r   tex t r ec r u itm en t   C r i t e r i a   D e t a i l   A c c e ss i b i l i t y   a n d   c o p y r i g ht   A n   a r t i c l e   mu st   b e   a c c e s si b l e   t o   p u b l i c   o n l i n e   o f f e r i n g   b o t h   a   b a s i c   ( f r e e )   a c c o u n t   a n d / o r   p a i d   a c c o u n t   o p t i o n s   C o p y r i g h t   o f   a n   a r t i c l e   d o e s  n o t   p r o h i b i t   r e a d e r s/ u sers  t o   a n a l y z e   t h e   d i sc o u r se  c o n t e n t   Te x t   s o u r c e   A n   a r t i c l e   mu s t   b e   f r o m  t h e   s a me   so u r c e     C EFR   l e v e l   i n d i c a t i o n   A n   a r t i c l e   t h a t   h a s  c l e a r   i n d i c a t o r   o f   B 1   o r   B 2     M i n i m u m   w o r d   c o u n t   A n   a r t i c l e   t h a t   c o n t a i n s  a   w o r d   c o u n t   o f   a t   l e a s t   1 5 0   w o r d s    Te x t   s t r u c t u r e   a n d   g e n r e   D e scri p t i v e   t e x t s   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   t h e  co n s is ten cy   o f  a u to ma ted   C E F R   a n a lyzer s :   a   s tu d y  o f E n g lis h   …   ( P iya th a t  S ir ip o l )   3287   3 . 2 .   CE F R  a na ly ze r  ins t rum ent s   T o   ar r iv e  at  th e   C E FR   r esu lt  f o r   ea ch   tex t,  C E FR   B 1   an d   B 2   tex ts   in d icate d   b y   th e  p u b lis h er /au th o r   wer e  co m p u ted   in to   f iv e   C E FR   tex t  an aly ze r   p r o g r am s   an d   o n e   lar g e   lan g u ag e   m o d el  to o l  ( C h atGPT   3 . 5 ) .  Fiv e  wid ely   u s ed   au to m ated   C E FR   tex t  an aly ze r s   ch o s en   f o r   th is   s tu d y   wer e   C ath o v en   AI ,   tex t  an aly ze r   ( R T G ),   GSE  ( Pear s o n ) ,   T ex t  I n s p ec to r   an d   Ox f o r d   T e x t  C h ec k er   ( Ox f o r d   L ea r n e r   Dictio n ar y ) .   T h ese  o n lin e   to o ls   ar e  ac ce s s ib le  o n lin e.     C ath o v en   AI   p r o v id es  m an y   au to m ated   te x t  an al y s is   f ea tu r es  s u ch   as  a   r ea d ab ilit y   a n a ly ze r   an d   C E FR   an aly ze r .   I n   th e   C E FR   an aly ze r ,   a  u s er   ca n   g en er at e  tex t  o u t p u t  r esu lts   with   a   g en er al  C E FR   lev el  b r ea k d o wn   f r o m   v o ca b u lar y ,   v er b   f o r m ,   a n d   clau s e.   Mo r eo v er ,   t h e  to o l  c o u ld   also   p r o v id e  lev el  m ap p in g   o f   p r o v id e d   tex t  to   th e  Am er ica n   C o u n cil  o n   th e  T ea c h in g   o f   Fo r eig n   L an g u ag es  ( AC T FL) ,   B r itis h   C o u n cil,   I E L T S,  an d   C am b r id g e   Scale.   T h e  v o ca b u lar y   b r ea k d o w n   in clu d es  v o ca b u lar y   k n o wl ed g e  d e m an d s .   T h e   Ox f o r d   5 0 0 0   wo r d lis t  was  u s ed   in   th is   s tu d y   as  it  is   an   e x p an d e d   c o r e  wo r d lis t  f o r   ad v an ce d   lear n er s   o f   E n g lis h ,   in clu d i n g   th e  2 0 0 0   w o r d s   f o r   lear n er s   at  B 2 - C 1 .     Ov er all,   ten   te x ts   o f   B 1   an d   te n   tex ts   o f   B 2   wer e   co m p u ted   f o r   C E FR   lev el.   T h is   ac c o u n ts   f o r   a   s u m   o f   twen ty   tex ts   to   b e  a u to m ati ca lly   an aly ze d .   As  m o s t  C E FR   an aly ze r   to o ls   p r o v id e  o n ly   q u an titativ e  r esu lts   b ased   o n   d if f er en t   m etr ics,  th e  d escr ip tiv e   ac co u n t  o f   a   tex t  is   o f ten   lim ited .   T h is   is   b ec au s e  class if icatio n   ap p r o ac h es  o f   C E FR   tex ts   co u ld   b e  f r o m   a   co r p u s - b ase d   ap p r o ac h   o r   a   co m p lex   m ath em atica l  m o d el   r ea d ab ilit y   ass ess m en t  [ 2 2 ] .   H en ce ,   C h atGPT   3 . 5   as  o n e  o f   t h e  ad v an ce d   lan g u ag e  m o d els   was  ad d ed   s in ce   it   h as  b ee n   tr ain ed   o n   a   v ast  c o r p u s   o f   te x ts   an d   co u ld   p r o v id e  co m p lex   m ath em atica l  m o d els  s u ch   as  Fles ch   Kin ca id   s co r e  t o   ar r iv e  at   a  p a r ticu lar   C E FR   lev el.   T h er e f o r e,   it  was  in clu d e d   as o n e   o f   th e  au to m ated   to o ls   t o   an aly ze   tex t  an d   class if y   tex ts   in to   C E F R   lev el.   T h e  p r o m p t  g iv en   to   th e  C h atGPT   3 . 5   was  “a n aly ze   a  tex t  g iv en   an d   class if y   it in to   C E FR   lev el . ”     3 . 3 .   Da t a   a na ly s is     T h e  an aly s is   in v o lv es  an   e v alu atio n   o f   t h e  co n s is ten cy   an d   ac cu r ac y   o f   th e  C E FR   tex t  class if icatio n   to o ls   b y   u s in g   d escr ip tiv e   s tatis tical  m ea s u r es  f o r   ea ch   to o l.   Fo r   ea ch   o f   th e   20   tex t   s am p le s ,   th e  C E FR   lev els   ass ig n ed   b y   th e   s ix   web - b ase d   to o ls   ( C h atGPT   3 . 5 ,  C ath o v en   AI ,   R T G  T ex t  An al y ze r ,   G SE,   T ex t  I n s p ec to r ,   an d   Ox f o r d   T ex t  C h ec k er )   a r e  r ec o r d ed .   T en   t ex ts   u s ed   f o r   d escr ip tiv e  s tatis tical   an aly s is   ar e  b ased   o n   th e   av ailab ilit y   o f   tex t  f r o m   th e  s am e  s o u r ce   o f   L in g u a. co m .   T o   f ac ilit ate  n u m er ical  an aly s is ,   C E FR   lev els  ar e  ass ig n ed   n u m er ical  v alu es:  A 1   as  1 ,   A2   as  2 ,   B 1   as  3 ,   B 2   as  4 ,   C 1   as  5 ,   an d   C 2   as  6 .   Usi n g   d escr ip tiv e  s tatis t ics  is   es s en tial  in   th is   p r o ce s s   as   th e  m ea n ,   m e d ian ,   m o d e,   a n d   s tan d a r d   d e v iatio n   ( SD)   o f   th e  ass ig n ed   C E FR   lev els  ar e  ca lcu lated   f o r   ea ch   to o l  to   s u m m ar ize   d atasets   in to   b asic  m ea s u r es,  m ak in g   it  ea s ier   to   co m p ar e  a n d   in ter p r et  t h e  p e r f o r m an ce   o f   ea ch   to o l.  T h e  m e an   p r o v id es a n   av er ag e  p r o f ici en cy   lev el  ass ig n ed   b y   ea ch   to o l w h ich   co u ld   o f f er   a  b en ch m ar k   f o r   co m p ar is o n .   T h e  m ed ian   in d icate s   th e  ce n t r al  ten d en cy   o f   th e  ass ig n ed   lev els,  an d   th e  m o d e  ca n   g iv e  th e  m o s t f r eq u en tly   a s s i g n ed   lev els,  wh ich   ca n   s h o w  wh er e  to o ls   m o s t   co m m o n l y   ag r ee .   SD   m ea s u r es  th e  v ar iatio n   o r   d is p er s io n   o f   th e  ass ig n ed   C E FR   lev els,  in d icatin g   th e  co n s is ten cy   o f   ea ch   to o l' s   class if icatio n s .   I t  m u s t  b e  n o ted ,   h o wev e r ,   th at   th e  s tu d y   d o es   n o t  i n ten d   to   a p p ly   p u r ely   d escr ip tiv e  s tatis tics   a s   a  m ajo r   an aly s is   m eth o d   s in ce :   i)   th e  n u m b er   o f   tex ts   is   lim it ed   to   o n ly   10   tex ts   an d   ii)  ea ch   au to m ated   to o l  u s es  a  d if f er en t  alg o r ith m   an d   f r am ewo r k   to   an aly ze   th e  tex ts   au to m atica lly .   As  a   r esu lt,  th e  g en er ate d   C E FR   le v el  an d   tex t c o n ten t a r e  u s ed   t o   q u alitativ ely   an al y ze   th e  r es u lt.       4.   RE SU L T S AN D  D I SCU SS I O N   T ab le  3   an d   Fig u r e  1   p r esen t  t h e  C E FR   lev els  ass ig n ed   b y   e ac h   to o l   f o r   th e  te n   B 1   tex ts .   T h e  m ea n   C E FR   lev el  a s s ig n ed   b y   C h atGPT   3 . 5   was  3 . 2 0 ,   in d icatin g   a  B 1   lev el,   with   a  m ed ian   o f   3 . 0 0   a n d   a  m o d e  o f   3 . 0 0 ,   s h o win g   a  c o n s is ten t  class if icatio n   with in   th e  B 1   r an g e.   T h e   SD  o f   0 . 4 2   s u g g e s ts   th at  it  h as  lo w   v ar iab ilit y   in   th e  class if icatio n s   b y   C h at  GPT3 . 5 .    C ath o v en   AI   v er s io n   2 . 0   ass ig n ed   a  m ea n   C E FR   lev el  o f   3 . 5   ( B 1 +) ,   s u g g esti n g   th at  m o s t  t ex ts   wer e  class if ied   with in   th e  u p p er - i n ter m ed iate  r a n g e  o f   in d ep e n d en t  u s er s .   T h e  m e d ian   a n d   m o d e  wer e  b o th   r ec o r d e d   at  3 . 0 0   ( B 1 ) ,   in d icatin g   th at   th e  m o s t  f r e q u en t   cla s s if icatio n   r em ain ed   at   th e   lo wer   en d   o f   th e   B 1   lev el.   T h e   SD   o f   0 . 7 0   r ev ea ls   a  h ig h e r   d eg r ee   o f   v a r iatio n   i n   th e   ass ig n ed   lev els,   s u g g esti n g   less   co n s is ten cy   in   co m p ar is o n   to   o th e r   an aly ze r s .   T h is   v ar iab ilit y   im p lies   th at  C ath o v en   AI   m ay   class if y   tex ts   with   m o r e   f lu ctu atio n ,   p o ten tially   in f l u en cin g   its   r eliab ilit y   f o r   p r ec is e  C E FR   al ig n m en t.   T h e  GSE   T ex t  A n aly ze r   ( Pear s o n )   co n s is ten tly   ass ig n ed   a  m ea n   C E FR   lev el  o f   4 . 0 5   ( B 2 ) ,   in d icatin g   th at  m o s t  tex ts   wer e  clas s if ie d   at  th e  u p p er - in ter m ed iate  le v el.   B o th   th e  m ed ian   an d   m o d e  wer e  r ec o r d e d   at  4 . 0 0   ( B 2 ) ,   co n f ir m in g   th at  th e   m ajo r ity   o f   class if icatio n s   r em ain ed   s tab le  at  th is   p r o f icien cy   lev el.   T h e  SD   o f   0 . 1 5   s u g g ests   m in im al  v a r ia tio n ,   d em o n s tr atin g   t h at  th e   to o l  p r o d u ce d   h ig h ly   co n s i s ten t  r esu lts   ac r o s s   d if f er en t  tex ts .   T h is   co n s is te n cy   in d icate s   th at  th e  GSE  T ex t  An a ly ze r   p r o v i d es  a  r eliab le  b en ch m ar k   f o r     B2 - lev el  tex t c lass if icatio n   wit h   litt le  f lu ctu atio n   in   its   ass ess m en ts .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   14 ,   No .   4 ,  Au g u s t   20 25 :   3 2 8 3 - 3 2 9 4   3288   T ex t  I n s p ec to r   ass ig n ed   a  m ea n   C E FR   lev el  o f   5 . 5 0   ( C 1 +) ,   i n d icatin g   t h at  m o s t  a n aly ze d   t ex ts   wer e  class if ied   with in   th e  ad v an ce d   p r o f icien cy   r a n g e.   B o th   th e  m ed ian   an d   m o d e  we r e  also   r ec o r d ed   at  5 . 5 0   ( C 1 +) ,   s h o win g   th at  th e  m o s t  f r eq u e n t  an d   ce n tr al  class if ica tio n s   r em ain ed   at  th e  s am e  le v el.   T h e  SD   o f   0 . 3 7   s u g g ests   th at  wh ile  th er e  was  s o m e  v ar iatio n   in   th e  ass ig n ed   lev els,  th e  class if icatio n s   d id   n o t  f lu ctu ate  d r asti ca lly .   Ov er all,   th is   r esu l t  in d icate s   th at  th e  T ex t  I n s p ec to r   co n s is ten tly   r ated   th e  tex ts   at  an   ad v an ce d   lev el  with   o n ly   m i n o r   d ev iatio n s   in   class if icatio n .   T h e  T e x t   A n al y ze r   ( R T G )   ass i g n e d   a   m ea n   C E FR   le v e l o f   4 . 7 0   ( B 2 + ) ,   s u g g esti n g   th at   t h e   m aj o r it y   o f   tex ts   w er e  cl ass if ie d   wit h i n   t h e   u p p e r - i n te r m e d ia te   t o   ad v an ce d   r a n g e .   T h e   m ed ia n   an d   m o d e  w e r e  b o t h   r e co r d e d   at   5 . 0 0   ( C 1 ) ,   i n d ic ati n g   th at   t h e   m o s t   co m m o n   c las s if i ca t io n   p la ce d   te x ts   a t  t h e   p r o f i cie n t   l e v el .   T h e   SD   o f   0 . 4 8   r ef lec ts   m o d e r at e   v a r i ab ilit y ,   m ea n i n g   t h at   w h il e  s o m e   t e x ts   we r e   r ate d   l o w er   o r   h i g h e r ,   t h e   t o o l   m ai n t ai n e d   a   r el ati v e ly   s t a b le   class i f i ca t io n   t r e n d .   T h is   p att e r n   s u g g ests   t h a t  R T G   te n d s   t o   ass ig n   C E FR   l ev els   in   a   r an g e  b e twe en   B 2 +   a n d   C 1 ,   d e m o n s t r ati n g   a  d e g r e e  o f   c o n s is te n cy   b u t w it h   n o ti ce ab le   f l u ct u ati o n s .   T h e  Ox f o r d   T ex t  C h ec k er   p r o v id ed   o n ly   wo r d   p er ce n tag e   d ata  r ath er   th an   ass ig n in g   a n   o v er all   C E FR   lev el  to   th e  tex ts .   T h e  r esu lts   in d icate d   th at  th e  m ajo r ity   o f   wo r d s   in   th e  an al y ze d   te x ts   wer e  class if ied   at  th e  A1   lev el,   r ef lectin g   b asic  v o ca b u lar y   u s ag e.   Ad d itio n a lly ,   wo r d s   at   th e  B 1   lev el  ac c o u n ted   f o r   o n ly   5 %   to   8 %  o f   th e  to tal  wo r d   co u n t,   s u g g esti n g   lim ited   lex ical  co m p lex ity .   T h is   d ata  im p lies   th at  th e  Ox f o r d   T e x t   C h ec k er   ten d s   to   class if y   tex t s   at  a  lo w er   p r o f icien c y   lev el   b ased   p r im ar ily   o n   wo r d   f r e q u en cy   r ath er   th a n   b r o ad e r   lin g u is tic  f ea tu r es.       T ab le  3 .   Au to m ated   C E FR   an aly ze r   f o r   B 1   tex ts   Ti t l e   o f   te xt   To t a l   w o r d   c o u n t   C h a t G P T  3 . 5   C a t h o v e n   A I   V e r si o n   2 . 0   ( g e n e r a l   l e v e l )   G S E  Te x t   A n a l y z e r   ( P e a r so n )   Te x t   I n sp e c t o r   ( o v e r a l l   l e x i c a l   p r o f i l e )   Te x t   A n a l y z e r   ( R TG )   O x f o r d   Te x t   C h e c k e r   ( O x f o r d   Le a r n e r   D i c t i o n a r y )   W o r d l i s t   O x f o r d   5 0 0 0   Th e   Em p i r e   S t a t e   B u i l d i n g   2 4 7   3   ( B 1 )   3   ( B 1 )   4   ( B 2 )   5 . 5   ( C 1 + )   5   ( C 1 )   A 1   ( 7 1 %)   ( W i t h   B 1   a t   5 %)   S a n   F r a n c i sc o   2 6 0   4   ( B 2 )   3   ( B 1 )   4   ( B 2 )   5   ( C 1 )     4   ( B 2 )   A 1   ( 7 1 %)   ( W i t h   B 1   a t   4 %)   C h i c a g o   2 3 6   4   ( B 2 )   3   ( B 1 )   4   ( B 2 )   5   ( C 1 + )   5   ( C 1 )   A 1   ( 6 6 %)   ( W i t h   B 1   a t   6 %)   Th e   S t a t u e   o f   Li b e r t y   2 4 8   3   ( B 1 )   4   ( B 2 )   4   ( B 2 )   6   ( C 2 )   5   ( C 1 )   A 1   ( 6 9 %)   ( W i t h   B 1   a t   8 %)   Th e   G r a n d   C a n y o n   2 5 2   3   ( B 1 )   4   ( B 2 )   4   ( B 2 )   5 . 5   ( C 1 + )   4   ( B 2 )   A 1   ( 6 9 %)   ( W i t h   B 1   a t   8 %)   Lo s A n g e l e s   2 1 9   3   ( B 1 )   4   ( B 1 )   4 . 5   ( B 2 + )   5 . 5   ( C 1 + )   5   ( C 1 )   A 1   ( 6 1 %)   ( W i t h   B 1   a t   6 %)   M i a mi   2 5 3   3   ( B 1 )   3   ( B 1 )   4   ( B 2 )   5 . 5   ( C 1 + )   5   ( C 1 )   A 1   ( 7 0 %)   ( W i t h   B 1   a t   2 %)   W a sh i n g t o n ,   D . C .   1 9 2   3   ( B 1 )   3   ( B 1 )   4   ( B 2 )   5 . 5   ( C 1 + )   4   ( B 2 )   A 1   ( 6 5 %)   ( W i t h   B 1   a t   2 %)   Y e l l o w st o n e   N a t i o n a l   P a r k   2 6 8   3   ( B 1 )   3   ( B 1 )   4   ( B 2 )   6   ( C 2 )   5   ( C 1 )   A 1   ( 6 9 %)   ( W i t h   B 1   a t   4 %)   V a l e n t i n e ’ s Da y     1 7 1   3   ( B 2 )   5   ( C 1 )   4   ( B 2 )   6   ( C 2 )   5   ( C 1 )   A 1   ( 6 3 %)   ( W i t h   B 1   a t   4 %)   M e a n   ( C EF R   l e v e l )   -   3 . 2 0   ( B 1 )   3 . 5   ( B 1 + )   4 . 0 5   ( B 2 )   5 . 5 0   ( C 1 + )   4 . 7 0   ( B 2 + )   -   M e d i a n   ( C EF R   l e v e l )   -   3 . 0 0   ( B 1 )   3 . 0 0   ( B 1 )   4 . 0 0   ( B 2 )   5 . 5 0   ( C 1 + )   5 . 0 0   ( C 1 )   -   M o d e   ( C EF R   l e v e l )   -   3 . 0 0   ( B 1 )   3 . 0 0   ( B 1 )   4 . 0 0   ( B 2 )   5 . 5 0   ( C 1 + )   5 . 0 0   ( C 1 )   -   SD   -   0 . 4 2   0 . 7 0   0 . 1 5   0 . 3 7   0 . 4 8   -           Fig u r e  1 .   Au t o m ated   C E FR   an aly ze r   m ap p i n g   f o r   B 1   te x ts   T EX T   1         T EX T   2       T EX T 3         T EX T   4             T EX T   5           T EX T   6             T EX T   7         T EX T   8         T EX T   9       T EX T   1 0   A 1          A 2           B1        B2         C1           C2        Ch a tG P T   3 . 5 Ca th o v e n   A I RT G   T e x t  A n a ly se r G S E T e x t  In sp e c to r Ox f o rd Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   t h e  co n s is ten cy   o f  a u to ma ted   C E F R   a n a lyzer s :   a   s tu d y  o f E n g lis h   …   ( P iya th a t  S ir ip o l )   3289   T ab le  4   an d   Fig u r e  2   s h o w  th e   C E F R   lev els   ass ig n ed   b y   ea c h   to o l  f o r   th e  ten   B 2   tex ts .   C h atGPT   3 . 5   h ad   a   m ea n   C E FR   lev el  o f   3 . 5 0   ( B 1 /B 2 ) ,   with   a  m e d ian   o f   3 . 5 0   ( B 1 /B 2 )   a n d   a   m o d e  o f   3 . 0 0   ( B 1 ) .   T h e  SD   was 0 . 5 3 ,   in d icatin g   m o d er ate  v ar iab ilit y .     C ath o v en   AI   V er s io n   2 . 0   ass ig n ed   a  m ea n   C E FR   lev el  o f   3 . 4 0   ( B 1 ) ,   i n d icatin g   th at  m o s t  tex ts   wer e  class if ied   with in   th e  lo wer - in ter m ed iate  r an g e.   T h e  m ed i an   an d   m o d e  wer e  b o th   r ec o r d ed   at  3 . 0 0   ( B 1 ) ,   s u g g esti n g   th at  th e  m ajo r ity   o f   class if icatio n s   clu s ter ed   ar o u n d   th e  B 1   lev el.   T h e  SD   o f   0 . 5 2   r ef lects m o d er at e   v ar iab ilit y ,   m ea n in g   th at  s o m e  tex ts   wer e  r ated   s lig h tly   ab o v e  o r   b el o w  th is   lev el.   T h is   d eg r ee   o f   f lu ctu atio n   s u g g ests   th at  wh ile  C ath o v e n   AI   g en e r ally   alig n s   with   th e   B 1   class if icatio n ,   its   ass es s m en ts   m ay   n o t  alw ay s   b e  en tire ly   co n s is ten t.   T h e  GSE  T e x t  An aly ze r   ass ig n ed   a   m ea n   C E FR   lev el  o f   4 . 0 5   ( B 2 ) ,   s u g g esti n g   t h at  m o s t  tex ts   wer e   co n s is ten tly   class if ied   with in   th e  u p p er - in ter m ed iate   p r o f i cien cy   r a n g e.   B o th   th e   m ed i an   an d   m o d e  wer e   r ec o r d e d   at  4 . 0 0   ( B 2 ) ,   co n f ir m in g   th at  th e  m ajo r ity   o f   class if icatio n s   alig n ed   clo s ely   wit h   th is   lev el.   T h e  SD   o f   0 . 1 5   in d icate s   v er y   l o w  v ar iab ilit y ,   m ea n in g   th at  th e  to o l   p r o d u ce d   h ig h ly   s tab le  an d   r eliab le  r esu lts .   T h is   co n s is ten cy   s u g g ests   th at   th e   GSE  T ex t  An aly ze r   is   a   d e p e n d ab le   r eso u r ce   f o r   ass ess in g   tex t  d if f ic u lty   at   th e  B 2   lev el  with   m in im al  f lu ctu at io n .   T ex t  I n s p ec to r   ass ig n ed   a  m ea n   C E FR   lev el  o f   5 . 5 5   ( C 1 +) ,   in d icatin g   th at  m o s t  tex ts   wer e   class if ied   at  an   ad v an ce d   p r o f icien cy   lev el.   B o th   th e  m ed ia n   an d   m o d e  wer e  r ec o r d e d   a t  5 . 5 0   ( C 1 +) ,   s u g g esti n g   a   s tr o n g   co n ce n tr atio n   o f   class if icatio n s   at  th is   lev el.   T h e  SD   o f   0 . 5 0   r ef lects  s o m e  v ar ia b ilit y ,   b u t  o v er all,   th e   to o l m ain tain ed   a   co n s is ten t c lass if icatio n   with in   th e  C 1 +  r an g e.   T h e  T ex t   An aly ze r   ( R T G)   as s ig n ed   a  m ea n   C E FR   lev e l  o f   4 . 2 5   ( B 2 ) ,   s u g g esti n g   t h at  m o s t  tex ts   wer e  class if ied   at   th e  u p p er - in ter m ed iate  lev el.   B o th   th e  m ed ian   an d   m o d e  wer e  r ec o r d ed   at  4 . 0 0   ( B 2 ) ,   r ein f o r cin g   th e   co n s is ten cy   o f   th is   class if icatio n .   T h e  SD   o f   0 . 5 2   i n d icate s   m o d e r ate  v ar ia b ilit y ,   m ea n in g   th at   s o m e  tex ts   wer e  r ated   s lig h tly   h ig h er   o r   lo wer   t h an   B 2 .   L astl y ,   th e  Ox f o r d   T ex t Ch ec k er   p r o v i d ed   o n l y   wo r d   p e r ce n t ag e  d ata  r ath er   th an   ass ig n in g   a  s p ec if ic  C E FR   lev el.   T h e  r esu lts   s h o wed   th at   m o s t  wo r d s   in   th e   an aly ze d   tex ts   wer e   class if ie d   at   th e  A1   lev e l,   in d icatin g   a  b asic  v o ca b u lar y   r an g e.   T h is   s u g g ests   th at  th e  t o o l  ten d s   to   class if y   tex ts   at  a   lo wer   p r o f icien cy   lev el  b ased   p r im ar ily   o n   w o r d   f r eq u e n cy .   T h e  k ey   r esu lts   o f   th is   s tu d y   i n d icate   s u b s tan tial   in co n s is ten cy   am o n g   v ar i o u s   au to m ated   C E FR   tex t   c lass if icatio n   to o ls ,   h ig h lig h ti n g   s ig n if ican t   ch allen g es  in   t h e  f ield   o f   te x t  d if f ic u lty   an d   ass ess m en t  an d   its   ap p licatio n s   in   ed u ca tio n al  s et tin g s .   T h e  r esu lt  o f   th e  s tu d y   i s   in   lin e  with   Nato v a  [ 1 5 ]   r e g ar d in g   th e  u s e  o f   a  q u an titativ e  f r am ewo r k   in   m a p p i n g   C E FR   lev el  o f   a  tex t  u s in g   q u a n titativ e  m ea s u r es.  I n   Nato v a’ s   [ 1 5 ]   s tu d y ,   th r ee   q u an titativ e  to o ls   wer e  p r o p o s ed   r elatin g   to   th e  L e x ile  Fra m ewo r k   f o r   R ea d in g   an d   t h e  L ex ile  An aly ze r ,   th e  Fles h   R ea d in g   E ase  in d ex   an d   th e  lex ical  p r o f iler   T e x t  I n s p ec to r .   C o m p ar e d   to   Nato v a’ s   [ 1 5 ]   s tu d y ,   h o wev er ,   a d d itio n al  web - b ased   to o ls   d esig n ed   s p ec if ically   t o   m ap   tex t  d if f icu lty   alig n in g   to   a  s p ec if ic  C E F R   lev el  ar e  in v esti g ated   s u ch   as  th e  AI   C ath o v e n   a n d   Pe ar s o n   GSE .  T h ese  in co n s is ten cies  r aise  cr itical  q u esti o n s   ab o u t  th e   r eliab ilit y   an d   ac c u r ac y   o f   th ese  a u to m ated   to o ls ,   wh ich   ar e   ess en tial  f o r   teac h er s ,   m ater ial  d ev elo p e r s ,   an d   la n g u ag e  ass ess m en t p r o f ess io n als.         T ab le  4   Au to m ate d   C E FR   an aly ze r   f o r   B 2   tex ts   Ti t l e   o f   t e x t   To t a l   w o r d   c o u n t   C h a t G P T  3 . 5   C a t h o v e n   A I   V e r si o n   2 . 0   ( g e n e r a l   l e v e l )   G S E  Te x t   A n a l y z e r   ( P e a r so n )   Te x t   I n sp e c t o r   ( o v e r a l l   l e x i c a l   sca l e )   Te x t   A n a l y z e r   ( R TG )   O x f o r d   Te x t   C h e c k e r   ( O x f o r d   Le a r n e r   D i c t i o n a r y )   W o r d l i s t   O x f o r d   5 0 0 0   La s Ve g a s   2 1 4   3   ( B 1 )   3   ( B 1 )   4   ( B 2 )   5   ( C 1 )   4   ( B 2 )   A 1   ( 6 9 %)   ( W i t h   B 2   a t   4 %)   Li e c h t e n st e i n   1 5 2   3   ( B 1 )   3   ( B 1 )   4   ( B 2 )   5 . 5   ( C 1 + )   4   ( B 2 )   A 1   ( 7 0 %)   ( W i t h   B 2   a t   5 %)   Tr i p   t o   N e w   Y o r k   2 2 2   3   ( B 1 )   3   ( B 1 )   3 . 5   ( B 1 + )   4 . 5   ( B 2 + )   3   ( B 1 )   A 1   ( 8 5 %)   ( W i t h   B 2   a t   1 %)   S a n t a   C l a u s   a r o u n d   t h e   W o r l d   1 8 0   3   ( B 1 )   4   ( B 2 )   4 . 5   ( B 2 + )   5   ( C 1 )   4   ( B 2 )   A 1   ( 7 0 %)   ( W i t h   B 2   a t   2 %)   B o s t o n   2 6 0   4   B2   3   ( B 1 )   4 . 5   ( B 2 )   5 . 5   ( C 1 + )   4   ( B 2 )   A 1   ( 6 8 %)   ( W i t h   B 2   a t   5 %)   C r u i se  S h i p s :   F l o a t i n g   M a r v e l s  o f   M a r i n e   Li f e   2 3 3   3   ( B 1 )   3   ( B 1 )   4 . 5   ( B 2 + )   5 . 5   ( C 1 + )   6   ( C 2 )   A 1   ( 6 7 %)   ( W i t h   B 2   a t   1 0 %)   B e n j a mi n   F r a n k l i n   a n d   t h e   K i t e   2 0 2   4   ( B 2 )   4   ( B 2 )   4   ( B 2 )   6   ( C 2 )   5   ( C 1 )   A 1   ( 5 9 %)   ( W i t h   B 2   a t   6 %)   H o t   A i r   B a l l o o n s:   A   F u n   H i st o r y   2 6 4   4   ( B 2 )     4   ( B 2 )   4   ( B 2 )   6 . 5   ( C 1 + )   5   ( C 1 )   A 1   ( 7 3 %)   ( W i t h   B 2   a t   7 %)     Th e   l o n g e st   a n d   mo s t   sce n i c   Tr a i n   R i d e   1 9 9   4   ( B 2 )   4   ( B 2 )   4   ( B 2 )   5   ( C 1 )   4   ( B 2 )   A 1   ( 7 2 %)   ( W i t h   B 2   a t   2 %)   A n i m a l   3 2 3   4   ( B 2 )   3   ( B 1 )   4   ( B 2 )   6   ( C 2 )   5   ( C 1 )   A 1   ( 7 8 %)   ( W i t h   B 2   a t   5 %)   M e a n   ( C EF R   l e v e l )   -   3 . 5 0   ( B 1 + )   3 . 4 0   ( B 1 )   4 . 0 5   ( B 2 )   5 . 5 5   ( C 1 + )   4 . 2 5   ( B 2 )   -   M e d i a n   ( C EF R   l e v e l )   -   3 . 5 0   ( B 1 + )   3 . 0 0   ( B 1 )   4 . 0 0   ( B 2 )   5 . 5 0   ( C 1 + )   4 . 0 0   ( B 2 )   -   M o d e   ( C EF R   l e v e l )   -   3 . 0 0   ( B 1 )   3 . 0 0   ( B 1 )   4 . 0 0   ( B 2 )   5 . 5 0   ( C 1 + )   4 . 0 0   ( B 2 )   -   SD   -   0 . 5 3   0 . 5 2   0 . 1 5   0 . 5 0   0 . 5 2   -   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   14 ,   No .   4 ,  Au g u s t   20 25 :   3 2 8 3 - 3 2 9 4   3290       Fig u r e  2 .   Au t o m ated   C E FR   an aly ze r   m ap p i n g   f o r   B 2   t ex t       T h e  v ar iab ilit y   in   C E FR   lev els  as s ig n ed   b y   d if f e r en t  to o ls   f o r   th e  s am e  tex ts   u n d er s co r es  th e   co m p lex ity   o f   au to m ate d   tex t   class if icatio n .   Fo r   in s tan ce ,   th e  C h atGPT   3 . 5   m o d el  a n d   C ath o v en   AI   o f te n   p r o v id e d   d if f e r en t  C E FR   lev el s   co m p ar ed   to   tr ad itio n al  to o l s   lik e  th e  GSE   T ex t  An aly ze r   an d   T ex t  I n s p ec to r .   T h is   v ar iab ilit y   ca n   b e  attr ib u ted   to   th e  d is tin ct  alg o r ith m s   an d   lin g u is tic  f ea tu r es  ea ch   to o l  em p h asizes.   C h atGPT ,   f o r   ex am p le,   u tili ze s   ad v an ce d   NL P   tech n iq u es,  wh er ea s   GSE  an d   T ex t  I n s p ec to r   r ely   o n   m o r e   tr ad itio n al  r ea d a b ilit y   m etr ics  an d   lex ical  p r o f ilin g   f r a m ewo r k s .  T h e  m ea n   C E FR   lev els  ass ig n ed   b y   th e  to o ls   s h o w  a  r a n g e   f r o m   B 1   to   C 1 +   f o r   B 1   tex ts   an d   f r o m   B 1   to   C 2   f o r   B 2   tex ts .   Su ch   b r o ad   r an g es  in d icate   a   lack   o f   co n s en s u s   am o n g   t h e  to o ls ,   wh ich   co u ld   lead   to   ch allen g es  in   s tan d ar d izin g   tex t  d if f icu lty   lev els  ac r o s s   d if f er en t e d u ca tio n al  co n te x ts   f o r   teac h er s ,   m ater ial  d ev el o p er s ,   an d   ev en   p o licy m ak er s .   A lig n m en t v alid ity   is   a  co n ce r n   f o r   C E FR   [ 2 3 ]   an d   ca n   b e  a   ch allen g e   in   p r o v id in g   c o h er e n t  r esu lts .   Fo r   in s tan ce ,   it  is   s till   q u esti o n ab le  wh et h er   d if f er e n t  r ea d er s   at   th e  s am e   B 2   lev el  c an   p er f o r m   all  th e   task s   d escr ib ed   in   A1   a n d   A2 .   An   o n g o in g   d is cu s s io n   o f   wh eth er   to   tak e  lin g u is tic  q u ality   an d   q u an tity   as  a  m ea s u r e  o f   lan g u ag e  a b ilit y   is   s till   in   q u esti o n .   T h er e  is   n o   e m p ir ical  ev id en ce   to   s u p p o r t  t h at  lan g u ag e  lear n er s   at  a  B 2   lev el  ca n   d o   all  th e   A2   task s   to   r ea ch   B 2 .   He n ce ,   m o r e  r esear ch   is   n ee d ed   to   ex p lo r e  d if f er en t  d im en s io n s   o f   C E FR   th at  a r e  s till   u n k n o wn .   Fo r   in s tan ce ,   it c o u l d   b e  s ee n   f r o m   th e  f in d in g s   th at  th e  to p ic  o r   co n ten t o f   a  p ass ag e  m ay   in f lu en ce   th e  o v er all  o u tco m e  o f   C E FR   lev el  b y   au t o m ated   in s tr u m e n t s .     I t  is   n o tewo r th y   to   m en tio n   th at  ac r o s s   th ese  ten   B 1   tex ts ,   9   o u t  o f   1 0   s to r ies  ar e  ab o u t   ‘ lo ca tio n ’ ,   with   o n e  a b o u t  a n   ev e n t  ( Val en tin e’ s   Day ) .   E x am in in g   th e   au to m ated   in s tr u m en ts   u s ed ,   i t  ap p ea r s   th at  m o s t  au to m ated   in s tr u m e n ts   m ap   o n e  lev el  m o r e  ad v a n ce d   f o r   th e  C E FR .   Fo r   in s tan ce ,   C h at  G PT  3 . 5 ,   an   NL P   to o l   with   a  m ac h in e  lear n in g   alg o r ith m ,   g e n er ated   a  tex t   ab o u t  Vale n tin e’ s   Day   to   b e   at  th e   l ev el  o f   B 2   wh e r ea s   th e  m ajo r ity   o f   o th er   to o ls   m a p   th e  p ass ag e  to   b e  at  a  B 1   lev el.   Similar ly ,   th e   r esu lt  f r o m   th e  B 2   tex ts   s h o ws   th at  wh en   a  p ass ag e  is   ab o u t   a  ‘ lo ca tio n ’ ,   C h at  GPT  3 . 5   t en d s   to   m ap   th em   to   b e  at  t h e  B 1   lev el,   with   h is to r ical  tex t  p ass ag es  ( B en jam in   Fra n k lin   an d   t h e  Kite  a n d   Ho t  Air   B allo o n s :  A  Fu n   His to r y )   an d   with   h is to r ical  ev en ts   ( T h e  lo n g es t  an d   m o s t  s ce n ic  T r ain   R id e)   to   b e  at   th e  B 2   lev el.   C o m p ar in g   th e  r esu lt  b etwe en   C h atGPT   3 . 5   an d   t h e  lex ical  p r o f ile  f r a m ewo r k   b y   T ex t   I n s p ec to r   f r o m   th e   B 1   p ass ag es,  T e x t   I n s p ec to r   m a p s   an   o v er all  C E FR   o f   a  s to r y   ab o u t  v alen ti n e’ s   d ay   to   b e  at  C 2   lev el  wh er e  th e  m ajo r ity   p ass ag es  r elatin g   to   ‘ lo ca tio n ’   ar e  at  th e  C 1   an d   C 1 +  le v el.   Similar   to   th e  p ass ag es  f r o m   B 2   tex ts ,   th e  lex ical  p r o f ile  f r a m ewo r k   b y   T e x t  I n s p ec to r   m ap s   th e  o v er all  C E FR   lev el  o f   co n ten t  ab o u t  ‘ lo ca ti o n ’   to   b e  at  B 1 +  to   C 1 .   Ho wev er ,   wh en   th e   p ass ag es  ar e  a b o u t   ‘ a n im al’   o r   ‘ h is to r y ’ ,   th e  r esu lt  ch a n g es  t o   C 2   ( An im al  a n d   B en jam in   Fra n k lin   an d   th e  Kite) .   Her e,   it  is   p o s s ib le  th at  co n ten t  an d   wo r d s   u s ed   with in   d if f er en t  tex t  g en r es   m ay   in f lu e n ce   th e  o v er all  C E FR   lev el,   s im ilar   to   th e  co n tex t  o f   p r e v io u s   s tu d ies  [2 4 ] ,   [ 2 5 ] .   No t  o n ly   d o es  th e   tr ad itio n al   lex ical  p r o f ile  f r am ew o r k   f r o m   T ex t  I n s p ec to r   s h o w  an   i n ter esti n g   r esu lt th at  m ay   b e  in f lu en ce d   b y   wh at  th e  s to r y   is   ab o u t in   g en er atin g   th e  o v e r all  C E FR   b u t a ls o   th e  C a th o v en   AI   v er s io n   2 . 0 .   Fro m   B 1   tex ts ,   C ath o v en   AI   g en er ated   9   o u t   o f   1 0   tex ts   ab o u t  a  lo ca tio n   t o   b e  at  B 1 - B 2   lev el   with   o n ly   o n e  to   th e  C 1   lev el.   Similar   to   th e  p r ev io u s   au to m ated   in s tr u m en ts ,   C ath o v e n   AI   g en er ated   an   o v er all  C E FR   lev el  f o r   v alen tin e’ s   d ay   to   b e  C 1 .   Similar   t o   th e  g r o u p   o f   B 1   tex ts ,   C ath o v en   AI   ap p ea r s   to   T E XT   1              T E XT   2            T E XT   3          T E XT   4                T E XT   5          T E X T   6            T E XT   7          T E XT   8            T E XT   9            T E XT   10 A 1             A 2                 B1                   B2                 C1             C2 Ch a tGP T   3 . 5 C ath o v en   A I R T G  T ex t A n aly s er GSE T ex t I n s p ec to r Ox f o r d Evaluation Warning : The document was created with Spire.PDF for Python.
I n t  J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E va lu a tin g   t h e  co n s is ten cy   o f  a u to ma ted   C E F R   a n a lyzer s :   a   s tu d y  o f E n g lis h   …   ( P iya th a t  S ir ip o l )   3291   r ate  m o s t  B 2   te x ts   as  B 1   with   o n ly   a  f ew  at  B 2 ,   esp ec ially   wh en   th e   to p ic   is   r elate d   t o   h i s to r ical  tex t  ty p es.   T h is   s h o ws  th at  th e  tex t  ab o u t  v alen tin e’ s   d ay   m ay   co n tain   wo r d s ,   p h r ases ,   o r   g r am m a tical  s tr u ctu r es  th at  m ay   b e  m o r e  c o m p lex   o r   in f r eq u en t.  C o m p a r ed   to   all  au t o m ated   in s tr u m en ts ,   T ex t  I n s p ec to r   m ap s   a  tex t   ab o u t  v alen tin e’ s   d a y   to   b e  at  th e  h ig h est  lev el   o f   C E FR   at  C 2 .   T o   ex a m in e  f u r th er ,   th e  s co r ec ar d   f r o m   T ex t   I n s p ec to r   was  in v esti g ated   wh ich   s h o ws  th at  th e  o v e r all  C E FR   d eter m in ed   b y   t h e  lex ical  s o p h is ticatio n   f r o m   th e  E VP  an d   B N C   is   at  C 2 +.   T h is   in d icate s   th at  alth o u g h   a  co r p u s - b ased   ap p r o ac h   m ay   p r o v i d e  u s er s   with   f ast  an d   c o n s is ten t  r esu lts   in   g en er atin g   tex t  d if f icu lty   b as ed   o n   th e   C E FR   g u id elin es,  t h e  ac cu r ac y   o f   th e   g en er ated   C E FR   in d icato r   f o r   a  p ar ticu lar   tex t  n ee d s   to   b e  ca r ef u lly   in ter p r eted .   Pre v io u s   s tu d ies  h av e  ex p lo r ed   d if f e r en t  asp ec ts   o f   C E FR   lin g u is tic  f ea tu r es  u s in g   a  co r p u s - b ased   ap p r o ac h ,   b u t  m o s t  r elate s   to   id en tifia b le  f ea tu r es,  n o t c o n c ep tu al  ass o cia tio n   [ 2 6 ] – [ 2 8 ] .   T h e  GSE   T ex t  An aly ze r   b y   P ea r s o n   p r o v id es  a  v e r y   co n s is ten t  r esu lt  ( S D= 0 . 1 5 ) .   I t  ca n   b e  s ee n   in   Fig u r e  1   th at  th e  o v er all  C E FR   r esu lt  g en er ated   b y   th e  GSE  tex t  an aly ze r   is   v er y   co n s is ten t  alth o u g h   th e   in ten d ed   lev el  o f   B 1   m ay   n o t  m atch .   Sin ce   th e  GSE  tex t  an aly ze r   g en er ated   th e  v alen ti n e ’ s   d ay   tex t  to   b e  at   B 2 ,   an o th er   tex t   was  u s ed   to   co m p ar e  ( T h e  Gr a n d   C an y o n )   wh ich   m ap p ed   t o   b e   at  th e  s a m e  B 2   lev el  b y   th e   GSE  T ex t  An aly ze r   ( th e   C E FR   lev el  o f   T h e  Gr a n d   C an y o n   is   d if f er en t  w h en   c o m p ar e d   b y   o th er   tex t  an al y ze r   p r o g r a m s ) .   Alig n m en t  o f   s co r es  o f   th e  GSE   s ca le  to   th e  C E FR   is   s h o wn   in   T ab le   5 .   T h e  GSE  s ca le  f o r   v alen tin e’ s   d ay   is   at  6 4 - 6 8   w h er ea s   T h e  Gr an d   C an y o n   is   at  6 2 - 6 6 .   T h e  GSE  r a n g e  f o r   B 1 2   is   at  5 9 - 7 5 ,   th er ef o r e,   t h e  r esu lt g en er ate d   b y   th e  GSE  tex t a n aly ze r   is   n o t su r p r is in g .   As in ten d ed   b y   th e  Pear s o n   r esear ch   team ,   GSE   co u ld   p r o v id e  a  f i n e - g r ain   g r an u lar   d escr ip tiv e  s y s tem   to   d ef in e  g r ad ed   lear n in g ,   teac h in g ,   an d   ass es s m en t  o b jectiv es.  T h is   im p lies   th at  wh ile  C E FR   ca n   i n d icate   th e  d if f icu lty   lev el  as  an   o v er v iew,   o th e r   s ca les  co u ld   b e  u s ed   as  an   ad d itio n al  m ea s u r em e n t  f o r   a  m o r e  ac cu r ate  r e p r esen tatio n   o f   tex t  d if f icu lty .   Fig u r e  2   s h o ws  th at  th e  GSE  tex t  an aly ze r   ca n   ac c u r ately   m ap   th e  lev el  o f   all  tex ts   to   th e  B 2   lev el  as  th e  tex t  m ater ial  p r o d u ce r s   in ten d ed   t o   p r o d u ce .  Mo r e  r esear ch   n ee d s   to   b e  d o n e  o n   th e  lev elin g   o f   tex t  d if f icu lty   in   th e  GSE  tex t a n aly ze r   a n d   C E FR ,   esp ec ially   o n   th e  alig n m e n t o f   s p ec if ic  p o in t r a n g es a n d   C E FR   lev els .       T ab le  5 .   Alig n m e n t o f   s co r es to   th e  C E FR   C EFR   G S E   B e l o w   A 1   10 - 21   A1   22 - 29   A2   30 - 35   A 2 +   36 - 42   B1   43 - 50   B 1 +   51 - 58   B2   59 - 66   B 2 +   67 - 75   C1   76 - 84   C2   85 - 90       T h e  s tu d y   f in d i n g s   co u ld   b e   a  s tar tin g   p o in t  to   in v esti g ate  f u r th er   th e  co h er en ce   o f   au to m ated   in s tr u m en ts   wh en   an aly zin g   C E FR   T ex t s .   User s   m ay   also   d elv e  in to   lin g u is tic  f ea tu r es  o f   tex t,  n o t  o n ly   t h e   tr ad itio n al  lin g u is tic  f ea tu r es  l ik e  v o ca b u lar y   a n d   g r am m ar   p o in ts   u s ed   b u t  also   co n s id er   t h e  r o le  o f   co n ce p ts   em b ed d e d   in   a   tex t.  Fo r   i n s tan ce ,   s em an tic  ass o ciatio n   as  o n e  o f   th e   lin g u is tic  f ea tu r es o f   t ex t  m ay   b e  a  f ac t o r   in   in f lu en cin g   tex t  d if f icu lty   lev el.   Alth o u g h   a  tex t  id en tifie d   to   b e  at  th e  s am e  lev el  o f   B 2   m ay   b e   ch allen g in g   to   r ea d   d u e  to   d if f er en ce s   in   c o n ten t  ( e. g . ,   h is to r y ,   n ar r ativ e,   an d   s cien ce   f ic tio n ) ,   th e   p atter n   o f   ab s tr ac t  co n ce p ts   e m b ed d ed   in   th e  c o n ten t   p r esen ted   in   B 2   r e ad in g   m ater ials   is   o f ten   o v er lo o k ed .   I f   th is   is   th e   ca s e,   ad d itio n al  q u alitativ e  m etr ics  m ay   n ee d   to   b e   p r o p o s ed   an d   in cl u d ed   in   a d d itio n   to   th e  tr a d itio n al   q u an titativ e  m ea s u r es a n d   AI   t o o ls   av ailab le  to d ay   [ 2 9 ] – [ 3 3 ] .       5.   CO NCLU SI O N   T h is   s tu d y   h ig h lig h ts   th e  s ig n if ican t  in co n s is ten cies  am o n g   v ar io u s   au t o m ated   C E FR   tex t  class if icatio n   to o ls ,   in clu d in g   C h atGPT   3 . 5 ,   C ath o v en   AI ,   GSE   T ex t  An aly ze r ,   T ex t  I n s p ec to r ,   an d   Ox f o r d   T ex t  C h ec k er .   Desp ite  ad v a n c em en ts   in   NL P   an d   m ac h in e  l ea r n in g ,   th ese  to o ls   d em o n s tr a te  v ar ied   r esu lts   f o r   th e  s am e  tex ts ,   u n d er s co r in g   th e  co m p lex ity   a n d   c h allen g e s   o f   au t o m ated   tex t  class if icatio n   in   ed u ca tio n al  s ettin g s .   T r ad itio n al  r ea d ab ilit y   m etr ics  an d   lex ical  p r o f ilin g   f r am ewo r k s   o f ten   p r o v id e  co n s is ten t  b u t  h i g h er - lev el  class if icatio n s   co m p ar ed   to   ad v an ce d   NL P - b ased   to o l s .   T h e  b r o ad   r an g e   o f   C E FR   lev els  ass ig n ed   f o r   th e  s am e  tex ts   r aise s   co n ce r n s   ab o u t  r eliab ilit y   an d   s tan d ar d izatio n ,   wh ich   ar e  cr itical  f o r   ed u ca to r s ,   m ater ial   d ev elo p er s ,   a n d   lan g u ag e  ass ess m en t  p r o f ess io n als.  T h e  c o n ten t  an d   g en r e  o f   te x ts   s ig n if ican tly   in f lu e n ce   C E FR   clas s if icatio n ,   in d icatin g   a   n ee d   f o r   f u r th e r   r esear ch   in to   q u alitativ e   asp ec ts   o f   tex t  class if icatio n ,   in clu d in g   s em an tic  ass o ciatio n s   an d   th em atic  co n ten t.  T o   en h an ce   th e  r eliab ilit y   an d   ap p licab ilit y   o f   th ese  Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n t  J   E v al  &   R es E d u c ,  Vo l .   14 ,   No .   4 ,  Au g u s t   20 25 :   3 2 8 3 - 3 2 9 4   3292   to o ls ,   f u tu r e  r esear ch   s h o u ld   e x p an d   s am p le  s izes,  in cl u d e   d i v er s e  tex ts ,   an d   i n teg r ate   q u ali tativ e  m etr ics  with   tr ad itio n al  q u an titativ e  m ea s u r es.  C o n tin u o u s   a d v an ce m en t s   an d   v alid atio n   ef f o r ts   ar e   e s s en tial  to   im p r o v e   th e   ac cu r ac y   a n d   r elia b ilit y   o f   au to m ated   C E FR   tex t  class if icatio n   to o ls   f o r   e f f ec tiv e  lan g u ag e  teac h i n g   an d   ass es s m en t.   As  co m m u n icativ e  lan g u ag e   teac h in g   b ec o m es  m o r e  p r o m i n en t  ac r o s s   th e  g lo b e ,   th e   C E FR   g u id elin e  p r o v i d es  wh at  lan g u ag e  lear n e r s   n ee d   to   b e  a b le  to   d o   with   lan g u a g e  at  d if f er en t  lev els,  n o t  h o w   m an y   co m p lex   s en ten ce s   th ey   ca n   p r o d u ce .   T h er ef o r e,   th e  u s e  o f   l an g u a g e  d if f e r s   s in ce   cu ltu r al  b ac k g r o u n d s   an d   g e n r es a r e  alwa y s   in v o lv e d   an d   c o u ld   b e  r ef lecte d   th r o u g h   wr itten   tex t.    As  f o r   th e   b r o ad er   co m m u n it y ,   o n e  s ig n if ica n t  f in d in g   th a t  th e  s tu d y   p r o v id es   is   th at  t h e  f ield   o f   co m p u ter   s cien ce   an d   alg o r ith m ic  d ev e lo p er s   will  n ee d   to   f in e - tu n e  o r   ca lib r ate  alg o r ith m s   in   d if f er e n t   au to m ated   t o o ls   with   a   b etter   u n d e r s tan d in g   o f   wh at  is   in v o lv ed   in   th e   class if icatio n   o f   tex ts   b ased   o n   th e   C E FR   g u id elin e.   Facto r s   r elati n g   to   cu ltu r al  n o r m s   o f   d if f er e n t  co m m u n ities   an d   g e n r es  wi ll  n ee d   t o   b e  tak e n   in to   ac co u n t.   Fu tu r e  t o o l  d e v elo p m en t  s h o u ld   ac co u n t  f o r   th e  in f lu en ce   o f   co n ten t  a n d   g en r e  o n   C E FR   alig n m en t  to   im p r o v e  ac c u r a cy .   R esear ch er s   an d   p r ac titi o n er s   s h o u ld   also   in teg r ate  b o th   q u an titativ e  an d   q u alitativ e  m eth o d s   to   p r o v i d e  a  m o r e  co m p r eh e n s iv e  ass ess m en t  o f   tex t  d if f icu lty .   A d d r ess in g   th ese  is s u e s   will  h elp   cr ea te  m o r e  r eliab le  to o ls   th at  b etter   s u p p o r t  lan g u ag e  ed u c atio n   an d   r esear ch .   L astl y ,   o n e  o f   th e   m ajo r   im p licatio n s   o f   th is   s tu d y   is   th at  it  co u ld   in itially   b e   u s ed   to   co n f ir m   th e  n ee d   f o r   a  m o r e  q u alitativ e  ap p r o ac h   wh en   d o in g   tex t d if f icu lty   class if icatio n .   Po licy m ak er s   in   lan g u ag e  e d u ca tio n   m a y   n ee d   to   b e   awa r e   o f   th e  co n s is ten cy   am o n g   t o d ay ’ s   au to m ated   C E FR   an al y ze r s .   B ef o r e  m ak in g   a  d ec i s io n   r elatin g   to   tex t   d if f icu lty   f o r   ta r g et  lear n er s ,   p o licy m ak er s   m ay   h av e  to   e n s u r e  th at  th e   g en e r ated   r esu lts   f r o m   au t o m ated   to o ls   ar e  co n s is ten t w ith   th e  q u alitativ e  C E FR   tex t id en tific a tio n   ap p r o ac h .       F UNDING   I NF O R M A T I O N   T h e  au th o r s   d ec lar e  n o   f u n d in g   f o r   t h is   r esear ch .       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Piy ath at  Sirip o l   ✓   ✓     ✓   ✓   ✓     ✓   ✓   ✓   ✓     ✓     Seo n g h a  R h ee     ✓       ✓   ✓       ✓   ✓     ✓       Su th ath ip   T h ir a k u n k o v it     ✓         ✓         ✓     ✓       Ap h iwit L ian g - I ts ar a   ✓   ✓     ✓   ✓   ✓   ✓   ✓     ✓   ✓   ✓   ✓       C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     Au th o r s   s tate  n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h e  d ata  th at  s u p p o r t  th e  f in d in g s   o f   th is   s tu d y   ar e  av ailab le  f r o m   th e  co r r esp o n d in g   au th o r   [ AL - I ] ,   u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   R .   G o p a l ,   M .   M a n i a m,   N .   A .   M a d z l a n ,   S .   S .   B .   S h u k o r ,   a n d   K .   N e e l a m e g a m ,   “ R e a d a b i l i t y   f o r mu l a s :   A n   a n a l y si s   i n t o   r e a d i n g   i n d e x   o f   p r o se   f o r ms,”   S t u d i e s   i n   E n g l i s h   L a n g u a g e   a n d   E d u c a t i o n ,   v o l .   8 ,   n o .   3 ,   p p .   9 7 2 – 9 8 5 ,   2 0 2 1 ,     d o i :   1 0 . 2 4 8 1 5 / s i e l e . v 8 i 3 . 2 0 3 7 3 .   [ 2 ]   T.   T a n p r a s e r t   a n d   D .   K a u c h a k ,   “ F l e sc h - K i n c a i d   i s   N o t   a   T e x t   S i m p l i f i c a t i o n   E v a l u a t i o n   M e t r i c , ”   in   Pr o c e e d i n g s  o f   t h e   1 s t   W o r k s h o p   o n   N a t u r a l   L a n g u a g e   G e n e r a t i o n ,   E v a l u a t i o n ,   a n d   M e t r i c s   ( G E M   2 0 2 1 ,   p p .   1 – 1 4 ,   2 0 2 1 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . g e m - 1 . 1 .   [ 3 ]   E.   M a t r i c c i a n i ,   “ R e a d a b i l i t y   I n d i c e s  D o   N o t   S a y   I t   A l l   o n   a   T e x t   R e a d a b i l i t y , ”   A n a l y t i c s ,   v o l .   2 ,   n o .   2 ,   p p .   2 9 6 – 3 1 4 ,   2 0 2 3 ,     d o i :   1 0 . 3 3 9 0 / a n a l y t i c s 2 0 2 0 0 1 6 .   Evaluation Warning : The document was created with Spire.PDF for Python.