I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.  1 5 ,   No .   2 ,   A p r il 2 0 2 6 ,   p p .   1 9 0 9 ~ 1 9 1 8   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 2 . p p 1 9 0 9 - 1 9 1 8           1909       J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Ev a lua ting do cument c hunking  a ppro a ches for r et riev a l - a ug mented gener a tion in edi toria l  co ntent       E rwa nn   L a v a re c,   Yu D u   D e p a r t me n t   o f   R e s e a r c h   a n d   D e v e l o p men t ,   C l o u d   i s   M i n e ,   M o n t p e l l i e r ,   F r a n c e       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   2 4 ,   2 0 2 5   R ev is ed   J an   1 3 ,   2 0 2 6   Acc ep ted   Feb   6 ,   2 0 2 6       Re tri e v a l - a u g m e n ted   g e n e ra ti o n   ( RAG )  sy ste m s  p ro m ise   g ro u n d e d   a n sw e rs   fro m   larg e   lan g u a g e   m o d e ls  (LL M s),  y e t  p e rfo rm a n c e   d e p e n d s   c rit ica ll y   o n   h o w  so u rc e   d o c u m e n ts  a re   s e g m e n ted   b e fo re   in d e x i n g .   T h is  stu d y   in v e stig a tes   h o w   p re - i n d e x   c h u n k in g   stra teg ies   a ffe c t  b o t h   re tri e v a l   a c c u ra c y   a n d   a n sw e r  q u a li t y   in   d o m a in - sp e c ifi c   sc e n a rio s.  We   c u ra ted   a   c o rp u s   o n   so ftwa re - as - a - se rv ice   (S a a S )   e d it o rial  c o n ten t   a n d   c o n stru c ted   a   h i g h - q u a li t y   e v a lu a ti o n   d a tas e t  c o n tai n in g   2 , 4 1 9   q u e stio n - a n sw e r   (QA )   p a irs  g e n e ra ted   th ro u g h   a u to m a ted   p r o m p ti n g   a n d   q u a l it y   c o n tro l.   We  c o m p a re d   fo u r   c h u n k in g   a p p ro a c h e s ,   in c lu d i n g   fix e d - siz e ,   stru c t u re - a wa re   re c u rsiv e ,   se m a n ti c ,   a n d   LL M - b a se d   m e th o d s .   Ou r  e v a l u a ti o n   p ro t o c o l   a ss e ss e d   re tri e v a l  th ro u g h   d o c u m e n t  lo c a li z a ti o n ,   se m a n ti c   sim il a rit y ,   a n d   c o n tex t   re lev a n c e ,   wh il e   g e n e ra ti o n   q u a li ty   wa s  e v a lu a ted   u si n g   c h a in - of - th o u g h t   (Co T)   c rit e ria  d riv e n   b y   j u d g m e n ts  fro m   LL M s.  Re su lt s  d e m o n stra te  th a t   re c u rsiv e   c h u n k i n g   c o n siste n tl y   o u tp e rfo rm s  o t h e r  a p p r o a c h e s  a c ro ss   a ll   m e tri c s.  S m a ll e r  c h u n k s   imp ro v e   d o c u m e n t  l o c a li z a ti o n ,   wh il e   m o d e ra tely   larg e r  c h u n k s  e n h a n c e   se m a n ti c   a li g n m e n t  a n d   g e n e ra ti o n   sc o r e s.  LL M - b a se d   c h u n k in g   v a rian ts  sh o w  c o m p e ti ti v e   p e rfo rm a n c e   b u t  d o   n o t  e x c e e d   to p   re c u rsiv e   c o n fig u ra ti o n s  o n   th e   d a tas e t.   Th e se   fin d in g s  in d ica te  th a t   p re se rv in g   d o c u m e n t  str u c tu re   t h ro u g h   re c u rsi v e   c h u n k in g   is  b e n e ficia l  fo r   p ra c ti c a l  RAG   imp lem e n tatio n s,   p r o v i d i n g   a c ti o n a b le  g u i d a n c e   fo r  c h u n k   siz e   se lec ti o n   w h il e   h i g h li g h t in g   to k e n - b u d g e t   c o n stra i n ts  in   c u r re n t  l o n g - c o n tex t  m o d e ls.   K ey w o r d s :   Do cu m en t c h u n k i n g   I n f o r m atio n   r etr ie v al   L ar g e  lan g u ag e  m o d el   Natu r al  lan g u ag e   p r o ce s s in g   Qu esti o n   an s wer in g   R etr iev al - au g m en ted   g en er ati o n   T ex t seg m en tatio n   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Yu   Du   Dep ar tm en t o f   R esear ch   an d   Dev elo p m en t,  C lo u d   is   Min e   C A  C en ter ,   6 2 1   R u e  Geo r g es  Mé liès ,   3 4 0 0 0   M o n tp ellier ,   Fr an ce   E m ail:  y u . d u @ ap p v izer . co m       1.   I NT RO D UCT I O N   W h ile  lar g e  lan g u a g e  m o d els  ( L L Ms)   h av e   tr an s f o r m ed   n atu r al  lan g u a g e  p r o ce s s in g   ca p ab ilit ies,   th ey   r em ain   v u ln er ab le  to   h a llu cin atio n   an d   f ac tu al  d r if t  wh en   q u er ies  ex ten d   b ey o n d   th eir   tr ain in g   d ata   b o u n d ar ies  [ 1 ] .   R etr iev al - au g m en ted   g en er atio n   ( R AG)   e m er g ed   as  a  c r itical  s o lu tio n   to   t h is   lim itatio n ,   s y s tem atica lly   g r o u n d i n g   L L M  r esp o n s es  in   ex te r n al  ev i d e n ce   b y   in teg r atin g   d e d icate d   r etr iev al  m ec h an is m s   with   g en er ativ e  m o d els  [ 2 ] – [ 4 ] .   Ho wev e r ,   r ea l - wo r ld   d e p l o y m en ts   o f   R AGs  f ac e  a  f u n d am en tal  ch allen g e:   th ey   m u s t  p r o ce s s   ex ten s iv e,   s tr u ctu r ally   co m p lex   d o c u m en ts   co n tain in g   d iv er s e  elem en ts ,   in clu d in g   h ea d in g s ,   p a r ag r a p h s ,   lis ts ,   an d   tab les.  I n   th ese  p r ac tical  ap p licatio n s ,   s y s tem   p er f o r m a n c e  d ep en d s   n o t  o n l y   o n   r etr ie v er   s o p h is ticatio n   an d   L L M  ca p ab ilit ies,  b u t  also   o n   t h e  o f ten - o v er lo o k ed   p r o ce s s   o f   d o cu m en t   ch u n k i n g   d u r in g   p r e - in d ex in g .   T h is   ch u n k in g   d ir ec tly   d e ter m in es  wh at  co n ten t  b ec o m es  av ailab le  to   th e   r etr iev er   a n d   c o n s eq u e n tly ,   wh at  co n tex t   r ea ch es  th e   L L M,   m ak in g   it  a   p iv o tal  f ac t o r   in   b o th   r etr iev al   r elev an ce   an d   f in al  a n s wer   q u ality .   B y   an alo g y   with   elec tr o n ic  s y s tem s ,   wh er e  th e  f ir s t  am p lific atio n   s tag e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :   1 9 0 9 - 1 9 1 8   1910   lar g ely   d eter m in es  th e  s ig n al  q u ality   th r o u g h o u t  th e  p r o ce s s in g   ch ain ,   th e  a u th o r s   p o s it  th at  th e  ef f ec tiv en ess   an d   r o b u s tn ess   o f   t h e  in itial  p r o ce s s in g   s tag e  in   a   R AG  p ip elin e  p lay   a   d ec is iv e  r o le  in   th e  o v er all  q u ality   o f   th e  g en er ated   r esp o n s es.   Desp ite  it s   f u n d am en tal  im p o r tan ce ,   d o cu m e n t  ch u n k in g   r em ain s   p o o r ly   u n d er s to o d   an d   in ad eq u ately   v alid ated   ac r o s s   d o m ain - s p ec if ic  a p p licatio n s .   Pra ctitio n er s   ty p ically   r eso r t t o   g en er ic  h eu r is tics ,   e. g . ,   “u s e  1 K   ch ar ac ter s   with   5 - 1 0 %  o v e r lap ”,   wh ile  r esea r ch   ef f o r ts   co n ce n tr ate  p r im ar ily   o n   d o wn s tr ea m   co m p o n en ts   lik e  r etr iev al  alg o r ith m s ,   r er an k in g   m ec h an is m s   [ 5 ] ,   an d   g e n er ato r   p r o m p t in g   s tr ateg ies.  T h is   is s u e  is   p ar ticu lar ly   p r o b lem atic  g iv en   th at  ch u n k in g   d ec is io n s   em b o d y   a  f u n d am e n tal  tr ad e - o f f   with   n o   u n iv er s al  s o lu tio n :  s m aller   ch u n k s   en h an ce   p r ec is e  lo ca li za tio n   with in   a  d o cu m en t  b u t  r is k   f r ag m en tin g   co h er en t  m ea n i n g   ac r o s s   ar tific ial  b o u n d ar ies;   lar g er   c h u n k s   p r eser v e  to p ical  co n t ex t  an d   s em an tic  r elatio n s h ip s   b u t  i n tr o d u ce   ir r elev an t  n o is e  an d   s tr ain   to k en   b u d g ets,  co m p o u n d in g   th e  l o n g - c o n tex t   r eliab ilit y   ch allen g es  th at  p la g u e  m o d er n   L L Ms  [ 6 ] .   T h e   c o m p lex ity   d ee p en s   wh e n   co n s id er in g   th e  d iv er s e  m eth o d o l o g ical  ap p r o ac h es  av ailab le.   Fix ed - s ize  win d o ws,  s tr u ctu r e - awa r e  r ec u r s iv e  s eg m en tatio n ,   s em an tic  b o u n d ar y   d etec tio n ,   an d   L L M - d r iv en   s eg m e n tatio n   ea ch   in v o lv e  d is tin ct  tr ad e - o f f s ,   wh ich   m ay   in ter ac t  with   d o m ain   ch ar ac ter is tics   an d   d o c u m en t   ty p es  i n   u n p r e d ictab le  way s .   Yet   co m p r e h en s iv e,   e n d - to - en d   ev alu atio n s   th at  s y s tem atica lly   co n n ec t  ch u n k in g   s tr ateg ies  to   b o th   r etr iev al   ef f ec tiv en ess   an d   an s wer   q u ality   with in   s p ec if ic  d o m ain s   r e m ain   co n s p ic u o u s ly   a b s en t  f r o m   t h e  liter atu r e.   W h ile  r ec en t  s u r v ey s   a n d   b en ch m ar k s   h av e  e x p an d ed   R AG  ev alu atio n   f r am ewo r k s   [ 7 ] – [ 9 ] ,   ac tio n ab le  g u id a n c e  f o r   p r ac titi o n er s   wo r k in g   with   s p ec ialized   p r o f ess io n al  co r p o r a  r em ain s   elu s iv e.   T h is   w o r k   ad d r ess es  t h is   c r i tic al  g a p   t h r o u g h   a  co m p r e h e n s i v e  ev al u a ti o n   in   t h e  ed it o r ial  d o m ai n   t h a t   ad d r ess es   t h e   t o p ic   o f   s o f twa r e - as - a - s er v i ce   ( SaaS ) .   W e   s y s t em a tic all y   c u r at e  a  h i g h - q u a lit y   d atas et  f r o m   tw o   esta b lis h ed   m ed ia   s o u r c es i n   t h e   Sa aS  f ie ld   a n d   co n s t r u ct   a   r ig o r o u s   q u est io n - a n s w er   ( QA )   ev al u at io n   s et   u s in g   a  s t ate - of - t h e - ar t  L L M   t o   g en e r at e  f a ct - s e ek in g   q u esti o n s   d i r ec tl y   g r o u n d e d   i n   s o u r ce   p ass a g es ,   wit h   a u t o m ate d   q u ali ty   c o n tr o ls   en s u r i n g   d a taset   in te g r it y .   O u r   e v a lu ati o n   f r a m ew o r k   i n t r o d u c es   a  m u lti - d im e n s i o n al   ass ess m e n t  p r o t o co l  t h at  ca p t u r es  b o th   r et r ie v a l  e f f ec ti v e n e s s   an d   g e n e r ati o n   q u alit y .   W e  m ea s u r e  r et r i ev al   p e r f o r m a n c e  a c r o s s   t h r ee   c o m p le m e n ta r y   m e tr ics:   i )   d o c u m e n t - le v e l  l o ca li za ti o n ,   ii )   s em a n t ic   al ig n m e n t ,     an d   i ii)   p r a g m at ic  r e le v a n c e.   T o   ass ess   e n d - to - e n d   s y s te m   p e r f o r m an ce ,   w e  e m p lo y   L L M - j u d g e d   [ 1 0 ] ,    ch ai n - of - th o u g h t  ( C o T )   e v al u ati o n   o f   f i n al   a n s we r   q u ali ty ,   p r o v i d i n g   in s ig h t   i n t o   h o w  ch u n k in g   d e cisi o n s   u lt im ate ly   im p ac t   u s e r - f a ci n g   o u t co m es .   W i th in   t h is   u n i f i ed   e x p e r im e n ta l  p r o c ess ,   we   co n d u ct  s y s t em ati c   co m p a r is o n s   ac r o s s   f o u r   m a jo r   c h u n k i n g   f am ili es,   i n cl u d in g   f i x e d - s iz e,   r e cu r s i v e   ( s t r u ct u r e - awa r e ) ,   s em a n ti c   b o u n d a r y   d e tec ti o n ,   a n d   L L M - b as ed   a p p r o ac h es .   T h is   p ap er   d eliv er s   th r ee   k ey   co n tr ib u tio n s   to   th e  R AG  ch u n k in g   liter atu r e:  a  m eticu lo u s l y   cu r ated ,   d o m ain - s p ec if ic   QA  r eso u r ce   f o r   SaaS  e d ito r ial  co n ten t  wit h   r ig o r o u s   q u ality   co n tr o ls ;  a  h o lis tic  ev alu atio n   p r o to co l  th at  s y s tem atica lly   co n n ec ts   ch u n k in g   s tr ateg ies   to   b o th   r et r iev al  ef f ec tiv en e s s   an d   f in al  an s wer   q u ality ;  an d   ev id en ce - b ac k e d ,   ac tio n ab le  g u id an ce   f o r   o p tim izin g   ch u n k   s ize  an d   s eg m en t atio n   ap p r o ac h es  in   R AG  s y s tem s .   B y   g r o u n d i n g   o u r   an aly s is   in   a  r ea lis tic  co r p u s   an d   em p l o y in g   ev al u atio n   m etr ics  th at  in teg r ate  b o t h   co m p u tatio n al   s im ilar ity   m ea s u r es  an d   n u an ce d   L L M  ass ess m en ts ,   th is   wo r k   b r id g es  th e   g a p   b etwe en   th eo r etica l  c h u n k in g   r esear ch   an d   p r ac tical  d ep lo y m en t  n ee d s .   Ou r   f in d in g s   p r o v id e  p r ac titi o n er s   with   th e  p r in cip led ,   em p ir ically   v alid ated   d esig n   g u id an ce   n ec ess ar y   f o r   b u ild in g   R AG  s y s tem s   th at  ar e  b o th   r eliab le  an d   ef f icien t in   r ea l - w o r ld   ap p licatio n s .   T h e  r em ain d e r   o f   th e  p ap er   is   s tr u ctu r ed   as  f o llo ws.  Sect io n   2   r ev iews  p r io r   w o r k   an d   o u tlin es     th e  f am ilies   o f   ch u n k in g   s tr at eg ies  co n s id er ed   in   t h is   s tu d y .   Sectio n   3   d escr ib es  th e   d atas et  co n s tr u ctio n   an d   th e  ev alu atio n   p r o t o co l,  in clu d in g   r etr ie v al  an d   g en er atio n   m etr ics.  Sectio n   4   r e p o r ts   th e  em p ir ical  r esu lts     an d   d is cu s s es  th eir   im p licatio n s   an d   tr a d e - o f f s .   Sectio n   5   c o n clu d es  with   k ey   ta k ea way s   an d   d ir ec tio n s   f o r   f u tu r e  r esear c h .       2.   RE L AT E D  WO RK S AN D  CH UNK I NG   ST RAT E G I E S   T h e  R AG  ap p r o ac h   in teg r ates  an   in f o r m atio n   r et r iev al  co m p o n en t  with   an   L L M  to   g en er ate  an s wer s   th at  ar e  g r o u n d e d   in   ex ter n al  k n o wled g e   [ 2 ] ,   [ 3 ] .   As  illu s tr ated   in   Fig u r e  1 ,   a   R AG  s y s tem   o p e r ates  th r o u g h   th r ee   p r in ci p al  p h ases :  v ec to r   d atab ase  b u ild in g ,   r etr ie v al,   a n d   g e n er atio n   b ased   o n   L L M.   First,  in   th e  v ec to r   d atab ase  b u ild in g   p h ase,   a  tex tu al  co r p u s   is   s eg m en ted   in to   s m aller ,   r etr iev ab le  u n its   u s in g   a  ch u n k in g   m o d el.   E ac h   ch u n k   is   th en   tr a n s f o r m ed   in to   a  d e n s e  n u m er ical   r ep r esen tatio n   u s in g   an   e m b ed d in g   m o d el.   T h e  r esu ltin g   em b e d d in g s   ar e   s to r ed   in   a  v ec to r   d atab ase  t o   e n ab le  ef f icien t,  s im ilar ity - b as ed   ac ce s s .   Seco n d ,   d u r in g   th e   r etr iev al   p h ase,   a  u s er   q u e r y   is   c o n v e r ted   i n to   i ts   o wn   em b e d d in g   r e p r esen ta tio n   ( d e n s e  v ec to r )   u s in g   th e   s am e  em b ed d i n g   m o d el,   a n d   a  s em an tic   s ea r ch   is   p er f o r m e d   with in   th e   v ec to r   d atab ase  to   id en tify   th e  to p - N  m o s t  r elev an t  ch u n k s   ac co r d in g   to   co s in e  s im ilar ity   o r   an o th er   d is tan ce   m e tr ic.   T o   ac ce ler ate    lar g e - s ca le  r etr iev al,   m o d er n   R AG  s y s tem s   o f ten   r ely   o n   a p p r o x im ate  n ea r est  n eig h b o r   ( ANN)   alg o r ith m s   s u ch   as  h ier ar ch ical  n av ig a b le  s m all  wo r ld   g r a p h s   ( HNSW )   [ 1 1 ] ,  i n v er ted   f ile  in d e x es  ( I VF)   [ 1 2 ] ,   an d   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E va lu a tin g   d o cu me n t c h u n kin g   a p p r o a ch es fo r   r etri ev a l - a u g men ted   g e n era tio n   in   …   ( E r w a n n   La va r ec )   1911   lo ca lity - s en s itiv e  h ash i n g   ( L SH)   [ 1 3 ] .   T h ese  alg o r ith m s   p r o v id e  s u b - lin ea r   q u er y   tim e  wh ile  m ain tain in g   h ig h   r ec all.   Fin ally ,   in   th e   g e n er atio n   p h ase,   t h e  r et r iev ed   ch u n k s   a r e  c o n ca ten ated   an d   p r o v id e d   as  e x ter n al   co n tex t  to   th e  L L M,   wh ich   s y n th esizes  a  f in al  an s wer   g r o u n d ed   in   th e  r etr ie v ed   ev id e n c e.   T h is   s tep   en s u r es   f ac tu al  co n s is ten cy   an d   r ed u ce s   h allu cin atio n   b y   co n d itio n in g   th e  m o d el’ s   o u tp u t o n   v er if i ed   co n ten t.           Fig u r e  1 .   Gen e r al  wo r k f lo w  o f   a  R AG  s y s tem       W h ile  th e  q u ality   o f   k n o wle d g e  r ep r esen tatio n   [ 1 4 ] ,   t h e  ef f icac y   o f   r etr iev al  [ 1 5 ] – [ 1 7 ] ,   an d   t h e  p er f o r m an ce   o f   L L Ms  [ 1 8 ]   h av e  b ee n   th e  f o c u s   o f   ex ten s iv e  r esear ch   in   th e  R AG  f ield ,   th e  p r e - in d e x   ch u n k i n g   s tep   r em ain s   a  p iv o tal  f ac to r .   T h is   s tep   d ef in es  t h e  g r an u lar ity   o f   in d ex e d   u n it s   an d   co n s eq u en tly   in f lu en ce s   b o th   r etr iev al  ac cu r ac y   an d   g e n er atio n   q u ality .   T h e  s elec tio n   o f   ch u n k in g   is   a  cr itical  f ac to r   in   th e   ef f icac y   o f   i n f o r m atio n   r etr i ev al.   Po o r ly   c h o s en   c h u n k in g   ca n   r esu lt  in   th e   f r a g m en tatio n   o f   co h er en t   in f o r m atio n   o r ,   co n v er s ely ,   t h e  o v er lo a d in g   o f   th e  r etr iev er   with   o v er ly   b r o ad   s eg m e n ts .   I n   b o th   ca s es,   d o wn s tr ea m   p er f o r m a n ce   is   n eg ativ ely   im p ac ted .   D o c u m e n t   c h u n k i n g   s t r a t e g i es   h a v e   e v o l v e d   f r o m   s i m p l e   h e u r i s t i cs   t o   s o p h i s t i c at e d   L L M - d r i v e n   a p p r o a c h e s .   T a b l e   1   p r e s e n ts   a   t a x o n o m y   o f   t h e   m a i n   c h u n k i n g   s t r a t e g ie s ,   s u m m a r i z i n g   th e i r   c o r e   p r i n c i p l e s ,   s t r e n g t h s ,   a n d   l i m it a t i o n s .   A   d et a i l e d   e x p l a n at i o n   o f   e a c h   c h u n k i n g   s t r a t e g y   is   p r o v i d e d   i n   t h e  n e x t   p a r a g r a p h s .       T ab le  1 .   T a x o n o m y   o f   ch u n k i n g   s tr ateg ies f o r   R AG       Fix ed - s ize  ch ar ac ter   ch u n k i n g   r e p r esen ts   th e   f o u n d atio n al  m eth o d ,   d iv id in g   d o cu m en ts   in to   co n tig u o u s   win d o ws  o f   p r ed e ter m in ed   c h ar ac ter   len g th   [ 2 ] .   R ec u r s iv e  ch u n k in g   b u ild s   u p o n   th is   f o u n d atio n   C h u n k i n g   s t r a t e g y   D e scri p t i o n   S t r e n g t h s   W e a k n e sses   F i x e d - si z e   c h a r a c t e r   c h u n k i n g   S p l i t s  t e x t   i n t o   u n i f o r m se g m e n t s  b y   c h a r a c t e r   c o u n t   ( e . g . ,   e v e r y   1 , 0 0 0   c h a r a c t e r s)   S i mp l e   a n d   f a st   t o   i mp l e m e n t   B r e a k s  c o n t e x t   a n d   i g n o r e s c o n t e n t   b o u n d a r i e s   R e c u r si v e   c h u n k i n g   S p l i t s  b y   s t r u c t u r a l   mar k e r s (se c t i o n s ,   p a r a g r a p h s,  a n d   l i n e s) ,   u si n g   a   r e c u r si v e   h i e r a r c h y   o f   s e p a r a t o r s   P r e serv e s  d o c u m e n t   st r u c t u r e ,   b e t t e r   c o n t e x t   S o me t i m e s  p r o d u c e s   u n e v e n   si z e s   S e ma n t i c   c h u n k i n g   C h u n k s   a r e   d e t e r m i n e d   u si n g   sem a n t i c   si mi l a r i t y ,   e mb e d d i n g s,   o r   t o p i c   c h a n g e s ;   mai n t a i n s m e a n i n g   c o n t i n u i t y   P r o d u c e s c o h e r e n t ,   mea n i n g f u l   c h u n k s  t h a t   i mp r o v e   r e t r i e v a l   C o m p u t a t i o n a l l y   i n t e n si v e   LLM - b a s e d   c h u n k i n g   U t i l i z e s a n   LL M   t o   i n t e l l i g e n t l y   se g m e n t   d o c u me n t s  a t   sem a n t i c a l l y   a p p r o p r i a t e   b o u n d a r i e s   C r e a t e s  h i g h l y   s e ma n t i c   a n d   c o n t e x t - r i c h   c h u n k s   C o m p u t a t i o n a l l y   e x p e n si v e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :   1 9 0 9 - 1 9 1 8   1912   b y   in c o r p o r atin g   s tr u ct u r al  awa r en ess — ap p ly in g   s ize  c o n s tr ain ts   wh ile  p r eser v in g   n atu r al  d o cu m e n t  b o u n d ar ies  s u ch   as  h ea d in g s ,   p ar ag r ap h s ,   an d   s en ten ce   b r ea k s .   Mo r e  s o p h is ticated   ap p r o ac h es  f o cu s   o n   s em an tic  co h er e n ce .   Sem a n tic  ch u n k in g   id en tifie s   o p tim al   s eg m en tatio n   p o i n ts   b y   d ete ctin g   to p ical   s h if ts ,   ty p ically   th r o u g h   c o n tin u o u s   m o n ito r in g   o f   s em an tic  s im ilar ity   b etwe en   ad jace n t  s en t en ce s ,   an d   p lacin g   b o u n d ar ies  wh er e  co h er e n ce   f alls   b elo w  a  d ef in ed   th r esh o ld   [ 1 9 ] – [ 2 1 ] .   Nev er t h eless ,   r ec en t  s tu d ies  [ 2 1 ]   q u esti o n   s em an tic  c h u n k in g ' s   ef f ec tiv en ess   g iv en   its   s u b s tan tial  co m p u tatio n al   o v er h ea d ,   wh ich   r eq u ir es  b o th   em b ed d in g   g e n er atio n   a n d   s i m ilar ity   ca lcu latio n s   f o r   e v er y   p o ten tial b o u n d a r y   d ec is io n .     Giv en   L L Ms’   d em o n s tr ated   ex ce llen ce   ac r o s s   d iv er s e  n atu r al  lan g u ag e  p r o ce s s in g   task s ,   r ec en t  r esear ch   h as  in cr ea s in g ly   f o c u s ed   o n   lev er ag in g   th ese  m o d els  d ir ec tly   f o r   in tellig en t  d o cu m en t  ch u n k in g .   LLM - b ased   ch u n k in g   ap p r o ac h es  h ar n ess   th e  r ea s o n in g   ca p ab ilit ies  o f   L L Ms  to   m ak e  in tellig en t   s eg m en tatio n   d ec is io n s .   T h ese   r an g e  f r o m   s tr aig h tf o r war d   p r o m p tin g   s tr ateg ies to   ad v an ce d   ar ch itectu r es lik e  th e  m ix tu r e - of - ch u n k er s   ( Mo C )   m eth o d   [ 2 2 ] ,   wh ich   em p lo y s   a  r o u tin g   m ec h a n is m   to   d y n am ically   s elec t  th e  m o s t  ap p r o p r iate  g r an u lar ity   f o r   d if f er e n t  d o cu m e n t  s ec tio n s ,   o r   L u m b e r C h u n k e r   [ 2 3 ] ,   wh ich   em p lo y s   L L Ms   to   d y n a m ically   s eg m en t d o cu m en ts   in to   s em an tically   in d ep en d en t c h u n k s .   R ec en t  r esear ch   h as  i n cr ea s in g ly   f o cu s ed   o n   s y s tem atic  e v alu atio n   o f   c h u n k in g   s tr ateg ies  ac r o s s   d iv er s e  co n tex ts   an d   ap p licatio n s .   T h e   Om n iEv al   b en c h m ar k   [ 7 ]   estab lis h ed   a  c o m p r e h en s iv e  ev alu atio n   f r am ewo r k   f o r   th e  f in an cial  d o m ain ,   s y s tem atica lly   v ar y i n g   ch u n k   s izes,  o v er lap   p ar a m eter s ,   em b ed d in g   m o d els,  an d   r etr iev al   m ec h a n is m s   to   ass ess   th eir   co m b in ed   im p ac t   o n   p er f o r m a n ce .   B u ild in g   o n   th is   f o u n d atio n ,   th e  M o C   ap p r o ac h   [ 2 2 ]   d em o n s tr ated   th at   in te llig en tly   r o u tin g   b etwe en   m u l tip le  s eg m en tatio n   g r an u lar ities   ca n   s ig n if ica n tly   en h an ce   d o wn s tr ea m   R AG  p e r f o r m a n ce .   T h e  f ield   h as  s in ce   e x p an d ed   b ey o n d   p u r e   s eg m en tatio n   o p tim izatio n .   C h u n k R AG  [ 2 4 ]   s h if ts   th e   p ar ad ig m   b y   in tr o d u cin g   L L M - b ased   p o s t - r etr iev al  f ilter i n g ,   f o c u s in g   o n   r ef in in g   an d   cu r atin g   r etr iev e d   ch u n k s   r at h er   th an   p er f ec tin g   in itial  s eg m en tatio n — s p ec if ically   tar g etin g   th e   r em o v al  o f   ir r elev a n t  o r   r ed u n d an t  co n tex t  b ef o r e  an s wer   g en er atio n .   Me an wh ile ,   co m p ar ativ e  s tu d ies  [ 9 ]   h av e  ex am in ed   th e    tr ad e - o f f s   b etwe en   late  ch u n k in g   [ 2 5 ]   an d   co n tex t u al  r etr iev al  [ 2 6 ] ,   r e v ea lin g   th at  wh ile  co n tex tu al  r etr iev al   b etter   p r eser v es  s em an tic   co h er en ce ,   it  c o m es  with   s u b s tan t ial  co m p u tatio n al   o v e r h ea d .   L ate  ch u n k in g   o f f e r s   g r ea ter   ef f icien c y   b u t o f ten   at  th e  ex p en s e  o f   r etr iev al  r elev a n ce   an d   a n s wer   co m p leten ess .       3.   E XP E R I M E N T S   T h is   s ec tio n   p r o v i d es  th e  ex p er im en tal  d etails  o f   o u r   s tu d y ,   in clu d in g   th e  d ataset  co n s tr u ctio n   an d   th e  ev alu atio n   p r o t o co l.  Su b - s ec tio n   3 . 1   d escr ib es  th e  cr ea ti o n   o f   a  h ig h - q u ality ,   d o m ain - s p ec if ic  co r p u s   an d   th e  g en er atio n   o f   g r o u n d - t r u th   QA  p air s   u s ed   f o r   ev alu atio n .   Su b - s ec tio n   3 . 2   d etails  th e  ev alu atio n   f r am ewo r k ,   d etailin g   th e   r etr i ev al  an d   g e n er atio n   m etr ics,  alo n g   with   th e  c o n f i g u r atio n s   u s ed   to   ass ess   th e  p er f o r m an ce   o f   v ar i o u s   ch u n k in g   s tr ateg ies with in   th e  R AG  p ip elin e.     3 . 1 .     Da t a s et   W e  ass em b led   a  d o m ain - s p ec i f ic  co r p u s   b y   cu r atin g   h ig h - q u ality   ed ito r ial  ar ticles  o n   SaaS  s o f twar e  f r o m   two   estab lis h ed   m ed ia   s o u r ce s :  Ap p v izer   ( h ttp s ://www. ap p v izer . co m /)   a n d   B lo g   d u   Mo d ér ateu r   ( h ttp s ://www. b lo g d u m o d er ate u r . co m /) .   Af ter   co llectin g   an d   n o r m alizin g   th e  r aw  tex t  f r o m   th e  ca n d id ate     web   p ag es,  we  co n s tr u cted   a  g r o u n d - tr u t h   QA  d ataset  f o llo win g   a  s tr u ctu r ed   g e n er a tio n   an d   v alid atio n   p r o ce s s   [ 8 ] ,   [ 2 7 ] .   E ac h   ar ticle  was  f ir s t   s eg m en ted   in to   r elativ ely   lar g e  p ass ag es,  wh ich   wer e  th en   u s ed   as   co n tex t  in   p r o m p ts   f o r   an   L L M  ( GPT - 4 o   in   o u r   ca s e)   to   g e n er ate  co n cise,  f ac t - s ee k in g   q u esti o n s   p air ed   with   th eir   co r r esp o n d i n g   a n s wer s ,   b o th   s tr ictly   g r o u n d ed   in   th e   s o u r ce   p ass ag e.   T o   en s u r e  q u ality ,   th e  r esu ltin g   QA  p air s   wer e  e v alu ated   b y   GPT - 4 o   its elf   as  a  ju d g e,   wh ich   r ated   th eir   clar ity ,   f ac tu al  ac cu r ac y ,   a n d   an s wer ab ilit y   o n   a   f iv e - p o in t  s ca le.   On ly   p air s   r ec eiv in g   s c o r es  ab o v e   f o u r   o u t  o f   f iv e   o n   all  cr iter ia  wer e   r etain ed .   As  a   r esu lt,  2 , 4 1 9   QA  p air s ,   ea c h   alig n ed   wit h   its   co r r esp o n d i n g   p ass ag e,   wer e  r etain e d   f o r   ev alu atio n .   T h is   p ip elin e   y iel d ed   a   s ca lab le,   h ig h - q u ality   QA  r eso u r ce   tailo r e d   to   th e  p u b lis h in g   i n d u s tr y   r eg ar d in g   SaaS,   p r o v id in g   a  r eliab le  b asis   f o r   th e   s y s tem atic  ev alu atio n   o f   ch u n k in g   s tr ateg ies  in   R AG.   Fig u r e  2   p r esen ts   an   ex am p l e  o f   a  p ass ag e – q u esti o n – a n s wer   tr ip le.   E ac h   p ass ag e  was   u s ed   to   g en er ate  a     f ac t - s ee k in g   q u esti o n   an d   its   co r r esp o n d in g   a n s wer ,   b o t h   g r o u n d ed   i n   th e  s o u r ce   p ass ag e     3 . 2 .     E v a lua t i o n pro t o co l   W e  ev alu ated   t h e  ca n d id ate   c h u n k in g   s tr ateg ies  ac r o s s   b o t h   th e   r etr iev al   an d   g en er atio n   p h ases   o f   th e  R AG  p ip elin e.   Ou r   p r o to co l  co m b in es  tr a d itio n al  s im il ar ity - b ased   m etr ics  with   L L M - b ased   ju d g m en ts ,   th er eb y   ca p tu r in g   co m p lem en t ar y   asp ec ts   o f   p er f o r m an ce .   T h is   co m p r eh en s iv e   ev alu atio n   d esig n   en s u r es  th at   b o th   t h e  q u an titativ e  p r ec is io n   o f   r etr ie v al  an d   th e   q u alitativ e  r ea s o n in g   a b ilit y   o f   th e   g en er ativ e  m o d el  a r e   s y s tem atica lly   ass e s s ed   with in   a  u n if ied   e x p er im e n tal  f r am e wo r k .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E va lu a tin g   d o cu me n t c h u n kin g   a p p r o a ch es fo r   r etri ev a l - a u g men ted   g e n era tio n   in   …   ( E r w a n n   La va r ec )   1913       Fig u r e  2 .   I ll u s tr atio n   o f   a   p ass ag e – q u esti o n – an s wer   tr ip le       3 . 2 . 1 .   Ret riev a l e v a lua t io n   W e  ass e s s   h o w  ef f ec tiv ely   r et r iev ed   d o cu m e n t  ch u n k s   alig n   with   th e  g o ld   r ef er e n ce   p ass ag e  u s ed   t o   co n s tr u ct  th e  co r r esp o n d in g   QA  p air .   T h e  g en er al  p u r p o s e  o f   th is   ev alu atio n   is   to   m ea s u r e  th e  ca p ab ilit y   o f   id en tify in g   r elev an t c o n tex t to   th e  q u esti o n   f o r   th e   L L M.   T h r ee   m etr ics we r e  u s ed :   i)   Simp le  co n tex t  p r ec is io n :   th is   m etr ic  m ea s u r es  th e  p r o p o r ti o n   o f   r etr iev e d   ch u n k s   th at  o r ig in ate  f r o m   th e  s am e  s o u r ce   r aw  d o cu m e n t  as  th e  g o ld   r e f er en ce   p ass ag e.   I t  d ir ec tly   r ef lects  th e  d o cu m en t - lev el   lo ca lizatio n   ca p ab ilit y   o f   th e  r etr iev er .   ii)   Sem an tic  s im ilar ity :   th is   m etr ic  co m p u tes  th e   co s in e  s im ilar ity   b etwe en   its   em b ed d in g   a n d   th e   em b ed d in g   o f   th e  g o ld   p ass ag e.   T h is   m etr ic   ca p tu r es  s em an tic  clo s en ess   b etwe en   th e   r etr i ev ed   c o n tex t   an d   th e  s o u r ce   p ass ag e.   Op en AI ’ s   tex t - em b ed d in g - 3 - lar g e  m o d el  was u s ed .   iii)   LLM - b ased   co n tex t  p r ec is io n :   th is   m etr ic  u s es  an   L L M  ev alu ato r   to   ju d g e  wh eth er   e ac h   r etr iev ed   co n tex t  is   r elev an t  to   an s wer i n g   th e  g iv e n   q u esti o n ,   r eg ar d less   o f   d o cu m en t  p r o v e n an ce .   T h is   m etr ic  ac co u n ts   f o r   p r a g m atic  u s ef u ln ess   an d   ca n   h ig h lig h t  c ases   wer e   tr ad itio n al  s im ilar ity   m ea s u r es   u n d er esti m ate  r etr iev al  q u ality .   I n   o u r   ex p e r im en ts ,   GPT - 4 o   was  u s ed   as  th e  ev alu ato r .   T h e   im p lem en tatio n   o f   th is   m etr i c  f o llo wed   th e  r etr iev al  au g m en ted   g en er atio n   ass ess m en t s   ( R AGAs )   f r am ewo r k   [ 2 8 ] ,   wh ich   p r o v id es st an d ar d ized   to o ls   f o r   L L M - b ased   R AG  ass es s m en t.     3 . 2 . 2 .   G ener a t io n e v a lua t io n   W e  f u r th er   ev alu ate  th e  e n d - to - en d   ca p ac ity   o f   t h e  R AG  s y s tem   to   p r o d u ce   co r r ec t  a n d   i n f o r m ativ e   an s wer s .   Fo r   th is ,   we  em p lo y   GPT - 4 o   as  a   ju d g e.   Usi n g   a   C o T   p r o m p tin g   s tr ateg y   [ 2 9 ] ,   th e  m o d el  is   f ir s t   in s tr u cted   to   p r o v id e   s tr u ctu r ed   f ee d b ac k   b y   co m p ar in g   th e  g en er ate d   a n s wer   with   b o th   th e  in p u t  q u esti o n   an d   th e  g o ld   r ef e r en ce   an s we r .   I t  th en   ass ig n s   a  q u ality   s c o r e  o n   a  f iv e - p o in t  s ca le,   r ef l ec tin g   th e  an s wer ’ s   ac cu r ac y ,   f ac tu al  c o r r ec tn ess ,   an d   c o m p leten ess .   T h e  s co r i n g   r u b r ic,   d ef in i n g   a n ch o r   cr i ter ia  f o r   ea ch   s co r e  f r o m   1   to   5 ,   is   p r o v id ed   as  f o l lo ws   to g eth er   with   th e  f u ll  ev alu atio n   p r o m p t  tem p late  u s ed   in   o u r   ex p e r im en ts   to   en s u r e  tr an s p a r en cy   a n d   r ep r o d u cib ilit y .     Pro m p t te m p late  u s ed   i n   L L M - as - a - ju d g e  f o r   g en er atio n   ev a lu atio n   # # # T ask   Descr ip tio n :   An   in s tr u ctio n ,   a  r esp o n s e  to   ev alu ate,   a  r ef er e n ce   an s wer ,   an d   a  s co r e  r u b r ic  r ep r esen tin g   ev alu atio n   cr iter ia   ar e  g iv en .   1 .   W r ite  d etailed   f ee d b ac k   t h a t  ass es s   th e  q u ality   o f   th e  r esp o n s e  s tr ictly   b ased   o n   th e  g iv e n   s co r e  r u b r ic,   n o t  ev alu atin g   in   g en er al.   2 .   Af ter   wr itin g   a  f ee d b ac k ,   a s s ig n   a  s co r e  th at  is   an   in teg er   b etwe en   1   an d   5 .   Y o u   s h o u l d   r ef er   to   t h e  s co r e   r u b r ic.   3 .   T h e   o u tp u t  f o r m at   s h o u ld   b e  as  f o llo ws:   "Fee d b ac k :   {{ wr ite  y o u r   f ee d b ac k   f o r   cr iter ia} }  [ R E SULT ]   {{ an   in teg er   n u m b er   b etwe en   1   a n d   5 }} "   4 .   Please  d o   n o t  g en er ate   an y   o th er   o p en i n g ,   clo s in g ,   an d   ex p lan atio n s .   B e  s u r e   to   in clu d e  [ R E SULT ]   in   y o u r   o u tp u t.   # # # T h e   in s tr u ctio n :   {in s tr u ctio n }   # # # R esp o n s e  to   ev al u ate:   {r esp o n s e}     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :   1 9 0 9 - 1 9 1 8   1914   # # # R ef er en ce   A n s wer :   {r ef er en ce _ a n s wer }   # # # Sco r e  R u b r ics:   [ I s   th e  r esp o n s e  co r r ec t,  ac c u r ate,   an d   f ac tu al  b ased   o n   th e  r ef er en ce   an s wer ?]   Sco r e  1 : T h e  r esp o n s e  is   co m p letely   in co r r ec t,  in ac c u r ate,   a n d /o r   n o t f ac tu al.   Sco r e  2 : T h e  r esp o n s e  is   m o s tly   in co r r ec t,  in ac cu r ate ,   an d / o r   n o t f ac tu al.   Sco r e  3 : T h e  r esp o n s e  is   s o m e wh at  co r r ec t,  ac c u r ate,   an d /o r   f ac tu al.   Sco r e  4 : T h e  r esp o n s e  is   m o s tly   co r r ec t,   ac cu r ate,   a n d   f ac t u al.   Sco r e  5 : T h e  r esp o n s e  is   co m p letely   co r r ec t,  ac cu r ate,   an d   f a ctu al.   # # # Feed b ac k :     3 . 2 . 3 .   Chun k er   co nfig ura t io ns   F o r   th e   ev a l u a t i o n ,   w e  a n al y z e d   f o u r   d i s t in c t   d o cu m en t   c h u n k i n g   s t r a t e g i e s .   T h e  b a s e l i n e   a p p r o a ch e s   c o n s i s t e d   o f   f i x e d - s i z e  ch a r a c te r   c h u n k i n g   a n d   r ec . u r s i v e  ch u n k in g ,   b o t h   o f   w h i ch   w e r e  e v a l u a t e d   a t   i n te r v a l s   o f   5 0 0 ,   7 5 0 ,   1 , 0 0 0 ,   1 , 2 5 0 ,   a n d   1 , 5 0 0   ch ar a c t er s .   F o r   m o r e   c o n t e x t - a w a r e  s e g m e n ta t i o n ,   w e   u t i l i z ed   s em a n t i c   c h u n k i n g   w i t h   a   p er c en t i l e - b a s e d   b r ea k p o in t   t h r e s h o l d   o f   0 . 9 5 .   F i n a l ly ,   w e   i n co r p o r a t ed   L L M - b a s e d   c h u n k i n g   im p l em e n te d   v i a  G P T - 4 o ,   te s t i n g   b o t h   a  s t a n d a r d   b a s i c  ap p r o a ch   [ 2 2 ]   an d   a   Mo C   v ar i a n t  [ 2 2 ] .         4.   RE SU L T S AN D  D I SCU SS I O N   T h is   s ec tio n   p r esen ts   th e  em p ir ical  r esu lts   o f   o u r   s tu d y ,   c o m p ar in g   c h u n k in g   s tr ateg ies  ac r o s s   b o th   r etr iev al  an d   g en er atio n   m etr i cs.  T h e  an aly s is   h ig h lig h ts   h o w  d if f er en t  s eg m en tatio n   ap p r o ac h es  in f lu en ce   r etr iev al  p r ec is io n ,   s em an tic  s im ilar ity ,   an d   en d - to - en d   an s wer   q u ality .   I n   a d d itio n ,   th e  d is cu s s io n   in ter p r ets   th ese  f in d in g s   to   id e n tify   tr a d e - o f f s   b etwe en   c h u n k   s ize,   s tr u ctu r al  awa r en ess ,   an d   o v er all  R AG  p er f o r m an ce .   Fig u r e   3   i ll u s t r at es th e   im p ac t   o f   ch u n k   s ize   o n   r e tr ie v al   p e r f o r m a n ce   f o r   t h e   c h a r a ct er - b ase d   m e t h o d s   ( f ix e d - s i ze   a n d   r e c u r s i v e) .   As   d e m o n s tr ate d   i n   t h e   f o l lo wi n g   i n v esti g ati o n ,   f o r   th e   s i m p l e  c o n te x t   p r ec is i o n   m et r i c,   s m all er   c h u n k s   c o n s is ten tl y   y i el d   h i g h er   d o c u m en t - lev el  l o ca liz ati o n .   M o r e o v er ,   r e cu r s i v e   c h u n k i n g   o u t p e r f o r m s   f i x e d - s iz e   wi n d o ws  at   a ll   s c ales .   Se m a n t ic   s i m i lar it y   h as   b ee n   s h o w n   to   in c r e ase   wi th   ch u n k   s iz e,   r e ac h i n g   a   p ea k   a t   a p p r o x i m a tel y   1 , 2 5 0 - 1 , 5 0 0   c h a r ac te r s .   T h is   s u g g ests   t h at   l ar g e r   s e g m e n ts   m a y   p r es e r v e   m o r e   t o p i ca l   co n t ex t.   Fi n all y ,   L L M - b as ed   co n t ex t p r e cisi o n   u n d er s co r es a   tr a d e - o f f :   r ec u r s iv e   ch u n k i n g   att ai n s   o p ti m al   p e r f o r m a n c e   at   in te r m ed iat e   s iz es   ( a p p r o x im at el y   7 5 0   c h a r ac t er s ) ,   w h ile   f i x e d - s iz e   c h u n k i n g   m ai n t ai n s   g r e ate r   s ta b i lit y   a cr o s s   th e   s p ec t r u m .   T h es e   c o m p lem en ta r y   p a tte r n s   i n d ica te   t h a t  t h e   ch u n k   s ize   h as   a  d i r e ct  im p a ct   o n   t h e   e q u ili b r i u m   b et wee n   f in e - g r a in e d   l o ca l izat io n   a n d   b r o a d   s em an tic   c o v e r a g e .           Fig u r e  3 .   Per f o r m an c e  co m p ar is o n   o f   f ix e d - s ize  an d   r ec u r s iv e  tex t c h u n k in g   s tr ateg ies ac r o s s   d if f er en t c h u n k   s izes f o r   th r ee   r etr iev al  e v alu a tio n   m etr ics       Fig u r e  4   r ev ea ls   d is tin ct  p er f o r m an ce   p atter n s   ac r o s s   ch u n k in g   s tr ateg ies  wh e n   e v alu ate d   o n   th r e e  r etr iev al  m etr ics  an d   o n e  g en er atio n   m etr ic.   R ec u r s iv e  ch u n k in g   em er g es  as  th e  clea r   w in n er   f o r   r etr iev al   task s ,   ac h iev in g   co n s is ten tly   s u p er io r   s co r es  ac r o s s   all  m e tr ics,  with   p ea k   p er f o r m an ce   at  in ter m ed iate  to   lar g e  ch u n k   s izes  ( 7 5 0 - 1 , 2 5 0   ch ar ac ter s ) .   T h is   ap p r o ac h   s ig n if ican tly   o u tp e r f o r m s   b o th   f ix ed - s ize     ( Fig u r e  4 ( a) )   a n d   s em an tic  c h u n k in g   m eth o d s   ( Fig u r e   4 ( b ) ) .   T h e  L L M - b ased   Mo C   v a r ian t   [ 2 2 ]   s h o ws  s tr o n g   co m p etitiv e  p er f o r m an ce ,   p ar t icu lar ly   ex ce llin g   in   L L M - b as ed   co n tex t  p r ec is io n   ( Fig u r e  4 ( c) ) ,   th o u g h   it  f alls   ju s t sh o r t o f   th e  b est r ec u r s iv e  co n f ig u r atio n s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E va lu a tin g   d o cu me n t c h u n kin g   a p p r o a ch es fo r   r etri ev a l - a u g men ted   g e n era tio n   in   …   ( E r w a n n   La va r ec )   1915   C o n v er s ely ,   s em an tic  ch u n k in g   ex h ib its   a  n o tab le  u n d er p e r f o r m an ce   ac r o s s   all  estab lis h e d   r etr iev al   m etr ics.  T h e  b asic  L L M - b ased   ch u n k er   f ar es  s o m ewh at  b etter ,   d eliv er in g   m o d er ate  o u tco m es  th at  g en er all y   b r id g e  th e  p er f o r m an ce   g ap   b etwe en   th e  b aselin e  f ix e d - s ize  m eth o d s   an d   th e  m o r e  ad v an ce d   Mo C   ap p r o ac h es.  T o g eth e r ,   th ese  r e s u lts   h ig h lig h t th e  d is tin ct  ad v an tag e  o f   r ec u r s iv e  s eg m en tati o n ,   wh ich   s tr ik es a   cr itical  b alan ce   b etwe en   p r eser v in g   d o cu m e n t stru ctu r e  a n d   m ain tain in g   s em an tic  co h er en ce .     T h e  g en er atio n   q u ality   r esu lts   ( Fig u r e  4 ( d ) )   r ev ea l a n   e v en   m o r e  p r o n o u n ce d   ad v an tag e  f o r   r ec u r s iv e  ch u n k i n g .   At  lar g er   c h u n k   s izes  ( 1 , 250 - 1 , 5 0 0   ch a r ac ter s ) ,   r e cu r s iv e  s eg m en tatio n   d o m in at es  with   L L M - ju d g e   s co r es  ex ce ed in g   4 . 3   o n   th e   f i v e - p o in t  s ca le — r ep r esen tin g   t h e  h ig h est  p e r f o r m an ce   ac r o s s   all  m eth o d s   test ed .   W h ile  f ix ed - s ize  ch u n k in g   m ain tain s   s tead y   p er f o r m an ce ,   it  co n s is ten tly   f alls   s h o r t  o f   r ec u r s iv e  p ea k s ,   an d   s em an tic  ch u n k in g   s h o ws  m a r k ed ly   wea k e r   r esu lts .   T h e  L L M - d r iv en   a p p r o ac h es  f o llo w   a  f am iliar   p atter n :  Mo C   o u tp er f o r m s   th e   b asic  L L M  ch u n k er   b u t  n eith er   v ar ian t  m atch es  th e  t o p - p e r f o r m in g   r ec u r s iv e   co n f ig u r atio n s .   T h ese  co n v e r g in g   r esu lts   ac r o s s   b o th   r etr iev al  an d   g en er atio n   m et r ics  h ig h lig h t  th e   ef f ec tiv en ess   o f   r ec u r s iv e  ch u n k in g ,   wh o s e  p r eser v ati o n   o f   d o cu m e n t  s tr u ctu r e  an d   ab ilit y   to   ac co m m o d ate   m o d er ately   lar g e  ch u n k   s izes  p r o v id e   an   o p tim al  b alan ce .           ( a)   ( b )           ( c)   ( d )     Fig u r e  4 .   C o m p a r is o n   o f   ch u n k in g   s tr ateg ies ac r o s s   r etr iev al   m etr ics   of   ( a)   s im p le  c o n tex t  p r ec is io n ,     ( b )   s em an tic  s im ilar ity ,  ( c)   L L M - b ased   co n tex t  p r ec is io n ,  a n d   ( d )   g en er atio n   q u ality       T h ese  f in d in g s   h ig h lig h t  s ev e r al  im p o r tan t  tr ad e - o f f s   f o r   d esig n in g   R AG  s y s tem s   in   th e   ed ito r ial  d o m ain   d ea lin g   with   th e  s u b ject  o f   SaaS.   First,  ch u n k   s ize  ex er ts   a   d ir ec t   in f l u en ce   o n   r etr iev al  q u ality :  s m aller   s eg m en ts   f ac ilit ate  d o cu m en t - lev el   lo ca lizatio n ,   w h er ea s   m o d er ately   lar g er   o n e s   im p r o v e  s em an tic   alig n m en t.  L ar g e r   ch u n k   s izes  g en er ally   lead   to   im p r o v ed   g en er atio n   p er f o r m a n ce .   Ho we v er ,   r ec en t  f in d in g s   f r o m   C h r o m a’ s   tech n ical  r ep o r t  s h o w  t h at  wh e n   m o d els  ar e   ex p o s ed   to   v e r y   lo n g   co n tex t s ,   i.e . ,   o n   th e  o r d e r   o f   1 0 4   to k e n s ,   th eir   p er f o r m an ce   ca n   d eg r a d e  d u e  to   p o s itio n al  b iases   an d   r ed u ce d   r eliab ilit y ,   ev en   o n   r elativ ely   s im p le  task s   [ 6 ] .    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :   1 9 0 9 - 1 9 1 8   1916   Ov er all,   r ec u r s iv e  c h u n k in g   e m er g es  as  th e   m o s t  ef f ec tiv e,   co n s is ten tly   o u tp er f o r m in g   f ix ed - s ize,   s em an tic,   an d   L L M - d r iv en   a p p r o ac h es  in   b o th   r etr ie v al  an d   g en e r atio n   task s .   Nev er t h eless ,   th e  r elativ e   u n d er p er f o r m an ce   o f   s em an tic  an d   b asic L L M - b ased   ch u n k e r s   s u g g ests   th at  s o p h is ticated   s eg m en tatio n   alo n e   d o es  n o t  g u ar a n tee  b etter   d o w n s tr ea m   u tili ty   with o u t  ca r ef u l  ca lib r atio n .   W h ile  th e  p r ese n t  s tu d y   f o cu s es  o n   ed ito r ial  co n ten t  r eg a r d in g   Sa aS,   it  is   h y p o th esized   th at  th e  ad v an tag es  o f   r ec u r s iv e  ch u n k in g   lik ely   ex ten d   to   o th er   s p ec ialized   an d   n o n - s p ec ialized   ed ito r ial  d o m ain s .   R ec en t  r esear ch   in   th e  f ield   o f   leg al  d o cu m en t   r etr iev al  [ 3 0 ] ,   [ 3 1 ]   h as  d em o n s tr ated   th e  ef f icac y   o f   r ec u r s iv e  ch u n k in g   in   p r eser v in g   th e  h ier ar c h ical   s tr u ctu r e  an d   cr o s s - r ef er en ce s   th at  ar e  cr itical  f o r   leg al  in ter p r etatio n .   T h ese  f in d in g s   s u g g est  th at  d o m ain s   ch ar ac ter ized   b y   in h er en t   s tr u ctu r al  o r g an izatio n   m ay   p ar t icu lar ly   b en e f it  f r o m   th is   ap p r o ac h .   I n   a   s im ilar   v ein ,   tech n ical  d o cu m en tatio n   an d   s cien tific   p ap er s — wh ich   f r eq u e n tly   co n tain   s ec ti o n s   th at  r ef er en ce   d ef in itio n s   o r   co n ce p ts   in tr o d u ce d   elsewh er e — h av e  b ee n   d em o n s tr ated   to   ex h ib it  o p tim a l  p er f o r m a n ce   wh en   u tili zin g   r ec u r s iv e   an d   h ier ar ch ical  ch u n k in g   s tr ateg ies.  C o n s eq u en tly ,   we  h y p o th esize  th at  th e  ad v an tag es     o f   r ec u r s iv e  c h u n k in g   will  tr an s f er   to   a  b r o a d er   r an g e   o f   ed ito r ial   d o m ai n s   wh en   r el iab le  s tr u ctu r al  o r   f o r m attin g   s ig n als  ar e  av ai lab le.   Fu tu r e  r esear ch   s h o u ld   em p ir ically   v alid ate  r e cu r s iv e  ch u n k in g ' s   ef f ec tiv en ess   ac r o s s   th ese  d iv er s e  d o m ain s   to   estab lis h   its   b r o ad er   ap p licab ilit y   an d   id en ti f y   d o m ain - s p ec if ic  o p tim izatio n   r eq u ir em en ts .   B ey o n d   cr o s s - d o m ain   ap p lic ab ilit y ,   th e  f in d in g s   o f   th is   s tu d y   also   co n n ec t  to   b r o ad er   r esear ch   ef f o r ts   in   R AG  o p tim izatio n   an d   lo n g - co n tex t  m o d elin g .   R ec en t  ev id en ce   s h o ws  th at  L L Ms  ex h ib it  co n te x t   d ec ay   a n d   f ail  to   u n if o r m ly   atten d   to   in f o r m atio n   d is tr ib u ted   ac r o s s   lo n g   in p u t   s eq u en ce s   [ 3 2 ] .   T h is   lim itatio n   h ig h lig h ts   th e  im p o r tan ce   o f   s u p p ly in g   m o d els  with   co h er en t,  well - s tr u ctu r ed   co n tex t  s eg m en ts   r ath er   th a n   lo n g ,   n o is y   co n ca te n atio n s   o f   tex t.  B y   d em o n s tr atin g   th a t  r ec u r s iv e  ch u n k in g   b etter   p r eser v es  d o cu m e n t   s tr u ctu r e  wh ile  m ain tain in g   m an ag ea b le  s eg m en t  len g th s ,   o u r   r esu lts   co n tr ib u te  to   th is   wid er   lin e  o f   r esear c h   s ee k in g   to   im p r o v e   th e  r o b u s tn ess ,   f ac tu al  co n s is ten cy ,   a n d   ef f icien cy   o f   R AG  s y s tem s   o p er atin g   u n d er     lo n g - co n tex t c o n s tr ain ts .       5.   CO NCLU SI O N   T h is   s t u d y   s y s t em ati ca ll y   in v est ig at ed   t h e   i m p a ct   o f   d o cu m e n t   c h u n k in g   s t r at e g ies   o n   R A G   p e r f o r m a n c e  wi th in   t h e   e d it o r ial   d o m a in   r e g a r d in g   Sa a S.  T h e  r es u l ts   d e m o n s t r ate   th at   p r e - i n d e x i n g   s eg m e n t ati o n   d ec is io n s   s t r o n g l y   i n f lu e n ce   b o t h   r et r i ev al   ef f e cti v e n ess   a n d   an s we r   q u a lit y ,   w it h   r ec u r s iv e  ch u n k in g   u s i n g   m o d e r at el y   l ar g e   s eg m e n ts   ( 7 5 0 - 1 , 2 5 0   c h ar ac t er s )   c o n s is t e n tl y   y iel d i n g   t h e   b es t   b ala n ce   b et we en   d o c u m en t  lo ca l iz ati o n   a n d   s e m a n t ic   c o h e r e n c e.   T h es e  f i n d i n g s   h i g h li g h t   t h at   s tr u ct u r al   d o c u m e n t  awa r e n ess   r e m ai n s   ess en tia l,   ev en   w h e n   c o m p a r e d   wit h   m o r e   s o p h is t ica te d   s e m a n ti c - aw ar e  o r   L L M - d r i v e n   ch u n k in g   m e th o d s ,   a n d   th at  ef f e cti v e  c h u n k i n g   m u s t  b ala n c e  r et r ie v al  p r ec is io n   wit h   to k e n   b u d g e t  a n d     lo n g - co n t e x t r e lia b i lit y   co n s t r a in ts .   L o o k i n g   ah ea d ,   f u tu r e   r es ea r c h   s h o u ld   g e n e r al iz e  t h es e  o b s e r v ati o n s   ac r o s s   o t h e r   d o m a i n s   s u c h   as  l e g al   o r   s ci e n ti f ic   te x ts ,   e x p l o r e  ad ap ti v e  ch u n k i n g   c o m b i n e d   wit h   h y b r i d   s e ar ch   s tr a te g ies   m ix in g   s ev er al  a p p r o ac h es ,   d y n am i c  r et r i e v al   o r   r e r a n k in g   s tr ate g i es,   a n d   i n v est ig at e  h o w   s eg m e n t ati o n   m u s t  ev o l v e  al o n g s i d e  em er g i n g   lo n g - c o n te x t   a r c h it ec t u r es .   B y   p r o v id in g   a  d o m ai n - s p ec i f i c   b e n c h m a r k ,   a   c o m p r eh en s iv e   ev al u at io n   f r am ew o r k ,   an d   e m p i r ic al   g u id an ce   o n   o p ti m a l  ch u n k in g   d esi g n ,   t h is   wo r k   a d v a n c es  b o t h   t h e   t h e o r e tica l  u n d e r s ta n d i n g   a n d   p r a cti c al  d e p l o y m e n t   o f   r eli ab le ,   ef f i c ien t RA G  s y s t em s .       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO R   CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   E r wan n   L av a r ec   ✓   ✓     ✓       ✓     ✓   ✓     ✓   ✓     Yu   Du   ✓   ✓   ✓   ✓   ✓     ✓   ✓     ✓   ✓           C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n     Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       E va lu a tin g   d o cu me n t c h u n kin g   a p p r o a ch es fo r   r etri ev a l - a u g men ted   g e n era tio n   in   …   ( E r w a n n   La va r ec )   1917   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au th o r s   d ec lar e  th at  th e y   h av e  n o   co n f licts   o f   in ter est r e lated   to   th is   wo r k .         DATA AV AI L AB I L I T Y   T h e  d ataset  s u p p o r tin g   th e  f in d in g s   o f   th is   s tu d y   is   p u b licly   av ailab le  in   Z en o d o   at   h ttp s ://d o i.o r g /1 0 . 5 2 8 1 /zen o d o . 1 7 4 2 3 3 3 7 .   T h e  d ataset  is   d is tr ib u ted   u n d er   th e  C r ea tiv e  C o m m o n s   Attr ib u tio n   4 . 0   I n te r n atio n al  ( C C   B Y  4 . 0 )   licen s e,   wh ich   p er m its   u n r es tr icted   u s e,   d is tr ib u tio n ,   an d   r ep r o d u ctio n   in   an y   m ed iu m ,   p r o v id e d   th e  o r i g in a l  wo r k   is   p r o p er ly   cited .   A  m ir r o r ed   v er s io n   o f   th e  d ataset  is   also   h o s ted   o n   Hu g g in g   Face   at  h ttp s ://h u g g in g f ac e. c o /d atasets /ap p v izer /q a - d ataset - f o r - s aa s   to   f ac ilit ate  ac ce s s   f o r   th e   r esear ch   co m m u n ity .         RE F E R E NC E S   [ 1 ]   L.   H u a n g   e t   a l . ,   “ A   s u r v e y   o n   h a l l u c i n a t i o n   i n   l a r g e   l a n g u a g e   m o d e l s :   p r i n c i p l e s ,   t a x o n o my ,   c h a l l e n g e s ,   a n d   o p e n   q u e s t i o n s,”   AC M   T ra n s a c t i o n s   o n   I n f o rm a t i o n   S y st e m s ,   v o l .   4 3 ,   n o .   2 ,   p p .   1 – 5 5 ,   2 0 2 5 ,   d o i :   1 0 . 1 1 4 5 / 3 7 0 3 1 5 5 .   [ 2 ]   P .   Le w i s  e t   a l . ,   “ R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   f o r   k n o w l e d g e - i n t e n s i v e   N LP  t a s k s, ”   i n   Pr o c e e d i n g s   o f   t h e   3 4 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s ,   2 0 2 0 ,   p p .   9 4 5 9 – 9 4 7 4 ,  d o i :   1 0 . 5 5 5 5 / 3 4 9 5 7 2 4 . 3 4 9 6 5 1 7 .   [ 3 ]   W .   F a n   e t   a l . ,   “ A   s u r v e y   o n   R A G   m e e t i n g   LLM s:   t o w a r d s  r e t r i e v a l - a u g m e n t e d   l a r g e   l a n g u a g e   m o d e l s,”   i n   Pr o c e e d i n g s   o f   t h e   3 0 t h   AC M  S I G K D D   C o n f e r e n c e   o n   K n o w l e d g e   D i sc o v e ry   a n d   D a t a   M i n i n g ,   2 0 2 4 ,   p p .   6 4 9 1 – 6 5 0 1 ,     d o i :   1 0 . 1 1 4 5 / 3 6 3 7 5 2 8 . 3 6 7 1 4 7 0 .   [ 4 ]   Y .   G a o   e t   a l . ,   “ R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   f o r   l a r g e   l a n g u a g e   mo d e l s :   a   su r v e y , ”   2 0 2 3 ,   a rX i v : 2 3 1 2 . 1 0 9 9 7 .   [ 5 ]   N .   A mp a z i s,  “ I mp r o v i n g   R A G   q u a l i t y   f o r   l a r g e   l a n g u a g e   mo d e l s  w i t h   t o p i c - e n h a n c e d   r e r a n k i n g , ”   i n   Art i f i c i a l   I n t e l l i g e n c e   Ap p l i c a t i o n s  a n d   I n n o v a t i o n s ,   C h a m ,   S w i t z e r l a n d :   S p r i n g e r ,   2 0 2 4 ,   p p .   7 4 – 8 7 .   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 1 - 6 3 2 1 5 - 0 _ 6 .   [ 6 ]   K .   H o n g ,   A .   Tr o y n i k o v ,   a n d   J.  H u b e r ,   “ C o n t e x t   r o t :   h o w   i n c r e a si n g   i n p u t   t o k e n s   i m p a c t s  L LM   p e r f o r ma n c e , ”   C h ro m a   R e se a rc h .  2 0 2 5 ,   A c c e s se d :   S e p .   0 2 ,   2 0 2 5 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s: / / r e s e a r c h . t r y c h r o ma . c o m/ c o n t e x t - r o t   [ 7 ]   S .   W a n g ,   J.   Ta n ,   Z.   D o u ,   a n d   J. - R .   W e n ,   “ O m n i Ev a l :   a n   o m n i d i r e c t i o n a l   a n d   a u t o ma t i c   R A G   e v a l u a t i o n   b e n c h mar k   i n   f i n a n c i a l   d o m a i n , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 2 5   C o n f e re n c e   o n   Em p i r i c a l   M e t h o d s   i n   N a t u r a l   L a n g u a g e   Pro c e ss i n g ,   2 0 2 5 ,   p p .   5 7 3 7 – 5 7 6 2 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . e m n l p - m a i n . 2 9 2 .   [ 8 ]   K .   Z h u   e t   a l . ,   “ R A G Ev a l :   s c e n a r i o   s p e c i f i c   R A G   e v a l u a t i o n   d a t a set   g e n e r a t i o n   f r a mew o r k , ”   i n   Pro c e e d i n g s   o f   t h e   6 3 rd   A n n u a l   Me e t i n g   o f   t h e   Asso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 5 ,   p p .   8 5 2 0 – 8 5 4 4 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . a c l - l o n g . 4 1 8 .   [ 9 ]   C .   M e r o l a   a n d   J.   S i n g h ,   “ R e c o n st r u c t i n g   c o n t e x t :   e v a l u a t i n g   a d v a n c e d   c h u n k i n g   st r a t e g i e s  f o r   r e t r i e v a l - a u g m e n t e d   g e n e r a t i o n , ”   i n   K n o w l e d g e - E n h a n c e d   I n f o rm a t i o n   Re t ri e v a l ,   C h a m ,   S w i t z e r l a n d :   S p r i n g e r ,   2 0 2 6 ,   p p .   3 – 18 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 3 - 0 3 2 - 0 2 8 9 9 - 0 _ 1 .   [ 1 0 ]   L.   Z h e n g   e t   a l . ,   “ J u d g i n g   L LM - as - a - j u d g e   w i t h   M T - b e n c h   a n d   c h a t b o t   a r e n a , ”   i n   Pr o c e e d i n g s  o f   t h e   3 7 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s ,   2 0 2 3 ,   v o l .   3 6 ,   p p .   4 6 5 9 5 – 4 6 6 2 3 ,   d o i :   1 0 . 5 5 5 5 / 3 6 6 6 1 2 2 . 3 6 6 8 1 4 2 .   [ 1 1 ]   Y .   A .   M a l k o v   a n d   D .   A .   Y a s h u n i n ,   “ Ef f i c i e n t   a n d   r o b u s t   a p p r o x i ma t e   n e a r e st   n e i g h b o r   se a r c h   u si n g   h i e r a r c h i c a l   n a v i g a b l e   sma l l   w o r l d   g r a p h s, ”   I EEE   T ra n s a c t i o n s   o n   P a t t e r n   A n a l y s i s  a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   4 2 ,   n o .   4 ,   p p .   8 2 4 – 8 3 6 ,   2 0 2 0 ,     d o i :   1 0 . 1 1 0 9 / TPA M I . 2 0 1 8 . 2 8 8 9 4 7 3 .   [ 1 2 ]   H .   Jé g o u ,   M .   D o u z e ,   a n d   C .   S c h m i d ,   “ P r o d u c t   q u a n t i z a t i o n   f o r   n e a r e st   n e i g h b o r   se a r c h , ”   I EE E  T r a n s a c t i o n s  o n   Pa t t e r n   A n a l y si s   a n d   Ma c h i n e   I n t e l l i g e n c e ,   v o l .   3 3 ,   n o .   1 ,   p p .   1 1 7 – 1 2 8 ,   2 0 1 1 ,   d o i :   1 0 . 1 1 0 9 / T P A M I . 2 0 1 0 . 5 7 .   [ 1 3 ]   A .   G i o n i s,  P .   I n d y k ,   a n d   R .   M o t w a n i ,   “ S i mi l a r i t y   se a r c h   i n   h i g h   d i me n s i o n s   v i a   h a s h i n g , ”   i n   Pr o c e e d i n g s   o f   t h e   2 5 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   Ve r y   L a rg e   D a t a   B a s e s ,   1 9 9 9 ,   p p .   5 1 8 – 529 ,   d o i :   1 0 . 5 5 5 5 / 6 4 5 9 2 5 . 6 7 1 5 1 6 .   [ 1 4 ]   Z.   X u   e t   a l . ,   “ R e t r i e v a l - a u g me n t e d   g e n e r a t i o n   w i t h   k n o w l e d g e   g r a p h s  f o r   c u s t o m e r   ser v i c e   q u e s t i o n   a n sw e r i n g , ”   i n   Pr o c e e d i n g s   o f   t h e   4 7 t h   I n t e r n a t i o n a l   A C M  S I G I R   C o n f e re n c e   o n   Re s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o rm a t i o n   R e t r i e v a l ,   2 0 2 4 ,   p p .   2 9 0 5 – 2 9 0 9 ,   d o i :   1 0 . 1 1 4 5 / 3 6 2 6 7 7 2 . 3 6 6 1 3 7 0 .   [ 1 5 ]   S .   Li ,   L.   S t e n z e l ,   C .   E i c k h o f f ,   a n d   S .   A l i   B a h r a i n i a n ,   “ En h a n c i n g   r e t r i e v a l - a u g me n t e d   g e n e r a t i o n :   a   s t u d y   o f   b e st   p r a c t i c e s, ”   i n   Pro c e e d i n g s  o f   t h e   3 1 st   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 5 ,   p p .   6 7 0 5 – 6 7 1 7 .   [ 1 6 ]   Y .   Y u   e t   a l . ,   “ R a n k R A G :   u n i f y i n g   c o n t e x t   r a n k i n g   w i t h   r e t r i e v a l - a u g me n t e d   g e n e r a t i o n   i n   LL M s,”   i n   3 8 t h   C o n f e ren c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s (N e u rI PS   2 0 2 4 ) ,   2 0 2 4 ,   p p .   1 2 1 1 5 6 – 1 2 1 1 8 4 .   d o i :   1 0 . 5 2 2 0 2 / 0 7 9 0 1 7 - 3 8 5 0 .   [ 1 7 ]   L.   G a o ,   X .   M a ,   J.   Li n ,   a n d   J.   C a l l a n ,   “ P r e c i se   z e r o - sh o t   d e n se  r e t r i e v a l   w i t h o u t   r e l e v a n c e   l a b e l s, ”   i n   Pr o c e e d i n g s  o f   t h e   6 1 st   An n u a l   M e e t i n g   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 3 ,   p p .   1 7 6 2 – 1 7 7 7 ,  d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 3 . a c l - l o n g . 9 9 .   [ 1 8 ]   M .   A .   C .   B l a n d ó n ,   J.  T a l u r ,   B .   C h a r r o n ,   D .   L i u ,   S .   M a n s o u r ,   a n d   M .   F e d e r i c o ,   “ M E M E R A G :   a   m u l t i l i n g u a l   e n d - to - e n d   met a - e v a l u a t i o n   b e n c h m a r k   f o r   r e t r i e v a l   a u g m e n t e d   g e n e r a t i o n , ”   i n   Pr o c e e d i n g s  o f   t h e   6 3 r d   A n n u a l   M e e t i n g   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ,   2 0 2 5 ,   p p .   2 2 5 7 7 – 2 2 5 9 5 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . a c l - l o n g . 1 1 0 1 .   [ 1 9 ]   La n g C h a i n ,   “ L a n g C h a i n   o v e r v i e w ,”  L a n g C h a i n   D o c u m e n t s ,   A c c e ss e d :   S e p .   0 2 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / p y t h o n . l a n g c h a i n . c o m / d o c s/ h o w _ t o / s e ma n t i c - c h u n k e r /   [ 2 0 ]   Ll a m a I n d e x ,   “ S e ma n t i c   c h u n k e r , ”   L l a m a I n d e x ,   2 0 2 4 ,   A c c e s sed :   S e p .   0 2 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / d e v e l o p e r s. l l a ma i n d e x . a i / p y t h o n / e x a mp l e s / n o d e _ p a r sers / sem a n t i c _ c h u n k i n g /   [ 2 1 ]   R .   Q u ,   R .   T u ,   a n d   F .   S .   B a o ,   “ I s  sem a n t i c   c h u n k i n g   w o r t h   t h e   c o m p u t a t i o n a l   c o s t ? ”   i n   F i n d i n g s   o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i s t i c s:   N AAC L   2 0 2 5 ,   2 0 2 5 ,   p p .   2 1 5 5 – 2 1 7 7 ,  d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . f i n d i n g s - n a a c l . 1 1 4 .   [ 2 2 ]   J.  Z h a o   e t   a l . ,   “ M o C :   m i x t u r e s  o f   t e x t   c h u n k i n g   l e a r n e r s  f o r   r e t r i e v a l - a u g men t e d   g e n e r a t i o n   sy s t e m , ”   i n   Pr o c e e d i n g s   o f   t h e   6 3 r d   An n u a l   M e e t i n g   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 5 ,   p p .   5 1 7 2 – 5 1 8 9 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . a c l - l o n g . 2 5 8 .   [ 2 3 ]   A .   V .   D u a r t e ,   J .   D .   M a r q u e s ,   M .   G r a ç a ,   M .   F r e i r e ,   L.   Li ,   a n d   A .   L.   O l i v e i r a ,   “ L u m b e r C h u n k e r :   l o n g - f o r m  n a r r a t i v e   d o c u me n t   seg m e n t a t i o n , ”   i n   Fi n d i n g s  o f   t h e   Asso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   E MN L P  2 0 2 4 ,   2 0 2 4 ,   p p .   6 4 7 3 – 6 4 8 6 ,     d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . f i n d i n g s - e mn l p . 3 7 7 .   [ 2 4 ]   I .   S .   S i n g h   e t   a l . ,   “ C h u n k R A G :   n o v e l   LLM - c h u n k   f i l t e r i n g   m e t h o d   f o r   R A G   sy st e ms, ”   2 0 2 4 ,   a rX i v : 2 4 1 0 . 1 9 5 7 2 .   [ 2 5 ]   M .   G ü n t h e r ,   I .   M o h r ,   D .   J.  W i l l i a ms,   B .   W a n g ,   a n d   H .   X i a o ,   “ La t e   c h u n k i n g :   c o n t e x t u a l   c h u n k   e m b e d d i n g s  u s i n g   l o n g - c o n t e x t   e mb e d d i n g   m o d e l s , ”   2 0 2 5 ,   a rXi v : 2 4 0 9 . 0 4 7 0 1 .   [ 2 6 ]   A n t h r o p i c ,   “ I n t r o d u c i n g   c o n t e x t u a l   r e t r i e v a l , ”   A n t h r o p i c .   2 0 2 4 ,   A c c e ss e d :   S e p .   0 2 ,   2 0 2 5 .   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . a n t h r o p i c . c o m / n e w s/ c o n t e x t u a l - r e t r i e v a l     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  1 5 ,   No .   2 ,   Ap r il 2 0 2 6 :   1 9 0 9 - 1 9 1 8   1918   [ 2 7 ]   S .   F i l i c e ,   G .   H o r o w i t z ,   D .   C a r mel ,   Z.   K a r n i n ,   L.   L . - E y t a n ,   a n d   Y .   M a a r e k ,   “ G e n e r a t i n g   Q &A   b e n c h m a r k s   f o r   R A G   e v a l u a t i o n   i n   e n t e r p r i se   set t i n g s, ”   i n   Pro c e e d i n g s   o f   t h e   6 3 r d   A n n u a l   M e e t i n g   o f   t h e   Ass o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i st i c s ,   2 0 2 5 ,     p p .   4 6 9 – 484 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 5 . a c l - i n d u s t r y . 3 3 .   [ 2 8 ]   S .   Es ,   J .   J a mes ,   L .   E .   A n k e ,   a n d   S .   S c h o c k a e r t ,   “ R A G A s:   a u t o ma t e d   e v a l u a t i o n   o f   r e t r i e v a l   a u g me n t e d   g e n e r a t i o n , ”   i n   Pro c e e d i n g s  o f   t h e   1 8 t h   C o n f e re n c e   o f   t h e   E u r o p e a n   C h a p t e r  o f   t h e   Asso c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   S y st e m   D e m o n s t r a t i o n s ,   2 0 2 4 ,   p p .   1 5 0 – 158 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 4 . e a c l - d e mo . 1 6 .   [ 2 9 ]   J.  W e i   e t   a l . ,   “ C h a i n - of - t h o u g h t   p r o mp t i n g   e l i c i t s  r e a so n i n g   i n   l a r g e   l a n g u a g e   m o d e l s,”   i n   Pr o c e e d i n g s   o f   t h e   3 6 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ssi n g   S y st e m s ,   2 0 2 2 ,   p p .   2 4 8 2 4 – 2 4 8 3 7 ,   d o i :   1 0 . 5 5 5 5 / 3 6 0 0 2 7 0 . 3 6 0 2 0 7 0 .   [ 3 0 ]   A .   F .   F e r r a r i s,   D .   A u d r i t o ,   G .   S i r a g u s a ,   a n d   A .   P i o v a n o ,   “ Le g a l   c h u n k i n g :   e v a l u a t i n g   me t h o d s  f o r   e f f e c t i v e   l e g a l   t e x t   r e t r i e v a l , ”   i n   L e g a l   K n o w l e d g e   a n d   I n f o rm a t i o n   S y st e m ,   I O S   P r e ss,  2 0 2 4 ,   p p .   2 7 5 – 2 8 1 ,   d o i :   1 0 . 3 2 3 3 / F A I A 2 4 1 2 5 5 .   [ 3 1 ]   N .   P i p i t o n e   a n d   G .   H .   A l a mi ,   “ Le g a l B e n c h - R A G :   a   b e n c h mar k   f o r   r e t r i e v a l - a u g me n t e d   g e n e r a t i o n   i n   t h e   l e g a l   d o ma i n , ”   2 0 2 4 ,  a rXi v : 2 4 0 8 . 1 0 3 4 3 .   [ 3 2 ]   N .   F .   Li u   e t   a l . ,   “ L o st   i n   t h e   m i d d l e :   h o w   l a n g u a g e   mo d e l s u se  l o n g   c o n t e x t s,”   T r a n sa c t i o n s o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s ,   v o l .   1 2 ,   p p .   1 5 7 – 1 7 3 ,   2 0 2 4 ,   d o i :   1 0 . 1 1 6 2 / t a c l _ a _ 0 0 6 3 8 .       B I O G RAP H I E S O F   AUTH O RS       Er wa n n   La v a r e c           h o ld s  a   P h . D.  i n   r o b o ti c s  fro m   LIRM M ,   Un i v e rsity   o f  M o n t p e ll ier  ( 2 0 0 1 ),   w h e re   h is  d i ss e rtatio n   fo c u se d   o n   3 D  m o t io n   e stim a ti o n   u si n g   a   c a m e ra   a n d   p r o p r io c e p ti v e   se n so rs.  He   a lso   e a rn e d   a n   e x e c u ti v e   M BA   fro m   M o n tp e ll ier  Bu si n e ss   S c h o o l  (2 0 1 3 ) .   He   is  c u rre n tl y   c h ief  tec h n o l o g y   o ffice r  a t  Ap p v ize r  (S o fto n ic  g r o u p )  a n d   p re v io u sly   f o u n d e d   a n d   led   Wan y   Ro b o ti c s.  His  in tere sts  sp a n   m o b il e - ro b o t  l o c a li z a ti o n ,   p a rti c le  fil ters /M o n te - Ca rlo   m e th o d s,  3 D  v isio n ,   a n d   t h e   e n g i n e e rin g   o f  LL M s  a n d   a g e n t ic  AI   sy ste m s  su c h   a s  RAG ,   se m a n ti c   re a so n in g ,   a n d   m u lt i - a g e n t  a rc h it e c tu re .   He   is  a lso   li ste d   a s  a n   in v e n to r  o n   r o b o ti c s  a n d   AI  p a ten ts.  He   wo n   th e   n a ti o n a l  c o m p e ti ti o n   f o r  in n o v a ti v e   tec h n o l o g y   c o m p a n y   c re a ti o n   o rg a n ize d   b y   t h e   F re n c h   M in istr y   o f  Re se a rc h   in   1 9 9 9   a n d   2 0 0 0 .   He   h a s  p u b li sh e d   re se a rc h   p a p e rs  in   i n tern a ti o n a l  c o n fe re n c e s  i n c lu d in g   IE EE   ICRA ,   on  k in e m a ti c   a n d   d y n a m ic m o d e li n g   o f  m u lt i - r o to r  a ircra ft  sy ste m s.  He   c a n   b e   c o n tac ted   a t  e m a il :  e rwa n n . lav a re c @a p p v ize r. c o m .         Yu  Du           re c e iv e d   h is   P h . D.  i n   Co m p u ter   S c ien c e   fr o m   IM T   M i n e s  Alè s  in   2 0 2 1   with   t h e   d isse rtatio n   “ De s  d o n n é e s  a u x   c o n n a issa n c e s:  v e rs  d e s  re c o m m a n d a ti o n s   p l u s   p e rti n e n tes ,   d i v e rsifiée s  e t  tran sp a re n tes . ”   He   a lso   h o l d s  a n   M . S c .   in   Co m p u ter  S c ie n c e   ( d a ta,   k n o wle d g e   a n d   n a t u ra l  lan g u a g e   p ro c e ss in g )  fr o m   th e   Un iv e rsity   o f  M o n t p e ll ier  (2 0 1 7 )  a n d   a   B. S c .   in   Co m p u ter  S c ien c e   fro m   Un iv e rsité  Clerm o n t  Au v e rg n e   (2 0 1 4 ).   He   is  c u rre n tl y   a n   AI   re se a rc h   e n g in e e r  a n d   d a ta  sc ien ti st  a t  Ap p v ize r  (S o ft o n ic  g ro u p ).   His  re se a rc h   in tere sts  in c lu d e   m a c h in e   lea rn in g ,   re c o m m e n d e r  sy ste m s,  k n o wle d g e   e n g i n e e rin g ,   k n o wle d g e   g ra p h s,   n a tu ra l  lan g u a g e   p ro c e ss in g ,   in fo rm a ti o n   re tri e v a l,   a n d   a g e n ti c   AI.  P rio r   t o   h is  c u rre n t   p o siti o n ,   h e   wo r k e d   a s  a   re se a rc h   e n g i n e e r  a t  Cirad ,   d e v e lo p in g   se m a n ti c   we b   to o ls  fo r   in fo rm a ti o n   re tri e v a l  a n d   d a ta  a n a ly sis.  He   h a s  p u b li s h e d   se v e ra l  p a p e rs  in   i n tern a ti o n a l   jo u r n a ls  in c lu d i n g   I n fo rm a ti o n   P r o c e ss in g   a n d   M a n a g e m e n t,   K n o wle d g e - Ba se d   S y ste m s,  a n d   P Lo S   ON E,   with   n o tab le   c o n tri b u ti o n s   to   c o l lab o ra ti v e   fi lt e rin g ,   re c o m m e n d a ti o n   d iv e rsit y ,   a n d   e x p lain a b le  AI.   He   c a n   b e   c o n tac ted   a t   e m a il :  d u . y u . 1 4 1 1 @ g m a il . c o m   o r   y u . d u @a p p v ize r. c o m .     Evaluation Warning : The document was created with Spire.PDF for Python.