🏠 总目录 📚 资料库检索与 RAG

上下文检索

⏱ 10 分钟 | 🔍 给每个分块补上它丢失的语境

🎯 一句话

分块可能丢失公司、时间与章节等定位信息。上下文检索在索引前为块补充基于全文的简短说明,再比较检索与下游任务表现;说明也要检查事实准确性。

本页先解决:补充块上下文后,检索失败率是否在本任务集下降?

Claude 博客资料库 · 检索与RAG

补充块上下文后,检索失败率是否在本任务集下降?

孤立块能保留一句话,却可能丢失这句话属于谁、何时和哪一节。

读完可以:把块定位信息在索引前补足,并在本任务集检验检索和下游结果。

在索引前补回块的定位信息

  1. 孤立片段“营收增长了 3%”尚缺公司、时间与比较基线
  2. 核对全文语境为该块补准确而简短的定位说明
  3. 两路索引说明与原块一起进入嵌入和 BM25
  4. 融合检索比较相关块是否被找回,再检查下游任务

说明须事实准确;新数据与模型、检索数量及重排组合仍需评估。

依据正文示例与两路索引整理,未编造公司或实际财报。原失败率及相对降幅属于原实验,不是本图产生的实测结果。
📄 来自 Claude 官方博客
原文标题
Introducing Contextual Retrieval(上下文检索)
原文链接
https://www.anthropic.com/engineering/contextual-retrieval
作者
Daniel Ford 等(Anthropic)
发布日期
2024-09-19
⚠️ 本页是原文的中文结构化整理笔记(保留架构、数据、案例、结论),并非逐字翻译。版本、参数与案例数字属于原文所示条件,不是本资料库的实测结果;产品状态与接口以实施时官方文档为准。
📑 本页目录

传统 RAG 系统在编码信息时会丢失上下文,导致检索失败。在切块(chunk)被嵌入和索引之前先给每个块加上解释性上下文,可以大幅提升检索准确率。

孤立块能保留一句话,却可能丢失这句话属于谁、何时和哪一节。

什么是上下文检索

这是一种预处理技术:不再直接编码孤立的文本块,而是先给每个块补充「针对该块的解释性上下文」。它解决的根本问题是——孤立的文本块常常缺乏足够的周边信息,既无法被正确理解,也无法被正确检索到。

例:一个原始块写着「营收增长了 3%」,加上上下文后会变成明确说明是哪家公司、哪个时间段、相对什么基线的完整表述。

在索引前补定位说明,让语义和词法两路都获得原块缺少的语境。

两个核心组件

1. 上下文嵌入(Contextual Embeddings)

用 Claude 为每个块生成简短的上下文说明(通常 50-100 token),拼接在块前面,然后再转成语义向量。

2. 上下文 BM25(Contextual BM25)

同样的上下文信息也加到词法索引之前。BM25 用精确词项匹配,能抓住语义嵌入可能错过的精确标识符(如错误码、技术规格)。两种方式通过排序融合(rank fusion)结合,实现全面检索。

失败率、成本、知识库规模与下游任务一起核对,不把原实验的相对降幅当成新任务保证。

基准数据

以「1 减去 recall@20」衡量(即相关文档未出现在前 20 个检索结果中的比例):

方案 失败率 相对降幅
基线 5.7% —
上下文嵌入 3.7% ↓35%
上下文嵌入 + 上下文 BM25 2.9% ↓49%
再加重排序(Reranking) 1.9% ↓67%

成本: 使用 prompt caching 时,生成上下文化块的预处理成本约为每百万文档 token $1.02——规模化下经济可行。

什么时候才需要它

实用阈值: 原文建议在较小知识库上先比较整库上下文与检索方案;20 万 token / 约 500 页是当时的示例量级。实际选择取决于模型窗口、成本、权限、时效和任务评测,并无通用硬阈值。

实施要点

  1. 切块策略: 根据具体用例优化块大小、边界和重叠
  2. 嵌入模型: 测试中 Gemini 和 Voyage 的嵌入表现更好
  3. 自定义提示词: 官方提供了通用的上下文化提示词,但针对领域定制效果更佳
  4. 检索数量: 取 20 个块的效果优于 5 个或 10 个
  5. 重排序: 加一步重排序(测试用 Cohere reranker)能进一步提升准确率,但有延迟代价
  6. 务必用上下文化后的块跑评估,确认下游性能确实改善

结论

多种技术相互叠加、效果可累积:

「这些收益全部可以叠加」是原文实验范围内的观察;新数据、模型、块数与重排组合仍需验证,收益不一定单调增加。


✅ 检查点

  1. 传统分块检索丢失了什么?举个例子。
  2. 上下文检索具体怎么做?
  3. 它的成本在哪?为什么还是划算的?
👀 答案
  1. 丢失了块所处的语境。例:一份财报被切块后,某块内容是「该公司当季营收增长 3%」——「该公司」是谁、「当季」是哪一季,块里都没有,检索时就匹配不上「A 公司 2024 年三季度营收」这样的查询。
  2. 在索引之前,给每个块前面加一段简短的定位说明(如「本段出自 A 公司 2024 年三季度财报的营收章节」),然后对「说明+原文」整体做嵌入和索引。⭐ 关键是这段说明由模型根据整篇文档生成,所以它知道块在全文里的位置。
  3. 成本在于索引阶段要为每个块额外调用一次模型生成说明。划算是因为:这是索引阶段成本;文档、上下文化提示词或模型更新时可能需要重建,长期收益仍须由任务评测确认;而且配合提示缓存,整篇文档只需载入一次,后续每个块的说明生成都能复用缓存,实际开销远低于朴素估算。

本节回顾

先记住这几件事

  • 文档切块会丢失公司、时间和章节等语境,孤立片段因此难以检索。
  • 索引时补充准确的定位说明,再与原片段一起编码。
  • 用检索评测检查说明是否有效,同时核算索引与缓存成本。