🏠 总目录📚 本教程 08 · RAG 最小闭环 ← →

大模型全景导论 / 08

答案错了,是证据没找到、被压坏,还是合并错了?

以失败点带出切分、混合检索、重排后证据与压缩/融合边界,保留两个最新手算深度。

📑 本页目录(点开跳转)

08 · RAG:先搭出一个能用的

这一页只解决一个问题:怎样让回答用上正确的资料,而不是只凭模型的记忆。 不需要先学推荐系统,也不要求先训练模型。

🎯 一句话

RAG 把检索资料和依据资料生成回答接在一起。先找到证据,再检查回答是否忠实使用了证据;两边都可能出错。

用户问题向量化同一个嵌入模型向量库检索取 top-K 相似块重排 Rerank精排一次拼进提示词问题 + 检索到的块模型生成带引用文档库离线切块+嵌入RAG 不是「让模型记住文档」,是「每次把相关的那几段塞给它」检索提供证据;生成、上下文组装与权限同样影响结果⭐ 排查 RAG 效果差,先检查「证据是否找到并进入模型」——而不是先去换更大的模型
蓝色是检索链路,橙色是生成链路。先核对检索回来的块是否包含正确证据,再检查生成的回答是否忠实使用它。检索正确不代表回答一定正确;要区分资料缺失、组装截断和生成错误。

先带走这个判断方法:

  • 没找到正确资料:查文档解析、切分、检索。
  • 找到了却没放进提示词:查排序、截断和上下文组装。
  • 已经放进去了却答错:查生成、引用和拒答规则。

想直接动手,可以进入11b 文档入库实验;已有文档库则进入11c 检索评测实验。

😅 先看差距有多大

最小系统也有两段:入库时准备资料,提问时取回资料。 不是每问一次都重新切整套文档。

RAG 的入库与问答两阶段 入库阶段从文档到切分、建立索引。问答阶段从问题到检索,索引向检索提供候选片段,然后组装证据并生成带来源的回答。 入库时:先准备可检索的资料 文档保留来源 解析与切分保留完整证据 建立索引向量 / 词项 提问时:找到证据,再组织回答 问题检索取回候选 组装上下文证据 + 问题 模型回答附上来源 看弯折箭头:检索会用到提前建立的索引。
上排只在资料入库或更新时执行;下排为一次问答。索引是两排之间的连接,不是另一份答案。

最小版:先观察资料能否找对

  1. 把文档切成块,保存原文、文档名和位置。
  2. 把块变成向量并存入索引;问题也用匹配的模型变成向量。
  3. 取回候选块,把它们和问题一起交给生成模型。
  4. 检查答案和引用是否对应原文。

“每 500 字一块、先取 5 块”可以是试验配置,不是质量标准,也不意味着一小时就能达到某个分数。

从最小版走向实际使用:按失败点加能力

你观察到的失败 可以尝试的环节 怎样知道有没有改善
PDF 表格被读乱、图片信息丢失 文档解析,保留表格与图片的来源信息 人工抽查解析结果是否忠实
切出的块缺背景或主题混杂 按结构/语义切分、补上下文 看正确证据能否完整进入候选
问法与资料用词不同 意图识别、查询改写/扩展、混合检索、多路索引 对固定问题集比较召回
正确资料已在候选里,但排得靠后 Cross-Encoder:同时阅读问题与候选,再重排 看正确证据能否进入最终前几名
候选很多,模型输入装不下 上下文组装与压缩 压缩后关键条件、数值、来源是否仍在
引用了资料却编出结论 引用溯源、事实一致性检查、允许拒答 逐项核对回答中的主张与证据
今天有效,更新后退步 评测与失败样本回流 固定评测集的变化及新失败类型

“粗选 100 块、重排后留 10 块”也是参数例子。不是把表中所有环节都加上,系统就自动更好。

推荐系统里的召回、排序、ANN 向量索引可以帮助理解检索这半边。但 RAG 还要处理证据组装、回答忠实度、引用和权限,不能说两者完全相同。

🧱 环节一:切分(最被低估的一环)

切分的目标不是把字数切齐,而是让每块仍能回答一个局部问题。

方法 它解决什么 要留意什么
固定长度 快速做出可比较的基线,如每 500 字一块 可能切断句子、表格或条件;不是天然错误
按结构 利用标题、章节、段落、函数边界 短小节与长小节可能仍需不同处理
语义切分 在主题变化处尝试分段 要检验切分边界,不能只信相似度分数
重叠窗口 让边界附近的信息在相邻块重复出现 可试 10–20% 重叠,但会增加存储与重复候选
父子块 用小块检索,取关联的大块作为上下文 大块也会占输入预算,必须保留父子关系

切分或压缩之后,条件、否定、数值单位和原文位置仍要能查回来。需要看一次具体失败,再展开。

选读:一句“最大功率”,怎样被压成了错误答案?

沿用下文 XR-2000 的资料问题。虚构资料块 B 写:“XR-2000,v2,普通模式 10 W;仅 Turbo 模式最大 15 W。”问“v2 普通模式功率”,需要的是 10 W。压成“XR-2000 功率 15 W”同时丢了版本、模式与“最大”的限定,不能算忠实压缩。

压缩可以删重复背景,不能默认删掉会改变结论的词。保存“文档版本+块 ID+原文位置”,将压缩片段对应回原句;对照检查“仅/不/除外”、对象范围和单位。预算不足时宁可减少不相关块、取回完整相关条款或承认证据不足,也不要把摘要当成未经核对的新事实。

这是自拟的条件保留检查例,不是模型压缩结果。LLMLingua研究在预算约束下压缩提示;其特定任务实验不构成任意资料语义无损的保证。完整拼装检查见 上下文质量段。

⭐ 上下文检索(Contextual Retrieval)

给孤立片段补上它属于哪份资料、在谈什么,再建立索引。 补充说明必须能由原文支持。

原始块

“该季度收入增长 3%。”

只看这句,不知道哪个公司、哪个季度;相关问题可能难以匹配。

补充上下文后

“本段出自 ACME 公司 2024 Q2 财报,讨论季度业绩。该季度收入增长 3%。”

公司与季度变得明确,但仍需保留原文位置,核查补充说明没有编造信息。

Anthropic 的特定实验中,top-20 检索失败率的相对下降为:上下文向量 35%;再加上下文 BM25 49%;再加重排 67%。这些数值依赖其数据与配置,不是你的知识库必然获得的提升。原始实验与条件

代价也要计入:入库时生成说明;资料变化后更新说明与索引;检查说明是否可靠。

📏 块大小怎么定(一个实用的起点)

先试结构完整的块,再比较大小。以下字数是候选配置,不是通用阈值。

候选或文档类型 从哪里开始试 观察什么
较短块,如少于 200 字 检查是否还保留问题所需的条件 检索到了,是否仍缺信息而答不了
较长块,如超过 2000 字 检查是否混入多个主题、是否被模型截断 关键内容有没有被淹没或截掉
通用文档 可试 300–800 字,再与更短/更长档比较 固定问题集上的召回与回答质量
技术文档 代码块、函数、小节边界 不把说明和对应代码拆散
条款类文档 完整条款及其定义、交叉引用 不把前提、例外与结论切开
FAQ 一问一答起步 一条答案是否依赖别处的信息

不要把 embedding 理解成“几个主题取平均后一定落到没人区”。文本向量是模型学习出的表示,不是语义的字面算术平均。 多主题、模型输入长度限制、前缀或语种不匹配,都可能影响检索。

可以先收集 20 个真实问题测三档,作为找问题的小样本。记录应找到的证据,比较 Recall@K,也检查最终回答;20 题还不足以证明生产环境可靠。

🔗 高维向量的一个反直觉陷阱

数学页的 500 维实验使用随机点,展示特定分布下的距离集中。学习到的文本向量不是均匀随机点,不能由此推出“必须加 BM25”“必须重排”或“换 embedding 无效”。

型号混淆,比较词项检索;同义表达漏召回,检查 embedding 的语种、前缀和截断;正确资料已有但靠后,再测重排。方法是否值得增加,要看本地消融实验。

🔍 环节二:混合检索(别只用向量)

方式 常见优势 不能保证什么
向量检索 匹配用词不同但意思相近的表达 不保证区分相似型号、细小数字差异
BM25 词项检索 利用查询词与文档词的匹配及稀有程度 不保证精确命中,也不会自动理解所有同义词

同一个问题:“XR-2000 的功率是多少?”

向量检索可能把 XR-3000 的说明书排得很靠前。BM25 可能借助型号词项改善排序,但结果仍受分词、字段和文档内容影响;严格型号约束还可以用字段过滤或精确匹配规则。

先分别做两路基线,确认它们是否互补,再决定融合。

两路结果怎么合并:RRF

不用直接比较两种检索分数,而是让每份资料按名次获得贡献,再相加。

$$\operatorname{RRF}(d)=\sum_{r\in R(d)}\frac{1}{k+\operatorname{rank}_r(d)}$$

这里 $d$ 是一个候选块;$R(d)$ 是返回过它的检索器集合。本例名次从 1 开始,未返回的那一路贡献 0;$k=60$ 是演示用的平滑常数,不是取回 60 个块。

手算例子(不是实际检索结果) 向量路名次 BM25 路名次 RRF 分数,取 k=60
块 A 1 3 1/61 + 1/63 ≈ 0.03227
块 B 2 未返回 1/62 ≈ 0.01613

这个例子中 A 排在 B 前。融合排名仍不等于答案正确:还要看候选里的证据,以及生成模型如何使用它。

RRF 解决候选排名,证据冲突与回答兜底还要单独处理。下面用 A/B 对照说明这两个问题。

选读:A 排第一,为什么仍可能该用 B,或暂不回答?

保留上面的手算名次与分数,只补一组虚构内容:A 是 v1 旧说明书,普通模式 8 W;B 是前面那份 v2 资料,普通模式 10 W、仅 Turbo 最大 15 W。对于“XR-2000 v2 普通模式”,A 排得更高也不能推翻版本条件。应核对 v2 原件中的 B;若版本未知,先追问版本;若两份资料同版本且同等权威却矛盾,展示冲突并核验来源,不能平均成 9 W。

  • 候选融合:多路召回先按稳定块 ID 去重,再按 RRF 等规则排候选。分数反映该规则的排序贡献,不是事实概率或“多数票正确”。rerank 重新排相关性,也不能创造缺失证据。
  • 上下文融合:把相关且互补的原句连同版本、适用条件和引用位置组织进预算。保留相互矛盾的来源差异,不能拼成一条看似一致的新断言。
  • 答案融合:多个候选回答仍须逐项查主张是否有证据支持;一致的猜测不是新增证据。引用必须支持所写结论,不能只挂一个相关文档名。

两种失败,分别兜底:返回列表为空,或虽有块但没有 v2 普通模式的有效证据时,先核对过滤条件、索引版本和查询表达;可在预设次数内改写或补一路召回。仍不足就说明缺哪份资料并追问/转人工,不能无限重试后强答。若 B 已完整送入却生成“普通模式 15 W”,这是使用证据不忠实:回查该主张、引用与提示模板,修正或重生成后再验;不能仅靠扩大 top-k 宣布修好。本页说的对齐是答案与检索证据的对应,不能替代模型偏好对齐训练。

将“候选为空/缺有效证据”“组装丢条件”“有证据却误答”“来源冲突”分别计数,配合 检索与回答评测比较兜底前后。以上是设计与教学例,未运行检索、重排、生成或线上实验。

参考 RAG 原论文的检索与生成分工;ALCE 的答案与引用质量评测。这里的版本筛选、追问和有界重试是本例的设计规则,不声称来自论文的统一阈值。

🔗 和站内其他章的关系

以前没有学过搜索或推荐,也可以直接从本页开始。下表是补充入口,不是先修清单。

已有知识或希望补的知识 在这里可以怎样使用
推荐算法 06:召回、粗排、精排、重排 理解候选逐步筛选;RAG 不一定需要同样的全部阶段
推荐算法 08:双塔与交叉模型 对照 embedding 检索与 Cross-Encoder 重排
推荐算法 12:Recall@K / NDCG 评估检索和排序;另需评估回答忠实度
推荐算法 10:ANN 向量检索 理解近似最近邻索引与速度/召回权衡
智能体工程 11:检索与 RAG 连接工程实现,再进入入库和评测实验

✅ 检查点

  1. RAG 为什么不能只用“搜索系统”概括?哪里可能出错?
  2. 块太大或太小分别可能造成什么问题?为什么不能简单说 embedding 是“语义平均”?
  3. 为什么随机点的距离集中不能证明所有文本向量检索都会失败?
  4. 混合检索可能改善什么?怎样证明值得增加一路检索?
  5. Contextual Retrieval 改了哪里?原实验的百分比能否直接当成业务承诺?
  6. RRF 中的 k 和 top-k 是一回事吗?
展开核对,不要求背术语
  1. 它把检索与生成连接起来。证据没找对、被截掉、被模型误用,都可能导致错误。
  2. 短块可能丢条件,长块可能混主题或被截断;文本向量是学习到的表示,不是主题的字面平均。
  3. 随机点实验的分布条件不同,应检查真实失败样本与输入配置。
  4. 两路可能补足型号匹配、同义表达等盲区;固定问题集比较单路、融合和最终回答,同时看延迟与成本。
  5. 建索引前给块补可核验的上下文。35% / 49% / 67% 是特定实验的相对变化,不能直接推广。
  6. 不是。本式 k 是平滑常数;top-k 通常指取回多少个候选。

本节回顾

你现在应能说出:先检查证据在哪一步丢失,再选择对应的改法。 读懂本页不等于已经做出可靠系统,还需要实现、评测和权限检查。

正确资料已被召回但排得靠后,再看08b 重排与选型。想判断是否真的变好,去08c RAG 怎么评估。

⚡ 走神救援

先记住这几件事

  • RAG 要找对证据,也要忠实使用证据。
  • 先看失败样本,再选择切分、检索、排序或生成上的改法。
  • 数字是实验配置或有条件的结果,不是通用质量保证。

下一节 👉 08b-重排与Embedding选型.md

原始资料:contextual retrieval(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度