08 · RAG:先搭出一个能用的
这一页只解决一个问题:怎样让回答用上正确的资料,而不是只凭模型的记忆。 不需要先学推荐系统,也不要求先训练模型。
🎯 一句话
RAG 把检索资料和依据资料生成回答接在一起。先找到证据,再检查回答是否忠实使用了证据;两边都可能出错。
先带走这个判断方法:
- 没找到正确资料:查文档解析、切分、检索。
- 找到了却没放进提示词:查排序、截断和上下文组装。
- 已经放进去了却答错:查生成、引用和拒答规则。
想直接动手,可以进入11b 文档入库实验;已有文档库则进入11c 检索评测实验。
😅 先看差距有多大
最小系统也有两段:入库时准备资料,提问时取回资料。 不是每问一次都重新切整套文档。
最小版:先观察资料能否找对
- 把文档切成块,保存原文、文档名和位置。
- 把块变成向量并存入索引;问题也用匹配的模型变成向量。
- 取回候选块,把它们和问题一起交给生成模型。
- 检查答案和引用是否对应原文。
“每 500 字一块、先取 5 块”可以是试验配置,不是质量标准,也不意味着一小时就能达到某个分数。
从最小版走向实际使用:按失败点加能力
| 你观察到的失败 | 可以尝试的环节 | 怎样知道有没有改善 |
|---|---|---|
| PDF 表格被读乱、图片信息丢失 | 文档解析,保留表格与图片的来源信息 | 人工抽查解析结果是否忠实 |
| 切出的块缺背景或主题混杂 | 按结构/语义切分、补上下文 | 看正确证据能否完整进入候选 |
| 问法与资料用词不同 | 意图识别、查询改写/扩展、混合检索、多路索引 | 对固定问题集比较召回 |
| 正确资料已在候选里,但排得靠后 | Cross-Encoder:同时阅读问题与候选,再重排 | 看正确证据能否进入最终前几名 |
| 候选很多,模型输入装不下 | 上下文组装与压缩 | 压缩后关键条件、数值、来源是否仍在 |
| 引用了资料却编出结论 | 引用溯源、事实一致性检查、允许拒答 | 逐项核对回答中的主张与证据 |
| 今天有效,更新后退步 | 评测与失败样本回流 | 固定评测集的变化及新失败类型 |
“粗选 100 块、重排后留 10 块”也是参数例子。不是把表中所有环节都加上,系统就自动更好。
推荐系统里的召回、排序、ANN 向量索引可以帮助理解检索这半边。但 RAG 还要处理证据组装、回答忠实度、引用和权限,不能说两者完全相同。
🧱 环节一:切分(最被低估的一环)
切分的目标不是把字数切齐,而是让每块仍能回答一个局部问题。
| 方法 | 它解决什么 | 要留意什么 |
|---|---|---|
| 固定长度 | 快速做出可比较的基线,如每 500 字一块 | 可能切断句子、表格或条件;不是天然错误 |
| 按结构 | 利用标题、章节、段落、函数边界 | 短小节与长小节可能仍需不同处理 |
| 语义切分 | 在主题变化处尝试分段 | 要检验切分边界,不能只信相似度分数 |
| 重叠窗口 | 让边界附近的信息在相邻块重复出现 | 可试 10–20% 重叠,但会增加存储与重复候选 |
| 父子块 | 用小块检索,取关联的大块作为上下文 | 大块也会占输入预算,必须保留父子关系 |
切分或压缩之后,条件、否定、数值单位和原文位置仍要能查回来。需要看一次具体失败,再展开。
选读:一句“最大功率”,怎样被压成了错误答案?
沿用下文 XR-2000 的资料问题。虚构资料块 B 写:“XR-2000,v2,普通模式 10 W;仅 Turbo 模式最大 15 W。”问“v2 普通模式功率”,需要的是 10 W。压成“XR-2000 功率 15 W”同时丢了版本、模式与“最大”的限定,不能算忠实压缩。
压缩可以删重复背景,不能默认删掉会改变结论的词。保存“文档版本+块 ID+原文位置”,将压缩片段对应回原句;对照检查“仅/不/除外”、对象范围和单位。预算不足时宁可减少不相关块、取回完整相关条款或承认证据不足,也不要把摘要当成未经核对的新事实。
这是自拟的条件保留检查例,不是模型压缩结果。LLMLingua研究在预算约束下压缩提示;其特定任务实验不构成任意资料语义无损的保证。完整拼装检查见 上下文质量段。
⭐ 上下文检索(Contextual Retrieval)
给孤立片段补上它属于哪份资料、在谈什么,再建立索引。 补充说明必须能由原文支持。
原始块
“该季度收入增长 3%。”
只看这句,不知道哪个公司、哪个季度;相关问题可能难以匹配。
补充上下文后
“本段出自 ACME 公司 2024 Q2 财报,讨论季度业绩。该季度收入增长 3%。”
公司与季度变得明确,但仍需保留原文位置,核查补充说明没有编造信息。
Anthropic 的特定实验中,top-20 检索失败率的相对下降为:上下文向量 35%;再加上下文 BM25 49%;再加重排 67%。这些数值依赖其数据与配置,不是你的知识库必然获得的提升。原始实验与条件
代价也要计入:入库时生成说明;资料变化后更新说明与索引;检查说明是否可靠。
📏 块大小怎么定(一个实用的起点)
先试结构完整的块,再比较大小。以下字数是候选配置,不是通用阈值。
| 候选或文档类型 | 从哪里开始试 | 观察什么 |
|---|---|---|
| 较短块,如少于 200 字 | 检查是否还保留问题所需的条件 | 检索到了,是否仍缺信息而答不了 |
| 较长块,如超过 2000 字 | 检查是否混入多个主题、是否被模型截断 | 关键内容有没有被淹没或截掉 |
| 通用文档 | 可试 300–800 字,再与更短/更长档比较 | 固定问题集上的召回与回答质量 |
| 技术文档 | 代码块、函数、小节边界 | 不把说明和对应代码拆散 |
| 条款类文档 | 完整条款及其定义、交叉引用 | 不把前提、例外与结论切开 |
| FAQ | 一问一答起步 | 一条答案是否依赖别处的信息 |
不要把 embedding 理解成“几个主题取平均后一定落到没人区”。文本向量是模型学习出的表示,不是语义的字面算术平均。 多主题、模型输入长度限制、前缀或语种不匹配,都可能影响检索。
可以先收集 20 个真实问题测三档,作为找问题的小样本。记录应找到的证据,比较 Recall@K,也检查最终回答;20 题还不足以证明生产环境可靠。
🔗 高维向量的一个反直觉陷阱
数学页的 500 维实验使用随机点,展示特定分布下的距离集中。学习到的文本向量不是均匀随机点,不能由此推出“必须加 BM25”“必须重排”或“换 embedding 无效”。
型号混淆,比较词项检索;同义表达漏召回,检查 embedding 的语种、前缀和截断;正确资料已有但靠后,再测重排。方法是否值得增加,要看本地消融实验。
🔍 环节二:混合检索(别只用向量)
| 方式 | 常见优势 | 不能保证什么 |
|---|---|---|
| 向量检索 | 匹配用词不同但意思相近的表达 | 不保证区分相似型号、细小数字差异 |
| BM25 词项检索 | 利用查询词与文档词的匹配及稀有程度 | 不保证精确命中,也不会自动理解所有同义词 |
同一个问题:“XR-2000 的功率是多少?”
向量检索可能把 XR-3000 的说明书排得很靠前。BM25 可能借助型号词项改善排序,但结果仍受分词、字段和文档内容影响;严格型号约束还可以用字段过滤或精确匹配规则。
先分别做两路基线,确认它们是否互补,再决定融合。
两路结果怎么合并:RRF
不用直接比较两种检索分数,而是让每份资料按名次获得贡献,再相加。
$$\operatorname{RRF}(d)=\sum_{r\in R(d)}\frac{1}{k+\operatorname{rank}_r(d)}$$
这里 $d$ 是一个候选块;$R(d)$ 是返回过它的检索器集合。本例名次从 1 开始,未返回的那一路贡献 0;$k=60$ 是演示用的平滑常数,不是取回 60 个块。
| 手算例子(不是实际检索结果) | 向量路名次 | BM25 路名次 | RRF 分数,取 k=60 |
|---|---|---|---|
| 块 A | 1 | 3 | 1/61 + 1/63 ≈ 0.03227 |
| 块 B | 2 | 未返回 | 1/62 ≈ 0.01613 |
这个例子中 A 排在 B 前。融合排名仍不等于答案正确:还要看候选里的证据,以及生成模型如何使用它。
RRF 解决候选排名,证据冲突与回答兜底还要单独处理。下面用 A/B 对照说明这两个问题。
选读:A 排第一,为什么仍可能该用 B,或暂不回答?
保留上面的手算名次与分数,只补一组虚构内容:A 是 v1 旧说明书,普通模式 8 W;B 是前面那份 v2 资料,普通模式 10 W、仅 Turbo 最大 15 W。对于“XR-2000 v2 普通模式”,A 排得更高也不能推翻版本条件。应核对 v2 原件中的 B;若版本未知,先追问版本;若两份资料同版本且同等权威却矛盾,展示冲突并核验来源,不能平均成 9 W。
- 候选融合:多路召回先按稳定块 ID 去重,再按 RRF 等规则排候选。分数反映该规则的排序贡献,不是事实概率或“多数票正确”。rerank 重新排相关性,也不能创造缺失证据。
- 上下文融合:把相关且互补的原句连同版本、适用条件和引用位置组织进预算。保留相互矛盾的来源差异,不能拼成一条看似一致的新断言。
- 答案融合:多个候选回答仍须逐项查主张是否有证据支持;一致的猜测不是新增证据。引用必须支持所写结论,不能只挂一个相关文档名。
两种失败,分别兜底:返回列表为空,或虽有块但没有 v2 普通模式的有效证据时,先核对过滤条件、索引版本和查询表达;可在预设次数内改写或补一路召回。仍不足就说明缺哪份资料并追问/转人工,不能无限重试后强答。若 B 已完整送入却生成“普通模式 15 W”,这是使用证据不忠实:回查该主张、引用与提示模板,修正或重生成后再验;不能仅靠扩大 top-k 宣布修好。本页说的对齐是答案与检索证据的对应,不能替代模型偏好对齐训练。
将“候选为空/缺有效证据”“组装丢条件”“有证据却误答”“来源冲突”分别计数,配合 检索与回答评测比较兜底前后。以上是设计与教学例,未运行检索、重排、生成或线上实验。
参考 RAG 原论文的检索与生成分工;ALCE 的答案与引用质量评测。这里的版本筛选、追问和有界重试是本例的设计规则,不声称来自论文的统一阈值。
🔗 和站内其他章的关系
以前没有学过搜索或推荐,也可以直接从本页开始。下表是补充入口,不是先修清单。
| 已有知识或希望补的知识 | 在这里可以怎样使用 |
|---|---|
| 推荐算法 06:召回、粗排、精排、重排 | 理解候选逐步筛选;RAG 不一定需要同样的全部阶段 |
| 推荐算法 08:双塔与交叉模型 | 对照 embedding 检索与 Cross-Encoder 重排 |
| 推荐算法 12:Recall@K / NDCG | 评估检索和排序;另需评估回答忠实度 |
| 推荐算法 10:ANN 向量检索 | 理解近似最近邻索引与速度/召回权衡 |
| 智能体工程 11:检索与 RAG | 连接工程实现,再进入入库和评测实验 |
✅ 检查点
- RAG 为什么不能只用“搜索系统”概括?哪里可能出错?
- 块太大或太小分别可能造成什么问题?为什么不能简单说 embedding 是“语义平均”?
- 为什么随机点的距离集中不能证明所有文本向量检索都会失败?
- 混合检索可能改善什么?怎样证明值得增加一路检索?
- Contextual Retrieval 改了哪里?原实验的百分比能否直接当成业务承诺?
- RRF 中的 k 和 top-k 是一回事吗?
展开核对,不要求背术语
- 它把检索与生成连接起来。证据没找对、被截掉、被模型误用,都可能导致错误。
- 短块可能丢条件,长块可能混主题或被截断;文本向量是学习到的表示,不是主题的字面平均。
- 随机点实验的分布条件不同,应检查真实失败样本与输入配置。
- 两路可能补足型号匹配、同义表达等盲区;固定问题集比较单路、融合和最终回答,同时看延迟与成本。
- 建索引前给块补可核验的上下文。35% / 49% / 67% 是特定实验的相对变化,不能直接推广。
- 不是。本式 k 是平滑常数;top-k 通常指取回多少个候选。
本节回顾
你现在应能说出:先检查证据在哪一步丢失,再选择对应的改法。 读懂本页不等于已经做出可靠系统,还需要实现、评测和权限检查。
正确资料已被召回但排得靠后,再看08b 重排与选型。想判断是否真的变好,去08c RAG 怎么评估。
⚡ 走神救援
先记住这几件事
- RAG 要找对证据,也要忠实使用证据。
- 先看失败样本,再选择切分、检索、排序或生成上的改法。
- 数字是实验配置或有条件的结果,不是通用质量保证。
下一节 👉 08b-重排与Embedding选型.md