08 · RAG 深水区

⏱ 76 分钟 ｜ ⭐⭐⭐ 落地场景最多的一块

🎯 一句话

RAG 的 demo 版本一小时能搭出来，生产版本能做三个月。差距不在「向量检索」这四个字，而在切分、混合检索、重排、查询改写、评估这一整条链路。 而这条链路上最容易被搞反的是顺序：先做切分和混合检索，再加重排，最后才轮到换 embedding 模型。

😅 先看差距有多大

   【Demo 版 RAG】—— 一小时搞定，效果 60 分
   文档 → 每 500 字切一块 → 向量化 → 存库
   问题 → 向量化 → 找最像的 5 块 → 塞进提示词 → 回答

   【生产版 RAG】—— 每一环都是坑
   文档 → 解析(PDF表格/图片?) → 语义切分 → 补上下文 → 多路索引
                                                    ↓
   问题 → 意图识别 → 查询改写/扩展 → 混合检索(向量+关键词)
        → 粗排 100 → Cross-Encoder 重排 10 → 上下文压缩
        → 生成 → 引用溯源 → 幻觉检测 → 评估回流

🔗 看出来了吗：这个漏斗结构和推荐算法第 6 章的召回→粗排→精排→重排一模一样。 RAG 本质上就是一个搜索系统。 ⭐ 做过推荐或搜索的人，那套知识在这里可以直接迁移 （本站《推荐算法》讲的就是这一套）；没做过也不必绕路，这一章会把漏斗每一环都讲一遍。

🧱 环节一：切分（最被低估的一环）

   ❌ 固定长度切分（每 500 字一刀）
      → 一句话被拦腰砍断、表格被切碎、上下文丢失

   ✅ 常用策略
   ├─ 按结构切：Markdown 标题、章节、段落        ← 优先
   ├─ 语义切分：相邻句子语义相似度突变处下刀
   ├─ 重叠窗口：块之间重叠 10–20%，防止边界信息丢失
   └─ 父子块：检索用小块（精准），喂给模型用大块（完整）⭐ 很好用

⭐ 上下文检索（Contextual Retrieval）

一个简单但效果显著的技巧：给每个分块补一句「它在讲什么」的上下文说明再做向量化。

   原始块：「该季度收入增长 3%。」
           ↑ 单独看：哪个公司？哪个季度？检索不到

   补充后：「本段出自 ACME 公司 2024 Q2 财报，讨论季度业绩。
            该季度收入增长 3%。」
           ↑ 现在能被「ACME 2024 收入」这样的问题检索到 ✅

📌 官方博客的数据：这个方法能让检索失败率下降约 49%（配合重排更多）。 成本是用小模型给每个块生成一句上下文——一次性投入，长期收益。

📏 块大小怎么定（一个实用的起点）

   太小（<200 字）→ 每块信息不完整，检索到了也答不了
   太大（>2000 字）→ 一块里混了多个主题，向量被"平均"掉，检索不准 ⭐

   ⭐ 起点建议：
   · 通用文档   300~800 字
   · 技术文档   按代码块/函数/小节切，别按字数
   · 法律/合同  按条款切，一条一块
   · FAQ        一问一答就是一块（天然最好切的）

   ⚠️ 但真正该做的是：【拿你自己的 20 个真实问题测三档，看哪档 Recall 高】

💡 为什么"太大反而不准"值得单独说：

一个块的 embedding 是它整体语义的平均。 塞进三个不同主题，这个向量就落在三者中间的"没人区"—— 对哪个主题的问题都不够近。 这是很多人调不好 RAG 的隐形原因。

🔗 高维向量的一个反直觉陷阱

🔗 《数学原理》第 5 章 维度灾难有个实测数字： 在 500 维空间里，最远的点和最近的点距离只差 19%。

含义：向量维度很高时，「最近邻」这个概念本身在变弱—— 所有东西看起来都差不多远。这就是为什么： - ✅ 必须配 BM25（字面匹配不受维度灾难影响） - ✅ 必须配重排（Cross-Encoder 不依赖向量距离） - ❌ 只靠调 embedding 模型救不回来

🔍 环节二：混合检索（别只用向量）

   向量检索（语义）              关键词检索 BM25（字面）
   ✅ 懂同义、懂意图              ✅ 精确匹配术语、型号、人名、代码
   ❌ 精确的专有名词反而不准       ❌ 不懂同义词

   例：查「XR-2000 的功率」
       向量检索可能找到「XR-3000 的功率」（语义相近但答案错误！）
       BM25 能精确锁定 XR-2000 ✅

结论：两路都要，然后融合。常用 RRF（倒数排名融合）——不需要分数可比，只用排名。

$$\text{RRF}(d) = \sum_{r \in \text{检索器}} \frac{1}{k + \text{rank}_r(d)}$$

💡 人话：每个文档在各路检索里的排名越靠前，得分越高，加起来排序。简单粗暴但极其有效。

🎯 环节三：重排（性价比最高的一步）

   双塔 Embedding（检索用）        Cross-Encoder（重排用）
   问题和文档分别编码，点积          问题和文档拼在一起过模型
   ✅ 快，能扫全库                  ✅ 准得多（能做深度交互）
   ❌ 不能做深度交互                ❌ 慢，只能处理几十上百条

   → 先用向量+BM25 召回 100 条，再用 Cross-Encoder 精排出 10 条

🔗 完全是推荐算法第 8 章的「双塔做召回、精排做交叉」。同一套思想。

这一步通常是投入产出比最高的优化——加一个重排模型，往往比换更好的 embedding 模型收益大。

🥊 Cross-Encoder / ColBERT / LLM：三种重排怎么选

"重排"不是一种东西，是三条不同的路线。它们的核心差别只有一个：问题和文档在什么时候相遇。

ColBERT 的机制值得单独说清楚（它是这三条里最容易讲错的）：

   Cross-Encoder：[问题 + 文档] 拼一起进模型 → 一个分数
                  → 100 条候选 = 100 次前向，全在线算 → 贵

   ColBERT：问题编成 Q 个向量，文档编成 D 个向量（每个 token 一个）
            分数 = 对每个【问题 token】，取它和所有【文档 token】里最像的那个
                   的相似度，然后全部加起来      ← 这就是 MaxSim
            → 文档那 D 个向量【可以离线算好存起来】⭐
            → 在线只剩一堆点积，比 Cross-Encoder 快一到两个数量级

   ⚠️ 代价是存储爆炸：一个块从「1 个向量」变成「几百个向量」，
      索引体积膨胀一个数量级。ColBERTv2 用残差压缩把它压回来一些，
      但仍然远大于单向量索引。

🔑 一句话选型：默认 Cross-Encoder。 只有"候选太多、Cross-Encoder 跑不动"才上 ColBERT（拿存储换延迟）； 只有"候选很少但问题很绕"才上 LLM 重排（拿钱换效果）。 ⚠️ 别从 ColBERT 开始——它解决的是规模问题，不是效果问题。用它替代 Cross-Encoder 通常是效果的降级。

💡 LLM 重排还有一个更划算的用法：不当线上重排器，而当离线评测集的标注器——让它给 100 个问题的召回结果打分，人再抽查 10%。线上跑不起的成本，离线跑得起。

🧭 Embedding 选型：排在重排之后的那件事

先把这一节的位置摆正。 前面已经说过两次同一件事：

• 环节一：高维空间里「最近邻」这个概念本身在变弱，只靠调 embedding 模型救不回来
• 环节三：加一个重排模型，往往比换更好的 embedding 收益大

所以正确顺序是 切分 → 混合检索 → 重排 → 然后才轮到换 embedding。 这一节回答的是"轮到了之后怎么选"，不是"一上来先选哪个"。

什么时候是真的该换了

维度怎么取舍（768 / 1024 / 1536）

   维度 ↑ → 表达能力略强，但【边际收益递减很快】
          → 存储、内存、ANN 检索延迟【线性增长】

   100 万块 × 1536 维 × 4 字节 = 6.1 GB   （还没算索引结构本身）
   100 万块 ×  768 维 × 4 字节 = 3.1 GB

   ⭐ 判断顺序（不要反过来）：
      先量出 1536 维比 768 维在【你自己那 20 个问题】上高几个点，
      再问这几个点值不值 2 倍存储 + 更慢的检索。
      多数企业知识库场景：不值。

💡 一个常被忽略的选项：MRL（套娃表示）。有些模型在训练时就让"前 256 维"自己也是一个能用的向量，于是同一份 embedding 可以截断后粗筛、完整维度精算，存储和延迟一起省。选型时留意模型卡上有没有这一条。

MTEB 榜怎么看（榜首≠对你最好）

1. ⭐ 看子任务，不看总分。 MTEB 总分把分类、聚类、语义相似度、检索混在一起平均。你只关心 Retrieval 那一栏；中文看 C-MTEB 的检索子集。
2. 顺手看"参数量"和"维度"两列。 榜首常是 7B 级的 embedding 模型——它的推理成本可能比你整条检索链路还高。
3. ⚠️ 榜单会被刷。 训练数据里混进评测集是这个榜公开的老问题。一个模型只在榜上好、在你那 20 个问题上不好，信你自己的。
4. 别忘了迁移成本：换 embedding 意味着全库重算向量 + 重建索引。100 万块重跑一遍是实打实的钱和时间。

什么时候值得领域微调

⭐ 判据不是"效果不够好"，而是"通用模型分不开你的两类文档"。

🔗 微调 embedding 用的就是对比学习 + in-batch 负采样 + 温度系数，和推荐算法第 8 章的双塔训练是同一套方法，连坑都一样：负样本选错（用"曝光未点击"当负样本会训废）、热门项支配（要 LogQ 校正）、温度系数 τ 从 0.05 开始调。要动手微调之前先去读那一节。

🚨 最后一条是运维铁律：换了 embedding 模型，全库必须重建索引。 新旧模型的向量空间不通用，混在一个索引里检索结果是乱的——而且不报错，只是变差。 灰度期必须双索引并行（新旧各一份，按流量切），不能原地替换。

🔄 环节四：查询侧处理

💡 HyDE 的巧妙之处：问题「怎么申请报销」和文档「报销流程：第一步…」在向量空间里未必近； 但模型编的假答案「报销需要先填单据…」和真文档就很近了。

📊 环节五：评估（最容易被跳过，也最致命）

必须分开评估两段，否则你不知道问题出在哪：

   ① 检索质量：正确答案在召回结果里吗？
      指标：Recall@K、MRR、NDCG   ← 推荐算法第 12 章的老朋友

   ② 生成质量：
      · 忠实度 Faithfulness —— 答案是否只基于检索到的内容（防幻觉）⭐
      · 答案相关性 —— 答案是否真的回答了问题
      · 上下文相关性 —— 召回的内容是否真的有用

⚠️ 最常见的诊断错误：答案不对就去调提示词。 先查检索——如果正确文档根本没被召回，提示词再怎么调都没用。

📐 RAGAS 的四个指标（把上面三条补齐）

上面列的三条全是生成侧的。面试最常问的 RAGAS 四指标里，还有一个是检索侧的，也是最容易被漏掉的那个：

⭐ 四个里最该先看 context_recall。 它是唯一需要标准答案才能算的指标（另外三个只要 问题 + 上下文 + 答案 就能算），也是唯一能告诉你"信息压根没进来"的指标。 上面那条铁律「答案不对先查检索」，量化出来就是它。

⚠️ context_precision 和 context_recall 千万别搞反： recall 低 = 没捞到（要改切分和检索）；precision 低 = 捞到了但埋在噪声里（要加重排）。 这两条的处方完全不同，认错了就会一直修错的那一环。

⚠️ RAGAS 这四个分数多数是靠 LLM 打出来的，所以它自带 LLM-as-a-Judge 的全部毛病：分数随裁判模型版本漂移、成本按 token 计、同一批数据两次跑结果不完全一样。 把它当"趋势指标"用（这次改动比上次高了吗），别当"绝对分数"用——「我们的 faithfulness 是 0.87」这句话离开了裁判模型和版本就没有意义。

🩺 一张诊断表（照着查，5 分钟定位问题）

🚨 盯住最后一行：RAGAS 四个指标一个都发现不了权限越权。 被越权召回的文档"内容相关、答案忠实、引用属实"——四项全绿，评估体系完全无感。 合规只能靠专门的权限测试用例（拿 A 用户的身份去问只有 B 能看的问题，断言召回为空），指标救不了你。 ⭐ 这条推广出去是一条通用教训：你的指标体系只会告诉你它被设计来测的东西。

🔑 最有价值的一个习惯： 每次 RAG 回答错了，都把"召回的原始块"打印出来看一眼。 十次里有七次，你会发现问题根本不在生成侧。

🔨 一个最小可用的评估脚本

# 只需要 20 条 (问题, 正确文档ID) 就能开始
def eval_retrieval(qa_pairs, retrieve, k=10):
    hits, ranks = 0, []
    for q, gold_id in qa_pairs:
        ids = [d.id for d in retrieve(q, k=k)]
        if gold_id in ids:
            hits += 1
            ranks.append(1 / (ids.index(gold_id) + 1))   # MRR
        else:
            ranks.append(0)
    print(f"Recall@{k} = {hits/len(qa_pairs):.1%}   MRR = {sum(ranks)/len(ranks):.3f}")

💡 有了这 10 行，你的每一次改动才有了意义—— 否则"我觉得加了重排好像好一点"永远只是感觉。 🔗 这条纪律来自《机器学习基础》第 5 章和 Kaggle 教程。

🛑 读到这里可以停 —— 五个环节加上 Embedding 选型都讲完了（约 36 分钟），主线到此为止。 后半章还有：GraphRAG / Agentic RAG / Self-RAG / CRAG 四条进阶路线各自的代价 · 和推荐算法知识的对应表 · 深挖清单 · 要不要深挖的判断 回来的时候不用重读，直接从下一节接着看就行。

🕸️ 进阶方向：GraphRAG / Agentic RAG / Self-RAG / CRAG

⭐ 每一行都写了代价 —— 这些方向的资料通常只讲好处，而真正决定要不要上的是右边那一列。

🔑 Self-RAG 和 CRAG 其实是同一个念头的两种实现：都在给 RAG 加一道「这次检索到底靠不靠谱」的判断。 区别是 Self-RAG 把判断力训进模型里（要微调），CRAG 把判断力放在模型外面（一个可插拔的评估器）。

⭐ 工程上先做 CRAG 那一路：它不动模型，加一个打分阈值就能上线，是这两条里投入产出比高得多的一条。而且它的评估器和你上面那张诊断表想量化的是同一件事——只不过从"事后排查"变成了"事中拦截"。

🔗 和你已知的关系

⭐ RAG 是全导论迁移余地最大的一块，但迁移是有条件的——对上了是白赚，没对上也不影响学（它同时是门槛最低的几章之一）：

🔑 做过推荐或搜索的人，在 RAG 上等于开局领先半场——那一套搜索/排序知识至少一半可以直接用。 没做过也别绕路：上表右列就是你要学的东西本身，只是别人已经在另一个领域学过一遍而已。

📦 深挖的话要学什么

✅ = 本章正文已经讲了，点进去就是；其余是本章之外的。

📍 本章之外的那些，也标了它在哪： 📗 本库有 = 站内已经讲透，点进去就行；📙 半有 = 站内讲了一半，另一半得外找； 📕 要外找 = 站内没有，得去论文或别处。 （这份清单以前只列词不说去哪，指到的坑有些站内根本没挖过，按图索骥会扑空。）

• 文档解析：PDF/表格/扫描件（OCR）、版面分析、Markdown 转换 → 📕 要外找：站内一个字都没有。⚠️ 这一条值得单独警惕——它排在整条链的第一位，做企业知识库时也常常是最耗时的一环，而本库帮不上忙。别因为它在清单第一行就以为它最简单
• 切分：语义切分算法的阈值怎么定、Late Chunking、上下文补全的成本控制 → 📙 半有：切分的实用判据本章自己给了（块大小起点、上下文检索/Contextual Retrieval 的做法）。Late Chunking 和语义切分算法的阈值调法站内没有，要外找
• Embedding：✅ 选型判据与维度取舍 ｜ 领域微调的数据怎么攒、跨语言检索、MRL 截断检索 → 📙 半有：「领域微调的数据怎么攒」本质是标注问题，数据这一关 09 · 标注体系怎么设计 和 12 · 标注预算与主动学习 讲的正是"用有限预算攒出有用的标注"。MRL 截断检索和跨语言检索站内没有，要外找
• 检索：BM25 的公式本身（tf-idf、k1、b）、SPLADE 学习式稀疏检索、向量库选型（Milvus/Qdrant/pgvector，见推荐算法第 10 章） → 📙 半有：向量库选型 📗 就是上面那条链接；BM25 怎么用在 智能体工程 11 · 检索与RAG（为什么查「XR-2000」时向量会返回「XR-3000」、以及 RRF 融合为什么不需要分数可比）。但 BM25 的公式本身（k1、b 怎么调）和 SPLADE 站内没有，要外找
• 重排：✅ Cross-Encoder / ColBERT / LLM 三条路线 ｜ ColBERTv2 的残差压缩、ColPali（直接对页面截图做后期交互） → 📕 要外找：⚠️ 全站搜「ColBERT」，唯一的正文出处就是本章上面那一节——ColBERTv2 和 ColPali 站内彻底没有，去 ColBERT 项目仓库
• 查询理解：改写、扩展、HyDE、路由、多跳（本章环节四给了地图，每一项都还能深挖） → 📗 本库有（HyDE 这一项）：智能体工程 11 · 检索与RAG 把 HyDE 讲透了——问题「怎么申请报销」和文档「报销流程：第一步…」在向量空间里未必近，但模型编的假答案和真文档就很近。其余（改写/扩展/路由/多跳）本章的地图已经是站内最全的版本，再深挖要外找
• 生成：引用溯源怎么校验、幻觉检测、上下文压缩（LLMLingua）、拒答策略 → 📙 半有：拒答和输出把关这一侧站内很实在——智能体工程 16c · 接进真实产品 讲三层护栏、审核该放在链路哪个位置，⚠️ 还有一次事故复盘：审核只在末尾做，有害内容已经吐了 3.2 秒（做流式 RAG 的话这条直接适用）。但引用溯源的自动校验和 LLMLingua 式上下文压缩，站内没有，要外找
• 评估：✅ RAGAS 四指标 ｜ 构建自己的测试集、端到端 vs 分段评估、TruLens / DeepEval / promptfoo 的差别 → 📙 半有：「构建自己的测试集」📗 站内很强——智能体工程 14 · 评测Evals 的八步（最贵的是写无歧义任务+参考解和读转录），加 数据这一关 13 · 评测集也是数据（抽样、多大才够、评分器也要校准）。工具那一侧 智能体工程 16b · 框架这层皮 说清了 Ragas / promptfoo / DeepEval 替你做的只是"评分器实现 + 跑批出表"，最贵的三步一步不管。只有三者之间的具体差别要外找
• 进阶：✅ GraphRAG / Agentic RAG / Self-RAG / CRAG 及各自的代价 ｜ 知识图谱怎么抽实体关系、增量索引与更新策略 → 📕 要外找：⚠️ 别被「知识图谱」这个词在站内的搜索结果骗了——Kaggle 19 里的知识图谱是推荐系统的物品关系图，和 GraphRAG 的实体抽取不是一回事。实体关系抽取和增量索引站内没有，从 GraphRAG 项目文档开始

需要的前置：不需要 GPU、不需要新数学，会调 API 就能开始。⭐ 做过推荐/搜索或写过 Agent 的人几乎是零前置（站内《推荐算法》《智能体工程教程》覆盖的就是这两块）；没有这些背景的人，前置也只是「会用向量数据库存取一次数据」。

⚖️ 要不要深挖

🔑 我的判断：如果只能深挖一块，从纯实用角度这块排第一： - 落地场景最多（企业知识库是当前最主流的 AI 落地形态） - 迁移余地最大（做过推荐/搜索的话，那套知识直接复用；没做过也是全表门槛最低的几块之一） - 见效最快（一周能做出可用的东西） - 不需要 GPU、不需要新数学

唯一的竞争者是第 2 章 Transformer 原理——那个是认知价值最高，这个是实用价值最高。

✅ 检查点

1. RAG 的漏斗结构和推荐系统的什么结构对应？
2. 块太大为什么反而检索不准？（说出机制）
3. 高维向量的什么性质决定了「只调 embedding 模型救不回来」？该配什么？
4. 为什么必须用混合检索而不能只用向量？
5. 上下文检索（Contextual Retrieval）做了什么？效果如何？
6. 为什么说重排是性价比最高的一步？
7. RAG 答案不对，第一步该查什么？最有价值的排查习惯是什么？
8. 「召回里有正确文档但答案还是错」——该查什么？
9. HyDE 的原理是什么？
10. Cross-Encoder、ColBERT、LLM 重排三条路线的核心差别是什么？默认该选哪个、为什么不该从 ColBERT 开始？
11. ColBERT 的 MaxSim 是怎么算的？它换来了什么、代价是什么？
12. 什么信号说明"该换 embedding 模型了"？换模型有一条什么运维铁律？
13. RAGAS 的四个指标分别问什么？context_precision 低和 context_recall 低，处方有什么不同？
14. 为什么说 RAGAS 分数只能当"趋势指标"？
15. 诊断表里哪一类问题是四个指标一个都不会亮的？该怎么查？
16. Self-RAG 和 CRAG 在解决同一件什么事？两者的区别是什么？工程上先做哪个？

🛑 可以停在这里

⚡ 走神救援

RAG demo一小时、生产三个月。本质是搜索系统，漏斗和推荐算法第6章一模一样→做过推荐/搜索的人迁移余地极大，没做过也是门槛最低的几章之一。五环节：①切分(按结构/父子块/上下文检索补说明，失败率降49%；⭐块太大反而不准——embedding是整体语义的平均，混三个主题就落在"没人区"；起点300~800字但该拿20个真实问题测三档)②混合检索(向量+BM25用RRF融合，专有名词必须BM25；根因是维度灾难——500维时最远和最近只差19%，最近邻这个概念在变弱，所以光调embedding救不回来)③重排Cross-Encoder(性价比最高，通常比换embedding模型划算)④查询侧(改写/多查询/HyDE：让模型编个假答案去检索，因为假答案和真文档的表述更接近/路由/多跳)⑤评估(分开评检索和生成，答案不对先查检索；召回里有正确文档但答案错→查它排第几，多半是重排缺失被截断了；⭐最有价值的习惯：每次答错都打印召回的原始块，十次里七次问题不在生成侧；10行脚本+20条问答就能开始量化)。 重排的三条路线（差别就是问题和文档什么时候相遇）：Cross-Encoder最早相遇(拼一起过模型，最准最慢，默认选它)、ColBERT后期交互(各自编成token级向量，查询时算MaxSim=每个问题token去文档里找最像的那个再求和，文档侧可离线所以快一到两个数量级，⚠️代价是一个块从1个向量变成几百个，索引膨胀一个数量级；⭐它解决规模问题不是效果问题，别从它开始)、LLM重排(秒级+token账单，更划算的用法是当离线评测集的标注器)。Embedding选型排在重排之后（顺序：切分→混合检索→重排→才轮到换模型）：该换的信号是语种不对、领域词在分布外、⚠️块长超过max_seq_len被静默截断(不报错)；维度先量收益再算代价(100万块×1536维=6.1GB，×768维=3.1GB，多数场景不值)；MTEB看Retrieval子栏不看总分，且榜会被刷——信你自己那20个问题；微调要1000条以上真实"问题→文档"数据，用的就是推荐算法双塔那套对比学习+in-batch负采样+温度系数；🚨换embedding必须全库重建索引，灰度要双索引并行。RAGAS四指标：faithfulness(在编)/answer_relevancy(跑题)/context_precision(捞到了但埋在噪声里→加重排)/context_recall(压根没捞到→改切分和检索)——⭐先看context_recall，⚠️两个别搞反，处方完全不同；分数是LLM打的，只能当趋势指标。🚨四个指标一个都发现不了权限越权(内容相关、答案忠实、引用属实，全绿)——合规只能靠权限测试用例，⭐指标体系只会告诉你它被设计来测的东西。进阶方向各有代价：GraphRAG(建图要全库过一遍LLM，索引成本高一到两个数量级且难增量维护)/Agentic RAG(多轮，必须有步数上限)/Self-RAG(把判断力训进模型，要微调)/CRAG(把判断力放在模型外面，差就回退网络搜索)——⭐先做CRAG，不动模型加个阈值就能上。实用价值第一，见效最快。

下一节 👉 09-推理范式.md