🏠 总目录📚 本教程 11h · 重排与上下文预算实验 ← →

智能体工程 · 11h

候选已经排好,为什么上下文仍放不下?

读完能做的判断:固定候选拆分重排与预算,按最终证据块核对截断和来源。

重排与上下文预算实验

⏱ 阅读约 29 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:候选里有证据,也可能送不进上下文;送进去的连续原文,也可能缺少回答所需的另一句。

实验范围与运行命令

运行三种策略,比较 c06 的改善与 c12 的退化,再核对字符预算、条件保护和撤权。这里使用原创虚构资料,只整理检索证据,不启动生成模型。

先看 检索评测与调优、生成引用与查询诊断 和 查询改写与多轮检索。本章把查询和候选固定,观察候选顺序与上下文打包两个断点。落地接口时还要回到 AI 全栈的认证会话与多租户 和 怎么测不确定的系统。

按原示例目录结构,测试与演示命令如下:

python -m unittest discover -s examples/knowledge-assistant -p test_context_lab.py -v
python examples/knowledge-assistant/context_lab.py

在示例 knowledge-assistant 目录内,对应命令为:

python -m unittest test_context_lab -v
python context_lab.py

原示例环境中可将 python 替换为 examples/knowledge-assistant/.venv/Scripts/python.exe。本实验只用标准库,运行入口不会加载神经模型或调用付费接口。默认报告保存在 .runtime/context-日期时间.json,同名文件拒绝覆盖。

固定候选,再拆开两个变量

每道题真实调用一次 core.retrieve 的 BM25 分支,用同一 Identity 从 visible_chunks 取得当前授权块。三种策略共享这个候选集合以及 k=3、candidate_k=12、context_chars=700,不重新改写查询,不通过参考答案挑选证据。

策略 候选顺序 上下文内容 与上一项相比
baseline_full BM25 原顺序 完整块 对照
controlled_full 明确型号在标题中匹配的块优先,再按标题词项重合度,最后保持原顺序 完整块 只改顺序
controlled_window 与 controlled_full 相同 保守保护的完整块,或一个连续句段 只改打包

这是一组可解释规则。标题里出现 XR-200 与正文顺带提醒“不要套用 XR-200 参数”区别很大,但标题优先也会把某份资料的多个块挤到前面。规则没有理解哪个句子回答了用户,也不会自动完成短问消歧。

Sentence Transformers 官方示例先取候选,再用 CrossEncoder 评估查询和候选的相关性。本章借用两阶段的分工原则;我们没有运行那个网络,规则分数不能当神经重排分数或相关性概率。官方两阶段检索说明

预算先数清楚,再决定放不放

text 是实际准备送入模型的可读上下文。每段包含文档、标题、章节、来源、修订号、chunk_id、字符区间,再接引文;段间分隔符也计入预算。context_chars 严格等于 len(text)。这是 Python 字符计数,不能直接换成某个模型的 token 预算。

某块放不下时留下 budget 原因,继续查看后续候选;达到 k 后余下候选标为 k_limit。不会截掉正文后还把它称为完整块。候选、排序和省略诊断是给开发者审查的额外结构,只有 text 受本章上下文字符预算约束。

三种策略都使用同一套可读元数据预算;这里的 baseline 保留 core 的候选原顺序,但不是复用 core 中“正文加固定开销”的打包长度估算。这样顺序与窗口的对照才用同一个计数口径。

连续窗口能查出处,不能证明意思完整

窗口选择与查询词项重合最多的一个连续句段。每段保存 chunk_id / revision / source / start / end / quote,字符区间从零开始,指向当前入库后 chunk 的正文。可以核对 body[start:end] == quote;它不是原 PDF 的字节偏移,也不是原 Markdown 文件的位置。

如果正文含数字、型号、日期、数值单位、否定、条件提示或表格标记,就保守保留整个块,放不下则拒绝放入。中文“如果、前提、必须、不要”等和英文 if / only / not / must 等只是有限词表,无法覆盖所有语言表达。复杂含义没有被词表识别时仍可能丢失,所以不宣称通用语义保真。

同一个文档、来源、修订和相同引文去重;相同文字来自不同文档或出处时都保留。这样读者可以看到两份证据的出处,代价是重复文字也会占用上下文。文档召回指标仍按不同 doc_id 计,不能用多块重复命中抬高召回率。

实跑成绩:改善和退化一起看

2026-10-11,Python 3.12.14、Windows 11。原语料的 20 道公开问题,加 14 个新公开场景,共 (20 + 14) × 3 = 102 条策略结果;实际检索调用 34 次。每题只取一次候选再比较三个策略。新场景包括相邻型号、短问、条件、否定、单位、长块、重复证据、无答案与权限拒绝。

原 20 题中 16 题有参考文档,三策略的候选文档召回与上下文文档 Hit 都为 16/16,没有改善。原题没有参考引文,片段覆盖保持 null。新 14 题中 11 题有参考文档和引文,三策略的候选文档召回均为 10/11;完整块上下文文档 Hit 为 6/11,窗口为 7/11,但参考引文覆盖都是 6/11。

真实记录 候选断点 完整块与窗口的实际区别
c01,XR-200 的功率 目标已召回,BM25 先排 XR-300 标题型号规则把 XR-200 放前面;文档 MRR 从 0.5 到 1,Hit 没变化
c06,滤网清理工具 目标长块已召回 两种完整块策略都放不下;窗口保留“滤网清理需要软刷。”,文档与引文命中由 0 到 1
c10,ZXQUNSEEN 正确资料根本未召回,候选为空 三策略都空;重新排序无法修复候选缺失
c11,RX-10 保养阈值 目标已召回,但块含型号与数值且超预算 窗口保守保整块,仍放不下;三策略文档与引文命中都是 0
c12,滤网检查 目标已召回且已进入上下文 完整块包含“维护时使用柔软刷具。”;窗口只选“滤网检查请见概览。”,文档 Hit 仍为 1,引文覆盖从 1 退到 0
c13,2026-10-01 的清理规则 新旧版本资料都在候选,新规则长块超预算 三策略都留下旧日期资料,新规则未送入;日期敏感失败保留
c14,不允许带电清理的规则 正确否定规则在候选,长块超预算 三策略都没有放入该规则,只留下其他摘录;否定敏感失败保留

c06 的改善和 c12 的退化抵消了引文覆盖的净收益。单看“文档已经命中”会遗漏这个损失;即使原文连续、出处有效,也不能推出回答依据已经齐全。

短问 c02、无资料的 c08、无权访问薪酬资料的 c09 没有参考答案,指标保持 null,不计入上述 11 题分母。它们仍可能召回普通授权资料;非空上下文不等于能回答问题。全部生成正确率都是 null,本章没有生成验收。

权限复验要覆盖诊断

一次比较固定租户、用户和 scopes,查询不能改变身份。排序和打包之后再次读取当前 ACL 与修订,过滤候选、排序、选段、省略原因和渲染文本。被撤权的候选 ID 也不能留在诊断里。条件保护失败、预算不足、权限拒绝是不同原因,不应混成“模型不知道”。发生最终过滤时,stop_reason=final_acl_filtered 明确说明剩余上下文可能因撤权空出槽位;packing_stop_reason 保留此前打包停止原因,省略项的 reason_stage=packing_before_final_acl 标明其原因属于打包阶段。此处不重新打包,也不列出撤权 ID。

测试覆盖跨租户、scope 拒绝、检索后撤权与打包后删除。最后复验仍是一次快照;生产服务若要求撤权与响应原子性,需要额外的事务或服务层方案。

代码(examples/knowledge-assistant/context_lab.py)、公开题集(examples/knowledge-assistant/evaluation/context-cases.json)、实际原始报告(examples/knowledge-assistant/validation/context-partial-acl-development-20261011.json) 可以逐条核对。报告保存配置、Python/系统版本、题集、语料和代码哈希,每条候选正文、顺序、窗口、省略和停止原因;失败单独列出。哈希确认运行版本,不证明排序正确。

开发前的 行为 RED(examples/knowledge-assistant/validation/context-red-behavior-20261011.txt)、引文出处及英文条件 RED(examples/knowledge-assistant/validation/context-provenance-condition-red-20261011.txt) 与审查后的 部分撤权诊断 RED(examples/knowledge-assistant/validation/context-partial-acl-red-20261011.txt) 都保留。最新 GREEN(examples/knowledge-assistant/validation/context-partial-acl-green-20261011.txt) 为 16 项通过,仅运行本模块测试。部分撤权会明确显示最终过滤,不再把空出的槽位解释为当前已达到 k。原题参考字段未修改,新场景是公开开发夹具,不是未知测试集。

走神救援

只打开 c06 或 c12:先看 candidates 有没有目标 doc_id,再看 strategies.controlled_full.ordered,随后比较 context / omitted / text,最后看 metrics 和 stop_reason。如果目标不在候选里,回到 检索评测;如果目标在候选里却因预算丢失,再看窗口选择;如果文档已进上下文却缺少金标准句子,停止把 Hit 当答案质量。

可单独改变预算,写入新报告并记录配置。比较结果时沿用原参考答案。

折叠自检

检查点 1. 本章运行了 CrossEncoder 吗?

没有。它运行真实 BM25 检索,再用标题型号与词项规则排序。官方文档只支持两阶段分工的说明。

检查点 2. 三种策略是否各自检索了一次?

每题只真实检索一次。三种策略共用相同授权候选,先比较顺序,再比较打包。

检查点 3. 长块正文小于预算就一定能放入吗?

不一定。标题、章节、出处、ID、修订、偏移和分隔符也占字符。以实际 text 的长度为准。

检查点 4. c10 和 c11 的失败一样吗?

c10 没有召回目标;c11 已召回但上下文装不下。重排只能整理已有候选。

检查点 5. 连续原文是否保证语义完整?

不能。c12 的选段可以回到原文,但漏掉了另一句维护方法。出处验证和语义完整性不同。

检查点 6. 日期和否定词被保护,c13/c14 就成功了吗?

没有。保守保整块避免主动删字,整块却超预算。失败仍保留,规则也不理解适用日期。

检查点 7. 无参考答案是否算零分或满分?

都不算。指标保持 null,并从有参考答案的分母排除;仍保留真实检索行为。

检查点 8. 撤权后只清空 context 够吗?

不够。候选 ID、排序、省略诊断和已渲染文本也要复验。生产并发原子性仍需要额外设计。

来源与采用范围

语雀原文:文档问答系统的检索召回率提升方案 提供检索优化的问题线索;本章重新设计虚构资料、公开场景与可运行对照,不采用原文成效数字。Sentence Transformers 官方 Retrieve & Re-Rank 用于校核二阶段分工,不能把本章规则实验说成论文模型或神经重排质量结论。

打卡记录保存在你的浏览器里,首页能看到总进度