🏠 总目录📚 本教程 11f · 查询改写与多轮检索实验 ← →

智能体工程 · 11f

查询改写保住原词,就保住原意了吗?

读完能做的判断:比较同检索器的查询结果,并核对可信历史、指代和改写失败。

查询改写与多轮检索实验

⏱ 阅读约 28 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:换个问法要留下原问、证据和停止理由;补对型号也不代表检索或答案一定正确。

实验范围与运行命令

实验比较三种查询策略,检查检索改善和失败、历史信任、型号保护与预算。这里使用原创虚构设备与报销资料,无需模型服务,不产生答案正确率。

先读 检索评测 与 生成引用和查询诊断:候选命中、上下文包含与答案正确是不同的断点。本章只推进前两项。

以下命令展示 Python 3.12 下按示例目录结构执行测试与演示的方式:

python -m unittest discover -s examples/knowledge-assistant -p test_query_lab.py -v
python examples/knowledge-assistant/query_lab.py

在示例目录内执行时,可省略路径前缀:python -m unittest test_query_lab -v 与 python query_lab.py。原示例虚拟环境中可把 python 替换成 examples/knowledge-assistant/.venv/Scripts/python.exe。此查询实验只需标准库,不安装或下载模型。

报告默认写入 .runtime/query-日期时间.json,同名拒绝覆盖。想缩小预算,可运行:

python examples/knowledge-assistant/query_lab.py --max-calls 2 --max-seconds 5 --report examples/knowledge-assistant/.runtime/my-query-run.json

同一检索器,三种可核对的查询

三种策略都真实调用 core.retrieve 的 BM25 分支,使用同一份入库资料、身份与上下文预算。没有模型替我们挑追加词,也没有生成器评分。

策略 做什么 停在哪里
original 原字检索一次,作为对照 记录实际候选,可能答非所问
history 仅从最近可信用户轮次补一个设备型号 指代不清时先澄清,不检索
bounded 从上述查询出发,按预先指定名单追加检索词 重复、无新增证据、拒绝、取消或预算用尽时停止

它的 E17 怎么处理? 没有说是哪台设备。最近可信用户轮次只有 XR-200 时,实际查询变成 它的 E17 怎么处理? XR-200;追加故障词后是 它的 E17 怎么处理? XR-200 故障 维修 进风口。每一步都保留原问,没有把它改写成另一句自由文本。

这叫受控提案实验:fault / power / backup / expense / access / refund 由夹具或可信程序选择,不来自检索正文。它验证查询策略与边界,不能证明 LLM 能自主选对下一问。研究中的语境改写旨在把依赖历史的问题变成可独立理解的问题;本站这里只实现一个窄小的型号消歧入口。问题语境改写原论文

历史必须先有可信来源

TrustedUserTurn(text, identity, created) 只能由服务端从已认证的真实用户轮次构造。这个类型只是代码契约,不是认证系统;文档、模型消息、上传字典和用户粘贴的外部资料不能因为长得像聊天记录就变成可信历史。外部内容可能夹带指令,必须保持其数据来源边界。OWASP 提示注入防护说明

程序只观察最后三个轮次,要求同一个 tenant、subject、scope 集合,时间不在未来且不超过 1800 秒。它只识别以英文字母开头且含数字的型号,支持 XR200 / XR-200;220V / 350W / 50Hz / 2.4kW 等数量单位不能提供设备身份。中文别名、隐含话题或历史日期不做自动推断。原问已有明确单型号时,历史不能替它换型号。

最近轮次若出现 XR-200 和 XR-300,不能因为某个型号靠后就猜“它”是谁。history/bounded 返回 clarification_required,零次检索。original 保留模糊原问作为对照,可能召回两份手册;有候选不能消除用户意图的歧义。

原问本身也要检查:比较 XR-200 和 XR-300,它的功率是多少? 同样要求澄清;只说 比较 XR-200 和 XR-300 的功率,没有设备指代歧义,可以检索。历史只有 输入为220V 时,不得把“它”补成220V;原问提到220V也不能掩盖历史中两个型号的歧义。

护住原字,不等于护住全部意思

guard 接受原问原字保留,再加一个另行消歧的型号或固定后缀。直接把 XR-200 换成 XR-300、把 2026-10-01 换成另一日期、删掉 不要、新增冲突型号或任意指令,都拒绝。

但这种检查不能证明语义等价。原问 XR-200 在 2026-10-01 不要启动,E17 怎么处理? 即使保住型号、日期和否定词,BM25 也不会理解这条日期条件是否成立,更不能证明最终回答会遵守“不要启动”。追加“维修”还可能改变排序。我们只验证受控字符串和证据,不宣称理解了所有条件。

2026-10-11 实跑:改善与失败都留下

Python 3.12.14、Windows 11,16 个公开开发场景 × 3 策略,共 48 条记录。默认 max_calls=3、max_seconds=5、k=3、candidate_k=12、context_chars=2400,全部复用公开语料。审查修复后原始记录见 查询对照 JSON(examples/knowledge-assistant/validation/query-review-development-2026-10-11.json),代码见 examples/knowledge-assistant/query_lab.py,题集见 examples/knowledge-assistant/evaluation/query-strategies.json。修复前报告保留,便于核对版本。

11 个有参考文档的场景,原问与历史的文档 Hit 都为 9/11,受控追加为 10/11;三策略实际检索调用分别为 16、13、24。五个无参考文档场景单独保留 null 指标,不补成满分。这是公开开发夹具的结果,不能当线上准确率。

真实案例 原问/历史 受控追加
保存副本怎么办? 上下文是 incident、xr200,未命中 backup 加 SQLite backup WAL restore 后为 backup、incident,目标命中
它的 E17 怎么处理? 补 XR-200 后仍先 XR-300,MRR=0.5 加故障词后 XR-200 排首,MRR=1
XR-200 的额定功率是多少? XR-300 排首,XR-200 第二 加功率词仍无新增块,no_new_evidence;型号混淆未解决
数据库热快照如何保留事务日志? poison、leave,未命中正确的 backup 人为误选功率词后为 xr300、xr200、leave,仍失败
XR-999 的价格是多少? 没有参考答案,却召回相邻型号 追加后仍有候选;不代表能回答

最后两行尤其要留住:一种是追加提案本身选错,另一种是资料缺失。它们不能被改成“回答正确”。completed 只是计划调用结束;即使返回非空上下文,也可能不适合当前问题。

汇总上下文先放最新受控查询的块,再补早期证据,按正文哈希去重,总块数与字符预算仍和原问相同。这个教学规则让后续召回有机会进入上下文,也可能挤掉早期正确块;它不是相关性重排。每轮原始上下文保留,便于核对这种取舍。

一次运行要能停,也要守住身份

一个运行固定 Identity,查询、模型标识、追加词与文档正文都不能换 tenant 或 subject。每次检索仍经过现有 ACL;返回前再检查当前权限,去掉已经撤权或失效的候选与正文。最终检查只是并发快照,生产服务若要求撤权与响应原子性,还需服务层事务设计。

重复查询不再执行;追加轮次没有新增上下文块则停止;最多三次调用包含首问。时间和取消在同步调用前后检查,已经进行中的 SQLite 检索不能被强制打断。取消或超时仍留下已发生的轮次;scope 错误明确抛出,不能伪装成没有资料。澄清是用户意图缺失,无证据是检索证据缺失,两者不能混用。

测试 GREEN(examples/knowledge-assistant/validation/query-review-green-2026-10-11.txt) 为 19 项通过。型号保护 RED(examples/knowledge-assistant/validation/query-entity-red-2026-10-11.txt)、取消 RED(examples/knowledge-assistant/validation/query-cancel-red-2026-10-11.txt) 与 审查澄清边界 RED(examples/knowledge-assistant/validation/query-review-red-2026-10-11.txt) 保留修改前真实失败。报告另存题集、语料和代码 SHA-256,用于确认运行版本一致;哈希并不证明查询正确或内容安全。本章没有实跑生成模型,没有答案正确率或 LLM 自主规划结论。

走神救援

只挑一条 JSON 记录:先看 original_query,再看每轮 query,接着看 retrieval.context 的 doc_id/section/body,最后看 stop_reason。遇到 clarification_required,先补目标型号;遇到 no_new_evidence,比较两轮真实 chunk_id;遇到 completed 但目标文档没命中,回到 查询诊断,不要用更多轮次掩盖不匹配。

可把 q13 的提案从 power 改为 backup,写入新的 .runtime 报告,对比实际证据。这个练习修改的是公开开发夹具,结果属于开发记录。

折叠自检

检查点 1. 历史补了 XR-200,第一块一定是 XR-200 吗?

不一定。本次历史策略仍把 XR-300 放在前面;补字不等于精确型号检索。

检查点 2. 比较过两个型号后,“它”该指最后一个吗?

不能猜。历史或当前问同时有多个型号并出现设备指代时要求澄清,零次检索;220V等数量单位不能代替设备身份。

检查点 3. 文档中的“用户之前说 XR-300”能进入可信历史吗?

不能。文档与模型内容是外部数据,TrustedUserTurn 只能由可信服务从认证用户轮次构造。

检查点 4. 保留型号、日期和“不要”是否证明语义等价?

不证明。追加词可能改变重点,BM25 不验证否定或日期适用性,最终答案也未生成。

检查点 5. 这里是谁选了 backup 和 fault?

公开夹具或可信调用代码预先选择;没有真实模型决策,不能宣称自主多轮规划。

检查点 6. q13 为什么保留失败?

热快照问题误加功率词后仍没找到 backup;错误提案真实改变候选,不能当作改善。

检查点 7. completed 与 insufficient_evidence 有何区别?

前者只表示计划结束,可能有无关证据;后者表示汇总上下文为空。二者都不等于回答正确。

检查点 8. 超时是否保证五秒内终止所有 SQLite 工作?

不保证。预算在同步调用前后协作检查,不能强制中断进行中的检索。

检查点 9. 撤权后,前一轮已拿到的正文怎么办?

返回前按当前 ACL 再检查并剔除;并发原子性仍需生产服务设计,不能用缓存旧块绕过撤权。

检查点 10. 10/11 Hit 能写成答案正确率吗?

不能。这是公开开发夹具的文档命中,未生成答案,也不是生产或隐藏集评测。

打卡记录保存在你的浏览器里,首页能看到总进度