🏠 总目录📚 本教程 06d · 跨轮实体更新与澄清 ← →

智能体工程 · 06d

用户改了型号,旧历史还该继续生效吗?

读完能做的判断:按事件、前提与来源更新实体;前提不符先澄清而非猜测覆盖。

跨轮实体更新与澄清

⏱ 阅读约 26 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:记住一个型号,也要记住它何时被纠正、何时失效、何时需要重新问清楚。

实验范围与实体更新规则

运行八个公开案例,对照六个基线失败。用状态表说明旧型号为什么失效,并核对来源轮次、版本与错误分母。

走神救援:只找三个动作:替换、清空、澄清。明确纠正替换旧实体;换话题或重置清空实体;两个候选并存先澄清。

衔接:会话状态与并发更新、意图识别与安全路由、查询改写与多轮检索实验。示例依赖 evaluation 与 Python 文件。本章只用标准库,无网络或模型调用。

1.历史里出现过,不等于现在仍然有效

用户先谈 XR-200,随后明确改成 XR-300,再问“它的额定功率”。只在最近几轮寻找第一次出现的型号,可能把旧设备接回来。另一个问题是:刚刚改聊数据库,再问“它”,设备上下文仍然留着,也会造成错误补全。

本实验把这些变化写成明确事件,按顺序更新小状态。输入已经由可信调用方标注,代码不读取或理解原句;“不是那台”“改聊别的”究竟对应哪个事件,仍是调用方尚需解决的问题。公开夹具提前给定预期结果,用来检查约定是否执行。

检查点 1:这里识别了自然语言纠正吗?

没有。correction 是显式标注,不是模型从文字猜出的标签。换成真实聊天时,要另行验证事件标注的正确性,不能继承这八题的成绩。

2.每种事件都说明自己怎样改变状态

replay 接受最多二十个事件,每个 turn 从一开始连续编号。设备只采用三种虚构型号,话题也是有限枚举。字段必须与该事件的约定完全一致;未知事件、额外字段、布尔轮次或重复候选都拒绝。

事件 条件与变化 后续引用
set_model 明确选定型号,清空候选 可解析到新型号
correction from 等于当前型号,且没有歧义 替换为 to
topic_switch 设置新话题,清空型号与来源 需要澄清
reset 清空话题、型号、来源与候选 需要澄清
ambiguous_reference 保留两个或三个候选,清空唯一型号 需要澄清
ask 读取当前状态,不猜测新实体 返回有限状态

这些事件只改变教学内存状态。模块没有身份、资料访问、检索或业务动作入口,也不能把上下文事实当作授权。本章不修改既有会话模块。

检查点 2:最近提到的设备一定是“它”吗?

不一定。比较两台设备时,候选仍有两个。实验要求后续 set_model 明确选定其中一台,才解除歧义,不能按候选排序挑第一台。

3.纠正也有前提,前提不符就停下来

当前型号是 XR-300,却收到“从 XR-200 改成 XR-999”的标注,不能直接改成 XR-999,也不能继续沿用 XR-300。可能是旧轮次、错误标注或另一段对话,本实验都不擅自解释。

此时清空唯一型号及其来源,把当前、原值和新值去重后放进 candidates。下一次引用返回 clarification_required,model 为 null。明确 set_model 可以重新建立唯一实体;ask 本身不能解除歧义。

reference=false 表示这一问没有引用上下文,输出 no_reference,model 也是 null。它不删除已有状态;之后再次引用,仍能使用尚未失效的明确实体。

检查点 3:澄清算一次回答正确吗?

只有预先约定应该澄清的案例才算符合合同。如果所有问题都澄清,明确实体的案例会失败。记录同时比较 status 和 model,不能只看“没有旧型号”。

4.保留来源,才能解释这个型号从哪来

每个可解析答案记录 source_turn、source_kind 与 version。型号来自第一次明确选择,或后来的成功纠正。话题切换、重置与歧义会清空这个来源;无唯一实体时,来源字段为 null。

本章的 version 等于已经处理到的事件轮次,ask 也推进它。它表示回放位置,不是数据库的比较并交换版本,也不处理同时到达的消息。并发事务仍看前面的会话实验。

from continuity_lab import replay

result = replay([
    {"kind": "set_model", "turn": 1, "model": "XR-200"},
    {"kind": "correction", "turn": 2, "from": "XR-200", "to": "XR-300"},
    {"kind": "ask", "turn": 3, "reference": True},
])
print(result["answers"][-1])
# model=XR-300,source_turn=2,source_kind=correction,version=3
检查点 4:来源轮次和当前版本为什么不同?

第二轮改变了型号,第三轮只是读取它,所以来源是二,版本是三。把两个数字混成一个,会丢失“何时更新”和“读到哪里”的区别。

5.同一批输入,对照一个有意简化的窗口

last_n_baseline 只看最后三个事件中的 set_model,忽略纠正、话题切换、重置与歧义;找不到就澄清。它是用来暴露失效机制的弱对照,不代表所有最近轮次策略,也不代表已有 query_lab 的实现。

八个案例全部公开,预期结果写在 evaluation/continuity-cases.json。两个策略使用相同事件与相同预期,不删除失败题。此次实际运行如下:

case_id 预期 归约器 三轮基线
single-reference XR-200 符合 符合
explicit-correction XR-300 符合 仍取 XR-200
topic-switch 澄清 符合 仍取 XR-200
reset-reference 澄清 符合 仍取 XR-200
ambiguous-reference 澄清 符合 仍取 XR-200
clarification-set XR-300 符合 符合
correction-mismatch 澄清 符合 仍取 XR-300
beyond-window XR-200 符合 错误澄清
检查点 5:8/8 能说明真实聊天连贯吗?

不能。它只说明这八个预先标注事件符合约定。输入长度、自然语言理解、隐含换话题、模型回答质量与真实用户满意度都没有测量。

6.错误也留在分母里

evaluate_cases 逐题保留 expected、两个策略的输出、correct、状态和来源元数据。回放异常记为 error,两项 correct 都为 false,case_count 不减少。运行错误与策略失配可以分开观察。

实际结果为 case_count=8、reducer_correct=8、baseline_correct=2、error_count=0。六个基线失配都在 records.jsonl 中,没有被修成满分。这里报告的是公开合同符合数,没有命名为模型 accuracy 或文本连贯性评分。

检查点 6:出错题为什么不能跳过?

跳过会使总数变小,让策略看起来更可靠。限定测试故意传入空事件,确认一题仍计入 case_count,error_count 为一,正确数为零。

7.运行并保存一次观察

以下示例命令以父项目目录为工作目录,输出目录必须尚不存在:

examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 -m unittest discover -s examples/knowledge-assistant -p test_continuity_lab.py -v
examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 examples/knowledge-assistant/continuity_lab.py demo --output examples/knowledge-assistant/validation/continuity-my-demo

在示例 knowledge-assistant 目录内,对应命令为 python -X utf8 -m unittest test_continuity_lab -v 和 python -X utf8 continuity_lab.py demo --output continuity-my-demo。已有目录即使为空也拒绝,换一个新名字保存下一次观察。

2026-10-12 限定测试通过 16 项。原 RED 日志记录模块尚不存在;续作 RED 记录缺少夹具及 argparse 缺失参数问题;GREEN 已补齐并通过。没有把这些失败删掉。

检查点 7:退出码怎样读?

成功写出文件退出零;参数、输入拒绝或已有目录退出二,打印固定错误 JSON;未预期内部异常退出一,打印 demo_error。命令行不打印异常栈或输入原文。测试覆盖缺失参数、覆盖拒绝与内部异常呈现。

8.动手时只改变一件事

先复制纠正案例,把第三轮换为 topic_switch,再追加第四轮 ask。手写新的预期:需要澄清,型号与来源为空,版本为四。随后运行 replay 核对,不从程序输出反过来生成预期。

再比较 beyond-window:型号没有失效,只是离开了三轮窗口。它说明“保留历史文字”和“维护有效状态”解决不同问题。若以后做摘要,要继续保存明确更新及失效信息,单纯缩短文字不能替代这份约定。

证据:汇总(examples/knowledge-assistant/validation/continuity-demo-20261012-01/summary.json)、逐项记录(examples/knowledge-assistant/validation/continuity-demo-20261012-01/records.jsonl)、限定测试日志(examples/knowledge-assistant/validation/continuity-green-20261012.txt)。source_sha256 包含实验、测试、夹具及三个相邻模块的字节哈希;相邻模块只是上下文参考,本实验没有调用它们,哈希也不证明质量。

来源:语雀《7 多轮对话的上下文建模方法》 提供跨轮实体一致性、话题切换与摘要范围的方向;案例、状态表与代码为本站原创。没有采用旧 API、效果数字或文本指标作为验收。

检查点 8:怎样核对替换、清空与澄清?

确认纠正能替换、换题能清空、歧义会澄清,再找到六个基线失败。到这里即可打卡;真实事件识别、生成模型、数据库并发及线上质量,需要各自的后续验证。

打卡记录保存在你的浏览器里,首页能看到总进度