智能体工程 · 06d
用户改了型号,旧历史还该继续生效吗?
读完能做的判断:按事件、前提与来源更新实体;前提不符先澄清而非猜测覆盖。
跨轮实体更新与澄清
⏱ 阅读约 26 分钟 · 动手实践另计
本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。
一句话带走:记住一个型号,也要记住它何时被纠正、何时失效、何时需要重新问清楚。
实验范围与实体更新规则
运行八个公开案例,对照六个基线失败。用状态表说明旧型号为什么失效,并核对来源轮次、版本与错误分母。
走神救援:只找三个动作:替换、清空、澄清。明确纠正替换旧实体;换话题或重置清空实体;两个候选并存先澄清。
衔接:会话状态与并发更新、意图识别与安全路由、查询改写与多轮检索实验。示例依赖 evaluation 与 Python 文件。本章只用标准库,无网络或模型调用。
1.历史里出现过,不等于现在仍然有效
用户先谈 XR-200,随后明确改成 XR-300,再问“它的额定功率”。只在最近几轮寻找第一次出现的型号,可能把旧设备接回来。另一个问题是:刚刚改聊数据库,再问“它”,设备上下文仍然留着,也会造成错误补全。
本实验把这些变化写成明确事件,按顺序更新小状态。输入已经由可信调用方标注,代码不读取或理解原句;“不是那台”“改聊别的”究竟对应哪个事件,仍是调用方尚需解决的问题。公开夹具提前给定预期结果,用来检查约定是否执行。
检查点 1:这里识别了自然语言纠正吗?
没有。correction 是显式标注,不是模型从文字猜出的标签。换成真实聊天时,要另行验证事件标注的正确性,不能继承这八题的成绩。
2.每种事件都说明自己怎样改变状态
replay 接受最多二十个事件,每个 turn 从一开始连续编号。设备只采用三种虚构型号,话题也是有限枚举。字段必须与该事件的约定完全一致;未知事件、额外字段、布尔轮次或重复候选都拒绝。
| 事件 | 条件与变化 | 后续引用 |
|---|---|---|
| set_model | 明确选定型号,清空候选 | 可解析到新型号 |
| correction | from 等于当前型号,且没有歧义 | 替换为 to |
| topic_switch | 设置新话题,清空型号与来源 | 需要澄清 |
| reset | 清空话题、型号、来源与候选 | 需要澄清 |
| ambiguous_reference | 保留两个或三个候选,清空唯一型号 | 需要澄清 |
| ask | 读取当前状态,不猜测新实体 | 返回有限状态 |
这些事件只改变教学内存状态。模块没有身份、资料访问、检索或业务动作入口,也不能把上下文事实当作授权。本章不修改既有会话模块。
检查点 2:最近提到的设备一定是“它”吗?
不一定。比较两台设备时,候选仍有两个。实验要求后续 set_model 明确选定其中一台,才解除歧义,不能按候选排序挑第一台。
3.纠正也有前提,前提不符就停下来
当前型号是 XR-300,却收到“从 XR-200 改成 XR-999”的标注,不能直接改成 XR-999,也不能继续沿用 XR-300。可能是旧轮次、错误标注或另一段对话,本实验都不擅自解释。
此时清空唯一型号及其来源,把当前、原值和新值去重后放进 candidates。下一次引用返回 clarification_required,model 为 null。明确 set_model 可以重新建立唯一实体;ask 本身不能解除歧义。
reference=false 表示这一问没有引用上下文,输出 no_reference,model 也是 null。它不删除已有状态;之后再次引用,仍能使用尚未失效的明确实体。
检查点 3:澄清算一次回答正确吗?
只有预先约定应该澄清的案例才算符合合同。如果所有问题都澄清,明确实体的案例会失败。记录同时比较 status 和 model,不能只看“没有旧型号”。
4.保留来源,才能解释这个型号从哪来
每个可解析答案记录 source_turn、source_kind 与 version。型号来自第一次明确选择,或后来的成功纠正。话题切换、重置与歧义会清空这个来源;无唯一实体时,来源字段为 null。
本章的 version 等于已经处理到的事件轮次,ask 也推进它。它表示回放位置,不是数据库的比较并交换版本,也不处理同时到达的消息。并发事务仍看前面的会话实验。
from continuity_lab import replay
result = replay([
{"kind": "set_model", "turn": 1, "model": "XR-200"},
{"kind": "correction", "turn": 2, "from": "XR-200", "to": "XR-300"},
{"kind": "ask", "turn": 3, "reference": True},
])
print(result["answers"][-1])
# model=XR-300,source_turn=2,source_kind=correction,version=3
检查点 4:来源轮次和当前版本为什么不同?
第二轮改变了型号,第三轮只是读取它,所以来源是二,版本是三。把两个数字混成一个,会丢失“何时更新”和“读到哪里”的区别。
5.同一批输入,对照一个有意简化的窗口
last_n_baseline 只看最后三个事件中的 set_model,忽略纠正、话题切换、重置与歧义;找不到就澄清。它是用来暴露失效机制的弱对照,不代表所有最近轮次策略,也不代表已有 query_lab 的实现。
八个案例全部公开,预期结果写在 evaluation/continuity-cases.json。两个策略使用相同事件与相同预期,不删除失败题。此次实际运行如下:
| case_id | 预期 | 归约器 | 三轮基线 |
|---|---|---|---|
| single-reference | XR-200 | 符合 | 符合 |
| explicit-correction | XR-300 | 符合 | 仍取 XR-200 |
| topic-switch | 澄清 | 符合 | 仍取 XR-200 |
| reset-reference | 澄清 | 符合 | 仍取 XR-200 |
| ambiguous-reference | 澄清 | 符合 | 仍取 XR-200 |
| clarification-set | XR-300 | 符合 | 符合 |
| correction-mismatch | 澄清 | 符合 | 仍取 XR-300 |
| beyond-window | XR-200 | 符合 | 错误澄清 |
检查点 5:8/8 能说明真实聊天连贯吗?
不能。它只说明这八个预先标注事件符合约定。输入长度、自然语言理解、隐含换话题、模型回答质量与真实用户满意度都没有测量。
6.错误也留在分母里
evaluate_cases 逐题保留 expected、两个策略的输出、correct、状态和来源元数据。回放异常记为 error,两项 correct 都为 false,case_count 不减少。运行错误与策略失配可以分开观察。
实际结果为 case_count=8、reducer_correct=8、baseline_correct=2、error_count=0。六个基线失配都在 records.jsonl 中,没有被修成满分。这里报告的是公开合同符合数,没有命名为模型 accuracy 或文本连贯性评分。
检查点 6:出错题为什么不能跳过?
跳过会使总数变小,让策略看起来更可靠。限定测试故意传入空事件,确认一题仍计入 case_count,error_count 为一,正确数为零。
7.运行并保存一次观察
以下示例命令以父项目目录为工作目录,输出目录必须尚不存在:
examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 -m unittest discover -s examples/knowledge-assistant -p test_continuity_lab.py -v
examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 examples/knowledge-assistant/continuity_lab.py demo --output examples/knowledge-assistant/validation/continuity-my-demo
在示例 knowledge-assistant 目录内,对应命令为 python -X utf8 -m unittest test_continuity_lab -v 和 python -X utf8 continuity_lab.py demo --output continuity-my-demo。已有目录即使为空也拒绝,换一个新名字保存下一次观察。
2026-10-12 限定测试通过 16 项。原 RED 日志记录模块尚不存在;续作 RED 记录缺少夹具及 argparse 缺失参数问题;GREEN 已补齐并通过。没有把这些失败删掉。
检查点 7:退出码怎样读?
成功写出文件退出零;参数、输入拒绝或已有目录退出二,打印固定错误 JSON;未预期内部异常退出一,打印 demo_error。命令行不打印异常栈或输入原文。测试覆盖缺失参数、覆盖拒绝与内部异常呈现。
8.动手时只改变一件事
先复制纠正案例,把第三轮换为 topic_switch,再追加第四轮 ask。手写新的预期:需要澄清,型号与来源为空,版本为四。随后运行 replay 核对,不从程序输出反过来生成预期。
再比较 beyond-window:型号没有失效,只是离开了三轮窗口。它说明“保留历史文字”和“维护有效状态”解决不同问题。若以后做摘要,要继续保存明确更新及失效信息,单纯缩短文字不能替代这份约定。
证据:汇总(examples/knowledge-assistant/validation/continuity-demo-20261012-01/summary.json)、逐项记录(examples/knowledge-assistant/validation/continuity-demo-20261012-01/records.jsonl)、限定测试日志(examples/knowledge-assistant/validation/continuity-green-20261012.txt)。source_sha256 包含实验、测试、夹具及三个相邻模块的字节哈希;相邻模块只是上下文参考,本实验没有调用它们,哈希也不证明质量。
来源:语雀《7 多轮对话的上下文建模方法》 提供跨轮实体一致性、话题切换与摘要范围的方向;案例、状态表与代码为本站原创。没有采用旧 API、效果数字或文本指标作为验收。
检查点 8:怎样核对替换、清空与澄清?
确认纠正能替换、换题能清空、歧义会澄清,再找到六个基线失败。到这里即可打卡;真实事件识别、生成模型、数据库并发及线上质量,需要各自的后续验证。