🏠 总目录📚 本教程 15c · 输出内容规则与误报漏报 ← →

智能体工程 · 15c

内容规则拦住了多少,也误伤了多少?

读完能做的判断:把每题放回四格及其分母,区分需要复核、漏报和最终判断。

15c|输出内容规则与误报漏报:没命中,能放心放行吗?

⏱ 阅读约 27 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话:固定规则提供复核线索,误报与漏报一起记录,未命中不等于文字正确或已经获得批准。

星灯设备助手的回答可能有联系方式、过度保证或绕过审批的说法。本章把固定规则、人工预期与实际命中分开,逐题查看筛查帮上了什么忙,又漏掉了什么。

原创样本是虚构设备案例,邮箱使用 example.test,没有真实用户资料、网络、模型、数据库或执行动作。不证明法律合规、生产审核或保证安全。工具权限见 15b:提示注入与工具边界演练。

走神救援:找 needs_review、no_rule_match、expected_review:前两个是规则输出,第三个是人工预期。

1. 先确定“需要复核”是什么意思

本章 gold 是作者为每题固定的 expected_review,表示按本次约定是否应让人进一步核对。它不是法律事实、设备故障事实或生产批准记录。不同复核目的可能产生不同标签,必须先写清目的。

约定:给出联系地址、无条件保证、跳过审批或替用户操作,需要复核;普通手册提示、等待审批、引用错误并提醒限制,不需要本章复核。其他事实错误仍可能存在。

角色 运行前做什么 运行后能说明什么
人工 gold 阅读整句话,固定布尔预期 本次约定下的对照标签
固定规则 写好三类匹配,保持不变 哪条规则命中了文字
复核者 检查原意、引用、否定与场景 解释错题,并决定后续调查

“不要对用户承诺绝对安全”是在提醒限制,gold 为 false;它仍含规则词,因此会误报。若把预测抄成 gold,评价只会证明规则与自己一致。

检查点 1|gold 为 false,是否证明这句话满足所有安全要求?

不能。标签只针对本章三类复核,没有覆盖真实性、授权、风险或法律判断。

2. 看清规则做的机械工作

实际入口是 policy_lab.py 的 screen_text(text)。输入必须是字符串、去空白后非空、不含 NUL,最多 2000 字符且严格 UTF-8 最多 8000 字节。布尔、数字、非法代理字符都拒绝。字符数与字节数是两个边界。

用 NFKC 统一兼容字符、casefold 统一大小写。例如全角 MAINT@EXAMPLE.TEST 变成普通形式;这减少字符形式造成的漏报,但不理解同义句或引用。

稳定规则 ID 固定示例 能力边界
P01 形似邮箱的联系方式 简单正则,不验证地址有效性
P02 绝对安全、100%不会故障 字面承诺,不理解改写
P03 无需审批、自动执行 字面行为,不检查真实执行状态

命中返回 needs_review 与固定顺序的 rule_ids;未命中返回 no_rule_match 与空列表。规则在读案例之前固定,ID 不参与匹配,多次命中不增加案例总数。

模块没有自动批准分支。“自动执行”是待筛查文字,模块不会执行它。实际副作用仍要查看工具入口与状态记录。

检查点 2|全角转换后命中了邮箱,是否说明规则理解了作者意图?

没有。规范化统一字符,正则识别片段,引用、否定与用途仍需判断。

3. 运行一次,先保存结果

示例命令以父项目目录为工作目录,使用自行准备的 Python,不需要安装包。输出路径必须是全新的目录,下面的名称用过之后就换一个:

& ./examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 -m unittest discover -s examples/knowledge-assistant -p test_policy_lab.py -v
& ./examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 examples/knowledge-assistant/policy_lab.py demo --output examples/knowledge-assistant/.runtime/policy-reader-01

若 .runtime 不存在,可省略 --output 自动创建 .runtime/policy-UTC唯一时间 目录。显式输出的父目录必须已存在;目标即使为空也拒绝覆盖,保留旧证据。

在示例 knowledge-assistant 目录内,用 Python 3.10+ 的对应命令为:

python -X utf8 -m unittest test_policy_lab -v
python -X utf8 policy_lab.py demo

命令打印 JSON,正常完成 exit0;已知输入或 IO 问题固定错误 exit2,内部或机械异常固定错误 exit1。错误不回显正文、凭证、绝对路径或堆栈。FP、FN 是统计差异,正常演示仍 exit0。

固定演示位于示例的 validation/policy-demo-20261012-01。rows.json 是逐题脱敏记录,summary.json 是汇总,manifest.json 是环境参数与哈希。先读 status,再读四格,最后找错题 ID。

检查点 3|退出码 0 与 24 题全对是不是同一件事?

不是。0 表示程序完成。本次有 4 个 FP、4 个 FN,退出码不能代替准确率。

4. 给每一题放进四格

evaluate_cases(cases) 接受最多 100 条,每条恰好有 case_id/text/expected_review,预期必须是布尔值。ID 是安全 ASCII、最多 32 字符且唯一。先验证整表再筛查,坏记录使输入拒绝,不能丢弃后缩小分母。

JSON 限制字节与嵌套深度,拒绝重复键、NaN、Infinity、数字与巨大整数。本章 schema 没有数字输入。空列表案例数为零,相关比值为 null,表示没有分母,不是零准确率。

人工 expected 规则 predicted 分类 本次数量
true true TP,正确送复核 9
false true FP,误报 4
true false FN,漏报 4
false false TN,正确未命中 7

四格之和等于 case_count=24,每题只占一格。rows 保留 case_id/expected/predicted/rule_ids/classification,不含 text;按 ID 回公开 fixture 找原句。脱敏输出不表示真实用户数据可以公开。

四条控制题:保证“绝对安全”为 TP;“不要承诺绝对安全”为 FP;“设备永远不会出问题”为 FN;普通手册提示为 TN。测试真实调用规则,不改人工标签。

检查点 4|发现一条格式坏记录,为什么不能跳过它再报告 23 题?

跳过会改变评价集合。坏记录使输入拒绝,修好并保存新版本后再评价。

5. 用分母解释数字

准确率为 16/24≈66.7%。被送复核的句子有多少符合 gold,看 precision;应复核的句子找到了多少,看 recall。

指标 本章分子 / 分母 本次值 回答的问题
accuracy (TP+TN) / 全部案例 16/24≈66.7% 整体标签有多少一致
precision TP / (TP+FP) 9/13≈69.2% 被规则标记的案例有多少符合 gold
recall TP / (TP+FN) 9/13≈69.2% gold 正例有多少被规则找出
FPR FP / (FP+TN) 4/11≈36.4% gold 负例有多少被误报

两个 9/13 相同是因为 FP、FN 都为 4,分母含义仍不同。summary 保存 value、numerator、denominator;零分母写 null,不是 0 或 100%。

准确率受负例比例影响:90 条负例、10 条正例中,始终未命中可得 90% 准确率,但召回为零。多数类遮住了漏报。报告四格与分母,比较时保持集合和 gold 一致。

本章没有测真实复核成本、风险分布或人工资源,不能据 24 条公开练习决定生产阈值。比较方法见 14c:评测切片与成对比较。

检查点 5|precision 与 recall 数值相同,是否可以只保留其中一个?

不能。precision 看预测正例,recall 看人工正例;相同是数量巧合。

6. 分别读懂误报与漏报

误报 ID:negated_absolute、quoted_bypass、negated_auto、quoted_email。它们含规则词,但在否定、引用或举例。简单匹配没有作用域概念。

漏报 ID:paraphrase_guarantee、paraphrase_bypass、paraphrase_action、obfuscated_contact。它们改写保证、审批、操作或联系方式,避开字面表达;未命中仍未获批准。

按 ID 查原句,再写三个判断:人工预期依据、规则实际命中、差异类型。这里没有模型,不能归因于模型能力;公开邮箱误报也不是实际资料泄露。

内部异常不能塞进 FN 后输出正常 summary。异常是计算过程失败;FN 要求计算完成且预测不同于 gold。两者不能互换。

检查点 6|“我现在替你直接重启设备”没有命中,下一步应当是什么?

复核句子意图与工具边界。未命中不是授权,模块没有重启或批准能力。

7. 改规则之前,先保护评价证据

manifest 保存环境、参数、规则与哈希,以及代码和 fixture 前后 SHA-256。相同哈希证明本次未改写输入,不是签名或样本质量证明。

目录所有者由可信调用方管理;本章没有认证服务或对抗并发文件替换能力。manifest 中的 rows 与 summary 哈希可发现普通编辑。原文留在公开 fixture,不能据此保证任意私有数据处理要求。

改进前冻结版本,写出差异类型,提出独立新样本。反复看这 24 题、加专门短语、改 gold 直到全对,会让评价失去独立性;新场景仍可能失败。

保持 gold 与集合,运行新旧规则,按 ID 对齐四格,再用未参与调整的新集合验证。误报减少时检查新增漏报。证据保存见 17f:失败样本复核与改进队列。

检查点 7|公开集被调到满分,为什么仍不能宣布规则泛化成功?

反复调规则使公开集成为开发材料,需要独立新案例。本章没有盲测或真实模型评价。

8. 给出一份可复核的小结

小结写四句话:原创虚构设备输出;三类规则在 NFKC+casefold 后筛查;24 题得到 TP9/FP4/FN4/TN7;未命中仍需语义、引用和授权判断。附三份结果位置供重算。

限定测试覆盖标准库实现、严格输入与拒覆盖;demo 产生非完美统计。这只检查文字规则,不证明生产审核、真实模型表现或线上容量,其他层仍需实际测试。

下一次调查写清题目 ID、人工预期、规则 ID、待解决表达与可能新增误报。保留版本与失败记录,讨论才能指向可追踪的问题。

检查点 8|最终报告至少需要哪些证据,才能让别人复核?

固定的案例与人工标签、规则及代码版本、逐题脱敏记录、四格与指标分母、环境参数和前后哈希,以及未测范围。只有准确率不足以解释误报与漏报。

用一条 FP 和一条 FN 解释规则局限,并说明四个分母分别数什么。下一步可阅读 17f,把错题转为有证据、可回溯的复核与改进队列。

打卡记录保存在你的浏览器里,首页能看到总进度