🏠 总目录📚 本教程 11n · 结构化回答与证据校验 ← →

智能体工程 · 11n

JSON格式通过了,引用和数值也合法吗?

读完能做的判断:依次核对文本限制、身份与本次证据,格式合法不等于语义正确。

结构化回答与证据校验

⏱ 阅读约 27 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:JSON 合规、引用在场、权限有效,只把回答送到人工复核门口;结论是否由证据支持,要另行判断。

实验范围与相关章节

对照状态表和错误结论,运行 demo 检查撤权与换版,再练习改变本次证据。

衔接:生成引用与查询诊断、提示注入与工具边界演练、评测切片与成对比较。示例依赖 response_lab.py、core.py、lab.py 和 corpus。

1.拆开“有效回答”

设备助手回答“所有设备功率都是 999999 W”,附上真实引用。出处存在,仍不能说明结论成立。结构化输出只让程序逐字段检查。

本章手写候选,在 SQLite 上实际检索、检查引用,没有模型或 JSON 修复。

状态 含义 下一步
ready_for_human_review 机械检查通过 核对主张、型号、条件与单位
abstained 明确拒答,内容为空 检查资料缺口
rejected 机械条件不满足 按固定 reason 修正或重取证据

所有状态均带 semantic_validation: not_performed。展示原候选与证据须由宿主另行授权。

检查点 1:有真实引用且 JSON 合法,就能算答案正确吗?

不能。结论是否受证据支持,以及型号、条件是否对应,仍需人工检查。

2.身份由宿主建立

入口是 inspect_response(db, identity, raw_text, evidence)。宿主选择 db、建立 core.Identity。先检查 knowledge:read,再检查证据与候选;无 scope 时先拒绝读取。

输出只有以下四项,额外字段拒绝。不能从输出的 tenant、subject、scopes 建立身份;类型检查也不是认证服务。

字段 约束
schema_version 严格整数 1;true、1.0 均拒绝
status answer 或 abstain
answer 字符串,最多 2000 字符
citations 列表,每项只有 chunk_id、revision、quote

answer 状态要求非空回答和一至三条引用。abstain 要求 answer 精确为空字符串、citations 为空列表,一个空格也不能充当空回答。

检查点 2:候选增加 tenant 字段,能切换租户吗?

不能。额外字段被拒绝;租户来自独立的可信 Identity。

核对四个输出字段与调用身份之间的区别。

3.先限制文本,再解析

raw_text 必须能严格编码成 UTF-8,最多 65536 字节,无 NUL;孤立代理字符拒绝。字节限额不能用汉字字符数代替。

容器深度最多 16 层,字符串括号与转义不算嵌套。标准库检查语法,拒绝围栏、坏 JSON 和尾随对象。

输入 处理
重复键 object_pairs_hook 在覆盖前拒绝,含引用内部
NaN、Infinity、-Infinity 拒绝非有限常量
浮点数 schema 无浮点字段,直接拒绝
巨大整数 最多 19 位且在有符号 64 位范围内
顶层数组 拒绝,不猜测目标对象

bool 是 int 子类,故版本、revision 均用严格类型;revision 为一到有符号 64 位最大整数。能解析不等于符合 schema。

坏输入返回固定 reason。API 意外异常传播;CLI 输出 internal_error、退出 1。输入、JSON、IO 问题输出固定 JSON、退出 2,不打印凭证、路径、原文或栈。

检查点 3:为什么 true 与重复键都不宽容接受?

true 不满足严格整数约束;重复键产生被覆盖的歧义。校验器拒绝,不替候选猜测或修复。

4.绑定本次提供的证据

evidence 来自宿主实际调用 core.retrieve(..., mode='bm25', k=3, context_chars=2400) 的 context。可提供子集或正文窗口,被裁掉的内容不能引用;候选不能自报检索结果。

evidence 零至三项,包含 chunk_id、revision、body。最多 16 字段,字段名最多 64 字符;元数据忽略,不授予身份。body 为有效 UTF-8、无 NUL 字符串,各项与合计最多 2400 字符,ID 不重复。

chunk_id 使用 core 的实际格式:64 个小写十六进制字符。citation 的 revision 是严格正整数;quote 最多 5000 字符,去空白后至少四字符。列表不能重复引用同一 chunk_id。

先匹配本次 ID 与 revision,再检查 quote 是提供 body 的精确子串,不先 trim。相似改写、未提供的后半段都不通过。

情况 reason
ID 不在列表或 revision 不同 citation_not_provided
quote 不在提供的 body quote_not_in_evidence
引用重复 ID duplicate_citation
evidence 形状或长度不合约 evidence_invalid

空 context 允许空内容拒答。片段在数据库存在,还须进入本次材料才算“在场”。

检查点 4:引用在数据库中,却没提供给本次生成,应该通过吗?

不应通过。必须属于本次 evidence,quote 还必须位于实际提供的 body。

5.核对当前 ACL 与版本

随后实际调用 core.validate_citations(db, identity, citations),核对当前租户、ACL、revision、删除状态与正文。旧 context 不代表数据库现状。

demo 在真实临时 DB 中撤 reader、发布新版或删除,用旧 context 检查,返回 current_evidence_rejected。正文相似也不能冒充新版。

失败不回传未授权 ID 或旧 body。检查仅覆盖读取时点,返回后撤权不自动通知;稍后展示资料须重新授权读取。

在 reader_revoked 中找到 expected 与 actual,再核对临时 DB 前后的哈希差异。

检查点 5:旧 context 已提供,撤 reader 后还能通过吗?

不能,校验器实际检查当前 ACL。返回之后的撤权同步不属于本实验保证。

6.保留错误结论对照

semantic_wrong_conclusion 引用真实正文,却写“所有设备额定功率都是 999999 W,并且可以带电维护”,仍到待人工复核,因为未做语义判断。

记录中的 semantic_control 为 deliberately_wrong_conclusion。mechanical_pass 为 true,表示它按预期到达人工复核,不能解释为错误答案已变正确。

人工逐句核对型号、单位、数值与断电条件,检查是否错误推广到所有设备。通过回执不能回答这些问题。

检查点 6:错误结论机械通过,说明程序失败了吗?

不说明。这是刻意保留的待人工复核对照;把它报告为答案正确才是错误解释。

7.运行并保留逐项记录

以下是原示例父项目目录内的 PowerShell 命令。输出必须是全新目录,已有空目录也拒绝;再次运行请改编号。

& .\examples\knowledge-assistant\.venv\Scripts\python.exe -X utf8 .\examples\knowledge-assistant\response_lab.py demo --output .\examples\knowledge-assistant\.runtime\response-reading-01

在包含 response_lab.py 的示例 knowledge-assistant 目录内,Python 3.12 的对应命令为:

python -X utf8 response_lab.py demo --output .runtime/response-reading-01

demo 有 17 项,覆盖前文 JSON、引用、权限、版本与错误结论边界。每项新建临时 seed DB,业务数据库不参与。

文件 保存内容
summary.json case_count、passed、failed、只读输入是否未变、boundary
records.json 逐项 expected/actual/mechanical_pass、语义标签、临时 DB 前后 hash
manifest.json Python、平台、参数、代码与只读语料前后 hash

不导出 answer、quote、body 或隐藏引用 ID。机械预期全满足且只读输入未变,退出 0;预期不符或输入变化,退出 1。预期拒绝、拒答与错误结论对照都可能计入 passed;这些数字不是模型正确率。

检查点 7:passed 等于 case_count,能写“模型正确率 100%”吗?

不能。没有调用模型,通过数还包含拒绝、拒答与错误结论对照。

8.只改变一关

Python 工作目录为 examples/knowledge-assistant (示例根目录);只创建临时 DB。

import json
from pathlib import Path
from tempfile import TemporaryDirectory
import core, lab, response_lab as check

with TemporaryDirectory() as tmp:
    db = Path(tmp) / 'exercise.db'
    lab.seed(db)
    who = core.Identity('a', 'alice')
    ev = core.retrieve(db, who, 'XR-200 额定功率',
                       mode='bm25', k=3, context_chars=2400)['context']
    c = ev[0]
    value = dict(schema_version=1, status='answer', answer='请核对设备参数。',
        citations=[dict(chunk_id=c['chunk_id'], revision=c['revision'], quote=c['body'])])
    raw = json.dumps(value, ensure_ascii=False)
    print(check.inspect_response(db, who, raw, ev)['status'])
    print(check.inspect_response(db, who, raw, [])['reason'])

预期依次为 ready_for_human_review、citation_not_provided。只移除 evidence 就改变结果。BM25 第一条不保证型号匹配。

走神救援: 回到第四节,记“本次提供在场、当前权限版本有效”。再找错误结论对照,提醒自己仍需语义复核。

检查点 8:移除 evidence 与管理员撤权,分别失败在哪一关?

前者失败于本次提供校验,后者失败于当前数据库核对,分别为 citation_not_provided 与 current_evidence_rejected。

打卡记录保存在你的浏览器里,首页能看到总进度