📑 本页目录(点开跳转)
15b · 怎么测一个同样输入不同输出的系统
⏱ 67 分钟 | ⭐ assert reply == "..." 写不出来,那还能断言什么 | 🔨 三段代码不联网、不花钱、可直接跑
🎯 一句话
把系统切成「确定的」和「不确定的」两部分,分别用不同办法测 —— 真正不确定的只有模型那一次调用,其余九成代码照常测就行。
02 章列过「同样输入不同输出」的三个后果:缓存、测试、复现全变难。缓存在 04 章讲了,复现在 15 章讲了。你在 02 章读到「测试断言写不出来」时可能想过「那到底怎么测」—— 答案在这一章。
🧱 一、先破掉那个心理障碍:不确定的只有一格
很多人一看见「模型每次回答都不一样」,就得出结论:这东西没法写测试,然后整个项目一行测试都不写。⭐ 这个推理错在把一格的性质推给了整栋楼。
| 这部分代码 | 确定吗 | 怎么测 |
|---|---|---|
路由状态码、扣配额、成本计算(04 的 cost_of) |
✅ | 正常测,和普通 Web 应用没区别 |
| 缓存 key(模型/system/温度/文档 id 变一个,key 就得变) | ✅ | ⭐ 而且必须测 —— 漏一个字段就是把 A 的答案发给 B |
| 租户过滤:换个租户查出 0 行 | ✅ | 08 章已有范例(毒丸测试,按表自动生成) |
| SSE 帧怎么拼、队列幂等、重试白名单 | ✅ | 正常测(05 · 11 · 本章第二节) |
| ⚠️ 模型返回的那段文字 | ❌ 只有这一格 | 第三节:断结构、断范围、断不变量 |
⭐ 判据一句话:这段代码的输出,是不是只由它的输入决定? 是 → 和不确定性没有任何关系,用你本来就会的方式测。 不是 → 它只可能来自四样东西之一:模型 · 当前时间 · 随机数 · 外部网络。
⚠️ 后三样比模型更常被忽略:它们在普通 Web 里也让测试变脆,只是 AI 应用把注意力全吸到第一样上去了 —— 症状是「测试偶尔红一次,重跑就好」,然后所有人学会了重跑。
⭐ 确定的那一半怎么测本章不占篇幅,它和你写过的任何测试一样。只提醒一个形状:测「配额扣到上限」时,除了断言第 101 次被拒,还要断言被拒的那一次没把计数也加上去 —— 漏掉它,线上就是「用户超限后每被拒一次计数还涨一次」,而功能测试全绿,因为「被拒了」这个现象是对的。
🔌 二、接缝在哪:04 章已经留好了
⭐ 不用你发明 —— 04 章第一节的 FakeLLM 就是它,那一章也写清了三个用途(测试/CI · 本地开发 · ⭐ 故障演练:故意抛 429、故意超时、故意返回半截 JSON),还留了 self.calls = [] 这个钩子(测试里可以直接断言)。往上一层,03 章那行 app.dependency_overrides[...] 是同一件事的入口侧版本。
本章从「假客户端有了,测试怎么写」往下接。而写这类测试时,第一个真正的坑不是模型,是时间。
04 章那个重试器的签名是 call_with_retry(fn, tries=4, base=0.5, cap=8.0, sleep=time.sleep, rng=None)。
⭐ sleep 和 rng 出现在参数列表里不是风格问题,是这个函数可不可测的分界线:写死成 time.sleep() 的话,一个「重试三次」的用例要真睡 3.5 秒(几十个这样的用例,整套测试就没人在本地跑了),退避序列藏在函数肚子里断言不出来,而全抖动(04 章讲了为什么要有)会让「等了多久」每次都不同 ——
⭐ 测试里想要确定,就把随机数也注入进来。
# test_failure_paths.py —— 故障路径:让假客户端故意抛 429、故意超时
# pip install pytest ;跑法 pytest -q test_failure_paths.py
import pytest
class RateLimited(Exception): pass # 上游 429
class BadRequest(Exception): pass # 400:参数错、超长
RETRIABLE = (RateLimited, TimeoutError, ConnectionError) # 04 章那张表的白名单
def call_with_retry(fn, tries=4, base=0.5, sleep=None, rng=None):
"""04 章那个重试器的精简版,放这儿只是为了让本段能单独跑,本章不再解释它。
⭐ 要看的是 sleep 和 rng 在【参数列表里】—— 它俩就是本章要用的那道缝。"""
sleep = sleep or (lambda s: None)
rng = rng or (lambda hi: hi) # ⚠️ 真实版是全抖动,测试里换成「取上界」
for i in range(tries):
try:
return fn()
except RETRIABLE:
if i == tries - 1:
raise
sleep(rng(base * 2 ** i))
class ScriptedLLM:
"""⭐ 按脚本演故障:给一串「这次抛什么」,None 表示这次成功。"""
def __init__(self, script):
self.script, self.calls = list(script), 0
def complete(self, prompt):
self.calls += 1
exc = self.script.pop(0) if self.script else None
if exc:
raise exc
return "(假模型)第 %d 次才成功" % self.calls
def test_retries_then_succeeds():
llm = ScriptedLLM([RateLimited("429"), TimeoutError("read timeout"), None])
assert "成功" in call_with_retry(lambda: llm.complete("hi"))
assert llm.calls == 3 # ⭐ 断言【调了几次】,不是断言返回的文字
def test_non_retriable_is_called_once():
llm = ScriptedLLM([BadRequest("400 prompt 超长")])
with pytest.raises(BadRequest):
call_with_retry(lambda: llm.complete("hi"))
assert llm.calls == 1 # ⚠️⚠️ 少了这一行,重试四次也照样"通过"
def test_backoff_grows_and_test_does_not_sleep():
waits = []
llm = ScriptedLLM([RateLimited("429")] * 3 + [None])
call_with_retry(lambda: llm.complete("hi"), sleep=waits.append) # ⭐ 假 sleep
assert waits == [0.5, 1.0, 2.0] # 0 秒跑完,还看得见完整的退避序列
实跑 pytest -q 输出 3 passed(全程没联网、没花钱、没真睡)。
⚠️⚠️ assert llm.calls == 1 是这一节最容易漏的一行:只写 pytest.raises(BadRequest) 的话,一个把 400 也重试四遍的实现同样能让测试变绿 —— 它最后确实抛了 BadRequest。
⭐ 推广开来:测故障路径时,除了断言「发生了什么」,还要断言「调了几次」。 上游被多调一次,在测试里是一个数字对不上,在线上是多付一次钱。
🧪 三、对不确定的输出,能断言的有四类
不能写 assert reply == "生成的原文" —— 这是本章的起点。但「不能断言文字」不等于「不能断言」:
| 类别 | 断什么 | 例子 |
|---|---|---|
| ① 结构 | 是不是我说好的那个形状 | JSON 解得开、必需字段一个不少 |
| ② 范围 | 有没有跑出合理区间 | 回答长度、引用条数、token 数、耗时上界 |
| ⭐ ③ 不变量 | 无论它说什么,这几句必须永远成立 | 引用的来源必须都在检索结果里、不该出现的没出现 |
| ⭐ ④ 确定的那部分 | 输出再飘,这些必须一模一样 | 记账条数、feature 字段、状态流转、日志字段 |
⭐ 第三类最能抓到真实事故:「模型引用了一个不在检索结果里的文档 id」在页面上是一条点不开的引用链接,在代码里就是一行 set(cites) <= set(doc_ids)。
⭐ 第四类最容易被忘,因为一想到「测 AI」就只盯那段文字 —— 可计费、日志字段、状态机在同一次调用里也全发生了,而它们是确定的。
# test_uncertain_output.py —— 输出每次都不一样,但这四类断言每次都成立
# pip install pytest ;跑法 pytest -q test_uncertain_output.py
import json
import random
DOCS = {"d1": "退款政策", "d2": "配送时效", "d3": "发票开具"}
BANNED = ("系统提示", "sk-") # 不该出现在回答里的东西
class DriftyLLM:
"""故意做成不确定的假模型:措辞、长度、引用条数和顺序每次都不一样。"""
def __init__(self, seed=None):
self.rng = random.Random(seed)
def answer(self, question, doc_ids):
n = self.rng.randint(1, len(doc_ids))
cites = self.rng.sample(list(doc_ids), n) # ⭐ 条数、顺序、措辞全随机
tone = self.rng.choice(["简单说,", "这样理解:", "答案是——", ""])
pad = "。" + "补充说明" * self.rng.randint(0, 3)
return json.dumps({"answer": tone + question + "的处理方式如下" + pad,
"cites": cites}, ensure_ascii=False)
def check(raw, doc_ids):
"""前三类断言。⭐ 一条都不涉及【具体文字】。"""
obj = json.loads(raw) # ① 结构:解得开
assert set(obj) == {"answer", "cites"} # ① 字段不多不少
assert 10 <= len(obj["answer"]) <= 200 # ② 范围:长度
assert 1 <= len(obj["cites"]) <= len(doc_ids) # ② 范围:条数
assert set(obj["cites"]) <= set(doc_ids) # ⭐ ③ 不变量:不许编来源
assert not any(b in obj["answer"] for b in BANNED) # ③ 不该出现的没出现
return obj
def test_two_hundred_random_outputs_all_pass():
llm, seen = DriftyLLM(seed=7), set()
for i in range(200):
raw = llm.answer("订单%d" % (i % 5), DOCS)
check(raw, DOCS)
seen.add(raw)
assert len(seen) > 100 # ⭐ 顺便证明它【真的】每次都不一样
def test_the_deterministic_part_is_identical():
rec = []
for seed in (1, 2): # 两个种子 → 回答文字必然不同
check(DriftyLLM(seed).answer("订单0", DOCS), DOCS)
rec.append({"feature": "qa", "ok": True})
# ⭐ 记账条数、feature、状态 —— 回答再怎么飘,这几样必须一模一样
assert rec == [{"feature": "qa", "ok": True}] * 2
if __name__ == "__main__":
llm = DriftyLLM(seed=7) # ⚠️ 一个实例问 200 次;每次新建实例会拿到同一个种子
xs = {llm.answer("订单0", DOCS) for _ in range(200)}
print("同一个问题问 200 次,出现了 %d 种不同的回答" % len(xs))
实跑 pytest -q 输出 2 passed;直接 python 跑打印 同一个问题问 200 次,出现了 134 种不同的回答。
⭐ 这就是全部论点:同一个问题的 200 次回答里有 134 种不同文字,assert 相等 毫无活路 —— 而那四类断言 200 次全部成立,因为 check() 里没有一行提到具体措辞,它只问「形状对不对、有没有超出范围、不变量还成不成立」。
⚠️ 一个反直觉的补充:temperature=0 不代表输出确定。 它只是让采样取概率最高的 token,模型版本、浮点累加顺序、上游负载都可能让结果变化。「设成 0 了所以可以断言相等」是错的 —— 那只让它不那么容易变,而这更糟:测试会绿很久,然后在某个和你无关的日子里突然全红。
📸 四、⚠️ 对模型输出做快照测试,是个陷阱
快照测试(snapshot / golden file):第一次跑把输出存成文件,以后每次比对,不一样就红。测 UI 结构和序列化格式很好用,用在模型输出上则是本章最想拦住的一件事:
- ⭐ 它把「第一次跑出来的东西」当成了正确答案 —— 没人审过那段文字,一段 500 字的回答谁会逐句读?
temperature > 0时它每次都红,于是第二天起这个测试的日常就是--update-snapshots。- ⚠️ 就算
temperature=0它也会飘(见上一节):模型版本、模板改一个字、多召回一条都会 —— 一次改动几十个快照要更新,人只会闭着眼批准。
💀 最终形态最危险:快照被无脑更新,于是它从不失败,所有人却以为「输出是被测着的」—— ⭐ 这比根本没有测试更糟,因为它占着「已经测过」这个位置,让人不再去写上一节那四类断言。
⭐ 判据还是第一节那条:这段输出是不是只由输入决定? 是 → 快照很好用;不是 → 去写不变量。
✅ 所以快照该用在确定的那一侧:渲染出来的 prompt 模板(⭐ 最值 —— 提示词是最容易被人随手改一句、然后没人发现的东西)、API 响应的字段结构、SSE 帧的字节形状、03 章那个统一错误响应的 JSON。
🔺 五、测试金字塔在 AI 应用里不是金字塔
普通应用的金字塔「底宽顶窄」,理由只有一条:越靠上越慢。⭐ AI 应用给顶层又加了两条:每跑一次是真钱,而且它天生 flaky(同样输入不同输出 → 顶层断言先天不稳)。结论不是「顶层再收窄一点」:
⭐ 真上游那一层已经不该待在金字塔里了。它不是塔尖,是塔旁边单独立的一根旗杆 —— 它红了不许挡住任何人合并。
| 档 | 什么时候跑 | 里面有什么 | 真模型 | 允许它红 |
|---|---|---|---|---|
| ① 单元 | ⭐ 每次提交 | 纯函数、状态码、配额、成本、缓存 key、SSE 帧、租户句柄、重试白名单 | ❌ | ❌ 红了就是有 bug |
| ② 集成 | 每次提交(慢的挪到合并前) | 真数据库 + 假模型:登录 → 提问 → 落库 → 计费走一条链路 | ❌ | ❌ 同上 |
| ⭐ ③ 真上游冒烟 | 单独的、手动或定时触发的作业 | 3–5 个用例,只验「接得通、格式对得上、解析器吃得下」 | ✅ 花钱 | ⭐ 允许,不阻塞合并 |
⭐ 第三档为什么只验那三件事:它存在的唯一理由是回答假客户端永远回答不了的问题 —— 上游今天还长这个样子吗? 供应商改了字段名、改了错误码、废弃了一个参数,你的假客户端一无所知,因为它是照着你以为的样子写的。⚠️ 这是 FakeLLM 唯一的结构性缺陷,只能靠真调一次来补。
⭐ 一个测试要不要联真模型,问这一句:它红的时候,是我的代码错了,还是模型今天心情不好? 后者就不该进 CI —— 它红了没有人能修,而没人能修的红灯,一周之内会被所有人学会忽略。
🚧 六、和《模型上线之后》/ Evals 那几章的分界
| 一个用例红了,你的下一个动作是 | 那它属于 | 在哪 |
|---|---|---|
| 去改代码(少了个 fallback、字段名写错、租户条件漏了) | ⭐ 软件测试 | 本章 |
| 去改 prompt / 换模型 / 调评分器 | 效果评测(Evals) | 智能体 14 · 全景 11 |
| 去看线上分布变了没、要不要重训、AB 怎么切 | 上线之后的监控与实验 | 《模型上线之后》 |
⭐ 判据和 15 章第一节是同一条:看处置动作。 那一章用它划「服务健不健康 vs 模型准不准」,这一章用它划「代码对不对 vs 模型好不好」。⚠️ 15 章问过的那个交界例子 ——「模型没按格式返回 JSON」—— 在这里正好分成两半:代码因此抛异常、用户看到 500 → ⭐ 本章的活,你缺一个「解析失败就重试一次 / 降级成纯文本」的分支,而且这个分支必须有测试(用第二节 ScriptedLLM 那个形状把它点着);代码稳稳接住了、只是内容不够好 → 那是 Evals 的活。
⚠️⚠️ 别把它们放进同一个 CI 作业。 一旦混在一起,某天「模型今天不太行」会挡住所有人合并;两周之内团队一定会把整个作业设成允许失败 —— 于是真正的软件 bug 也一起被放过去了。这个演化几乎是必然的,和 15 章「告警噪声」是同一个机制。
📋 站内还有一条边界:16 章是手工体检单(上线前、人来做),本章是自动化测试(每次提交、机器做)。
它那些「怎么验证」有一半该被本章接管(A 的 token 请求 B 的资源 id → 404/403、同一个 Idempotency-Key 投三次账上一笔、造个 400 → 一次就进死信、超大 body → 413),另一半只能手工(手机流量看线上是不是逐字、手动触发告警确认手机响了、把备份真的恢复到临时库)。
⭐ 分界很干净:能在你自己的进程里重现的写成测试;必须离开你的进程才能验的,留在 16 章。
💸 七、CI 里怎么不烧钱:靠结构,不靠记性
规则很简单:默认全走假客户端,真实调用只在一个单独的、手动触发的作业里。 难的是「默认」怎么保证 —— ⚠️ 靠「大家记得设那个环境变量」是不行的,总有人新写一个测试忘了。两条结构性做法:① 让真实客户端在测试环境里根本构造不出来(缺条件当场抛);② 装一条断网闸。
# test_no_real_calls.py —— 让「不小心真调上游」在测试里变成【当场炸】
# pip install pytest ;⚠️ 这段用了 fixture,跑法是 pytest -q test_no_real_calls.py
import socket
import pytest
class NetworkBlocked(RuntimeError):
pass
@pytest.fixture(autouse=True) # ⭐ autouse:不用每个测试自己记得挂
def no_network(monkeypatch):
def deny(*a, **k):
raise NetworkBlocked("测试里不许联网 —— 你是不是漏了一个假客户端?")
monkeypatch.setattr(socket.socket, "connect", deny)
monkeypatch.setattr(socket.socket, "connect_ex", deny)
def test_a_missed_fake_blows_up_at_connect_time():
with pytest.raises(NetworkBlocked): # ⭐ 不管谁写的代码,走到这一步就红
socket.socket().connect(("example.com", 443))
实跑 pytest -q 输出 1 passed。⭐ 断网闸的回报比你想的大:它顺手还会抓到三类和模型无关的东西 —— 测试里偷偷连了真数据库、某个库 import 时去拉远端配置、埋点 SDK 在后台往外发,这三样都是「测试偶尔红一次,重跑就好」的常见来源。
那个真实调用的作业怎么设(🗓️ 各家 CI 语法不同,要看的是形状):单独一个 workflow,手动触发或每天定时一次 —— ⚠️ 绝不要挂在 PR 上,任何人开个 PR 就能花你的钱,而且 fork 的 PR 本来也拿不到 secret;
给它自己的 key 和日预算(12 章那三层护栏对它同样适用,⭐ CI 也是一个会失控的调用方);
⭐ 允许失败、不阻塞合并(它红了多半是上游在抖);
⭐ 它也要记账(04 章记账表的 feature 传成 ci_smoke —— ⚠️ 不记的话,某天成本涨了你会先去怀疑用户)。
🧭 八、Prompt 改动怎么评:从回归集到线上回滚
先看一次很像“进步”的失败。售后助手的 prompt v1 回答有点啰嗦。你把三个演示问题改成 v2,三个回答都更短、更像人话,于是准备上线。可生产里有一小类“已退款,但发票还要红冲”的问题:v1 会同时提醒退款与发票动作,v2 为了简短只说“退款已完成”。演示看起来更好,少见但高风险的类别却被悄悄改坏了。
⭐ 一个成功示例只能证明“这一次看起来不错”,不能证明改动稳定。要比较的是版本:固定同一批输入与上下文,让
prompt_v1和prompt_v2跑同一份回归集,再按风险切片看结果。
先别急着算总分:四层检查回答四个不同问题
模型输出不是只能“全对 / 全错”。把一次评测拆成四层,每层失败后的处置动作不同:
| 层 | 它回答什么 | 例子 | 失败后先做什么 |
|---|---|---|---|
| ① Schema / 契约断言 | 输出形状能不能被程序安全接住 | JSON 能解析;必需字段齐;枚举值合法;引用 id 都来自本次提供的文档 | 修解析、约束输出或降级分支;这一层是确定性检查 |
| ② 任务专用的确定性检查 | 能精确核对的业务事实对不对 | 金额相加正确;日期没有越界;“已退款且需红冲”同时包含两个必需动作 | 修 prompt、规则或任务实现;不能让模糊评分器替它放行 |
| ③ 语义量表评分 | 没有唯一措辞时,回答质量是否达到标准 | 完整性、证据一致性、可执行性分别按可见量表评分 | 查看具体扣分项与分歧样本,而不是只看一个“像不像好答案”的总分 |
| ④ 生产 / 业务结果 | 真实用户是否真的得到更好结果 | 一次解决率、转人工率、投诉或纠错率,以及延迟和成本 | 看线上分布、漂移和发布版本;必要时回滚 |
⭐ 前一层过了,不代表后一层也过。JSON 完全合法,内容仍可能漏掉发票动作;离线评分更高,线上转人工率仍可能上升。反过来也不行:生产指标暂时没变,不能替代“引用必须来自给定上下文”这种安全契约。
回归集也要有版本:四类样本缺一不可
把评测样本当成代码依赖,而不是聊天记录文件夹。一次比较至少要记下 prompt_version、model_version 和 regression_set_version;样本还要有稳定 id、所属切片、冻结的输入与上下文、预期契约、评分量表和风险等级。这样“v2 比 v1 好”才是一句能复查的话。
| 样本类型 | 它防什么 | 售后助手例子 |
|---|---|---|
| 普通样本 | 主流程被改坏 | 查询退款进度、查询发票状态 |
| 边界样本 | 临界值、空值和组合条件被漏掉 | 退款刚完成但发票状态尚未同步 |
| 对抗样本 | 输入诱导模型越权或忽略约束 | 要求跳过身份核验、编造内部处理记录 |
| ⭐ 历史失败样本 | 已经修过的事故再次出现 | “已退款但需红冲”曾漏掉发票动作,修复后永久留在回归集 |
新增一类真实失败,就给它稳定样本 id、标出来源和风险,再把回归集从例如 refund-reg-v7 升到 refund-reg-v8。⚠️ 不要只把“这次答得好”的一个问题塞进 prompt 当示例:它既没有覆盖相邻边界,也没有告诉你别的切片是否退化。
LLM-as-Judge 能帮忙,但它不是裁判席上的真相
语义没有唯一答案时,可以让模型按量表辅助评分,这叫 LLM-as-Judge。关键不是“再问一个更强模型哪个好”,而是让评分依据可见、可复查:
| 量表项 | 0 分 | 1 分 | 2 分 | 证据边界 |
|---|---|---|---|---|
| 完整性 | 漏掉关键动作 | 动作齐但条件不清 | 动作与触发条件都齐 | 只对照任务要求和经人工审核、带版本的参考答案要点 |
| 证据一致性 | 结论与给定资料冲突或编造 | 结论可支持但引用不清 | 每个关键结论都能回指给定资料 | 只用本题提供的上下文;评分器自己的常识不能补证据 |
| 可执行性 | 用户不知道下一步做什么 | 给出动作但缺对象或顺序 | 动作、对象和顺序清楚 | 不把“写得长”或“语气自信”当成质量 |
⚠️ 评分模型也会偏。候选答案先后顺序可能造成位置偏差,更长的答案可能得到长度偏差,流畅礼貌的措辞可能得到风格偏差;同一模型还可能偏爱和自己写法相似的答案。可做的防护包括:隐藏版本名、交换 A/B 顺序再评一次、明确“长度和语气不单独加分”、保留逐项分数与引用证据。
当两次换序评分不一致、两个评分器分歧,或量表分数与确定性检查冲突时,不要取平均把分歧抹掉:把样本送人工复核并记录最终判定。涉及退款、医疗、法律、安全或权限等高风险决定,人工复核是必选项,不能由 Judge 单独放行。
⭐ 只评最终答案和可核验的证据。你看不到模型的隐藏推理;模型展示出来的“思考过程”也只是生成文本,不是事实真值。不要要求或保存隐藏思维链来证明答案正确,更不能把写得像推理的文字当成正确性标签。
完整算一次:80% 的总分怎样藏住 0% 的关键切片
假设 prompt_v2 在同一份 10 题回归集上得到下面结果。每题必须先通过契约与任务检查,再按量表达到门槛,才算“通过”:
| 切片 | 通过 / 总数 | 通过率 | 读法 |
|---|---|---|---|
| 普通 | 6 / 6 | 100% | 演示里最常见的路径全过 |
| 边界 | 1 / 1 | 100% | 一个边界样本通过 |
| 对抗 | 1 / 1 | 100% | 一个对抗样本通过 |
| ⭐ 关键历史失败:已退款但需红冲 | 0 / 2 | 0% | 两个都漏掉发票动作 |
现在逐步计算总通过率:总通过数是 6 + 1 + 1 + 0 = 8,总样本数是 6 + 1 + 1 + 2 = 10,所以
$$\text{总通过率}=\frac{8}{10}=0.80=80\%$$
只设“总通过率至少 80%”时,这个版本会被放行;但关键切片是 0 / 2 = 0%,上线就会重演事故。⭐ 正确结论不是“v2 达到 80%,可以上线”,而是“总体达线,关键切片未达线,禁止上线”。
⚠️ 两个关键样本仍然很少,它们只能证明“已发现明确退化”,不能证明未来通过率恰好是多少。发布门槛应同时写总门槛和关键切片门槛;高风险切片可以要求零已知失败,并由人工复核。
置信度要校准:说“90%”不等于真的有九成对
校准(calibration)问的不是模型“心里怎么想”,而是:它报出的置信度,和之后观察到的正确率是否相符。把置信度落在同一区间的样本放成一组,再比较这组的平均置信度与实际正确率。
例如有 10 个样本都声明 confidence = 0.90,人工按可见证据核对后只有 6 个正确。实际正确率是 6 / 10 = 0.60。用一个简单差值观察这组:
$$\text{校准差}=|\text{平均声明置信度}-\text{观察正确率}|=|0.90-0.60|=0.30$$
0.30 就是 30 个百分点:这组输出明显过度自信。这里“平均声明置信度”是这 10 个输出报告的平均值,“观察正确率”是按预先写好的标准核对后正确的比例。⚠️ 10 个样本只够教学演示;生产判断要更多样本,并按任务与风险切片分别看。
⭐ 校准良好也不等于答案一定正确,更不等于安全。它只表示“报 90% 的一组,长期大约有九成正确”。高风险动作仍要契约、权限和人工门槛;也不要用一段展示出来的思维链代替正确标签。
上线不是评测结束:把失败送回下一版回归集
- 发布时写全版本身份:至少记录
prompt_version、model_version、regression_set_version和代码版本;有检索时再记录索引或知识库版本。否则线上坏样本无法重放。 - 按切片抽样复核:随机样本看总体,高风险与低频切片要额外抽样;只随机抽很容易永远抽不到“已退款但需红冲”。
- 看漂移与业务结果:比较各切片占比、失败率、校准差、转人工率和投诉率。输入类别变了叫分布漂移,不能把它误判成代码突然坏了。
- 发布前写回滚条件:例如“任一关键样本失败”“关键切片低于既定门槛”“Schema 失败率或转人工率超过基线容忍范围”。阈值要由业务风险决定,不能上线后看着曲线临时解释。
- 触发就回滚并留样:先退回已知可用的 prompt / 模型组合,再把已确认的失败匿名化、补充人工标签,加入“历史失败”切片并升级回归集版本。
⭐ 闭环是:版本化改动 → 同集对比 → 分切片门禁 → 小流量上线 → 抽样与漂移监控 → 达到预写条件就回滚 → 失败样本进入下一版回归集。线上反馈不是替代离线评测,而是给下一轮评测补上现实里才会出现的样本。
🔄 换个栈怎么对应
| 概念 | Python(pytest,本板块主栈) | Node(Jest / Vitest) | Go(testing) |
|---|---|---|---|
| 一个用例多组输入 | @pytest.mark.parametrize |
test.each |
⭐ 表驱动:自己 for _, tc := range tests |
| ⭐ 替身注入 | dependency_overrides / 直接传参 |
vi.mock / 手动注入 |
⭐ 定义 interface,测试传假实现 |
| 冻结时间与随机数 | ⭐ 把 sleep / rng 写成参数 |
vi.useFakeTimers() |
传一个 clock 接口进去 |
| 断网 | monkeypatch socket.socket.connect |
nock.disableNetConnect() |
自定义 http.RoundTripper |
| 只在某些时候跑 | 打标记 + -m "not costly" |
test.skipIf / 分组 |
testing.Short() + go test -short |
| 快照 | 靠第三方插件 | ⚠️ 内置 toMatchSnapshot() |
无内置,golden file 手写 |
⭐ 这张表要看出的是:「替身注入」在三个栈里长得完全不同(override / mock / interface),但它是同一件事 —— 把不确定的那一格换成可控的。而 ⭐ 越是没有魔法的那一栏越不容易骗自己:第四节那个「快照被无脑更新」的坑,在有内置快照的栈里发生得最频繁。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 04 · 调用层 | ⭐ 本章的接缝全在那一章:FakeLLM 的三个用途、call_with_retry(sleep=, rng=) 那两个参数;缓存判据和重试白名单也在那里,本章只当被测对象,不重讲 |
| 08 · 认证会话与多租户 | ⭐ 站里已有的「确定的那部分」最佳范例:毒丸测试(每张租户表断言「换个租户查出 0 行」,按表自动生成) |
| 15 · 可观测性 | 那一章解决「不确定性」的复现那一半,本章解决测试那一半;共用同一条判据:看处置动作 |
| 16 · 上线前检查单 | ⭐ 那是手工体检单,本章是自动化测试。第六节列了哪些条目该被本章接管、哪些只能手工 |
| 17 · 实战与挑战项目 | ⭐ 项目 ② 验收里那条「A 上传的文档 B 绝不会检索到 —— 要写一个自动化测试反复跑,不能靠人工点」就是本章的活 |
| 《模型上线之后》 | ⭐ 那一套管「模型准不准」(离线好不等于线上好、漂移、AB、重训),本章管「你的代码对不对」 |
| 智能体工程 14 · 评测 Evals | ⭐ 那是评 Agent 效果不是软件测试:三类评分器、pass@k vs pass^k、不强制唯一解法,同时验权限与副作用约束。改 prompt 用它,改代码用本章 |
✅ 检查点
- 「模型每次输出都不一样,所以没法测」错在哪?判据是哪一句?除了模型,还有哪三个来源会让输出不由输入决定?
- 04 章重试器的签名里为什么要有
sleep和rng?写死成time.sleep()会有哪三个后果? - 测「不该重试的错」时,只写
pytest.raises(BadRequest)为什么不够? - 对不确定输出能断言的四类是什么?哪一类最能抓事故、哪一类最容易被忘?
- 为什么「
temperature=0所以可以断言相等」是错的?快照测试为什么最终比没有测试更糟? - 第三档「真上游冒烟」为什么只验那三件事、又为什么不许挡住合并?
- 本章、Evals、《模型上线之后》怎么分?为什么绝不能塞进同一个 CI 作业?
- CI 里不烧钱的两条结构性做法是什么?真实调用的作业为什么不能挂 PR 上、为什么也要记账?
- 评测 prompt 改动时,四层检查分别回答什么?为什么 Schema 通过不能证明内容正确?
- 版本化回归集为什么至少要有普通、边界、对抗和历史失败四类样本?
- LLM-as-Judge 常见的三种偏差是什么?评分分歧和高风险样本分别怎么处理?
- 10 个样本通过 8 个时,为什么不能只写“80% 通过”?本章例子的关键切片结果是多少?
- 校准在比较哪两个量?10 个都报 90% 置信度、实际只对 6 个时,校准差是多少?
- 生产跟进闭环要记录哪些版本身份,什么条件应该在上线前写好?
👀 答案
- 错在把一格的性质推给了整栋楼。判据 「这段代码的输出,是不是只由它的输入决定?」 另外三个来源是时间、随机数、外部网络,症状是「测试偶尔红一次,重跑就好」。
- 因为它们是这个函数可不可测的分界线:① 一个「重试三次」的用例要真睡 3.5 秒;② 退避序列藏在函数肚子里断言不出来;③ 全抖动让「等了多久」每次都不同 —— 本章传「取上界」,于是断言得出
[0.5, 1.0, 2.0]。 - 因为把 400 也重试四遍的实现同样会抛
BadRequest。还要断言llm.calls == 1—— 除了断言「发生了什么」,还要断言「调了几次」,多调一次在线上是多付一次钱。 - 结构 / 范围 / 不变量 / 确定的那部分。不变量最能抓事故(编来源在页面上就是点不开的引用链接,在代码里是一行
set(cites) <= set(doc_ids));确定的那部分最容易被忘(记账条数、feature、状态流转)。 temperature=0只是取概率最高的 token,模型版本、浮点累加顺序、上游负载都会让结果变,于是测试会绿很久然后某天突然全红。快照更糟是因为被无脑更新后它从不失败,却占着「已经测过」这个位置。- 因为它唯一的理由是回答假客户端答不了的问题:上游今天还长这个样子吗。不许挡合并,是因为它每跑一次真花钱且天生 flaky;判据 「它红的时候,是我的代码错了,还是模型今天心情不好?」
- 看处置动作:改代码 → 本章;改 prompt / 换模型 → Evals;看漂移 / 重训 / AB → 《模型上线之后》。⚠️ 混在一起,两周内团队会把作业设成允许失败 —— 真正的软件 bug 也一起被放过去了。
- ① 真实客户端在测试环境里根本构造不出来;② 断网闸。不挂 PR 是因为 ⚠️ 任何人开个 PR 就能花你的钱,fork 的 PR 也拿不到 secret;要记账(
feature传ci_smoke)是因为 不记的话某天成本涨了,你会先去怀疑用户。 - ① Schema / 契约断言检查程序能否安全接住;② 任务专用确定性检查核对可精确判断的业务事实;③ 语义量表判断没有唯一措辞时的质量;④ 生产 / 业务结果看真实用户与成本。Schema 合法只证明形状合法,完全可能漏掉“发票红冲”这个关键动作。
- 普通样本守主流程,边界样本守临界和组合条件,对抗样本守权限与约束,历史失败样本防已经修过的事故复发。一个成功示例只证明那一次,不证明其他切片稳定。
- 位置、长度、风格偏差(同一模型还可能偏爱和自己相似的写法)。换序仍分歧或评分器不一致就送人工复核,不能平均抹掉;退款、医疗、法律、安全、权限等高风险样本必须人工复核。
- 必须同时报告各切片。例子里总计
8 / 10 = 80%,但关键历史失败切片0 / 2 = 0%,所以应阻止上线,而不是被总平均放行。 - 比较平均声明置信度与观察正确率。本例观察正确率
6 / 10 = 0.60,所以|0.90 - 0.60| = 0.30,即相差 30 个百分点,表现为过度自信。 - 至少记录 prompt、model、regression set 和代码版本,有检索时再记索引 / 知识库版本。关键切片失败、Schema 失败或业务指标超过容忍范围等回滚条件必须上线前写好;触发后回滚,并把确认的失败加入下一版回归集。
本节回顾
⚡ 走神救援
⭐ 核心命题:把系统切成「确定的」和「不确定的」两部分,分别用不同办法测。
路由、扣配额、成本、缓存 key、租户过滤、SSE 帧、队列幂等、重试白名单全是确定的,⭐ 真正不确定的只有模型返回的那段文字——别把一格的性质推给整栋楼。
⭐ 第一个坑不是模型,是时间:把 sleep 和随机数变成参数,是这个函数可不可测的分界线——否则一个「重试三次」的用例要真睡几秒,而且退避序列根本断言不出来。
⚠️⚠️ 测「不该重试的错」只写
raises不够——把 400 重试四遍照样变绿。必须再断言调用次数:⭐ 除了断言「发生了什么」,还要断言「调了几次」。对不确定输出能断言四类:结构、范围、⭐ 不变量(引用的来源必须都在检索结果里)、⭐ 确定的那部分(记账条数、状态流转)。实测同一个问题问几百次会出现上百种不同回答——断言相等毫无活路,而这四类全过。
⚠️
temperature=0不代表输出确定,这个错更糟:测试会绿很久,然后某天突然全红。⚠️ 快照测试是陷阱——💀 被无脑更新之后它从此不会失败,比没有测试更糟,因为它占着「已经测过」这个位置。⭐ 判据一句话:它红的时候,是我的代码错了,还是模型今天心情不好? 改代码归本章、改 prompt 归 Evals、看漂移归上线之后。
⭐ 改 prompt 时别只看几个演示:固定 prompt / model / regression set 版本,用普通、边界、对抗、历史失败四类样本同集对比;同时看契约、确定性任务、语义量表和生产结果四层。总计 8 / 10 = 80% 也可能藏着关键切片 0 / 2 = 0%,关键切片不过就不能上线。
⚠️ LLM-as-Judge 要有可见量表、给定上下文边界和人工复核;它会受顺序、长度、风格影响。只评最终答案和可核验证据,展示出来的思维链不是事实真值。上线后记录版本、分切片抽样、看漂移,触发预写条件就回滚,再把失败加入下一版回归集。
下一节 👉 16-上线前检查单.md