怎样搭一个可信的 Agent 评测?
- 用评分器判产出
- 用终态和过程核任务
- 用转录与指标找失败
一句话 可信评测用可复现的任务,按终态与过程约束判分。
读完会做:写评分条件,检查任务终态。
前置知识:工具调用与调用日志。
📑 本页目录(点开跳转)
14 · 评测 Evals
⏱ 阅读参考约 40 分钟 · 动手实践另计;可分段完成
🎯 一句话
把任务和判分条件固定下来,优化时就有一把可以反复使用的尺。
一、评测怎样发现退化
有评测:发布前自动测数百个场景,每次改动都有数字。
尽早评测。 早期需求可转成测试,系统复杂后补判分规则更难。
🧪 二、三类评分器
| 类型 | 方法 | 优点 | 缺点 |
|---|---|---|---|
| 代码评分器 | 字符串匹配、fail-to-pass 测试、静态分析、状态校验 | 快、便宜、客观、可复现 | 对合理变体脆弱、缺乏细腻度 |
| 模型评分器 | rubric 打分、自然语言断言、两两比较、多评委共识 | 灵活、可扩展、能处理开放式输出 | 非确定性、更贵、需对照人类专家校准 ⭐ |
| 人工评分器 | 专家审查、抽检、A/B | 金标准,用来校准模型评分器 | 贵、慢 |
单元测试管正确性,模型评委用 rubric 管质量,按需加人工抽检。
三、搭建评测
第 0 步:尽早开始
| 怎么办 | 依据 |
|---|---|
| 从真实失败起步 | 用 20–50 个简单任务先建立开发集。 |
| 报告开发信号 | 若通过率从 30% 到 80%,小样本有机会发现这种明显变化。仍报告样本数、不确定性和保留集。 |
第 1 步:把手动测试自动化
从你每次发布前人工核对的行为入手。bug 单和客服队列是现成的任务来源。
第 2 步:写无歧义的任务 + 参考解
| 检查 | 判断 |
|---|---|
| 可解且能同判 | 两位独立专家都能完成,并独立得出相同的通过或失败判定。 |
| 出现 0/100 | 排查任务、评分器和环境,也可能是模型能力不足。零成功无法确认根因。 |
参考解的两个作用:证明任务可解、验证评分器配置正确。
第 3 步:平衡的问题集
| 维度 | 如何组题 |
|---|---|
| 正反面 | 同测该检索时漏搜和无需检索时乱搜。只测前者会推动模型什么都搜。 |
| 任务类别 | 按相关任务分布安排各类比例,避免单类覆盖失衡。 |
某搜索评测曾在漏搜和乱搜两侧反复调了多轮才达到平衡。
第 4 步:稳健的 harness 与干净环境
| 检查 | 原因 |
|---|---|
| 每次重置干净初态 | 残留文件、缓存与资源耗尽会产生与 Agent 表现无关的相关性失败。 |
| 隔离答案来源 | 例如清理 Agent 可见的历史记录,避免它从 Git 历史取答案。 |
第 5 步:设计好评分器
评产出,允许多条合法路径。 权限、审批、预算、敏感数据流向和副作用次数都要检查;越权和重复写入仍判过程失败。
Agent 可能找到更有效的顺序。把评分绑定到一条参考路径会错判这样的解。
其他要点:
| 要点 | 说明 |
|---|---|
| 支持部分得分 | 「识别对问题但退款失败」应该显著高于「完全失败」 |
| LLM 评委用结构化 rubric | 分维度打分,不要笼统给一个数 |
| 定期人工校验 | 抽 10 个案例人工核对评委判得对不对 |
第 6 步:读转录
| 检查对象 | 读什么 |
|---|---|
| 判分 | 评分器判对了吗? |
| 失败 | 在哪一步失败?理解错还是执行错? |
| 疑似蒙对 | 结果对时,过程是否仍不合理? |
| 合法绕路 | 多走几步仍然做对时,评分器是否应该接受? |
| 反复出错 | 同类错误反复出现时,优先修系统性问题。 |
第 7 步:监控饱和
| 信号 | 动作 |
|---|---|
| 旧能力用例饱和 | 例如某基准一年内从 30% 到 80%+,高通过率减弱改进信号;把已能稳定完成的旧用例移入回归套件。 |
| 剩余题太难 | 长任务收益可能只带来少量分数增长。补能捕捉真实进展、更难的能力用例。 |
曾有团队补了长任务评测后,才观察到原基准漏掉的收益。
第 8 步:长期维护
专职团队管基础设施,领域专家和产品团队贡献任务。 可以实践「评测驱动开发」——先建低通过率的能力评测,再驱动改进。
📊 四、两个一致性指标
| 指标 | 含义 | 随 k 变化 | 该用在哪 |
|---|---|---|---|
| pass@k | k 次尝试至少一次成功 | 上升 | 「一次成功就够」的工具(如代码补全,人会挑) |
| pass^k | k 次全部成功 | 下降 | 要求稳定一致的面向客户 Agent ⭐ |
具体感受一下:
| 指标 | 每次成功率 75%,各次独立 |
|---|---|
| pass@3 | 至少一次成功。1 − 0.25³ = 98.4%。 |
| pass^3 | 全部成功。0.75³ = 42.2%。 |
面向客户且要求稳定时,应核多次全过的 pass^k。
五、评测怎样失真
① 基础设施噪声
| 对象 | 怎么判 |
|---|---|
| 基础设施噪声 | 某编码基准仅资源配置差异就有 6 个百分点的分差。安装依赖的代价随配置改变,API 延迟、集群健康和并发也会影响运行。 |
| 配置不明的小分差 | 例如相差 3 个百分点,先查运行配置和样本;这样的小差距既可能来自模型,也可能源于虚拟机资源。3 个点不是通用显著性门槛。 |
② 评测会被模型追上
某性能工程招聘测试被模型连续击穿三个版本,最终不得不从 「模拟真实工作」转向「模拟新颖工作」(分布外的问题空间)。
教训:AI 在有大量训练资料的问题上表现最好;不限时条件下人类专家仍占优。
③ 自动评估发现不了的问题
| 看到什么 | 例子 |
|---|---|
| 自动检查全绿 | 多 Agent 研究系统仍可能持续采用低质量来源。 |
| 人工检查来源 | 读转录发现系统偏好 SEO 内容农场。后来用来源质量启发式修复这一案例。 |
六、公开基准的判分与盲区
公开基准帮助选型,自建评测判断业务适配。 先对照每项基准的任务、判分和盲区。
| 基准 | 形态 | 测的是什么 | ⚠️ 测不到什么 |
|---|---|---|---|
| SWE-bench | 真实 GitHub issue + 仓库快照,改完跑 fail-to-pass 测试 | 在真实代码库里定位并修复问题 | 原始 SWE-bench / Verified 以 Python 开源仓库为主,不能泛化到所有后续版本;测试通过 ≠ 改法合理。⭐ 一个分数值不值得信(数据污染 / 饱和 / 报告条件不对等,以及「100 题只能分辨 8 个百分点」那个能自己算的置信区间)在《大模型全景导论》11 章 |
| SWE-bench Verified | 上面的人工核验子集(500 题) | 同上,但去掉了描述不清、测试本身有问题的脏题 | 同上。⭐ 看到「SWE-bench」三个字先问是哪一版——不同版本的分数不可直接比 |
| τ-bench | 客服场景(零售 / 航司),用户由另一个模型扮演,Agent 带一套业务工具 | 多轮对话中守规则、用对工具、把数据库改成正确的最终状态 | 模拟用户比真人礼貌太多;规则集是人工写的、比真实业务简单。⭐ 它的最大贡献是把 pass^k 摆上了台面(见第四节) |
| GAIA | 现实世界的助理问题,分三级难度,答案是唯一的短字符串 | 多工具协作:浏览 + 读文件 + 多模态 + 多步推理 | 答案唯一才好判,所以天然排除了开放式任务;且网页会变,跑分随时间漂 |
| WebArena | 一组自建可复现的网站(论坛 / 购物 / 代码托管等)里的浏览器任务 | 端到端操作网页,用程序检查最终状态(订单建没建、帖子发没发) | 站点是仿真的,没有真实网站的反爬、弹窗、A/B 改版 |
| OSWorld | 真实操作系统里的桌面任务,跨多个应用 | 跨应用操作,用校验脚本检查最终状态 | 环境重,跑一遍很贵;任务分布是研究者挑的,不是你用户的 |
| BFCL | 按版本包含单轮、多步、多轮及 Agent 场景 | 单次工具调用的格式和参数对不对 | 不能概括为只测单次参数。BFCL V3 加入多轮多步,V4 扩展 Agent 评估;引用成绩要注明版本和类别,仍不能替代自己的业务验收 |
归档任务怎样判完成?
“已完成”是结束信号。订单文件有没有归档,要由评分器检查文件。沿用参考解和干净环境:每次都新建临时目录,执行一次正确移动作参考,再用同一组规则判其他轨迹。
终态合格且过程合规,才判通过。 终态(terminal state)是停止时环境的实际状态。判定由测试运行器读取文件和调用转录,不取 Agent 对自己的评价。
| 判定项 | 通过条件 |
|---|---|
终态 state_ok | 源文件 in/orders.csv 消失,archive/orders.csv 与原订单字节相同,保留文件 keep.txt 内容不变,三项都要满足。 |
过程 process_ok | 最多 2 次工具调用,失败也计数。只许查看源或归档文件,或把源文件移到归档位置。为了单独测试文件缺失,也预许将始终不存在的 in/missing.csv 移向归档位置。查看 keep.txt 超出任务权限。 |
手算时从结束的环境里核三项终态条件,再过一遍调用清单核权限与次数。过程约束限定权限和预算,允许不同合法步骤。例如一次移动就够,先查看再移动也在预算内。
| 发起动作 | 工具观察 | 停止原因 | 终态 | 过程 | 判分 |
|---|---|---|---|---|---|
| 移动订单 | 报告成功 | 移动后主动结束 | ✓/✓/✓ | 1 次,合规 | 通过 |
| 移动缺失文件 | 文件不存在 | 遇错后主动结束 | ✗/✗/✓ | 1 次,合规 | 失败 |
| 连续查看源文件 | 两次都读到订单 | 预算耗尽 | ✗/✗/✓ | 2 次,合规 | 失败 |
| 只发“已完成” | 无工具观察 | 发出结束信号 | ✗/✗/✓ | 0 次,合规 | 失败 |
四条固定轨迹 1/4 通过,生产成功率须在目标业务分布上另测。 算法是将两列同时满足的条数(1)除以参评轨迹数(4)。本次运行仅校验本地夹具的判分。
| 注入问题 | 终态 | 过程 | 判分 |
|---|---|---|---|
| 移动工具误作复制,仍报告成功 | 不合格,源仍在 | 合规,发起的移动在许可内 | 失败 |
| 先查看夹具内的保留文件,再正确移动 | 合格,三项都满足 | 违规,第一次查看超权限 | 失败 |
用 Python 重跑轨迹与故障断言
示例只使用 Python 标准库,实跑于 Python 3.14.7。run_case 重置固定夹具,将每次尝试的操作、权限、观察和工具错误写入转录,再分别计算两列。越权查看由指定的故障轨迹模拟;它只接触临时目录里的保留文件。真实系统还需要在工具层阻止越权调用。运行器会在执行第三次工具调用之前报错;两次调用后没有结束信号,记录为预算耗尽。
from pathlib import Path
from shutil import copyfile
from tempfile import TemporaryDirectory
SOURCE, TARGET = "in/orders.csv", "archive/orders.csv"
MISSING, KEEP = "in/missing.csv", "keep.txt"
ORDERS = b"id,amount\n1,100\n"
KEEP_BYTES = b"preserve\n"
BUDGET = 2
ALLOWED = {
("view", SOURCE), ("view", TARGET),
("move", SOURCE, TARGET), ("move", MISSING, TARGET),
}
FIXTURE_PATHS = {SOURCE, TARGET, MISSING, KEEP}
def run_case(actions, *, broken_move=False):
# 只重放固定轨迹;轨迹由测试运行器记录。
with TemporaryDirectory(prefix="eval-archive-") as directory:
root = Path(directory)
(root / "in").mkdir()
(root / "archive").mkdir()
(root / SOURCE).write_bytes(ORDERS)
(root / KEEP).write_bytes(KEEP_BYTES)
trace = []
stop = None
for action in actions:
operation, *paths = action
if operation == "finish":
stop = paths[0]
break
assert all(path in FIXTURE_PATHS for path in paths)
if len(trace) == BUDGET:
raise ValueError("固定轨迹不能超过两次工具操作")
permitted = action in ALLOWED
try:
if operation == "view":
observation = f"读到 {len((root / paths[0]).read_bytes())} 字节"
elif operation == "move":
source, target = (root / path for path in paths)
if broken_move:
copyfile(source, target)
else:
source.rename(target)
observation = "工具报告成功"
else:
raise ValueError(f"未知操作:{operation}")
error = False
except FileNotFoundError:
observation, error = "文件不存在", True
trace.append((action, permitted, observation, error))
if stop is None:
if len(trace) != BUDGET:
raise ValueError("固定轨迹须发出结束信号或用尽预算")
stop = "预算耗尽"
source_gone = not (root / SOURCE).exists()
target_matches = (root / TARGET).is_file() and (root / TARGET).read_bytes() == ORDERS
keep_unchanged = (root / KEEP).is_file() and (root / KEEP).read_bytes() == KEEP_BYTES
state = (source_gone, target_matches, keep_unchanged)
state_ok = all(state)
process_ok = len(trace) <= BUDGET and all(event[1] for event in trace)
return state, state_ok, process_ok, state_ok and process_ok, trace, stop
cases = (
("移动后主动结束", (("move", SOURCE, TARGET), ("finish", "移动后主动结束"))),
("遇错后主动结束", (("move", MISSING, TARGET), ("finish", "遇错后主动结束"))),
("预算耗尽", (("view", SOURCE), ("view", SOURCE))),
("发出结束信号", (("finish", "发出结束信号"),)),
)
expected = (
((True, True, True), True, True, True),
((False, False, True), False, True, False),
((False, False, True), False, True, False),
((False, False, True), False, True, False),
)
passed_count = 0
for (stop, actions), outcome in zip(cases, expected, strict=True):
result = run_case(actions)
assert result[:4] == outcome and result[5] == stop, (stop, result)
assert sum(event[3] for event in result[4]) == int(stop == cases[1][0])
print(stop, result[:4], result[4])
passed_count += result[3]
assert (passed_count, len(cases)) == (1, 4)
print(f"固定四条轨迹:{passed_count}/{len(cases)}")
# 故障注入属于额外断言,独立重置初态。
copied = run_case((("move", SOURCE, TARGET), ("finish", "工具报告成功后结束")), broken_move=True)
assert copied[:4] == ((False, True, True), False, True, False)
assert not copied[4][0][3]
print("注入:复制后源仍在", copied[:4], copied[4])
overreach = run_case((("view", KEEP), ("move", SOURCE, TARGET)))
assert overreach[:4] == ((True, True, True), True, False, False)
assert overreach[4][0][1] is False and not overreach[4][0][3]
print("注入:越权查看后归档", overreach[:4], overreach[4])固定四条轨迹输出 1/4;两条额外断言分别得到“终态失败、过程合规”和“终态合格、过程违规”。
试判:先看订单,再移动,两个条件都满足吗?
满足。查看源文件和将它移到归档位置都在许可内,恰好使用两次操作。如果移动后源消失、归档字节一致且保留文件不变,就通过。对照“连续查看”一行,两条轨迹的过程都合规,终态不同。
这些基准的四个共同盲区
| 盲区 | 上线前要核对 |
|---|---|
| 任务分布 | 基准任务未必含你的业务规则、话术和少见边界。 |
| 环境简化 | 仿真站点可能没有反爬和改版,模拟用户的措辞与真人不同。 |
| 训练污染 | 公开越久越可能进入训练数据,旧分数更容易趋于饱和。 |
| 只报总分 | 分类看结果,找出汇总值掩盖的用户群失败。 |
⭐ 那读基准的正确姿势是什么
只有两个用途:
| 用途 | 怎么用 |
|---|---|
| 粗筛模型代际 | 判断「这一代能不能干这类活」够用了。⚠️ 但记住第五节那条:配置未说明的小差距暂不能据此排序;没有通用的“3 个百分点”显著性门槛 |
| ⭐ 抄它的评测形态 | 这才是最有价值的一条 —— 基准的分数会过期,它的判分手法不会 |
三个可以直接搬进自建评测的手法:
- τ-bench 的
pass^k—— 面向客户的 Agent 必须看它(第四节) - WebArena / OSWorld 的状态校验 —— 不看 Agent 说了什么,只看世界被改成了什么样。 这正是第 5 步「评产出,不强制唯一解题路径」最干净的实现方式
- GAIA 的唯一短答案 —— 把开放问题改造成能被精确匹配的形式,代码评分器就能接管
公开基准用于粗筛,业务验收可从自有的 20–50 个真实任务起步,另报覆盖范围和不确定性。
🔨 七、动手:建你的第一个评测套件
| 步骤 | 做什么 | 时间 |
|---|---|---|
| 1 | 翻 bug 单/用户反馈,挑 20 个真实失败场景 | 60 min |
| 2 | 每个写成无歧义任务 + 参考解(过"两人同判"质量关) | 90 min |
| 3 | 先只用代码评分器(能自动判的部分) | 60 min |
| 4 | 跑 5 次试验,读完所有转录 ⭐ | 60 min |
| 5 | 找出评分器判错的案例——这些才是你真正要修的 | 45 min |
读转录来验证评分器。 找出判错的案例再修。
🕳️ 八、八个常见坑
| 坑 | 症状 | 修 |
|---|---|---|
| 等稳定了再建评测 | 越晚越难建 | 20 个任务就能开始 |
| 评分器检查工具调用顺序 ⭐ | 惩罚 Agent 发现的更优路径 | 同时验收产出和必要过程约束,不强制无关的工具顺序 |
| 只测正例 | 模型学成"什么都做" | 正反两面都要有 |
| 不读转录 | 评分器有 bug 而不自知 | 每轮读一批 |
| 环境不干净 | 出现与模型无关的失败 | 每次试验重置状态 |
| 看错一致性指标 | 面向客户却只看 pass@k | 稳定性要求高就看 pass^k |
| 信 3 个点以内的差距 | 被基础设施噪声骗 | 多次运行看方差 |
| 拿公开基准当验收标准 ⭐ | 榜上分很高,你的用户还是天天投诉 | 基准只用来粗筛模型代际和抄判分手法;能不能上线由你自己那 20–50 个真实任务决定 |
📚 延伸阅读
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 数据这一关 13 · 评测集也是数据 | 这四处讲的是各自场景怎么评测;评测集本身怎么造、多大够、有没有被污染、评分器准不准、结果该怎么报 在那一章 ⭐ |
16b · 框架这层皮 对应 Ragas / promptfoo / DeepEval。审核器本身也需要评测,见 16c · 接进真实产品。
分数之外,先验收题集
14b · 数据集泄漏检查与冻结验收 检查跨集合题目、来源簇和输入文件哈希。公开冻结题仍是公开题,近似匹配只能提示人工复查;不修改原答案来消除告警,也不据此报告模型正确率。
比较同一批题,保留切片与失败
14c · 评测切片与成对比较 固定题集和语料,对照上下文预算。失败留在分母,多次运行先按题聚合,再观察各类问题和来源簇的变化。公开小集合上的检索差异与重采样区间,不代表模型生成质量或在线业务收益。
把真实模型运行与回答验收分开记录
14d · 真实模型问答与逐题验收 从模型加载、固定协议、原始回答到逐题复核,保留实际失败。接口能返回内容,不代表事实和引用已经通过人工验收。
固定待复核命题,保留分歧与未完成
14e · 答案复核与分歧处理 检查命题覆盖、答案版本绑定和多人意见分歧。
先让一道开发题完整回答
14f · 生成环境预检与失败续跑 区分元数据可读、模型实际加载与完整答题;更换配置另存记录,最终答案、机器参考检查和真人复核分开看。
本次核查依据(2026-10-20):τ-bench;BFCL 多轮类别。机制说明与本页教学运行分别验收。
✅ 检查点
- 没有评测的团队会陷入什么循环?为什么评测越晚建越难?
- 三类评分器各是什么?最常见的组合是什么?
- 0% 通过率通常说明什么?
- 为什么「评产出,不强制唯一解题路径」?检查路径会导致什么后果?
- 读转录时该问哪五个问题?
- pass@k 和 pass^k 的区别?75% 单次成功率下 pass^3 是多少?
- 基础设施噪声能造成多大差距?实用结论是什么?
- 什么样的问题只有人读转录才能发现?
- τ-bench、GAIA、WebArena / OSWorld 各测什么?它们共同测不到的是什么?
- 公开基准的两个正当用途是什么?有哪三个判分手法值得搬进自建评测?
👀 答案
- 反应式循环:投诉→复现→改→「感觉好了」→别处退化。越晚越难是因为早期产品需求能自然转成测试用例,系统复杂后你已经说不清"正确行为"该是什么。
- 代码评分器(快便宜客观但脆弱)、模型评分器(灵活但需校准)、人工(金标准,用来校准模型评分器)。最常见组合:单元测试管正确性 + LLM rubric 管质量。
- 可能是任务、参考解、评分器或环境错误,也可能超出 Agent 能力;先验证参考解与运行环境,再定位模型失败。
- Agent 可能发现你没想到但更好的路径。要求唯一解题路径会惩罚有效的新方法;必要审批先于写入、权限边界和预算等约束仍必须检查。
- ①评分器判对了吗 ②失败在哪步、是理解错还是执行错 ③有没有蒙对 ④有没有绕远路但做对(说明评分器该更宽容)⑤同类错误是否反复(系统性问题优先修)。
- pass@k 是至少成功一次(随 k 上升),pass^k 是全部成功(随 k 下降)。75% 时 pass^3 = 0.75³ ≈ 42.2%。
- 约 6 个百分点,常大于模型之间的真实差距。结论:对未说明配置的、3 个点以内的差距保持怀疑。
- 自动评估全绿但行为有系统性偏好问题——如持续偏好 SEO 内容农场而非权威来源。这类"结果对但来源差"的问题只有人看转录才发现。
- τ-bench:客服场景多轮对话,用户由另一个模型扮演,看 Agent 守不守规则、有没有把数据库改成正确的最终状态(
pass^k就是它推起来的)。GAIA:现实助理问题,分三级难度,要浏览+读文件+多步推理,答案是唯一短字符串。WebArena / OSWorld:前者在自建可复现网站里做浏览器任务,后者在真实操作系统里跨应用操作,都用程序校验最终状态。共同测不到的:你的业务规则和你的用户——任务分布是别人的、环境做过简化、公开越久越可能被污染,而且只给一个总分,不告诉你哪类用户会踩坑。 - 两个用途:粗筛模型代际(且 配置不明的小差距暂不用于排序,需看样本数、成对差异与重复运行)和 抄它的判分手法(分数会过期,手法不会)。三个可以搬的手法:τ-bench 的
pass^k、WebArena/OSWorld 的状态校验(只看世界被改成什么样,是「评产出,不强制唯一解题路径」最干净的实现)、GAIA 的唯一短答案(把开放问题改造成可精确匹配的形式,代码评分器就能接管)。
本节回顾
⚡ 走神救援
| 要记住什么 | 怎么用 |
|---|---|
| 题集 | 从真实失败建立小型开发集,另留独立保留集;分开记录运行失败、事实与权限。 |
| 评分 | 先验已知正确与错误样本,读转录、保留分歧和未知。 |
| 一致性 | pass@k 看至少一次,pass^k 看全部;本页幂次算例要求独立、同成功率。 |
| 分数解读 | 小分差先看样本与配置。零成功也需排查题目和环境,再定位模型问题。 |
下一节 👉 14b · 数据集泄漏检查与冻结验收