🏠 总目录📚 本教程 14 · 评测 Evals ← →

怎样搭一个可信的 Agent 评测?

  1. 用评分器判产出
  2. 用终态和过程核任务
  3. 用转录与指标找失败

一句话 可信评测用可复现的任务,按终态与过程约束判分。

读完会做:写评分条件,检查任务终态。

前置知识:工具调用与调用日志。

📑 本页目录(点开跳转)

14 · 评测 Evals

⏱ 阅读参考约 40 分钟 · 动手实践另计;可分段完成


🎯 一句话

把任务和判分条件固定下来,优化时就有一把可以反复使用的尺。


一、评测怎样发现退化

反应式循环(大多数团队的现状)用户投诉手动复现改提示词「感觉好了」上线别处退化了💀 你永远不知道:这次改动到底提升了还是退步了修好了 A 有没有弄坏 B换个模型该不该换
只复现一条投诉会漏掉别处退化。评测让一次改动后的各用例涨跌可见。

有评测:发布前自动测数百个场景,每次改动都有数字。

尽早评测。 早期需求可转成测试,系统复杂后补判分规则更难。


🧪 二、三类评分器

三类评分器:能自动跑的先用,实在测不了才请模型当评委精确匹配== / 正则 / 集合比对成本 ≈ 0按选定规则测;需验证规则确实代表目标✅ 最可靠代码断言跑一段检查代码成本很低能测格式、字段、行为✅ 可靠LLM 评委让另一个模型打分每次都要花钱能测风格、有用性、语气⚠️ 会漂,要先和人对齐客观、便宜、覆盖窄主观、贵、覆盖宽
先用确定性检查,再用模型评委;上线前用人工标注校准评委。
类型 方法 优点 缺点
代码评分器 字符串匹配、fail-to-pass 测试、静态分析、状态校验 快、便宜、客观、可复现 对合理变体脆弱、缺乏细腻度
模型评分器 rubric 打分、自然语言断言、两两比较、多评委共识 灵活、可扩展、能处理开放式输出 非确定性、更贵、需对照人类专家校准 ⭐
人工评分器 专家审查、抽检、A/B 金标准,用来校准模型评分器 贵、慢

单元测试管正确性,模型评委用 rubric 管质量,按需加人工抽检。


三、搭建评测

第 0 步:尽早开始

怎么办依据
从真实失败起步用 20–50 个简单任务先建立开发集。
报告开发信号若通过率从 30% 到 80%,小样本有机会发现这种明显变化。仍报告样本数、不确定性和保留集。

第 1 步:把手动测试自动化

从你每次发布前人工核对的行为入手。bug 单和客服队列是现成的任务来源。

第 2 步:写无歧义的任务 + 参考解

检查判断
可解且能同判两位独立专家都能完成,并独立得出相同的通过或失败判定。
出现 0/100排查任务、评分器和环境,也可能是模型能力不足。零成功无法确认根因。

参考解的两个作用:证明任务可解、验证评分器配置正确。

第 3 步:平衡的问题集

维度如何组题
正反面同测该检索时漏搜和无需检索时乱搜。只测前者会推动模型什么都搜。
任务类别按相关任务分布安排各类比例,避免单类覆盖失衡。

某搜索评测曾在漏搜和乱搜两侧反复调了多轮才达到平衡。

第 4 步:稳健的 harness 与干净环境

检查原因
每次重置干净初态残留文件、缓存与资源耗尽会产生与 Agent 表现无关的相关性失败。
隔离答案来源例如清理 Agent 可见的历史记录,避免它从 Git 历史取答案。

第 5 步:设计好评分器

评产出,允许多条合法路径。 权限、审批、预算、敏感数据流向和副作用次数都要检查;越权和重复写入仍判过程失败。

Agent 可能找到更有效的顺序。把评分绑定到一条参考路径会错判这样的解。

其他要点:

要点 说明
支持部分得分 「识别对问题但退款失败」应该显著高于「完全失败」
LLM 评委用结构化 rubric 分维度打分,不要笼统给一个数
定期人工校验 抽 10 个案例人工核对评委判得对不对

第 6 步:读转录

检查对象读什么
判分评分器判对了吗?
失败在哪一步失败?理解错还是执行错?
疑似蒙对结果对时,过程是否仍不合理?
合法绕路多走几步仍然做对时,评分器是否应该接受?
反复出错同类错误反复出现时,优先修系统性问题。

第 7 步:监控饱和

信号动作
旧能力用例饱和例如某基准一年内从 30% 到 80%+,高通过率减弱改进信号;把已能稳定完成的旧用例移入回归套件。
剩余题太难长任务收益可能只带来少量分数增长。补能捕捉真实进展、更难的能力用例。

曾有团队补了长任务评测后,才观察到原基准漏掉的收益。

第 8 步:长期维护

专职团队管基础设施,领域专家和产品团队贡献任务。 可以实践「评测驱动开发」——先建低通过率的能力评测,再驱动改进。


📊 四、两个一致性指标

指标 含义 随 k 变化 该用在哪
pass@k k 次尝试至少一次成功 上升 「一次成功就够」的工具(如代码补全,人会挑)
pass^k k 次全部成功 下降 要求稳定一致的面向客户 Agent ⭐

具体感受一下:

指标每次成功率 75%,各次独立
pass@3至少一次成功。1 − 0.25³ = 98.4%。
pass^3全部成功。0.75³ = 42.2%。

面向客户且要求稳定时,应核多次全过的 pass^k。


五、评测怎样失真

① 基础设施噪声

对象怎么判
基础设施噪声某编码基准仅资源配置差异就有 6 个百分点的分差。安装依赖的代价随配置改变,API 延迟、集群健康和并发也会影响运行。
配置不明的小分差例如相差 3 个百分点,先查运行配置和样本;这样的小差距既可能来自模型,也可能源于虚拟机资源。3 个点不是通用显著性门槛。

② 评测会被模型追上

某性能工程招聘测试被模型连续击穿三个版本,最终不得不从 「模拟真实工作」转向「模拟新颖工作」(分布外的问题空间)。

教训:AI 在有大量训练资料的问题上表现最好;不限时条件下人类专家仍占优。

③ 自动评估发现不了的问题

看到什么例子
自动检查全绿多 Agent 研究系统仍可能持续采用低质量来源。
人工检查来源读转录发现系统偏好 SEO 内容农场。后来用来源质量启发式修复这一案例。

六、公开基准的判分与盲区

公开基准帮助选型,自建评测判断业务适配。 先对照每项基准的任务、判分和盲区。

基准 形态 测的是什么 ⚠️ 测不到什么
SWE-bench 真实 GitHub issue + 仓库快照,改完跑 fail-to-pass 测试 在真实代码库里定位并修复问题 原始 SWE-bench / Verified 以 Python 开源仓库为主,不能泛化到所有后续版本;测试通过 ≠ 改法合理。⭐ 一个分数值不值得信(数据污染 / 饱和 / 报告条件不对等,以及「100 题只能分辨 8 个百分点」那个能自己算的置信区间)在《大模型全景导论》11 章
SWE-bench Verified 上面的人工核验子集(500 题) 同上,但去掉了描述不清、测试本身有问题的脏题 同上。⭐ 看到「SWE-bench」三个字先问是哪一版——不同版本的分数不可直接比
τ-bench 客服场景(零售 / 航司),用户由另一个模型扮演,Agent 带一套业务工具 多轮对话中守规则、用对工具、把数据库改成正确的最终状态 模拟用户比真人礼貌太多;规则集是人工写的、比真实业务简单。⭐ 它的最大贡献是把 pass^k 摆上了台面(见第四节)
GAIA 现实世界的助理问题,分三级难度,答案是唯一的短字符串 多工具协作:浏览 + 读文件 + 多模态 + 多步推理 答案唯一才好判,所以天然排除了开放式任务;且网页会变,跑分随时间漂
WebArena 一组自建可复现的网站(论坛 / 购物 / 代码托管等)里的浏览器任务 端到端操作网页,用程序检查最终状态(订单建没建、帖子发没发) 站点是仿真的,没有真实网站的反爬、弹窗、A/B 改版
OSWorld 真实操作系统里的桌面任务,跨多个应用 跨应用操作,用校验脚本检查最终状态 环境重,跑一遍很贵;任务分布是研究者挑的,不是你用户的
BFCL 按版本包含单轮、多步、多轮及 Agent 场景 单次工具调用的格式和参数对不对 不能概括为只测单次参数。BFCL V3 加入多轮多步,V4 扩展 Agent 评估;引用成绩要注明版本和类别,仍不能替代自己的业务验收

归档任务怎样判完成?

“已完成”是结束信号。订单文件有没有归档,要由评分器检查文件。沿用参考解和干净环境:每次都新建临时目录,执行一次正确移动作参考,再用同一组规则判其他轨迹。

终态合格且过程合规,才判通过。 终态(terminal state)是停止时环境的实际状态。判定由测试运行器读取文件和调用转录,不取 Agent 对自己的评价。

评分规则。操作任务的状态校验依据 AgentBench 附录 B.2。归档规则为本课设定。
判定项通过条件
终态 state_ok源文件 in/orders.csv 消失,archive/orders.csv 与原订单字节相同,保留文件 keep.txt 内容不变,三项都要满足。
过程 process_ok最多 2 次工具调用,失败也计数。只许查看源或归档文件,或把源文件移到归档位置。为了单独测试文件缺失,也预许将始终不存在的 in/missing.csv 移向归档位置。查看 keep.txt 超出任务权限。

手算时从结束的环境里核三项终态条件,再过一遍调用清单核权限与次数。过程约束限定权限和预算,允许不同合法步骤。例如一次移动就够,先查看再移动也在预算内。

四条轨迹独立重置同一初态。源和保留文件存在,归档文件不存在。终态列按「源已消失/归档字节一致/保留不变」列出三项检查。
发起动作工具观察停止原因终态过程判分
移动订单报告成功移动后主动结束✓/✓/✓1 次,合规通过
移动缺失文件文件不存在遇错后主动结束✗/✗/✓1 次,合规失败
连续查看源文件两次都读到订单预算耗尽✗/✗/✓2 次,合规失败
只发“已完成”无工具观察发出结束信号✗/✗/✓0 次,合规失败

四条固定轨迹 1/4 通过,生产成功率须在目标业务分布上另测。 算法是将两列同时满足的条数(1)除以参评轨迹数(4)。本次运行仅校验本地夹具的判分。

额外故障断言,各自重新初始化,留在四条轨迹的分母之外。
注入问题终态过程判分
移动工具误作复制,仍报告成功不合格,源仍在合规,发起的移动在许可内失败
先查看夹具内的保留文件,再正确移动合格,三项都满足违规,第一次查看超权限失败
用 Python 重跑轨迹与故障断言

示例只使用 Python 标准库,实跑于 Python 3.14.7。run_case 重置固定夹具,将每次尝试的操作、权限、观察和工具错误写入转录,再分别计算两列。越权查看由指定的故障轨迹模拟;它只接触临时目录里的保留文件。真实系统还需要在工具层阻止越权调用。运行器会在执行第三次工具调用之前报错;两次调用后没有结束信号,记录为预算耗尽。

from pathlib import Path
from shutil import copyfile
from tempfile import TemporaryDirectory

SOURCE, TARGET = "in/orders.csv", "archive/orders.csv"
MISSING, KEEP = "in/missing.csv", "keep.txt"
ORDERS = b"id,amount\n1,100\n"
KEEP_BYTES = b"preserve\n"
BUDGET = 2
ALLOWED = {
    ("view", SOURCE), ("view", TARGET),
    ("move", SOURCE, TARGET), ("move", MISSING, TARGET),
}
FIXTURE_PATHS = {SOURCE, TARGET, MISSING, KEEP}


def run_case(actions, *, broken_move=False):
    # 只重放固定轨迹;轨迹由测试运行器记录。
    with TemporaryDirectory(prefix="eval-archive-") as directory:
        root = Path(directory)
        (root / "in").mkdir()
        (root / "archive").mkdir()
        (root / SOURCE).write_bytes(ORDERS)
        (root / KEEP).write_bytes(KEEP_BYTES)

        trace = []
        stop = None
        for action in actions:
            operation, *paths = action
            if operation == "finish":
                stop = paths[0]
                break
            assert all(path in FIXTURE_PATHS for path in paths)
            if len(trace) == BUDGET:
                raise ValueError("固定轨迹不能超过两次工具操作")
            permitted = action in ALLOWED
            try:
                if operation == "view":
                    observation = f"读到 {len((root / paths[0]).read_bytes())} 字节"
                elif operation == "move":
                    source, target = (root / path for path in paths)
                    if broken_move:
                        copyfile(source, target)
                    else:
                        source.rename(target)
                    observation = "工具报告成功"
                else:
                    raise ValueError(f"未知操作:{operation}")
                error = False
            except FileNotFoundError:
                observation, error = "文件不存在", True
            trace.append((action, permitted, observation, error))

        if stop is None:
            if len(trace) != BUDGET:
                raise ValueError("固定轨迹须发出结束信号或用尽预算")
            stop = "预算耗尽"

        source_gone = not (root / SOURCE).exists()
        target_matches = (root / TARGET).is_file() and (root / TARGET).read_bytes() == ORDERS
        keep_unchanged = (root / KEEP).is_file() and (root / KEEP).read_bytes() == KEEP_BYTES
        state = (source_gone, target_matches, keep_unchanged)
        state_ok = all(state)
        process_ok = len(trace) <= BUDGET and all(event[1] for event in trace)
        return state, state_ok, process_ok, state_ok and process_ok, trace, stop


cases = (
    ("移动后主动结束", (("move", SOURCE, TARGET), ("finish", "移动后主动结束"))),
    ("遇错后主动结束", (("move", MISSING, TARGET), ("finish", "遇错后主动结束"))),
    ("预算耗尽", (("view", SOURCE), ("view", SOURCE))),
    ("发出结束信号", (("finish", "发出结束信号"),)),
)
expected = (
    ((True, True, True), True, True, True),
    ((False, False, True), False, True, False),
    ((False, False, True), False, True, False),
    ((False, False, True), False, True, False),
)
passed_count = 0
for (stop, actions), outcome in zip(cases, expected, strict=True):
    result = run_case(actions)
    assert result[:4] == outcome and result[5] == stop, (stop, result)
    assert sum(event[3] for event in result[4]) == int(stop == cases[1][0])
    print(stop, result[:4], result[4])
    passed_count += result[3]
assert (passed_count, len(cases)) == (1, 4)
print(f"固定四条轨迹:{passed_count}/{len(cases)}")

# 故障注入属于额外断言,独立重置初态。
copied = run_case((("move", SOURCE, TARGET), ("finish", "工具报告成功后结束")), broken_move=True)
assert copied[:4] == ((False, True, True), False, True, False)
assert not copied[4][0][3]
print("注入:复制后源仍在", copied[:4], copied[4])

overreach = run_case((("view", KEEP), ("move", SOURCE, TARGET)))
assert overreach[:4] == ((True, True, True), True, False, False)
assert overreach[4][0][1] is False and not overreach[4][0][3]
print("注入:越权查看后归档", overreach[:4], overreach[4])

固定四条轨迹输出 1/4;两条额外断言分别得到“终态失败、过程合规”和“终态合格、过程违规”。

试判:先看订单,再移动,两个条件都满足吗?

满足。查看源文件和将它移到归档位置都在许可内,恰好使用两次操作。如果移动后源消失、归档字节一致且保留文件不变,就通过。对照“连续查看”一行,两条轨迹的过程都合规,终态不同。

这些基准的四个共同盲区

盲区上线前要核对
任务分布基准任务未必含你的业务规则、话术和少见边界。
环境简化仿真站点可能没有反爬和改版,模拟用户的措辞与真人不同。
训练污染公开越久越可能进入训练数据,旧分数更容易趋于饱和。
只报总分分类看结果,找出汇总值掩盖的用户群失败。

⭐ 那读基准的正确姿势是什么

只有两个用途:

用途 怎么用
粗筛模型代际 判断「这一代能不能干这类活」够用了。⚠️ 但记住第五节那条:配置未说明的小差距暂不能据此排序;没有通用的“3 个百分点”显著性门槛
⭐ 抄它的评测形态 这才是最有价值的一条 —— 基准的分数会过期,它的判分手法不会

三个可以直接搬进自建评测的手法:

公开基准用于粗筛,业务验收可从自有的 20–50 个真实任务起步,另报覆盖范围和不确定性。


🔨 七、动手:建你的第一个评测套件

步骤 做什么 时间
1 翻 bug 单/用户反馈,挑 20 个真实失败场景 60 min
2 每个写成无歧义任务 + 参考解(过"两人同判"质量关) 90 min
3 先只用代码评分器(能自动判的部分) 60 min
4 跑 5 次试验,读完所有转录 ⭐ 60 min
5 找出评分器判错的案例——这些才是你真正要修的 45 min

读转录来验证评分器。 找出判错的案例再修。


🕳️ 八、八个常见坑

坑 症状 修
等稳定了再建评测 越晚越难建 20 个任务就能开始
评分器检查工具调用顺序 ⭐ 惩罚 Agent 发现的更优路径 同时验收产出和必要过程约束,不强制无关的工具顺序
只测正例 模型学成"什么都做" 正反两面都要有
不读转录 评分器有 bug 而不自知 每轮读一批
环境不干净 出现与模型无关的失败 每次试验重置状态
看错一致性指标 面向客户却只看 pass@k 稳定性要求高就看 pass^k
信 3 个点以内的差距 被基础设施噪声骗 多次运行看方差
拿公开基准当验收标准 ⭐ 榜上分很高,你的用户还是天天投诉 基准只用来粗筛模型代际和抄判分手法;能不能上线由你自己那 20–50 个真实任务决定

📚 延伸阅读


🔗 这一章连到哪里

去哪 为什么
数据这一关 13 · 评测集也是数据 这四处讲的是各自场景怎么评测;评测集本身怎么造、多大够、有没有被污染、评分器准不准、结果该怎么报 在那一章 ⭐

16b · 框架这层皮 对应 Ragas / promptfoo / DeepEval。审核器本身也需要评测,见 16c · 接进真实产品。


分数之外,先验收题集

14b · 数据集泄漏检查与冻结验收 检查跨集合题目、来源簇和输入文件哈希。公开冻结题仍是公开题,近似匹配只能提示人工复查;不修改原答案来消除告警,也不据此报告模型正确率。

比较同一批题,保留切片与失败

14c · 评测切片与成对比较 固定题集和语料,对照上下文预算。失败留在分母,多次运行先按题聚合,再观察各类问题和来源簇的变化。公开小集合上的检索差异与重采样区间,不代表模型生成质量或在线业务收益。

把真实模型运行与回答验收分开记录

14d · 真实模型问答与逐题验收 从模型加载、固定协议、原始回答到逐题复核,保留实际失败。接口能返回内容,不代表事实和引用已经通过人工验收。

固定待复核命题,保留分歧与未完成

14e · 答案复核与分歧处理 检查命题覆盖、答案版本绑定和多人意见分歧。

先让一道开发题完整回答

14f · 生成环境预检与失败续跑 区分元数据可读、模型实际加载与完整答题;更换配置另存记录,最终答案、机器参考检查和真人复核分开看。

本次核查依据(2026-10-20):τ-bench;BFCL 多轮类别。机制说明与本页教学运行分别验收。

✅ 检查点

  1. 没有评测的团队会陷入什么循环?为什么评测越晚建越难?
  2. 三类评分器各是什么?最常见的组合是什么?
  3. 0% 通过率通常说明什么?
  4. 为什么「评产出,不强制唯一解题路径」?检查路径会导致什么后果?
  5. 读转录时该问哪五个问题?
  6. pass@k 和 pass^k 的区别?75% 单次成功率下 pass^3 是多少?
  7. 基础设施噪声能造成多大差距?实用结论是什么?
  8. 什么样的问题只有人读转录才能发现?
  9. τ-bench、GAIA、WebArena / OSWorld 各测什么?它们共同测不到的是什么?
  10. 公开基准的两个正当用途是什么?有哪三个判分手法值得搬进自建评测?
👀 答案
  1. 反应式循环:投诉→复现→改→「感觉好了」→别处退化。越晚越难是因为早期产品需求能自然转成测试用例,系统复杂后你已经说不清"正确行为"该是什么。
  2. 代码评分器(快便宜客观但脆弱)、模型评分器(灵活但需校准)、人工(金标准,用来校准模型评分器)。最常见组合:单元测试管正确性 + LLM rubric 管质量。
  3. 可能是任务、参考解、评分器或环境错误,也可能超出 Agent 能力;先验证参考解与运行环境,再定位模型失败。
  4. Agent 可能发现你没想到但更好的路径。要求唯一解题路径会惩罚有效的新方法;必要审批先于写入、权限边界和预算等约束仍必须检查。
  5. ①评分器判对了吗 ②失败在哪步、是理解错还是执行错 ③有没有蒙对 ④有没有绕远路但做对(说明评分器该更宽容)⑤同类错误是否反复(系统性问题优先修)。
  6. pass@k 是至少成功一次(随 k 上升),pass^k 是全部成功(随 k 下降)。75% 时 pass^3 = 0.75³ ≈ 42.2%。
  7. 约 6 个百分点,常大于模型之间的真实差距。结论:对未说明配置的、3 个点以内的差距保持怀疑。
  8. 自动评估全绿但行为有系统性偏好问题——如持续偏好 SEO 内容农场而非权威来源。这类"结果对但来源差"的问题只有人看转录才发现。
  9. τ-bench:客服场景多轮对话,用户由另一个模型扮演,看 Agent 守不守规则、有没有把数据库改成正确的最终状态(pass^k 就是它推起来的)。GAIA:现实助理问题,分三级难度,要浏览+读文件+多步推理,答案是唯一短字符串。WebArena / OSWorld:前者在自建可复现网站里做浏览器任务,后者在真实操作系统里跨应用操作,都用程序校验最终状态。共同测不到的:你的业务规则和你的用户——任务分布是别人的、环境做过简化、公开越久越可能被污染,而且只给一个总分,不告诉你哪类用户会踩坑。
  10. 两个用途:粗筛模型代际(且 配置不明的小差距暂不用于排序,需看样本数、成对差异与重复运行)和 抄它的判分手法(分数会过期,手法不会)。三个可以搬的手法:τ-bench 的 pass^k、WebArena/OSWorld 的状态校验(只看世界被改成什么样,是「评产出,不强制唯一解题路径」最干净的实现)、GAIA 的唯一短答案(把开放问题改造成可精确匹配的形式,代码评分器就能接管)。

本节回顾

⚡ 走神救援

要记住什么怎么用
题集从真实失败建立小型开发集,另留独立保留集;分开记录运行失败、事实与权限。
评分先验已知正确与错误样本,读转录、保留分歧和未知。
一致性pass@k 看至少一次,pass^k 看全部;本页幂次算例要求独立、同成功率。
分数解读小分差先看样本与配置。零成功也需排查题目和环境,再定位模型问题。

下一节 👉 14b · 数据集泄漏检查与冻结验收

打卡记录保存在你的浏览器里,首页能看到总进度