11 · 评测体系:Benchmark 的真相
⏱ 26 分钟 | ⭐ 看懂别人的分数:四类榜、五个陷阱、一个你能自己算的置信区间
🎯 一句话
榜单分数远不如你想象的可信。 这一页讲通用 benchmark 分成哪四类、它们会在哪五个地方骗人,以及为什么「A 比 B 高 3 分」这句话在统计上常常什么都没说。
⭐ 反过来的那一半——那该拿什么做决定、怎么给自己建一把尺子——在下一页 11b · 私有评测集怎么建。
🗺️ Benchmark 的四种类型
| 类型 | 代表 | 测什么 | 局限 |
|---|---|---|---|
| 知识问答 | MMLU、GPQA | 多选题,学科知识 | 容易被污染、和实际能力脱节 |
| 真实任务 | SWE-bench(修真实 GitHub issue) | 端到端完成任务 | ⭐ 最接近现实,但贵且慢 |
| 人类偏好 | LMArena(两两盲测投票 Elo) | 人更喜欢谁 | 受"话痨/排版好看"影响,有讨好偏差 |
| 专项能力 | 数学、代码、长上下文、多语言 | 单点能力 | 只反映局部 |
Agent 基准是另一种观察角度,不是与上表互斥的第五类。 SWE-bench 已经属于真实任务;τ-bench、WebArena 等也关注有工具、有状态的多轮环境。
问答表现不能直接替代任务完成率,但不能据此断言二者在统计上不相关。
🔗 《智能体工程教程》14 · 评测 Evals 有一张五个基准的速查表: SWE-bench(真实 GitHub issue,⭐ 看到这三个字先问是哪一版,Verified 是人工核验过的 500 题子集,分数不可直接比)、 τ-bench(客服场景,用户由另一个模型扮演)、GAIA(多工具协作,答案是唯一短字符串)、 WebArena(自建可复现网站里的浏览器任务)、OSWorld(真实操作系统里的跨应用桌面任务)。
⭐ 去那里的真正理由不是记住这五个名字,是抄它们的判分手法——分数与方法都有适用条件,使用时核对版本与假设: τ-bench 的
pass^k(k 次全对才算过,面向客户的 Agent 必须看它)、WebArena / OSWorld 的状态校验(不看 Agent 说了什么,只看世界被改成了什么样——结果状态校验的实例;权限与安全过程约束仍需另外验证)、
GAIA 的唯一短答案(把开放问题改造成能精确匹配的形式,代码评分器就能接管)。 这三招你都能直接搬进下一页要建的那个私有评测集。
名字里都有“评测”,测量对象却不同。需要把离线分数接到线上结果时,再展开下面两段;不必先背全部指标。
选读:MT-Bench、MMLU、BLEU、ROUGE 各在问什么?
- MT-Bench:原版是多轮对话与指令遵循题集,由 LLM 裁判按评分提示评判回答。它观察开放回答的质量,不是选择题准确率;裁判有位置、冗长、自偏好和推理局限。固定题集、生成与裁判版本,成对比较时交换顺序,并用人工标注切片校准;高裁判分不保证事实正确或工单解决。
- MMLU:原版覆盖 57 个学科的多项选择题,以答对比例观察知识与解题能力。记录 zero/few-shot、提示、选项解析和聚合方式;它不直接测多轮服务或工具执行,公开题污染、题型与业务分布差异也会影响解释。
- BLEU:原为机器翻译设计,比较候选与参考译文的裁剪 n-gram 精确率,结合几何平均与过短惩罚,常在语料级统计。记录参考集、分词、大小写、平滑及实现;不能随意把逐句分数平均当同一语料分数。不同措辞可能意思相同,词面重合也不等于事实或任务正确。
- ROUGE:原为摘要评测设计,是参考重合指标族。ROUGE-1/2 看一元/二元词组,ROUGE-L 使用最长公共子序列;报告具体变体及 recall、precision 或 F 值。分词、参考摘要和聚合方式影响分数;它能帮助看内容重合,却不能单独核验否定、事实关系或真实解决结果。
不要把四种分数直接相加排名。先按任务选观察面,再用 版本化私有用例与评分规则检验标签、事实、引用、格式及边界。冻结模型、提示、数据和评分器版本,保留逐题输出;公开指标和私有任务分开报告。
原始依据:MT-Bench §2.2、§3;MMLU §3–4;BLEU §2;ROUGE §2–3。本页没有运行这些基准。
选读:离线过关后,工单解决率的分母怎样定?
离线用例通过后,再做具备回退条件的受控线上比较;将工单 ID、模型/提示/检索与规则版本接到 追踪记录。用户点赞不等于问题解决:同一 cohort 和观察期内,反馈满意率以有效反馈人数为分母,同时报反馈人数/被邀请人数及任务切片,避免只看愿意反馈的人。
下面是一种预先约定的统计口径,不是通用 SLA:取某周新受理、按业务资格去重的工单 cohort,固定资格与去重规则,等每单满 14 天后汇总。分母是该组全部合格工单,未关闭和转人工也保留;尚未成熟的整组/工单单列,不偷偷当成功或从失败里删掉。
- 解决窗口:分子要求受理后 7 天内首次达到事先定义的解决状态,并且此次解决后连续 7 天未重开。14 天的完整观察期覆盖最晚第 7 天解决者的重开观察;超窗解决和更晚重开另行报告,不能静默改旧口径。
- 人工介入:总体解决率可包含人工解决;自动解决率的分子还要求没有人工介入。二者共用上述分母,另报转人工比例,不能把转人工当“机器人已解决”。
- 回流闭环:抽查关闭是否真的解决,分开记录重开、误关闭、投诉、转人工、延迟和成本。将失败去标识、去重并归因后收入版本化回归集;改进后重跑离线,再按同口径在线比较与必要回退。回流材料进入训练时须与独立测试隔离,不能把反复调过的题继续当新证据。
虚构四单手算:甲第 3 天自动解决且随后 7 天未重开;乙第 2 天关闭、第 5 天重开;丙转人工后第 6 天解决且随后 7 天未重开;丁第 7 天仍未解决。全部满 14 天后,总体分子为甲、丙,自动分子只有甲,分母始终是四单。它只演示口径,没有任何真实业务改善数据。持续评测沿用 LLMOps 原闭环。
🕳️ 五个必须知道的陷阱
① 数据污染(最严重)
数据污染是训练或调参接触了本应独立的评测材料。公开题可能被训练数据收录;私有、新发布或改写题也要检查来源、衍生关系与使用历史。
去污染需要记录方法与盲区,不能只靠“没有主动拿测试集训练”的声明。
② 饱和
当大量系统在一套题上接近满分时,它对下一阶段进步的区分度可能降低。但剩余差异仍要结合题型、标注质量与统计不确定性分析,不能说“差 1 分毫无意义”。
🔗 智能体教程第 14 章讲过:饱和的评测应该"毕业"进回归套件。
③ 过拟合榜单
针对 benchmark 优化(刷榜),但泛化到真实任务不行。「为考试而学」。
④ 测量噪声
🔗 智能体教程第 14 章的数据:光是基础设施配置差异,就能造成 6 个百分点的分差——常常大于模型之间的真实差距。
任何未说明测试条件的差距都不足以下结论。 6 个百分点是特定评测设置的记录,不是所有测量的噪声下限。
⑤ 报告条件不对等(最不容易察觉)
同一个 benchmark,测出来的分数可以差很多:
比较前核对这些设置
- 提示词不同 (有的用了精心调过的 few-shot)
- 采样温度不同 (T=0 vs T=1)
- 跑几次取最好 (pass@8 报成 pass@1)⭐
- 有没有用工具/联网
- 输出解析的宽松程度("答案是 B" 算不算对)
⚠️ 各家发布分数时,往往【给自己用最优配置,给对手用默认配置】
🔑 看到任何模型对比图,先找这三行小字: ① 用的什么提示词 ② 跑了几次怎么取 ③ 温度是多少。 找不到 → 这张图只能当广告看。
🧮 一个能自己算的例子:3 分差距还缺什么证据
先保留事实:同一套 100 题,A 对 82 题、B 对 79 题,观察差是 3 个百分点。 要判断差距,还需要逐题结果与抽样条件。
第一步:理解单个分数的波动
假设题目是独立、同分布的二项样本,准确率约 0.8。这里只用正态近似看量级:
| 要算什么 | 计算 | 这个数字的含义 |
|---|---|---|
| 标准误 | √(0.8 × 0.2 / 100) ≈ 0.04 | 约 4 个百分点,不是“每次一定错 4 分” |
| 95% 区间半宽 | 1.96 × 0.04 ≈ 0.078 | 约 7.8 个百分点;这是单个准确率的近似区间 |
| 半宽缩到 3 个百分点 | 1.96² × 0.8 × 0.2 / 0.03² ≈ 683 | 约 700 题对应这个估计精度目标,不是两模型显著差异的通用样本量 |
不能从这里推出“100 题只能分辨 8 分”,也不能仅凭两个区间重叠宣布没有差异。 小样本、极端准确率或有关联的题目,还要换合适的估计方法。方法边界见 NIST 的比例区间说明。
第二步:比较同一题上谁对谁错
下面是与 82/79 总分相容的两种假想逐题结果:
| 逐题结果 | 情形一 | 情形二 |
|---|---|---|
| 都答对 | 79 | 70 |
| 只有 A 对 | 3 | 12 |
| 只有 B 对 | 0 | 9 |
| 都答错 | 18 | 9 |
看中间两行:两种情况都多对 3 题,但分歧题数不同。二元对错可以在假设满足时使用配对的 McNemar 检验;不要把同一套题的结果当作独立的两组样本。
下一步只做三件事:保存逐题结果;固定运行与评分条件;按任务分组及预先设定的比较方法评估。样本量还取决于想检测的差距、检验功效和题目相关性。背景见 推荐 12 · 评估与 AB 实验。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 11b · 私有评测集怎么建 ⭐ | 本页说「别人的分数不能全信」,下一页说那该拿什么做决定:一个下午就能建好的私有评测集,以及建的时候最容易犯的三个错 |
| 智能体工程 14 · 评测 Evals ⭐ | 本页测的是「模型答得对不对」,那一章测的是「Agent 能不能把事办完」——关注工具与状态的基准,其中也有真实任务类(τ-bench / GAIA / WebArena / OSWorld)。本页陷阱 ②(饱和)和 ④(6 个点的基础设施噪声)的站内背景说明在那里,具体实验数字仍需追溯原始配置(⚠️ 陷阱 ③「刷榜过拟合」那一章没讲,它讲的是反过来的一面:基准被模型追上了就该换题) |
| 数据这一关 13 · 评测集也是数据 | 把陷阱 ① 变成可执行的体检:四种查污染的办法,以及 ⭐ 查污染不能看总分要看分组差——2% 污染率下总分只虚高 0.6pp(肉眼看不见),但「见过组 vs 没见过组」的差已经稳定在 27 个百分点 |
| 模型上线之后 12 · AB实验你以为你懂了 | 继续区分估计精度、差异检验与功效,并检查偷看(peeking)和多重比较 |
📦 深挖的话要学什么(榜单这一侧)
先选你想判断的事:榜单是否可比、题目是否泄漏,还是用户投票是否可靠。下面是阅读入口,不是全站覆盖率承诺。
看懂一个 benchmark 的边界
- 下一站:智能体工程 14 · 评测 Evals。
- 保留的主题:MMLU、GPQA、SWE-bench、AIME、LiveBench 各自的题目与评分条件;其中 AIME 是数学竞赛题,不能全归为“知识问答”。
- 先核对:数据版本、工具环境、任务完成标准。SWE-bench Verified 的 500 题子集不能与其他版本混报;构造细节看各基准的原始说明。
查污染,不只查总分
- 下一站:数据这一关 13 · 评测集也是数据。
- 看什么:去重、n-gram 重叠、改写、新鲜题、canary string 与私有 holdout 各自能提供什么证据。
- 数字的边界:该章示例中的 2% 污染、0.6 个百分点总体变化与 27 个百分点组间差是特定实验,不是通用识别阈值。canary 的布置和解释还需专项设计。
评测集也要维护
- 下一站:数据 13 的换题条件,与 智能体评测 14 的饱和监控和长期维护。
- 看什么:固定回归集与新鲜任务分别承担什么工作。
- 继续深挖:LiveBench 类动态题库如何更新时间、验证题目来源。持续换题能降低部分污染风险,不会自动保证无污染。
人更喜欢,不等于事实更正确
- 下一站:强化学习 12 · RLHF,标注者一致性见 数据 10。
- 保留的主题:Elo、Bradley–Terry、标注一致性、长度与讨好偏差校正。
- 边界:成对模型主要识别分数差;一致率受任务、标注规范与群体影响,不能把某个 70–80% 记录当成所有评测的精度天花板。
✅ 检查点
- 四类 benchmark 各有什么局限?
- Agent 基准与“真实任务”有什么重叠?为什么不能只用问答分数代替任务完成率?
- 什么是数据污染?为什么私有或新题也需要核查来源和使用历史?
- 「报告条件不对等」是什么意思?看模型对比图时先找哪三行小字?
- 例子里的 ±7.8 个百分点、约 700 题分别回答了什么问题?它们为什么不能直接判定两模型差异?
- 看到「A 模型比 B 高 2 分」该怎么想?
- LMArena 这类人类偏好评测有什么偏差?
👀 答案
- 知识问答易污染且脱离实际;真实任务最接近现实但贵慢;人类偏好受话痨和排版影响;专项能力只反映局部。
- Agent 基准关注工具、状态与多轮任务,其中一些本来就属于真实任务类。问答分数不足以代表任务完成率,但不等于二者必然不相关。
- 训练或调参接触评测题会影响独立性。私有/新题可以降低部分风险,但仍要检查衍生题、来源重叠、标注和是否反复用于调参;不是天然无污染。
- 各家发布分数时往往给自己用最优配置、给对手用默认配置(提示词、温度、跑几次取最好、有没有用工具、解析宽松程度)。先找三行小字:①用的什么提示词 ②跑了几次怎么取 ③温度是多少。找不到就只能当广告看。
- 在 p≈0.8 的独立二项近似下,100 题对应单个比例区间半宽约 7.8 个百分点;约 700 题把这个半宽缩到约 3 个百分点。比较模型还要看逐题配对、运行波动、检验方法与功效。
- 先核对题目与配置,再看逐题差异、重复运行和不确定性。不能设一个“低于 3 分一律无意义”的门槛;统计差异与业务价值也应分别判断。
- 讨好偏差:回答话多、排版好看、语气讨喜的更容易赢,不一定更正确。还有位置偏差等。
本节回顾
读到这里,你已经能拿公开榜单做粗筛(排除明显不行的),并且能一眼看出一张模型对比图是不是广告。 什么时候回来看下一页:当你真的要在两三个模型之间做决定时——粗筛之后那一步(你自己的私有评测集)才是决定性的,本页给不了答案。
⚡ 走神救援
先记住这几件事
- 榜单测的是特定题目和配置,不等于你的产品表现。
- 比较前核对提示、采样次数、工具条件与统计波动。
- 把知识、真实任务、偏好和专项能力分开看,再用自己的任务复测。
下一节 👉 11b-私有评测集怎么建.md