🏠 总目录📚 本教程 11 · 评测体系:榜单 ← →

大模型全景导论 / 11

离线分数上涨,为什么还不能宣布线上问题解决了?

依次核对指标意义、污染/报告条件、单分数与配对波动、再接反馈和成熟工单口径。

  1. 四张虚构工单固定创建批次,全部满 14 天后计入成熟口径。
  2. 核对解决与重开按原文 7 天内首次解决、随后 7 天未重开的规则。
  3. 分别计数总体:甲、丙,共 2/4;自动:只有甲,共 1/4。
沿用 F07 原四单例。人工介入、重开与未解决不能靠更换分母消失;这是口径教学,不是生产SLA或业务改善结果。
📑 本页目录(点开跳转)

11 · 评测体系:Benchmark 的真相

⏱ 26 分钟 | ⭐ 看懂别人的分数:四类榜、五个陷阱、一个你能自己算的置信区间


🎯 一句话

榜单分数远不如你想象的可信。 这一页讲通用 benchmark 分成哪四类、它们会在哪五个地方骗人,以及为什么「A 比 B 高 3 分」这句话在统计上常常什么都没说。

⭐ 反过来的那一半——那该拿什么做决定、怎么给自己建一把尺子——在下一页 11b · 私有评测集怎么建。


🗺️ Benchmark 的四种类型

类型 代表 测什么 局限
知识问答 MMLU、GPQA 多选题,学科知识 容易被污染、和实际能力脱节
真实任务 SWE-bench(修真实 GitHub issue) 端到端完成任务 ⭐ 最接近现实,但贵且慢
人类偏好 LMArena(两两盲测投票 Elo) 人更喜欢谁 受"话痨/排版好看"影响,有讨好偏差
专项能力 数学、代码、长上下文、多语言 单点能力 只反映局部

Agent 基准是另一种观察角度,不是与上表互斥的第五类。 SWE-bench 已经属于真实任务;τ-bench、WebArena 等也关注有工具、有状态的多轮环境。

问答表现不能直接替代任务完成率,但不能据此断言二者在统计上不相关。

🔗 《智能体工程教程》14 · 评测 Evals 有一张五个基准的速查表: SWE-bench(真实 GitHub issue,⭐ 看到这三个字先问是哪一版,Verified 是人工核验过的 500 题子集,分数不可直接比)、 τ-bench(客服场景,用户由另一个模型扮演)、GAIA(多工具协作,答案是唯一短字符串)、 WebArena(自建可复现网站里的浏览器任务)、OSWorld(真实操作系统里的跨应用桌面任务)。

⭐ 去那里的真正理由不是记住这五个名字,是抄它们的判分手法——分数与方法都有适用条件,使用时核对版本与假设: τ-bench 的 pass^k(k 次全对才算过,面向客户的 Agent 必须看它)、

WebArena / OSWorld 的状态校验(不看 Agent 说了什么,只看世界被改成了什么样——结果状态校验的实例;权限与安全过程约束仍需另外验证)、

GAIA 的唯一短答案(把开放问题改造成能精确匹配的形式,代码评分器就能接管)。 这三招你都能直接搬进下一页要建的那个私有评测集。

名字里都有“评测”,测量对象却不同。需要把离线分数接到线上结果时,再展开下面两段;不必先背全部指标。

选读:MT-Bench、MMLU、BLEU、ROUGE 各在问什么?
  • MT-Bench:原版是多轮对话与指令遵循题集,由 LLM 裁判按评分提示评判回答。它观察开放回答的质量,不是选择题准确率;裁判有位置、冗长、自偏好和推理局限。固定题集、生成与裁判版本,成对比较时交换顺序,并用人工标注切片校准;高裁判分不保证事实正确或工单解决。
  • MMLU:原版覆盖 57 个学科的多项选择题,以答对比例观察知识与解题能力。记录 zero/few-shot、提示、选项解析和聚合方式;它不直接测多轮服务或工具执行,公开题污染、题型与业务分布差异也会影响解释。
  • BLEU:原为机器翻译设计,比较候选与参考译文的裁剪 n-gram 精确率,结合几何平均与过短惩罚,常在语料级统计。记录参考集、分词、大小写、平滑及实现;不能随意把逐句分数平均当同一语料分数。不同措辞可能意思相同,词面重合也不等于事实或任务正确。
  • ROUGE:原为摘要评测设计,是参考重合指标族。ROUGE-1/2 看一元/二元词组,ROUGE-L 使用最长公共子序列;报告具体变体及 recall、precision 或 F 值。分词、参考摘要和聚合方式影响分数;它能帮助看内容重合,却不能单独核验否定、事实关系或真实解决结果。

不要把四种分数直接相加排名。先按任务选观察面,再用 版本化私有用例与评分规则检验标签、事实、引用、格式及边界。冻结模型、提示、数据和评分器版本,保留逐题输出;公开指标和私有任务分开报告。

原始依据:MT-Bench §2.2、§3;MMLU §3–4;BLEU §2;ROUGE §2–3。本页没有运行这些基准。

选读:离线过关后,工单解决率的分母怎样定?

离线用例通过后,再做具备回退条件的受控线上比较;将工单 ID、模型/提示/检索与规则版本接到 追踪记录。用户点赞不等于问题解决:同一 cohort 和观察期内,反馈满意率以有效反馈人数为分母,同时报反馈人数/被邀请人数及任务切片,避免只看愿意反馈的人。

下面是一种预先约定的统计口径,不是通用 SLA:取某周新受理、按业务资格去重的工单 cohort,固定资格与去重规则,等每单满 14 天后汇总。分母是该组全部合格工单,未关闭和转人工也保留;尚未成熟的整组/工单单列,不偷偷当成功或从失败里删掉。

  • 解决窗口:分子要求受理后 7 天内首次达到事先定义的解决状态,并且此次解决后连续 7 天未重开。14 天的完整观察期覆盖最晚第 7 天解决者的重开观察;超窗解决和更晚重开另行报告,不能静默改旧口径。
  • 人工介入:总体解决率可包含人工解决;自动解决率的分子还要求没有人工介入。二者共用上述分母,另报转人工比例,不能把转人工当“机器人已解决”。
  • 回流闭环:抽查关闭是否真的解决,分开记录重开、误关闭、投诉、转人工、延迟和成本。将失败去标识、去重并归因后收入版本化回归集;改进后重跑离线,再按同口径在线比较与必要回退。回流材料进入训练时须与独立测试隔离,不能把反复调过的题继续当新证据。

虚构四单手算:甲第 3 天自动解决且随后 7 天未重开;乙第 2 天关闭、第 5 天重开;丙转人工后第 6 天解决且随后 7 天未重开;丁第 7 天仍未解决。全部满 14 天后,总体分子为甲、丙,自动分子只有甲,分母始终是四单。它只演示口径,没有任何真实业务改善数据。持续评测沿用 LLMOps 原闭环。


🕳️ 五个必须知道的陷阱

① 数据污染(最严重)

数据污染是训练或调参接触了本应独立的评测材料。公开题可能被训练数据收录;私有、新发布或改写题也要检查来源、衍生关系与使用历史。

去污染需要记录方法与盲区,不能只靠“没有主动拿测试集训练”的声明。

② 饱和

当大量系统在一套题上接近满分时,它对下一阶段进步的区分度可能降低。但剩余差异仍要结合题型、标注质量与统计不确定性分析,不能说“差 1 分毫无意义”。

🔗 智能体教程第 14 章讲过:饱和的评测应该"毕业"进回归套件。

③ 过拟合榜单

针对 benchmark 优化(刷榜),但泛化到真实任务不行。「为考试而学」。

④ 测量噪声

🔗 智能体教程第 14 章的数据:光是基础设施配置差异,就能造成 6 个百分点的分差——常常大于模型之间的真实差距。

任何未说明测试条件的差距都不足以下结论。 6 个百分点是特定评测设置的记录,不是所有测量的噪声下限。

⑤ 报告条件不对等(最不容易察觉)

同一个 benchmark,测出来的分数可以差很多:

比较前核对这些设置

  • 提示词不同 (有的用了精心调过的 few-shot)
  • 采样温度不同 (T=0 vs T=1)
  • 跑几次取最好 (pass@8 报成 pass@1)⭐
  • 有没有用工具/联网
  • 输出解析的宽松程度("答案是 B" 算不算对)

⚠️ 各家发布分数时,往往【给自己用最优配置,给对手用默认配置】

🔑 看到任何模型对比图,先找这三行小字: ① 用的什么提示词 ② 跑了几次怎么取 ③ 温度是多少。 找不到 → 这张图只能当广告看。


🧮 一个能自己算的例子:3 分差距还缺什么证据

先保留事实:同一套 100 题,A 对 82 题、B 对 79 题,观察差是 3 个百分点。 要判断差距,还需要逐题结果与抽样条件。

第一步:理解单个分数的波动

假设题目是独立、同分布的二项样本,准确率约 0.8。这里只用正态近似看量级:

要算什么 计算 这个数字的含义
标准误 √(0.8 × 0.2 / 100) ≈ 0.04 约 4 个百分点,不是“每次一定错 4 分”
95% 区间半宽 1.96 × 0.04 ≈ 0.078 约 7.8 个百分点;这是单个准确率的近似区间
半宽缩到 3 个百分点 1.96² × 0.8 × 0.2 / 0.03² ≈ 683 约 700 题对应这个估计精度目标,不是两模型显著差异的通用样本量

不能从这里推出“100 题只能分辨 8 分”,也不能仅凭两个区间重叠宣布没有差异。 小样本、极端准确率或有关联的题目,还要换合适的估计方法。方法边界见 NIST 的比例区间说明。

第二步:比较同一题上谁对谁错

下面是与 82/79 总分相容的两种假想逐题结果:

逐题结果 情形一 情形二
都答对 79 70
只有 A 对 3 12
只有 B 对 0 9
都答错 18 9

看中间两行:两种情况都多对 3 题,但分歧题数不同。二元对错可以在假设满足时使用配对的 McNemar 检验;不要把同一套题的结果当作独立的两组样本。

下一步只做三件事:保存逐题结果;固定运行与评分条件;按任务分组及预先设定的比较方法评估。样本量还取决于想检测的差距、检验功效和题目相关性。背景见 推荐 12 · 评估与 AB 实验。


🔗 这一章连到哪里

去哪 为什么
11b · 私有评测集怎么建 ⭐ 本页说「别人的分数不能全信」,下一页说那该拿什么做决定:一个下午就能建好的私有评测集,以及建的时候最容易犯的三个错
智能体工程 14 · 评测 Evals ⭐ 本页测的是「模型答得对不对」,那一章测的是「Agent 能不能把事办完」——关注工具与状态的基准,其中也有真实任务类(τ-bench / GAIA / WebArena / OSWorld)。本页陷阱 ②(饱和)和 ④(6 个点的基础设施噪声)的站内背景说明在那里,具体实验数字仍需追溯原始配置(⚠️ 陷阱 ③「刷榜过拟合」那一章没讲,它讲的是反过来的一面:基准被模型追上了就该换题)
数据这一关 13 · 评测集也是数据 把陷阱 ① 变成可执行的体检:四种查污染的办法,以及 ⭐ 查污染不能看总分要看分组差——2% 污染率下总分只虚高 0.6pp(肉眼看不见),但「见过组 vs 没见过组」的差已经稳定在 27 个百分点
模型上线之后 12 · AB实验你以为你懂了 继续区分估计精度、差异检验与功效,并检查偷看(peeking)和多重比较

📦 深挖的话要学什么(榜单这一侧)

先选你想判断的事:榜单是否可比、题目是否泄漏,还是用户投票是否可靠。下面是阅读入口,不是全站覆盖率承诺。

看懂一个 benchmark 的边界

  • 下一站:智能体工程 14 · 评测 Evals。
  • 保留的主题:MMLU、GPQA、SWE-bench、AIME、LiveBench 各自的题目与评分条件;其中 AIME 是数学竞赛题,不能全归为“知识问答”。
  • 先核对:数据版本、工具环境、任务完成标准。SWE-bench Verified 的 500 题子集不能与其他版本混报;构造细节看各基准的原始说明。

查污染,不只查总分

  • 下一站:数据这一关 13 · 评测集也是数据。
  • 看什么:去重、n-gram 重叠、改写、新鲜题、canary string 与私有 holdout 各自能提供什么证据。
  • 数字的边界:该章示例中的 2% 污染、0.6 个百分点总体变化与 27 个百分点组间差是特定实验,不是通用识别阈值。canary 的布置和解释还需专项设计。

评测集也要维护

  • 下一站:数据 13 的换题条件,与 智能体评测 14 的饱和监控和长期维护。
  • 看什么:固定回归集与新鲜任务分别承担什么工作。
  • 继续深挖:LiveBench 类动态题库如何更新时间、验证题目来源。持续换题能降低部分污染风险,不会自动保证无污染。

人更喜欢,不等于事实更正确

  • 下一站:强化学习 12 · RLHF,标注者一致性见 数据 10。
  • 保留的主题:Elo、Bradley–Terry、标注一致性、长度与讨好偏差校正。
  • 边界:成对模型主要识别分数差;一致率受任务、标注规范与群体影响,不能把某个 70–80% 记录当成所有评测的精度天花板。

✅ 检查点

  1. 四类 benchmark 各有什么局限?
  2. Agent 基准与“真实任务”有什么重叠?为什么不能只用问答分数代替任务完成率?
  3. 什么是数据污染?为什么私有或新题也需要核查来源和使用历史?
  4. 「报告条件不对等」是什么意思?看模型对比图时先找哪三行小字?
  5. 例子里的 ±7.8 个百分点、约 700 题分别回答了什么问题?它们为什么不能直接判定两模型差异?
  6. 看到「A 模型比 B 高 2 分」该怎么想?
  7. LMArena 这类人类偏好评测有什么偏差?
👀 答案
  1. 知识问答易污染且脱离实际;真实任务最接近现实但贵慢;人类偏好受话痨和排版影响;专项能力只反映局部。
  2. Agent 基准关注工具、状态与多轮任务,其中一些本来就属于真实任务类。问答分数不足以代表任务完成率,但不等于二者必然不相关。
  3. 训练或调参接触评测题会影响独立性。私有/新题可以降低部分风险,但仍要检查衍生题、来源重叠、标注和是否反复用于调参;不是天然无污染。
  4. 各家发布分数时往往给自己用最优配置、给对手用默认配置(提示词、温度、跑几次取最好、有没有用工具、解析宽松程度)。先找三行小字:①用的什么提示词 ②跑了几次怎么取 ③温度是多少。找不到就只能当广告看。
  5. 在 p≈0.8 的独立二项近似下,100 题对应单个比例区间半宽约 7.8 个百分点;约 700 题把这个半宽缩到约 3 个百分点。比较模型还要看逐题配对、运行波动、检验方法与功效。
  6. 先核对题目与配置,再看逐题差异、重复运行和不确定性。不能设一个“低于 3 分一律无意义”的门槛;统计差异与业务价值也应分别判断。
  7. 讨好偏差:回答话多、排版好看、语气讨喜的更容易赢,不一定更正确。还有位置偏差等。

本节回顾

读到这里,你已经能拿公开榜单做粗筛(排除明显不行的),并且能一眼看出一张模型对比图是不是广告。 什么时候回来看下一页:当你真的要在两三个模型之间做决定时——粗筛之后那一步(你自己的私有评测集)才是决定性的,本页给不了答案。

⚡ 走神救援

先记住这几件事

  • 榜单测的是特定题目和配置,不等于你的产品表现。
  • 比较前核对提示、采样次数、工具条件与统计波动。
  • 把知识、真实任务、偏好和专项能力分开看,再用自己的任务复测。

下一节 👉 11b-私有评测集怎么建.md

打卡记录保存在你的浏览器里,首页能看到总进度