🏠 总目录📚 本教程 14c · 评测切片与成对比较 ← →

智能体工程 · 14c

每题重复三次,能当成三道独立题吗?

读完能做的判断:保留同题配对、失败和问题簇,解释比较分母与重采样单位。

评测切片与成对比较

⏱ 阅读约 27 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:同题配对,失败留在分母,重复先归到题,再看每个切片的变化。

实验范围与运行命令

实验用成对记录、重采样和失败夹具比较检索配置。生成答案的事实正确性、引用支持和拒答合理性仍需人工核验。

先读 评测 Evals 和 数据集泄漏检查与冻结验收。上下文如何选择见 重排与上下文预算实验。示例依赖 evaluation 与 corpus 目录。

在以下命令以原示例的父项目目录为工作目录:

python -m unittest discover -s examples/knowledge-assistant -p test_eval_compare_lab.py -v
python examples/knowledge-assistant/eval_compare_lab.py

在示例 knowledge-assistant 目录内,对应命令为 python -m unittest test_eval_compare_lab -v 和 python eval_compare_lab.py。原示例环境使用 .venv 的 Python;自备环境使用 Python 3.10 或更新版本。模块只用标准库,不安装统计包,不联网,也不调用模型。

默认新建 .runtime/compare-UTC时间,通过 --output 新目录 指定位置。已有目录会被拒绝,旧失败记录不会被新结果盖掉。输出 baseline.jsonl、candidate.jsonl 和 summary.json,先看摘要,再按 case_id 回到成对记录。

1.先确认两边比较的是同一批题

把配置 A 的平均值和配置 B 的平均值放在一起,并不自动构成成对比较。如果 A 跑了容易的二十题,B 跑了困难的二十题,差值混进了题目差异。本章要求同一 case_id 在两边都出现,重复编号也完全一致。

输入使用原来的 Case 数组。每条运行记录保存 case_id、repeat、split、cluster_id、answerability、status、四项检索指标和耗时,并带统一 provenance。题集与语料必须一致,配置允许变化;同一侧内部的配置、代码与语料记录必须统一。

漏一侧、重复一行、题目归属漂移、题集哈希不匹配,都得到 comparable=false 和明确原因。脚本不取两侧交集,也不替缺失记录编造零分。缺记录意味着运行没有交齐;已有 error 或 timeout 记录则表示题已运行但未成功,两者需要不同处理。

检查点 1

候选少了 c3,基线还有 c3,能先比较 c1 和 c2 吗?本实验拒绝这次输入。补齐真实记录或重新运行完整集合,再解释结果。

2.失败保留,无参考题单独报告

有答案题成功时,Hit、Recall、MRR、NDCG 必须是有限的零到一数值。布尔值不是合法分数,NaN、无穷大和越界值都会被拒绝。成功记录缺一项指标,也不能被自动视为通过。

已有 error、timeout、unknown 状态的有答案运行,四项指标按零计入分母。unknown 表示观察到的状态未知;把它按零纳入本次检索得分,是保守计分约定,不代表已经知道失败原因。

成对记录 有答案指标的分母 状态与耗时
有答案,运行成功 保留并用实际有限指标 保留成功状态和有效耗时
有答案,错误或超时 保留,指标计零 保留失败;耗时缺失记 unknown
无答案或无权回答 不进入有答案指标分母 单列状态和是否返回证据
缺侧或重复 整次比较拒绝 不静默删行修成完整输入

无 gold 的题没有 Recall 分母;不能因为空参考集合而写 Recall=1。返回了证据,只是检索现象。它没有告诉我们模型会不会错误作答,也没有完成对证据权限的逐项人工核验,因此报告没有“拒答正确率”。

检查点 2

三道有答案题,候选一题成功命中、一题报错、一题超时,Hit 是多少?答案是三分之一。只保留成功题会把它错误写成一。

3.三次重复还是一道题

同一道题跑三次,可能帮助观察运行波动,但没有新增三种独立问题。先对每题每侧的三次检索指标求平均,再计算候选减基线的题级差值。每个 case_id 在摘要中只出现一个观测。

例如一题候选的三次 Hit 是一、一、零,这道题的候选观测是三分之二。另两题各为一,总体候选 Hit 是八分之九。独立题数是三,原始运行数是九;把九行都叫新题会夸大覆盖范围。

重复中失败仍为零,不能先删掉失败再求题平均。耗时则保留有效测量:某题三次只记录了两次耗时,题级耗时均值使用这两次,同时写明两次 known、一次 unknown。有效耗时不能代表缺失的那一次。

总体耗时是题级已知耗时的平均值。耗时配对差值只使用两边题级耗时都已知的题,并附 paired_known_cases。这里没有为缺失时延插值,也没有把小差值换算成生产吞吐量。

检查点 3

40 题每边重复三次,原始记录共 240 条。用于题级比较的 N 是 40,不是 120 或 240。重复次数写入记录,题数单独报告。

4.按问题簇一起抽,不拆开配对

同一设备、同一制度的问题往往相关。把它们当成完全独立题逐条抽样,可能低估不确定性。本实验使用 tenant、split、cluster_id 三元组作为簇单位。两个租户同名的簇不会合并,两个 split 也不会合并。

先得到每道题的差值,再有放回地抽簇。每轮抽取的簇数等于原来有答案簇数;同一组抽签同时用于基线和候选。一个簇抽到两次,它的所有题就一起出现两次。每轮取抽到题的平均差值,所以估计对象仍是题平均变化。

默认执行 1000 轮,固定 seed=7。对差值排序后,计算 2.5% 和 97.5% 分位。算法采用 h=(n−1)p,在相邻值之间线性插值;四个值零、十、二十、三十的 25% 分位是 7.5,而不是随意选最近的整数。

本实现采用标准库随机数,不依赖 SciPy。样本轮数只接受 100 到 5000 的整数,repeat 只接受 1 到 10,每组最多 1000 行。布尔值、无限值和巨大参数会被明确拒绝,避免一次演示变成无边界任务。

检查点 4

基线抽到设备簇 X,候选能另抽制度簇 Y 吗?不能。同一轮必须使用同一批簇,否则差值混入了两边不同的抽样题目。

5.区间说明的是这批题的变化

如果切片只有一个有答案簇,反复抽样仍只会抽到它。程序返回 null 区间,并注明少于两个有答案簇。它不把零宽区间包装成足够可靠的证据。没有有答案题时,均值、变化和区间也都为 null。

当至少两个簇存在、每题两侧指标完全相等时,差值区间可以是 [0,0]。这是当前有限样本中所有配对差值都为零造成的结果;它不能证明两个配置在新资料、新租户或新问题上永远相等。

cluster_n 专指参与指标重采样的有答案簇数。每个切片同时列出全部题数 n 与有答案题数 answerable_n,避免把无参考题的存在隐藏起来。切片不够大时,先保留观察与限制,不靠增加抽样轮数制造更多资料。

公开 dev 与 public_frozen 可以一起运行,方便核对这四十题,但混合摘要必须注明用途。公开冻结题已经可被阅读;即使哈希未改变,也不能据此声称盲测泛化。真正的新资料验收,需要独立保管并未参与调参的问题簇。

检查点 5

一个簇跑了一万轮 bootstrap,会变成一万个独立簇吗?不会。增加轮数只是重复抽签,资料覆盖范围没有扩大。

6.总平均之外,检查切片退化

摘要分别按 split、answerability、簇列出题数、失败、均值、变化和配对 case_id。先看总体有没有变化,再看具体切片向哪个方向变。不能因为一个大切片改善,就自动忽略小切片的退化。

原创夹具中三题分成一个公开冻结题和两个开发题。基线命中一、零、零;候选命中零、一、一。总体提高三分之一,公开冻结切片却下降一。这个例子是统计边界输入,不是本次检索实现真实发生的回归。

观察到退化后,按 case_id 核对原始配对记录,区分运行错误、排序变化与上下文截断。修配置前写下假设,再在相同题集上核对。若针对这些题持续调整,它们就已经参与开发,结果的使用范围也要跟着说明。

错误与超时既计入分母,也在 status_runs 中保留次数;failures 统计至少一次未成功的题数。两者单位不同。证据返回分布统计运行次数,不能和题数直接相加,也不能被改名为语义安全指标。

检查点 6

总体提高三分之一,但一个小切片下降一,报告能只写“整体提升”吗?应同时写出退化切片、配对题 ID、规模和下一步核对。

7.真实结果:缩小预算没有提高检索指标

本次真实演示读取 dev.json 和 public_frozen.json,各二十题。使用现有 lab.seed 与 core.retrieve,在临时数据库中固定 BM25、k=3、candidate_k=12,只把上下文预算从 2400 字符改成 800。每题两边各跑三次,交替先后顺序并记录 sequence。

四十题中,有答案三十三题、无答案四题、无权回答三题。两侧全部 120 次运行成功,没有缺失耗时。有答案题进入八个簇;dev 有十六道有答案题、三个簇,公开冻结有十七道、五个簇。

两侧 Hit 和 Recall 都为 1,MRR 都约 0.969697,NDCG 都约 0.977632。四项差值都是零,两个 split 也没有指标变化。缩小预算没有改善这些检索指标,这个没有改善的结果必须留在报告中。

七道无 gold 题两边每次都返回了证据。它们仍不进入上述三十三题分母;返回的片段是否支持答复、是否需要拒答,不能由命中统计推断。semantic_verification 始终 unassessed。

检查点 7

Hit=1 能改写成“回答准确率百分之百”吗?不能。它仅表示这些有参考文档的题在检索结果中命中了文档,没有评判答案中的每个主张。

8.把证据留给下一次核对

真实记录只保存必要的 ID、状态、指标、计时与哈希;不导出原问题、答案正文或凭证。summary.json 包含题级聚合、分层摘要、运行环境与输入文件前后哈希。原题集、参考字段和语料没有被改写。

本次两侧题级平均耗时约为 3.176 与 3.170 毫秒。差异很小,且来自本机临时库、固定执行顺序与缓存状态,没有隔离其他负载。交替顺序能减少单一先后偏差,不能把它升级为生产性能基准。

需要复跑时选择新目录,检查题集和语料哈希是否一致,再读每个切片。不匹配先解释输入变化,切片样本少就保留 null 或有限区间。若要验收生成质量,另做人工语义审查,不能在这里给未知主张自动赋分。

对照分母表区分 240 条运行、40 个题级观测、33 道有答案题和 8 个有答案簇。核对失败是否留在分母里,以及无 gold 的题目是否另计。

检查点 8

保留 baseline.jsonl、candidate.jsonl、summary.json 和失败测试记录后,写下一句范围说明:这是公开小题集上的配对检索比较,语义质量仍未评估。

方法参照:SciPy 配对重采样接口说明。本章只采用配对抽样概念,自定义标准库簇实现及分位算法已明确列出,不声称与其默认置信区间方法相同。

打卡记录保存在你的浏览器里,首页能看到总进度