📑 本页目录(点开跳转)
11 · 标签噪声
数据这一关 / 11
可疑标签被找出来,就该直接删掉吗?
先把训练标签噪声与评测尺子的错误分开,再看置信学习和复核处置。
能区分筛查候选与确认错标,定位删、改、重标及评测集门禁。
⏱ 64 分钟 | ⭐ 评测集里的一个错标签,比训练集里的十个更贵
🎯 一句话
你的标签里有百分之几是错的 —— 这不是"如果",是"已经"。 训练集里的噪声,大部分能被集成、正则和早停扛过去; 评测集里的噪声扛不过去 —— 它不让模型变差,它让你选错模型、选错方向。
🧭 一、先接受一个事实:标签本来就有错
很多人默认「标签 = 真值」,然后把所有精力花在模型上。 但 2021 年有人系统性地核查了十个最常用的公开测试集,结论大致是这样:
| 数据集 | 测试集里被判定标错的比例(量级) |
|---|---|
| MNIST / CIFAR-10 | ~0.15% / ~0.5% |
| 20news / Caltech / AudioSet | ~1%–1.5% |
| IMDB / Amazon 评论 | ~3%–4% |
| ImageNet 验证集 / CIFAR-100 | ~5.8% / ~5.9% |
| QuickDraw | ~10% ⭐ |
💀 这份核查最该被记住的不是错误率,是它的第二个结论: 把 ImageNet 验证集的错标签修正之后,模型的排名会变—— 在原始标签下更强的大模型,在修正后的标签下会输给更小的模型。 也就是说:过去很多"更大更好"的结论,一部分是在跟标签噪声较劲。
公开数据集是被反复审视过的,你自己的业务数据只会更差。 经验区间:外包标注的多分类任务 5%–15%,主观任务(意图、情感、内容尺度)15%–30% 都不罕见。
噪声从哪来(四条,前两条占绝大多数):
操作步骤
- 定义模糊 —— 指南没写清边界,两人理解不同
- ⭐ 最大的一类,且它产生的是【系统性】噪声
- 标注员漂移 —— 换人、换供应商、疲劳、KPI 压力(第 9、10 章)
- 工具与流程 —— 界面默认选中、快捷键手滑、批量操作误伤
- 客观困难样本 —— 图糊了、文本本来就有歧义
- ⚠️ 这不是"错",是"这条数据不该有确定标签"
⭐ 区分随机噪声与系统性偏差,是为了决定复核重点。对称随机翻转下,集成、正则和早停可能减轻影响;指南或批次偏差应追查标注依据。正则不能证明或修正标签语义,但也不能据此断言对系统性噪声一概无效。处置须看复核证据与受影响类别,不能只凭噪声名称。
🧪 二、噪声对训练到底有多大影响(实跑)
下面保留一组历史合成实验记录(16000 条、20 维、3 分类,训练 12000 / 干净测试集 4000)。往训练标签里注入 x% 的对称噪声,在干净测试集看准确率;本轮未重跑,表中表现只适用于这组数据、模型与注噪设置,不能用来设通用清洗门槛。
| 模型 | 0% | 5% | 10% | 20% | 30% | 40% |
|---|---|---|---|---|---|---|
| 逻辑回归 | 0.7635 | 0.7615 | 0.7638 | 0.7622 | 0.7605 | 0.7475 |
| 随机森林(200 棵) | 0.9463 | 0.9473 | 0.9467 | 0.9420 | 0.9270 | 0.9085 ⭐ |
| 无限深单棵树 | 0.8610 | 0.8080 | 0.7670 | 0.6853 | 0.6142 | 0.5407 💀 |
| 深度限制树(depth=6) | 0.8215 | 0.8150 | 0.8077 | 0.8053 | 0.8045 | 0.7668 |
| KNN(k=15) | 0.9200 | 0.9187 | 0.9175 | 0.9035 | 0.8795 | 0.8125 |
⭐ 第二行和第三行放在一起看,就是这一节的全部内容: 同一份数据、同样 40% 的错标签,随机森林只掉 3.8 个百分点,单棵深树掉 32 个百分点。 差别不在"模型多强",在于它有没有机会把每一条错标签单独记住。
同一批实验,看它们在自己训练数据上的拟合准确率(对着噪声标签):
| 模型 | 0% | 20% | 30% | 40% |
|---|---|---|---|---|
| 随机森林 / 无限深单棵树 | 1.0000 | 1.0000 | 1.0000 | 1.0000 💀 |
| 深度限制树 | 0.8442 | 0.6913 | 0.6228 | 0.5481 |
| 逻辑回归 | 0.7665 | 0.6342 | 0.5680 | 0.5042 |
💀 这张表值得单独记一条规矩: 在有噪声的数据上,「训练准确率 100%」不是好消息,是"它把 40% 的错标签也背下来了"。 记忆化(memorization)就长这样: 只要模型的容量够,它总能给每一条离谱的标签单独开一个小房间。 ⭐ 判据:训练准确率明显高于「1 − 你估计的噪声率」,就说明它在记噪声。 上面 40% 那一列,健康的上限应该在 0.6 附近,而两棵树都是 1.0。
为什么随机森林能扛住而单棵树不能:森林里每棵树只看到 bootstrap 的一部分数据, 一条错标签平均只影响 63% 的树,最后多数投票时它被淹掉了。 这条推论可以直接用:
| 抗噪的 | 不抗噪的 |
|---|---|
| 集成 + 投票/平均(RF、bagging)⭐ | 单模型、尤其是无限深的树 |
| 容量受限(限深、限叶子、强 L2) | 容量远大于数据量的网络 |
| 早停(噪声总是在后期才被拟合)⭐ | 训到 loss 收敛为止 |
| 标签平滑、mixup、鲁棒损失(GCE) | 纯交叉熵 + 高学习率长训练 |
⭐ "早停"是抗标签噪声性价比最高的一招,而且是免费的: 神经网络的学习是有顺序的 —— 先学干净样本里的规律,后背错标签。 所以验证曲线通常「先涨到峰值,再缓慢下滑」, 那个峰值点就是"干净规律学完了、开始记噪声了"的分界 (ML 基础 10 · 正则化全家桶)。
⚠️ 但上面这些结论只对随机(对称)噪声成立。 换成系统性噪声,画风完全变了:
| 噪声率 | 对称噪声:总体 / 类0召回 | 非对称噪声(只把 0 标成 1):总体 / 类0召回 |
|---|---|---|
| 10% | 0.9433 / 0.9033 | 0.9390 / 0.8681 |
| 20% | 0.9393 / 0.9025 | 0.9257 / 0.8186 |
| 30% | 0.9233 / 0.8883 | 0.9015 / 0.7339 |
| 40% | 0.8960 / 0.8553 | 0.8405 / 0.5457 💀 |
💀 注意这张表的形状:40% 的非对称噪声下,总体准确率只掉了 5.6 个百分点 (0.8960 → 0.8405,很多人会觉得"还行"), 但类 0 的召回从 0.855 塌到 0.546。 ⭐ 系统性噪声不打总体指标,它只打某一类 —— 而那一类, 往往正是你花钱建这个模型要抓的那一类(欺诈、违规、故障、疾病)。 只看总体指标的团队,对系统性标签噪声是全盲的。
🔍 三、置信学习:把可疑标签捞出来
先找值得核查的模型—标签分歧,不先判谁对。下方代码只实现折外阈值启发式:概率来自未用该样本训练的模型,降低记忆自身标签的影响。折外不保证概率可靠;分组、时间、重复样本与预处理仍须按任务隔离,5 折只是本例设置。
操作步骤
- 5 折交叉验证,拿每条样本的【折外】预测概率 p(c | x)
- 自信度 = p(给定标签),越低越可疑
- 当预测类不同于给定标签,且其概率超过该类平均自信度
- 将其列为待复核候选,不据此判定标签错误
- 人工依据原始样本、指南与独立意见核查,保留不确定项
这段筛选不等于完整 confident learning。原论文用阈值计数构造给定标签与潜在真标签的 confident joint,再校准边际并归一化估计联合分布,还讨论筛选与排序及其充分条件。本例未实现联合计数与校准;只检查一次分歧,不能套用论文的精确识别保证。这里的联合计数校准也不等同“概率已经校准”。依据:CL 原论文 §3 与附录 B。
多分类中某些类别分不开,先辨三种原因。① 标签错误或定义歧义:回看原始材料与指南,双人独立复核、仲裁;确错才更正,歧义应保留不确定或修订定义,不能改成模型喜欢的标签。② 表示或样本覆盖不足:标签有依据但当前输入缺少区分信息,按混淆类别及来源切片,检查特征、采集质量和少数类覆盖,再在独立留出集验证补充信息或数据是否有效。
③ 给定可观测信息下的重叠:即使标注有依据,多个类也可能呈现相同或相近输入;补充决策时可获得的信息,或按业务代价考虑拒识、集合输出/多标签、层级分类或调整类别定义。任务定义改变须重新评测,不能直接比较旧准确率。仅凭混淆矩阵或一个模型失败,不能证明不可约重叠或错误标签。可对照 cleanlab 官方工作流中标签问题与分布重叠的区别。
import numpy as np
from sklearn.model_selection import cross_val_predict, StratifiedKFold
from sklearn.ensemble import HistGradientBoostingClassifier
def find_label_issues(X, y, n_classes, base=None, cv=5, seed=0):
"""折外阈值启发式:返回 (候选掩码, 模型建议的标签, 自信度)
y 必须是 0..n_classes-1 的整数标签"""
y = np.asarray(y, int)
base = base or HistGradientBoostingClassifier(random_state=seed)
# ⭐ 必须是折外概率:模型不能见过它正在评判的那条标签
proba = cross_val_predict(
base, X, y, cv=StratifiedKFold(cv, shuffle=True, random_state=seed),
method="predict_proba", n_jobs=-1)
n = len(y)
pred = proba.argmax(1)
self_conf = proba[np.arange(n), y] # 对"现有标签"的自信度
# 每类平均自信度阈值;此筛选未实现完整联合计数与校准
thr = np.array([proba[y == c, c].mean() for c in range(n_classes)])
suspect = (pred != y) & (proba[np.arange(n), pred] > thr[pred])
return suspect, pred, self_conf
# 用法:suspect 送人工证据复核;self_conf 升序可作候选优先级
历史合成记录(12000 条,注入不同比例的噪声,本轮未重跑)。下表旧称 confident joint 的行实际对应上方阈值启发式,数值原样保留,不代表完整 CL 的测评结果:
| 噪声率 | 方法 | 标出条数 | 精确率 | 召回率 |
|---|---|---|---|---|
| 5%(600 条) | 直接 disagreement | 1211 | 0.485 | 0.978 |
| 阈值启发式 (旧称 confident joint) |
551 | 0.846 | 0.777 | |
| 10%(1200 条) | 直接 disagreement | 1828 | 0.636 | 0.968 |
| 自信度 Top-1200 | 1200 | 0.888 | 0.888 | |
| 阈值启发式 (旧称 confident joint) |
1074 | 0.875 | 0.783 | |
| 20%(2400 条) | 直接 disagreement | 3115 | 0.743 | 0.965 |
| 阈值启发式 (旧称 confident joint) |
2156 | 0.891 | 0.801 |
⭐ 两种方法都只产生候选。本表的直接 disagreement 召回较高但有误报;阈值启发式的历史精确率为 0.846、0.875、0.891,也含误报,不能成为直接删除或改标清单。应按原始证据与指南人工复核,记录确认错误、标签有据、歧义与待补信息;另抽未入选样本估计漏检,按类别/来源报告分母。
⚠️ 模型质量会影响候选质量,但总体准确率不是审标签资格证。保留的 10% 噪声合成记录中,逻辑回归准确率 0.76、阈值启发式精确率 0.346;GBDT 准确率 0.95、该筛选精确率 0.875。这只是特定设置下的对照。没有“准确率必须高于 1 − 噪声率”的通用门槛;要看类级错误、概率可靠性、分布与独立人工证据,模型和原标签都可能错。
🛠️ 四、捞出来之后:删、改,还是重标(实跑)
以下保留同一份合成数据、同一个随机森林的历史处置对比,本轮未重跑。“送人工重标”是旧记录中的处理项,不是本轮真实人工复核证据;本表未完整附上数据生成与标注流程,不能据此保证业务收益。
| 噪声率 | 原样训练 | 删掉可疑 | 机器自动改标 | 只把可疑的送人工重标 | 全部标对(上限) |
|---|---|---|---|---|---|
| 10% | 0.9467 | 0.9407 | 0.9403 | 0.9403 | 0.9463 |
| 20% | 0.9420 | 0.9347 | 0.9290 | 0.9415 | 0.9463 |
| 30% | 0.9270 | 0.9247 | 0.9230 | 0.9383 ⭐ | 0.9463 |
⭐ 这组记录展示了误报的代价,没有给出统一处置规则。10% 那一行原样训练为 0.9467,高于该表三种处理;1074 个候选、精确率 0.875 对应约 940 个确错和 134 个误报(由已舍入指标估算,非新增计数实验)。不能推成所有 10% 噪声都不处理。机器自动改标在这张表中没有获益,提示把模型分歧直接写成真值可能固化偏差,不等于任何任务都必然失败。
那什么时候采取什么措施?按证据决定,不用 10% 一刀切:
| 复核发现 | 可考虑的处理与验证 |
|---|---|
| 估计噪声较低、近似随机 | 保留基线,结合受影响类别、错误代价与预算试验处理;低于 10% 也可能伤及关键小类,不自动免检。 |
| 模型容易记忆 | 比较早停、限容量、鲁棒训练等候选;标签有证据错误时仍应修正,不能用正则替代语义复核。 |
| 混淆集中于某类、标注员或批次 | 追查指南、来源与采集/表示问题,独立复核后才定受影响范围。确认系统性错标再修指南和相关标签;集中混淆本身不是错标证明。 |
| 类别不平衡、关键类稀少 | 分层抽检,覆盖假阳性与假阴性,按代价、精确率和召回评估;不能给单个错标赋统一倍数影响。 |
| 评测标签可疑 | 优先核实关键评测样本,保留原标签、证据及仲裁版本;不照模型输出改评测答案,并使用独立评测检查变化。 |
| 原因或定义尚不清楚 | 双人独立复核并仲裁,记录歧义;抽样量按类别覆盖与估计不确定性确定,不把固定 300 条当成充分保证。 |
⭐ 先核查,再决定保留、更正、隔离、补标或调整定义。候选排序只分配复核预算;保存旧/新标签、证据、指南版本与仲裁理由,用独立留出集和关键切片比较处理前后。表里 30% 那一行,旧记录重标 3471 条后为 +1.13pp(0.9270 → 0.9383),删除与自动改标为负收益;这些是该合成条件下的结果,不保证人工复核或清洗总能提升。
💀 五、评测集里的噪声更致命(本章的重点)
前面四节讲的都是训练集。现在把噪声搬到评测集上,后果完全不是一个量级。
后果一:你的分数有天花板,而且你不知道它在哪。
一个真实水平 0.9463 的干净模型,放在带噪声的评测集上:
| 评测集噪声 | 你测出来的分数 | 这个评测集的天花板 |
|---|---|---|
| 0% | 0.9463 | 1.00 |
| 2% | 0.9263 | 0.98 |
| 5% | 0.9020 | 0.95 |
| 10% | 0.8568 | 0.90 |
| 20% | 0.7628 | 0.80 |
💀 模型一点没变,分数掉了 9 个百分点。 而你看到的现象是"模型只有 0.857,还差得远" —— 于是你去加特征、调参、换架构, 在一个上限只有 0.90 的尺子上追一个永远追不到的数。 ⭐ 这是标签噪声制造的最大浪费:不是模型变差,是研发方向被带偏。
后果二(更贵):排名翻转 —— 你会选错模型。
模拟两个真实水平很接近的模型:A = 0.900,B = 0.885(真实差 1.5 个百分点), 两者对 90% 的样本判定一致。看在不同评测集下"B 反超 A"的概率:
| 评测集噪声 | 300 条 | 1000 条 | 3000 条 |
|---|---|---|---|
| 0%(干净) | 22.6% | 7.2% | 0.4% |
| 3% | 27.4% | 12.7% | 2.5% |
| 5% | 30.4% | 15.1% | 4.0% |
| 10% | 34.9% | 21.5% | 8.3% 💀 |
💀 看最右边那一列:3000 条的评测集,干净时选错模型的概率是 0.4%; 只要评测集有 10% 的标签噪声,这个概率变成 8.3% —— 二十倍。 同时,测出来的差的标准差从 0.0058 涨到 0.0090(方差涨 2.4 倍)。 ⭐ 换算一下就是:10% 的评测集标签噪声, 等于把你 3000 条的评测集缩水成了 1250 条。 你以为你在用一把 3000 条的尺子,实际手里只有 1250 条。
后果三:真实的改进被系统性打折。
同一组实验,两个模型的真实差距是 +0.0395:
| 评测集噪声 | 测出来的差 | 相当于真实差的 |
|---|---|---|
| 0% | +0.0395 | 100% |
| 5% | +0.0365 | 92% |
| 10% | +0.0336 | 85% |
| 20% | +0.0281 | 71% |
⭐ 这个缩水可以算:K 分类对称噪声下,测出的差 ≈ 真实差 × (1 − e·K/(K−1))。 后果很具体:一个真值 +2pp 的改进,在 10% 噪声的评测集上只显示 +1.7pp, 再撞上置信区间,就会被判成"没效果"然后被放弃。 💀 标签噪声不只让你选错模型,还会让你扔掉正确的方向。
后果四:同样的标注预算,花在评测集上的边际价值高一到两个数量级。
一个把上面所有账算清楚的实验 —— 训练集 10% 噪声、评测集 10% 噪声:
因果链
⭐ 这是本章最该带走的一条: 修训练标签买的是模型的边际提升(很小),修评测标签买的是"你知不知道自己在哪"(无价)。 预算紧张时的顺序永远是:先把评测集弄干净,再谈训练集。 具体的预算分法在第 12 章。
💀 六、事故复盘:一次"指标涨了 2.6 个点"的灾难
对照
系统:短视频平台的「引流广告」识别模型(自动下架 + 送人工复核队列)
规模:日均入审 380 万条,正样本率约 0.9%
标注:外包团队,训练集 42 万条、评测集 3 万条
⭐ 同一批人、同一个批次、从同一个池子里随机切出来的
发生了什么
第 3 季度换了标注供应商。新团队对指南里的一条边界理解反了: 「简介里留了联系方式,但视频内容本身与推广无关」—— 旧指南写的是不算引流广告,新团队一律标成算。 这类样本占全部正样本的 23%。
| 时间 | 事件 |
|---|---|
| 第 1 周 | 新供应商接手,42 万条训练数据 + 3 万条评测数据在同一批次产出 |
| 第 5 周 | 新模型训练完成,评测集 F1 从 0.881 涨到 0.907(+2.6pp) ⭐ 全组认为是季度三个优化的功劳 |
| 第 6 周 | 评审通过,全量上线 |
| 第 8 周 | 申诉量从日均 220 条涨到 1,940 条 —— 被归因为"新社区政策让用户更敏感" |
| 第 12 周 | 一个头部创作者公开发帖,运营找过来,才开始查标签 |
为什么没被发现(四条,第一条是根)
操作步骤
代价
| 影响项 | 记录 |
|---|---|
| 从上线到定位 | 27 天 |
| 误下架内容 | 约 11.6 万条 |
| 申诉成功率 | 87% ← 反过来证明这批下架确实是错的 |
| 公关 | 3 个头部创作者公开发声,平台发公告 + 补偿 |
| 返工 | 重标评测集 3 万条 ¥8.4 万 / 11 天 |
| 重标训练集 | 9.7 万条 ¥27 万 / 5 周 |
最昂贵的损失
- ⭐ 但最贵的一项是:第 3 季度基于这套评测集做的 14 次实验,结论【全部作废】
该补什么
| 缺失 | 补上之后 |
|---|---|
| 评测集和训练集同源同批 | ⭐ 评测集必须独立标注:不同的人、不同的时间、更严的流程、多人交叉 + 仲裁 |
| 没有黄金集 | 留一份 500–1000 条的黄金集:资深标注员 3 人一致才收;换供应商、换指南、换批次时先跑它 |
| 没有标注员级别的监控 | 按标注员 / 批次 / 周统计各类的正样本率,偏离 > 2σ 报警(第 10 章) |
| 抽检只抽低置信度样本 | ⭐ 抽检必须包含高置信度的正样本 —— 系统性噪声就藏在那里 |
| 指标只看总体 F1 | 按指南的每一条边界规则分桶看;总体涨、某个桶塌是最典型的形状 |
| 指南变更没有留痕 | 指南进版本库,每次修订跑一次黄金集(第 17 章) |
💀 这个事故一句话总结: 当评测集和训练集共享同一个标注偏差时,评测集测的不是"模型对不对", 是"模型有没有学会和标注员犯一样的错"。 ⭐ 而模型学得越好,这个分数就越高 —— 指标和真相是反向的。
🧰 七、三条可以直接加进流程的门禁
- ① 评测集独立性:标注人员与训练集重叠为 0、不同批次产出、做过多人交叉 + 仲裁 ⭐
- ② 噪声率估计(每季度):从评测集抽 300 条双人独立重标,把「本次评测天花板 ≈ 1 − e」写进模型报告 ⭐
- ③ 记忆化体检(每次训练):训练准确率明显高于
1 − 估计噪声率= 它在背噪声
双标分歧的历史诊断示例:双人一致仍可能共同偏差,且该子集不代表全量数据。下方返回字段名沿用旧代码;其中“原标签估计错误率”和“评测天花板”不能仅凭双人一致就当成真实错误率或普遍上界,须补独立证据、仲裁与抽样不确定性。
import numpy as np
from collections import Counter
def noise_rate_from_double_labeling(orig, ann_a, ann_b):
"""orig: 线上在用的标签 ann_a/ann_b: 两位标注员独立重标的结果
返回:标注员不一致率(非真错率)、以及双人一致子集的原标签分歧率"""
orig, a, b = map(lambda v: np.asarray(v), (orig, ann_a, ann_b))
disagree = (a != b).mean() # 双标分歧只提示待复核,不能证明样本本身难
both_agree = a == b
# 只算双人一致子集的分歧;两人仍可能同错,不能单独当作真值
err = (orig[both_agree] != a[both_agree]).mean()
# ⭐ 最有用的一列:错误集中在哪几种混淆上
conf = Counter((int(o), int(t)) for o, t in
zip(orig[both_agree], a[both_agree]) if o != t)
return {
"标注员不一致率": round(float(disagree), 4),
"原标签估计错误率": round(float(err), 4),
"评测天花板": round(1 - float(err), 4), # 沿用旧字段名,非普遍上界,见正文条件
"Top5 混淆": conf.most_common(5), # 集中混淆是复核线索,不是原因证明
}
# 判读:先查指南、表示/覆盖和分布重叠;确认标签错误后再修复
⭐ “Top5 混淆”用于确定复核切片,不单独判原因。错误集中可能来自指南歧义、类别先验、表示缺失或分布重叠;分布较散也不能证明独立随机噪声。结合原始证据、独立标注及类级覆盖,按第三、四节的诊断与处置走,不能只靠混淆形状决定改标。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 第 10 章 · 标注一致性 | 噪声的上游:一致性指标(Kappa 等)就是本章"噪声率"的另一面 |
| 第 12 章 · 标注预算与主动学习 | 本章第五节说"先修评测集",那一章讲这笔钱具体怎么切 |
| 第 13 章 · 评测集也是数据 | ⭐ 评测集噪声只是评测集问题的一种,那一章是评测方法论的总入口 |
| 第 7 章 · 异常值是错还是真 | 同一个判断的另一半:特征侧的"错还是真",本章是标签侧的 |
| ML 基础 10 · 正则化全家桶 | 早停、标签平滑、mixup 的具体做法 —— 抗随机噪声的主力工具 |
| Kaggle 02 · 训练策略与正则化 | 竞赛视角的抗噪训练:鲁棒损失、软标签、伪标签的噪声控制 |
| 模型上线之后 07 · 没有标签怎么发现退化 | 线上根本拿不到干净标签时,怎么估计模型真实水平 |
✅ 检查点
- 公开数据集的标签错误率大概是什么量级?那份核查最重要的第二个结论是什么?
- 随机噪声和系统性噪声该怎么区分?为什么这个区分是本章所有判断的分水岭?
- 实测里 40% 噪声下,随机森林和无限深单棵树的准确率各是多少?差别的原因是什么?
- 为什么说「训练准确率 100%」在有噪声的数据上是坏消息?判据怎么写?
- 非对称噪声那张表里,40% 时总体准确率掉了多少、类 0 召回掉了多少?这说明什么?
- 本页折外阈值启发式与完整置信学习有什么区别?为什么分歧只应进入复核队列?
- 历史表中的三种处置各有什么条件与风险?为何不能用 10% 设通用门槛,类别难分还要辨哪些原因?
- 评测集 10% 噪声会带来哪四个后果?其中"3000 条缩水成 1250 条"是怎么算出来的?
- 修 1000 条训练标签和修 400 条评测标签,各买到了什么?
- 那个短视频的事故里,根因是什么?为什么模型学得越好、评测分数越高?抽检为什么没抓到?
👀 答案
- 从 MNIST 的 ~0.15% 到 QuickDraw 的 ~10%,ImageNet 验证集约 5.8%、CIFAR-100 约 5.9%,十个测试集平均 3% 左右。第二个结论更重要:修正标签之后模型排名会变 —— 原始标签下更强的大模型会输给更小的模型。业务数据只会更差:外包多分类 5%–15%,主观任务 15%–30%。
- 随机翻转与指南/批次偏差提示不同复核重点。集成、正则和早停可能缓解部分影响,但不能证明标签语义正确;发现集中混淆也不等于已确认错标,应检查指南、表示和类级覆盖,再按证据处置。
- 随机森林 0.9085(只掉 3.8pp),无限深单棵树 0.5407(掉 32pp)。原因是森林里每棵树只看到 bootstrap 的一部分,一条错标签平均只影响 63% 的树,多数投票时被淹掉;单棵深树则可以给每一条错标签单独开一个叶子。
- 因为它意味着模型把错标签也背下来了(记忆化)。判据:训练准确率明显高于「1 − 估计噪声率」就说明它在记噪声 —— 40% 噪声下健康上限约 0.6,而随机森林和深树都是 1.0000。
- 总体只掉 5.6pp(0.8960 → 0.8405),类 0 召回从 0.8553 塌到 0.5457。说明系统性噪声不打总体指标,只打某一类 —— 而那一类往往正是你要抓的那一类(欺诈、违规、疾病)。只看总体指标的团队对它是全盲的。
- 本页代码取折外概率、计算给定标签自信度,再用预测分歧与类均值阈值筛候选;未实现完整 confident joint 联合计数与校准。原论文的保证有条件,不等于“越过阈值就标错”。历史合成对照中逻辑回归(准确率 0.76)对应候选精确率 0.346,GBDT(0.95)对应 0.875;均不能替代原始材料、指南与独立人工复核,也没有统一准确率资格线。
- 历史合成表中,30% 那行“送人工重标”为 0.9270 → 0.9383,10% 那行原样训练 0.9467 高于三种处理;本轮未重跑,不能推广成 10% 不处理或重标总最优。阈值启发式精确率 0.875 仍含误报,改标须有证据;还要辨别标签歧义、表示/覆盖不足与给定信息下的可能重叠,按代价及独立切片评测选方案。
- ①分数有天花板(真实 0.9463 的模型在 10% 噪声评测集上只测出 0.8568,天花板 0.90)②排名翻转(3000 条评测集,干净时选错概率 0.4%,10% 噪声时 8.3%,二十倍)③真实改进被打折(真差 0.0395 → 测出 0.0336,只剩 85%;20% 噪声时剩 71%)④预算的边际价值错配。"缩水"是这样算的:测出的差的标准差从 0.0058 涨到 0.0090,方差涨 2.4 倍,而方差和 n 成反比,所以 3000/2.4 ≈ 1250 条。
- 修 1000 条训练标签:真实水平 0.9473 → 0.9480,+0.0007,基本白花,而且你测出来的还是 0.85。修 400 条评测标签:测出 0.9475,和真实值只差 +0.0002 —— 模型没变,但你第一次知道了它真正的水平。修训练标签买的是模型的边际提升,修评测标签买的是"你知不知道自己在哪"。
- 根因是评测集和训练集由同一批人、同一批次标注,模型学到的偏差和评测集里的偏差完全一致 —— 模型越"错得像标注员",评测分数越高,指标和真相是反向的。抽检没抓到是因为只抽了置信度低的样本,而这批误判置信度很高 —— 系统性噪声恰恰藏在模型最自信的地方。代价:27 天定位、误下架 11.6 万条、申诉成功率 87%、返工 ¥35 万,以及当季 14 次实验结论全部作废。
本节回顾
⚡ 走神救援
⭐ 标签本来就有错:公开数据集实测普遍在百分之几,业务外包多分类 5–15%,主观任务 15–30%。💀 更重要的第二结论是:修正标签之后模型排名会变——原始标签下更强的大模型会输给更小的模型。
⭐ 随机翻转与系统性偏差只是排查线索。正则、集成和早停不能替代语义复核,也不是对某一类噪声绝对有效或无效;确认标签错误或指南问题后,再针对证据修复。
⚠️ 系统性噪声不打总体指标,只打某一类——而那一类正是你要抓的那一类。实测非对称噪声下总体只掉几个点,被针对的那一类召回却塌了一半。
⭐ 「训练准确率 100%」在有噪声的数据上不是好消息,判据是「训练准确率明显高于 1 − 噪声率 = 它在背噪声」。抗噪排序:集成投票 > 早停(最便宜,因为网络总是先学规律后背噪声,验证曲线的峰值就是分界)> 限容量、标签平滑、鲁棒损失。
折外阈值启发式只捞候选,不是完整置信学习。⭐ 先按原始证据、指南与独立意见复核,再决定是否更正;歧义与待补信息可暂保留。旧表中自动改标未获益不代表永远如此,10% 不是免检线;不能因模型自信就把标签改成模型预测。
💀💀 评测集噪声比训练集噪声致命得多,四个后果:天花板(好模型也测不出好分数,你会去做无用优化)、排名翻转、真改进被打折(一个真值 +2pp 的改进会被判成「没效果」然后被放弃)、⭐ 预算错配——修训练标签买模型的边际提升,修评测标签买「你知不知道自己在哪」,预算紧张时永远先修评测集。
💀 那个广告识别事故的形状:评测集和训练集同一批人同一批次标的,于是模型越「错得像标注员」,评测分越高——指标和真相是反向的。⭐ 而且系统性噪声藏在模型最自信的地方,只抽低置信度样本的抽检永远抓不到它。
下一节 👉 12-标注预算与主动学习.md