🏠 总目录📚 本教程 11 · 标签噪声 ← →
📑 本页目录(点开跳转)

11 · 标签噪声

数据这一关 / 11

可疑标签被找出来,就该直接删掉吗?

先把训练标签噪声与评测尺子的错误分开,再看置信学习和复核处置。

能区分筛查候选与确认错标,定位删、改、重标及评测集门禁。

⏱ 64 分钟 | ⭐ 评测集里的一个错标签,比训练集里的十个更贵


🎯 一句话

你的标签里有百分之几是错的 —— 这不是"如果",是"已经"。 训练集里的噪声,大部分能被集成、正则和早停扛过去; 评测集里的噪声扛不过去 —— 它不让模型变差,它让你选错模型、选错方向。


🧭 一、先接受一个事实:标签本来就有错

很多人默认「标签 = 真值」,然后把所有精力花在模型上。 但 2021 年有人系统性地核查了十个最常用的公开测试集,结论大致是这样:

数据集 测试集里被判定标错的比例(量级)
MNIST / CIFAR-10 ~0.15% / ~0.5%
20news / Caltech / AudioSet ~1%–1.5%
IMDB / Amazon 评论 ~3%–4%
ImageNet 验证集 / CIFAR-100 ~5.8% / ~5.9%
QuickDraw ~10% ⭐

💀 这份核查最该被记住的不是错误率,是它的第二个结论: 把 ImageNet 验证集的错标签修正之后,模型的排名会变—— 在原始标签下更强的大模型,在修正后的标签下会输给更小的模型。 也就是说:过去很多"更大更好"的结论,一部分是在跟标签噪声较劲。

公开数据集是被反复审视过的,你自己的业务数据只会更差。 经验区间:外包标注的多分类任务 5%–15%,主观任务(意图、情感、内容尺度)15%–30% 都不罕见。

噪声从哪来(四条,前两条占绝大多数):

操作步骤

  1. 定义模糊 —— 指南没写清边界,两人理解不同
  2. ⭐ 最大的一类,且它产生的是【系统性】噪声
  3. 标注员漂移 —— 换人、换供应商、疲劳、KPI 压力(第 9、10 章)
  4. 工具与流程 —— 界面默认选中、快捷键手滑、批量操作误伤
  5. 客观困难样本 —— 图糊了、文本本来就有歧义
  6. ⚠️ 这不是"错",是"这条数据不该有确定标签"

⭐ 区分随机噪声与系统性偏差,是为了决定复核重点。对称随机翻转下,集成、正则和早停可能减轻影响;指南或批次偏差应追查标注依据。正则不能证明或修正标签语义,但也不能据此断言对系统性噪声一概无效。处置须看复核证据与受影响类别,不能只凭噪声名称。


🧪 二、噪声对训练到底有多大影响(实跑)

下面保留一组历史合成实验记录(16000 条、20 维、3 分类,训练 12000 / 干净测试集 4000)。往训练标签里注入 x% 的对称噪声,在干净测试集看准确率;本轮未重跑,表中表现只适用于这组数据、模型与注噪设置,不能用来设通用清洗门槛。

模型 0% 5% 10% 20% 30% 40%
逻辑回归 0.7635 0.7615 0.7638 0.7622 0.7605 0.7475
随机森林(200 棵) 0.9463 0.9473 0.9467 0.9420 0.9270 0.9085 ⭐
无限深单棵树 0.8610 0.8080 0.7670 0.6853 0.6142 0.5407 💀
深度限制树(depth=6) 0.8215 0.8150 0.8077 0.8053 0.8045 0.7668
KNN(k=15) 0.9200 0.9187 0.9175 0.9035 0.8795 0.8125

⭐ 第二行和第三行放在一起看,就是这一节的全部内容: 同一份数据、同样 40% 的错标签,随机森林只掉 3.8 个百分点,单棵深树掉 32 个百分点。 差别不在"模型多强",在于它有没有机会把每一条错标签单独记住。

同一批实验,看它们在自己训练数据上的拟合准确率(对着噪声标签):

模型 0% 20% 30% 40%
随机森林 / 无限深单棵树 1.0000 1.0000 1.0000 1.0000 💀
深度限制树 0.8442 0.6913 0.6228 0.5481
逻辑回归 0.7665 0.6342 0.5680 0.5042

💀 这张表值得单独记一条规矩: 在有噪声的数据上,「训练准确率 100%」不是好消息,是"它把 40% 的错标签也背下来了"。 记忆化(memorization)就长这样: 只要模型的容量够,它总能给每一条离谱的标签单独开一个小房间。 ⭐ 判据:训练准确率明显高于「1 − 你估计的噪声率」,就说明它在记噪声。 上面 40% 那一列,健康的上限应该在 0.6 附近,而两棵树都是 1.0。

为什么随机森林能扛住而单棵树不能:森林里每棵树只看到 bootstrap 的一部分数据, 一条错标签平均只影响 63% 的树,最后多数投票时它被淹掉了。 这条推论可以直接用:

抗噪的 不抗噪的
集成 + 投票/平均(RF、bagging)⭐ 单模型、尤其是无限深的树
容量受限(限深、限叶子、强 L2) 容量远大于数据量的网络
早停(噪声总是在后期才被拟合)⭐ 训到 loss 收敛为止
标签平滑、mixup、鲁棒损失(GCE) 纯交叉熵 + 高学习率长训练

⭐ "早停"是抗标签噪声性价比最高的一招,而且是免费的: 神经网络的学习是有顺序的 —— 先学干净样本里的规律,后背错标签。 所以验证曲线通常「先涨到峰值,再缓慢下滑」, 那个峰值点就是"干净规律学完了、开始记噪声了"的分界 (ML 基础 10 · 正则化全家桶)。

⚠️ 但上面这些结论只对随机(对称)噪声成立。 换成系统性噪声,画风完全变了:

噪声率 对称噪声:总体 / 类0召回 非对称噪声(只把 0 标成 1):总体 / 类0召回
10% 0.9433 / 0.9033 0.9390 / 0.8681
20% 0.9393 / 0.9025 0.9257 / 0.8186
30% 0.9233 / 0.8883 0.9015 / 0.7339
40% 0.8960 / 0.8553 0.8405 / 0.5457 💀

💀 注意这张表的形状:40% 的非对称噪声下,总体准确率只掉了 5.6 个百分点 (0.8960 → 0.8405,很多人会觉得"还行"), 但类 0 的召回从 0.855 塌到 0.546。 ⭐ 系统性噪声不打总体指标,它只打某一类 —— 而那一类, 往往正是你花钱建这个模型要抓的那一类(欺诈、违规、故障、疾病)。 只看总体指标的团队,对系统性标签噪声是全盲的。


🔍 三、置信学习:把可疑标签捞出来

先找值得核查的模型—标签分歧,不先判谁对。下方代码只实现折外阈值启发式:概率来自未用该样本训练的模型,降低记忆自身标签的影响。折外不保证概率可靠;分组、时间、重复样本与预处理仍须按任务隔离,5 折只是本例设置。

操作步骤

  1. 5 折交叉验证,拿每条样本的【折外】预测概率 p(c | x)
  2. 自信度 = p(给定标签),越低越可疑
  3. 当预测类不同于给定标签,且其概率超过该类平均自信度
  4. 将其列为待复核候选,不据此判定标签错误
  5. 人工依据原始样本、指南与独立意见核查,保留不确定项

这段筛选不等于完整 confident learning。原论文用阈值计数构造给定标签与潜在真标签的 confident joint,再校准边际并归一化估计联合分布,还讨论筛选与排序及其充分条件。本例未实现联合计数与校准;只检查一次分歧,不能套用论文的精确识别保证。这里的联合计数校准也不等同“概率已经校准”。依据:CL 原论文 §3 与附录 B。

多分类中某些类别分不开,先辨三种原因。① 标签错误或定义歧义:回看原始材料与指南,双人独立复核、仲裁;确错才更正,歧义应保留不确定或修订定义,不能改成模型喜欢的标签。② 表示或样本覆盖不足:标签有依据但当前输入缺少区分信息,按混淆类别及来源切片,检查特征、采集质量和少数类覆盖,再在独立留出集验证补充信息或数据是否有效。

③ 给定可观测信息下的重叠:即使标注有依据,多个类也可能呈现相同或相近输入;补充决策时可获得的信息,或按业务代价考虑拒识、集合输出/多标签、层级分类或调整类别定义。任务定义改变须重新评测,不能直接比较旧准确率。仅凭混淆矩阵或一个模型失败,不能证明不可约重叠或错误标签。可对照 cleanlab 官方工作流中标签问题与分布重叠的区别。

import numpy as np
from sklearn.model_selection import cross_val_predict, StratifiedKFold
from sklearn.ensemble import HistGradientBoostingClassifier


def find_label_issues(X, y, n_classes, base=None, cv=5, seed=0):
    """折外阈值启发式:返回 (候选掩码, 模型建议的标签, 自信度)
    y 必须是 0..n_classes-1 的整数标签"""
    y = np.asarray(y, int)
    base = base or HistGradientBoostingClassifier(random_state=seed)
    # ⭐ 必须是折外概率:模型不能见过它正在评判的那条标签
    proba = cross_val_predict(
        base, X, y, cv=StratifiedKFold(cv, shuffle=True, random_state=seed),
        method="predict_proba", n_jobs=-1)
    n = len(y)
    pred = proba.argmax(1)
    self_conf = proba[np.arange(n), y]                    # 对"现有标签"的自信度
    # 每类平均自信度阈值;此筛选未实现完整联合计数与校准
    thr = np.array([proba[y == c, c].mean() for c in range(n_classes)])
    suspect = (pred != y) & (proba[np.arange(n), pred] > thr[pred])
    return suspect, pred, self_conf


# 用法:suspect 送人工证据复核;self_conf 升序可作候选优先级

历史合成记录(12000 条,注入不同比例的噪声,本轮未重跑)。下表旧称 confident joint 的行实际对应上方阈值启发式,数值原样保留,不代表完整 CL 的测评结果:

噪声率 方法 标出条数 精确率 召回率
5%(600 条) 直接 disagreement 1211 0.485 0.978
阈值启发式
(旧称 confident joint)
551 0.846 0.777
10%(1200 条) 直接 disagreement 1828 0.636 0.968
自信度 Top-1200 1200 0.888 0.888
阈值启发式
(旧称 confident joint)
1074 0.875 0.783
20%(2400 条) 直接 disagreement 3115 0.743 0.965
阈值启发式
(旧称 confident joint)
2156 0.891 0.801

⭐ 两种方法都只产生候选。本表的直接 disagreement 召回较高但有误报;阈值启发式的历史精确率为 0.846、0.875、0.891,也含误报,不能成为直接删除或改标清单。应按原始证据与指南人工复核,记录确认错误、标签有据、歧义与待补信息;另抽未入选样本估计漏检,按类别/来源报告分母。

⚠️ 模型质量会影响候选质量,但总体准确率不是审标签资格证。保留的 10% 噪声合成记录中,逻辑回归准确率 0.76、阈值启发式精确率 0.346;GBDT 准确率 0.95、该筛选精确率 0.875。这只是特定设置下的对照。没有“准确率必须高于 1 − 噪声率”的通用门槛;要看类级错误、概率可靠性、分布与独立人工证据,模型和原标签都可能错。


🛠️ 四、捞出来之后:删、改,还是重标(实跑)

以下保留同一份合成数据、同一个随机森林的历史处置对比,本轮未重跑。“送人工重标”是旧记录中的处理项,不是本轮真实人工复核证据;本表未完整附上数据生成与标注流程,不能据此保证业务收益。

噪声率 原样训练 删掉可疑 机器自动改标 只把可疑的送人工重标 全部标对(上限)
10% 0.9467 0.9407 0.9403 0.9403 0.9463
20% 0.9420 0.9347 0.9290 0.9415 0.9463
30% 0.9270 0.9247 0.9230 0.9383 ⭐ 0.9463

⭐ 这组记录展示了误报的代价,没有给出统一处置规则。10% 那一行原样训练为 0.9467,高于该表三种处理;1074 个候选、精确率 0.875 对应约 940 个确错和 134 个误报(由已舍入指标估算,非新增计数实验)。不能推成所有 10% 噪声都不处理。机器自动改标在这张表中没有获益,提示把模型分歧直接写成真值可能固化偏差,不等于任何任务都必然失败。

那什么时候采取什么措施?按证据决定,不用 10% 一刀切:

复核发现可考虑的处理与验证
估计噪声较低、近似随机保留基线,结合受影响类别、错误代价与预算试验处理;低于 10% 也可能伤及关键小类,不自动免检。
模型容易记忆比较早停、限容量、鲁棒训练等候选;标签有证据错误时仍应修正,不能用正则替代语义复核。
混淆集中于某类、标注员或批次追查指南、来源与采集/表示问题,独立复核后才定受影响范围。确认系统性错标再修指南和相关标签;集中混淆本身不是错标证明。
类别不平衡、关键类稀少分层抽检,覆盖假阳性与假阴性,按代价、精确率和召回评估;不能给单个错标赋统一倍数影响。
评测标签可疑优先核实关键评测样本,保留原标签、证据及仲裁版本;不照模型输出改评测答案,并使用独立评测检查变化。
原因或定义尚不清楚双人独立复核并仲裁,记录歧义;抽样量按类别覆盖与估计不确定性确定,不把固定 300 条当成充分保证。

⭐ 先核查,再决定保留、更正、隔离、补标或调整定义。候选排序只分配复核预算;保存旧/新标签、证据、指南版本与仲裁理由,用独立留出集和关键切片比较处理前后。表里 30% 那一行,旧记录重标 3471 条后为 +1.13pp(0.9270 → 0.9383),删除与自动改标为负收益;这些是该合成条件下的结果,不保证人工复核或清洗总能提升。


💀 五、评测集里的噪声更致命(本章的重点)

前面四节讲的都是训练集。现在把噪声搬到评测集上,后果完全不是一个量级。

后果一:你的分数有天花板,而且你不知道它在哪。

一个真实水平 0.9463 的干净模型,放在带噪声的评测集上:

评测集噪声 你测出来的分数 这个评测集的天花板
0% 0.9463 1.00
2% 0.9263 0.98
5% 0.9020 0.95
10% 0.8568 0.90
20% 0.7628 0.80

💀 模型一点没变,分数掉了 9 个百分点。 而你看到的现象是"模型只有 0.857,还差得远" —— 于是你去加特征、调参、换架构, 在一个上限只有 0.90 的尺子上追一个永远追不到的数。 ⭐ 这是标签噪声制造的最大浪费:不是模型变差,是研发方向被带偏。

后果二(更贵):排名翻转 —— 你会选错模型。

模拟两个真实水平很接近的模型:A = 0.900,B = 0.885(真实差 1.5 个百分点), 两者对 90% 的样本判定一致。看在不同评测集下"B 反超 A"的概率:

评测集噪声 300 条 1000 条 3000 条
0%(干净) 22.6% 7.2% 0.4%
3% 27.4% 12.7% 2.5%
5% 30.4% 15.1% 4.0%
10% 34.9% 21.5% 8.3% 💀

💀 看最右边那一列:3000 条的评测集,干净时选错模型的概率是 0.4%; 只要评测集有 10% 的标签噪声,这个概率变成 8.3% —— 二十倍。 同时,测出来的差的标准差从 0.0058 涨到 0.0090(方差涨 2.4 倍)。 ⭐ 换算一下就是:10% 的评测集标签噪声, 等于把你 3000 条的评测集缩水成了 1250 条。 你以为你在用一把 3000 条的尺子,实际手里只有 1250 条。

后果三:真实的改进被系统性打折。

同一组实验,两个模型的真实差距是 +0.0395:

评测集噪声 测出来的差 相当于真实差的
0% +0.0395 100%
5% +0.0365 92%
10% +0.0336 85%
20% +0.0281 71%

⭐ 这个缩水可以算:K 分类对称噪声下,测出的差 ≈ 真实差 × (1 − e·K/(K−1))。 后果很具体:一个真值 +2pp 的改进,在 10% 噪声的评测集上只显示 +1.7pp, 再撞上置信区间,就会被判成"没效果"然后被放弃。 💀 标签噪声不只让你选错模型,还会让你扔掉正确的方向。

后果四:同样的标注预算,花在评测集上的边际价值高一到两个数量级。

一个把上面所有账算清楚的实验 —— 训练集 10% 噪声、评测集 10% 噪声:

因果链

现状:你测出来 0.8560,真实水平是 0.9473(被低估 9.1 个百分点)
方案 A:花 1000 条预算随机修【训练】标签
真实水平 0.9473→0.9480(+0.0007,基本白花)
而且你测出来的还是 0.85,因为尺子没变
方案 B:花 400 条预算重标一小份【评测】集
测出 0.9475,与真实值只差 +0.0002 ⭐
模型一点没变,但你第一次知道了它真正的水平

⭐ 这是本章最该带走的一条: 修训练标签买的是模型的边际提升(很小),修评测标签买的是"你知不知道自己在哪"(无价)。 预算紧张时的顺序永远是:先把评测集弄干净,再谈训练集。 具体的预算分法在第 12 章。


💀 六、事故复盘:一次"指标涨了 2.6 个点"的灾难

对照

系统:短视频平台的「引流广告」识别模型(自动下架 + 送人工复核队列)

规模:日均入审 380 万条,正样本率约 0.9%

标注:外包团队,训练集 42 万条、评测集 3 万条

⭐ 同一批人、同一个批次、从同一个池子里随机切出来的

发生了什么

第 3 季度换了标注供应商。新团队对指南里的一条边界理解反了: 「简介里留了联系方式,但视频内容本身与推广无关」—— 旧指南写的是不算引流广告,新团队一律标成算。 这类样本占全部正样本的 23%。

时间 事件
第 1 周 新供应商接手,42 万条训练数据 + 3 万条评测数据在同一批次产出
第 5 周 新模型训练完成,评测集 F1 从 0.881 涨到 0.907(+2.6pp) ⭐ 全组认为是季度三个优化的功劳
第 6 周 评审通过,全量上线
第 8 周 申诉量从日均 220 条涨到 1,940 条 —— 被归因为"新社区政策让用户更敏感"
第 12 周 一个头部创作者公开发帖,运营找过来,才开始查标签

为什么没被发现(四条,第一条是根)

操作步骤

① 评测集和训练集【同一批人、同一个批次】标的 ⭐ 根因
模型学到的偏差和评测集里的偏差【完全一致】
模型越"错得像标注员",评测分数越高
💀 这套评测集在结构上已经没有能力发现这个问题
② F1 涨 2.6 个点,正好落在"这季度做了三个优化"的预期里
—— 指标符合预期时,没人会去质疑指标本身
③ 抽检只抽【模型判为正、且置信度低】的样本
💀 而这批误判的置信度【很高】——模型学得很好,它很自信
⭐ 系统性标签噪声恰恰藏在模型最自信的地方
④ 只看总体 F1,没按"指南的每一条边界规则"分桶
—— 见第二节:系统性噪声不打总体指标

代价

事件代价逐项看
影响项记录
从上线到定位27 天
误下架内容约 11.6 万条
申诉成功率87% ← 反过来证明这批下架确实是错的
公关3 个头部创作者公开发声,平台发公告 + 补偿
返工重标评测集 3 万条 ¥8.4 万 / 11 天
重标训练集9.7 万条 ¥27 万 / 5 周

最昂贵的损失

  • ⭐ 但最贵的一项是:第 3 季度基于这套评测集做的 14 次实验,结论【全部作废】

该补什么

缺失 补上之后
评测集和训练集同源同批 ⭐ 评测集必须独立标注:不同的人、不同的时间、更严的流程、多人交叉 + 仲裁
没有黄金集 留一份 500–1000 条的黄金集:资深标注员 3 人一致才收;换供应商、换指南、换批次时先跑它
没有标注员级别的监控 按标注员 / 批次 / 周统计各类的正样本率,偏离 > 2σ 报警(第 10 章)
抽检只抽低置信度样本 ⭐ 抽检必须包含高置信度的正样本 —— 系统性噪声就藏在那里
指标只看总体 F1 按指南的每一条边界规则分桶看;总体涨、某个桶塌是最典型的形状
指南变更没有留痕 指南进版本库,每次修订跑一次黄金集(第 17 章)

💀 这个事故一句话总结: 当评测集和训练集共享同一个标注偏差时,评测集测的不是"模型对不对", 是"模型有没有学会和标注员犯一样的错"。 ⭐ 而模型学得越好,这个分数就越高 —— 指标和真相是反向的。


🧰 七、三条可以直接加进流程的门禁

双标分歧的历史诊断示例:双人一致仍可能共同偏差,且该子集不代表全量数据。下方返回字段名沿用旧代码;其中“原标签估计错误率”和“评测天花板”不能仅凭双人一致就当成真实错误率或普遍上界,须补独立证据、仲裁与抽样不确定性。

import numpy as np
from collections import Counter


def noise_rate_from_double_labeling(orig, ann_a, ann_b):
    """orig: 线上在用的标签  ann_a/ann_b: 两位标注员独立重标的结果
    返回:标注员不一致率(非真错率)、以及双人一致子集的原标签分歧率"""
    orig, a, b = map(lambda v: np.asarray(v), (orig, ann_a, ann_b))
    disagree = (a != b).mean()                       # 双标分歧只提示待复核,不能证明样本本身难
    both_agree = a == b
    # 只算双人一致子集的分歧;两人仍可能同错,不能单独当作真值
    err = (orig[both_agree] != a[both_agree]).mean()
    # ⭐ 最有用的一列:错误集中在哪几种混淆上
    conf = Counter((int(o), int(t)) for o, t in
                   zip(orig[both_agree], a[both_agree]) if o != t)
    return {
        "标注员不一致率": round(float(disagree), 4),
        "原标签估计错误率": round(float(err), 4),
        "评测天花板": round(1 - float(err), 4),      # 沿用旧字段名,非普遍上界,见正文条件
        "Top5 混淆": conf.most_common(5),            # 集中混淆是复核线索,不是原因证明
    }


# 判读:先查指南、表示/覆盖和分布重叠;确认标签错误后再修复

⭐ “Top5 混淆”用于确定复核切片,不单独判原因。错误集中可能来自指南歧义、类别先验、表示缺失或分布重叠;分布较散也不能证明独立随机噪声。结合原始证据、独立标注及类级覆盖,按第三、四节的诊断与处置走,不能只靠混淆形状决定改标。


🔗 这一章连到哪里

去哪 为什么
第 10 章 · 标注一致性 噪声的上游:一致性指标(Kappa 等)就是本章"噪声率"的另一面
第 12 章 · 标注预算与主动学习 本章第五节说"先修评测集",那一章讲这笔钱具体怎么切
第 13 章 · 评测集也是数据 ⭐ 评测集噪声只是评测集问题的一种,那一章是评测方法论的总入口
第 7 章 · 异常值是错还是真 同一个判断的另一半:特征侧的"错还是真",本章是标签侧的
ML 基础 10 · 正则化全家桶 早停、标签平滑、mixup 的具体做法 —— 抗随机噪声的主力工具
Kaggle 02 · 训练策略与正则化 竞赛视角的抗噪训练:鲁棒损失、软标签、伪标签的噪声控制
模型上线之后 07 · 没有标签怎么发现退化 线上根本拿不到干净标签时,怎么估计模型真实水平

✅ 检查点

  1. 公开数据集的标签错误率大概是什么量级?那份核查最重要的第二个结论是什么?
  2. 随机噪声和系统性噪声该怎么区分?为什么这个区分是本章所有判断的分水岭?
  3. 实测里 40% 噪声下,随机森林和无限深单棵树的准确率各是多少?差别的原因是什么?
  4. 为什么说「训练准确率 100%」在有噪声的数据上是坏消息?判据怎么写?
  5. 非对称噪声那张表里,40% 时总体准确率掉了多少、类 0 召回掉了多少?这说明什么?
  6. 本页折外阈值启发式与完整置信学习有什么区别?为什么分歧只应进入复核队列?
  7. 历史表中的三种处置各有什么条件与风险?为何不能用 10% 设通用门槛,类别难分还要辨哪些原因?
  8. 评测集 10% 噪声会带来哪四个后果?其中"3000 条缩水成 1250 条"是怎么算出来的?
  9. 修 1000 条训练标签和修 400 条评测标签,各买到了什么?
  10. 那个短视频的事故里,根因是什么?为什么模型学得越好、评测分数越高?抽检为什么没抓到?
👀 答案
  1. 从 MNIST 的 ~0.15% 到 QuickDraw 的 ~10%,ImageNet 验证集约 5.8%、CIFAR-100 约 5.9%,十个测试集平均 3% 左右。第二个结论更重要:修正标签之后模型排名会变 —— 原始标签下更强的大模型会输给更小的模型。业务数据只会更差:外包多分类 5%–15%,主观任务 15%–30%。
  2. 随机翻转与指南/批次偏差提示不同复核重点。集成、正则和早停可能缓解部分影响,但不能证明标签语义正确;发现集中混淆也不等于已确认错标,应检查指南、表示和类级覆盖,再按证据处置。
  3. 随机森林 0.9085(只掉 3.8pp),无限深单棵树 0.5407(掉 32pp)。原因是森林里每棵树只看到 bootstrap 的一部分,一条错标签平均只影响 63% 的树,多数投票时被淹掉;单棵深树则可以给每一条错标签单独开一个叶子。
  4. 因为它意味着模型把错标签也背下来了(记忆化)。判据:训练准确率明显高于「1 − 估计噪声率」就说明它在记噪声 —— 40% 噪声下健康上限约 0.6,而随机森林和深树都是 1.0000。
  5. 总体只掉 5.6pp(0.8960 → 0.8405),类 0 召回从 0.8553 塌到 0.5457。说明系统性噪声不打总体指标,只打某一类 —— 而那一类往往正是你要抓的那一类(欺诈、违规、疾病)。只看总体指标的团队对它是全盲的。
  6. 本页代码取折外概率、计算给定标签自信度,再用预测分歧与类均值阈值筛候选;未实现完整 confident joint 联合计数与校准。原论文的保证有条件,不等于“越过阈值就标错”。历史合成对照中逻辑回归(准确率 0.76)对应候选精确率 0.346,GBDT(0.95)对应 0.875;均不能替代原始材料、指南与独立人工复核,也没有统一准确率资格线。
  7. 历史合成表中,30% 那行“送人工重标”为 0.9270 → 0.9383,10% 那行原样训练 0.9467 高于三种处理;本轮未重跑,不能推广成 10% 不处理或重标总最优。阈值启发式精确率 0.875 仍含误报,改标须有证据;还要辨别标签歧义、表示/覆盖不足与给定信息下的可能重叠,按代价及独立切片评测选方案。
  8. ①分数有天花板(真实 0.9463 的模型在 10% 噪声评测集上只测出 0.8568,天花板 0.90)②排名翻转(3000 条评测集,干净时选错概率 0.4%,10% 噪声时 8.3%,二十倍)③真实改进被打折(真差 0.0395 → 测出 0.0336,只剩 85%;20% 噪声时剩 71%)④预算的边际价值错配。"缩水"是这样算的:测出的差的标准差从 0.0058 涨到 0.0090,方差涨 2.4 倍,而方差和 n 成反比,所以 3000/2.4 ≈ 1250 条。
  9. 修 1000 条训练标签:真实水平 0.9473 → 0.9480,+0.0007,基本白花,而且你测出来的还是 0.85。修 400 条评测标签:测出 0.9475,和真实值只差 +0.0002 —— 模型没变,但你第一次知道了它真正的水平。修训练标签买的是模型的边际提升,修评测标签买的是"你知不知道自己在哪"。
  10. 根因是评测集和训练集由同一批人、同一批次标注,模型学到的偏差和评测集里的偏差完全一致 —— 模型越"错得像标注员",评测分数越高,指标和真相是反向的。抽检没抓到是因为只抽了置信度低的样本,而这批误判置信度很高 —— 系统性噪声恰恰藏在模型最自信的地方。代价:27 天定位、误下架 11.6 万条、申诉成功率 87%、返工 ¥35 万,以及当季 14 次实验结论全部作废。

本节回顾

⚡ 走神救援

⭐ 标签本来就有错:公开数据集实测普遍在百分之几,业务外包多分类 5–15%,主观任务 15–30%。💀 更重要的第二结论是:修正标签之后模型排名会变——原始标签下更强的大模型会输给更小的模型。

⭐ 随机翻转与系统性偏差只是排查线索。正则、集成和早停不能替代语义复核,也不是对某一类噪声绝对有效或无效;确认标签错误或指南问题后,再针对证据修复。

⚠️ 系统性噪声不打总体指标,只打某一类——而那一类正是你要抓的那一类。实测非对称噪声下总体只掉几个点,被针对的那一类召回却塌了一半。

⭐ 「训练准确率 100%」在有噪声的数据上不是好消息,判据是「训练准确率明显高于 1 − 噪声率 = 它在背噪声」。抗噪排序:集成投票 > 早停(最便宜,因为网络总是先学规律后背噪声,验证曲线的峰值就是分界)> 限容量、标签平滑、鲁棒损失。

折外阈值启发式只捞候选,不是完整置信学习。⭐ 先按原始证据、指南与独立意见复核,再决定是否更正;歧义与待补信息可暂保留。旧表中自动改标未获益不代表永远如此,10% 不是免检线;不能因模型自信就把标签改成模型预测。

💀💀 评测集噪声比训练集噪声致命得多,四个后果:天花板(好模型也测不出好分数,你会去做无用优化)、排名翻转、真改进被打折(一个真值 +2pp 的改进会被判成「没效果」然后被放弃)、⭐ 预算错配——修训练标签买模型的边际提升,修评测标签买「你知不知道自己在哪」,预算紧张时永远先修评测集。

💀 那个广告识别事故的形状:评测集和训练集同一批人同一批次标的,于是模型越「错得像标注员」,评测分越高——指标和真相是反向的。⭐ 而且系统性噪声藏在模型最自信的地方,只抽低置信度样本的抽检永远抓不到它。

下一节 👉 12-标注预算与主动学习.md

打卡记录保存在你的浏览器里,首页能看到总进度