🏠 总目录📚 本教程 01 · 数据才是那个瓶颈 ← →
📑 本页目录(点开跳转)

01 · 数据才是那个瓶颈

数据这一关 / 01

指标卡住,先换模型还是先查数据?

从工时账、模型对照和标签噪声实验分开看证据;原情景数字与实验输出继续按各自边界阅读。

能列出先查数据的证据与待运行对照,不把某次结果当成通用胜负。

⏱ 52 分钟 | ⭐ 破除「换个模型就好了」


🎯 一句话

指标不达标时,先区分模型能力问题与数据问题。

换模型、修标签、补数据都可能有用。本章先用教学情景认识数据工作,再用可复现实验比较它们;不预设哪条路线总会赢。


🕐 一、用一份工时账看数据工作

案例状态: 本页的项目工时、路线收益和事故数字未提供可核验出处。以下仅作为教学情景分析,不作为真实项目复盘或行业统计。

项目:某电商平台「低质商品识别」模型,从零到上线
团队:3 人(1 算法 + 1 数据 + 0.5 产品 + 0.5 标注管理)
周期:14 周

阶段 人日 占比
问题定义 / 指标对齐 5 7%
找数据 / 申请权限 / 对口径 ⭐ 18 26%
清洗与修脏数据 11 16%
标注体系 + 标注 + 两轮返工 ⭐ 16 23%
建评测集 + 查泄漏 6 9%
特征工程 9 13%
模型选型 + 调参 4 6%
合计 69 100%

⭐ 数据相关 51 人日(74%) vs 模型相关 4 人日(6%)

那 4 天里发生了什么,值得单独说:

结果对照

Day 1 上午:跑了 LightGBM baseline,AUC 0.738
Day 1 下午:试了 LR(0.712)和一个三层 MLP(0.741)
决定用 LightGBM(MLP 只高 0.003,但部署麻烦得多)⭐ 选型结束
Day 2–4 :调参,AUC 0.738→0.746

在这个情景里,团队很快选定了基线模型,把更多时间花在数据上。这说明了一种可能的投入结构,不能推出所有表格项目都能一天定型、模型差距都在一个点以内。


📉 二、破除「换个模型就好了」:一组对照数字

同一个业务,同一份原始日志,两条路各走一遍:

做法 AUC 花的时间
起点:LightGBM baseline 0.738 —
换模型路线
↳ 换 CatBoost + 调参 0.746 3 天
↳ 加一个 DNN 做融合 0.751 6 天
↳ 上一个 1.2 亿参数的预训练文本编码器 0.757 11 天
修数据路线(回到 baseline 模型不动)
↳ 统一两个来源的标注口径(见 第 9 章) 0.771 4 天
↳ 删掉 3 个泄漏字段(见 第 14 章) 0.759 ⚠️ 1 天
↳ 修「默认值伪装成真值」(见 第 4 章) 0.784 2 天
↳ 补标 1200 条困难样本(见 第 12 章) 0.803 6 天

信息关系

换模型:11 天→+0.019 (0.738→0.757)
修数据:13 天→+0.065 (0.738→0.803)
⭐ 同样的投入,数据路线的收益是模型路线的 3.4 倍

⚠️ 注意「删掉泄漏字段」那一行是负的(0.771 → 0.759)。 这是整张表最重要的一行 —— 修数据有时会让离线指标下降,因为它把虚高的部分去掉了。 是否改善线上真实效果,还需要在一致业务口径下验证。 一个只按离线 AUC 决策的团队,会主动拒绝掉最有价值的那次修复。


🧱 三、为什么数据慢:它不是一个技术问题

模型调参慢,是因为要等 GPU;数据慢,是因为要等人。

信息关系

一个新字段「商家近 90 天纠纷率」从提出到能用,实际走了 23 天:
D0 你提出需求
D0 发现这个数不在你能访问的库里→找数据同学
D2 数据同学说这在客服团队的系统里→找客服 BP
D5 客服 BP 说要走数据申请流程→提单
D9 审批通过,但只给聚合表,不给明细
D11 拿到聚合表,发现「纠纷」包含了咨询→口径不对 ⭐
D14 和客服确认口径,要重新出一版
D18 新表出来了,但只有近 30 天→训练要 90 天
D21 回溯补数任务排期
D23 能用了
⭐ 23 天里,写代码的时间不到 1 天。
其余全是【找人、等审批、对口径、返工】。

这四件事没有一件能靠加班或换框架解决:

慢在哪 本质 唯一解法
找不到数据在哪 没有数据目录 / 血缘 见 第 17 章
拿不到权限 合规是硬约束 见 第 19 章,提前提
口径对不上 ⭐ 同一个词在两个部门意思不同 见 第 3 章
上游随时会变 ⭐ 改动成本不对称 见 第 3 章

⭐ 「改动成本不对称」是这套教程反复出现的一句话: 上游改一行 SQL 花 5 分钟, 下游查清楚「模型为什么变差了」花 3 天。 只要这个不对称存在,上游就永远没有动力通知你 —— 除非有一份会让他的 CI 挂掉的契约。


🔬 四、亲手验一次:标签噪声与换模型,各影响多少?

这段代码可以直接跑。它做一件事: 固定数据生成方式、划分与模型设置,只翻转训练集的 0%、5%、10% 标签,观察三种模型的测试 AUC。

这不是投入产出实验:代码没有统计标注成本或调参成本,也没有把每个模型调到最优。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score

rng = np.random.RandomState(0)
X, y = make_classification(n_samples=8000, n_features=25, n_informative=10,
                           flip_y=0.0, class_sep=0.9, random_state=0)
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, random_state=0)

def flip(labels, rate, rs):
    """随机翻转 rate 比例的【训练】标签,模拟标注噪声"""
    y2 = labels.copy()
    idx = rs.choice(len(y2), int(len(y2) * rate), replace=False)
    y2[idx] = 1 - y2[idx]                       # ⭐ 只污染训练集,测试集永远是干净的
    return y2

models = {
    "LR":  LogisticRegression(max_iter=2000),
    "RF":  RandomForestClassifier(n_estimators=300, random_state=0),
    "GBDT": GradientBoostingClassifier(random_state=0),
}
for rate in (0.0, 0.05, 0.10):
    ytr_noisy = flip(ytr, rate, np.random.RandomState(42))
    row = []
    for name, m in models.items():
        m.fit(Xtr, ytr_noisy)
        row.append(f"{name}={roc_auc_score(yte, m.predict_proba(Xte)[:, 1]):.4f}")
    print(f"标签噪声 {rate:>4.0%} | " + "  ".join(row))

实际输出:先横读,再竖读

下面是完整运行上方原程序得到的结果(Python 3.12.14、NumPy 2.2.6、scikit-learn 1.7.2)。其他版本或随机种子需要重新记录,不能承诺趋势不变。

训练标签噪声 LR:逻辑回归 RF:随机森林 GBDT:梯度提升树
0% 0.7574 0.9672 0.9228
5% 0.7570 0.9652 0.9246
10% 0.7563 0.9624 0.9130

横着读: 在干净训练标签这一行,RF 比 LR 高 0.2098。这一次,换模型的差距并不小。

竖着读: 比较同一模型从 10% 噪声回到干净标签时的变化。以下差值按表中四位小数计算:

模型 干净标签 AUC − 10% 噪声 AUC
LR +0.0011
RF +0.0048
GBDT +0.0098

这次实验能说什么,不能说什么?

如果要据此做决策: 换多个数据与噪声随机种子,报告波动;对比候选模型的验证结果,并单独记录修标签、训练与维护的成本。

这里反复比较测试集,是为了教学观察,不是可照搬的选模型流程。真实项目用验证集或交叉验证选方案,最终测试集留到方案固定后评估。


🩺 五、接手任何数据的第一件事:先看 30 分钟

在写第一个模型之前,强制自己先跑一遍这个。 它输出的是待核查线索,不是自动诊断。下面的 20%、0.8 等阈值是示例设置,应按业务数据调整。

import numpy as np
import pandas as pd

def first_30_minutes(df: pd.DataFrame, label: str = None, time_col: str = None):
    """接手一份新数据的最小体检。返回一张问题清单。"""
    issues = []
    n = len(df)
    for c in df.columns:
        s = df[c]
        miss = s.isna().mean()
        if miss > 0.3:
            issues.append((c, "高缺失", f"{miss:.1%} —— 先别填,去问为什么缺(第5章)"))
        nun = s.nunique(dropna=True)
        if nun <= 1:
            issues.append((c, "常量列", "整列只有一个值,通常是上游没接通"))
        if nun == n and n > 100:
            issues.append((c, "疑似ID", "取值全不重复,别当特征用"))
        if s.dtype == object:
            top = s.value_counts(dropna=True).head(1)
            if len(top) and top.iloc[0] / max(s.notna().sum(), 1) > 0.9:
                issues.append((c, "单值垄断", f"'{top.index[0]}' 占 {top.iloc[0]/n:.1%}"))
        else:
            vc = s.value_counts().head(1)
            # 某个数值占比高只是线索:也可能是正常取值分布(第4章)
            if len(vc) and vc.iloc[0] / max(s.notna().sum(), 1) > 0.2:
                issues.append((c, "疑似哨兵值", f"值 {vc.index[0]} 占 {vc.iloc[0]/n:.1%}"))
    dup = df.duplicated().sum()
    if dup:
        issues.append(("<整行>", "精确重复", f"{dup} 行({dup/n:.1%})—— 见第6章"))
    if label is not None and label in df:
        pos = df[label].mean()
        issues.append((label, "正样本率", f"{pos:.3%} —— 低于1%要重新想指标"))
        for c in df.select_dtypes(include=[np.number]).columns:
            if c == label:
                continue
            r = df[[c, label]].corr().iloc[0, 1]
            # 高相关需要检查特征的来源与时间;它本身不能证明泄漏(第14章)
            if abs(r) > 0.8:
                issues.append((c, "疑似泄漏", f"与标签相关系数 {r:.3f}"))
    if time_col is not None and time_col in df:
        t = pd.to_datetime(df[time_col], errors="coerce")
        issues.append((time_col, "时间跨度", f"{t.min()} → {t.max()},坏值 {t.isna().mean():.1%}"))
        by_day = t.dt.date.value_counts().sort_index()
        if len(by_day) > 7:
            ratio = by_day.max() / max(by_day.median(), 1)
            if ratio > 3:
                issues.append((time_col, "日量突刺", f"最大日/中位日 = {ratio:.1f},疑似重跑或补数"))
    return pd.DataFrame(issues, columns=["列", "问题", "说明"])

# 用法:first_30_minutes(df, label="is_bad", time_col="event_time")

重点核查两类线索:

函数中的 label 检查按二分类 0/1 标签设计;输入别的标签形式前,要相应调整。没有报警也不代表没有问题。


💀 六、事故复盘:换了四次模型,问题在标注

发生了什么

对照

系统:某内容平台「低质内容识别」模型

离线:F1 = 0.86(验证集 4.2 万条,人工标注)

上线:人工抽检真实召回率 0.41 ⚠️ 差了一倍多

团队的三周:

周 做了什么 结果
第 1 周 怀疑模型容量不够 → 把文本编码器从 BERT-base 换成 large F1 0.86 → 0.87,线上仍 0.42
第 2 周 怀疑特征不够 → 加了图像分支做多模态 F1 0.88,线上 0.43
第 3 周 怀疑数据量不够 → 训练集从 4 万加到 11 万 F1 0.89,线上 0.40(更差了)💀

第 3 周末,一个新来的实习生问了一句: 「我们的标注是按哪一版审核规则打的?」

根因

对照

训练标注:运营团队在后台按【2023 版低质内容判定规则】打的

线上判定:审核策略在 5 个月前升级到【2024 版】

—— 新增 3 类、废止 2 类、其中「标题党」的判定阈值大幅放宽

⭐ 所以模型学的是【一套已经废弃的标准】,

而线上是用【新标准】评估它;同时还需要统一 F1 与召回率的比较口径。

模型越准,越准地复现了一个过期的规则。

为什么离线指标是好的:验证集也是同一批运营用同一版旧规则标的 —— 训练集和验证集一起错,错得完全一致,所以离线看不出任何异常。

代价

对照

3 人 × 3 周 = 45 人日 白费

GPU(large + 多模态训练) ≈ 3.1 万元

期间线上漏放的低质内容 ≈ 1.9 万条(按事后回捞)

最终真正的修复 = 重标 6000 条 + 重训一次 = 9 人日

⭐ 45 人日的错误方向 vs 9 人日的正确方向

⭐ 而且那 45 人日里,每一次尝试离线指标都在【涨】——

涨的指标提供了「我们在进步」的错觉,让错误方向持续了整整三周

该补什么

缺失 补上之后
标注规则没有版本号 数据集元数据里必须记录 rule_version,见 第 9 章、第 17 章
没人对比过「标注口径」和「线上口径」 每次训练前跑一次 diff:拿 500 条线上样本让当前审核规则重判,和训练标签比一致率 ⭐
离线涨了就以为在进步 任何离线提升,必须有一次小流量线上验证,见 模型上线之后 02
没有「先怀疑数据」的排查顺序 线上离线差距 > 0.1 时,规定前 3 天不许碰模型 ⭐

💀 这个事故里最贵的不是钱,是那条「离线在涨」的曲线。 它每周都在给团队正反馈, 而它衡量的是「对一个错误标准的拟合程度」。 这就是为什么本套教程反复说:指标可信,比指标高,重要得多。


🧠 七、五条可以直接用的判断

这些是排查入口,不是仅凭一个阈值就能定案的规则。

观察到什么 接下来检查什么
线上与离线效果不同 先统一指标、样本范围、时间窗口与标签规则,再查数据和服务
某个特征预测力特别强 核对它在预测时能否取得、是否含未来信息;高相关不等于已经证实泄漏
不知道先换模型还是修数据 在一致验证条件下做小规模对照,同时记录收益、波动与成本
修数据后离线分数下降 排查是否移除了泄漏或改变了评估口径;下降本身也不能证明修对了
发现标签噪声 检查标注来源与错误类型,实测当前模型的敏感性;不要按模型“强弱”直接下结论

一个可选的小实验: 减少一部分训练数据,保持验证条件不变,观察分数变化。

如果变化很小,只能说“这次缩减没有造成明显差异”。也可能是样本冗余、评估波动、模型限制或当前数据区间的收益较小,不能据此断言“不缺量,只缺质量”。继续比较多个样本量与随机种子。


🔗 这一章连到哪里

去哪 为什么
Kaggle 01 数据策略与特征工程 竞赛里数据是给定的,所以那边的重点是「榨」;本章说的是「造」的那一段,是它的上游
ML 基础 16 特征工程基础 特征工程从「有一张干净表」开始;本章讲那张表怎么来的、要花多久
模型上线之后 01 训练完才是开始 姊妹篇的同位章。那边:训练只占 20%(往后看);这边:模型选型只占 6%(往前看)
模型上线之后 02 离线好不等于线上好 本章事故的直接对应:离线涨了三周,线上一动不动

✅ 检查点

  1. 那个 14 周项目里,数据相关和模型相关各占多少人日和比例?模型选型具体是怎么在一天内定下来的?
  2. 「换模型路线」和「修数据路线」各花多少天、各提升多少 AUC?倍数是多少?
  3. 那张表里「删掉 3 个泄漏字段」那一行为什么是负的?它说明了什么决策陷阱?
  4. 新字段「商家近 90 天纠纷率」走了多少天?其中写代码的时间大概多少?慢在哪四件事上?
  5. 「改动成本不对称」具体指什么?为什么它导致上游永远不会主动通知你?
  6. 标签噪声实验中,干净标签下 RF 与 LR 差多少?修掉 10% 噪声,三种模型各变化多少?能否推出“修数据总比换模型更值”?
  7. first_30_minutes 里最值钱的两个检查是什么?各自的阈值是多少、指向哪一章?
  8. 低质内容那个事故的根因是什么?为什么离线指标看不出来?代价是多少人日和多少钱?最贵的东西其实是什么?
  9. 把训练数据减半后分数几乎不变,能直接判断“不缺数据量,只缺质量”吗?
👀 答案
  1. 数据相关 51 人日(74%)、模型相关 4 人日(6%),共 69 人日。选型过程:Day 1 上午 LightGBM baseline AUC 0.738,下午试 LR(0.712)和 MLP(0.741),因为 MLP 只高 0.003 但部署麻烦得多,当天定用 LightGBM;Day 2–4 只是调参(0.738→0.746)。
  2. 换模型 11 天 +0.019(0.738→0.757),修数据 13 天 +0.065(0.738→0.803),数据路线收益是模型路线的 3.4 倍。
  3. 因为删掉泄漏字段是把虚高的部分去掉了(0.771→0.759),这并不自动证明线上效果上升。陷阱是:一个只按离线 AUC 决策的团队会主动拒绝掉最有价值的那次修复。
  4. 23 天,其中写代码不到 1 天。慢在:找不到数据在哪、拿不到权限、口径对不上、上游随时会变 —— 全是找人/等审批/对口径/返工。
  5. 上游改一行 SQL 花 5 分钟,下游查清「模型为什么变差」花 3 天。因为代价不落在上游身上,他就永远没有动力通知你 —— 除非有一份会让他 CI 挂掉的契约(第 3 章)。
  6. 干净标签下 RF 比 LR 高 0.2098;按表中精度,从 10% 噪声回到干净标签,LR / RF / GBDT 分别提高 0.0011 / 0.0048 / 0.0098。不能推出修数据总比换模型更值;本例模型差距反而更大,而且没有计入成本或估计跨种子的波动。
  7. 本函数用占比 > 20% 标记疑似哨兵值,用 |r| > 0.8 标记疑似泄漏,分别对应第 4、14 章。这些只是可调的筛查阈值,不是诊断结论;需要核对字段含义、来源和可用时间。
  8. 根因:训练标注是运营按 2023 版规则打的,而线上审核策略 5 个月前已升级到 2024 版(新增 3 类、废止 2 类、标题党阈值放宽),模型精确复现了一个过期标准。离线看不出来是因为验证集和训练集是同一批人用同一版旧规则标的,一起错、错得一致。代价:45 人日白费 + 约 3.1 万元 GPU + 漏放约 1.9 万条低质内容,而真正的修复只要 9 人日(重标 6000 条 + 重训一次)。最贵的是那条一直在涨的离线曲线 —— 它衡量的是「对错误标准的拟合程度」,却每周提供「我们在进步」的正反馈。
  9. 不能。这只是当前设置下的一次观察;样本冗余、评估波动、模型限制或样本量所处区间都可能影响结果。要比较多个样本量和随机种子,并另行检查标签、口径与泄漏。

本节回顾

⚡ 走神救援

下一节 👉 02-一份数据集是怎么来的.md

打卡记录保存在你的浏览器里,首页能看到总进度