📑 本页目录(点开跳转)
00 · 怎么用这份教程
数据这一关 / 开始之前
数据还没进模型,先该核对什么?
陌生数据、缺失、指标异常和上游变更各有不同第一站;本页先帮助选择路径。
能区分数据工作与模型选择,选一条读法,并识别假设工时不能当行业统计。
⏱ 24 分钟
🎯 一句话
其他几套教程都从「给定一份数据」开始,这一套讲那之前发生的事。
它和《模型上线之后》是一对: 那一套关注模型上线后的监控和维护; 这一套关注数据进入模型前的来源、口径与质量。
📊 一、先选一个数据问题
| 你遇到的情况 | 第一站 | 先查什么 |
|---|---|---|
| 刚拿到陌生数据 | 02 · 数据集的来历 | 谁采集、记录了谁、漏了谁 |
| 不知道缺失值能不能填 | 05 · 缺失 | 为什么缺,而不只是缺多少 |
| 分数突然变高,怕是泄漏 | 14 · 数据泄漏 | 预测时不该知道的信息是否混进来了 |
| 上游经常改字段 | 03 · 数据契约 | 哪些约定需要自动检查 |
🧩 二、它和其他十个板块的分工
| 板块 | 它教你的 | 它默认已经有的(= 本套要补的) |
|---|---|---|
| 机器学习与深度学习基础 | 怎么训出一个模型 | 训练集是干净的、标签是对的 |
| 机器学习的数学原理 | 为什么这么训是对的 | 样本 i.i.d.、分布不变 |
| Kaggle 竞赛方法论 | 给定数据怎么榨干它 | 数据是主办方给的,不用你造 ⭐ |
| 推荐算法 | 排序模型怎么做 | 曝光/点击日志天然存在且口径稳定 |
| 大模型全景导论 | 大模型怎么训、怎么用 | 语料从哪来、去没去重、有没有污染评测集 |
| 智能体工程教程 | Agent 怎么搭 | 评测集是谁写的、覆盖了什么 |
| AI 基础设施 | 数据管线怎么跑得快 | 管线里流的是什么、对不对 ⭐ |
| 强化学习基础 | 从交互中学 | 环境/奖励信号是可信的 |
| 模型上线之后 | 训完之后的几年 | 训之前的那几个月 |
| 密码学与信息安全 | 数据怎么保密 | 数据怎么才算「对」 |
🔑 一句话概括这张表: 别的板块都在解「给定 D,求 f」; 这一套解的是「D 从哪来、D 是不是你以为的那个 D」。
🕐 三、一个教学情景:时间可能花在哪
算一算
教学情景(不是已核验的真实复盘或行业统计):假设一个项目的工时如下
想清楚要解什么问题 · 5 天
找数据 / 要权限 / 对口径 · 18 天 ⭐ 本教程
清洗 / 修脏数据 · 11 天 ⭐ 本教程
设计标注体系 / 标 / 返工 · 16 天 ⭐ 本教程
建评测集 / 查泄漏 · 6 天 ⭐ 本教程
特征工程 · 9 天
模型选型 + 调参 · 4 天
上线 / 监控 / 复盘 · 另计,持续时间取决于项目
⭐ 本表标出的四项数据工作:51 天 / 69 天 ≈ 74%
⭐ 模型选型与调参:4 天 / 69 天 ≈ 6%
💀 最反直觉的一条: 在这 14 周里,模型选型只花了 4 天,而且第 1 天就基本定了 —— 剩下 3 天是在调一个已经决定要用的东西。 这组假设数字只用于提醒:数据准备也需要排期,不能推出所有项目都按这个比例分配。
🎭 四、这一套的思维方式和建模时不一样
| 建模时 | 搞数据时 | |
|---|---|---|
| 目标 | 指标高一点 | 指标是真的 ⭐ |
| 好消息 | AUC 涨了 = 好事 | AUC 突然涨了 = 先怀疑泄漏 ⭐ |
| 失败长什么样 | loss 不降,一眼看见 | 一切正常,只是结论是错的 💀 |
| 谁能验收 | 测试集 | 只有业务能验收「这个口径对不对」 |
| 主要工作 | 写代码 | 对齐口径、追人、写契约 ⚠️ |
| 可以重来吗 | 能,重训一次 | 标注返工要重新排期和花钱 |
⭐ 第二行是整套教程的核心态度: 建模时「指标涨了」是好消息; 搞数据时「指标涨了」首先是一个待排查的异常。 本套里至少有五个章节,讲的都是「某个虚高指标背后的真相」。
🗺️ 五、教程结构(21 章 + 附录 A)
阶段0 先看清
- 00 怎么用 01 数据才是那个瓶颈
- 02 一份数据集是怎么来的 03 数据契约 ⭐
阶段1 质量
- 04 脏数据的十种形态 05 缺失不是一种东西 ⭐
- 06 重复与实体解析 07 异常值是错还是真
- 08 数据质量怎么量
阶段2 标注
- 09 标注体系怎么设计 10 标注一致性怎么量 ⭐
- 11 标签噪声 12 标注预算与主动学习
阶段3 评测与泄漏
- 13 评测集也是数据
- 14 数据泄漏的七种来源 ⭐
- 15 采样偏差与幸存者偏差 16 合成数据
阶段4 工程治理
- 17 数据版本与血缘 18 特征存储 19 隐私脱敏与留存
阶段5 动手
- 20 实战与挑战项目
随时查
- 附录A 速查
三章是高光:
| 章节 | 为什么 |
|---|---|
| ⭐ 第 5 章 缺失不是一种东西 | 缺失有三种成因,用错填法会把偏差直接喂进模型,而离线指标完全正常 |
| ⭐ 第 14 章 数据泄漏的七种来源 | 检查离线成绩虚高的一组常见来源;线上下降也可能有其他原因 |
| ⭐ 第 3 章 数据契约 | 「上游改字段没人告诉你」是常态,契约可以把关键约定变成会失败的测试的东西 |
⏱️ 六、四种读法
| 你的情况 | 路线 | 时间 |
|---|---|---|
| 刚接手一份陌生数据 | 02 → 04 → 05 → 06 → 08 | 5 小时 |
| 离线好线上差 / 指标不可信 | 14 → 13 → 06 → 15 | 4 小时 |
| 要从零建一个标注项目 | 09 → 10 → 11 → 12 | 4.5 小时 |
| 在搭数据平台 / 要立规矩 | 03 → 17 → 18 → 19 | 4 小时 |
| 完整打牢 | 全部顺读 | 1–2 周 |
💡 如果只有一小时:读 05 和 14。 一个是最容易悄悄注入偏差的地方,一个是最容易制造虚假指标的地方 —— 这两件事加起来,能解释你见过的大部分「说不清为什么」的模型问题。
🎒 七、需要什么前置
关键信息
- 必须有的:
- 会写 Python + pandas(groupby / merge / value_counts 级别)
- 知道什么叫训练集/验证集、什么叫过拟合
- → 没有的话先去《机器学习与深度学习基础》01–05
- 最好有的(没有也能读,只是共鸣少一点):
- 写过 SQL、见过一张真实的业务表
- 参与过一次「指标对不上」的撕扯 ⭐
- 不需要的:
- 深度学习 / Transformer
- 分布式与大数据框架
- 数学推导 —— 只有少数几章会出现式子(13 章最多),
- 每一处都配了人话翻译和可跑代码
⚠️ 一条反向建议: 如果你从没做过一个真项目,这套教程会显得啰嗦且悲观。 那就先跳到 第 1 章 看那个事故, 把它当作教学情景,先辨认哪一步缺少数据检查;没有项目经验也可以从一张小表开始观察。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 《模型上线之后》00 | 姊妹篇。那套管「训完之后」,这套管「训之前」,中间夹着的才是大部分教程讲的东西 |
| Kaggle 01 数据策略与特征工程 | 从竞赛视角讲数据策略:数据已给定。读完可以对比「工业视角」差在哪 |
| ML 基础 00 怎么用这份教程 | 本套的前置。先会训模型,再来讨论数据对不对 |
| AI 基础设施 22 数据管线与存储 | 那边讲管线怎么跑得快,这边讲管线里流的东西对不对 |
| SQL 查询这一关 00 | 上面「最好有的」里那条写过 SQL,缺的话去那套补。⭐ 它的 10 章 把本套 08 章那六个质量维度里能自动查的五个,直接写成了可跑的 SQL 断言 |
✅ 检查点
- 这套教程和其他十个板块的分工,用一句话怎么说?
- 分数突然变高时,可以先去哪里检查泄漏?
- 这个假设情景里,数据相关和模型相关各占多少天、多少比例?最反直觉的是哪一条?
- 建模时和搞数据时,对「指标涨了」的态度有什么关键差别?
- 本套的三个高光章节是哪三章,各自解决什么?
- 「离线好线上差」应该走哪条读法路线?只有一小时该读哪两章?
- 读这套教程必须有什么前置?什么是不需要的?
👀 答案
- 其他板块解「给定 D,求 f」,这一套解「D 从哪来、D 是不是你以为的那个 D」。它是《模型上线之后》的姊妹篇:那套讲训完之后,这套讲训之前。
- 先看 14 · 数据泄漏,核对特征、划分与预测时点。分数变高也可能是真改进,应查证而不是直接判错。
- 本表标出的四项数据工作共 18 + 11 + 16 + 6 = 51 天,约占 69 天的 74%;模型选型与调参共 4 天,约占 6%。这里单列了 9 天特征工程,没有算进这四项。这个例子提醒我们:项目工作不只有调模型;这些假设工时不能推出真实项目的固定比例或日历时长。
- 建模时「AUC 涨了」是好消息;搞数据时「AUC 突然涨了」首先是一个待排查的异常(先怀疑泄漏)。另一条差别:建模失败会报错(loss 不降),数据出问题往往一切正常、只是结论是错的。
- 第 5 章缺失(三种成因,填错把偏差喂进模型而离线指标正常)、第 14 章泄漏(线下 0.96 线上 0.72 的主要解释)、第 3 章数据契约(把「上游改字段没人告诉你」变成会失败的测试)。
- 走 14 → 13 → 06 → 15(约 4 小时)。只有一小时就读 05 + 14:一个是最容易悄悄注入偏差的地方,一个是最容易制造虚假指标的地方。
- 必须:Python + pandas、知道训练/验证集与过拟合。不需要:深度学习、分布式框架、数学推导(只有少数几章出现式子,13 章最多,每一处都配了人话翻译和可跑代码)。
本章回顾
⚡ 走神救援
- 本套关注数据来源、口径、质量与评测,不是只讲模型选择。
- 按问题选入口:来源 02、契约 03、缺失 05、泄漏 14。
- 指标异常先查证;提高不自动等于泄漏。
- 工时情景说明需要给数据工作留时间,不代表行业比例。
下一节 👉 01-数据才是那个瓶颈.md