16 · 合成数据

⏱ 58 分钟 ｜ ⭐ 同一批合成数据，进训练集是止痛药，进评测集是毒药

🎯 一句话

合成数据能解决「没有数据」，解决不了「不知道真实分布长什么样」。 它是一台把你已有的假设放大成几十万行样本的机器 —— 假设对，它帮你省钱；假设错，它把错误铸成了看起来非常真实的数据。

🧬 一、先分清：四种完全不同的东西都叫「合成数据」

这四种的风险等级差一个数量级，混着讨论必然吵不出结果。

它们的差别不在技术，在「信息从哪来」：

⭐ 一条判据能省掉后面所有争论： 拿到一批合成数据，先问 —— 「这里面的信息是从哪来的？」 答得上来，你就知道它能用在哪、不能用在哪； 答不上来，就别让它进入任何影响决策的地方。

⚠️ 「统计生成不产生新信息」这句话要认真对待： 你用 1 万条真实数据拟合一个生成器，再采出 100 万条 —— 信息量还是那 1 万条的信息量，只是被摊薄成了 100 万行。 模型看到的样本数涨了 100 倍，有效信息一点没涨， 但它的置信度会涨（因为"见得多了"）—— 这是过拟合的一种伪装形式。

🚦 二、什么时候有用：五个场景，各自的成立条件

不要问「合成数据行不行」，要问「这个场景的成立条件我满足了没有」。

四条具体的操作建议：

⭐ 第 ④ 条是个反例，值得单独记住： 边界样例是唯一可以进评测集的合成数据 —— 因为它们不是"抽样出来代表真实分布"的，它们是一份人工维护的必答题清单。 它们要单独报分（"32 条边界样例过了 30 条"），绝不能被平均进总体 F1。

☠️ 三、什么时候有毒：四条红线

💀 红线 1：评测集里混进合成数据

这是本章最贵的一条，因为它不会让你出错，它会让你「看起来很对」。

💀 铁律，没有例外： 评测集只能来自真实世界，并且每一条都能追溯到具体来源。 合成数据可以进训练集、可以进边界样例清单，不能进用来做上线决策的那份评测集。 这条和第 13 章「评测集也是数据」是同一句话的两种说法。

💀 红线 2：模型坍塌（第四节整节实跑）

模型坍塌指的是：把模型自己的输出（或另一个模型的输出）当训练数据喂回去，一代代传下去，分布会系统性地越来越窄。 它不是"生成质量变差了"这种模糊说法，而是有很干净的数学形式 —— 每代用上一代的样本估计分布再采样， 方差每代确定地乘一个 (n−1)/n，同时中心在做无方向的随机游走。 💀 于是你得到一个越来越自信、但越来越偏的分布 —— 而它自己看不出来。

它是红线而不是理论隐忧，因为触发它的动作在真实工程里都很常见，而且都不长得像"我在用合成数据"：

① 把线上高置信度的预测回灌重训 —— 第五节那个客服事故第 3 周做的正是这件事， 三轮之内 9 个弱意图的样本占比从 4.1% 掉到 0.6%。

② ⚠️ 常规监控看不见它 —— 纯自消费十代，样本标准差只掉 2.5%， 而有效模态数掉 9.9%、尾部三个稀有模态的占比掉 11.5%： 坍塌先发生在长尾，等方差报警时稀有类已经死了很久。

③ 💀 "只保留模型最有把握的那一半样本"这个人人都觉得是好习惯的动作，是加速器不是保护措施 —— 实验里只过滤一次，尾部三个模态的占比就从 9.96% 掉到 0.02%，一代之内长尾清零。

⚠️ 而且"每代样本量"不是你的数据集行数，是模型在那个子区域上实际见过的独立样本数 —— 长尾类别的有效样本量常常只有几十，而每代 30 个样本时方差减半只要约 20 代。

⭐ 但这条红线的位置要划准，否则会矫枉过正： 真正的触发条件不是"用了合成数据"，是"用合成数据把真实数据换掉了"。 第四节的对照实验里，只要真实数据永远留在训练池里（累积，而不是替换）， 十代之后熵只从 1.770 掉到 1.753，掉 1.0% —— 几乎没有坍塌。

⚠️ 红线 3：合成数据继承并放大原始偏差

生成器学的是训练它的那份数据。原始数据里 A 类占 80%，采出来的通常大于 80% —— 因为「拟合 + 采样」在数学上是一个锐化操作：低密度区被当成噪声，高密度区被强化。

⚠️ 红线 4：用大模型造标注，但没人核验

🛑 读到这里可以停 —— 前半章讲完了（约 15 分钟）。 后半章还有：实跑：多代自训练里，多样性是怎么一代代收窄的 · 一次真实的事故复盘 · 一张判断表：这批合成数据能不能用 回来的时候不用重读，直接从下一节接着看就行。

🧪 四、实跑：多代自训练里，多样性是怎么一代代收窄的

「模型坍塌」听起来像个理论隐忧，实际上它有非常干净的数学形式。 下面三个实验全部实跑，代码可以直接抄。

实验一：最干净的形式 —— 一维高斯

每一代：用上一代的数据估计均值和方差 → 采 n 个新样本 → 丢掉上一代。

import numpy as np

def self_consume_1d(n, gens=10, trials=4000, seed=0):
    """纯自消费：每代拟合 MLE 再重采样，上一代数据全部丢弃"""
    rng = np.random.default_rng(seed)
    var = np.zeros((trials, gens + 1))
    mean = np.zeros((trials, gens + 1))
    for t in range(trials):
        x = rng.normal(0, 1, n)                    # 第 0 代：真实数据
        var[t, 0], mean[t, 0] = x.var(), x.mean()
        for g in range(1, gens + 1):
            mu, sd = x.mean(), x.std()             # ⭐ MLE，方差是有偏的（除以 n）
            x = rng.normal(mu, sd, n)              # ⭐ 用模型采样，替换掉真实数据
            var[t, g], mean[t, g] = x.var(), x.mean()
    # ⭐ 返回：方差的期望（衡量多样性）、均值的标准差（衡量漂移）
    return var.mean(axis=0), mean.std(axis=0)

# 实跑：n=100, 10 代 → 方差降到 0.9012，理论值 ((n-1)/n)**10 = 0.9044

每代样本量 n 决定了收窄速度：

同时，均值在做无方向的随机游走（n = 100）：

⭐ 这两行数字合起来就是模型坍塌的全部： 分布的宽度单调收缩，中心无方向漂移。 收缩是系统性的（每代确定地乘一个 (n−1)/n）， 漂移是随机的（每代累加一点噪声，标准差按 √代数 增长）。 💀 也就是说：你会得到一个越来越自信、但越来越偏的分布 —— 而且它自己看不出来。

⚠️ 别被 n=1000 那一行安慰到：真实系统里的"每代样本量"不是你的数据集行数， 而是模型在那个子区域上实际见过的独立样本数。 长尾类别的有效 n 常常只有几十 —— 对它们来说，第 20 代方差就没了一半。

实验二：长尾先死

真实分布：8 个模态的二维混合高斯，权重 [0.30, 0.25, 0.15, 0.12, 0.08, 0.05, 0.03, 0.02]。 每代 500 个样本，用 8 成分 GMM 拟合再采样，跑 10 代，25 次重复取平均。

⭐ 注意四个指标掉的速度不一样： 样本标准差只掉了 2.5% —— 如果你只监控"方差"，你几乎看不到任何异常。 但有效模态数掉了 9.9%，尾部模态占比掉了 11.5%。 坍塌先发生在长尾，最后才反映到总体方差上 —— 等你的方差监控报警时，稀有类已经死了很久了。

💀 实验三：加一步「质量过滤」，坍塌快 20 倍

这是真实工程里几乎人人都会做的一步：合成完之后， 「我们只保留模型最有把握的那一半样本，这样质量更高」。 在实验里就是 —— 采 1000 条，按生成器给的对数似然排序，保留最高的 500 条。

💀💀 这是全章最重要的一张表，请看第 1 行： 只过滤了一次，尾部三个稀有模态的占比就从 9.96% 掉到 0.02% —— 一代之内，长尾清零。 十代之后标准差从 2.625 掉到 0.268（方差只剩 1.0%），有效模态数从 5.87 掉到 1.19： 八个模态的分布，最后塌成了一个点。

⭐ 为什么「质量过滤」是加速器而不是保护措施： 生成器给的似然分数，衡量的是「这条样本有多像我已经学会的东西」。 按它排序保留高分样本，等于每一代都主动把分布的边缘剪掉一圈。 你以为你在提高质量，实际上你在做定向的多样性删除。 💀 纯自消费十代掉 9.9% 的有效模态数，加上质量过滤一代就掉 44%。

🛡️ 四种做法对照：什么能刹住车

同一个实验，第 10 代的结果：

⭐ 看最后一行：累积模式下，十代几乎没有坍塌（熵 1.770 → 1.753，掉 1.0%）。 「替换」和「追加」是两件性质完全不同的事： 只要真实数据永远不被丢出训练池，自消费就不会失控。 💀 模型坍塌的真正触发条件不是"用了合成数据"，是"用合成数据把真实数据换掉了"。

一段可以直接放进日常监控的多样性度量：

import numpy as np
from sklearn.cluster import KMeans

def diversity_report(emb, k=64, seed=0):
    """emb: (N, D) 样本嵌入。把嵌入聚成 k 簇，用簇分布的熵度量多样性。
    每次数据刷新都跑一遍，比较代际变化。"""
    km = KMeans(n_clusters=k, n_init=4, random_state=seed).fit(emb)
    cnt = np.bincount(km.labels_, minlength=k).astype(float)
    p = cnt / cnt.sum()
    nz = p[p > 0]
    H = float(-(nz * np.log(nz)).sum())
    return {
        "有效簇数": round(float(np.exp(H)), 2),          # ⭐ 比熵本身好读：等效于多少个均匀簇
        "空簇数": int((cnt == 0).sum()),                 # ⭐ 长尾死亡的最早信号
        "尾部10%簇的样本占比": round(float(np.sort(p)[: k // 10].sum()), 4),  # ⭐ 最灵敏
        "平均维度标准差": round(float(emb.std(axis=0).mean()), 4),            # 最迟钝，别只看这个
    }

# ⭐ 判读：有效簇数相对上一版掉超过 5%，或尾部占比掉超过 20%，就停止再喂合成数据

💀 五、一次真实的事故复盘

发生了什么

为什么没被发现

代价

该补什么

⭐ 这个案例最值钱的一句话： 离线 0.94 和真实 0.61 之间的 0.33，全部是「模型有多懂 LLM 的口癖」。 它不是过拟合，不是泄漏，也不是漂移 —— 是他们出的题和他们做的题，来自同一支笔。

🧭 六、一张判断表：这批合成数据能不能用

🔗 这一章连到哪里

✅ 检查点

1. 四种「合成数据」分别是什么？它们的关键差别是哪一条？统计模型生成为什么"不产生新信息"？
2. 用 1 万条真实数据采出 100 万条合成数据，模型的有效信息量变了吗？会带来什么伪装形式的问题？
3. 五个「有用」场景里，最安全的是哪两个？为什么？稀有类补充为什么要封顶、封到多少？
4. 边界样例为什么是唯一可以进评测集的合成数据？它该怎么报分？
5. 「评测集里混进合成数据」的机制是什么？最常见的混入方式是哪一种、为什么隐蔽？
6. 一维高斯自消费实验里，方差每代乘以什么？n=30 和 n=1000 时方差减半分别要多少代？均值是怎么变化的？
7. 长尾实验里，十代之后哪个指标掉得最少、哪个掉得最多？这说明监控该看什么？
8. 「质量过滤」为什么是坍塌加速器？一代之内尾部占比从多少掉到多少？十代后标准差和有效模态数是多少？
9. 四种做法对照里，什么能刹住坍塌？模型坍塌的真正触发条件是什么？
10. 客服工单那个事故里，离线 0.94 和真实 0.61 之间的差距是什么造成的？哪一个数在第 0 天就能报警、它是多少？第 3 周他们做错了什么？

🛑 可以停在这里

⚡ 走神救援

⭐ 合成数据能解决「没有数据」，解决不了「不知道真实分布长什么样」——它是一台把你已有的假设放大成几十万行样本的机器，假设错就把错误铸成了看起来非常真实的数据。

⭐ 万能判据：问「这批数据里的信息是从哪来的」，答不上来就别让它影响任何决策。 ⚠️ 用一万条真实数据采一百万条，有效信息还是那一万条，但模型置信度会涨——这是过拟合的伪装形式。

⭐ 边界样例是唯一可以进评测集的合成数据，因为它是必答题清单不是抽样——而且必须单独报分，绝不能平均进总体 F1。

☠️ 四条红线里最狠的两条：💀 评测集混进合成数据——你测的是「模型有多懂生成器的口癖」，而这件事永远更容易；最常见的混入方式是先合成再随机划分 train/test（划分脚本是通用的，没人记得这批是合成的）。💀 模型坍塌：分布宽度单调收缩、中心随机漂移，得到一个越来越自信又越来越偏的分布，而它自己看不出来。

⭐ 坍塌先发生在长尾，最后才反映到总体方差——只监控方差等于全盲。💀 更反直觉的是「质量过滤」是加速器：按似然筛选等于每代主动把分布边缘剪掉一圈，你以为在提质量，实际在做定向的多样性删除。

⭐ 真正的触发条件不是「用了合成数据」，是「用合成数据把真实数据换掉了」——替换和追加是性质完全不同的两件事，真实数据永远留在池子里基本无损。

💀 那个客服工单事故最值钱的一句：离线 0.94 和真实 0.61 之间那 0.33 的差距，全部是「模型有多懂 LLM 的口癖」——不是过拟合、不是泄漏、不是漂移，是他们出的题和做的题来自同一支笔。

下一节 👉 17-数据版本与血缘.md