跳到正文
🏠 总目录📚 本教程 06 · 小数据这一关 ← →

科学问题怎么变成模型 · 从问题进入正文

只有20条标签,先训练整模型还是一个小头?

本章用无标签合成序列学习PCA表示,再用少量标签拟合预测头,与原始特征对照。

读完能说明冻结表示基线怎样比较,并区分R²的差值、比例尺和真实蛋白预训练收益。

📑 本页目录(点开跳转)

06 · 小数据这一关

⏱ 24 分钟 | 先看 20 条标注:R² 从 0.374 到 0.696,提高 0.322。R² 不是可直接解释为“效果翻倍”的比例尺。

这 16 维表示由 4000 条无标签合成序列的 PCA 得到,一个标签都没用。它演示“先学表示、再拟合小头”,不等于测量了真实蛋白语言模型的预训练收益。


🎯 一句话

在本章关心的场景中,标签来自成本较高的实验,未标注序列较容易取得。具体成本和规模因实验而异;未标注数据仍需清理、存储和计算。本章用合成实验比较是否能先学表示,再用少量标签拟合预测头。


💸 一、先认清这个比例

这里先区分原始序列数量和可用标签数量。下表是本章关注的成本情形,不是所有科学项目的统一报价:

无标注数据 有标注数据
来源 测序、公开数据库 ⚠️ 一次湿实验
单条成本 既有公共数据获取成本较低;整理与计算仍有成本 可能含试剂、设备与等待时间,需按具体测定估算
量级 大型公共数据库可很大;实际可用范围要筛选 项目初期可能只有几十到几百条,也有高通量数据集

💀 两位数不是夸张。 一个新酶的定向进化项目,第一轮拿到手的可能就是 几十个突变体的活性数据。 拿这个去训一个几百维的模型,n < p —— 参数比样本还多。

⭐ 所以这一章的问题不是「怎么把模型调好」,而是: 在只有几十条标签的情况下,怎么让那几亿条无标签数据也出力。


🧊 二、把这件事跑出来

一个值得先测的基线是冻结表示:先用无标签数据学习表示,再只拟合小头。下面将 PCA 的 16 维固定表示与原始特征对照,没有运行真实蛋白语言模型或全量微调。

运行方式:程序需 Python 与 NumPy;只运行合成序列的 PCA 和岭回归。 将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。本轮 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。

import numpy as np

AA, L, K = 20, 30, 5          # 20 种氨基酸,长 30,背后 5 维隐变量


def corpus(n, seed):
    """序列由一个 5 维隐变量 z 生成 —— 位置之间因此不独立("共进化")。
    标签只由 z 决定,序列是 z 的一个带噪观测。"""
    r = np.random.default_rng(seed)
    B = np.random.default_rng(0).normal(size=(K, L, AA))     # 生成规则全局固定
    z = r.normal(size=(n, K))
    logits = np.einsum("nk,klv->nlv", z, B)
    p = np.exp(logits - logits.max(-1, keepdims=True))
    p /= p.sum(-1, keepdims=True)
    seqs = np.array([[r.choice(AA, p=p[i, l]) for l in range(L)] for i in range(n)])
    X = np.zeros((n, L * AA))
    X[np.arange(n)[:, None], np.arange(L) * AA + seqs] = 1.0
    w = np.random.default_rng(1).normal(size=K)
    return X, z @ w + r.normal(0, 0.3, n)


# ① 无标注大池子 → PCA 当"预训练表示"。⭐ 这一步不用任何标签
Xpool, _ = corpus(4000, 100)
mu = Xpool.mean(0)
_, _, Vt = np.linalg.svd(Xpool - mu, full_matrices=False)
P = Vt[:16].T                                                 # 取前 16 个主成分

Xte, yte = corpus(1000, 999)
Xbig, ybig = corpus(3000, 7)                                  # ② 训练池,下面取前 n 条


def r2(Xtr, ytr, Xte_, lam=1.0):
    b = np.linalg.solve(Xtr.T @ Xtr + lam * np.eye(Xtr.shape[1]), Xtr.T @ (ytr - ytr.mean()))
    pred = Xte_ @ b + ytr.mean()
    return 1 - ((yte - pred) ** 2).sum() / ((yte - yte.mean()) ** 2).sum()


print("%-8s %16s %20s" % ("labels", "raw one-hot", "frozen 16-dim"))
for n in [20, 50, 100, 300, 1000, 3000]:
    Xtr, ytr = Xbig[:n], ybig[:n]                             # ⭐ 嵌套子集:大池子的前 n 条
    a = r2(Xtr, ytr, Xte)
    b = r2((Xtr - mu) @ P, ytr, (Xte - mu) @ P)
    print("%-8d %16.3f %20.3f" % (n, a, b))

真实输出:

少量标签时,冻结表示的收益

两列都是测试集 R²(越高越好)。冻结表示来自 4000 条无标签合成序列的 PCA,不是实际蛋白语言模型。

有标签样本数 原始 one-hot 冻结的 16 维表示
20 0.374 0.696
50 0.728 0.785
100 0.797 0.849
300 0.783 0.878
1000 0.815 0.884
3000 0.878 0.884

⭐ 20 条标注时:R² 从 0.374 提高到 0.696,相差 0.322。 这表示本次测试的拟合更好,不能把两个 R² 相除后解释为“效果翻倍”。

那 16 维表示是从 4000 条无标签合成序列用 PCA 抽出来的,一个标签都没用;它不是实际蛋白语言模型的测评。

再看 3000 条标注:两者为 0.878 和 0.884,差 0.006。在这个实验范围内,表示的优势随标签变多而缩小;不能据此断言预训练只影响样本效率、绝不影响最终上限。

原始 one-hot 在 300 条时从 0.797 回落到 0.783。单次曲线不能定位原因:样本组成、固定正则参数与随机波动都可能有关。要区分它们,需要多次划分,并在训练侧选择正则强度,不能直接归因于 lam=1。


🎛️ 三、为什么冻结比微调更适合这里

使用预训练表示可以冻结,也可以微调。下面比较常见代价;本页实验只直接比较固定 PCA 表示与 one-hot,不能据它断言冻结总比微调好。

冻结 + 小头 全量微调
要拟合的参数 本例为 16 个回归权重;一般取决于表示维度和预测头 取决于主干尺寸、解冻范围和适配方式
几十条标签时 可作为较低方差的起点 过拟合风险较高,需验证表示是否匹配、正则与训练策略
需要的算力 本页 PCA 与小头可在 CPU 运行;真实大主干抽特征仍可能需要 GPU 按模型尺寸与训练配置估算,不能一概而论
什么时候考虑调整 表示不适合任务或验证表现不足 根据训练侧验证结果和预算判断,没有统一标签数量门槛

⭐ 判据很朴素:可训练参数的数量级要和样本量匹配。 上面代码里冻结方案要解的是一个 16 维的岭回归,而原始方案是 600 维 —— 20 个样本拟合 600 维特征有较高风险,但岭回归等正则方法并不等于必然记忆。

⚠️ 还可以只解冻末层或使用 LoRA 等适配方式。标签少时先把简单基线和验证流程做扎实,再根据任务匹配与训练侧验证决定是否微调。


🧰 四、另外四件小数据该做的事

① 用交叉验证估计划分波动。 小样本时单次留出可能很不稳定;K 折让不同样本轮流进入验证折。若调参,需保留独立最终测试,或使用嵌套交叉验证;每折的缩放、PCA 和模型都应仅在对应训练侧拟合。若目标是新家族,内外划分均应按家族分离;同家族新序列、时间外推则需各自对应的设计。见 07 章及官方嵌套交叉验证示例。

② 报区间,不报单点。 50 条数据上的 R² 本身就带着很大的不确定性。⭐ 只报一个数会让你和同事都高估它。

③ 数据增强要遵守标签的变换规则。 预测孤立分子的旋转不变性质时,整体旋转可保留标签;预测力等方向量时,标签也要旋转。随意替换残基通常不能沿用原标签。见 05 章。

④ 比较下一批标注的选择策略。 可以比较随机采样、不确定性采样和批量多样性,计入成本与失败;不预设主动策略必然优于随机。参见数据这一关 12 · 标注预算与主动学习;08 章再讨论实验候选的选择。


⚠️ 五、小数据上最容易骗到自己的两件事

① 指标好看是因为测试集也小。 20 条测试集上的 R² 波动极大,挑一个好看的划分太容易了。 💀 如果你试过好几种划分才选定一个,那这个数字已经被污染了。

② 用同一批数据既选模型又报成绩。 在 5 个模型里挑测试集上最好的那个,报出来的分数存在被高估的选择偏差风险 —— 你已经把测试集用作选择依据了。⭐ 小数据上这件事的代价格外大,因为噪声大、可挑的空间也大。

⭐ 风险来自用测试反馈调整模型、划分或报告方式。 预先规定的最终核验与反复挑高分不同;若测试已参与选择,就需要新的独立评估或明确报告选择过程。详见数据这一关 13 · 评测集也是数据。


🔗 这一章连到哪里

去哪 为什么
01 · 第一天 01 比较特征与样本量,06 比较固定表示与原始特征。两者都展示特定条件下的样本效率,不给领域知识或预训练设普遍兑换率
07 · 评测的坑 目标为未见家族时,验证与测试均需相应分组;不能一律把随机 K 折判错
05 · 等变与不变 第 4 节第三条:哪些数据增强是安全的,取决于问题的对称性
数据这一关 12 · 标注预算与主动学习 ⭐ 标签贵到这个程度时,「下一批标注哪些」本身就是个要优化的问题。那一章讲不确定性采样和批量多样性
数据这一关 13 · 评测集也是数据 第五节两个自欺的完整版,以及「测试集多大才够」的置信区间算法
机器学习与深度学习基础 05 · 评估与过拟合 交叉验证的基本功;按新家族、同家族新样本或时间外推等预测目标选择划分

✅ 检查点

  1. 本章所关心的场景里,原始序列与实验标签的获取成本有何不同?成本为何不能统一报价?
  2. 20 条标签时,冻结 PCA 表示把 R² 从多少提到了多少?那个表示是怎么来的、用了多少标签?
  3. 到 3000 条标签时两种方案的差距是多少?这说明预训练买到的是什么?
  4. 为什么小数据上「冻结 + 小头」比「全量微调」更合适?判据是什么?
  5. 数据增强在这里为什么不能乱加?举一个合法的和一个不合法的。
  6. 小数据上最容易骗到自己的两件事是什么?它们的共同本质是什么?
👀 答案
  1. 未标注序列可能容易取得,实验标签可能昂贵且耗时;具体成本、数据量与实验通量需在项目中测量。整理公共数据和提取大模型表示也有成本。
  2. 从 0.374 提到 0.696(提高 0.322,不能简单解释为效果翻倍)。那 16 维表示是从 4000 条无标签序列用 PCA 抽的,一个标签都没用。
  3. 0.878 vs 0.884,差 0.006;20 条时差 0.322。这只说明当前合成数据与模型下表示的收益随标签量增加而缩小,不能推断预训练永远不影响最终上限。
  4. 冻结表示可减少要从少量标签中拟合的自由度,是值得先测的基线。风险还取决于表示质量、正则和任务匹配,不存在“参数多于样本就一定过拟合”或“达到几千条才可微调”的硬门槛。
  5. 增强必须遵守任务的变换规则:旋转不变性质可保留标签,力和坐标等输出需同步变换;随意替换残基通常不能保留旧标签。
  6. ① 试过多种划分再挑好看的,② 在测试结果上选模型。共同风险是测试反馈参与选择,造成偏乐观估计;应在训练侧选择,再做独立核验。

本节回顾

到这里可以先建立固定表示加小头的基线,再按任务选择验证方式、报告不确定性,并比较微调或追加标签的价值。参数数目是风险线索,不能单独代替验证。

⚠️ 什么时候看下一页:你已经把现有的几十条数据榨干了, 开始想「那下一批实验该做什么」—— 那是 08 章;下一章先检查评估是否可靠。

⚡ 走神救援

先记住这几件事

下一节 👉 07-评测的坑.md

打卡记录保存在你的浏览器里,首页能看到总进度