科学问题怎么变成模型 · 从问题进入正文
只有20条标签,先训练整模型还是一个小头?
本章用无标签合成序列学习PCA表示,再用少量标签拟合预测头,与原始特征对照。
读完能说明冻结表示基线怎样比较,并区分R²的差值、比例尺和真实蛋白预训练收益。
📑 本页目录(点开跳转)
06 · 小数据这一关
⏱ 24 分钟 | 先看 20 条标注:R² 从 0.374 到 0.696,提高 0.322。R² 不是可直接解释为“效果翻倍”的比例尺。
这 16 维表示由 4000 条无标签合成序列的 PCA 得到,一个标签都没用。它演示“先学表示、再拟合小头”,不等于测量了真实蛋白语言模型的预训练收益。
🎯 一句话
在本章关心的场景中,标签来自成本较高的实验,未标注序列较容易取得。具体成本和规模因实验而异;未标注数据仍需清理、存储和计算。本章用合成实验比较是否能先学表示,再用少量标签拟合预测头。
💸 一、先认清这个比例
这里先区分原始序列数量和可用标签数量。下表是本章关注的成本情形,不是所有科学项目的统一报价:
| 无标注数据 | 有标注数据 | |
|---|---|---|
| 来源 | 测序、公开数据库 | ⚠️ 一次湿实验 |
| 单条成本 | 既有公共数据获取成本较低;整理与计算仍有成本 | 可能含试剂、设备与等待时间,需按具体测定估算 |
| 量级 | 大型公共数据库可很大;实际可用范围要筛选 | 项目初期可能只有几十到几百条,也有高通量数据集 |
💀 两位数不是夸张。 一个新酶的定向进化项目,第一轮拿到手的可能就是 几十个突变体的活性数据。
拿这个去训一个几百维的模型,n < p —— 参数比样本还多。
⭐ 所以这一章的问题不是「怎么把模型调好」,而是: 在只有几十条标签的情况下,怎么让那几亿条无标签数据也出力。
🧊 二、把这件事跑出来
一个值得先测的基线是冻结表示:先用无标签数据学习表示,再只拟合小头。下面将 PCA 的 16 维固定表示与原始特征对照,没有运行真实蛋白语言模型或全量微调。
运行方式:程序需 Python 与 NumPy;只运行合成序列的 PCA 和岭回归。 将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。本轮 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。
import numpy as np
AA, L, K = 20, 30, 5 # 20 种氨基酸,长 30,背后 5 维隐变量
def corpus(n, seed):
"""序列由一个 5 维隐变量 z 生成 —— 位置之间因此不独立("共进化")。
标签只由 z 决定,序列是 z 的一个带噪观测。"""
r = np.random.default_rng(seed)
B = np.random.default_rng(0).normal(size=(K, L, AA)) # 生成规则全局固定
z = r.normal(size=(n, K))
logits = np.einsum("nk,klv->nlv", z, B)
p = np.exp(logits - logits.max(-1, keepdims=True))
p /= p.sum(-1, keepdims=True)
seqs = np.array([[r.choice(AA, p=p[i, l]) for l in range(L)] for i in range(n)])
X = np.zeros((n, L * AA))
X[np.arange(n)[:, None], np.arange(L) * AA + seqs] = 1.0
w = np.random.default_rng(1).normal(size=K)
return X, z @ w + r.normal(0, 0.3, n)
# ① 无标注大池子 → PCA 当"预训练表示"。⭐ 这一步不用任何标签
Xpool, _ = corpus(4000, 100)
mu = Xpool.mean(0)
_, _, Vt = np.linalg.svd(Xpool - mu, full_matrices=False)
P = Vt[:16].T # 取前 16 个主成分
Xte, yte = corpus(1000, 999)
Xbig, ybig = corpus(3000, 7) # ② 训练池,下面取前 n 条
def r2(Xtr, ytr, Xte_, lam=1.0):
b = np.linalg.solve(Xtr.T @ Xtr + lam * np.eye(Xtr.shape[1]), Xtr.T @ (ytr - ytr.mean()))
pred = Xte_ @ b + ytr.mean()
return 1 - ((yte - pred) ** 2).sum() / ((yte - yte.mean()) ** 2).sum()
print("%-8s %16s %20s" % ("labels", "raw one-hot", "frozen 16-dim"))
for n in [20, 50, 100, 300, 1000, 3000]:
Xtr, ytr = Xbig[:n], ybig[:n] # ⭐ 嵌套子集:大池子的前 n 条
a = r2(Xtr, ytr, Xte)
b = r2((Xtr - mu) @ P, ytr, (Xte - mu) @ P)
print("%-8d %16.3f %20.3f" % (n, a, b))
真实输出:
少量标签时,冻结表示的收益
两列都是测试集 R²(越高越好)。冻结表示来自 4000 条无标签合成序列的 PCA,不是实际蛋白语言模型。
| 有标签样本数 | 原始 one-hot | 冻结的 16 维表示 |
|---|---|---|
| 20 | 0.374 | 0.696 |
| 50 | 0.728 | 0.785 |
| 100 | 0.797 | 0.849 |
| 300 | 0.783 | 0.878 |
| 1000 | 0.815 | 0.884 |
| 3000 | 0.878 | 0.884 |
⭐ 20 条标注时:R² 从 0.374 提高到 0.696,相差 0.322。 这表示本次测试的拟合更好,不能把两个 R² 相除后解释为“效果翻倍”。
那 16 维表示是从 4000 条无标签合成序列用 PCA 抽出来的,一个标签都没用;它不是实际蛋白语言模型的测评。
再看 3000 条标注:两者为 0.878 和 0.884,差 0.006。在这个实验范围内,表示的优势随标签变多而缩小;不能据此断言预训练只影响样本效率、绝不影响最终上限。
原始 one-hot 在 300 条时从 0.797 回落到 0.783。单次曲线不能定位原因:样本组成、固定正则参数与随机波动都可能有关。要区分它们,需要多次划分,并在训练侧选择正则强度,不能直接归因于 lam=1。
🎛️ 三、为什么冻结比微调更适合这里
使用预训练表示可以冻结,也可以微调。下面比较常见代价;本页实验只直接比较固定 PCA 表示与 one-hot,不能据它断言冻结总比微调好。
| 冻结 + 小头 | 全量微调 | |
|---|---|---|
| 要拟合的参数 | 本例为 16 个回归权重;一般取决于表示维度和预测头 | 取决于主干尺寸、解冻范围和适配方式 |
| 几十条标签时 | 可作为较低方差的起点 | 过拟合风险较高,需验证表示是否匹配、正则与训练策略 |
| 需要的算力 | 本页 PCA 与小头可在 CPU 运行;真实大主干抽特征仍可能需要 GPU | 按模型尺寸与训练配置估算,不能一概而论 |
| 什么时候考虑调整 | 表示不适合任务或验证表现不足 | 根据训练侧验证结果和预算判断,没有统一标签数量门槛 |
⭐ 判据很朴素:可训练参数的数量级要和样本量匹配。 上面代码里冻结方案要解的是一个 16 维的岭回归,而原始方案是 600 维 —— 20 个样本拟合 600 维特征有较高风险,但岭回归等正则方法并不等于必然记忆。
⚠️ 还可以只解冻末层或使用 LoRA 等适配方式。标签少时先把简单基线和验证流程做扎实,再根据任务匹配与训练侧验证决定是否微调。
🧰 四、另外四件小数据该做的事
① 用交叉验证估计划分波动。 小样本时单次留出可能很不稳定;K 折让不同样本轮流进入验证折。若调参,需保留独立最终测试,或使用嵌套交叉验证;每折的缩放、PCA 和模型都应仅在对应训练侧拟合。若目标是新家族,内外划分均应按家族分离;同家族新序列、时间外推则需各自对应的设计。见 07 章及官方嵌套交叉验证示例。
② 报区间,不报单点。 50 条数据上的 R² 本身就带着很大的不确定性。⭐ 只报一个数会让你和同事都高估它。
③ 数据增强要遵守标签的变换规则。 预测孤立分子的旋转不变性质时,整体旋转可保留标签;预测力等方向量时,标签也要旋转。随意替换残基通常不能沿用原标签。见 05 章。
④ 比较下一批标注的选择策略。 可以比较随机采样、不确定性采样和批量多样性,计入成本与失败;不预设主动策略必然优于随机。参见数据这一关 12 · 标注预算与主动学习;08 章再讨论实验候选的选择。
⚠️ 五、小数据上最容易骗到自己的两件事
① 指标好看是因为测试集也小。 20 条测试集上的 R² 波动极大,挑一个好看的划分太容易了。 💀 如果你试过好几种划分才选定一个,那这个数字已经被污染了。
② 用同一批数据既选模型又报成绩。 在 5 个模型里挑测试集上最好的那个,报出来的分数存在被高估的选择偏差风险 —— 你已经把测试集用作选择依据了。⭐ 小数据上这件事的代价格外大,因为噪声大、可挑的空间也大。
⭐ 风险来自用测试反馈调整模型、划分或报告方式。 预先规定的最终核验与反复挑高分不同;若测试已参与选择,就需要新的独立评估或明确报告选择过程。详见数据这一关 13 · 评测集也是数据。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 01 · 第一天 | 01 比较特征与样本量,06 比较固定表示与原始特征。两者都展示特定条件下的样本效率,不给领域知识或预训练设普遍兑换率 |
| 07 · 评测的坑 | 目标为未见家族时,验证与测试均需相应分组;不能一律把随机 K 折判错 |
| 05 · 等变与不变 | 第 4 节第三条:哪些数据增强是安全的,取决于问题的对称性 |
| 数据这一关 12 · 标注预算与主动学习 | ⭐ 标签贵到这个程度时,「下一批标注哪些」本身就是个要优化的问题。那一章讲不确定性采样和批量多样性 |
| 数据这一关 13 · 评测集也是数据 | 第五节两个自欺的完整版,以及「测试集多大才够」的置信区间算法 |
| 机器学习与深度学习基础 05 · 评估与过拟合 | 交叉验证的基本功;按新家族、同家族新样本或时间外推等预测目标选择划分 |
✅ 检查点
- 本章所关心的场景里,原始序列与实验标签的获取成本有何不同?成本为何不能统一报价?
- 20 条标签时,冻结 PCA 表示把 R² 从多少提到了多少?那个表示是怎么来的、用了多少标签?
- 到 3000 条标签时两种方案的差距是多少?这说明预训练买到的是什么?
- 为什么小数据上「冻结 + 小头」比「全量微调」更合适?判据是什么?
- 数据增强在这里为什么不能乱加?举一个合法的和一个不合法的。
- 小数据上最容易骗到自己的两件事是什么?它们的共同本质是什么?
👀 答案
- 未标注序列可能容易取得,实验标签可能昂贵且耗时;具体成本、数据量与实验通量需在项目中测量。整理公共数据和提取大模型表示也有成本。
- 从 0.374 提到 0.696(提高 0.322,不能简单解释为效果翻倍)。那 16 维表示是从 4000 条无标签序列用 PCA 抽的,一个标签都没用。
- 0.878 vs 0.884,差 0.006;20 条时差 0.322。这只说明当前合成数据与模型下表示的收益随标签量增加而缩小,不能推断预训练永远不影响最终上限。
- 冻结表示可减少要从少量标签中拟合的自由度,是值得先测的基线。风险还取决于表示质量、正则和任务匹配,不存在“参数多于样本就一定过拟合”或“达到几千条才可微调”的硬门槛。
- 增强必须遵守任务的变换规则:旋转不变性质可保留标签,力和坐标等输出需同步变换;随意替换残基通常不能保留旧标签。
- ① 试过多种划分再挑好看的,② 在测试结果上选模型。共同风险是测试反馈参与选择,造成偏乐观估计;应在训练侧选择,再做独立核验。
本节回顾
到这里可以先建立固定表示加小头的基线,再按任务选择验证方式、报告不确定性,并比较微调或追加标签的价值。参数数目是风险线索,不能单独代替验证。
⚠️ 什么时候看下一页:你已经把现有的几十条数据榨干了, 开始想「那下一批实验该做什么」—— 那是 08 章;下一章先检查评估是否可靠。
⚡ 走神救援
先记住这几件事
- 标签少时,先用冻结表示和小模型建立基线,再判断是否需要更多可训练参数。
- 验证与测试都要考虑同源分组,报告不确定性而不只报一个分数。
- 新增标注、预训练与合法的数据增强解决不同问题,不能用反复挑测试集代替验证。
下一节 👉 07-评测的坑.md