科学问题怎么变成模型 · 从问题进入正文
一列特征的收益,能换算成多少数据?
在同一组合成序列里,比较加一列疏水性特征与增加样本;先读结果表,再看比较条件。
读完能区分本次收益、接近的分数和未测出的上限,不把一个例子当成通用兑换率。
📑 本页目录(点开跳转)
01 · 第一天:一列领域知识值多少条数据
⏱ 24 分钟 | ⭐ 测一测:领域特征在什么条件下有用?
🎯 一句话
领域知识可能帮助模型用更少的数据学好,但收益需要在具体任务中测量。
本章只回答一个小问题:在这组模拟序列、这一个模型和固定随机种子下,多给一列“疏水性”,测试分数会怎样变化?
🧪 一、先跑起来
运行需要 Python 和 NumPy。可以把下方完整程序保存为 sequence_prior.py,在装好 NumPy 的环境中执行 python sequence_prior.py。没有环境时,先看结果表;安装与执行方式可回到 ML 首课。
任务是: 给一条序列,预测它的一个数值性质(稳定性、活性、溶解度都是这个形状)。
我们造一批长度 30 的序列,性质由两件事决定:平均疏水性, 加上一个「位置 4 是酸性 且 位置 21 是碱性」时出现的加成 —— 后者是个成对相互作用。
import numpy as np
AA = "ACDEFGHIKLMNPQRSTVWY" # 20 种氨基酸
L = 30 # 序列长度
# 疏水性标度:真实世界里这是【查表查出来的先验知识】,不是从数据里学的
HYDRO = dict(zip(AA, [1.8, 2.5, -3.5, -3.5, 2.8, -0.4, -3.2, 4.5, -3.9, 3.8,
1.9, -3.5, -1.6, -3.5, -4.5, -0.8, -0.7, 4.2, -0.9, -1.3]))
idx = {c: i for i, c in enumerate(AA)}
def make(n, seed):
"""造 n 条序列。性质 = 2 x 平均疏水性 + 一个"盐桥"加成,再加噪声。"""
r = np.random.default_rng(seed)
seqs = ["".join(r.choice(list(AA), L)) for _ in range(n)]
def truth(s):
h = np.mean([HYDRO[c] for c in s])
pair = 3.0 if (s[4] in "DE" and s[21] in "KR") else 0.0 # ⭐ 位置 4 和 21 的相互作用
return 2.0 * h + pair
y = np.array([truth(s) for s in seqs]) + r.normal(0, 0.5, n)
X1 = np.zeros((n, L * 20)) # ① 纯 one-hot
for k, s in enumerate(seqs):
for p, c in enumerate(s):
X1[k, p * 20 + idx[c]] = 1.0
h = np.array([[np.mean([HYDRO[c] for c in s])] for s in seqs])
return X1, np.hstack([X1, h]), y # ② 多一列疏水性
X1te, X2te, yte = make(400, 999) # 固定测试集
def r2(Xtr, ytr, Xte, lam=1.0):
b = np.linalg.solve(Xtr.T @ Xtr + lam * np.eye(Xtr.shape[1]), Xtr.T @ (ytr - ytr.mean()))
p = Xte @ b + ytr.mean()
return 1 - ((yte - p) ** 2).sum() / ((yte - yte.mean()) ** 2).sum()
print("%-10s %14s %20s" % ("train rows", "one-hot", "one-hot + hydro"))
for n in [450, 900, 1800, 3600]:
a1, a2, ay = make(n, 7)
print("%-10d %14.3f %20.3f" % (n, r2(a1, ay, X1te), r2(a2, ay, X2te)))
原程序的复现输出(Python 3.12.14、NumPy 2.2.6;固定种子):
| 训练条数 | one-hot | one-hot + 疏水性 |
|---|---|---|
| 450 | 0.319 | 0.515 |
| 900 | 0.535 | 0.537 |
| 1800 | 0.705 | 0.705 |
| 3600 | 0.748 | 0.748 |
💱 二、把这张表读明白
① 在这个小数据例子里,加特征有明显收益
450 条时,纯 one-hot 的 R² 是 0.319,加疏水性后是 0.515。纯 one-hot 使用 900 条时是 0.535。
所以在这一次对照中,“450 条加特征”接近“900 条不加这列特征”。这不是普遍的“一列知识等于一倍数据”,也没有测出真实湿实验的成本。
② 后两组很接近,不是严格相等
疏水性是每种氨基酸对应的一个数。平均疏水性可以由 one-hot 列的线性组合表示,所以这个线性模型不额外加那一列,也具备表达这部分关系的能力。
但“能表达”不等于“有限数据下训练出完全相同的预测”。本程序还有 L2 正则化,加入冗余列会改变参数表示及其惩罚方式。
| 训练条数 | one-hot:保留更多位 | 加疏水性:保留更多位 |
|---|---|---|
| 1800 | 0.7052469897 | 0.7051246385 |
| 3600 | 0.7478713460 | 0.7476432229 |
准确结论: 这两次测试的差距很小,在原表的三位小数下相同。不能据此证明两个模型严格等价,更不能推出所有先验“只提高速度,不提高上限”。
③ 0.748 是最后一个观察值,不是已经测出的上限
把原程序的训练量列表改成 [450, 900, 1800, 3600, 7200],其余代码不动,重新运行完整程序:
| 训练条数 | one-hot | 加疏水性 |
|---|---|---|
| 3600 | 0.7478713460 | 0.7476432229 |
| 7200 | 0.7729085863 | 0.7729357311 |
分数还会提高。 因此,原来的四行结果不能证明“到 0.748 就不再涨”。
另一个事实仍然成立:只给各位置 one-hot 的线性模型,不能精确表达“两个指定位置的条件同时满足才触发”的交互项。这里代码中的位置 4、21 是从 0 开始的索引,也就是第 5、22 个位置。
表达能力受限,与当前分数是否已到极限,是两回事。 可以另做加入交互特征或改变模型的对照;本页没有运行这些新对照,不预报它们会提高多少。
🧭 三、把分诊表当成排查入口
一次结果通常有不止一种解释。先列可能原因,再设计下一次对照。
| 观察 | 可能的解释 | 下一步验证 |
|---|---|---|
| 加特征后分数提高 | 提供了有用信息,也可能改善了表示或正则化效果 | 换种子复现;检查特征是否含未来信息 |
| 这列特征收益很小,加数据仍提高 | 当前特征可能冗余;增加样本可能仍有用 | 比较更多样本量,报告波动;也可评估 03 章的预训练表示 |
| 几次加数据都没明显提高 | 可能有表达、优化、噪声或评估分辨率方面的限制 | 检查训练与验证结果,再分别改变特征、模型或数据条件 |
用对照实验检查原因。这些实验提示下一步查哪里,不保证某条路线最便宜,也不能单凭一次实验估计真实任务的性能上限。
🚧 四、开始之前先说清楚三件事
后续章节会分别检验下面三类问题。先认识风险,遇到时再回来看。
① 条目数量不等于独立信息量。
本例按给定生成机制独立抽样。真实数据可能有同源序列、同一对象的重复测量或批次关联,不能仅由总条数判断信息量,也没有通用的“万条折算成几百条”比例。
如果目标是预测新家族,把同一家族随机分到训练和测试两边,可能高估这种外推能力;如果目标本来就是已知家族中的新样本,则要按该目标设计评估。见 07 章。
② 数据不是天上掉的,是有人做实验做出来的。 它可能带着不同批次、仪器和选择性记录的痕迹;并非所有数据都只记录成功结果,需要查采集流程。
在允许追加实验的任务里,还能决定接下来测什么。主动采样并非科学机器学习独有,但实验成本与可行性在这里尤其重要。08 章用合成例子说明如何权衡。
③ 先验可以进入特征,也可以进入结构。
平均疏水性可以作为一列特征。对于整体旋转不应改变的性质,可以使用原子间距离等旋转不变特征,也可以设计不变或等变模型;选择取决于任务及需要保留的几何信息。见 05 章。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 07 · 评测的坑 | 合成实验中随机划分约 0.71、留家族划分约 −1.20;二者回答不同泛化问题,不能只按哪一个分数高来选 |
| 05 · 等变与不变 | 第 4 节第三条的展开:怎样通过特征或模型结构表达旋转相关的先验 |
| 03 · 蛋白质语言模型 | 没有更多标签时,可比较预训练表示与 one-hot 基线;收益取决于表示和任务是否匹配 |
| 机器学习与深度学习基础 03 · 线性模型 | 这一章用的岭回归、以及 lam 那个正则项在做什么。⭐ 如果 np.linalg.solve 那行你看不懂,先去那一章 |
| 机器学习与深度学习基础 05 · 评估与过拟合 | R² 与训练/测试划分的基本功;在科学任务中仍应先核对预测对象、时间和关联结构,再决定怎样划分 |
✅ 检查点
- 450 条时加疏水性的结果,与哪一次增加数据的结果接近?为什么不能说这是普遍兑换率?
- 原表后两行显示相同,是否说明两种设置的预测或分数严格相同?
- 为什么不能把 0.748 当成性能上限?这是否意味着原模型能表达所有交互?
- 加特征有效、加数据有效或两者暂时无效,各应怎样继续验证?
- 为什么条目数不等于独立信息量?是否因此就不能使用随机划分?
- 旋转相关的先验只能写进模型结构吗?
👀 答案
- 本例 450 条加特征是 0.515,900 条纯 one-hot 是 0.535,数值接近。结论只覆盖这组数据、模型与种子,没有给所有先验定价。
- 不是。三位小数掩盖了小差异;平均疏水性可由 one-hot 线性表示,但有限样本和正则化仍会影响拟合。
- 同一程序加到 7200 条后约为 0.773,已反驳这个上限判断。原模型仍不能精确表达联合触发项;表达限制不等于 3600 条时已到极限。
-
先复现变化并检查波动与泄漏,再分别改变样本量、特征或模型。分诊表给的是待检验解释,不是唯一病因。
-
同源、重复测量与批次关联可能让条目提供相似信息。随机划分并非一律错误;应检查它是否对应未来的预测目标。如果要预测新家族,就需要能检验新家族表现的划分。见 07 章。
- 不是。可以用原子间距离等不变特征,也可以设计不变或等变结构;应按预测目标和几何信息需求选择。见 05 章。
本节回顾
读到这里先带走一个方法:固定其他条件,分别尝试加特征和加数据,记录结果及其适用范围。
短暂接近不是严格等价,最后一次分数也不是性能上限。
⚠️ 什么时候看下一页:你想知道序列该怎样表示。上面用的 one-hot 是一种基础表示,下一章比较它与分词、位置和同源关系的联系。
⚡ 走神救援
先记住这几件事
- 领域知识可能在小数据阶段提供有效特征,但收益需要通过对照测量。
- 分别尝试改特征、加数据和换模型,判断限制来自哪个环节。
- 保留独立的评估条件,不把同源样本数量当成独立信息数量。
下一节 👉 02-序列不是文本.md