跳到正文
🏠 总目录📚 本教程 01 · 第一天:一列领域知识值多少数据 ← →

科学问题怎么变成模型 · 从问题进入正文

一列特征的收益,能换算成多少数据?

在同一组合成序列里,比较加一列疏水性特征与增加样本;先读结果表,再看比较条件。

读完能区分本次收益、接近的分数和未测出的上限,不把一个例子当成通用兑换率。

📑 本页目录(点开跳转)

01 · 第一天:一列领域知识值多少条数据

⏱ 24 分钟 | ⭐ 测一测:领域特征在什么条件下有用?


🎯 一句话

领域知识可能帮助模型用更少的数据学好,但收益需要在具体任务中测量。

本章只回答一个小问题:在这组模拟序列、这一个模型和固定随机种子下,多给一列“疏水性”,测试分数会怎样变化?


🧪 一、先跑起来

运行需要 Python 和 NumPy。可以把下方完整程序保存为 sequence_prior.py,在装好 NumPy 的环境中执行 python sequence_prior.py。没有环境时,先看结果表;安装与执行方式可回到 ML 首课。

任务是: 给一条序列,预测它的一个数值性质(稳定性、活性、溶解度都是这个形状)。

我们造一批长度 30 的序列,性质由两件事决定:平均疏水性, 加上一个「位置 4 是酸性 且 位置 21 是碱性」时出现的加成 —— 后者是个成对相互作用。

import numpy as np

AA = "ACDEFGHIKLMNPQRSTVWY"          # 20 种氨基酸
L = 30                                # 序列长度
# 疏水性标度:真实世界里这是【查表查出来的先验知识】,不是从数据里学的
HYDRO = dict(zip(AA, [1.8, 2.5, -3.5, -3.5, 2.8, -0.4, -3.2, 4.5, -3.9, 3.8,
                      1.9, -3.5, -1.6, -3.5, -4.5, -0.8, -0.7, 4.2, -0.9, -1.3]))
idx = {c: i for i, c in enumerate(AA)}


def make(n, seed):
    """造 n 条序列。性质 = 2 x 平均疏水性 + 一个"盐桥"加成,再加噪声。"""
    r = np.random.default_rng(seed)
    seqs = ["".join(r.choice(list(AA), L)) for _ in range(n)]

    def truth(s):
        h = np.mean([HYDRO[c] for c in s])
        pair = 3.0 if (s[4] in "DE" and s[21] in "KR") else 0.0   # ⭐ 位置 4 和 21 的相互作用
        return 2.0 * h + pair

    y = np.array([truth(s) for s in seqs]) + r.normal(0, 0.5, n)

    X1 = np.zeros((n, L * 20))                                     # ① 纯 one-hot
    for k, s in enumerate(seqs):
        for p, c in enumerate(s):
            X1[k, p * 20 + idx[c]] = 1.0
    h = np.array([[np.mean([HYDRO[c] for c in s])] for s in seqs])
    return X1, np.hstack([X1, h]), y                               # ② 多一列疏水性


X1te, X2te, yte = make(400, 999)                                   # 固定测试集


def r2(Xtr, ytr, Xte, lam=1.0):
    b = np.linalg.solve(Xtr.T @ Xtr + lam * np.eye(Xtr.shape[1]), Xtr.T @ (ytr - ytr.mean()))
    p = Xte @ b + ytr.mean()
    return 1 - ((yte - p) ** 2).sum() / ((yte - yte.mean()) ** 2).sum()


print("%-10s %14s %20s" % ("train rows", "one-hot", "one-hot + hydro"))
for n in [450, 900, 1800, 3600]:
    a1, a2, ay = make(n, 7)
    print("%-10d %14.3f %20.3f" % (n, r2(a1, ay, X1te), r2(a2, ay, X2te)))

原程序的复现输出(Python 3.12.14、NumPy 2.2.6;固定种子):

训练条数 one-hot one-hot + 疏水性
450 0.319 0.515
900 0.535 0.537
1800 0.705 0.705
3600 0.748 0.748
0.30.40.50.60.7测试 R²45090018003600训练条数(每格一次翻倍)差 0.196⭐ 加一列(450) ≈ 翻倍(900)当前精度下很接近one-hot + 一列疏水性(查表得来的先验)one-hot,未额外添加疏水性
看起点:450 条数据时,加特征的分数更高;后两组差距很小,三位小数下相同。图只展示四次观察,不表示 0.748 是上限,也不是领域知识的一般兑换率。

💱 二、把这张表读明白

① 在这个小数据例子里,加特征有明显收益

450 条时,纯 one-hot 的 R² 是 0.319,加疏水性后是 0.515。纯 one-hot 使用 900 条时是 0.535。

所以在这一次对照中,“450 条加特征”接近“900 条不加这列特征”。这不是普遍的“一列知识等于一倍数据”,也没有测出真实湿实验的成本。

② 后两组很接近,不是严格相等

疏水性是每种氨基酸对应的一个数。平均疏水性可以由 one-hot 列的线性组合表示,所以这个线性模型不额外加那一列,也具备表达这部分关系的能力。

但“能表达”不等于“有限数据下训练出完全相同的预测”。本程序还有 L2 正则化,加入冗余列会改变参数表示及其惩罚方式。

训练条数 one-hot:保留更多位 加疏水性:保留更多位
1800 0.7052469897 0.7051246385
3600 0.7478713460 0.7476432229

准确结论: 这两次测试的差距很小,在原表的三位小数下相同。不能据此证明两个模型严格等价,更不能推出所有先验“只提高速度,不提高上限”。

③ 0.748 是最后一个观察值,不是已经测出的上限

把原程序的训练量列表改成 [450, 900, 1800, 3600, 7200],其余代码不动,重新运行完整程序:

训练条数 one-hot 加疏水性
3600 0.7478713460 0.7476432229
7200 0.7729085863 0.7729357311

分数还会提高。 因此,原来的四行结果不能证明“到 0.748 就不再涨”。

另一个事实仍然成立:只给各位置 one-hot 的线性模型,不能精确表达“两个指定位置的条件同时满足才触发”的交互项。这里代码中的位置 4、21 是从 0 开始的索引,也就是第 5、22 个位置。

表达能力受限,与当前分数是否已到极限,是两回事。 可以另做加入交互特征或改变模型的对照;本页没有运行这些新对照,不预报它们会提高多少。


🧭 三、把分诊表当成排查入口

一次结果通常有不止一种解释。先列可能原因,再设计下一次对照。

观察 可能的解释 下一步验证
加特征后分数提高 提供了有用信息,也可能改善了表示或正则化效果 换种子复现;检查特征是否含未来信息
这列特征收益很小,加数据仍提高 当前特征可能冗余;增加样本可能仍有用 比较更多样本量,报告波动;也可评估 03 章的预训练表示
几次加数据都没明显提高 可能有表达、优化、噪声或评估分辨率方面的限制 检查训练与验证结果,再分别改变特征、模型或数据条件

用对照实验检查原因。这些实验提示下一步查哪里,不保证某条路线最便宜,也不能单凭一次实验估计真实任务的性能上限。


🚧 四、开始之前先说清楚三件事

后续章节会分别检验下面三类问题。先认识风险,遇到时再回来看。

① 条目数量不等于独立信息量。

本例按给定生成机制独立抽样。真实数据可能有同源序列、同一对象的重复测量或批次关联,不能仅由总条数判断信息量,也没有通用的“万条折算成几百条”比例。

如果目标是预测新家族,把同一家族随机分到训练和测试两边,可能高估这种外推能力;如果目标本来就是已知家族中的新样本,则要按该目标设计评估。见 07 章。

② 数据不是天上掉的,是有人做实验做出来的。 它可能带着不同批次、仪器和选择性记录的痕迹;并非所有数据都只记录成功结果,需要查采集流程。

在允许追加实验的任务里,还能决定接下来测什么。主动采样并非科学机器学习独有,但实验成本与可行性在这里尤其重要。08 章用合成例子说明如何权衡。

③ 先验可以进入特征,也可以进入结构。

平均疏水性可以作为一列特征。对于整体旋转不应改变的性质,可以使用原子间距离等旋转不变特征,也可以设计不变或等变模型;选择取决于任务及需要保留的几何信息。见 05 章。


🔗 这一章连到哪里

去哪 为什么
07 · 评测的坑 合成实验中随机划分约 0.71、留家族划分约 −1.20;二者回答不同泛化问题,不能只按哪一个分数高来选
05 · 等变与不变 第 4 节第三条的展开:怎样通过特征或模型结构表达旋转相关的先验
03 · 蛋白质语言模型 没有更多标签时,可比较预训练表示与 one-hot 基线;收益取决于表示和任务是否匹配
机器学习与深度学习基础 03 · 线性模型 这一章用的岭回归、以及 lam 那个正则项在做什么。⭐ 如果 np.linalg.solve 那行你看不懂,先去那一章
机器学习与深度学习基础 05 · 评估与过拟合 R² 与训练/测试划分的基本功;在科学任务中仍应先核对预测对象、时间和关联结构,再决定怎样划分

✅ 检查点

  1. 450 条时加疏水性的结果,与哪一次增加数据的结果接近?为什么不能说这是普遍兑换率?
  2. 原表后两行显示相同,是否说明两种设置的预测或分数严格相同?
  3. 为什么不能把 0.748 当成性能上限?这是否意味着原模型能表达所有交互?
  4. 加特征有效、加数据有效或两者暂时无效,各应怎样继续验证?
  5. 为什么条目数不等于独立信息量?是否因此就不能使用随机划分?
  6. 旋转相关的先验只能写进模型结构吗?
👀 答案
  1. 本例 450 条加特征是 0.515,900 条纯 one-hot 是 0.535,数值接近。结论只覆盖这组数据、模型与种子,没有给所有先验定价。
  2. 不是。三位小数掩盖了小差异;平均疏水性可由 one-hot 线性表示,但有限样本和正则化仍会影响拟合。
  3. 同一程序加到 7200 条后约为 0.773,已反驳这个上限判断。原模型仍不能精确表达联合触发项;表达限制不等于 3600 条时已到极限。
  4. 先复现变化并检查波动与泄漏,再分别改变样本量、特征或模型。分诊表给的是待检验解释,不是唯一病因。

  5. 同源、重复测量与批次关联可能让条目提供相似信息。随机划分并非一律错误;应检查它是否对应未来的预测目标。如果要预测新家族,就需要能检验新家族表现的划分。见 07 章。

  6. 不是。可以用原子间距离等不变特征,也可以设计不变或等变结构;应按预测目标和几何信息需求选择。见 05 章。

本节回顾

读到这里先带走一个方法:固定其他条件,分别尝试加特征和加数据,记录结果及其适用范围。

短暂接近不是严格等价,最后一次分数也不是性能上限。

⚠️ 什么时候看下一页:你想知道序列该怎样表示。上面用的 one-hot 是一种基础表示,下一章比较它与分词、位置和同源关系的联系。

⚡ 走神救援

先记住这几件事

下一节 👉 02-序列不是文本.md

打卡记录保存在你的浏览器里,首页能看到总进度