科学问题怎么变成模型 · 从问题进入正文
指标很好,测试集代表的是谁?
同一份合成数据、同一个模型,随机划分和家族划分回答的是两个不同的泛化问题。
读完能从未来预测对象反推划分方式,并正确解释负R²、相关样本与小测试集的边界。
📑 本页目录(点开跳转)
07 · 评测的坑:先确定要推广到谁
⏱ 32 分钟 | ⭐ 同一份数据同一个模型,只改划分方式,R² 从 0.71 掉到 −1.20
🎯 一句话
想预测未见过的家族,就不能用同族混在两边的随机划分来证明能力。 随机划分回答的更接近“已见家族里的新序列”,分组划分回答“新家族”。
互联网数据也可能存在同用户、重复内容等依赖;不是只有科学数据需要检查。先定义部署目标,再决定哪些相关样本不能跨集。
🧬 一、为什么这里的样本不独立
蛋白数据库可能包含大量共同祖先衍生的序列,化合物库也可能围绕同一母核成簇。同源不等于某个固定的相同率范围;实际依赖与覆盖应检查数据来源、比对和家族定义。
⚠️ 这不是数据脏,这是数据本来的样子。数据库收录的就是「已经被研究过的那些」, 而研究本身就倾向于成簇进行:找到一个有意思的蛋白,接着测它的一堆同源物。
于是原始条目数可能远大于独立信息量;相关性还受家族、批次与重复测定影响。不能把一万条统一折算为几百个有效样本,需要针对指标和相关结构估计波动。
⭐ 先写清未来要预测谁,再决定什么不能跨集。 新家族外推需要隔离相关家族;同家族中的新序列是另一目标。样本相似不等于必须在所有任务中放到同一边。
🧪 二、把这件事跑出来
下面这段用合成数据复现这个坑:40 个「家族」,每族一条原型序列, 族内成员是原型的小扰动(12% 位点突变)。标签由家族原型决定 —— 也就是说真信号在家族层面,不在单条序列层面。
运行方式:程序需 Python 与 NumPy;家族标签由生成机制提供,不会运行真实序列聚类工具。 将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。本轮 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。
import numpy as np
rng = np.random.default_rng(0)
N_FAMILY, PER_FAMILY, L, K = 40, 25, 60, 20 # 40 个家族,每族 25 条,长 60,20 种"氨基酸"
# 每个家族一条原型;同族成员是原型的小扰动 —— 这就是"同源"
proto = rng.integers(0, K, size=(N_FAMILY, L))
seqs, fam = [], []
for f in range(N_FAMILY):
for _ in range(PER_FAMILY):
s = proto[f].copy()
mut = rng.random(L) < 0.12
s[mut] = rng.integers(0, K, size=mut.sum())
seqs.append(s); fam.append(f)
seqs, fam = np.array(seqs), np.array(fam)
# 标签由家族原型决定(真信号在家族层面),加一点噪声
w = rng.normal(size=(L, K))
fam_y = np.array([w[np.arange(L), proto[f]].sum() for f in range(N_FAMILY)])
y = fam_y[fam] + rng.normal(0, 0.35 * fam_y.std(), size=len(fam))
X = np.zeros((len(seqs), L * K)) # one-hot
X[np.arange(len(seqs))[:, None], np.arange(L) * K + seqs] = 1.0
def ridge_r2(tr, te, lam=1.0):
Xt, yt = X[tr], y[tr]
beta = np.linalg.solve(Xt.T @ Xt + lam * np.eye(X.shape[1]), Xt.T @ (yt - yt.mean()))
pred = X[te] @ beta + yt.mean()
return 1 - ((y[te] - pred) ** 2).sum() / ((y[te] - y[te].mean()) ** 2).sum()
idx = rng.permutation(len(seqs))
cut = int(len(idx) * 0.75)
r2_random = ridge_r2(idx[:cut], idx[cut:]) # ① 随机划分
fam_order = rng.permutation(N_FAMILY) # ② 按家族划分
train_f = set(fam_order[:int(N_FAMILY * 0.75)])
tr = np.array([i for i in range(len(seqs)) if fam[i] in train_f])
te = np.array([i for i in range(len(seqs)) if fam[i] not in train_f])
r2_group = ridge_r2(tr, te)
print("同一份数据、同一个模型,只改划分方式:")
print(" random split test R2 = %.3f" % r2_random)
print(" group split test R2 = %.3f" % r2_group)
print(" inflation %.3f" % (r2_random - r2_group))
in_train = np.array([np.isin(fam[i], fam[idx[:cut]]) for i in idx[cut:]])
print("random split: %d%% of test seqs have a same-family sibling in train"
% (100 * in_train.mean()))
真实输出:
同一个模型,两种泛化问题
随机划分测试已见家族中的新序列;分组划分测试未见家族。先确定实际要解决哪一种问题,再选择划分。
| 划分方式 | 测试集 R² |
|---|---|
| random split:随机划分 | 0.707 |
| group split:按家族划分 | -1.199 |
两项 R² 差 1.906。随机划分中,100% 的测试序列在训练集中有同一家族的样本。
负 R² 表示本次平方误差大于以测试集均值作常数预测的误差;这不等于已经实测了“预测训练集均值”的基线。
⭐ R² = 0.707 看起来是个像样的模型;R² = −1.199 意味着它平方误差还大于以测试集均值作常数预测的误差。
同一份数据、同一个模型、同一套超参 —— 只改了怎么切。
⚠️ 本轮复跑确认上表,并另把同一分组划分的 lam 从 1 改为 100,R² 由 −1.199 变为 −0.248。 原稿提过多组设置,但未保留每组完整参数和逐项输出,本页不沿用那段范围作为已复核证据。当前结论只覆盖已展示的生成机制与划分。
🚨 三、为什么正则化救不了它
把上面同一分组评估的 lam 从 1 改为 100,本轮复跑 R² 从 −1.199 提高到 −0.248。正则强度在本例有帮助,但不能用它把一个划分目标变成另一个。
⭐ 未见家族评估还受到分布变化与可迁移关系的限制。 本例未向模型提供测试家族原型,当前特征、模型和样本条件下外推很差;不能据此证明所有家族外推都不可能,或正则化与模型选择永远无用。
⚠️ 所以看到「按组划分后指标暴跌」时,不要第一时间去调模型 —— 先接受这个数字, 它估计的是对该分组规则下未见家族的泛化,不一定代表所有部署场景。
🔧 四、正确的划分怎么做
- 需要新家族外推时,先定义组,再整组划分。 可使用已有家族标签,或用 CD-HIT、MMseqs2 等按比对关系聚类;工具和版本需记录,实际运行前查官方聚类条件。
- 报告相同率定义、阈值、覆盖度和聚类方法。 30% 与 90% 阈值可能构造不同难度;代表序列聚类并不自动保证任意跨簇序列都低于阈值。若要求严格隔离,还要检查跨集合的最近邻。
- 验证划分也要匹配目标。 新家族外推的调参也应按组验证;随机验证可能偏向选择家族内表现好的模型,即使组测试仍保留独立,也不能说该测试已自动发生直接泄漏。
- ⚠️ 用别人的公开划分之前,先问它是怎么划的。 公开 benchmark 一样可能带这个坑。
⭐ 这不是一条新规矩,是站内那条规矩换了一个域。 数据这一关 · 14 数据泄漏的七种来源 的 ④ 分组泄漏讲的就是这件事:同一个用户的多条记录被随机切散, 随机切 AUC 0.706、按用户
GroupKFold切只剩 0.564 —— 那 0.14 是「认人」不是「预测」。两者都要检查不该跨集的组是否重叠。用户数据可能有
user_id,科学数据也可能有家族标签;没有可靠标签时,才需要结合相似度和领域条件定义组。组的定义本身也是建模选择。 应记录来源、阈值与覆盖度,并检查它是否对应需要预测的新家族、批次或时间;组不重叠只是其中一项检查。
🪤 五、另外三个坑
成功实验可能更容易被收录
发表和录入可能偏向成功、易测或常被研究的对象;不同数据库的收录规则不同,不能统一说只有成功实验。未测或未记录不等于真阴性,需保留测定状态和缺失原因。
这种选择可能使训练与目标总体不匹配,是否高估以及高估多少要验证。可先查实验日志、失败记录和纳入标准,再考虑额外采样或偏差校正;不能假设只凭现有表就能完整识别或消除偏差。见采样偏差与幸存者偏差。
测试集太小,指标根本分不出差别
测试不确定性取决于指标、分组相关性和模型差值。40 个独立家族或 2 个点差异,本身不足以下显著性结论。 可按家族重复划分或重采样,对同一测试对象上的模型差值报告区间;二分类正确率的样本量例子不能直接套到 R²。参见评测体系,但应核对其统计假设。
指标选错
阳性占 3% 时,全预测阴性的准确率是 97%,所以准确率不能单独说明筛选价值。可报告 PR 曲线、明确计算方式的 AP/AUPRC,以及 top-N 命中数、召回率与实验成本;这些指标也受阳性率和标签完整性影响。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 数据这一关 14 · 数据泄漏的七种来源 | 与本章共享分组依赖机制;科学数据可能已有家族标签,也可能需要按相似度定义组。检查组间重叠和跨集近邻 |
| 数据这一关 15 · 采样偏差与幸存者偏差 | 核对收录与失败记录;偏差校正也需要明确的缺失机制假设 |
| 数据这一关 13 · 评测集也是数据 | ⭐ 尺子本身也会坏。它的第三节「多大才够:把置信区间算出来」,正是「测试集太小、指标分不出差别」的算法 |
| 机器学习与深度学习基础 05 · 评估与过拟合 | 交叉验证基础;是否按组、按时间或随机,应由预测目标决定 |
✅ 检查点
- 为什么随机划分不能证明对新家族的泛化?它能回答什么问题?
- 实验里两种划分的 R² 各是多少?「负的 R²」意味着什么?
- 本例增大正则化后,分组 R² 怎样变化?为什么不能用调参代替正确的评测目标?
- 正确的划分要做哪四件事?为什么验证集也要按组切?
- 若成功实验更易被收录,会怎样影响数据?未记录样本能直接当阴性吗?
- 测试集只有 40 个独立家族时,「A 比 B 高 2 个点」这句话可信吗?
👀 答案
- 随机划分可能让训练与测试共享家族特征,本例 100% 的测试序列都有同族训练样本。它可评估相应分布中的新序列,却不能替代未见家族评估;划分必须对应实际目标。
- 随机划分 R² = 0.707,按家族划分 R² = −1.199,两种评估相差 1.906。负的 R² 意味着模型平方误差还大于以测试集均值作常数预测的误差。
- 本例 lam 从 1 到 100,将分组 R² 从 −1.199 提高到 −0.248,但仍低于测试均值参照。正则化可改善拟合,却不能替代目标匹配的划分;本例也不能证明所有模型都无法外推。
- ① 按目标定义组并整组分配;② 报告相同率、覆盖度、阈值和聚类方式,必要时查跨集近邻;③ 调参验证也匹配目标;④ 核对公开划分的来源与规则。
- 未测、未记录与实测阴性不同。选择性收录可能造成采样偏差,但方向和程度要检查,不能断言所有库都只含成功样本。见数据这一关 15。
- 不能仅凭 40 个家族或 2 个点下结论。需要明确指标、家族大小和相关性,用按家族的重复划分或重采样估计差值的不确定性;二分类比例的样本量例子不能直接套到 R²。
本节回顾
读到这里你手上有一条可以立刻执行的规矩:拿到任何科学数据集,第一件事是问「它是怎么划分的」 —— 如果要推广到未见家族而数据却随机混合,应重新进行对应的分组评估。
⚠️ 什么时候看下一页:你已经能正确评估了,接下来要决定下一批实验做什么 —— 那是把评测接回数据生产的事。
⚡ 走神救援
先记住这几件事
- 随机划分可能把近亲样本分到两边,分数高不等于能推广到新家族。
- 划分规则要对应实际外推目标,验证集也必须使用相同原则。
- 检查成功实验偏差、测试规模和任务指标,并把这些限制与结果一起报告。
下一节 👉 08-数据实验模型飞轮.md