科学问题怎么变成模型 · 从问题进入正文
下一次实验,选预测最高的那个就够了吗?
把预测均值和后验标准差放到同一轮候选选择中,观察探索奖励怎样改变本次决定。
读完能区分采集分数与真实目标值,并按共同预算、成功定义和失败记录比较策略。
📑 本页目录(点开跳转)
08 · 数据、实验、模型的飞轮
⏱ 24 分钟 | ⭐ 合成实验中:贪心 8 次成功 2 次,UCB 8 次成功 8 次
🎯 一句话
本章讨论可以追加实验、由模型参与选择候选的场景。除了预测指标,还要比较在相同实验预算下找到什么、失败多少次、花了多少成本;纯贪心、随机与探索策略都值得作为对照。
🔄 一、闭环才是这件事的形态
前面的小实验把数据集视为固定;当允许追加实验时,科学机器学习也可以形成闭环,每一步可能有实验与计算成本:
训模型 → 挑候选 → 做实验 → 拿到新数据 → 回去训模型
⭐⭐ 同一预算下,较高 R² 不一定带来更多发现;只推荐已测对象的策略也可能浪费探索机会。反过来,复测有时有校准和估计噪声的价值,不能一概说价值为零。应按任务预先定义发现质量、可行性与总成本。
⭐ 同时看预测是否可信,以及选点是否改善实验决策。 把首次达标成本、预算内成功率、最佳目标值和失败记录一起比较。
🎯 二、为什么不能挑分数最高的
只挑预测均值最高的候选,可能错过尚未探索的区域。 这不是说未知区域一定低分,而是纯贪心不主动奖励不确定性;在某些初始观测和模型下,它可能反复选择同一区域。
⭐ 解法是在打分里明确地给不确定性付钱:
采集分数 = 预测值 + κ × 不确定性
这里的“不确定性”是 GP 对候选目标的后验标准差,与预测均值同单位;不等于训练误差或已校准的真实失败概率。κ=0 为纯贪心,κ 增大就更奖励高标准差。本例是 GP-UCB 的固定系数教学形式;多臂老虎机 UCB 的具体置信项不同,可对照探索与利用阅读。
🧪 三、把差别跑出来
一个一维合成目标,左侧有局部峰、右侧有较高峰。两种策略每个种子从相同 3 个初始点出发,最多新增 25 次观测。候选是固定 400 点网格、目标无噪声,代码允许重复选点;重复测量的真实成本与去重策略没有在这里单独建模。
运行方式:程序需 Python 与 NumPy;只运行一维合成 GP 选点,不连接实验设备。 将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。本轮 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。
import numpy as np
def f(x):
"""多峰目标函数:全局最优在右侧,左侧有个诱人的局部最优。"""
return np.sin(3 * x) * np.exp(-0.3 * (x - 2) ** 2) + 1.6 * np.exp(-2.5 * (x - 7.2) ** 2)
grid = np.linspace(0, 10, 400)
best_x = grid[np.argmax(f(grid))]
def gp(Xtr, ytr, Xte, ls=0.6, noise=1e-4):
"""最小版高斯过程:RBF 核,返回后验均值和标准差。"""
k = lambda a, b: np.exp(-0.5 * ((a[:, None] - b[None, :]) / ls) ** 2)
K = k(Xtr, Xtr) + noise * np.eye(len(Xtr))
Ki = np.linalg.inv(K)
mu = k(Xte, Xtr) @ Ki @ ytr
var = 1.0 - np.einsum("ij,jk,ik->i", k(Xte, Xtr), Ki, k(Xte, Xtr))
return mu, np.sqrt(np.maximum(var, 1e-12))
def run(kappa, rounds=25, seed=0):
r = np.random.default_rng(seed)
X = r.uniform(0, 10, 3) # 三个初始点,两种策略完全相同
y = f(X)
for t in range(rounds):
mu, sd = gp(X, y, grid)
nxt = grid[np.argmax(mu + kappa * sd)] # ⭐ kappa=0 就是纯贪心
X, y = np.append(X, nxt), np.append(y, f(nxt))
if abs(nxt - best_x) < 0.15:
return t + 1
return None
print("候选网格最优在 x = %.2f,f = %.3f" % (best_x, f(best_x)))
print()
print("%-22s %s" % ("策略", "第几轮进入网格最优点 0.15 邻域(25 轮内)"))
for name, kap in [("greedy (kappa=0)", 0.0), ("UCB (kappa=2)", 2.0)]:
res = [run(kap, seed=s) for s in range(8)]
ok = [r for r in res if r is not None]
print("%-22s %s" % (name, " ".join("%2s" % (r if r else "--") for r in res)))
print("%-22s found %d/8, avg round %.1f" % ("", len(ok), np.mean(ok) if ok else float("nan")))
真实输出:
25 轮内,谁找到了最优点附近
400 个候选网格点中的最优位置约为 x=7.19,f=1.600。代码把新选点距离该位置小于 0.15 计为成功,不要求精确命中。
每个随机种子的首次成功轮次
| seed | 贪心 κ=0 | UCB κ=2 |
|---|---|---|
| 0 | 未在 25 轮内找到 | 5 |
| 1 | 未在 25 轮内找到 | 7 |
| 2 | 未在 25 轮内找到 | 8 |
| 3 | 未在 25 轮内找到 | 7 |
| 4 | 未在 25 轮内找到 | 9 |
| 5 | 2 | 7 |
| 6 | 未在 25 轮内找到 | 8 |
| 7 | 2 | 5 |
先比成功次数,再看轮次
| 策略 | 成功次数 | 仅成功试验的平均轮次 |
|---|---|---|
| greedy(κ=0) | 2/8 | 2.0 |
| UCB(κ=2) | 8/8 | 7.0 |
每轮选一个点;轮次不含最初的 3 个观测。失败试验是预算内未达标,不能据此推断无限期都不会成功。
⭐⭐ 这张表要横着读,不要只看平均轮数:
- 贪心:2/8 达标,成功的两次都在第 2 轮;其余 6 次在 25 轮预算内未进入指定邻域。这里只报告观察到的结果,不推断无限期行为。
平均 2.0 轮只统计了贪心成功的两次,不能单独用它宣称比 UCB 的 7.0 轮更省。 两种策略要在同一预算下同时比较成功率、成本和找到的目标值。有限预算内失败不能推出“期望代价无穷”。
本例只有 8 个种子、固定核参数和无噪声目标函数。UCB 的理论保证有明确假设,不能把 κ=2 的小实验当成普遍保证。依据:GP-UCB 原始研究。
📦 四、一次挑一批的坑
实验很少一次做一个 —— 一块 96 孔板就是 96 个。 直接取最高分的 96 个,可能集中在很小的区域、信息高度重复。是否发生以及重复程度需要检查,不能预先断言必然只相当于 1 条信息。
⭐ 两个能直接用的办法:
- 先给已选点加入临时预测值,再更新后验,属于批量选择的近似方法。在固定核 GP 中,新增位置会降低邻域不确定性,但不保证绝不会重复或得到最优批次;仍需明确重复、距离和实验可行性约束。
- 加一个多样性下限:候选间距离不得低于阈值,或相似度不得高于阈值;两者方向不要写反。
⚠️ 主动学习和实验设计可以使用固定候选池,也可以生成候选。本页代码使用固定 400 点网格;真实实验设计的候选是否开放、如何约束可行性,要另行说明,不能只凭任务名称区分。参见标注预算与主动学习。
⚠️ 五、实验结果回来之后,你的数据分布已经变了
💀 这一条最容易被忽略,而它会毁掉你的评估。
你专门挑了模型认为好的、或者不确定的那些去做实验。 于是新数据根本不是从原分布里随机抽的 —— 它是被你的模型筛过的。
后果有两个:
① 只在被策略选中的样本上评估,目标总体可能已改变。 这些结果可以回答该选中分布下的表现,但不能直接代表整个原候选空间;还需避免训练样本与评估样本混用。
② 不同测试分布的轮次指标不能直接比较。 R² 从 0.6 升到 0.7,可能同时受模型、测试方差与候选组成影响,应在共同的目标评估条件下比较。
⭐ 保留来自预先定义的目标分布、且不参与选点或调参的评估数据,便于比较轮次;这只是评价已声明总体的尺子,不能代表所有新分布。若目标是新家族,评估也按家族分离。同时另外比较固定实验预算下的发现质量和成本。见 07 章。
🏁 六、什么时候停
三个信号,⚠️ 但它们都不干净:
| 信号 | ⚠️ 但是 |
|---|---|
| 预算用完了 | 最诚实的一个,也是最常见的真实原因 |
| 连续几轮没有改善 | 可能是收敛了,⭐ 也可能是 κ 太小、根本没在探索 |
| 模型说没有更好的了 | 💀 这句话不可信 —— 它只覆盖你定义的搜索空间 |
模型判断“没有更好”时,还可能是覆盖不足、不确定性失准或候选约束过窄。上面的有限预算结果没有记录每轮置信轨迹,不能从未成功就断言那 6 次都没去过右侧或每轮都很自信。应查看实际轨迹,并比较探索参数和独立候选。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 强化学习基础 07 · 探索与利用 | 比较探索与利用的共同思想;GP 的后验标准差与老虎机的置信项定义不同 |
| 数据这一关 12 · 标注预算与主动学习 | 两者都要权衡信息、目标和成本;本页使用固定网格,不代表所有实验设计的空间都开放 |
| 07 · 评测的坑 | 固定评估需匹配声明的预测目标;未见家族目标需要按家族隔离 |
| 06 · 小数据这一关 | 飞轮的第一圈就是小数据 —— 那一章讲头几十条标签怎么用 |
| 模型上线之后 · 附录A 速查 | ⭐ 第五节那个「分布变了」在部署语境里叫数据漂移,那边有完整的检测方法清单 |
✅ 检查点
- 闭环怎么改变了「好模型」的定义?判据是什么?
- 为什么纯贪心可能探索不足?这个现象为什么还依赖初始点和模型?
- 实验里贪心和 UCB 各成功几次?「贪心平均 2.0 轮」为什么是个误导性的数字?
- 一次挑 96 个的坑是什么?两个解法各是什么?
- 实验结果回来后为什么数据分布变了?会造成哪两个后果?对策是什么?
- 「模型说没有更好的了」为什么不可信?
👀 答案
- 除了预测指标,还比较相同预算下的发现质量、成功率和总成本。复测有时有估计噪声与校准的价值,不能简单把重复推荐或某个 R² 对应的模型判为零价值。
- 纯贪心只看预测均值,不主动探索不确定区域;在部分初始观测下可能反复停留在局部高分区域,但不是必然永远锁死。
- 本例 25 轮内贪心 2/8、UCB 8/8 进入网格最优点的 0.15 邻域。平均 2.0 与 7.0 只统计各自成功试验,不能忽略失败直接比较,更不能据此断言贪心的期望代价无穷。
- top-N 可能集中在相似区域,但冗余程度要检查。可以用临时预测更新后验,或加候选间距离/相似度约束;这些方法仍需明确重复、可行性与批次成本,不保证自动得到最优批次。
- 新数据被当前策略筛选过,其表现不能自动代表原总体;跨轮直接比较也会混入分布变化。保留匹配目标且不参与选择的评估数据,并另外报告实验发现和成本;新家族目标才要求对应的家族隔离。
- 模型只能在当前候选、观测和假设下判断;覆盖不足、置信度失准或搜索空间过窄都可能掩盖更好的候选。要查轨迹与独立实验,不能从有限预算失败推出永远找不到。
本节回顾
这是正文最后一章。⭐ 你现在有一条完整的链: 把科学问题变成建模问题 → 表示 → 结构与对称性 → 小数据 → 正确评估 → 决定下一批实验做什么。
⚠️ 什么时候回来:真正开始转飞轮的时候。第五节那条「分布已经变了」 在纸上看很显然,⭐ 在项目第三轮时几乎所有人都会忘。
⚡ 走神救援
先记住这几件事
- 模型参与选择下一批实验,数据和策略会随反馈不断变化。
- 只挑预测最高分容易反复停在熟悉区域,要明确考虑不确定性与批次多样性。
- 保留不参与候选挑选的评估数据,区分模型改进与采样分布改变。
- 用实验成本和实际发现衡量价值,并预先说明预算与停止条件。
下一节 👉 附录A-速查.md