跳到正文
🏠 总目录📚 本教程 08 · 数据、实验、模型的飞轮 ← →

科学问题怎么变成模型 · 从问题进入正文

下一次实验,选预测最高的那个就够了吗?

把预测均值和后验标准差放到同一轮候选选择中,观察探索奖励怎样改变本次决定。

读完能区分采集分数与真实目标值,并按共同预算、成功定义和失败记录比较策略。

📑 本页目录(点开跳转)

08 · 数据、实验、模型的飞轮

⏱ 24 分钟 | ⭐ 合成实验中:贪心 8 次成功 2 次,UCB 8 次成功 8 次


🎯 一句话

本章讨论可以追加实验、由模型参与选择候选的场景。除了预测指标,还要比较在相同实验预算下找到什么、失败多少次、花了多少成本;纯贪心、随机与探索策略都值得作为对照。


🔄 一、闭环才是这件事的形态

前面的小实验把数据集视为固定;当允许追加实验时,科学机器学习也可以形成闭环,每一步可能有实验与计算成本:

训模型 → 挑候选 → 做实验 → 拿到新数据 → 回去训模型

⭐⭐ 同一预算下,较高 R² 不一定带来更多发现;只推荐已测对象的策略也可能浪费探索机会。反过来,复测有时有校准和估计噪声的价值,不能一概说价值为零。应按任务预先定义发现质量、可行性与总成本。

⭐ 同时看预测是否可信,以及选点是否改善实验决策。 把首次达标成本、预算内成功率、最佳目标值和失败记录一起比较。


🎯 二、为什么不能挑分数最高的

只挑预测均值最高的候选,可能错过尚未探索的区域。 这不是说未知区域一定低分,而是纯贪心不主动奖励不确定性;在某些初始观测和模型下,它可能反复选择同一区域。

⭐ 解法是在打分里明确地给不确定性付钱:

采集分数 = 预测值 + κ × 不确定性

这里的“不确定性”是 GP 对候选目标的后验标准差,与预测均值同单位;不等于训练误差或已校准的真实失败概率。κ=0 为纯贪心,κ 增大就更奖励高标准差。本例是 GP-UCB 的固定系数教学形式;多臂老虎机 UCB 的具体置信项不同,可对照探索与利用阅读。


一轮UCB手算如何改变候选选择 最大化任务,候选仅A和B,手设预测均值与后验标准差:A为0.80与0.05,B为0.40与0.30。采集分数为均值加kappa乘后验标准差,kappa为0时A得0.80、B得0.40,选A;kappa为2时A得0.90、B得1.00,选B。B的真实值仍未知,需实验反馈。标准差不是方差,也不是观测噪声标准差。与章节8种子实验独立,不代表轨迹或普遍成功保证。 UCB 为什么会换一个候选?一轮手算 · 最大化目标 · 候选只有 A、B采集分数 a = μ + κσμ:预测均值 σ:后验标准差κ ≥ 0:本轮探索权重同一轮的模型估计(手设)A:μ = 0.80,σ = 0.05B:μ = 0.40,σ = 0.30κ = 0:只按均值,选 AA:0.80 + 0 × 0.05 = 0.80B:0.40 + 0 × 0.30 = 0.40κ = 2:加入不确定性,选 BA:0.80 + 2 × 0.05 = 0.90B:0.40 + 2 × 0.30 = 1.00选 B ≠ 已知 B 的真实目标值更高先做实验,再用新观测更新模型。σ 不是 σ²,也不是观测噪声标准差。本图不是后文 8 个种子的采样轨迹。固定 κ = 2 不构成普遍成功保证。
两个候选的均值与后验标准差均为手设。κ 从 0 改为 2,改变的是本轮采集分数与选择;B 的真实目标值仍需实验确认。它不表示后文八个种子的轨迹,也不保证探索一定成功。

🧪 三、把差别跑出来

一个一维合成目标,左侧有局部峰、右侧有较高峰。两种策略每个种子从相同 3 个初始点出发,最多新增 25 次观测。候选是固定 400 点网格、目标无噪声,代码允许重复选点;重复测量的真实成本与去重策略没有在这里单独建模。

运行方式:程序需 Python 与 NumPy;只运行一维合成 GP 选点,不连接实验设备。 将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。本轮 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。

import numpy as np


def f(x):
    """多峰目标函数:全局最优在右侧,左侧有个诱人的局部最优。"""
    return np.sin(3 * x) * np.exp(-0.3 * (x - 2) ** 2) + 1.6 * np.exp(-2.5 * (x - 7.2) ** 2)


grid = np.linspace(0, 10, 400)
best_x = grid[np.argmax(f(grid))]


def gp(Xtr, ytr, Xte, ls=0.6, noise=1e-4):
    """最小版高斯过程:RBF 核,返回后验均值和标准差。"""
    k = lambda a, b: np.exp(-0.5 * ((a[:, None] - b[None, :]) / ls) ** 2)
    K = k(Xtr, Xtr) + noise * np.eye(len(Xtr))
    Ki = np.linalg.inv(K)
    mu = k(Xte, Xtr) @ Ki @ ytr
    var = 1.0 - np.einsum("ij,jk,ik->i", k(Xte, Xtr), Ki, k(Xte, Xtr))
    return mu, np.sqrt(np.maximum(var, 1e-12))


def run(kappa, rounds=25, seed=0):
    r = np.random.default_rng(seed)
    X = r.uniform(0, 10, 3)                       # 三个初始点,两种策略完全相同
    y = f(X)
    for t in range(rounds):
        mu, sd = gp(X, y, grid)
        nxt = grid[np.argmax(mu + kappa * sd)]    # ⭐ kappa=0 就是纯贪心
        X, y = np.append(X, nxt), np.append(y, f(nxt))
        if abs(nxt - best_x) < 0.15:
            return t + 1
    return None


print("候选网格最优在 x = %.2f,f = %.3f" % (best_x, f(best_x)))
print()
print("%-22s %s" % ("策略", "第几轮进入网格最优点 0.15 邻域(25 轮内)"))
for name, kap in [("greedy (kappa=0)", 0.0), ("UCB (kappa=2)", 2.0)]:
    res = [run(kap, seed=s) for s in range(8)]
    ok = [r for r in res if r is not None]
    print("%-22s %s" % (name, " ".join("%2s" % (r if r else "--") for r in res)))
    print("%-22s   found %d/8, avg round %.1f" % ("", len(ok), np.mean(ok) if ok else float("nan")))

真实输出:

25 轮内,谁找到了最优点附近

400 个候选网格点中的最优位置约为 x=7.19,f=1.600。代码把新选点距离该位置小于 0.15 计为成功,不要求精确命中。

每个随机种子的首次成功轮次

seed 贪心 κ=0 UCB κ=2
0 未在 25 轮内找到 5
1 未在 25 轮内找到 7
2 未在 25 轮内找到 8
3 未在 25 轮内找到 7
4 未在 25 轮内找到 9
5 2 7
6 未在 25 轮内找到 8
7 2 5

先比成功次数,再看轮次

策略 成功次数 仅成功试验的平均轮次
greedy(κ=0) 2/8 2.0
UCB(κ=2) 8/8 7.0

每轮选一个点;轮次不含最初的 3 个观测。失败试验是预算内未达标,不能据此推断无限期都不会成功。

⭐⭐ 这张表要横着读,不要只看平均轮数:

平均 2.0 轮只统计了贪心成功的两次,不能单独用它宣称比 UCB 的 7.0 轮更省。 两种策略要在同一预算下同时比较成功率、成本和找到的目标值。有限预算内失败不能推出“期望代价无穷”。

本例只有 8 个种子、固定核参数和无噪声目标函数。UCB 的理论保证有明确假设,不能把 κ=2 的小实验当成普遍保证。依据:GP-UCB 原始研究。


📦 四、一次挑一批的坑

实验很少一次做一个 —— 一块 96 孔板就是 96 个。 直接取最高分的 96 个,可能集中在很小的区域、信息高度重复。是否发生以及重复程度需要检查,不能预先断言必然只相当于 1 条信息。

⭐ 两个能直接用的办法:

  1. 先给已选点加入临时预测值,再更新后验,属于批量选择的近似方法。在固定核 GP 中,新增位置会降低邻域不确定性,但不保证绝不会重复或得到最优批次;仍需明确重复、距离和实验可行性约束。
  2. 加一个多样性下限:候选间距离不得低于阈值,或相似度不得高于阈值;两者方向不要写反。

⚠️ 主动学习和实验设计可以使用固定候选池,也可以生成候选。本页代码使用固定 400 点网格;真实实验设计的候选是否开放、如何约束可行性,要另行说明,不能只凭任务名称区分。参见标注预算与主动学习。


⚠️ 五、实验结果回来之后,你的数据分布已经变了

💀 这一条最容易被忽略,而它会毁掉你的评估。

你专门挑了模型认为好的、或者不确定的那些去做实验。 于是新数据根本不是从原分布里随机抽的 —— 它是被你的模型筛过的。

后果有两个:

① 只在被策略选中的样本上评估,目标总体可能已改变。 这些结果可以回答该选中分布下的表现,但不能直接代表整个原候选空间;还需避免训练样本与评估样本混用。

② 不同测试分布的轮次指标不能直接比较。 R² 从 0.6 升到 0.7,可能同时受模型、测试方差与候选组成影响,应在共同的目标评估条件下比较。

⭐ 保留来自预先定义的目标分布、且不参与选点或调参的评估数据,便于比较轮次;这只是评价已声明总体的尺子,不能代表所有新分布。若目标是新家族,评估也按家族分离。同时另外比较固定实验预算下的发现质量和成本。见 07 章。


🏁 六、什么时候停

三个信号,⚠️ 但它们都不干净:

信号 ⚠️ 但是
预算用完了 最诚实的一个,也是最常见的真实原因
连续几轮没有改善 可能是收敛了,⭐ 也可能是 κ 太小、根本没在探索
模型说没有更好的了 💀 这句话不可信 —— 它只覆盖你定义的搜索空间

模型判断“没有更好”时,还可能是覆盖不足、不确定性失准或候选约束过窄。上面的有限预算结果没有记录每轮置信轨迹,不能从未成功就断言那 6 次都没去过右侧或每轮都很自信。应查看实际轨迹,并比较探索参数和独立候选。


🔗 这一章连到哪里

去哪 为什么
强化学习基础 07 · 探索与利用 比较探索与利用的共同思想;GP 的后验标准差与老虎机的置信项定义不同
数据这一关 12 · 标注预算与主动学习 两者都要权衡信息、目标和成本;本页使用固定网格,不代表所有实验设计的空间都开放
07 · 评测的坑 固定评估需匹配声明的预测目标;未见家族目标需要按家族隔离
06 · 小数据这一关 飞轮的第一圈就是小数据 —— 那一章讲头几十条标签怎么用
模型上线之后 · 附录A 速查 ⭐ 第五节那个「分布变了」在部署语境里叫数据漂移,那边有完整的检测方法清单

✅ 检查点

  1. 闭环怎么改变了「好模型」的定义?判据是什么?
  2. 为什么纯贪心可能探索不足?这个现象为什么还依赖初始点和模型?
  3. 实验里贪心和 UCB 各成功几次?「贪心平均 2.0 轮」为什么是个误导性的数字?
  4. 一次挑 96 个的坑是什么?两个解法各是什么?
  5. 实验结果回来后为什么数据分布变了?会造成哪两个后果?对策是什么?
  6. 「模型说没有更好的了」为什么不可信?
👀 答案
  1. 除了预测指标,还比较相同预算下的发现质量、成功率和总成本。复测有时有估计噪声与校准的价值,不能简单把重复推荐或某个 R² 对应的模型判为零价值。
  2. 纯贪心只看预测均值,不主动探索不确定区域;在部分初始观测下可能反复停留在局部高分区域,但不是必然永远锁死。
  3. 本例 25 轮内贪心 2/8、UCB 8/8 进入网格最优点的 0.15 邻域。平均 2.0 与 7.0 只统计各自成功试验,不能忽略失败直接比较,更不能据此断言贪心的期望代价无穷。
  4. top-N 可能集中在相似区域,但冗余程度要检查。可以用临时预测更新后验,或加候选间距离/相似度约束;这些方法仍需明确重复、可行性与批次成本,不保证自动得到最优批次。
  5. 新数据被当前策略筛选过,其表现不能自动代表原总体;跨轮直接比较也会混入分布变化。保留匹配目标且不参与选择的评估数据,并另外报告实验发现和成本;新家族目标才要求对应的家族隔离。
  6. 模型只能在当前候选、观测和假设下判断;覆盖不足、置信度失准或搜索空间过窄都可能掩盖更好的候选。要查轨迹与独立实验,不能从有限预算失败推出永远找不到。

本节回顾

这是正文最后一章。⭐ 你现在有一条完整的链: 把科学问题变成建模问题 → 表示 → 结构与对称性 → 小数据 → 正确评估 → 决定下一批实验做什么。

⚠️ 什么时候回来:真正开始转飞轮的时候。第五节那条「分布已经变了」 在纸上看很显然,⭐ 在项目第三轮时几乎所有人都会忘。

⚡ 走神救援

先记住这几件事

下一节 👉 附录A-速查.md

打卡记录保存在你的浏览器里,首页能看到总进度